TWI751593B - 網路訓練方法及裝置、圖像處理方法及裝置、電子設備、電腦可讀儲存媒體及電腦程式 - Google Patents
網路訓練方法及裝置、圖像處理方法及裝置、電子設備、電腦可讀儲存媒體及電腦程式 Download PDFInfo
- Publication number
- TWI751593B TWI751593B TW109121783A TW109121783A TWI751593B TW I751593 B TWI751593 B TW I751593B TW 109121783 A TW109121783 A TW 109121783A TW 109121783 A TW109121783 A TW 109121783A TW I751593 B TWI751593 B TW I751593B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- feature
- neural network
- recognition
- network
- Prior art date
Links
- 238000012549 training Methods 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000004590 computer program Methods 0.000 title claims abstract description 24
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000013528 artificial neural network Methods 0.000 claims abstract description 97
- 238000012545 processing Methods 0.000 claims abstract description 55
- 238000000605 extraction Methods 0.000 claims abstract description 51
- 239000011159 matrix material Substances 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000000739 chaotic effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/2163—Partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本發明涉及一種網路訓練方法及裝置、圖像處理方法及裝置、電子設備、電腦可讀儲存媒體及電腦程式,所述方法包括:對訓練集中的第一圖像進行像素打亂處理,得到第二圖像,其中,所述第一圖像為進行像素打亂後的圖像;通過神經網路的特徵提取網路對所述第一圖像進行特徵提取,得到第一圖像特徵,及通過特徵提取網路對所述第二圖像進行特徵提取,得到第二圖像特徵;通過所述神經網路的識別網路對所述第一圖像特徵進行識別處理,得到所述第一圖像的識別結果;根據所述識別結果、所述第一圖像特徵及所述第二圖像特徵,訓練所述神經網路。本發明實施例可實現提高神經網路的識別精度。
Description
本申請要求在2020年1月21日提交中國專利局、申請號為202010071508.6、發明名稱為“網路訓練方法及裝置、圖像處理方法及裝置”的中國專利申請的優先權,其全部內容通過引用結合在本申請中。
本發明涉及電腦技術領域,尤其涉及一種網路訓練方法及裝置、圖像處理方法及裝置、電子設備、電腦可讀儲存媒體及電腦程式。
隨著隱私保護的呼聲逐漸提高,為了使研發在隱私保護的前提下進行,資料匿名化是不可避免的。
相關技術中,當前的資料集匿名化方法主要針對圖像或影片中最敏感的區域:人臉。然而,雖然人臉是最重要的隱私訊息之一,但它並不構成隱私訊息的全部。事實上,任何可以直接或間接定位到個人身份的訊息都可以被視為個人隱私訊息的一部分。
但若將圖像中的全部訊息均通過像素打亂的方式進行資料匿名化,固然其可以有效的保護隱私訊息,但其會造成神經網路的識別精度下降。
本發明提出了一種用於提高神經網路的識別精度的網路訓練技術方案。
根據本發明的一方面,提供了一種網路訓練方法,所述方法包括:
對訓練集中的第一圖像進行像素打亂處理,得到第二圖像,其中,所述第一圖像為進行像素打亂後的圖像;
通過神經網路的特徵提取網路對所述第一圖像進行特徵提取,得到第一圖像特徵,及通過特徵提取網路對所述第二圖像進行特徵提取,得到第二圖像特徵;
通過所述神經網路的識別網路對所述第一圖像特徵進行識別處理,得到所述第一圖像的識別結果;
根據所述識別結果、所述第一圖像特徵及所述第二圖像特徵,訓練所述神經網路。
在一種可能的實現方式中,所述根據所述識別結果、所述第一圖像特徵及所述第二圖像特徵,訓練所述神經網路,包括:
根據所述識別結果及所述第一圖像對應的標註結果,確定識別損失;
根據所述第一圖像特徵及所述第二圖像特徵,確定特徵損失;
根據所述識別損失及所述特徵損失,訓練所述神經網路。
在一種可能的實現方式中,所述對訓練集中的第一圖像進行像素打亂處理,得到第二圖像,包括:
將所述第一圖像劃分為預置數量的像素塊;
針對任一像素塊,打亂所述像素塊內各像素點的位置,得到第二圖像。
在一種可能的實現方式中,所述針對任一像素塊,打亂所述像素塊內各像素點的位置,包括:
針對任一像素塊,根據預置的列運算矩陣對所述像素塊內的像素點進行位置變換,所述預置的列運算矩陣為正交矩陣。
在一種可能的實現方式中,所述根據所述第一圖像特徵及所述第二圖像特徵,得到特徵損失,包括:
將所述第一圖像中第一圖像特徵與所述第二圖像中所述第二圖像特徵的距離,確定為所述特徵損失。
在一種可能的實現方式中,所述根據所述識別損失及所述特徵損失,訓練所述神經網路,包括:
根據所述識別損失及所述特徵損失的加權和,確定總體損失;
根據所述總體損失,訓練所述神經網路。
根據本發明的一方面,提供了一種圖像處理方法,包括:
通過神經網路對待處理圖像進行圖像識別,得到識別結果,
所述神經網路通過前述任一項所述的網路訓練方法訓練得到。
根據本發明的一方面,提供了一種網路訓練裝置,所述裝置包括:
處理模組,用於對訓練集中的第一圖像進行像素打亂處理,得到第二圖像,其中,所述第一圖像為進行像素打亂後的圖像;
提取模組,用於通過神經網路的特徵提取網路對所述第一圖像進行特徵提取,得到第一圖像特徵,及通過特徵提取網路對所述第二圖像進行特徵提取,得到第二圖像特徵;
識別模組,用於通過所述神經網路的識別網路對所述第一圖像特徵進行識別處理,得到所述第一圖像的識別結果;
訓練模組,用於根據所述識別結果、所述第一圖像特徵及所述第二圖像特徵,訓練所述神經網路。
在一種可能的實現方式中,所述訓練模組,還用於:
根據所述識別結果及所述第一圖像對應的標註結果,確定識別損失;
根據所述第一圖像特徵及所述第二圖像特徵,確定特徵損失;
根據所述識別損失及所述特徵損失,訓練所述神經網路。
在一種可能的實現方式中,所述處理模組,還用於:
將所述第一圖像劃分為預置數量的像素塊;
針對任一像素塊,打亂所述像素塊內各像素點的位置,得到第二圖像。
在一種可能的實現方式中,所述處理模組,還用於:
針對任一像素塊,根據預置的列運算矩陣對所述像素塊內的像素點進行位置變換,所述預置的列運算矩陣為正交矩陣。
在一種可能的實現方式中,所述訓練模組,還用於:
將所述第一圖像中第一圖像特徵與所述第二圖像中所述第二圖像特徵的距離,確定為所述特徵損失。
在一種可能的實現方式中,所述訓練模組,還用於:
根據所述識別損失及所述特徵損失的加權和,確定總體損失;
根據所述總體損失,訓練所述神經網路。
根據本發明的一方面,提供了一種圖像處理裝置,包括:
識別模組,用於通過神經網路對待處理圖像進行圖像識別,得到識別結果,
所述神經網路通過前述任一項所述的網路訓練方法訓練得到。
根據本發明的一方面,提供了一種電子設備,包括:處理器;用於儲存處理器可執行指令的儲存器;其中,所述處理器被配置為調用所述儲存器儲存的指令,以執行上述方法。
根據本發明的一方面,提供了一種電腦可讀儲存媒體,其上儲存有電腦程式指令,所述電腦程式指令被處理器執行時實現上述方法。
根據本發明的一方面,提供了一種電腦程式,包括電腦可讀代碼,當所述電腦可讀代碼在電子設備中運行時,所述電子設備的處理器執行用於實現上述任意一項所述的方法。
這樣,本發明實施例提供的網路訓練方法及裝置、圖像處理方法及裝置,可以對訓練集中進行像素打亂後的第一圖像,再次進行像素打亂處理,得到第二圖像,並通過特徵提取網路對所述第一圖像及第二圖像進行特徵提取,得到第一圖像對應的第一圖像特徵,及第二圖像對應的第二圖像特徵。進一步的通過識別網路對所述第一圖像特徵進行識別處理,可以得到所述第一圖像的識別結果,根據所述識別結果、所述第一圖像特徵及所述第二圖像特徵,訓練神經網路。根據本發明實施例提供的網路訓練方法及裝置、圖像處理方法及裝置,通過進行一次像素打亂後的第一圖像及對第一圖像進行再次像素打亂得到的第二圖像訓練神經網路,可以提高神經網路的特徵提取精度,使神經網路對於進行像素打亂後的圖像能夠提取到有效的特徵,進而可以提高對於採用像素打亂方式進行資料匿名化的第一圖像的識別精度。
應當理解的是,以上的一般描述和後文的細節描述僅是示例性和解釋性的,而非限制本發明。根據下面參考圖式對示例性實施例的詳細說明,本發明的其它特徵及方面將變得清楚。
以下將參考圖式詳細說明本發明的各種示例性實施例、特徵和方面。圖式中相同的圖式標記表示功能相同或相似的元件。儘管在圖式中示出了實施例的各種方面,但是除非特別指出,不必按比例繪製圖式。
在這裡專用的詞“示例性”意為“用作例子、實施例或說明性”。這裡作為“示例性”所說明的任何實施例不必解釋為優於或好於其它實施例。
本文中術語“和/或”,僅僅是一種描述關聯對象的關聯關係,表示可以存在三種關係,例如,A和/或B,可以表示:單獨存在A,同時存在A和B,單獨存在B這三種情況。另外,本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合,例如,包括A、B、C中的至少一種,可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外,為了更好地說明本發明,在下文的具體實施方式中給出了眾多的具體細節。本領域具有通常知識者應當理解,沒有某些具體細節,本發明同樣可以實施。在一些實例中,對於本領域具有通常知識者熟知的方法、手段、元件和電路未作詳細描述,以便於凸顯本發明的主旨。
圖1示出根據本發明實施例的網路訓練方法的流程圖,所述網路訓練方法可以由終端設備或伺服器等電子設備執行,終端設備可以為用戶設備(User Equipment,UE)、移動設備、用戶終端、終端、蜂巢式行動電話、無線電話、個人數位助理(Personal Digital Assistant,PDA)、手持設備、計算設備、車載設備、可穿戴設備等,所述方法可以通過處理器調用儲存器中儲存的電腦可讀指令的方式來實現。或者,可通過伺服器執行所述方法。
在行人重識別、安防等領域,神經網路起到了越來越重要的作用,例如:可以通過神經網路進行人臉識別、身份認證等,通過神經網路可以極大地節約人力成本。但是神經網路的訓練過程需要非常豐富的樣本圖像,樣本圖像中包含有人的各項訊息,出於對隱私的保護,可以對樣本圖像進行資料匿名化。但若將圖像中的全部訊息均通過像素打亂的方式進行資料匿名化,固然其可以有效的保護隱私訊息,但其會造成神經網路的識別精度下降。
本發明提出了一種網路訓練方法,針對通過像素打亂進行資料匿名化的樣本圖像,可以提高訓練得到的神經網路的識別精度。
如圖1所示,所述網路訓練方法可以包括:
在步驟S11中,對訓練集中的第一圖像進行像素打亂處理,得到第二圖像,其中,所述第一圖像為進行像素打亂後的圖像。
舉例來說,可以通過預設的訓練集訓練神經網路,該神經網路包括用於進行特徵提取的特徵提取網路和用於進行圖像識別的識別網路,該訓練集中包括多個第一圖像,其中第一圖像可以為對原始圖像進行像素打亂後的圖像,該第一圖像具有標註結果。其中,上述原始圖像可以為攝像設備採集的人物圖像,例如:在行人重識別的場景中,該原始圖像可以為攝像設備抓拍到的行人的圖像。
針對訓練集中的第一圖像,可以對該第一圖像中的像素點進行位置變化,以進行像素打亂,得到第二圖像。需要說明的是,本發明對第一圖像進行像素打亂的方式與對原始圖像進行像素打亂得到第一圖像的過程相同。
在步驟S12中,通過神經網路的特徵提取網路對所述第一圖像進行特徵提取,得到第一圖像特徵,及通過特徵提取網路對所述第二圖像進行特徵提取,得到第二圖像特徵。
舉例來說,在得到第二圖像後,可以分別將第一圖像和第二圖像輸入特徵提取網路進行特徵提取,得到第一圖像對應的第一圖像特徵及第二圖像對應的第二圖像特徵。
在步驟S13中,通過所述神經網路的識別網路對所述第一圖像特徵進行識別處理,得到所述第一圖像的識別結果。
舉例來說,可以將第一圖像特徵輸入識別網路中進行識別,得到第一圖像對應的識別結果,該識別網路可以為卷積神經網路,本發明對於識別網路的實現方式不做具體限定。
在步驟S14中,根據所述識別結果、所述第一圖像特徵及所述第二圖像特徵,訓練所述神經網路。
舉例來說,由於第一圖像及第二圖像分別為原始圖像進行一次像素打亂和兩次像素打亂後得到的圖像,故第一圖像及第二圖像包含完全相同的語義,特徵提取網路提取出第一圖像對應的第一圖像特徵及第二圖像對應的第二圖像特徵應該盡可能相似,故通過該第一圖像特徵及第二圖像特徵可以得到特徵提取網路對應的特徵損失,根據第一圖像對應的識別結果可以得到識別網路對應的識別損失,進而根據特徵損失及識別損失,可以調整神經網路的網路參數,以訓練神經網路。
這樣,本發明實施例提供的網路訓練方法,可以對訓練集中進行像素打亂後的第一圖像,再次進行像素打亂處理,得到第二圖像,並通過特徵提取網路對所述第一圖像及第二圖像進行特徵提取,得到第一圖像對應的第一圖像特徵,及第二圖像對應的第二圖像特徵。進一步的通過識別網路對所述第一圖像特徵進行識別處理,可以得到所述第一圖像的識別結果,根據所述識別結果、所述第一圖像特徵及所述第二圖像特徵,訓練神經網路。根據本發明實施例提供的網路訓練方法,通過進行一次像素打亂後的第一圖像及對第一圖像進行再次像素打亂得到的第二圖像訓練神經網路,可以提高神經網路的特徵提取精度,使神經網路對於進行像素打亂後的圖像能夠提取到有效的特徵,進而可以提高對於採用像素打亂方式進行資料匿名化的第一圖像的識別精度。
在一種可能的實現方式中,上述所述根據所述識別結果、所述第一圖像特徵及所述第二圖像特徵,訓練所述神經網路,可以包括:
根據所述識別結果及所述第一圖像對應的標註結果,確定識別損失;
根據所述第一圖像特徵及所述第二圖像特徵,確定特徵損失;
根據所述識別損失及所述特徵損失,訓練所述神經網路。
舉例來說,可以通過第一圖像對應的標註結果及第一圖像對應的識別結果確定識別損失,並可以根據第一圖像特徵及第二圖像特徵,確定特徵損失。
在一種可能的實現方式中,上述根據所述第一圖像特徵及所述第二圖像特徵,得到特徵損失,可以包括:
將所述第一圖像中第一圖像特徵與所述第二圖像中所述第二圖像特徵的距離,確定為所述特徵損失。
通過該特徵損失可以迫使特徵提取網路提取的第一圖像特徵及第二圖像特徵相似,進而可以使得神經網路針對進行像素打亂的圖像總是能提取到有效特徵,提高了神經網路特徵提取的精度,示例性的,可以通過以下公式(一)確定特徵損失。公式(一)
在一種可能的實現方式中,上述對訓練集中的第一圖像進行像素打亂處理,得到第二圖像,可以包括:
將所述第一圖像劃分為預置數量的像素塊;
針對任一像素塊,打亂所述像素塊內各像素點的位置,得到第二圖像。
舉例來說,上述預置數量可以為預設的數值,預置數量的取值可以根據需求進行設定,也可以根據預置的像素塊大小進行確定,本發明實施例對於預置數量的取值不作具體限定。
可以對第一圖像進行預處理,將第一圖像劃分為預置數量的像素塊,並對每一個像素塊進行像素點之間的位置變換,以得到第二圖像。
在一種可能的實現方式中,所述針對任一像素塊,打亂所述像素塊內各像素點的位置,包括:
針對任一像素塊,根據預置的列運算矩陣對所述像素塊內的像素點進行位置變換,所述預置的列運算矩陣為正交矩陣。
可以將像素塊與預置的列運算矩陣進行相乘,以變換該像素塊內的各像素點的位置,實現像素塊內的像素打亂。由於預置的列運算矩陣為正交矩陣,其存在逆矩陣,因此根據預置的列運算矩陣進行的操作是一步可逆的,也即根據預置的列運算矩陣進行像素打亂後的第二圖像與第一圖像儘管具有不同的空間結構,但彼此之間攜帶有緊密相關的圖像訊息,由此可以通過第一圖像與第二圖像提取出的第一圖像特徵及第二圖像特徵訓練神經網路,使得神經網路提取出的第一圖像的第一圖像特徵與第二圖像的第二圖像特徵盡可能的接近,提高了神經網路特徵提取的精度,進而提高了神經網路的識別精度。
舉例來說,如圖2所示,假設任一像素塊為3*3的矩陣e1,則其對應的矩陣向量如圖2中x1所示,A是預置的列運算矩陣,該列運算矩陣A與x1相乘,得到的矩陣向量如x2所示,該矩陣向量x2對應的像素塊如e2所示,e2為e1通過預置的列運算矩陣進行像素打亂後的像素塊。
在一種可能的實現方式中,上述所述根據所述識別損失及所述特徵損失,訓練所述神經網路,可以包括:
根據所述識別損失及所述特徵損失的加權和,確定總體損失;
根據所述總體損失,訓練所述神經網路。
舉例來說,可以確定識別損失及特徵損失的加權和為神經網路的總體損失,其中識別損失和特徵損失對應的權重可以根據需求進行設定,本發明在此對此不作限定。可以根據該總體損失調整神經網路的參數,包括調整特徵提取網路的參數及識別網路的參數,直至總體損失滿足訓練精度,例如:總體損失小於閾值損失,完成神經網路的訓練。
為了使本領域具有通常知識者更好的理解本發明實施例,以下通過具體示例對本發明實施例加以說明。
如圖3所示,對第一圖像進行像素打亂後可以得到第二圖像。將第一圖像及第二圖像分別輸入神經網路中的特徵提取網路,可以得到第一圖像的第一圖像特徵及第二圖像的第二圖像特徵。將所述第一圖像特徵輸入識別網路可以得到第一圖像的識別結果,根據該識別結果可以得到識別損失。根據第一圖像特徵及第二圖像特徵可以得到特徵損失,根據識別損失及特徵損失可以得到神經網路的總體損失,進而可以根據該總體損失訓練該神經網路,可以得到對於採用像素打亂的方式進行資料匿名化的圖像識別更為精準的神經網路。
本發明還提供了一種圖像處理方法,該圖像處理方法可以由終端設備或伺服器等電子設備執行,終端設備可以為用戶設備(User Equipment,UE)、移動設備、用戶終端、終端、蜂巢式電話、無線電話、個人數位助理(Personal Digital Assistant,PDA)、手持設備、計算設備、車載設備、可穿戴設備等,所述方法可以通過處理器調用儲存器中儲存的電腦可讀指令的方式來實現。或者,可通過伺服器執行所述方法。
該圖像處理方法可以包括:通過神經網路對待處理圖像進行圖像識別,得到識別結果,所述神經網路通過前述神經網路訓練方法訓練得到。
通過前述實施例提供的神經網路訓練方法訓練得到的神經網路(具體訓練過程可以參照前述實施例,本發明在此不再贅述),可以對待處理圖像進行圖像識別,得到識別結果,在待處理圖像為採用像素打亂方式進行匿名化的圖像時,可以提高識別結果的精準度。
根據本發明實施例提供的圖像處理方法,可以通過前述實施例訓練得到的神經網路對待處理圖像進行圖像識別,由於神經網路對於進行像素打亂後的圖像能夠提取到有效的特徵,進而可以提高對於進行像素打亂後的第一圖像的識別精度,進而使得訓練集中的訓練樣本可以採用像素打亂的方式進行資料匿名化來保護隱私訊息的同時,可以提高神經網路的識別精度。
可以理解,本發明提及的上述各個方法實施例,在不違背原理邏輯的情況下,均可以彼此相互結合形成結合後的實施例,限於篇幅,本發明不再贅述。本領域具有通常知識者可以理解,在具體實施方式的上述方法中,各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
此外,本發明還提供了網路訓練裝置、圖像處理裝置、電子設備、電腦可讀儲存媒體、程式,上述均可用來實現本發明提供的任一種網路訓練方法及圖像處理方法,相應技術方案和描述和參見方法部分的相應記載,不再贅述。
圖4示出根據本發明實施例的網路訓練裝置的框圖,如圖4所示,所述網路訓練裝置包括:
處理模組401,可以用於對訓練集中的第一圖像進行像素打亂處理,得到第二圖像,其中,所述第一圖像為進行像素打亂後的圖像;
提取模組402,可以用於通過神經網路的特徵提取網路對所述第一圖像進行特徵提取,得到第一圖像特徵,及通過特徵提取網路對所述第二圖像進行特徵提取,得到第二圖像特徵;
識別模組403,可以用於通過所述神經網路的識別網路對所述第一圖像特徵進行識別處理,得到所述第一圖像的識別結果;
訓練模組404,可以用於根據所述識別結果、所述第一圖像特徵及所述第二圖像特徵,訓練所述神經網路。
這樣,本發明實施例提供的網路訓練裝置,可以對訓練集中進行像素打亂後的第一圖像,再次進行像素打亂處理,得到第二圖像,並通過特徵提取網路對所述第一圖像及第二圖像進行特徵提取,得到第一圖像對應的第一圖像特徵,及第二圖像對應的第二圖像特徵。進一步的通過識別網路對所述第一圖像特徵進行識別處理,可以得到所述第一圖像的識別結果,根據所述識別結果、所述第一圖像特徵及所述第二圖像特徵,訓練神經網路。根據本發明實施例提供的網路訓練裝置,通過進行一次像素打亂後的第一圖像及對第一圖像進行再次像素打亂得到的第二圖像訓練神經網路,可以提高神經網路的特徵提取精度,使神經網路對於進行像素打亂後的圖像能夠提取到有效的特徵,進而可以提高對於採用像素打亂方式進行資料匿名化的第一圖像的識別精度。
在一種可能的實現方式中,所述訓練模組,還可以用於:
根據所述識別結果及所述第一圖像對應的標註結果,確定識別損失;
根據所述第一圖像特徵及所述第二圖像特徵,確定特徵損失;
根據所述識別損失及所述特徵損失,訓練所述神經網路。
在一種可能的實現方式中,所述處理模組,還可以用於:
將所述第一圖像劃分為預置數量的像素塊;
針對任一像素塊,打亂所述像素塊內各像素點的位置,得到第二圖像。
在一種可能的實現方式中,所述處理模組,還可以用於:
針對任一像素塊,根據預置的列運算矩陣對所述像素塊內的像素點進行位置變換,所述預置的列運算矩陣為正交矩陣。
在一種可能的實現方式中,所述訓練模組,還可以用於:
將所述第一圖像中第一圖像特徵與所述第二圖像中所述第二圖像特徵的距離,確定為所述特徵損失。
在一種可能的實現方式中,所述訓練模組,還可以用於:
根據所述識別損失及所述特徵損失的加權和,確定總體損失;
根據所述總體損失,訓練所述神經網路。
本發明實施例還提供一種圖像處理裝置,該圖像處理裝置包括:
識別模組,用於通過神經網路對待處理圖像進行圖像識別,得到識別結果,
所述神經網路通過前述任一項所述的網路訓練方法訓練得到。
根據本發明實施例提供的圖像處理方法,可以通過前述實施例訓練得到的神經網路對待處理圖像進行圖像識別,由於神經網路對於進行像素打亂後的圖像能夠提取到有效的特徵,進而可以提高對於進行像素打亂後的第一圖像的識別精度,進而使得訓練集中的訓練樣本可以採用像素打亂的方式進行資料匿名化來保護隱私訊息的同時,可以提高神經網路的識別精度。
在一些實施例中,本發明實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法,其具體實現可以參照上文方法實施例的描述,為了簡潔,這裡不再贅述。
本發明實施例還提出一種電腦可讀儲存媒體,其上儲存有電腦程式指令,所述電腦程式指令被處理器執行時實現上述方法。電腦可讀儲存媒體可以是非易失性電腦可讀儲存媒體。
本發明實施例還提出一種電子設備,包括:處理器;用於儲存處理器可執行指令的儲存器;其中,所述處理器被配置為調用所述儲存器儲存的指令,以執行上述方法。
本發明實施例還提供了一種電腦程式產品,包括電腦可讀代碼,當電腦可讀代碼在設備上運行時,設備中的處理器執行用於實現如上任一實施例提供的網路訓練方法、圖像處理方法的指令。
本發明實施例還提供了另一種電腦程式產品,用於儲存電腦可讀指令,指令被執行時使得電腦執行上述任一實施例提供的網路訓練方法、圖像處理方法的操作。
電子設備可以被提供為終端、伺服器或其它形態的設備。
圖5示出根據本發明實施例的一種電子設備800的框圖。例如,電子設備800可以是移動電話,電腦,數位廣播終端,訊息收發設備,遊戲控制台,平板設備,醫療設備,健身設備,個人數位助理等終端。
參照圖5,電子設備800可以包括以下一個或多個組件:處理組件802,儲存器804,電源組件806,多媒體組件808,音頻組件810,輸入/輸出(I/O)連接埠812,感測器組件814,以及通訊組件816。
處理組件802通常控制電子設備800的整體操作,諸如與顯示,電話呼叫,資料通訊,相機操作和記錄操作相關聯的操作。處理組件802可以包括一個或多個處理器820來執行指令,以完成上述的方法的全部或部分步驟。此外,處理組件802可以包括一個或多個模組,便於處理組件802和其他組件之間的交互。例如,處理組件802可以包括多媒體模組,以方便多媒體組件808和處理組件802之間的交互。
儲存器804被配置為儲存各種類型的資料以支持在電子設備800的操作。這些資料的示例包括用於在電子設備800上操作的任何應用程式或方法的指令,連絡人資料,電話簿資料,訊息,圖片,影片等。儲存器804可以由任何類型的易失性或非易失性儲存設備或者它們的組合實現,如靜態隨機存取記憶體(SRAM),電可擦除可程式化唯讀記憶體(EEPROM),可擦除可程式化唯讀記憶體(EPROM),可程式化唯讀記憶體(PROM),唯讀記憶體(ROM),磁記憶體,快閃記憶體,磁碟或光碟。
電源組件806為電子設備800的各種組件提供電力。電源組件806可以包括電源管理系統,一個或多個電源,及其他與為電子設備800生成、管理和分配電力相關聯的組件。
多媒體組件808包括在所述電子設備800和用戶之間的提供一個輸出連接埠的螢幕。在一些實施例中,螢幕可以包括液晶顯示器(LCD)和觸控面板(TP)。如果螢幕包括觸控面板,螢幕可以被實現為觸控螢幕,以接收來自用戶的輸入訊號。觸控面板包括一個或多個觸控感測器以感測觸摸、滑動和觸控面板上的手勢。所述觸控感測器可以不僅感測觸摸或滑動動作的邊界,而且還檢測與所述觸摸或滑動操作相關的持續時間和壓力。在一些實施例中,多媒體組件808包括一個前置攝影機和/或後置攝影機。當電子設備800處於操作模式,如拍照模式或錄影模式時,前置攝影機和/或後置攝影機可以接收外部的多媒體資料。每個前置攝影機和後置攝影機可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音頻組件810被配置為輸出和/或輸入音頻訊號。例如,音頻組件810包括一個麥克風(MIC),當電子設備800處於操作模式,如呼叫模式、記錄模式和語音識別模式時,麥克風被配置為接收外部音頻訊號。所接收的音頻訊號可以被進一步儲存在儲存器804或經由通訊組件816發送。在一些實施例中,音頻組件810還包括一個揚聲器,用於輸出音頻訊號。
I/O連接埠812為處理組件802和外圍連接埠模組之間提供連接埠,上述外圍連接埠模組可以是鍵盤,點擊輪,按鈕等。這些按鈕可包括但不限於:主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。
感測器組件814包括一個或多個感測器,用於為電子設備800提供各個方面的狀態評估。例如,感測器組件814可以檢測到電子設備800的打開/關閉狀態,組件的相對定位,例如所述組件為電子設備800的顯示器和小鍵盤,感測器組件814還可以檢測電子設備800或電子設備800一個組件的位置改變,用戶與電子設備800接觸的存在或不存在,電子設備800方位或加速/減速和電子設備800的溫度變化。感測器組件814可以包括接近感測器,被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器組件814還可以包括光感測器,如互補式金氧半導體(CMOS)或電荷耦合元件(CCD)圖像感測器,用於在成像應用中使用。在一些實施例中,該感測器組件814還可以包括加速度感測器,陀螺儀感測器,磁感測器,壓力感測器或溫度感測器。
通訊組件816被配置為便於電子設備800和其他設備之間有線或無線方式的通訊。電子設備800可以接入基於通訊標準的無線網路,如WiFi,第二代行動通訊技術(2G)或第三代行動通訊技術(3G),或它們的組合。在一個示例性實施例中,通訊組件816經由廣播頻道接收來自外部廣播管理系統的廣播訊號或廣播相關訊息。在一個示例性實施例中,所述通訊組件816還包括近場通訊(NFC)模組,以促進短程通訊。例如,在NFC模組可基於射頻識別(RFID)技術,紅外數據協會(IrDA)技術,超寬頻(UWB)技術,藍牙(BT)技術和其他技術來實現。
在示例性實施例中,電子設備800可以被一個或多個應用特定積體電路(ASIC)、數位訊號處理器(DSP)、數位訊號處理設備(DSPD)、可程式化邏輯器件(PLD)、現場可程式化閘陣列(FPGA)、控制器、微控制器、微處理器或其他電子元件實現,用於執行上述方法。
在示例性實施例中,還提供了一種非易失性電腦可讀儲存媒體,例如包括電腦程式指令的儲存器804,上述電腦程式指令可由電子設備800的處理器820執行以完成上述方法。
圖6示出根據本發明實施例的一種電子設備1900的框圖。例如,電子設備1900可以被提供為一伺服器。參照圖6,電子設備1900包括處理組件1922,其進一步包括一個或多個處理器,以及由儲存器1932所代表的儲存器資源,用於儲存可由處理組件1922的執行的指令,例如應用程式。儲存器1932中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外,處理組件1922被配置為執行指令,以執行上述方法。
電子設備1900還可以包括一個電源組件1926被配置為執行電子設備1900的電源管理,一個有線或無線網路連接埠1950被配置為將電子設備1900連接到網路,和一個輸入/輸出(I/O)連接埠1958。電子設備1900可以操作基於儲存在儲存器1932的操作系統,例如微軟伺服器操作系統(Windows Server™),蘋果公司推出的基於圖形用戶界面操作系統(Mac OS X™),多用戶多行程的電腦操作系統(Unix™),自由和開放源代碼的類Unix操作系統(Linux™),開放源代碼的類Unix操作系統(FreeBSD™)或類似。
在示例性實施例中,還提供了一種非易失性電腦可讀儲存媒體,例如包括電腦程式指令的儲存器1932,上述電腦程式指令可由電子設備1900的處理組件1922執行以完成上述方法。
本發明可以是系統、方法和/或電腦程式產品。電腦程式產品可以包括電腦可讀儲存媒體,其上載有用於使處理器實現本發明的各個方面的電腦可讀程式指令。
電腦可讀儲存媒體可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存媒體例如可以是――但不限於――電儲存設備、磁儲存設備、光儲存設備、電磁儲存設備、半導體儲存設備或者上述的任意合適的組合。電腦可讀儲存媒體的更具體的例子(非窮舉的列表)包括:便攜式電腦碟、硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可擦式可程式化唯讀記憶體(EPROM或閃存)、靜態隨機存取記憶體(SRAM)、便攜式壓縮光碟唯讀記憶體(CD-ROM)、數位多功能光碟(DVD)、記憶卡、軟碟、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裡所使用的電腦可讀儲存媒體不被解釋為瞬時訊號本身,諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波(例如,通過光纖電纜的光脈衝)、或者通過電線傳輸的電訊號。
這裡所描述的電腦可讀程式指令可以從電腦可讀儲存媒體下載到各個計算/處理設備,或者通過網路、例如網際網路、區域網路、廣域網路和/或無線網路下載到外部電腦或外部儲存設備。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道器電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路連接埠從網路接收電腦可讀程式指令,並轉發該電腦可讀程式指令,以供儲存在各個計算/處理設備中的電腦可讀儲存媒體中。
用於執行本發明操作的電腦程式指令可以是彙編指令、指令集架構(ISA)指令、機器指令、機器相關指令、微代碼、固件指令、狀態設置資料、或者以一種或多種程式語言的任意組合編寫的源代碼或目標代碼,所述程式語言包括物件導向的程式語言—諸如Smalltalk、C++等,以及常規的過程式程式語言—諸如“C”語言或類似的程式語言。電腦可讀程式指令可以完全地在用戶電腦上執行、部分地在用戶電腦上執行、作為一個獨立的軟體套件執行、部分在用戶電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中,遠端電腦可以通過任意種類的網路—包括區域網路(LAN)或廣域網路(WAN)—連接到用戶電腦,或者,可以連接到外部電腦(例如利用網際網路服務提供商來通過網際網路連接)。在一些實施例中,通過利用電腦可讀程式指令的狀態訊息來個性化定制電子電路,例如可程式化邏輯電路、現場可程式化閘陣列(FPGA)或可程式化邏輯陣列(PLA),該電子電路可以執行電腦可讀程式指令,從而實現本發明的各個方面。
這裡參照根據本發明實施例的方法、裝置(系統)和電腦程式產品的流程框以及流程圖和/或框圖中各方框的組合,都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式化資料處理裝置的處理器,從而生產出一種機器,使得這些指令在通過電腦或其它可程式化資料處理裝置的處理器執行時,產生了實現流程圖和/或框圖中的一個或多個方框中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存媒體中,這些指令使得電腦、可程式化資料處理裝置和/或其他設備以特定方式工作,從而,儲存有指令的電腦可讀媒體則包括一個製造品,其包括實現流程圖和/或框圖中的一個或多個方框中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令加載到電腦、其它可程式化資料處理裝置、或其它設備上,使得在電腦、其它可程式化資料處理裝置或其它設備上執行一系列操作步驟,以產生電腦實現的過程,從而使得在電腦、其它可程式化資料處理裝置、或其它設備上執行的指令實現流程圖和/或框圖中的一個或多個方框中規定的功能/動作。
圖式中的流程圖和框圖顯示了根據本發明的多個實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上,流程圖或框圖中的每個方框可以代表一個模組、程式段或指令的一部分,所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作為替換的實現中,方框中所標註的功能也可以以不同於圖式中所標註的順序發生。例如,兩個連續的方框實際上可以基本並行地執行,它們有時也可以按相反的順序執行,這依所涉及的功能而定。也要注意的是,框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合,可以用執行規定的功能或動作的專用的基於硬體的系統來實現,或者可以用專用硬體與電腦指令的組合來實現。
該電腦程式產品可以具體通過硬體、軟體或其結合的方式實現。在一個可選實施例中,所述電腦程式產品具體體現為電腦儲存媒體,在另一個可選實施例中,電腦程式產品具體體現為軟體產品,例如軟體開發套件(Software Development Kit,SDK)等等。
以上已經描述了本發明的各實施例,上述說明是示例性的,並非窮盡性的,並且也不限於所揭露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下,對於本技術領域的具有通常知識者來說許多修改和變更都是顯而易見的。本文中所用術語的選擇,旨在最好地解釋各實施例的原理、實際應用或對市場中的技術的改進,或者使本技術領域的其它具有通常知識者能理解本文揭露的各實施例。
S11~S14:步驟
401:處理模組
402:提取模組
403:識別模組
404:訓練模組
800:電子設備
802:處理組件
804:儲存器
806:電源組件
808:多媒體組件
810:音頻組件
812:輸入/輸出(I/O)連接埠
814:感測器組件
816:通訊組件
820:處理器
1900:電子設備
1922:處理組件
1926:電源組件
1932:儲存器
1950:網路連接埠
1958:輸入/輸出(I/O)連接埠
此處的圖式被併入說明書中並構成本說明書的一部分,這些圖式示出了符合本發明的實施例,並與說明書一起用於說明本發明的技術方案。
圖1示出根據本發明實施例的網路訓練方法的流程圖;
圖2示出根據本發明實施例的網路訓練方法的示意圖;
圖3示出根據本發明實施例的網路訓練方法的示意圖;
圖4示出根據本發明實施例的網路訓練裝置的框圖;
圖5示出根據本發明實施例的一種電子設備800的框圖;
圖6示出根據本發明實施例的一種電子設備1900的框圖。
Claims (13)
- 一種網路訓練方法,包括:對訓練集中的第一圖像進行像素打亂處理,得到第二圖像,其中,所述第一圖像為對原始圖像進行像素打亂後的圖像;通過神經網路的特徵提取網路對所述第一圖像進行特徵提取,得到第一圖像特徵,及通過特徵提取網路對所述第二圖像進行特徵提取,得到第二圖像特徵;通過所述神經網路的識別網路對所述第一圖像特徵進行識別處理,得到所述第一圖像的識別結果;根據所述識別結果、所述第一圖像特徵及所述第二圖像特徵,訓練所述神經網路。
- 根據請求項1所述的方法,其中,所述根據所述識別結果、所述第一圖像特徵及所述第二圖像特徵,訓練所述神經網路,包括:根據所述識別結果及所述第一圖像對應的標註結果,確定識別損失;根據所述第一圖像特徵及所述第二圖像特徵,確定特徵損失;根據所述識別損失及所述特徵損失,訓練所述神經網路。
- 根據請求項1或2所述的方法,其中,所述對訓練集中的第一圖像進行像素打亂處理,得到第二圖像,包括:將所述第一圖像劃分為預置數量的像素塊; 針對任一像素塊,打亂所述像素塊內各像素點的位置,得到第二圖像。
- 根據請求項3所述的方法,其中,所述針對任一像素塊,打亂所述像素塊內各像素點的位置,包括:針對任一像素塊,根據預置的列運算矩陣對所述像素塊內的像素點進行位置變換,所述預置的列運算矩陣為正交矩陣。
- 根據請求項2所述的方法,其中,所述根據所述第一圖像特徵及所述第二圖像特徵,得到特徵損失,包括:將所述第一圖像中第一圖像特徵與所述第二圖像中所述第二圖像特徵的距離,確定為所述特徵損失。
- 根據請求項2或5所述的方法,其中,所述根據所述識別損失及所述特徵損失,訓練所述神經網路,包括:根據所述識別損失及所述特徵損失的加權和,確定總體損失;根據所述總體損失,訓練所述神經網路。
- 根據請求項3所述的方法,其中,所述根據所述識別損失及所述特徵損失,訓練所述神經網路,包括:根據所述識別損失及所述特徵損失的加權和,確定總體損失;根據所述總體損失,訓練所述神經網路。
- 一種圖像處理方法,包括:通過神經網路對待處理圖像進行圖像識別,得到識別結果, 所述神經網路通過請求項1至7中任一項所述的網路訓練方法訓練得到。
- 一種網路訓練裝置,包括:處理模組,用於對訓練集中的第一圖像進行像素打亂處理,得到第二圖像,其中,所述第一圖像為對原始圖像進行像素打亂後的圖像;提取模組,用於通過神經網路的特徵提取網路對所述第一圖像進行特徵提取,得到第一圖像特徵,及通過特徵提取網路對所述第二圖像進行特徵提取,得到第二圖像特徵;識別模組,用於通過所述神經網路的識別網路對所述第一圖像特徵進行識別處理,得到所述第一圖像的識別結果;訓練模組,用於根據所述識別結果、所述第一圖像特徵及所述第二圖像特徵,訓練所述神經網路。
- 一種圖像處理裝置,包括:識別模組,用於通過神經網路對待處理圖像進行圖像識別,得到識別結果,所述神經網路通過請求項1至7中任一項所述的網路訓練方法訓練得到。
- 一種電子設備,包括:處理器;用於儲存處理器可執行指令的儲存器; 其中,所述處理器被配置為調用所述儲存器儲存的指令,以執行請求項1至8中任意一項所述的方法。
- 一種電腦可讀儲存媒體,其上儲存有電腦程式指令,所述電腦程式指令被處理器執行時實現請求項1至8中任意一項所述的方法。
- 一種電腦程式,包括電腦可讀代碼,當所述電腦可讀代碼在電子設備中運行時,所述電子設備的處理器執行用於實現請求項1至8中任意一項所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010071508.6 | 2020-01-21 | ||
CN202010071508.6A CN111275055B (zh) | 2020-01-21 | 2020-01-21 | 网络训练方法及装置、图像处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202129556A TW202129556A (zh) | 2021-08-01 |
TWI751593B true TWI751593B (zh) | 2022-01-01 |
Family
ID=71003377
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW109121783A TWI751593B (zh) | 2020-01-21 | 2020-06-29 | 網路訓練方法及裝置、圖像處理方法及裝置、電子設備、電腦可讀儲存媒體及電腦程式 |
Country Status (7)
Country | Link |
---|---|
US (2) | US20220114804A1 (zh) |
JP (1) | JP2022521372A (zh) |
KR (1) | KR20210113617A (zh) |
CN (1) | CN111275055B (zh) |
SG (1) | SG11202107979VA (zh) |
TW (1) | TWI751593B (zh) |
WO (1) | WO2021147199A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108960209B (zh) * | 2018-08-09 | 2023-07-21 | 腾讯科技(深圳)有限公司 | 身份识别方法、装置及计算机可读存储介质 |
CN111932479A (zh) * | 2020-08-10 | 2020-11-13 | 中国科学院上海微系统与信息技术研究所 | 数据增强方法、系统以及终端 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106022380A (zh) * | 2016-05-25 | 2016-10-12 | 中国科学院自动化研究所 | 基于深度学习的个体身份识别方法 |
TW201824179A (zh) * | 2016-12-30 | 2018-07-01 | 大陸商平安科技(深圳)有限公司 | 圖像篡改檢測方法及裝置 |
CN108256547A (zh) * | 2016-12-29 | 2018-07-06 | 伊莱比特汽车有限责任公司 | 生成用于基于机器学习的对象识别系统的训练图像 |
CN108492248A (zh) * | 2018-01-30 | 2018-09-04 | 天津大学 | 基于深度学习的深度图超分辨率方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6662902B2 (ja) * | 2015-06-05 | 2020-03-11 | グーグル エルエルシー | 空間的変換モジュール |
WO2019031305A1 (ja) * | 2017-08-08 | 2019-02-14 | 国立大学法人横浜国立大学 | ニューラルネットワークシステム、機械学習方法及びプログラム |
CN107730474B (zh) * | 2017-11-09 | 2022-02-22 | 京东方科技集团股份有限公司 | 图像处理方法、处理装置和处理设备 |
US10467526B1 (en) * | 2018-01-17 | 2019-11-05 | Amaon Technologies, Inc. | Artificial intelligence system for image similarity analysis using optimized image pair selection and multi-scale convolutional neural networks |
CN108416744B (zh) * | 2018-01-30 | 2019-11-26 | 百度在线网络技术(北京)有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
CN108764096B (zh) * | 2018-05-21 | 2022-04-29 | 华中师范大学 | 一种行人重识别系统和方法 |
CN109711546B (zh) * | 2018-12-21 | 2021-04-06 | 深圳市商汤科技有限公司 | 神经网络训练方法及装置、电子设备和存储介质 |
CN110033077A (zh) * | 2019-02-11 | 2019-07-19 | 阿里巴巴集团控股有限公司 | 神经网络训练方法以及装置 |
CN109918184B (zh) * | 2019-03-01 | 2023-09-26 | 腾讯科技(深圳)有限公司 | 图片处理系统、方法及相关装置和设备 |
CN109961444B (zh) * | 2019-03-01 | 2022-12-20 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置及电子设备 |
CN110059652B (zh) * | 2019-04-24 | 2023-07-25 | 腾讯科技(深圳)有限公司 | 人脸图像处理方法、装置及存储介质 |
CN110188360B (zh) * | 2019-06-06 | 2023-04-25 | 北京百度网讯科技有限公司 | 模型训练方法和装置 |
-
2020
- 2020-01-21 CN CN202010071508.6A patent/CN111275055B/zh active Active
- 2020-04-27 WO PCT/CN2020/087327 patent/WO2021147199A1/zh active Application Filing
- 2020-04-27 KR KR1020217022451A patent/KR20210113617A/ko not_active Application Discontinuation
- 2020-04-27 SG SG11202107979VA patent/SG11202107979VA/en unknown
- 2020-04-27 JP JP2021544415A patent/JP2022521372A/ja active Pending
- 2020-06-29 TW TW109121783A patent/TWI751593B/zh active
-
2021
- 2021-07-21 US US17/382,183 patent/US20220114804A1/en not_active Abandoned
- 2021-07-23 US US17/384,655 patent/US20210350177A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106022380A (zh) * | 2016-05-25 | 2016-10-12 | 中国科学院自动化研究所 | 基于深度学习的个体身份识别方法 |
CN108256547A (zh) * | 2016-12-29 | 2018-07-06 | 伊莱比特汽车有限责任公司 | 生成用于基于机器学习的对象识别系统的训练图像 |
TW201824179A (zh) * | 2016-12-30 | 2018-07-01 | 大陸商平安科技(深圳)有限公司 | 圖像篡改檢測方法及裝置 |
CN108492248A (zh) * | 2018-01-30 | 2018-09-04 | 天津大学 | 基于深度学习的深度图超分辨率方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2021147199A1 (zh) | 2021-07-29 |
CN111275055A (zh) | 2020-06-12 |
TW202129556A (zh) | 2021-08-01 |
JP2022521372A (ja) | 2022-04-07 |
KR20210113617A (ko) | 2021-09-16 |
US20210350177A1 (en) | 2021-11-11 |
SG11202107979VA (en) | 2021-08-30 |
US20220114804A1 (en) | 2022-04-14 |
CN111275055B (zh) | 2023-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI749423B (zh) | 圖像處理方法及裝置、電子設備和電腦可讀儲存介質 | |
US11532180B2 (en) | Image processing method and device and storage medium | |
TWI773481B (zh) | 圖像處理方法及裝置、電子設備和電腦可讀儲存介質 | |
TWI769635B (zh) | 網路訓練、行人重識別方法、電子設備及電腦可讀存儲介質 | |
WO2021196401A1 (zh) | 图像重建方法及装置、电子设备和存储介质 | |
WO2021031609A1 (zh) | 活体检测方法及装置、电子设备和存储介质 | |
TWI771645B (zh) | 文本識別方法及裝置、電子設備、儲存介質 | |
WO2022134382A1 (zh) | 图像分割方法及装置、电子设备和存储介质、计算机程序 | |
TWI702544B (zh) | 圖像處理方法、電子設備和電腦可讀儲存介質 | |
WO2021036382A9 (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN111539410B (zh) | 字符识别方法及装置、电子设备和存储介质 | |
TW202107337A (zh) | 一種人臉圖像識別方法及裝置、電子設備和電腦可讀儲存媒體 | |
TWI785638B (zh) | 目標檢測方法、電子設備和電腦可讀儲存介質 | |
CN111582383B (zh) | 属性识别方法及装置、电子设备和存储介质 | |
WO2022099989A1 (zh) | 活体识别、门禁设备控制方法和装置、电子设备和存储介质、计算机程序 | |
TWI751593B (zh) | 網路訓練方法及裝置、圖像處理方法及裝置、電子設備、電腦可讀儲存媒體及電腦程式 | |
CN109101542B (zh) | 图像识别结果输出方法及装置、电子设备和存储介质 | |
TW202145064A (zh) | 對象計數方法、電子設備、電腦可讀儲存介質 | |
WO2023040202A1 (zh) | 人脸识别方法及装置、电子设备和存储介质 | |
WO2022141969A1 (zh) | 图像分割方法及装置、电子设备、存储介质和程序 | |
CN110781842A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN113850275A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
TWI770531B (zh) | 人臉識別方法、電子設備和儲存介質 | |
CN110909562A (zh) | 视频审核方法及装置 | |
CN114519800A (zh) | 图像分类方法及装置、电子设备和存储介质 |