TW202036476A - 圖像處理方法及裝置、電子設備和儲存介質 - Google Patents

圖像處理方法及裝置、電子設備和儲存介質 Download PDF

Info

Publication number
TW202036476A
TW202036476A TW108146760A TW108146760A TW202036476A TW 202036476 A TW202036476 A TW 202036476A TW 108146760 A TW108146760 A TW 108146760A TW 108146760 A TW108146760 A TW 108146760A TW 202036476 A TW202036476 A TW 202036476A
Authority
TW
Taiwan
Prior art keywords
image
image feature
feature
matrix
weight
Prior art date
Application number
TW108146760A
Other languages
English (en)
Other versions
TWI778313B (zh
Inventor
吳佳飛
梁明亮
Original Assignee
大陸商上海商湯智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商上海商湯智能科技有限公司 filed Critical 大陸商上海商湯智能科技有限公司
Publication of TW202036476A publication Critical patent/TW202036476A/zh
Application granted granted Critical
Publication of TWI778313B publication Critical patent/TWI778313B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Silver Salt Photography Or Processing Solution Therefor (AREA)
  • Electric Double-Layer Capacitors Or The Like (AREA)

Abstract

本公開實施例公開了一種圖像處理方法及裝置、電子設備和儲存介質，其中，所述方法包括：分別獲取針對同一對象的多個圖像的圖像特徵；根據各圖像的圖像特徵，確定與各所述圖像特徵一一對應的權重係數；基於各所述圖像特徵的權重係數，對所述多個圖像的圖像特徵執行特徵融合處理，得到所述多個圖像的融合特徵。本公開實施例能夠提高融合特徵的精度。

Description

圖像處理方法及裝置、電子設備和儲存 介質
本公開關於電腦視覺領域，特別關於一種圖像處理方法及裝置、電子設備和儲存介質。
特徵融合是電腦視覺及智慧視頻監控領域的重要問題之一。例如人臉特徵融合在在很多領域有重要應用意義，如可以應用到人臉識別系統等。目前，通常是將多幀圖像的特徵直接取均值作為融合後的特徵，這種方法雖然簡單但性能較差，特別是對異常值的魯棒性很差。
本公開實施例提供了一種圖像處理方法及裝置、電子設備和儲存介質。
根據本公開實施例的第一方面，提供了一種圖像處理方法，包括：分別獲取針對同一對象的多個圖像的圖像特徵；根據各圖像的圖像特徵，確定與各所述圖像特徵一一對應的權重係數；基於各所述圖像特徵的權重係數，對所 述多個圖像的圖像特徵執行特徵融合處理，得到所述多個圖像的融合特徵。
在一些可能的實施方式中，所述根據各圖像的圖像特徵，確定與各所述圖像特徵一一對應的權重係數，包括：基於各圖像的所述圖像特徵形成圖像特徵矩陣；對所述圖像特徵矩陣執行特徵擬合處理，得到第一權重矩陣；基於所述第一權重矩陣確定各圖像特徵對應的所述權重係數。
在一些可能的實施方式中，所述對所述圖像特徵矩陣執行特徵擬合處理，得到第一權重矩陣，包括：利用正則化線性最小二乘估計演算法對所述圖像特徵矩陣執行特徵擬合處理，並在預設目標函數為最小值的情況下得到所述第一權重矩陣。
在一些可能的實施方式中，所述基於所述第一權重矩陣確定各圖像特徵對應的所述權重係數，包括：將所述第一權重矩陣中包括的各第一權重係數確定為各圖像特徵對應的所述權重係數；或者，對所述第一權重矩陣執行第一優化處理，並將優化後的第一權重矩陣中包括的各第一權重係數確定為各圖像特徵對應的所述權重係數。
在一些可能的實施方式中，所述對所述第一權重矩陣執行第一優化處理，包括：基於所述第一權重矩陣中包括的各圖像特徵的第一權重係數，確定各圖像的擬合圖像特徵，所述擬合圖像特徵為所述圖像特徵與相應的第一權重係數的乘積；利用各圖像的圖像特徵和所述擬合圖像特徵之間的第一誤差，執行所述第一權重矩陣的第一優化處理，得 到第一優化權重矩陣；回應於所述第一權重矩陣和第一優化權重矩陣之間的差值滿足第一條件，將所述第一優化權重矩陣確定為優化後的所述第一權重矩陣，以及，回應於第一權重矩陣和第一優化權重矩陣之間的差值不滿足第一條件，利用所述第一優化權重矩陣獲得新的擬合圖像特徵，基於所述新的擬合圖像特徵重複執行所述第一優化處理，直至得到的第k優化權重矩陣與所述第k-1優化權重矩陣之間的差值滿足所述第一條件，將第k優化權重矩陣確定為優化後的第一權重矩陣，其中k為大於1的正整數。
在一些可能的實施方式中，所述利用各圖像的圖像特徵和所述擬合圖像特徵之間的第一誤差，執行所述第一權重矩陣的第一優化處理，包括：根據各圖像特徵和所述擬合圖像特徵中相應元素之間的差值的平方和，得到所述圖像特徵和所述擬合圖像特徵之間的第一誤差；基於各所述第一誤差得到各圖像特徵的第二權重係數；基於各圖像的第二權重係數執行所述第一權重矩陣的第一優化處理，得到所述第一權重矩陣對應的第一優化權重矩陣。
在一些可能的實施方式中，所述基於各所述第一誤差得到各圖像特徵的第二權重係數，包括：通過第一方式，基於各所述第一誤差得到各圖像特徵的第二權重係數，其中所述第一方式的運算式為：
Figure 108146760-A0101-12-0003-1
其中，w i 為第i個圖像的第二權重係數，e i 表示第i個圖像特徵與其對應的擬合圖像特徵之間的第一誤差，i為1到N之間的整數，N為圖像特徵的數量，k=1.345σ，σ是誤差e i 的標準差。
在一些可能的實施方式中，所述根據各圖像的圖像特徵，確定與各所述圖像特徵一一對應的權重係數，還包括：基於各圖像的所述圖像特徵形成圖像特徵矩陣；對所述圖像特徵矩陣執行中值濾波處理，得到中值特徵矩陣；基於所述中值特徵矩陣確定各圖像特徵對應的所述權重係數。
在一些可能的實施方式中，所述對所述圖像特徵矩陣執行中值濾波處理，得到中值特徵矩陣，包括：確定所述圖像特徵矩陣中各所述圖像特徵針對同一位置的元素中值；基於每個位置的元素中值得到所述中值特徵矩陣。
在一些可能的實施方式中，所述基於所述中值特徵矩陣確定各圖像特徵對應的所述權重係數，包括：獲取各圖像特徵與所述中值特徵矩陣之間的第二誤差；回應於圖像特徵與中值特徵矩陣之間的所述第二誤差滿足第二條件，將該圖像特徵的權重係數配置為第一權值，回應於圖像特徵與中值特徵矩陣之間的所述第二誤差不滿足第二條件，利用第二方式確定該圖像特徵的權重係數。
在一些可能的實施方式中，所述第二方式的運算式為：
Figure 108146760-A0101-12-0004-3
Figure 108146760-A0101-12-0005-5
其中，b h 為通過第二方式確定的第h個圖像的權重係數，e h 為第h個圖像的圖像特徵與中值特徵矩陣之間的第二誤差，h為1到N的整數值，N表示圖像的數量。
在一些可能的實施方式中，所述第二條件為：
e h >K．MADN；
MADN=median([e 1,e 2,...e N ])/0.675；
其中，e h 為第h個圖像的圖像特徵與中值特徵矩陣之間的第二誤差，h為1到N的整數值，N表示圖像的數量，K為判斷閾值，median表示中值濾波函數。
在一些可能的實施方式中，所述基於各所述圖像特徵的權重係數，對所述多個圖像的圖像特徵執行特徵融合處理，得到所述多個圖像的融合特徵，包括：利用各圖像特徵與對應的權重係數之間的乘積的加和值，得到所述融合特徵。
在一些可能的實施方式中，所述方法還包括：利用所述融合特徵執行所述相同對象的識別操作。
在一些可能的實施方式中，在一些可能的實施方式中，所述根據各圖像的圖像特徵，確定與各所述圖像特徵對應的權重係數之前，所述方法還包括：獲取針對權重係數的獲取模式的選擇資訊；基於所述選擇資訊確定所述權重係數的獲取模式；基於確定的所述權重係數的獲取模式，執行所述根據各圖像的圖像特徵，確定與各所述圖像特徵對應的權重係數；所述權重係數的獲取模式包括利用特徵擬合的 方式獲取所述權重係數和利用中值濾波的方式獲取所述權重係數。
根據本公開實施例的第二方面，提供了一種圖像處理裝置，其包括：獲取模組，配置為分別獲取針對同一對象的多個圖像的圖像特徵；確定模組，配置為根據各圖像的圖像特徵，確定與各所述圖像特徵一一對應的權重係數；融合模組，配置為基於各所述圖像特徵的權重係數，對所述多個圖像的圖像特徵執行特徵融合處理，得到所述多個圖像的融合特徵。
在一些可能的實施方式中，所述確定模組包括：第一建立單元，配置為基於各圖像的所述圖像特徵形成圖像特徵矩陣；擬合單元，配置為對所述圖像特徵矩陣執行特徵擬合處理，得到第一權重矩陣；第一確定單元，配置為基於所述第一權重矩陣確定各圖像特徵對應的所述權重係數。
在一些可能的實施方式中，所述擬合單元還配置為利用正則化線性最小二乘估計演算法對所述圖像特徵矩陣執行特徵擬合處理，並在預設目標函數為最小值的情況下得到所述第一權重矩陣。
在一些可能的實施方式中，所述確定模組還包括優化單元，配置為對所述第一權重矩陣執行第一優化處理；所述第一確定單元還配置為將所述第一權重矩陣中包括的各第一權重係數確定為各圖像特徵對應的所述權重係 數；或者將優化後的第一權重矩陣中包括的各第一權重係數確定為各圖像特徵對應的所述權重係數。
在一些可能的實施方式中，所述優化單元還配置為基於所述第一權重矩陣中包括的各圖像特徵的第一權重係數，確定各圖像的擬合圖像特徵；利用各圖像的圖像特徵和所述擬合圖像特徵之間的第一誤差，執行所述第一權重矩陣的第一優化處理，得到第一優化權重矩陣；回應於所述第一權重矩陣和第一優化權重矩陣之間的差值滿足第一條件，將所述第一優化權重矩陣確定為優化後的所述第一權重矩陣；以及，回應於第一權重矩陣和第一優化權重矩陣之間的差值不滿足第一條件，利用所述第一優化權重矩陣獲得新的擬合圖像特徵，基於所述新的擬合圖像特徵重複執行所述第一優化處理，直至得到的第k優化權重矩陣與所述第k-1優化權重矩陣之間的差值滿足所述第一條件，將第k優化權重矩陣確定為優化後的第一權重矩陣，其中k為大於1的正整數；其中，所述擬合圖像特徵為所述圖像特徵與相應的第一權重係數的乘積。
在一些可能的實施方式中，所述優化單元還配置為根據各圖像特徵和所述擬合圖像特徵中相應元素之間的差值的平方和，得到所述圖像特徵和所述擬合圖像特徵之間的第一誤差；基於各所述第一誤差得到各圖像特徵的第二權重係數；基於各圖像的第二權重係數執行所述第一權重矩陣的第一優化處理，得到所述第一權重矩陣對應的第一優化權重矩陣。
在一些可能的實施方式中，所述優化單元還用於通過第一方式，基於各所述第一誤差得到各圖像特徵的第二權重係數，其中，所述第一方式的運算式為：
Figure 108146760-A0101-12-0008-6
其中，w i 為第i個圖像的第二權重係數，e i 表示第i個圖像特徵與其對應的擬合圖像特徵之間的第一誤差，i為1到N之間的整數，N為圖像特徵的數量，k=1.345σ，σ是誤差e i 的標準差。
在一些可能的實施方式中，所述確定模組還包括：第二建立單元，配置為基於各圖像的所述圖像特徵形成圖像特徵矩陣；濾波單元，配置為對所述圖像特徵矩陣執行中值濾波處理，得到中值特徵矩陣；第二確定單元，配置為基於所述中值特徵矩陣確定各圖像特徵對應的所述權重係數。
在一些可能的實施方式中，所述濾波單元還配置為確定所述圖像特徵矩陣中各所述圖像特徵針對同一位置的元素中值；基於每個位置的元素中值得到所述中值特徵矩陣。
在一些可能的實施方式中，所述第二確定單元還配置為獲取各圖像特徵與所述中值特徵矩陣之間的第二誤差；回應於圖像特徵與中值特徵矩陣之間的所述第二誤差滿足第二條件，將該圖像特徵的權重係數配置為第一權值； 回應於圖像特徵與中值特徵矩陣之間的所述第二誤差不滿足第二條件，利用第二方式確定該圖像特徵的權重係數。
在一些可能的實施方式中，所述第二方式的運算式為：
Figure 108146760-A0101-12-0009-7
其中，b h 為通過第二方式確定的第h個圖像的權重係數，e h 為第h個圖像的圖像特徵與中值特徵矩陣之間的第二誤差，h為1到N的整數值，N表示圖像的數量。
在一些可能的實施方式中，所述第二條件為：
e h >K．MADN；
MADN=median([e 1,e 2,...e N ])/0.675；
其中，e h 為第h個圖像的圖像特徵與中值特徵矩陣之間的第二誤差，h為1到N的整數值，N表示圖像的數量，K為判斷閾值，median表示中值濾波函數。
在一些可能的實施方式中，所述融合模組還配置為利用各圖像特徵與對應的權重係數之間的乘積的加和值，得到所述融合特徵。
在一些可能的實施方式中，所述裝置還包括識別模組，配置為利用所述融合特徵執行所述相同對象的識別操作。
在一些可能的實施方式中，所述裝置還包括模式確定模組，配置為針對權重係數的獲取模式的選擇資訊， 並基於所述選擇資訊確定所述權重係數的獲取模式，所述權重係數的獲取模式包括利用特徵擬合的方式獲取所述權重係數和利用中值濾波的方式獲取所述權重係數。
所述確定模組還配置為基於確定的所述權重係數的獲取模式，執行所述根據各圖像的圖像特徵，確定與各所述圖像特徵對應的權重係數。
根據本公開實施例的第三方面，提供了一種電子設備，其包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為：執行第一方面中任意一項所述的方法。
根據本公開實施例的第四方面，提供了一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現第一方面中任意一項所述的方法。
本公開實施例可以對同一對象的不同特徵進行融合，其中，可以根據該同一對象的不同圖像的圖像特徵，確定每個圖像特徵對應的權重係數，通過該權重係數執行圖像特徵的特徵融合，由於可以為每個圖像特徵確定不同的權重係數，因此，本公開實施例的技術方案能夠提高特徵融合的精度。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本公開。
根據下面參考附圖對示例性實施例的詳細說明，本公開實施例的其它特徵及方面將變得清楚。
10‧‧‧獲取模組
20‧‧‧確定模組
30‧‧‧融合模組
800‧‧‧電子設備
802‧‧‧處理組件
804‧‧‧記憶體
806‧‧‧電源組件
808‧‧‧多媒體組件
810‧‧‧音頻組件
812‧‧‧輸入/輸出介面
814‧‧‧感測器組件
816‧‧‧通信組件
820‧‧‧處理器
1900‧‧‧電子設備
1922‧‧‧處理組件
1926‧‧‧電源組件
1932‧‧‧記憶體
1950‧‧‧網路介面
1958‧‧‧輸入輸出介面
此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本公開的實施例，並與說明書一起用於說明本公開的技術方案。
圖1示出根據本公開實施例的一種圖像處理方法的流程圖；
圖2示出根據本公開實施例的一種圖像處理方法中確定獲取權重係數的方式的流程圖；
圖3示出根據本公開實施例的一種圖像處理方法中步驟S20的流程圖；
圖4示出根據本公開實施例的一種圖像處理方法中執行第一優化處理的流程圖；
圖5示出根據本公開實施例的一種圖像處理方法中步驟S232的流程圖；
圖6示出根據本公開實施例的一種圖像處理方法中步驟S20的流程圖；
圖7示出根據本公開實施例的一種圖像處理方法中步驟S203的流程圖；
圖8示出根據本公開實施例的一種圖像處理裝置的方塊圖；
圖9示出根據本公開實施例的一種電子設備800的方塊圖；
圖10示出根據本公開實施例的一種電子設備1900的方塊圖。
以下將參考附圖詳細說明本公開的各種示例性實施例、特徵和方面。附圖中相同的附圖標記表示功能相同或相似的元件。儘管在附圖中示出了實施例的各種方面，但是除非特別指出，不必按比例繪製附圖。
在這裡專用的詞“示例性”意為“用作例子、實施例或說明性”。這裡作為“示例性”所說明的任何實施例不必解釋為優於或好於其它實施例。
本文中術語“和/或”，僅僅是一種描述關聯對象的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外，為了更好地說明本公開，在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解，沒有某些具體細節，本公開實施例同樣可以實施。在一些實例中，對於本領域技術人員熟知的方法、手段、元件和電路未作詳細描述，以便於凸顯本公開實施例的主旨。
本公開實施例提供了一種圖像處理方法，該方法可以執行多個圖像的特徵融合處理，其可以應用到任意的電子設備或者伺服器中，例如，電子設備可以包括使用者設備(UE，User Equipment)、移動設備、蜂窩電話、無線電話、個人數位助理(PDA，Personal Digital Assistant)、手持設備、計算設備、車載設備、可穿戴設備等。伺服器可以包括本機伺服器或者雲端伺服器。在一些可能的實現方式中，該圖像生成方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。上述僅為設備的示例性說明，不作為本公開的具體限定，在其他實施例中，也可以通過其他能夠執行圖像處理的設備實現。
圖1示出根據本公開實施例的一種圖像處理方法的流程圖。所述圖像處理方法包括如下。
S10：獲取針對同一對象的多個圖像的圖像特徵。
本公開實施例中，可以對同一對象的不同圖像的特徵執行特徵融合處理。其中，對象的類型可以為任意的類型，例如可以為人、動物、植物、車輛、卡通形象等，本公開實施例對此不作具體限定。針對同一對象的不同圖像可以為在相同場景下拍攝的不同圖像，也可以為不同場景下拍攝的圖像，同時本公開實施例對獲取圖像的時間也不作具體限定，獲取各圖像的時間可以相同，也可以不同。
本公開實施例可以首先獲取上述同一對象的多個圖像。其中，獲取多個圖像的方式可以包括：通過攝影設 備採集多個圖像，或者也可以通過與其他設備通信、接收其他設備通信傳輸的多個圖像，或者也可以讀取本地或者特定網路位址中儲存的多個圖像，上述僅為示例性說明，在其他實施例中也可以通過其他方式獲得針對相同對象的多個圖像。
在獲取多個圖像之後，可以分別提取各圖像中的圖像特徵。在一些可能的實施方式中，可以通過特徵提取演算法提取圖像特徵，特徵提取演算法例如人臉特徵提取演算法、邊緣特徵提取演算法等演算法，或者也可以通過其他特徵提取演算法提取對象的相關特徵。或者，本公開實施例也可以通過具有特徵提取功能的神經網路提取各圖像中的圖像特徵。其中，圖像特徵可以反映相應的圖像的特徵資訊，或者反映圖像中的對象的特徵資訊。示例性的，圖像特徵可以為圖像中各像素點的灰度值。
本公開實施例中，在圖像中包括的對象為人物對象時，獲取的圖像特徵可以為該對象的人臉特徵。例如，可以通過面部特徵提取演算法對各圖像進行處理，提取出圖像中的人臉特徵。或者，也可以將各圖像輸入至能夠獲取圖像中的人臉特徵的神經網路中，通過神經網路得到各圖像的人臉特徵。其中，該神經網路可以為訓練完成後能夠獲取圖像的圖像特徵進而執行圖像中對象識別的神經網路，可以將神經網路最後一層卷積層處理(得到的特徵在分類識別之前的特徵)的結果作為本公開實施例的圖像特徵，神經網路可以為卷積神經網路。或者，針對其他類型的對象，也可以通 過相應的特徵提取演算法或者神經網路得到對應的圖像特徵，本公開實施例對此不作具體限定。
本公開實施例中，圖像特徵可以為特徵向量的形式，例如第i個圖像的圖像特徵(如人臉特徵)可以表示成：X i =[x i1,x i2,x i3,...,x iD ]，其中D表示圖像特徵的維度，i為1到N之間的整數，N表示圖像的數量。
S20：根據各圖像的圖像特徵，確定與各所述圖像特徵一一對應的權重係數。
本公開實施例可以根據各圖像的圖像特徵中的特徵參數，確定各圖像特徵的權重係數，該權重係數可以為[0,1]之間的數值，或者也可以為其他數值，本公開實施例對此不作具體限定。通過為各圖像特徵配置不同的權重係數，可以突出精度較高的圖像特徵，從而可以提高特徵融合處理得到的融合特徵的精度。
S30：基於各所述圖像特徵的權重係數，對所述多個圖像的圖像特徵執行特徵融合處理，得到所述多個圖像的融合特徵。
本公開實施例，執行特徵融合處理的方式可以包括：利用各圖像特徵與對應的權重係數之間的乘積的加和值，得到所述融合特徵。例如可以通過下式得到各圖像特徵的融合特徵：
Figure 108146760-A0101-12-0015-8
其中，G表示生成的融合特徵，i為1到N之間的整數值，N表示圖像的數量，b i 表示第i個圖像的圖像特徵X i 的權重係數。
也就是說，本公開實施例可以將圖像特徵與相應的權重係數執行相乘處理，而後將各相乘處理得到的相乘結果進行加和處理，即可以得到本公開實施例的融合特徵。
通過本公開實施例，可以根據圖像特徵中的特徵參數確定與每個圖像特徵對應的權重係數，根據權重係數獲得各圖像的融合特徵，而不是簡單直接的取各圖像特徵的均值，得到融合特徵，提高了融合特徵的精度，並且同樣具有簡單方便的特點。
下面結合附圖對本公開實施例的各過程進行詳細的說明。
本公開實施例中，在獲取相同對象的各不同圖像的圖像特徵之後，即可以確定各圖像特徵的權重係數。在一些可能的實施方式中，可以通過特徵擬合的方式得到各權重係數，在另一些可能的實施方式中，可以通過中值濾波的方式得到各權重係數，或者在其他的實施方式中，也可以通過均值或者其他處理的得到各權重係數，本公開實施例對此不作具體限定。
本公開實施例在執行步驟S20獲取各權重係數之前，可以首先確定獲取各權重係數的方式，如特徵擬合的方式或者中值濾波的方式。圖2示出根據本公開實施例的一種圖像處理方法中確定獲取權重係數的方式的流程圖。在所 述根據各圖像的圖像特徵，確定與各所述圖像特徵對應的權重係數之前，所述方法還包括如下。
S41：獲取針對權重係數的獲取模式的選擇資訊。
其中，該選擇資訊為關於執行獲取權重係數的操作的模式選擇資訊，例如選擇資訊可以為利用第一模式(如特徵擬合的方式)獲取所述權重係數的第一選擇資訊，或者可以為利用第二模式(如中值濾波的方式)獲取所述權重係數的第二選擇資訊。或者，也可以包括利用其他模式獲取權重係數的選擇資訊，本公開實施例對此不作具體限定。
其中，獲取該選擇資訊的方式可以包括接收輸入元件接收的輸入資訊，基於該輸入資訊確定所述選擇資訊。本公開實施例中，輸入元件可以包括開關、鍵盤、滑鼠、音頻接收介面、觸控板、觸控式螢幕、通信介面等，本公開實施例對此不作具體限定，只要能夠接收選擇資訊即可以作為本公開實施例。
S42：基於所述選擇資訊確定所述權重係數的獲取模式。
由於選擇資訊中包括了關於權重資訊的獲取模式的相關資訊，即可以根據接收的選擇資訊獲得相應的模式資訊。如在選擇資訊包括第一選擇資訊的情況下，可以確定為利用第一模式(特徵擬合的方式)執行權重係數的獲取；在選擇資訊包括第二選擇資訊的情況下，可以確定為利用第二模式(中值濾波的方式)執行權重係數的獲取。相應的， 在選擇資訊中包括其他選擇資訊時，可以相應的確定與選擇資訊對應的獲取權重係數的方式。
在一些可能的實施方式中，不同的權重係數的獲取模式的精度或者運算量、運算速度中的至少一種可以不同。例如第一模式的精度可以高於第二模式的精度，第一模式的運算速度可以低於第二模式的運算速度，但不作為本公開實施例的具體限定。因此，本公開實施例中使用者可以根據不同的需求選擇適應的模式執行權重參數的獲取。
S43：基於確定的所述權重係數的獲取模式，執行所述根據各圖像的圖像特徵，確定與各所述圖像特徵對應的權重係數；其中，所述權重係數的獲取模式包括利用特徵擬合的方式獲取所述權重係數和利用中值濾波的方式獲取所述權重係數。
在基於選擇資訊確定了權重係數的獲取模式之後，即可以按照確定的模式執行權重資訊的獲取操作。
本公開實施例中，通過上述方式可以實現權重係數的獲取模式的選擇，在不同的需求的情況下，可以採用不同的模式執行權重係數的獲取，具有更好的適用性。
下面對本公開實施例的獲取權重係數的方式進行詳細說明。圖3示出根據本公開實施例的一種圖像處理方法中步驟S20的流程圖，其中，所述根據各圖像的圖像特徵，確定與各所述圖像特徵對應的權重係數(步驟S20)可以包括如下。
S21：基於各圖像的所述圖像特徵形成圖像特徵矩陣。
本公開實施例中，各圖像的圖像特徵可以按照特徵向量的方式表示，例如第i個圖像的圖像特徵可以表示為X i =[x i1,x i2,x i3,...,x iD ]，其中D表示圖像特徵的維度，i為1到N之間的整數，N表示圖像的數量。並且，本公開實施例中，各圖像的圖像特徵的維度相同，均為D。
根據每個圖像的圖像特徵形成的圖像特徵矩陣X可以表示為：
Figure 108146760-A0101-12-0019-9
基於上述運算式(2)，即可以得到每個圖像特徵構成的圖像特徵矩陣，通過上述方式中，可以將圖像特徵矩陣中每行的元素作為一個圖像的圖像特徵，各行對應的圖像特徵為不同圖像的圖像特徵。在其他實施方式中，也可以將圖像特徵矩陣中每列的元素作為一個圖像的圖像特徵，各列對應的圖像特徵為不同圖像的圖像特徵，本公開實施例對圖像特徵矩陣的排列方式不作具體限定。
S22：對所述圖像特徵矩陣執行特徵擬合處理，得到第一權重矩陣。
在獲得各圖像特徵對應的圖像特徵矩陣之後，即可以執行圖像特徵矩陣的特徵擬合處理，本公開實施例可以利用正則化線性最小二乘估計演算法(regularized least-square linear regression)執行該特徵擬合處理。例如可以設定預設目標函數，該預設目標函數為與權重係數相關的函數，在該預設目標函數取最小值的情況下，確定由各權重係數對應的第一權重矩陣，該第一權重矩陣的維度與圖像特徵的數量相同，並且根據第一權重矩陣中的各元素可以確定最終的權重係數。
在一些可能的實施方式中，預設的目標函數的運算式可以為：
Figure 108146760-A0101-12-0020-11
其中，X表示圖像特徵矩陣，b=[b 1,b 2,...,b N ] T 表示待估計的第一權重矩陣，Y表示觀察矩陣，該觀察矩陣與X相同，X T 表示X的轉置矩陣，λ表示正則化參數，
Figure 108146760-A0101-12-0020-36
表示參數的L2norm(標準)正則化項。
在一些可能的實施方式中，如果圖像特徵為行向量，則生成的第一權重矩陣則為列向量；相反的，如果圖像特徵為列向量，則生成的第一權重矩陣則為行向量。並且，第一權重矩陣的維度與圖像特徵或者圖像的數量相同。
本公開實施例可以確定在上述目標函數為最小值的情況下，第一權重矩陣b的取值，此時可以得到最終的第一權重矩陣，該第一權重矩陣的運算式可以為：
b=(X T X+λI)-1 X T Y (4)
通過上述實施例，即可以得到特徵擬合處理得到的第一權重矩陣。在本公開的其他實施方式中，也可以通過其他特徵擬合的方式執行圖像特徵矩陣的特徵擬合處 理，得到相應的第一權重矩陣，或者也可以設定不同的預設目標函數，執行特徵擬合處理，本公開實施例對此不作具體限定。
S23：基於所述第一權重矩陣確定各圖像特徵對應的所述權重係數。
在得到第一權重矩陣之後，即可以根據得到的第一權重矩陣確定圖像特徵對應的權重係數。
其中，在一些可能的實施方式中，可以直接將第一權重矩陣中包括的各元素作為權重係數，即可以將第一權重矩陣中包括的各第一權重係數確定為各圖像特徵對應的權重係數。在得到的第一權重矩陣為b=[b 1,b 2,...,b N ] T 的情況下，第i個圖像的圖像特徵X i 的權重係數即可以為b i 。
在本公開的另一些實施方式中，為了進一步提高權重係數的精度，還可以對第一權重矩陣執行優化處理得到優化後的第一權重矩陣，並根據優化後的第一權重矩陣中的元素作為各圖像特徵的權重係數。即可以對所述第一權重矩陣執行第一優化處理，並將優化後的第一權重矩陣中包括的各第一權重係數確定為每個圖像特徵對應的所述權重係數。通過該第一優化處理可以檢測出第一權重矩陣中的異常值，並可以對該異常值執行相應的優化處理，提高得到的權重矩陣的精度。
圖4示出根據本公開實施例的一種圖像處理方法中執行第一優化處理的流程圖。其中，對所述第一權重矩陣執行第一優化處理，並將優化後的第一權重矩陣中包括的 各第一權重係數確定為每個圖像特徵對應的所述權重係數，可以包括如下。
S231：基於所述第一權重矩陣中包括的各圖像特徵的第一權重係數，確定各圖像的擬合圖像特徵，所述擬合圖像特徵為所述圖像特徵與相應的第一權重係數的乘積。
本公開實施例中，可以首先基於確定的第一權重矩陣得到各圖像特徵的擬合圖像特徵。其中，可以將第一權重矩陣中包括的各圖像特徵的第一權重係數與相應的圖像特徵執行相乘處理，得到該圖像特徵的擬合圖像特徵。例如，可以將第一權重矩陣中的第i個圖像的圖像特徵X i 的第一權重係數b i 與該圖像特徵X i 相乘，得到擬合圖像特徵b i X i 。
S232：利用各圖像的圖像特徵和所述擬合圖像特徵之間的第一誤差，執行所述第一權重矩陣的第一優化處理，得到第一優化權重矩陣。
在得到擬合圖像特徵之後，可以得到圖像特徵和與其對應的擬合圖像特徵之間的第一誤差。本公開實施例可以按照下式得到圖像特徵和擬合圖像特徵之間的第一誤差：
Figure 108146760-A0101-12-0022-12
其中，e i 表示第i個圖像特徵與其對應的擬合圖像特徵之間的第一誤差，i為1到N之間的整數，N為圖像特徵的數量，j為1到D之間的整數，D表示各圖像特徵的維度，X i 表 示第i個圖像的圖像特徵，b i X i 表示第i個圖像特徵對應的擬合圖像特徵。
在本公開的其他實施方式中，也可以通過其他方式確定圖像特徵和擬合圖像特徵之間的第一誤差，例如可以直接將擬合圖像特徵與圖像特徵之間各元素的差值的平均值作為第一誤差，本公開實施例對第一誤差的確定方式不作具體限定。
在得到第一誤差之後，即可以利用該第一誤差執行第一權重矩陣的第一次優化處理過程，得到第一優化權重矩陣。其中，該第一優化權重矩陣中的元素同樣可以表示與各圖像特徵對應的第一次優化後的權重係數。
S233：判斷所述第一權重矩陣和第一優化權重矩陣之間的差值是否滿足第一條件，如果滿足第一條件則執行步驟S234，如果不滿足第一條件則執行步驟S235。
在通過基於第一誤差得到第一權重矩陣的第一優化處理結果(第一優化權重矩陣)之後，可以判斷該第一優化權重矩陣與第一權重矩陣之間的差值是否滿足第一條件，如果該差值滿足第一條件，說明該第一優化權重矩陣無需在執行進一步的優化，並且可以將該第一優化權重矩陣確定為最終的第一優化處理得到的優化權重矩陣。如果該第一優化權重矩陣與第一權重矩陣之間的差值不滿足第一條件，在則需要對該第一優化權重矩陣繼續進行優化處理。
其中，本公開實施例的第一條件可以第一優化權重矩陣與第一權重矩陣之間的差值的絕對值小於第一閾 值，該第一閾值為預先設定的閾值，其可以為小於1的數值，本公開實施例中，第一閾值的取值可以根據需求設定，本公開實施例對此不做具體限定，例如可以為0.01。
基於上述實施例，即可以得到第一優化權重矩陣和第一權重矩陣之間的差值是否滿足第一條件，並進一步執行相應的後續步驟。
S234：將所述第一優化權重矩陣確定為優化後的第一權重矩陣。
如上述實施例所述，如果判斷出該第一優化權重矩陣與第一權重矩陣之間的差值滿足第一條件，則說明該第一優化權重矩陣無需再執行進一步的優化處理，此時可以直接將該第一優化權重矩陣確定為最終的第一優化處理得到的優化權重矩陣。
S235：利用所述第一優化權重矩陣獲得新的擬合圖像特徵，基於所述新的擬合圖像特徵重複執行所述第一優化處理，直至得到的第k優化權重矩陣與所述第k-1優化權重矩陣之間的差值滿足所述第一條件，將第k個優化權重矩陣確定為優化後的第一權重矩陣，其中k為大於1的正整數。
在一些可能的實施方式中，基於圖像特徵和擬合圖像特徵之間的第一誤差，對圖像特徵的第一優化處理得到的第一優化權重矩陣和第一權重矩陣之間的差值可能不滿足第一條件，例如，該差值大於第一閾值的情況，此時可以繼續利用第一優化權重矩陣中的權重係數得到各圖像特 徵的擬合圖像特徵，再利用圖像特徵和擬合圖像特徵之間的第一誤差進一步執行第二次第一優化處理過程，得到第二優化權重矩陣。
如果該第二優化權重矩陣與第一優化權重矩陣之間的差值滿足第一條件，則可以將該第二優化權重矩陣確定為最終的優化結果，即優化處理後的權重矩陣；如果該第二優化權重矩陣與第一優化權重矩陣之間的差值仍然不滿足第一條件，可以繼續利用第二優化權重矩陣中的權重係數得到各圖像特徵的擬合圖像特徵，並利用該圖像特徵和擬合圖像特徵之間的第一誤差進一步執行第三次第一優化處理過程，得到第三優化權重矩陣，以此類推，直至得到的第k優化權重矩陣與所述第k-1優化權重矩陣之間的差值滿足所述第一條件，此時可以將第k優化權重矩陣確定為優化後的所述第一權重矩陣，其中k為大於1的正整數。
通過上述實施例即可以完成根據圖像特徵和擬合圖像特徵之間的第一誤差，執行第一優化處理並得到優化後的第一權重矩陣的過程。本公開實施例中，第一優化處理的反覆運算函數的運算式可以為：
b (t)=(X T W (t-1) X+λI)-1 X T W (t-1) Y (6)
其中，t表示反覆運算次數(即第一優化處理的次數)，b (t)表示第t次第一優化處理得到的第一優化權重矩陣，X表示圖像特徵矩陣，Y表示觀察矩陣，該觀察矩陣與X相同，W (t-1)表示第t-1次反覆運算得到的第二權重係數w i 的對角陣，I為對角陣，λ表示正則化參數。從上述實施例可以得到， 本公開實施例可以在每次執行第一優化處理時，通過調整第二權重係數w i 對權重矩陣進行優化處理。
本公開實施例結合對第一權重矩陣的第一次第一優化處理的過程對第一優化處理進行說明，圖5示出根據本公開實施例的一種圖像處理方法中步驟S232的流程圖。所述利用各圖像的圖像特徵和所述擬合圖像特徵之間的第一誤差，執行所述第一權重矩陣的第一優化處理，包括如下。
S2321：根據各圖像特徵和所述擬合圖像特徵中相應元素之間的差值的平方和，得到所述圖像特徵和所述擬合圖像特徵之間的第一誤差。
如上述實施例所述，在得到圖像特徵和對應的擬合圖像特徵之後，可以確定每個圖像特徵和相應的擬合圖像特徵之間的第一誤差，第一誤差的確定可參照前述運算式(5)。
S2322：基於各所述第一誤差得到各圖像特徵的第二權重係數。
在確定每個圖像特徵和與其對應的擬合圖像特徵之間的第一誤差之後，可以根據該第一誤差的數值確定圖像特徵的第二權重係數，第二權重係數用於執行第一優化處理。其中可以通過第一方式確定相應的圖像特徵的第二權重係數，第一方式的運算式可以為：
Figure 108146760-A0101-12-0026-13
其中，w i 為第i個圖像的第二權重係數，e i 表示第i個圖像特徵與其對應的擬合圖像特徵之間的第一誤差，i為1到N之間的整數，N為圖像特徵的數量，k=1.345σ，σ是誤差的e i 標準差。本公開實施例中k可以表示誤差閾值，其可以為所有圖像特徵和擬合圖像特徵之間的第一誤差的標準差的1.348=5倍，在其他實施方式中，該k值可以為其他取值，如可以為0.6等，不作為本公開實施例的具體限定。
在得到各圖像特徵和擬合圖像特徵之間的第一誤差之後，可以將該第一誤差與誤差閾值k進行比較，如果第一誤差小於k，則可以將相應的圖像特徵對應的第二權重係數確定為第一數值，如1；如果第一誤差大於或者等於k，則可以根據第一誤差確定圖像特徵的第二權重係數，此時第二權重係數可以為第二數值，k與第二誤差的絕對值的比值
Figure 108146760-A0101-12-0027-14
。
S2323：基於各圖像的第二權重係數執行所述第一權重矩陣的第一優化處理，得到第一優化權重矩陣。
在得到圖像特徵的第二權重係數之後，即可以利用該第二權重係數執行第一權重矩陣的第一優化處理，其中，可以利用反覆運算函數b (t)=(X T W (t-1) X+λI)-1 X T W (t-1) Y得到第一優化權重矩陣。
本公開實施例中，如果第一優化權重矩陣與第一權重矩陣之間的差值不滿足第一條件，在利用第一權重矩陣中的權重係數得到新的擬合圖像特徵之後，可以根據該圖 像特徵和新的擬合圖像特徵之間的第一誤差重新確定各圖像特徵的第二權重係數，從而根據新的第二權重係數執行上述函數反覆運算，得到第二優化權重矩陣，以此類推，可以得到第k次第一優化處理對應的第k優化權重矩陣。
從而可以進一步在第k次第一優化處理得到的第k優化權重矩陣與第k-1次第一優化處理得到的第k-1優化權重矩陣之間的差值滿足第一條件|b (t-1)-b (t)|<ε，其中，ε為第一閾值，則可以將該第k優化權重矩陣b (t)作為優化後的第一權重矩陣。
基於上述實施例，可以完成通過特徵擬合的方式得到圖像特徵的權重係數的過程，通過該方式得到的權重係數的精度較高且對權重係數中的異常值的魯棒性也較高。
如上述所述，本公開實施例還提供了一種通過中值濾波的方式確定各圖像特徵的權重係數方法。該方法相對於特徵擬合的方式具有更小的運算成本。
圖6示出根據本公開實施例的一種圖像處理方法中步驟S20的流程圖，其中，所述根據各圖像的圖像特徵，確定與各所述圖像特徵對應的權重係數(步驟S20)，還可以包括如下。
S201：基於各圖像的所述圖像特徵形成圖像特徵矩陣。
同步驟S21相同，本公開實施例可以根據每個圖像的圖像特徵形成圖像特徵矩陣，各圖像的圖像特徵可以按照特徵向量的方式表示，例如第i個圖像的圖像特徵可以 表示為X i =[x i1,x i2,x i3,...,x iD ]，其中D表示圖像特徵的維度，i為1到N之間的整數，N表示圖像的數量。並且，本公開實施例中，各圖像的圖像特徵的維度相同，均為D。
根據每個圖像的圖像特徵形成的圖像特徵矩陣X可以如前述運算式(2)表示，即：
Figure 108146760-A0101-12-0029-15
基於上述，即可以得到每個圖像特徵構成的圖像特徵矩陣，通過上述方式中，可以將圖像特徵矩陣中每行的元素作為一個圖像的圖像特徵，各行對應的圖像特徵為不同圖像的圖像特徵。在其他實施方式中，也可以將圖像特徵矩陣中每列的元素作為一個圖像的圖像特徵，各列對應的圖像特徵為不同圖像的圖像特徵，本公開實施例對圖像特徵矩陣的排列方式不作具體限定。
S202：對所述圖像特徵矩陣執行中值濾波處理，得到中值特徵矩陣。
本公開實施例中，在得到圖像特徵矩陣之後，可以對得到的圖像特徵矩陣執行中值濾波處理，得到所述圖像特徵矩陣對應的中值特徵矩陣。其中，中值特徵矩陣中的元素為圖像特徵矩陣中相應元素對應的圖像特徵的中值。
其中，本公開實施例可以確定所述圖像特徵矩陣中各所述圖像特徵針對同一位置的元素中值；基於每個位置的元素中值得到所述中值特徵矩陣。
例如，本公開實施例的圖像特徵矩陣如前述運 算式(2)表示，即：
Figure 108146760-A0101-12-0030-17
， 對應的，可以得到針對每個相同位置的圖像特徵的中值。這裡的“位置”是指各圖像特徵中特徵的順序號對應的位置，例如，各圖像特徵中的第一個元素可以為(x 11，x 21，...，x N1)，或者，元素位置為j的第j個元素可以為(x 1j ，x 2j ，...，x Nj)，通過上述即可以確定相同位置的元素。本公開實施例的得到的中值特徵矩陣的維度可以與圖像特徵的維度相同，中值特徵矩陣可以表示成M=[m 1,m 2,...,m D ]，其中任意第j個元素可以為m j =median([m 1j ,m 2j ,...,m Nj ])，j為1到D之間的整數值。其中，median函數為中值函數，即可以得到[m 1j ,m 2j ,...,m Nj ]中特徵值的大小位於中間位置的值。其中，可以首先對[m 1j ,m 2j ,...,m Nj ]進行從大到小的排序，在N為奇數時，得到的中值即為中間位置(第(N+1)/2)的圖像特徵值(元素值)，在N為偶數時，得到的中值即為最中間的兩個元素值的平均值。
基於上述即可以得到圖像特徵矩陣中各圖像特徵對應的中值特徵矩陣。
S203：基於所述中值特徵矩陣確定各圖像特徵對應的所述權重係數。
在得到圖像特徵對應的中值特徵矩陣之後，可以利用該中值得到圖像特徵的權重係數。
在一些可能的實施方式中，可以利用每個圖像特徵和中值特徵矩陣之間的第二誤差，並根據該第二誤差確定每個圖像特徵的權重係數。
圖7示出根據本公開實施例的一種圖像處理方法中步驟S203的流程圖。其中，所述基於所述中值特徵矩陣確定各圖像特徵對應的所述權重係數，包括如下。
S2031：獲取各圖像特徵與所述中值特徵矩陣之間的第二誤差。
本公開實施例，可以將圖像特徵與中值特徵矩陣中對應元素之間的差值的絕對值之和作為圖像特徵和中值特徵矩陣之間的第二誤差。第二誤差的運算式可以為：
Figure 108146760-A0101-12-0031-18
其中，e h 為第h個圖像的圖像特徵X h 與中值特徵矩陣之間的第二誤差，M表示中值特徵矩陣，X h 表示第h個圖像的圖像特徵，h為1到N之間的整數值。
通過上述實施例，即可以獲得每個圖像特徵與中值特徵矩陣之間的第二誤差，繼而可以通過第二誤差確定權重係數。
S2032：判斷所述第二誤差是否滿足第二條件，如果所述第二誤差滿足第二條件，則執行步驟S2033；如果所述第二誤差不滿足第二條件，則執行步驟S2034。
其中，本公開實施例的第二條件可以第二誤差大於第二閾值，該第二閾值可以預先設定的數值，或者也可 以是通過每個圖像特徵與中值特徵矩陣之間的第二誤差確定的，本公開實施例對此不作具體限定。在一些可能的實施方式中，第二條件的運算式可以為：
e h >K．MADN (9)
MADN=median([e 1,e 2,...e N ])/0.675 (10)
其中，e h 為第h個圖像的圖像特徵與中值特徵矩陣之間的第二誤差，h為1到N的整數值，N表示圖像的數量，K為判斷閾值，該判斷閾值可以為實現設定的數值，如可以為0.8，但不作為本公開實施例的限定，median表示中值濾波函數。即，本公開實施例中的第二閾值可以為各圖像特徵對應的第二誤差的均值與0.675的比值與判斷閾值K的乘積，該判斷閾值可以為小於1的正數。
通過設定的第二條件或者第二閾值即可以判斷圖像特徵和中值特徵矩陣之間的第二誤差是否滿足第二條件，並根據判斷結果執行後續的操作。
S2033：將該圖像特徵的權重係數配置為第一權值。
本公開實施例在圖像特徵與中值特徵矩陣之間的第二誤差滿足第二條件時，例如該第二誤差大於第二閾值，此時說明該圖像特徵可能為存在異常，則可以將第一權值確定為該圖像特徵的權重係數。本公開實施例的第一權值可以為預設的權值係數，例如可以為0，或者在其他實施例中，也可以將第一權值設定成其他值，以減小可能存在異常情況的圖像特徵對融合特徵的影響。
S2034：利用第二方式確定該圖像特徵的權重係數。
本公開實施例在圖像特徵與中值特徵矩陣之間的第二誤差不滿足第二條件時，例如該第二誤差小於或者等於第二閾值的情況，此時說明該圖像特徵相對準確，則可以將按照第二方式基於所述第二誤差確定該圖像特徵的權重係數。其中，所述第二方式的運算式可以為：
Figure 108146760-A0101-12-0033-19
Figure 108146760-A0101-12-0033-20
其中，b h 為通過第二方式確定的第h個圖像的權重係數，e h 為第h個圖像的圖像特徵與中值特徵矩陣之間的第二誤差，h為1到N的整數值，N表示圖像的數量。
在圖像特徵對應的第二誤差小於或者等於第二閾值時，即可以通過上述第二方式得到該圖像特徵的權重係數b h 。
基於本公開實施例，可以通過中值濾波的方式得到各圖像特徵的權重係數，其中，中值濾波確定權重係數的方式可以進一步減少算力開銷，可以有效的降低運算和處理的複雜度，同時也能夠提高得到的融合特徵的精度。
在得到每個圖像特徵的權重係數之後，即可以執行特徵融合處理，例如可以利用每個圖像特徵與對應的權重係數之間的乘積的加和值，得到所述融合特徵。
在本公開一些可能的實施方式中，在得到融合特徵之後，本公開實施例還可以利用融合特徵執行圖像中目標對象的識別操作。例如可以基於融合特徵與資料庫中儲存的各對象的圖像進行比較，如果存在相似度大於相似度閾值的第一圖像，則可以將該目標對象確定為該第一圖像對應的對象，從而完成身份識別、目標識別的操作。在本公開的其他實施例中，也可以執行其他類型的對象的識別操作，本公開對此不作具體限定。
為了更加清楚的說明本公開實施例的過程，下面以人臉圖像為例進行舉例說明。
本公開實施例可以首先獲取關於對象A的不同人臉圖像，例如可以獲得N張人臉圖像，N為大於1的整數。在獲得該N張人臉圖像之後，可以通過能夠提取人臉特徵的神經網路提取該N張人臉圖像中的人臉特徵，形成各圖像的人臉特徵(圖像特徵)X i =[x i1,x i2,x i3,...,x iD ]。
在得到各人臉圖像的人臉特徵之後，可以確定各人臉特徵對應的權重係數。本公開實施例可以採用特徵擬合的方式獲取該權重係數，也可以通過中值濾波的方式獲得該權重係數，具體可以根據接收的選擇資訊確定。其中，在採用特徵擬合的方式時，可以首先獲得各人臉特徵對應的人 臉特徵矩陣
Figure 108146760-A0101-12-0034-21
，對該圖像特徵 進行特徵擬合得到第一權重矩陣，該第一權重矩陣可以表示成b=(X T X+λI)-1 X T Y，而後可以對第一權重矩陣執行第一優化處理，其中，第一優化處理的反覆運算函數表示為b (t)=(X T W (t-1) X+λI)-1 X T W (t-1) Y，獲得優化後的第一權重矩陣，基於該優化後的第一權重矩陣中的參數確定各人臉特徵的權重係數。
在採用中值濾波的方式獲得權重係數時，同樣可以獲取圖像特徵矩陣，再通過獲取圖像特徵矩陣中各圖像特徵對於相同位置的元素的中值，根據獲取的中值確定中值特徵矩陣M=[m 1,m 2,...,m D ]，而後根據每個圖像特徵與該中值特徵矩陣之間的第二誤差確定圖像特徵的權重係數。
在得到每個圖像特徵的權重係數之後，即可以利用權重係數和圖像特徵之間的乘積的加和值，得到融合特徵。同時還可以進一步利用該融合特徵執行目標檢測、目標識別等操作。上述僅為示例性說明本公開實施例的特徵融合過程，不作為本公開實施例的具體限定。
綜上所述，本公開實施例可以對相同對象的不同特徵進行融合，其中，可以根據相同對象的不同圖像的圖像特徵，確定每個圖像特徵對應的權重係數，通過該權重係數執行圖像特徵的特徵融合，該方式能夠提高特徵融合的精度。
本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序 而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
可以理解，本公開提及的上述各個方法實施例，在不違背原理邏輯的情況下，均可以彼此相互結合形成結合後的實施例，限於篇幅，本公開不再贅述。
此外，本公開還提供了圖像處理裝置、電子設備、電腦可讀儲存介質、程式，上述均可用來實現本公開提供的任一種圖像處理方法，相應技術方案和描述和參見方法部分的相應記載，不再贅述。
圖8示出根據本公開實施例的一種圖像處理裝置的方塊圖，如圖8所示本公開實施例的圖像處理裝置可以包括：
獲取模組10，配置為分別獲取針對同一對象的多個圖像的圖像特徵；
確定模組20，配置為根據各圖像的圖像特徵，確定與各所述圖像特徵一一對應的權重係數；
融合模組30，配置為基於各所述圖像特徵的權重係數，對所述多個圖像的圖像特徵執行特徵融合處理，得到所述多個圖像的融合特徵。
在一些可能的實施方式中，所述確定模組20包括：
第一建立單元，配置為基於各圖像的所述圖像特徵形成圖像特徵矩陣；
擬合單元，配置為對所述圖像特徵矩陣執行特徵擬合處理，得到第一權重矩陣；
第一確定單元，配置為基於所述第一權重矩陣確定各圖像特徵對應的所述權重係數。
在一些可能的實施方式中，所述擬合單元還配置為利用正則化線性最小二乘估計演算法對所述圖像特徵矩陣執行特徵擬合處理，並在預設目標函數為最小值的情況下得到所述第一權重矩陣。
在一些可能的實施方式中，所述確定模組20還包括優化單元，配置為對所述第一權重矩陣執行第一優化處理；
所述第一確定單元還配置為將所述第一權重矩陣中包括的各第一權重係數確定為各圖像特徵對應的所述權重係數；或者將優化後的第一權重矩陣中包括的各第一權重係數確定為各圖像特徵對應的所述權重係數。
在一些可能的實施方式中，所述優化單元還配置為基於所述第一權重矩陣中包括的各圖像特徵的第一權重係數，確定各圖像的擬合圖像特徵；利用各圖像的圖像特徵和所述擬合圖像特徵之間的第一誤差，執行所述第一權重矩陣的第一優化處理，得到第一優化權重矩陣；回應於所述第一權重矩陣和第一優化權重矩陣之間的差值滿足第一條件，將所述第一優化權重矩陣確定為優化後的所述第一權重矩陣，以及回應於第一權重矩陣和第一優化權重矩陣之間的差值不滿足第一條件，利用所述第一優化權重矩陣獲得新的 擬合圖像特徵，基於所述新的擬合圖像特徵重複執行所述第一優化處理，直至得到的第k優化權重矩陣與所述第k-1優化權重矩陣之間的差值滿足所述第一條件，將第k優化權重矩陣確定為優化後的第一權重矩陣，其中k為大於1的正整數；其中，所述擬合圖像特徵為所述圖像特徵與相應的第一權重係數的乘積。
在一些可能的實施方式中，所述優化單元還配置為根據各圖像特徵和所述擬合圖像特徵中相應元素之間的差值的平方和，得到所述圖像特徵和所述擬合圖像特徵之間的第一誤差；基於各所述第一誤差得到各圖像特徵的第二權重係數；基於各圖像的第二權重係數執行所述第一權重矩陣的第一優化處理，得到所述第一權重矩陣對應的第一優化權重矩陣。
在一些可能的實施方式中，所述優化單元還配置為通過第一方式，基於各所述第一誤差得到各圖像特徵的第二權重係數，其中所述第一方式的運算式為：
Figure 108146760-A0101-12-0038-22
其中，w i 為第i個圖像的第二權重係數，e i 表示第i個圖像特徵與其對應的擬合圖像特徵之間的第一誤差，i為1到N之間的整數，N為圖像特徵的數量，k=1.345σ，σ是誤差e i 的標準差。
在一些可能的實施方式中，所述確定模組20還包括：
第二建立單元，配置為基於各圖像的所述圖像特徵形成圖像特徵矩陣；
濾波單元，配置為對所述圖像特徵矩陣執行中值濾波處理，得到中值特徵矩陣；
第二確定單元，配置為基於所述中值特徵矩陣確定各圖像特徵對應的所述權重係數。
在一些可能的實施方式中，所述濾波單元還配置為確定所述圖像特徵矩陣中各所述圖像特徵針對同一位置的元素中值；基於每個位置的元素中值得到所述中值特徵矩陣。
在一些可能的實施方式中，所述第二確定單元還配置為獲取各圖像特徵與所述中值特徵矩陣之間的第二誤差；回應於圖像特徵與中值特徵矩陣之間的所述第二誤差滿足第二條件，將該圖像特徵的權重係數配置為第一權值，回應於圖像特徵與中值特徵矩陣之間的所述第二誤差不滿足第二條件，利用第二方式確定該圖像特徵的權重係數。
在一些可能的實施方式中，所述第二方式的運算式為：
Figure 108146760-A0101-12-0039-23
其中，b h 為通過第二方式確定的第h個圖像的權重係數，e h 為第h個圖像的圖像特徵與中值特徵矩陣之間的第二誤差，h為1到N的整數值，N表示圖像的數量。
在一些可能的實施方式中，所述第二條件為：
e h >K．MADN；
MADN=median([e 1,e 2,...e N ])/0.675；
其中，e h 為第h個圖像的圖像特徵與中值特徵矩陣之間的第二誤差，h為1到N的整數值，N表示圖像的數量，K為判斷閾值，median表示中值濾波函數。
在一些可能的實施方式中，所述融合模組30還配置為利用各圖像特徵與對應的權重係數之間的乘積的加和值，得到所述融合特徵。
在一些可能的實施方式中，所述裝置還包括識別模組，配置為利用所述融合特徵執行所述相同對象的識別操作。
在一些可能的實施方式中，所述裝置還包括模式確定模組，配置為針對權重係數的獲取模式的選擇資訊，並基於所述選擇資訊確定所述權重係數的獲取模式，所述權重係數的獲取模式包括利用特徵擬合的方式獲取所述權重係數和利用中值濾波的方式獲取所述權重係數。
所述確定模組20還配置為基於確定的所述權重係數的獲取模式，執行所述根據各圖像的圖像特徵，確定與各所述圖像特徵對應的權重係數。
在一些實施例中，本公開實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述。
本公開實施例還提出一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述方法。電腦可讀儲存介質可以是非易失性電腦可讀儲存介質。
本公開實施例還提出一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為上述方法。
電子設備可以被提供為終端、伺服器或其它形態的設備。
圖9示出根據本公開實施例的一種電子設備800的方塊圖。例如，電子設備800可以是行動電話，電腦，數位廣播終端，消息收發設備，遊戲控制台，平板設備，醫療設備，健身設備，個人數位助理等終端。
參照圖9，電子設備800可以包括以下一個或多個組件：處理組件802、記憶體804、電源組件806、多媒體組件808、音頻組件810、輸入/輸出(I/O)介面812、感測器組件814、以及通信組件816。
處理組件802通常控制電子設備800的整體操作，諸如與顯示、電話呼叫、資料通信、相機操作和記錄操作相關聯的操作。處理組件802可以包括一個或多個處理器820來執行指令，以完成上述的方法的全部或部分步驟。此外，處理組件802可以包括一個或多個模組，便於處理組件802和其他組件之間的交互。例如，處理組件802可以包括 多媒體模組，以方便多媒體組件808和處理組件802之間的交互。
記憶體804被配置為儲存各種類型的資料以支援在電子設備800的操作。這些資料的示例包括用於在電子設備800上操作的任何應用程式或方法的指令，連絡人資料，電話簿資料，消息，圖片，視頻等。記憶體804可以由任何類型的易失性或非易失性儲存裝置或者它們的組合實現，如靜態隨機存取記憶體(SRAM，Static Random Access Memory)，電可擦除可程式設計唯讀記憶體(EEPROM，Electrically Erasable Programmable Read-Only Memory)，可擦除可程式設計唯讀記憶體(EPROM，Erasable Programmable Read-Only Memory)，可程式設計唯讀記憶體(PROM，Programmable Read-Only Memory)，唯讀記憶體(ROM，Read Only Memory)，磁記憶體，快閃記憶體，磁片或光碟。
電源組件806為電子設備800的各種組件提供電力。電源組件806可以包括電源管理系統，一個或多個電源，及其他與為電子設備800生成、管理和分配電力相關聯的組件。
多媒體組件808包括在所述電子設備800和使用者之間的提供一個輸出介面的螢幕。在一些實施例中，螢幕可以包括液晶顯示器(LCD，Liquid Crystal Display)和觸摸面板(TP，Touch Panel)。如果螢幕包括觸摸面 板，螢幕可以被實現為觸控式螢幕，以接收來自使用者的輸入信號。觸摸面板包括一個或多個觸摸感測器以感測觸摸、滑動和觸摸面板上的手勢。所述觸摸感測器可以不僅感測觸摸或滑動動作的邊界，而且還檢測與所述觸摸或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體組件808包括一個前置攝影頭和/或後置攝影頭。當電子設備800處於操作模式，如拍攝模式或視訊模式時，前置攝影頭和/或後置攝影頭可以接收外部的多媒體資料。每個前置攝影頭和後置攝影頭可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音頻組件810被配置為輸出和/或輸入音頻信號。例如，音頻組件810包括一個麥克風(MIC，Microphone)，當電子設備800處於操作模式，如呼叫模式、記錄模式和語音辨識模式時，麥克風被配置為接收外部音頻信號。所接收的音頻信號可以被進一步儲存在記憶體804或經由通信組件816發送。在一些實施例中，音頻組件810還包括一個揚聲器，用於輸出音頻信號。
I/O介面812為處理組件802和週邊介面模組之間提供介面，上述週邊介面模組可以是鍵盤、點擊輪、按鈕等。這些按鈕可包括但不限於：主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。
感測器組件814包括一個或多個感測器，用於為電子設備800提供各個方面的狀態評估。例如，感測器組件814可以檢測到電子設備800的打開/關閉狀態，組件的相 對定位，例如所述組件為電子設備800的顯示器和小鍵盤，感測器組件814還可以檢測電子設備800或電子設備800一個組件的位置改變，使用者與電子設備800接觸的存在或不存在，電子設備800方位或加速/減速和電子設備800的溫度變化。感測器組件814可以包括接近感測器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器組件814還可以包括光感測器，如金屬氧化物半導體組件(CMOS，Complementary Metal-Oxide Semiconductor)或電荷耦合組件(CCD，Charge Coupled Device)圖像感測器，用於在成像應用中使用。在一些實施例中，該感測器組件814還可以包括加速度感測器，陀螺儀感測器，磁感測器，壓力感測器或溫度感測器。
通信組件816被配置為便於電子設備800和其他設備之間有線或無線方式的通信。電子設備800可以接入基於通信標準的無線網路，如WiFi、2G或3G，或它們的組合。在一個示例性實施例中，通信組件816經由廣播通道接收來自外部廣播管理系統的廣播信號或廣播相關資訊。在一個示例性實施例中，所述通信組件816還包括近場通信(NFC，Near Field Communication)模組，以促進短程通信。例如，在NFC模組可基於射頻識別(RFID)技術，紅外資料協會(IrDA，Infrared Data Association)技術，超寬頻(UWB，Ultra Wide Band)技術，藍牙(BT，BlueTooth)技術和其他技術來實現。
在示例性實施例中，電子設備800可以被一個或多個應用專用積體電路(ASIC，Application Specific Integrated Circuit)、數位訊號處理器(DSP，Digital Signal Processor)、數位信號處理設備(DSPD)、可程式設計邏輯器件(PLD，Programmable Logic Device)、現場可程式設計閘陣列(FPGA，Field-Programmable Gate Array)、控制器、微控制器(MCU，Micro Controller Unit)、微處理器(Microprocessor)或其他電子組件實現，用於執行上述方法。
在示例性實施例中，還提供了一種非易失性電腦可讀儲存介質，例如包括電腦程式指令的記憶體804，上述電腦程式指令可由電子設備800的處理器820執行以完成上述方法。
圖10示出根據本公開實施例的一種電子設備1900的方塊圖。例如，電子設備1900可以被提供為一伺服器。參照圖10，電子設備1900包括處理組件1922，其進一步包括一個或多個處理器，以及由記憶體1932所代表的記憶體資源，用於儲存可由處理組件1922的執行的指令，例如應用程式。記憶體1932中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外，處理組件1922被配置為執行指令，以執行上述方法。
電子設備1900還可以包括一個電源組件1926被配置為執行電子設備1900的電源管理，一個有線或無線網路介面1950被配置為將電子設備1900連接到網路，和一 個輸入輸出(I/O)介面1958。電子設備1900可以操作基於儲存在記憶體1932的作業系統，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或類似。
在示例性實施例中，本公開實施例還提供了一種非易失性電腦可讀儲存介質，例如包括電腦程式指令的記憶體1932，上述電腦程式指令可由電子設備1900的處理組件1922執行以完成上述方法。
本公開實施例可以是系統、方法和/或電腦程式產品。電腦程式產品可以包括電腦可讀儲存介質，其上載有用於使處理器實現本公開實施例的各個方面的電腦可讀程式指令。
電腦可讀儲存介質可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存介質例如可以但不限於電儲存裝置、磁儲存裝置、光儲存裝置、電磁儲存裝置、半導體儲存裝置或者上述的任意合適的組合。電腦可讀儲存介質的更具體的例子(非窮舉的列表)包括：可擕式電腦盤、硬碟、隨機存取記憶體(RAM，Random Access Memory)、唯讀記憶體(ROM，Read Only Memory)、可擦式可程式設計唯讀記憶體(EPROM，Erasable Programmable Read-Only Memory)或快閃記憶體、靜態隨機存取記憶體(SRAM，Static Random Access Memory)、可擕式壓縮磁碟唯讀記憶體(CD-ROM)、數位多功能盤(DVD)、記憶棒、軟碟、 機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裡所使用的電腦可讀儲存介質不被解釋為暫態信號本身，諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波(例如，通過光纖電纜的光脈衝)、或者通過電線傳輸的電信號。
這裡所描述的電腦可讀程式指令可以從電腦可讀儲存介質下載到各個計算/處理設備，或者通過網路、例如網際網路、局域網、廣域網路和/或無線網下載到外部電腦或外部儲存裝置。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令，並轉發該電腦可讀程式指令，以供儲存在各個計算/處理設備中的電腦可讀儲存介質中。
用於執行本公開操作的電腦程式指令可以是彙編指令、指令集架構(ISA)指令、機器指令、機器相關指令、微代碼、固件指令、狀態設置資料、或者以一種或多種程式設計語言的任意組合編寫的原始程式碼或目標代碼，所述程式設計語言包括對象導向的程式設計語言-諸如Smalltalk、C++等，以及常規的過程式程式設計語言-諸如“C”語言或類似的程式設計語言。電腦可讀程式指令可以完全地在使用者電腦上執行、部分地在使用者電腦上執行、作為一個獨立的套裝軟體執行、部分在使用者電腦上部 分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中，遠端電腦可以通過任意種類的網路-包括局域網(LAN)或廣域網路(WAN)-連接到使用者電腦，或者，可以連接到外部電腦(例如利用網際網路服務提供者來通過網際網路連接)。在一些實施例中，通過利用電腦可讀程式指令的狀態資訊來個性化定制電子電路，例如可程式設計邏輯電路、現場可程式設計閘陣列(FPGA)或可程式設計邏輯陣列(PLA)，該電子電路可以執行電腦可讀程式指令，從而實現本公開的各個方面。
這裡參照根據本公開實施例的方法、裝置(系統)和電腦程式產品的流程圖和/或方塊圖描述了本公開的各個方面。應當理解，流程圖和/或方塊圖的每個方塊以及流程圖和/或方塊圖中各方塊的組合，都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式設計資料處理裝置的處理器，從而生產出一種機器，使得這些指令在通過電腦或其它可程式設計資料處理裝置的處理器執行時，產生了實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存介質中，這些指令使得電腦、可程式設計資料處理裝置和/或其他設備以特定方式工作，從而，儲存有指令的電腦可讀介質則包括一個製造品，其包括實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令載入到電腦、其它可程式設計資料處理裝置、或其它設備上，使得在電腦、其它可程式設計資料處理裝置或其它設備上執行一系列操作步驟，以產生電腦實現的過程，從而使得在電腦、其它可程式設計資料處理裝置、或其它設備上執行的指令實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作。
附圖中的流程圖和方塊圖顯示了根據本公開的多個實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上，流程圖或方塊圖中的每個方塊可以代表一個模組、程式段或指令的一部分，所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作為替換的實現中，方塊中所標注的功能也可以以不同於附圖中所標注的順序發生。例如，兩個連續的方塊實際上可以基本並行地執行，它們有時也可以按相反的循序執行，這依所涉及的功能而定。也要注意的是，方塊圖和/或流程圖中的每個方塊、以及方塊圖和/或流程圖中的方塊的組合，可以用執行規定的功能或動作的專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。
以上已經描述了本公開的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在最好地解釋各實施 例的原理、實際應用或對市場中的技術改進，或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。
圖1代表圖為流程圖，無元件符號簡單說明。

Claims (17)

  1. 一種圖像處理方法，包括：
    分別獲取針對同一對象的多個圖像的圖像特徵；
    根據各圖像的圖像特徵，確定與各所述圖像特徵一一對應的權重係數；
    基於各所述圖像特徵的權重係數，對所述多個圖像的圖像特徵執行特徵融合處理，得到所述多個圖像的融合特徵。
  2. 根據請求項1所述的方法，其中，所述根據各圖像的圖像特徵，確定與各所述圖像特徵一一對應的權重係數，包括：
    基於各圖像的所述圖像特徵形成圖像特徵矩陣；
    對所述圖像特徵矩陣執行特徵擬合處理，得到第一權重矩陣；
    基於所述第一權重矩陣確定各圖像特徵對應的所述權重係數。
  3. 根據請求項2所述的方法，其中，所述對所述圖像特徵矩陣執行特徵擬合處理，得到第一權重矩陣，包括：
    利用正則化線性最小二乘估計演算法對所述圖像特徵矩陣執行特徵擬合處理，並在預設目標函數為最小值的情況下得到所述第一權重矩陣。
  4. 根據請求項2或3所述的方法，其中，所述基於所述第一權重矩陣確定各圖像特徵對應的所述權重係數，包括：
    將所述第一權重矩陣中包括的各第一權重係數確定為各圖像特徵對應的所述權重係數；或者，
    對所述第一權重矩陣執行第一優化處理，並將優化後的第一權重矩陣中包括的各第一權重係數確定為各圖像特徵對應的所述權重係數。
  5. 根據請求項4所述的方法，其中，所述對所述第一權重矩陣執行第一優化處理，包括：
    基於所述第一權重矩陣中包括的各圖像特徵的第一權重係數，確定各圖像的擬合圖像特徵，所述擬合圖像特徵為所述圖像特徵與相應的第一權重係數的乘積；
    利用各圖像的圖像特徵和所述擬合圖像特徵之間的第一誤差，執行所述第一權重矩陣的第一優化處理，得到第一優化權重矩陣；
    回應於所述第一權重矩陣和第一優化權重矩陣之間的差值滿足第一條件，將所述第一優化權重矩陣確定為優化後的所述第一權重矩陣，以及
    回應於第一權重矩陣和第一優化權重矩陣之間的差值不滿足第一條件，利用所述第一優化權重矩陣獲得新的擬合圖像特徵，基於所述新的擬合圖像特徵重複執行所述第一優化處理，直至得到的第k優化權重矩陣與所述第k-1優化權重矩陣之間的差值滿足所述第一條件，將第k優化權重 矩陣確定為優化後的第一權重矩陣，其中k為大於1的正整數。
  6. 根據請求項5所述的方法，其中，所述利用各圖像的圖像特徵和所述擬合圖像特徵之間的第一誤差，執行所述第一權重矩陣的第一優化處理，包括：
    根據各圖像特徵和所述擬合圖像特徵中相應元素之間的差值的平方和，得到所述圖像特徵和所述擬合圖像特徵之間的第一誤差；
    基於各所述第一誤差得到各圖像特徵的第二權重係數；
    基於各圖像的第二權重係數執行所述第一權重矩陣的第一優化處理，得到所述第一權重矩陣對應的第一優化權重矩陣。
  7. 根據請求項6所述的方法，其中，所述基於各所述第一誤差得到各圖像特徵的第二權重係數，包括：
    通過第一方式，基於各所述第一誤差得到各圖像特徵的第二權重係數，其中所述第一方式的運算式為：
    Figure 108146760-A0101-13-0003-24
    其中，w i 為第i個圖像的第二權重係數，e i 表示第i個圖像特徵與其對應的擬合圖像特徵之間的第一誤差，i為1到N之間的整數，N為圖像特徵的數量，k=1.345σ，σ是誤差e i 的標準差。
  8. 根據請求項2或3所述的方法，其中，所述根據各圖像的圖像特徵，確定與各所述圖像特徵一一對應的權重係數，還包括：
    基於各圖像的所述圖像特徵形成圖像特徵矩陣；
    對所述圖像特徵矩陣執行中值濾波處理，得到中值特徵矩陣；
    基於所述中值特徵矩陣確定各圖像特徵對應的所述權重係數。
  9. 根據請求項8所述的方法，其中，所述對所述圖像特徵矩陣執行中值濾波處理，得到中值特徵矩陣，包括：
    確定所述圖像特徵矩陣中各所述圖像特徵針對同一位置的元素中值；
    基於每個位置的元素中值得到所述中值特徵矩陣。
  10. 根據請求項8或9所述的方法，其中，所述基於所述中值特徵矩陣確定各圖像特徵對應的所述權重係數，包括：
    獲取各圖像特徵與所述中值特徵矩陣之間的第二誤差；
    回應於圖像特徵與中值特徵矩陣之間的所述第二誤差滿足第二條件，將該圖像特徵的權重係數配置為第一權值，回應於圖像特徵與中值特徵矩陣之間的所述第二誤差不滿足第二條件，利用第二方式確定該圖像特徵的權重係數。
  11. 根據請求項10所述的方法，其中，所述第二方式的運算式為：
    Figure 108146760-A0101-13-0005-25
    其中，b h 為通過第二方式確定的第h個圖像的權重係數，e h 為第h個圖像的圖像特徵與中值特徵矩陣之間的第二誤差，h為1到N的整數值，N表示圖像的數量。
  12. 根據請求項10或11所述的方法，其中，所述第二條件為：
    e h >K．MADN；
    MADN=median([e 1,e 2,...e N ])/0.675；
    其中，e h 為第h個圖像的圖像特徵與中值特徵矩陣之間的第二誤差，h為1到N的整數值，N表示圖像的數量，K為判斷閾值，median表示中值濾波函數。
  13. 根據請求項2或3所述的方法，其中，所述基於各所述圖像特徵的權重係數，對所述多個圖像的圖像特徵執行特徵融合處理，得到所述多個圖像的融合特徵，包括：
    利用各圖像特徵與對應的權重係數之間的乘積的加和值，得到所述融合特徵。
  14. 根據請求項2或3所述的方法，所述方法還包括：
    利用所述融合特徵執行所述相同對象的識別操作。
  15. 根據請求項2或3所述的方法，其中，所述根據各圖像的圖像特徵，確定與各所述圖像特徵對應的權重係數之前，所述方法還包括：
    獲取針對權重係數的獲取模式的選擇資訊；
    基於所述選擇資訊確定所述權重係數的獲取模式；
    基於確定的所述權重係數的獲取模式，執行所述根據各圖像的圖像特徵，確定與各所述圖像特徵對應的權重係數；
    所述權重係數的獲取模式包括利用特徵擬合的方式獲取所述權重係數和利用中值濾波的方式獲取所述權重係數。
  16. 一種電子設備，包括：
    處理器；以及
    用於儲存處理器可執行指令的記憶體；
    其中，所述處理器被配置為：執行請求項1至15中任意一項所述的方法。
  17. 一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現請求項1至15中任意一項所述的方法。
TW108146760A 2019-03-25 2019-12-19 圖像處理方法、電子設備和儲存介質 TWI778313B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910228716.X 2019-03-25
CN201910228716.XA CN109977860B (zh) 2019-03-25 2019-03-25 图像处理方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
TW202036476A true TW202036476A (zh) 2020-10-01
TWI778313B TWI778313B (zh) 2022-09-21

Family

ID=67080466

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108146760A TWI778313B (zh) 2019-03-25 2019-12-19 圖像處理方法、電子設備和儲存介質

Country Status (7)

Country Link
US (1) US20210342632A1 (zh)
JP (1) JP7098763B2 (zh)
KR (1) KR102389766B1 (zh)
CN (3) CN109977860B (zh)
SG (1) SG11202108147UA (zh)
TW (1) TWI778313B (zh)
WO (1) WO2020192113A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI796072B (zh) * 2021-12-30 2023-03-11 關貿網路股份有限公司 身分辨識系統、方法及其電腦可讀媒體

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977860B (zh) * 2019-03-25 2021-07-16 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN112289306B (zh) * 2020-11-18 2024-03-26 上海依图网络科技有限公司 一种基于人体特征的未成年人识别的方法及装置
CN114627431B (zh) * 2022-02-22 2023-07-21 安徽新识智能科技有限公司 一种基于物联网的环境智能监控方法及系统
CN115334239B (zh) * 2022-08-10 2023-12-15 青岛海信移动通信技术有限公司 前后摄像头拍照融合的方法、终端设备和存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100745981B1 (ko) * 2006-01-13 2007-08-06 삼성전자주식회사 보상적 특징에 기반한 확장형 얼굴 인식 방법 및 장치
KR20120066462A (ko) * 2010-12-14 2012-06-22 한국전자통신연구원 얼굴 인식 방법 및 시스템, 얼굴 인식을 위한 학습용 특징 벡터 추출 장치 및 테스트용 특징 벡터 추출 장치
CN103218798A (zh) * 2012-01-19 2013-07-24 索尼公司 图像处理设备和方法
CN106803055B (zh) * 2015-11-26 2019-10-25 腾讯科技（深圳）有限公司 人脸识别方法和装置
JP6679373B2 (ja) 2016-03-28 2020-04-15 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 顔検出装置、顔検出方法及び顔認識システム
TWI731920B (zh) * 2017-01-19 2021-07-01 香港商斑馬智行網絡（香港）有限公司 圖像特徵提取方法、裝置、終端設備及系統
JP2018120527A (ja) 2017-01-27 2018-08-02 株式会社リコー 画像処理装置、画像処理方法及び画像処理システム
CN108304789A (zh) * 2017-12-12 2018-07-20 北京深醒科技有限公司 脸部识别方法及装置
CN108259774B (zh) * 2018-01-31 2021-04-16 珠海市杰理科技股份有限公司 图像合成方法、系统和设备
CN108460365B (zh) * 2018-03-27 2022-04-12 百度在线网络技术（北京）有限公司 身份认证方法和装置
CN109165551B (zh) * 2018-07-13 2021-08-31 广东工业大学 一种自适应加权融合显著性结构张量和lbp特征的表情识别方法
CN109472211A (zh) * 2018-10-16 2019-03-15 深圳爱莫科技有限公司 人脸识别方法及装置
CN109977860B (zh) * 2019-03-25 2021-07-16 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI796072B (zh) * 2021-12-30 2023-03-11 關貿網路股份有限公司 身分辨識系統、方法及其電腦可讀媒體

Also Published As

Publication number Publication date
CN113537048A (zh) 2021-10-22
KR20210024631A (ko) 2021-03-05
US20210342632A1 (en) 2021-11-04
CN109977860A (zh) 2019-07-05
CN113486830A (zh) 2021-10-08
CN109977860B (zh) 2021-07-16
JP7098763B2 (ja) 2022-07-11
KR102389766B1 (ko) 2022-04-22
WO2020192113A1 (zh) 2020-10-01
TWI778313B (zh) 2022-09-21
JP2021530047A (ja) 2021-11-04
SG11202108147UA (en) 2021-08-30

Similar Documents

Publication Publication Date Title
TWI724736B (zh) 圖像處理方法及裝置、電子設備、儲存媒體和電腦程式
WO2021164469A1 (zh) 目标对象的检测方法、装置、设备和存储介质
WO2021196401A1 (zh) 图像重建方法及装置、电子设备和存储介质
TWI769635B (zh) 網路訓練、行人重識別方法、電子設備及電腦可讀存儲介質
WO2021031609A1 (zh) 活体检测方法及装置、电子设备和存储介质
TWI778313B (zh) 圖像處理方法、電子設備和儲存介質
WO2020135529A1 (zh) 位姿估计方法及装置、电子设备和存储介质
TWI782480B (zh) 圖像處理方法及電子設備和電腦可讀儲存介質
WO2021035812A1 (zh) 一种图像处理方法及装置、电子设备和存储介质
CN109214428B (zh) 图像分割方法、装置、计算机设备及计算机存储介质
CN110458218B (zh) 图像分类方法及装置、分类网络训练方法及装置
TW202030648A (zh) 一種目標對象處理方法、裝置、電子設備及儲存介質
CN110532956B (zh) 图像处理方法及装置、电子设备和存储介质
CN109635920B (zh) 神经网络优化方法及装置、电子设备和存储介质
CN111581488A (zh) 一种数据处理方法及装置、电子设备和存储介质
CN111242303A (zh) 网络训练方法及装置、图像处理方法及装置
CN110659690A (zh) 神经网络的构建方法及装置、电子设备和存储介质
CN111259967A (zh) 图像分类及神经网络训练方法、装置、设备及存储介质
CN111582383A (zh) 属性识别方法及装置、电子设备和存储介质
TWI719777B (zh) 圖像重建方法、圖像重建裝置、電子設備和電腦可讀儲存媒體
CN109447258B (zh) 神经网络模型的优化方法及装置、电子设备和存储介质
CN111062407B (zh) 图像处理方法及装置、电子设备和存储介质
CN111046780A (zh) 神经网络训练及图像识别方法、装置、设备和存储介质
WO2023024439A1 (zh) 一种行为识别方法及装置、电子设备和存储介质
CN115035440A (zh) 时序动作提名的生成方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent