TW202113756A - 圖像處理方法及裝置、電子設備、儲存媒體和電腦程式 - Google Patents

圖像處理方法及裝置、電子設備、儲存媒體和電腦程式 Download PDF

Info

Publication number
TW202113756A
TW202113756A TW109100344A TW109100344A TW202113756A TW 202113756 A TW202113756 A TW 202113756A TW 109100344 A TW109100344 A TW 109100344A TW 109100344 A TW109100344 A TW 109100344A TW 202113756 A TW202113756 A TW 202113756A
Authority
TW
Taiwan
Prior art keywords
iris
feature
image
feature map
processing
Prior art date
Application number
TW109100344A
Other languages
English (en)
Other versions
TWI724736B (zh
Inventor
楊凱
徐子豪
費敬敬
吳立威
Original Assignee
大陸商上海商湯智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商上海商湯智能科技有限公司 filed Critical 大陸商上海商湯智能科技有限公司
Publication of TW202113756A publication Critical patent/TW202113756A/zh
Application granted granted Critical
Publication of TWI724736B publication Critical patent/TWI724736B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本發明涉及一種圖像處理方法及裝置、電子設備、儲存媒體和電腦程式，所述方法包括獲取虹膜圖像組，所述虹膜圖像組包括待比對的至少兩個虹膜圖像；檢測所述虹膜圖像中的虹膜位置，以及所述虹膜圖像中虹膜區域的分割結果；對所述虹膜位置對應的圖像區域執行多尺度特徵提取和多尺度特徵融合處理，得到所述虹膜圖像對應的虹膜特徵圖；利用所述至少兩個虹膜圖像分別對應的所述分割結果和所述虹膜特徵圖，執行比對處理，基於所述比對處理的比對結果確定所述至少兩個虹膜圖像是否對應於同一對象。本發明實施例可實現虹膜圖像的精確比對。

Description

圖像處理方法及裝置、電子設備、儲存媒體和電腦程式
本發明涉及電腦視覺技術領域，尤其涉及一種圖像處理方法及裝置、電子設備、儲存媒體和電腦程式。
虹膜識別技術是利用虹膜終身不變的穩定性和獨一無二的差異性的特點來進行身份認證的。虹膜識別的優越性使得其在金融、電子商務、安全保衛、出入境控制等各個方面都具有極大的應用前景。
目前的虹膜識別算法一般都是利用濾波器來對虹膜進行特徵提取。
本發明提出了一種圖像處理技術方案。
根據本發明的一方面，提供了一種圖像處理方法，其包括：獲取虹膜圖像組，所述虹膜圖像組包括待比對的至少兩個虹膜圖像；檢測所述虹膜圖像中的虹膜位置，以及所述虹膜圖像中虹膜區域的分割結果；對所述虹膜位置對應的圖像區域執行多尺度特徵提取和多尺度特徵融合處理，得到所述虹膜圖像對應的虹膜特徵圖；利用所述虹膜圖像組中的所述至少兩個虹膜圖像分別對應的所述分割結果和所述虹膜特徵圖，執行比對處理，基於所述比對處理的比對結果確定所述至少兩個虹膜圖像是否對應於同一對象。基於上述配置，可以利用多尺度特徵提取提取多個尺度的特徵信息，例如可以同時得到底層和高層的特徵信息，而後通過多尺度特徵融合，得到的特徵圖精確度更高，進而實現更準確的比對，提高比對結果的準確性。
在一些可能的實施方式中，所述對所述虹膜位置對應的圖像區域執行多尺度特徵提取和多尺度特徵融合處理，得到所述虹膜圖像對應的虹膜特徵圖，包括：對所述虹膜圖像中所述虹膜位置對應的圖像區域執行所述多尺度特徵提取處理，得到多個尺度的特徵圖；利用所述多個尺度的特徵圖，形成至少一個特徵分組，所述特徵分組包括所述多個尺度特徵圖中至少兩個尺度的特徵圖；基於注意力機制，對所述特徵分組中的特徵圖執行所述多尺度特徵融合處理，得到所述特徵分組對應的分組特徵圖；基於所述特徵分組對應的分組特徵圖得到所述虹膜圖像對應的虹膜特徵圖。基於上述配置，可以實現得到的多個尺度的特徵圖的分組，並進一步引入注意力機制，確定相應分組的分組特徵圖，進一步提高得到的虹膜特徵圖的精度。
在一些可能的實施方式中，所述基於注意力機制，對所述特徵分組中的特徵圖執行所述多尺度特徵融合處理，得到所述特徵分組對應的分組特徵圖，包括：對所述特徵分組中的所述至少兩個尺度的特徵圖的連接特徵圖執行第一卷積處理，得到第一子特徵圖；對所述第一子特徵圖執行第二卷積處理以及激活函數處理，得到第二子特徵圖，所述第二子特徵圖表示所述第一子特徵圖對應的注意力係數；將所述第一子特徵圖和所述第二子特徵圖的乘積結果與所述第一子特徵圖相加，得到第三子特徵圖；對所述第三子特徵圖執行第三卷積處理，得到所述特徵分組對應的分組特徵圖。
在一些可能的實施方式中，所述基於所述特徵分組對應的分組特徵圖得到所述虹膜圖像對應的虹膜特徵圖，包括：對每個所述分組特徵對應的所述分組特徵圖執行加權和處理，得到所述虹膜圖像對應的虹膜特徵圖。通過加權和的方式融合各分組的分組特徵，實現特徵信息的有效融合。
在一些可能的實施方式中，所述分割結果包括所述虹膜圖像中虹膜區域對應的掩碼圖，所述掩碼圖中的第一標識表示所述虹膜區域，所述掩碼圖中的第二標識表示所述虹膜區域以外的位置區域。基於上述配置，通過掩碼圖表示分割結果，更加直觀且處理方便。
在一些可能的實施方式中，所述檢測所述虹膜圖像中的虹膜位置，以及所述虹膜圖像中虹膜區域的分割結果，包括：對所述虹膜圖像執行目標檢測處理，確定所述虹膜圖像的虹膜位置以及瞳孔位置；基於確定的所述虹膜位置和所述瞳孔位置，對所述虹膜圖像執行所述分割處理，得到所述虹膜圖像中虹膜區域的分割結果。基於上述配置，可以準確的確定出虹膜圖像中虹膜所對應的檢測位置，以及虹膜區域的分割結果。
在一些可能的實施方式中，所述檢測所述虹膜圖像中的虹膜位置，以及所述虹膜圖像中虹膜區域的分割結果，還包括：分別對所述虹膜圖像的虹膜位置對應的圖像區域和所述分割結果執行歸一化處理；所述對所述虹膜位置對應的圖像區域執行所述多尺度特徵提取和所述多尺度特徵融合處理，得到所述虹膜圖像對應的虹膜特徵圖，還包括：對歸一化處理後的所述虹膜位置對應的圖像區域執行所述多尺度特徵提取和所述多尺度特徵融合處理，得到所述虹膜圖像對應的虹膜特徵圖。基於上述配置，可以在對虹膜位置的圖像區域以及分割結果執行歸一化處理，可以提高適用性。
在一些可能的實施方式中，利用所述至少兩個虹膜圖像分別對應的所述分割結果和所述虹膜特徵圖，執行比對處理，包括：利用所述至少兩個虹膜圖像分別對應的分割結果，確定所述至少虹膜圖像中同爲虹膜區域的第一位置；分別確定所述至少兩個虹膜圖像的虹膜特徵圖中與所述第一位置對應的第四子特徵圖；根據所述至少兩個虹膜圖像分別對應的第四子特徵圖之間的關聯度，確定所述至少兩個虹膜圖像的比對結果。本發明實施例可以利用不同虹膜圖像分別對應的分割結果，確定比對的虹膜圖像中同爲虹膜區域的位置，並利用該位置對應的特徵進行比對，得到比對結果。降低了虹膜區域以外的區域特徵的干擾，提高比對精度。
在一些可能的實施方式中，所述基於比對結果確定所述至少兩個虹膜圖像是否對應於同一對象，包括：在所述至少兩個虹膜圖像分別對應的第四子特徵圖之間的關聯度大於第一閾值的情况下，確定所述至少兩個虹膜圖像對應於同一對象。基於上述配置，通過第一閾值的設置，可以靈活的適應不同的場景，並能夠方便的獲得比對結果。
在一些可能的實施方式中，所述基於比對結果確定所述至少兩個虹膜圖像是否對應於同一對象，還包括：在所述至少兩個虹膜圖像分別對應的第四子特徵圖之間的關聯度小於或者等於第一閾值的情况下，確定所述至少兩個虹膜圖像對應於不同對象。
在一些可能的實施方式中，所述圖像處理方法通過卷積神經網路實現。基於上述配置，可以通過神經網路精確且方便快速的得到兩個虹膜圖像的比對結果。
根據本發明的第二方面，提供了一種圖像處理裝置，其包括：獲取模組，用於獲取虹膜圖像組，所述虹膜圖像組包括待比對的至少兩個虹膜圖像；檢測模組，用於檢測所述虹膜圖像中的虹膜位置，以及所述虹膜圖像中虹膜區域的分割結果；特徵處理模組，用於對所述虹膜位置對應的圖像區域執行多尺度特徵提取和多尺度特徵融合處理，得到所述虹膜圖像對應的虹膜特徵圖；比對模組，用於利用所述至少兩個虹膜圖像分別對應的所述分割結果和所述虹膜特徵圖，執行比對處理，基於所述比對處理的比對結果確定所述至少兩個虹膜圖像是否對應於同一對象。
在一些可能的實施方式中，所述特徵處理模組還用於對所述虹膜圖像中所述虹膜位置對應的圖像區域執行所述多尺度特徵提取處理，得到多個尺度的特徵圖；利用所述多個尺度的特徵圖，形成至少一個特徵分組，所述特徵分組包括所述多個尺度特徵圖中至少兩個尺度的特徵圖；基於注意力機制，對所述特徵分組中的特徵圖執行所述多尺度特徵融合處理，得到所述特徵分組對應的分組特徵圖；基於所述特徵分組對應的分組特徵圖得到所述虹膜圖像對應的虹膜特徵圖。
在一些可能的實施方式中，所述特徵處理模組還用於對所述虹膜圖像中所述虹膜位置對應的圖像區域執行所述多尺度特徵提取處理，得到多個尺度的特徵圖；利用所述多個尺度的特徵圖，形成至少一個特徵分組，所述特徵分組包括所述多個尺度特徵圖中至少兩個尺度的特徵圖；基於注意力機制，對所述特徵分組中的特徵圖執行所述多尺度特徵融合處理，得到所述特徵分組對應的分組特徵圖；基於所述特徵分組對應的分組特徵圖得到所述虹膜圖像對應的虹膜特徵圖。
在一些可能的實施方式中，所述特徵處理模組還用於對每個所述分組特徵對應的所述分組特徵圖執行加權和處理，得到所述虹膜圖像對應的虹膜特徵圖。
在一些可能的實施方式中，所述分割結果包括所述虹膜圖像中虹膜區域對應的掩碼圖，所述掩碼圖中的第一標識表示所述虹膜區域，所述掩碼圖中的第二標識表示所述虹膜區域以外的位置區域。
在一些可能的實施方式中，所述檢測模組還用於對所述虹膜圖像執行目標檢測處理，確定所述虹膜圖像的所述虹膜位置以及瞳孔位置；
基於確定的所述虹膜位置和所述瞳孔位置，對所述虹膜圖像執行所述分割處理，得到所述虹膜圖像中虹膜區域的分割結果。
在一些可能的實施方式中，所述檢測模組還用於分別對所述虹膜圖像的虹膜位置對應的圖像區域和所述分割結果執行歸一化處理；
所述特徵處理模組還用於：對歸一化處理後的所述虹膜位置對應的圖像區域執行所述多尺度特徵提取和所述多尺度特徵融合處理，得到所述虹膜圖像對應的虹膜特徵圖。
在一些可能的實施方式中，所述比對模組還用於利用所述至少兩個虹膜圖像分別對應的分割結果，確定所述至少兩個虹膜圖像中同爲虹膜區域的第一位置；
分別確定所述至少兩個虹膜圖像的虹膜特徵圖中與所述第一位置對應的第四子特徵圖；
根據所述至少兩個虹膜圖像分別對應的第四子特徵圖之間的關聯度，確定所述至少兩個虹膜圖像的比對結果。
在一些可能的實施方式中，所述比對模組還用於在所述至少兩個虹膜圖像分別對應的第四子特徵圖之間的關聯度大於第一閾值的情况下，確定所述至少兩個虹膜圖像對應於同一對象。
在一些可能的實施方式中，所述比對模組還用於在所述至少兩個虹膜圖像分別對應的第四子特徵圖之間的關聯度小於或者等於第一閾值的情况下，確定所述至少兩個虹膜圖像對應於不同對象。
在一些可能的實施方式中，所述裝置包括神經網路，所述神經網路包括所述獲取模組、所述檢測模組、所述特徵處理模組以及所述比對模組。
根據本發明的第三方面，提供了一種電子設備，其包括：
處理器；
用於儲存處理器可執行指令的儲存器；
其中，所述處理器被配置爲調用所述儲存器儲存的指令，以執行第一方面中任意一項所述的方法。
根據本發明的第四方面，提供了一種電腦可讀儲存媒體，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現第一方面中任意一項所述的方法。
根據本發明的第五方面，提供了一種電腦程式，包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行用於實現所述圖像處理方法。
在本發明實施例中，通過對虹膜圖像執行預處理，對虹膜圖像中的虹膜區域進行定位和分割，得到虹膜位置和虹膜的分割結果，同時還可以對虹膜圖像執行多尺度特徵提取和多尺度特徵融合，獲得高精度的虹膜特徵圖，而後利用分割結果與虹膜特徵圖執行虹膜圖像的身份識別，確定各虹膜圖像是否對應於同一對象。通過上述配置，可以通過多尺度特徵提取和多尺度特徵融合的方式使得提取的底層特徵以及高層特徵充分的融合，使得最後得到的虹膜特徵兼顧底層的紋理特徵和高層的分類特徵，提高特徵提取精度，同時還可以利用分割結果和虹膜特徵圖的結合，僅考慮虹膜區域的特徵部分，减少其他區域的影響，更加精確的識別出虹膜圖像是否對應於同一對象，檢測結果較高。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本發明。
根據下面參考附圖對示例性實施例的詳細說明，本發明的其它特徵及方面將變得清楚。
以下將參考附圖詳細說明本發明的各種示例性實施例、特徵和方面。附圖中相同的附圖標記表示功能相同或相似的元件。儘管在附圖中示出了實施例的各種方面，但是除非特別指出，不必按比例繪製附圖。
在這裡專用的詞“示例性”意爲“用作例子、實施例或說明性”。這裡作爲“示例性”所說明的任何實施例不必解釋爲優於或好於其它實施例。
本文中術語“和/或”，僅僅是一種描述關聯對象的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情况。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外，爲了更好地說明本發明，在下文的具體實施方式中給出了衆多的具體細節。本領域技術人員應當理解，沒有某些具體細節，本發明同樣可以實施。在一些實例中，對於本領域技術人員熟知的方法、手段、元件和電路未作詳細描述，以便於凸顯本發明的主旨。
本發明實施例提供了一種圖像處理方法，該圖像處理方法可以用於通過虹膜圖像對應的虹膜特徵，區分識別虹膜圖像相應的對象是否爲相同對象，如是否爲同一個人物對象的虹膜圖像。圖像處理方法的執行主體可以是圖像處理裝置，例如，圖像處理方法可以由終端設備或伺服器或其它處理設備執行，其中，終端設備可以爲用戶設備（User Equipment，UE）、行動設備、用戶終端、終端、蜂窩電話、無繩電話、個人數位處理（Personal Digital Assistant，PDA）、手持設備、電腦設備、車載設備、可穿戴設備等，伺服器可以爲本地伺服器也可以爲雲端伺服器。在一些可能的實現方式中，該圖像處理方法可以通過處理器調用儲存器中儲存的電腦可讀指令的方式來實現。
圖1示出根據本發明實施例的一種圖像處理方法的流程圖，如圖1所示，所述圖像處理方法包括：
S10：獲取虹膜圖像組，所述虹膜圖像組包括待比對的至少兩個虹膜圖像；
在一些可能的實施方式中，在電腦視覺領域中，可以通過虹膜圖像執行身份驗證，用以識別虹膜圖像對應的對象的身份，或者確定相應的對象是否具有權限。本發明實施例可以通過對虹膜圖像進行特徵處理，並基於得到的特徵實現虹膜圖像的比對，確認虹膜圖像對應的對象是否爲同一個對象。在其他實施例中，還可以進一步根據確定的虹膜圖像是否對應於同一對象，執行相應的驗證操作。
本發明實施例可以首先獲得需要執行待比對的虹膜圖像，該待比對的虹膜圖像構成虹膜圖像組，可以獲取至少兩個虹膜圖像。例如，本發明實施例的待比對的虹膜圖像可以通過虹膜相機採集得到，或者也可以通過其他設備傳輸接收得到，或者也可以從儲存器中讀取得到，上述僅爲示例性說明，本發明對此不作具體限定。
S20：檢測所述虹膜圖像中的虹膜位置，以及所述虹膜圖像中虹膜區域的分割結果；
在一些可能的實施方式中，可以首先對虹膜圖像執行預處理，其中預處理可以包括對虹膜圖像中的虹膜和瞳孔進行定位，確定虹膜和瞳孔的位置。其中，虹膜位置和瞳孔位置可以分別表示爲虹膜的檢測框以及瞳孔的檢測框對應的位置。基於檢測到的虹膜圖像中虹膜和瞳孔的位置，可以進一步對虹膜區域執行分割處理，得到對應的分割結果，其中分割結果可以表示成掩碼圖。
其中，掩碼圖可以表示爲向量或者矩陣形式，掩碼圖可以和虹膜圖像的像素點一一對應。掩碼圖中可以包括第一標識和第二標識，其中第一標識表示對應的像素點爲虹膜區域，第二標識表示對應的像素點爲非虹膜區域，例如第一標識可以爲“1”，第二標識可以爲“0”，從而可以通過掩碼圖中第一標識的像素點的位置構成的區域確定虹膜所在的區域。
S30：對所述虹膜位置對應的圖像區域執行多尺度特徵提取和多尺度特徵融合處理，得到所述虹膜圖像對應的虹膜特徵圖；
在一些可能的實施方式中，在確定虹膜圖像中的虹膜位置的情况下，可以對該虹膜位置對應的圖像區域執行多尺度特徵提取處理，例如，可以得到至少兩個尺度的特徵圖，而後通過對特徵圖執行卷積處理，可以實現特徵的融合，進而得到虹膜圖像的虹膜特徵圖。
在一些可能的實施方式中，特徵提取處理的過程中可以得到虹膜位置對應的圖像區域的多個不同尺度的特徵圖，例如，可以通過殘差網路執行特徵提取處理，而後對該多個尺度的特徵圖執行至少一次的卷積處理，得到融合了不同尺度的特徵的虹膜特徵圖。其中，通過多尺度特徵提取可以同時獲得底層和高層的特徵信息，通過多尺度的特徵融合可以對底層和高層特徵信息有效的融合，提高虹膜特徵圖的精確度。
在一些可能的實施方式中，也可以利用注意力機制，針對不同的特徵得到不同的注意力係數，注意力係數可以表示特徵的重要度，利用該注意力係數執行特徵融合可以得到更健壯和更具區分力的特徵。
S40：利用所述至少兩個虹膜圖像分別對應的所述分割結果和所述虹膜特徵圖，執行比對處理，基於所述比對處理的比對結果確定所述至少兩個虹膜圖像是否對應於同一對象。
在一些可能的實施方式中，可以根據需要比對的至少兩個虹膜圖像的分割結果（如掩碼圖），得到兩個虹膜圖像中均爲虹膜區域的位置，基於虹膜區域的位置對應的特徵之間的距離，可以得到該至少兩個虹膜圖像的比對結果。其中，如果該距離小於第一閾值，則表明比對的兩個虹膜圖像對應於同一對象，即屬於同一對象的虹膜圖像。否則，如果該距離大於或者等於第一閾值，則表明該兩個虹膜圖像不屬於同一對象。在此需要說明的是，當虹膜圖像組中包括三個或三個以上待比對的虹膜圖像的情况下，可以分別比對任意兩個虹膜圖像，確定該任意兩個虹膜圖像是否對應於同一對象，並根據每個虹膜圖像的比對結果確定虹膜圖像組中同爲一個對象的虹膜圖像，同時還可以統計虹膜圖像組中的虹膜圖像對應的對象的數量。
下述以兩個虹膜圖像爲例進行說明，執行多個虹膜圖像的比對的原理與下述相同，不作重複說明。圖2示出根據本發明實施例的一種圖像處理方法的過程示意圖，其中，可以首先獲取兩個虹膜圖像A和B，對該兩個虹膜圖像執行預處理，可以得到虹膜圖像中的虹膜位置、瞳孔位置以及虹膜區域對應的分割結果，如掩碼圖，而後可以利用虹膜特徵提取模組執行虹膜位置對應的圖像區域的特徵提取和融合處理，得到虹膜圖像的虹膜特徵圖，進一步利用比對模組基於掩碼圖和相應的虹膜特徵圖，得到圖像A和圖像B是否爲同一個對象的比對結果（score）。
基於上述配置，本發明實施例可以通過對虹膜圖像執行目標檢測，對虹膜圖像中的虹膜區域進行定位和分割，得到與虹膜區域對應的分割結果，同時還可以對虹膜圖像執行多尺度的特徵提取和特徵融合，獲得高精度的特徵圖，而後利用分割結果與特徵圖執行虹膜圖像的身份識別，確定各虹膜圖像是否對應於同一對象。通過上述配置，可以通過融合特徵的方式使得提取的底層特徵以及高層特徵充分的融合，使得最後得到的虹膜特徵兼顧底層的紋理特徵和高層的分類特徵，提高特徵提取精度，同時還可以利用分割結果和特徵圖的結合，僅考慮虹膜區域的特徵部分，减少其他區域的影響，更加精確的識別出虹膜圖像是否對應於同一對象，檢測結果較高。
下面結合附圖對本發明實施例進行詳細說明。本發明實施例在得到待比對的虹膜圖像的情况下，可以虹膜圖像執行目標檢測處理，得到虹膜區域和瞳孔區域對應的位置，並進一步得到虹膜區域對應的分割掩碼圖。圖3示出根據本發明實施例的一種圖像處理方法中步驟S20的流程圖。其中，所述檢測所述虹膜圖像中的虹膜位置，以及所述虹膜圖像中虹膜區域的分割結果，包括：
S21：對所述虹膜圖像執行目標檢測處理，確定所述虹膜圖像的所述虹膜位置以及瞳孔位置；
S22：基於確定的所述虹膜位置和所述瞳孔位置，對所述虹膜圖像執行所述分割處理，得到所述虹膜圖像中虹膜區域的分割結果。
在一些可能的實施方式中，在得到虹膜圖像的情况下，可以對虹膜圖像執行預處理，得到上述虹膜圖像的虹膜特徵，以及虹膜區域的分割結果。其中，可以首先通過能夠執行目標檢測的神經網路執行虹膜圖像的目標檢測處理。其中該神經網路可以爲卷積神經網路，其爲經過訓練能夠識別出虹膜圖像中的虹膜位置以及瞳孔位置。圖4示出根據本發明實施例的虹膜圖像的預處理的示意圖。其中，A表示虹膜圖像，執行目標檢測處理後可以確定虹膜圖像中的虹膜位置以及瞳孔位置。B表示虹膜圖像中的虹膜位置對應的圖像區域，對於瞳孔位置對應的區域圖中並未標出，在實際應用和檢測過程中，同時可以檢測出瞳孔位置對應的區域。如上述實施例所述，執行目標檢測得到的虹膜的位置以及瞳孔的位置可以表示爲虹膜的檢測框以及瞳孔檢測框的位置，該位置可以表示爲（x1，x2，y1，y2），其中（x1，y1）和（x2，y2）分別虹膜或者瞳孔的檢測框的兩個對角頂點的位置坐標，基於該兩個頂點坐標可以確定相應的檢測框對應的區域位置。在其他實施例中，檢測框的位置也可以表示成其他形式，本發明對此不作具體限定。
另外，本發明實施例中執行目標檢測處理的神經網路可以包括：Faster R-CNN神經網路（快速目標識別卷積神經網路）或者Retina網路（單級目標檢測網路），但不作爲本發明的具體限定。
在得到虹膜圖像中的虹膜的位置以及瞳孔的位置的情况下，可以進一步執行虹膜圖像中虹膜區域的分割，從而可以將虹膜區域與眼皮、瞳孔等其他部位分割區分。
在一個示例中，可以利用虹膜位置和瞳孔位置，直接對虹膜圖像中的虹膜區域進行分割處理，即，可以從虹膜位置對應的圖像區域中删除瞳孔位置對應的圖像區域，將虹膜位置的圖像區域中餘下的圖像區域確定爲虹膜區域的分割結果，並爲該虹膜區域賦予第一標識的掩碼值，其餘區域賦予第二標識的掩碼值，得到虹膜區域對應的掩碼圖。該方式具有簡單方便的特點，提高處理速度。
在另一個示例中，可以將虹膜位置、瞳孔位置以及對應的虹膜圖像輸入至用於執行虹膜分割的神經網路中，通過該神經網路輸出虹膜圖像中虹膜區域對應的掩碼圖。其中，該執行虹膜分割的神經網路可以爲經過訓練能夠實現對於虹膜圖像中的虹膜區域的確定，並生成對應的掩碼圖。該神經網路同樣可以爲卷積神經網路，例如可以爲PSPNet（金字塔場景分析網路）或者Unet（U型網路），但不作爲本發明的具體限定。圖4中的C表示與虹膜圖像對應的虹膜區域的示意圖，其中黑色部分表示虹膜區域以外的圖像區域，該部分的掩碼值爲第二標識，白色部分爲虹膜區域，該部分的掩碼值爲第一標識。通過該方式可以精確的檢測出虹膜區域，提高後續比對處理的精確度。
在一些可能的實施方式中，由於得到的虹膜圖像以及檢測到的虹膜區域的掩碼圖的大小可能不同，本發明實施例可以在得到虹膜圖像中的虹膜位置以及虹膜區域的掩碼圖（分割結果）的情况下，還可以對虹膜位置對應的圖像區域以及掩碼圖執行歸一化處理，使得歸一化後的圖像區域和掩碼圖調整爲預設規格。例如，本發明實施例可以將虹膜位置的圖像區域以及掩碼圖調整爲高度64像素，寬度512像素。但上述預設規格的具體尺寸本發明不作具體限定。
在得到虹膜圖像中虹膜的位置以及對應的分割結果的情况下，可以基於得到的虹膜位置執行相應圖像區域的特徵處理，得到虹膜特徵。另外，本發明實施例還可以對歸一化後的虹膜位置對應的圖像區域執行多尺度的特徵處理，進一步提高特徵精度。下述以直接對虹膜位置對應的圖像區域執行多尺度特徵提取和多尺度融合處理爲例進行說明，對於歸一化後的虹膜位置對應的圖像區域的多尺度特徵處理和多尺度融合處理不再做重複說明，二者的處理過程相同。
圖5示出根據本發明實施例的一種圖像處理方法中步驟S30的流程圖。其中所述對所述虹膜位置對應的圖像區域執行多尺度特徵提取和多尺度特徵融合處理，得到所述虹膜圖像對應的虹膜特徵圖，包括：
S31：對所述虹膜圖像中所述虹膜位置對應的圖像區域執行所述多尺度特徵提取處理，得到多個尺度的特徵圖；
在一些可能的實施方式中，可以首先對虹膜圖像中所述虹膜位置對應的圖像區域執行特徵提取處理，其中，可以利用特徵提取神經網路執行該特徵提取處理，例如可以利用殘差網路或者金字塔特徵提取網路執行該特徵提取處理，得到虹膜圖像的虹膜位置所在的圖像區域對應的多個尺度的特徵圖。圖6示出根據實現本發明實施例的圖像處理方法的神經網路的結構示意圖。其中，網路結構M表示執行特徵提取的神經網路部分，其可以爲殘差網路，如ResNet18，但不作爲本發明的具體限定。
其中，在一個示例中，可以將虹膜圖像以及虹膜圖像的虹膜位置輸入至特徵提取神經網路，通過特徵提取處理神經網路得到虹膜圖像的虹膜位置對應的圖像區域對應的特徵，即多個尺度的特徵圖。或者，在另一個示例中，可以首先從虹膜圖像中截取與虹膜位置對應的圖像區域，將該圖像區域輸入至特徵提取神經網路，得到多個尺度的特徵圖，其中，該多個尺度的特徵圖可以分別通過特徵提取神經網路的不同卷積層輸出，可以得到至少兩個不同尺度的特徵圖，如在一個示例中可以分別得到三個尺度的特徵圖，該三個特徵圖的尺度各不相同。另外，爲了得到全面的特徵信息，得到的多個尺度的特徵圖中可以包括底層的特徵信息（利用網路架構前面的卷積層得到的特徵圖），也可以包括高層的特徵信息（利用網路架構後面的卷積層得到的特徵圖），通過上述特徵的融合，可以得到更精確且全面的虹膜特徵。
S32：利用所述多個尺度的特徵圖，形成至少一個特徵分組，所述特徵分組包括所述多個尺度特徵圖中至少兩個尺度的特徵圖；
在一些可能的實施方式中，在得到多個尺度的特徵圖的情况下，可以基於該多個尺度的特徵圖形成至少一個特徵分組。
其中，可以將該多個尺度的特徵圖作爲一個特徵分組，執行後續的特徵融合處理，或者也可以形成至少兩個特徵分組，每個特徵分組中可以包括至少兩個不同尺度的特徵圖，而且，本發明實施例形成的不同特徵分組中可以包括相同的特徵圖，即任意兩個特徵分組中可以至少包括一個不同的特徵圖。例如步驟S31得到的多尺度特徵圖可以包括F1、F2和F3，該三個特徵圖的尺度各不相同。在形成特徵分組時，可以形成第一預設數量個特徵分組，該第一預設數量可以爲大於或者等於1的整數，如本發明實施例中第一預設數量可以取值爲2。繼而可以爲每個特徵分組分配第二預設數量個特徵圖，其中可以隨機的從多個尺度的特徵圖中選擇出第二預設數量個特徵圖組成一個特徵分組，被選擇的特徵圖依然可以被其他特徵分組選擇。其中第二預設數量可以大於或者等於2的整數，如本發明實施例中的第二預設數量可以取值爲2。例如形成的一個特徵分組中的特徵圖爲F1和F2，另一個特徵分組中的特徵可以爲F1和F3。
S33：基於注意力機制，對所述特徵分組中的特徵圖執行所述多尺度特徵融合處理，得到所述特徵分組對應的分組特徵圖；
在一些可能的實施方式中，在得到多個尺度的特徵圖的特徵分組的情况下，可以對每個特徵分組內的特徵圖執行特徵融合處理。在融合的過程中，考慮到虹膜特徵在不同位置上的重要性不同，採用了空間注意力機制。其中，可以通過空間注意力神經網路實現基於注意力機制的卷積處理，得到的特徵圖中進一步突出了重要的特徵。在該空間注意力神經網路的訓練過程中可以自適應的學到空間特徵每個位置的重要性，形成與每個位置的特徵對象的注意力係數，該係數可以表示[0, 1]區間的系數值。如圖6所示，空間注意力神經網路可以爲網路結構N。
在利用注意力機制的神經網路執行卷積處理後，還可以進一步執行分組卷積、標準卷積處理，進一步得到每個特徵分組中的各特徵圖的融合特徵，即分組特徵圖。
S34：基於所述特徵分組對應的分組特徵圖得到所述虹膜圖像對應的虹膜特徵圖。
在一些可能的實施方式中，在得到每個特徵分組中的特徵圖的融合特徵（分組特徵圖）的情况下，可以對不同特徵分組的分組特徵圖執行特徵融合，得到虹膜圖像對應的虹膜特徵圖。例如，本發明實施例可以將每個特徵分組的分組特徵圖的加和結果作爲虹膜特徵圖，或者也可以將各分組特徵圖的加權和作爲虹膜特徵圖，其中加權和的加權係數可以根據需求和場景設定，本發明對此不作具體限定。
通過上述方式可以分別針對不同的特徵圖執行融合，其中基於注意力機制可以進一步提高重要特徵的關注度，而後基於不同特徵分組的分組特徵圖的融合處理，進一步更全面的融合各部分的特徵。
下面對上述特徵融合的過程進行詳細說明。圖7示出根據本發明實施例的一種圖像處理方法中步驟S33的流程圖，所述基於注意力機制，對所述特徵分組中的特徵圖執行所述多尺度特徵融合處理，得到所述特徵分組對應的分組特徵圖，包括：
S331：對所述特徵分組中的所述至少兩個尺度的特徵圖的連接特徵圖執行第一卷積處理，得到第一子特徵圖；
在一些可能的實施方式中，可以首先對每個特徵分組中的特徵圖執行連接處理，如在通道方向上進行連接（concatenate），得到連接特徵圖，如圖6所示，其中放大了卷積注意力機制的神經網路（SAFFM）。通過連接處理得到的連接特徵圖的尺度可以表示爲（C，H，W），C表示連接特徵圖的通道數，H表示連接特徵圖的高度，W表示連接特徵圖的寬度。例如，可以對上述特徵分組中的特徵圖中的F1和F2進行連接，以及對另一個特徵分組中的特徵圖F1和F3進行連接，分別得到對應的連接特徵圖。
在得到連接特徵圖的情况下，可以分別對各連接特徵圖執行第一卷積處理，如利用3*3的卷積核執行該第一卷積處理，而後還可以執行批歸一化以及激活函數處理，得到與連接特徵圖對應的第一子特徵圖，該第一子特徵圖的尺度可以表示爲（C/2，H，W），通過第一卷積處理可以减少特徵圖中的參數，减少了後續的計算成本。
S332：對所述第一子特徵圖執行第二卷積處理以及激活函數處理，得到第二子特徵圖，所述第二子特徵圖表示所述第一子特徵圖對應的注意力係數；
在一些可能的實施方式中，可以對得到的第一子特徵圖執行第二卷積處理，如圖6所示，可以分別採用兩個卷積層執行該第二卷積處理，其中一個卷積層通過1*1的卷積核處理後，執行批歸一化以及激活函數處理，得到第一中間特徵圖，該第一中間特徵圖的尺度可以表示爲（C/8，H，W），而後通過第二個卷積層對該中間特徵圖執行1*1卷積核的卷積處理，得到（1，H，W）的第二中間特徵圖。通過上述第二卷積處理，可以對第一子特徵圖執行降維處理，得到單通道的第二中間特徵圖。
進一步可以對該第二中間特徵圖使用sigmoid函數執行激活函數處理，通過sigmoid函數對第二中間特徵圖處理後，可以得到與第一子特徵圖對應的第二子特徵圖，該第二子特徵圖中的各元素表示第一子特徵圖中每個像素點的特徵值的注意力係數。該系數值可以爲[0,1]範圍內的數值。
S333：將所述第一子特徵圖和第二子特徵圖的乘積結果與所述第一子特徵圖相加，得到第三子特徵圖；
在一些可能的實施方式中，在得到表示注意力係數的第二子特徵圖的情况下，可以對第一子特徵圖和第二子特徵圖執行乘積處理（mul），如對應元素相乘。而後將該乘積結果與第一子特徵圖相加（add），即對應元素相加，得到第三子特徵圖，如圖6所示，通過SAFFM輸出的特徵圖即爲第三特徵圖。由於輸入的特徵分組不同，得到的第三子特徵圖也不相同。
S334：對所述第三子特徵圖執行第三卷積處理，得到所述特徵分組對應的分組特徵圖。
在得到第三子特徵圖的情况下，可以對該第三子特徵圖執行第三卷積處理，該第三卷積處理可以包括分組卷積處理、標準卷積處理中的至少一種。通過第三卷積處理可以進一步實現每個特徵分組中的特徵信息的進一步融合。如圖6所示，第三卷積處理可以包括分組卷積（depth wise conv）和1*1的卷積核的標準卷積，其中分組卷積可以加快卷積速度，同時提高卷積特徵的精度。通過第三卷積處理可以最終輸出每個特徵分組對應的分組特徵圖。該分組特徵圖有效的融合了特徵分組中各特徵圖的特徵信息。在得到每個特徵分組的分組特徵圖的情况下，可以利用各分組特徵圖的加權和或者加和（add）得到對應虹膜圖像的虹膜特徵圖。
在得到虹膜圖像的虹膜特徵圖的情况下，可以進一步結合分割結果執行虹膜圖像之間的比對處理。圖8示出根據本發明實施例的一種圖像處理方法中步驟S40的流程圖。所述利用所述虹膜圖像組中的所述至少兩個虹膜圖像分別對應的掩碼圖和虹膜特徵圖，執行比對處理，包括：
S41：利用所述至少兩個虹膜圖像分別對應的分割結果，確定所述至少兩個虹膜圖像中同爲虹膜區域的第一位置；
在一些可能的實施方式中，分割結果可以表示爲虹膜圖像中虹膜區域所在位置的掩碼圖。基於此可以根據每個虹膜圖像的掩碼圖，確定待比對的虹膜圖像中均爲虹膜區域的第一位置。如上述實施例所述，掩碼圖中的第一標識可以表示虹膜區域所在的位置，如果兩個虹膜圖像的掩碼圖中相同位置的像素點對應的掩碼值均爲第一標識，即可以表示該像素點在兩個虹膜圖像中均位於掩模區域內，基於所有這樣的像素點的位置即可以確定兩個虹膜圖像均爲虹膜區域的第一位置。
或者，在其他實施例中，也可以根據兩個虹膜圖像的掩碼圖之間的乘積，確定同爲虹膜區域的第一位置，其中，掩碼圖的乘積結果中仍然爲第一標識的像素點的位置，即表示同爲虹膜區域的第一位置。
S42：分別確定所述至少兩個虹膜圖像的虹膜特徵圖中與所述第一位置對應的第四子特徵圖；
在確定上述第一位置的情况下，本發明實施例可以得到每個虹膜圖像的虹膜特徵圖中上述第一位置對應的特徵，即第四子特徵圖。本發明實施例可以根據第一位置的坐標確定對應像素點的特徵值，根據確定的特徵值以及對應的像素點，形成第四子特徵圖。或者也可以利用上述兩個虹膜圖像的掩碼圖的乘積結果與每個虹膜特徵圖的乘積，得到該虹膜特徵圖對應的第四子特徵圖。
通過上述配置，可以得到兩個待比對的虹膜圖像的虹膜特徵圖中同爲虹膜區域的位置處的特徵，根據該特徵執行兩個虹膜圖像的比對，可以减少非虹膜區域的特徵信息的影響，提高比對精度。
S43：根據所述至少兩個虹膜圖像分別對應的第四子特徵圖之間的關聯度，確定所述至少兩個虹膜圖像的比對結果。
在得到同爲虹膜區域的虹膜特徵（第四子特徵圖）的情况下，可以得到獲得待比對的兩個虹膜圖像對應的第四子特徵圖之間的關聯度，繼而可以將該關聯度確定爲待比對的兩個虹膜圖像之間的關聯度，即比對結果。本發明實施例中，上述關聯度可以爲歐式距離，或者也可以爲餘弦相似度，本發明對此不作具體限定。
在一個示例中，在關聯度爲歐式距離的情况下，兩個待比對的虹膜圖像的比對過程可以表示爲：
Figure 02_image001
；
其中，
Figure 02_image003
表示兩個虹膜圖像之間的比對結果（關聯度），
Figure 02_image005
和
Figure 02_image007
分別表示兩個虹膜圖像的掩碼圖，
Figure 02_image009
和
Figure 02_image011
分別表示兩個虹膜圖像的虹膜特徵圖。
在得到上述兩個待比對的虹膜圖像的比對結果的情况下，可以根據比對結果確定兩個虹膜圖像是否對應於同一人物對象。其中，在待比對的兩個虹膜圖像分別對應的第四子特徵圖之間的關聯度大於第一閾值的情况下，可以表示兩個虹膜圖像的關聯度較高，此時可以確定所述待比對的兩個虹膜圖像對應於同一對象。否則，在所述待比對的兩個虹膜圖像分別對應的第四子特徵圖之間的關聯度小於或者等於第一閾值的情况下，可以表示兩個虹膜圖像的關聯度交底，此時確定所述待比對的兩個虹膜圖像對應於不同對象。第一閾值可以爲預先設定的值，如可以爲70%，但不作爲本發明的具體限定。
如上述實施例所述，本發明實施例提供的圖像處理方法可以利用神經網路實現，如可以利用圖6示出的網路結構實現，下面對訓練神經網路的過程進行說明。
首先可以得到訓練圖像組，訓練圖像中可以包括至少兩個人物對象的虹膜圖像，每個人物對象的虹膜圖像至少爲一個，而且每個虹膜圖像的分辨率、圖像質量、大小均可以不同，從而可以提高神經網路的適用性。
而後可以利用神經網路執行訓練圖像的圖像處理，得到每個訓練圖像經圖像處理得到的各特徵分組對應的分組特徵圖。進而基於得到的分組特徵圖得到神經網路的網路損失，在該網路損失小於損失閾值的情况下，可以表示神經網路的檢測精度達到要求，可以進行應用，在網路損失大於或者等於損失閾值的情况下，可以反饋調節神經網網路的參數，如卷積參數等，直至得到的損失函數小於損失閾值。其中損失閾值可以爲根據需求設定的值，如可以爲0.1，但不作爲本發明的具體限定。
另外，本發明實施例爲了提高網路的檢測精度，可以根據相同人物對象的虹膜特徵圖之間的最小關聯度，與不同人物對象之間的最大關聯度確定網路損失。例如損失函數可以表示爲：
Figure 02_image013
Figure 02_image015
Figure 02_image017
其中，Ls表示同一特徵融合分支得到的分組特徵圖對應的網路損失，P表示人物對象的總數，K表示每個人物對象的虹膜圖像的總數，s表示特徵分組的組數，m表示共同的虹膜區域，B表示分組特徵圖的列數，
Figure 02_image019
表示第s分組中第i個人物對象的第a個虹膜圖像的特徵，
Figure 02_image021
表示第s分組中第j個人物對象的第n個虹膜圖像的特徵，MMSD函數表示特徵之間的關聯度，例如，
Figure 02_image023
表示對兩個訓練圖像中的一個訓練圖像的分組特徵圖
Figure 02_image025
進行列轉置後得到的特徵圖
Figure 02_image027
與第二個訓練圖像的分組特徵圖
Figure 02_image029
之間的關聯度的最小值。
Figure 02_image031
表示針對不同特徵融合分支得到的分組特徵圖對應的網路損失的加權和，即整個神經網路的網路損失，
Figure 02_image033
和
Figure 02_image035
分別表示加權係數，
Figure 02_image036
和
Figure 02_image038
分別表示兩個分組對應的網路損失。
在本發明實施例中，通過對虹膜圖像執行預處理，對虹膜圖像中的虹膜區域進行定位和分割，得到虹膜位置與虹膜區域對應的分割結果，同時還可以對虹膜圖像執行多尺度特徵提取和多尺度特徵融合，獲得高精度的虹膜特徵圖，而後利用分割結果與虹膜特徵圖執行虹膜圖像的身份識別，確定各虹膜圖像是否對應於同一對象。通過上述配置，可以通過多尺度特徵提取和多尺度融合特徵的方式使得提取的底層特徵以及高層特徵充分的融合，使得最後得到的虹膜特徵兼顧底層的紋理特徵和高層的分類特徵，提高特徵提取精度，同時還可以利用分割結果和虹膜特徵圖的結合，僅考慮虹膜區域的特徵部分，减少其他區域的影響，更加精確的識別出虹膜圖像是否對應於同一對象，檢測結果較高。另外，本發明實施例可以針對虹膜圖像中紋理區域重要性不同的特點，在神經網路中採用空間注意力機制，讓網路自適應的學習虹膜特徵。
本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
可以理解，本發明提及的上述各個方法實施例，在不違背原理邏輯的情况下，均可以彼此相互結合形成結合後的實施例，限於篇幅，本發明不再贅述。
此外，本發明還提供了圖像處理裝置、電子設備、電腦可讀儲存媒體、程式，上述均可用來實現本發明提供的任一種圖像處理方法，相應技術方案和描述和參見方法部分的相應記載，不再贅述。
圖9示出根據本發明實施例的一種圖像處理裝置的方塊示意圖；，如圖9所示，所述圖像處理裝置包括：
獲取模組10，用於獲取虹膜圖像組，所述虹膜圖像組包括待比對的至少兩個虹膜圖像；
檢測模組20，用於檢測所述虹膜圖像中的虹膜位置，以及所述虹膜圖像中虹膜區域的分割結果；
特徵處理模組30，用於對所述虹膜位置對應的圖像區域執行多尺度特徵提取和多尺度特徵融合處理，得到所述虹膜圖像對應的虹膜特徵圖；
比對模組40，用於利用所述至少兩個虹膜圖像分別對應的所述分割結果和所述虹膜特徵圖，執行比對處理，基於所述比對處理的比對結果確定所述待比對的兩個虹膜圖像是否對應於同一對象。
在一些可能的實施方式中，所述特徵處理模組還用於對所述虹膜圖像中所述虹膜位置對應的圖像區域執行所述多尺度特徵提取處理，得到多個尺度的特徵圖；
利用所述多個尺度的特徵圖，形成至少一個特徵分組，所述特徵分組包括所述多個尺度特徵圖中至少兩個尺度的特徵圖；
基於注意力機制，對所述特徵分組中的特徵圖執行所述多尺度特徵融合處理，得到所述特徵分組對應的分組特徵圖；
基於所述特徵分組對應的分組特徵圖得到所述虹膜圖像對應的虹膜特徵圖。
在一些可能的實施方式中，所述特徵處理模組還用於對所述虹膜圖像中所述虹膜位置對應的圖像區域執行所述多尺度特徵提取處理，得到多個尺度的特徵圖；
利用所述多個尺度的特徵圖，形成至少一個特徵分組，所述特徵分組包括所述多個尺度特徵圖中至少兩個尺度的特徵圖；
基於注意力機制，對所述特徵分組中的特徵圖執行所述多尺度特徵融合處理，得到所述特徵分組對應的分組特徵圖；
基於所述特徵分組對應的分組特徵圖得到所述虹膜圖像對應的虹膜特徵圖。
在一些可能的實施方式中，所述特徵處理模組還用於對每個所述分組特徵對應的所述分組特徵圖執行加權和處理，得到所述虹膜圖像對應的虹膜特徵圖。
在一些可能的實施方式中，所述分割結果包括所述虹膜圖像中虹膜區域對應的掩碼圖，所述掩碼圖中的第一標識表示所述虹膜區域，所述掩碼圖中的第二標識表示所述虹膜區域以外的位置區域。
在一些可能的實施方式中，所述檢測模組還用於對所述虹膜圖像執行目標檢測處理，確定所述虹膜圖像的所述虹膜位置以及瞳孔位置；
基於確定的所述虹膜位置和所述瞳孔位置，對所述虹膜圖像執行所述分割處理，得到所述虹膜圖像中虹膜區域的分割結果。
在一些可能的實施方式中，所述檢測模組還用於分別對所述虹膜圖像的虹膜位置對應的圖像區域和所述分割結果執行歸一化處理；
所述特徵處理模組還用於：
對歸一化處理後的所述虹膜位置對應的圖像區域執行所述多尺度特徵提取和所述多尺度特徵融合處理，得到所述虹膜圖像對應的虹膜特徵圖。
在一些可能的實施方式中，所述比對模組還用於利用所述至少兩個虹膜圖像分別對應的分割結果，確定所述至少兩個虹膜圖像中同爲虹膜區域的第一位置；
分別確定所述至少兩個虹膜圖像的虹膜特徵圖中與所述第一位置對應的第四子特徵圖；
根據所述至少兩個虹膜圖像分別對應的第四子特徵圖之間的關聯度，確定所述至少兩個虹膜圖像的比對結果。
在一些可能的實施方式中，所述比對模組還用於在所述至少兩個虹膜圖像分別對應的第四子特徵圖之間的關聯度大於第一閾值的情况下，確定所述至少兩個虹膜圖像對應於同一對象。
在一些可能的實施方式中，所述比對模組還用於在所述至少兩個虹膜圖像分別對應的第四子特徵圖之間的關聯度小於或者等於第一閾值的情况下，確定所述至少兩個虹膜圖像對應於不同對象。
在一些可能的實施方式中，所述裝置包括神經網路，所述神經網路包括所述獲取模組、所述檢測模組、所述特徵處理模組以及所述比對模組。
在一些實施例中，本發明實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，爲了簡潔，這裡不再贅述。
本發明實施例還提出一種電腦可讀儲存媒體，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述方法。電腦可讀儲存媒體可以是非揮發性電腦可讀儲存媒體。
本發明實施例還提出一種電子設備，包括：處理器；用於儲存處理器可執行指令的儲存器；其中，所述處理器被配置爲上述方法。
電子設備可以被提供爲終端、伺服器或其它形態的設備。
圖10示出根據本發明實施例的一種電子設備的方塊示意圖。例如，電子設備800可以是行動電話，電腦，數位廣播終端，訊息收發設備，遊戲控制台，平板設備，醫療設備，健身設備，個人數位助理等終端。
參照圖10，電子設備800可以包括以下一個或多個組件：處理組件802，儲存器804，電源組件806，多媒體組件808，音頻組件810，輸入/輸出（I/ O）的連接埠812，感測器組件814，以及通訊組件816。
處理組件802通常控制電子設備800的整體操作，諸如與顯示，電話呼叫，資料通訊，相機操作和記錄操作相關聯的操作。處理組件802可以包括一個或多個處理器820來執行指令，以完成上述的方法的全部或部分步驟。此外，處理組件802可以包括一個或多個模組，便於處理組件802和其他組件之間的交互。例如，處理組件802可以包括多媒體模組，以方便多媒體組件808和處理組件802之間的交互。
儲存器804被配置爲儲存各種類型的資料以支持在電子設備800的操作。這些資料的示例包括用於在電子設備800上操作的任何應用程式或方法的指令，連絡人資料，電話簿資料，訊息，圖片，影片等。儲存器804可以由任何類型的揮發性或非揮發性儲存設備或者它們的組合實現，如靜態隨機存取記憶體（SRAM），電子抹除式可複寫唯讀記憶體（EEPROM），可擦除可程式化唯讀記憶體（EPROM），可程式化唯讀記憶體（PROM），唯讀記憶體（ROM），磁芯記憶體，快閃記憶體，磁碟或光碟。
電源組件806爲電子設備800的各種組件提供電力。電源組件806可以包括電源管理系統，一個或多個電源，及其他與爲電子設備800生成、管理和分配電力相關聯的組件。
多媒體組件808包括在所述電子設備800和用戶之間的提供一個輸出連接埠的螢幕。在一些實施例中，螢幕可以包括液晶顯示器（LCD）和觸控面板（TP）。如果螢幕包括觸控面板，螢幕可以被實現爲觸摸控螢幕，以接收來自用戶的輸入信號。觸控面板包括一個或多個觸摸感測器以感測觸摸、滑動和觸控面板上的手勢。所述觸摸感測器可以不僅感測觸摸或滑動動作的邊界，而且還檢測與所述觸摸或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體組件808包括一個前置攝影鏡頭和/或後置攝影鏡頭。當電子設備800處於操作模式，如拍攝模式或影片模式時，前置攝影鏡頭和/或後置攝影鏡頭可以接收外部的多媒體資料。每個前置攝影鏡頭和後置攝影鏡頭可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音頻組件810被配置爲輸出和/或輸入音頻信號。例如，音頻組件810包括一個麥克風（MIC），當電子設備800處於操作模式，如呼叫模式、記錄模式和語音識別模式時，麥克風被配置爲接收外部音頻信號。所接收的音頻信號可以被進一步儲存在儲存器804或經由通訊組件816發送。在一些實施例中，音頻組件810還包括一個揚聲器，用於輸出音頻信號。
I/ O連接埠812爲處理組件802和外圍連接埠模組之間提供連接埠，上述外圍連接埠模組可以是鍵盤，點擊輪，按鈕等。這些按鈕可包括但不限於：主頁按鈕、音量按鈕、啓動按鈕和鎖定按鈕。
感測器組件814包括一個或多個感測器，用於爲電子設備800提供各個方面的狀態評估。例如，感測器組件814可以檢測到電子設備800的打開/關閉狀態，組件的相對定位，例如所述組件爲電子設備800的顯示器和小鍵盤，感測器組件814還可以檢測電子設備800或電子設備800一個組件的位置改變，用戶與電子設備800接觸的存在或不存在，電子設備800方位或加速/减速和電子設備800的溫度變化。感測器組件814可以包括接近感測器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器組件814還可以包括光感測器，如CMOS或CCD圖像感測器，用於在成像應用中使用。在一些實施例中，該感測器組件814還可以包括加速度感測器，陀螺儀感測器，磁感測器，壓力感測器或溫度感測器。
通訊組件816被配置爲便於電子設備800和其他設備之間有線或無線方式的通訊。電子設備800可以接入基於通訊標準的無線網路，如WiFi，2G或3G，或它們的組合。在一個示例性實施例中，通訊組件816經由廣播信道接收來自外部廣播管理系統的廣播信號或廣播相關信息。在一個示例性實施例中，所述通訊組件816還包括近場通訊（NFC）模組，以促進短程通訊。例如，在NFC模組可基於射頻識別（RFID）技術，紅外通訊（IrDA）技術，超寬頻（UWB）技術，藍牙（BT）技術和其他技術來實現。
在示例性實施例中，電子設備800可以被一個或多個現場可程式化邏輯閘陣列（ASIC）、數位信號處理器（DSP）、數位信號處理設備（DSPD）、可程式化邏輯裝置（PLD）、現場可程式化邏輯閘陣列（FPGA）、控制器、微控制器、微處理器或其他電子元件實現，用於執行上述方法。
在示例性實施例中，還提供了一種非揮發性電腦可讀儲存媒體，例如包括電腦程式指令的儲存器804，上述電腦程式指令可由電子設備800的處理器820執行以完成上述方法。
本發明實施例還提供了一種電腦程式產品，包括電腦可讀代碼，當電腦可讀代碼在設備上運行時，設備中的處理器執行用於實現如上任一實施例提供的方法的指令。
該電腦程式產品可以具體通過硬體、軟體或其結合的方式實現。在一個可選實施例中，所述電腦程式產品具體體現爲電腦儲存媒體，在另一個可選實施例中，電腦程式產品具體體現爲軟體產品，例如軟體開發包(Software Development Kit，SDK)等等。
圖11示出根據本發明實施例的另一種電子設備的方塊示意圖。例如，電子設備1900可以被提供爲一伺服器。參照圖11，電子設備1900包括處理組件1922，其進一步包括一個或多個處理器，以及由儲存器1932所代表的儲存器資源，用於儲存可由處理組件1922的執行的指令，例如應用程式。儲存器1932中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外，處理組件1922被配置爲執行指令，以執行上述方法。
電子設備1900還可以包括一個電源組件1926被配置爲執行電子設備1900的電源管理，一個有線或無線網路連接埠1950被配置爲將電子設備1900連接到網路，和一個輸入輸出（I/O）連接埠1958。電子設備1900可以操作基於儲存在儲存器1932的操作系統，例如Windows ServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM或類似。
在示例性實施例中，還提供了一種非揮發性電腦可讀儲存媒體，例如包括電腦程式指令的儲存器1932，上述電腦程式指令可由電子設備1900的處理組件1922執行以完成上述方法。
本發明可以是系統、方法和/或電腦程式產品。電腦程式產品可以包括電腦可讀儲存媒體，其上載有用於使處理器實現本發明的各個方面的電腦可讀程式指令。
電腦可讀儲存媒體可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存媒體例如可以是――但不限於――電儲存設備、磁儲存設備、光儲存設備、電磁儲存設備、半導體儲存設備或者上述的任意合適的組合。電腦可讀儲存媒體的更具體的例子（非窮舉的列表）包括：便携式電腦硬碟、硬碟、隨機存取記憶體（RAM）、唯讀記憶體（ROM）、可擦除可程式化唯讀記憶體（EPROM或快閃記憶體）、靜態隨機存取記憶體（SRAM）、唯讀記憶光碟（CD-ROM）、數位多功能影音光碟（DVD）、記憶卡、磁片、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裡所使用的電腦可讀儲存媒體不被解釋爲瞬時信號本身，諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波（例如，通過光纖電纜的光脉衝）、或者通過電線傳輸的電信號。
這裡所描述的電腦可讀程式指令可以從電腦可讀儲存媒體下載到各個計算/處理設備，或者通過網路、例如網際網路、區域網路、廣域網路和/或無線網路下載到外部電腦或外部儲存設備。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火墻、交換機、閘道器電腦和/或邊緣伺服器。每個計算/處理設備中的網路適配卡或者網路連接埠從網路接收電腦可讀程式指令，並轉發該電腦可讀程式指令，以供儲存在各個計算/處理設備中的電腦可讀儲存媒體中。
用於執行本發明操作的電腦程式指令可以是彙編指令、指令集架構（ISA）指令、機器指令、機器相關指令、微代碼、固件指令、狀態設置資料、或者以一種或多種程式語言的任意組合編寫的源代碼或目標代碼，所述程式語言包括面向對象的程式語言—諸如Smalltalk、C++等，以及常規的過程式程式語言—諸如“C”語言或類似的程式語言。電腦可讀程式指令可以完全地在用戶電腦上執行、部分地在用戶電腦上執行、作爲一個獨立的軟體包執行、部分在用戶電腦上部分在遠程電腦上執行、或者完全在遠程電腦或伺服器上執行。在涉及遠程電腦的情形中，遠程電腦可以通過任意種類的網路—包括區域網路(LAN)或廣域網路(WAN)—連接到用戶電腦，或者，可以連接到外部電腦（例如利用網際網路服務提供商來通過網際網路連接）。在一些實施例中，通過利用電腦可讀程式指令的狀態信息來個性化定制電子電路，例如可程式化邏輯電路、現場可程式化門陣列（FPGA）或可程式化邏輯陣列（PLA），該電子電路可以執行電腦可讀程式指令，從而實現本發明的各個方面。
這裡參照根據本發明實施例的方法、裝置（系統）和電腦程式產品的流程圖和/或方塊示意圖描述了本發明的各個方面。應當理解，流程圖和/或方塊示意圖的每個方框以及流程圖和/或方塊示意圖中各方框的組合，都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式化資料處理裝置的處理器，從而生產出一種機器，使得這些指令在通過電腦或其它可程式化資料處理裝置的處理器執行時，產生了實現流程圖和/或方塊示意圖中的一個或多個方框中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存媒體中，這些指令使得電腦、可程式化資料處理裝置和/或其他設備以特定方式工作，從而，儲存有指令的電腦可讀媒體則包括一個製造品，其包括實現流程圖和/或方塊示意圖中的一個或多個方框中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令加載到電腦、其它可程式化資料處理裝置、或其它設備上，使得在電腦、其它可程式化資料處理裝置或其它設備上執行一系列操作步驟，以產生電腦實現的過程，從而使得在電腦、其它可程式化資料處理裝置、或其它設備上執行的指令實現流程圖和/或方塊示意圖中的一個或多個方框中規定的功能/動作。
附圖中的流程圖和方塊示意圖顯示了根據本發明的多個實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上，流程圖或方塊示意圖中的每個方框可以代表一個模組、程式段或指令的一部分，所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作爲替換的實現中，方框中所標註的功能也可以以不同於附圖中所標註的順序發生。例如，兩個連續的方框實際上可以基本並行地執行，它們有時也可以按相反的順序執行，這依所涉及的功能而定。也要注意的是，方塊示意圖和/或流程圖中的每個方框、以及方塊示意圖和/或流程圖中的方框的組合，可以用執行規定的功能或動作的專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。
以上已經描述了本發明的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情况下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中的技術的技術改進，或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。
S10~S40:步驟 S21~S22:步驟 S31~S34:步驟 S331~S334:步驟 S41~S43:步驟 10:獲取模組 20:檢測模組 30:特徵處理模組 40:比對模組 800:電子設備 802:處理組件 804:儲存器 806:電源組件 808:多媒體組件 810:音頻組件 812:輸入/輸出連接埠 814:感測器組件 816:通訊組件 820:處理器 1900:電子設備 1922:處理組件 1926:電源組件 1932:儲存器 1950:網路連接埠 1958:輸入/輸出連接埠
此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本發明的實施例，並與說明書一起用於說明本發明的技術方案。 圖1示出根據本發明實施例的一種圖像處理方法的流程圖； 圖2示出根據本發明實施例的一種圖像處理方法的過程示意圖； 圖3示出根據本發明實施例的一種圖像處理方法中步驟S20的流程圖； 圖4示出根據本發明實施例的虹膜圖像的預處理的示意圖； 圖5示出根據本發明實施例的一種圖像處理方法中步驟S30的流程圖； 圖6示出根據實現本發明實施例的圖像處理方法的神經網路的結構示意圖； 圖7示出根據本發明實施例的一種圖像處理方法中步驟S33的流程圖； 圖8示出根據本發明實施例的一種圖像處理方法中步驟S40的流程圖； 圖9示出根據本發明實施例的一種圖像處理裝置的方塊示意圖； 圖10示出根據本發明實施例的一種電子設備的方塊示意圖； 圖11示出根據本發明實施例的另一種電子設備的方塊示意圖。
S10~S40:步驟

Claims (15)

  1. 一種圖像處理方法，其中，包括以下步驟： 獲取虹膜圖像組，所述虹膜圖像組包括待比對的至少兩個虹膜圖像； 檢測所述虹膜圖像中的虹膜位置，以及所述虹膜圖像中虹膜區域的分割結果； 對所述虹膜位置對應的圖像區域執行多尺度特徵提取和多尺度特徵融合處理，得到所述虹膜圖像對應的虹膜特徵圖； 利用所述至少兩個虹膜圖像分別對應的所述分割結果和所述虹膜特徵圖，執行比對處理，基於所述比對處理得到的比對結果確定所述至少兩個虹膜圖像是否對應於同一對象。
  2. 如請求項1所述的方法，其中，所述對所述虹膜位置對應的圖像區域執行多尺度特徵提取和多尺度特徵融合處理，得到所述虹膜圖像對應的虹膜特徵圖，包括以下步驟： 對所述虹膜圖像中所述虹膜位置對應的圖像區域執行所述多尺度特徵提取處理，得到多個尺度的特徵圖； 利用所述多個尺度的特徵圖，形成至少一個特徵分組，所述特徵分組包括所述多個尺度特徵圖中至少兩個尺度的特徵圖； 基於注意力機制，對所述特徵分組中的特徵圖執行所述多尺度特徵融合處理，得到所述特徵分組對應的分組特徵圖； 基於所述特徵分組對應的分組特徵圖得到所述虹膜圖像對應的虹膜特徵圖。
  3. 如請求項2所述的方法，其中，所述基於注意力機制，對所述特徵分組中的特徵圖執行所述多尺度特徵融合處理，得到所述特徵分組對應的分組特徵圖，包括以下步驟： 對所述特徵分組中的所述至少兩個尺度的特徵圖的連接特徵圖執行第一卷積處理，得到第一子特徵圖； 對所述第一子特徵圖執行第二卷積處理以及激活函數處理，得到第二子特徵圖，所述第二子特徵圖表示所述第一子特徵圖對應的注意力係數； 將所述第一子特徵圖和所述第二子特徵圖的乘積結果與所述第一子特徵圖相加，得到第三子特徵圖； 對所述第三子特徵圖執行第三卷積處理，得到所述特徵分組對應的分組特徵圖。
  4. 如請求項2所述的方法，其中，所述基於所述特徵分組對應的分組特徵圖得到所述虹膜圖像對應的虹膜特徵圖，包括以下步驟： 對每個所述分組特徵對應的所述分組特徵圖執行加權和處理，得到所述虹膜圖像對應的虹膜特徵圖。
  5. 如請求項1所述的方法，其中，所述分割結果包括所述虹膜圖像中虹膜區域對應的掩碼圖，所述掩碼圖中的第一標識表示所述虹膜區域，所述掩碼圖中的第二標識表示所述虹膜區域以外的位置區域。
  6. 如請求項1所述的方法，其中，所述檢測所述虹膜圖像中的虹膜位置，以及所述虹膜圖像中虹膜區域的分割結果，包括以下步驟： 對所述虹膜圖像執行目標檢測處理，確定所述虹膜圖像的虹膜位置以及瞳孔位置； 基於確定的所述虹膜位置和所述瞳孔位置，對所述虹膜圖像執行所述分割處理，得到所述虹膜圖像中虹膜區域的分割結果。
  7. 如請求項1所述的方法，其中，所述檢測所述虹膜圖像中的虹膜位置，以及所述虹膜圖像中虹膜區域的分割結果，包括以下步驟： 分別對所述虹膜圖像的所述虹膜位置對應的圖像區域和所述分割結果執行歸一化處理； 所述對所述虹膜位置對應的圖像區域執行所述多尺度特徵提取和所述多尺度特徵融合處理，得到所述虹膜圖像對應的虹膜特徵圖，還包括： 對歸一化處理後的所述虹膜位置對應的圖像區域執行所述多尺度特徵提取和所述多尺度特徵融合處理，得到所述虹膜圖像對應的虹膜特徵圖。
  8. 如請求項1所述的方法，其中，利用所述至少兩個虹膜圖像分別對應的所述分割結果和所述虹膜特徵圖，執行比對處理，包括以下步驟： 利用所述至少兩個虹膜圖像分別對應的所述分割結果，確定所述至少兩個虹膜圖像中同爲虹膜區域的第一位置； 分別確定所述至少兩個虹膜圖像的虹膜特徵圖中與所述第一位置對應的第四子特徵圖； 根據所述至少兩個虹膜圖像分別對應的所述第四子特徵圖之間的關聯度，對所述至少兩個虹膜圖像執行比對處理。
  9. 如請求項8所述的方法，其中，所述基於所述比對處理得到的比對結果確定所述至少兩個虹膜圖像是否對應於同一對象，包括以下步驟： 在所述至少兩個虹膜圖像分別對應的第四子特徵圖之間的關聯度大於第一閾值的情况下，確定所述至少兩個虹膜圖像對應於同一對象。
  10. 如請求項8所述的方法，其中，所述基於比對結果確定所述至少兩個虹膜圖像是否對應於同一對象，還包括以下步驟： 在所述至少兩個虹膜圖像分別對應的第四子特徵圖之間的關聯度小於或者等於第一閾值的情况下，確定所述至少兩個虹膜圖像對應於不同對象。
  11. 如請求項1所述的方法，其中，所述圖像處理方法通過卷積神經網路實現。
  12. 一種圖像處理裝置，其中，包括： 獲取模組，用於獲取虹膜圖像組，所述虹膜圖像組包括待比對的至少兩個虹膜圖像； 檢測模組，用於檢測所述虹膜圖像中的虹膜位置，以及所述虹膜圖像中虹膜區域的分割結果； 特徵處理模組，用於對所述虹膜位置對應的圖像區域執行多尺度特徵提取和多尺度特徵融合處理，得到所述虹膜圖像對應的虹膜特徵圖； 比對模組，用於利用所述至少兩個虹膜圖像分別對應的所述分割結果和所述虹膜特徵圖，執行比對處理，基於所述比對處理的比對結果確定所述至少兩個虹膜圖像是否對應於同一對象。
  13. 一種電子設備，其中，包括： 處理器； 用於儲存處理器可執行指令的儲存器； 其中，所述處理器被配置爲調用所述儲存器儲存的指令，以執行請求項1至11中任意一請求項所述的方法。
  14. 一種電腦可讀儲存媒體，其上儲存有電腦程式指令，其中，所述電腦程式指令被處理器執行時實現請求項1至11中任意一請求項所述的方法。
  15. 一種電腦程式，包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行用於實現請求項1至11中的任一請求項所述的方法。
TW109100344A 2019-09-26 2020-01-06 圖像處理方法及裝置、電子設備、儲存媒體和電腦程式 TWI724736B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910919121.9A CN110688951B (zh) 2019-09-26 2019-09-26 图像处理方法及装置、电子设备和存储介质
CN201910919121.9 2019-09-26

Publications (2)

Publication Number Publication Date
TW202113756A true TW202113756A (zh) 2021-04-01
TWI724736B TWI724736B (zh) 2021-04-11

Family

ID=69110423

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109100344A TWI724736B (zh) 2019-09-26 2020-01-06 圖像處理方法及裝置、電子設備、儲存媒體和電腦程式

Country Status (7)

Country Link
US (1) US11532180B2 (zh)
JP (1) JP7089106B2 (zh)
KR (1) KR20210047336A (zh)
CN (1) CN110688951B (zh)
SG (1) SG11202013254VA (zh)
TW (1) TWI724736B (zh)
WO (1) WO2021056808A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292343B (zh) * 2020-01-15 2023-04-28 东北大学 一种基于多视角下的肺叶分割方法和装置
CN111260627B (zh) * 2020-01-15 2023-04-28 东北大学 一种基于肺叶的肺气肿区域判断方法和装置
CN111401145B (zh) * 2020-02-26 2022-05-03 三峡大学 一种基于深度学习与ds证据理论的可见光虹膜识别方法
CN111858989B (zh) * 2020-06-09 2023-11-10 西安工程大学 一种基于注意力机制的脉冲卷积神经网络的图像分类方法
CN111681273B (zh) * 2020-06-10 2023-02-03 创新奇智(青岛)科技有限公司 图像分割方法、装置、电子设备及可读存储介质
CN111862034B (zh) * 2020-07-15 2023-06-30 平安科技（深圳）有限公司 图像检测方法、装置、电子设备及介质
CN112184635A (zh) * 2020-09-10 2021-01-05 上海商汤智能科技有限公司 目标检测方法、装置、存储介质及设备
CN112288723B (zh) * 2020-10-30 2023-05-23 北京市商汤科技开发有限公司 缺陷检测方法、装置、计算机设备及存储介质
CN112287872B (zh) * 2020-11-12 2022-03-25 北京建筑大学 基于多任务神经网络的虹膜图像分割、定位和归一化方法
CN113076926B (zh) * 2021-04-25 2022-11-18 华南理工大学 一种带语义引导的多尺度目标检测方法及系统
CN113642393B (zh) * 2021-07-07 2024-03-22 重庆邮电大学 基于注意力机制的多特征融合视线估计方法
CN113486815B (zh) * 2021-07-09 2022-10-21 山东力聚机器人科技股份有限公司 一种行人重识别系统和方法、计算机设备及存储介质
CN113591843B (zh) * 2021-07-12 2024-04-09 中国兵器工业计算机应用技术研究所 仿初级视觉皮层的目标检测方法、装置及设备
CN113643305B (zh) * 2021-08-10 2023-08-25 珠海复旦创新研究院 一种基于深度网络上下文提升的人像检测与分割方法
CN116797890A (zh) * 2022-03-11 2023-09-22 北京字跳网络技术有限公司 图像增强方法、装置、设备及介质
CN114359120B (zh) * 2022-03-21 2022-06-21 深圳市华付信息技术有限公司 遥感影像处理方法、装置、设备及存储介质
CN114998980B (zh) * 2022-06-13 2023-03-31 北京万里红科技有限公司 一种虹膜检测方法、装置、电子设备及存储介质
CN115100730B (zh) * 2022-07-21 2023-08-08 北京万里红科技有限公司 虹膜活体检测模型的训练方法、虹膜活体检测方法及装置
CN116704666A (zh) * 2023-06-21 2023-09-05 合肥中科类脑智能技术有限公司 售卖方法及计算机可读存储介质、自动售卖机

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6247813B1 (en) * 1999-04-09 2001-06-19 Iritech, Inc. Iris identification system and method of identifying a person through iris recognition
JP3586431B2 (ja) * 2001-02-28 2004-11-10 松下電器産業株式会社 個人認証方法および装置
JP2004206444A (ja) * 2002-12-25 2004-07-22 Matsushita Electric Ind Co Ltd 個人認証方法および虹彩認証装置
WO2005109344A1 (ja) * 2004-05-10 2005-11-17 Matsushita Electric Industrial Co., Ltd. 虹彩登録方法、虹彩登録装置および虹彩登録プログラム
KR100629550B1 (ko) 2004-11-22 2006-09-27 아이리텍 잉크 다중스케일 가변영역분할 홍채인식 방법 및 시스템
CN101539990B (zh) * 2008-03-20 2011-05-11 中国科学院自动化研究所 一种虹膜图像鲁棒特征选择和快速比对的方法
CN102844766B (zh) * 2011-04-20 2014-12-24 中国科学院自动化研究所 基于人眼图像的多特征融合身份识别方法
CN104063872B (zh) * 2014-07-04 2017-02-15 西安电子科技大学 基于改进视觉注意模型的序列图像显著区域检测方法
CN106326841A (zh) * 2016-08-12 2017-01-11 合肥虹视信息工程有限公司 一种快速虹膜识别算法
CN106778664B (zh) * 2016-12-29 2020-12-15 天津中科智能识别产业技术研究院有限公司 一种虹膜图像中虹膜区域的分割方法及其装置
KR102369412B1 (ko) * 2017-02-02 2022-03-03 삼성전자주식회사 홍채 인식 장치 및 방법
CN109426770B (zh) * 2017-08-24 2022-02-18 合肥虹慧达科技有限公司 虹膜识别方法
CN107506754A (zh) * 2017-09-19 2017-12-22 厦门中控智慧信息技术有限公司 虹膜识别方法、装置及终端设备
CN108229531B (zh) * 2017-09-29 2021-02-26 北京市商汤科技开发有限公司 对象特征提取方法、装置、存储介质和电子设备
RU2670798C9 (ru) * 2017-11-24 2018-11-26 Самсунг Электроникс Ко., Лтд. Способ аутентификации пользователя по радужной оболочке глаз и соответствующее устройство
CN110059589B (zh) * 2019-03-21 2020-12-29 昆山杜克大学 一种基于Mask R-CNN神经网络的虹膜图像中虹膜区域的分割方法

Also Published As

Publication number Publication date
CN110688951B (zh) 2022-05-31
US20210117674A1 (en) 2021-04-22
SG11202013254VA (en) 2021-04-29
JP7089106B2 (ja) 2022-06-21
KR20210047336A (ko) 2021-04-29
WO2021056808A1 (zh) 2021-04-01
US11532180B2 (en) 2022-12-20
CN110688951A (zh) 2020-01-14
JP2022511217A (ja) 2022-01-31
TWI724736B (zh) 2021-04-11

Similar Documents

Publication Publication Date Title
TWI724736B (zh) 圖像處理方法及裝置、電子設備、儲存媒體和電腦程式
TWI749423B (zh) 圖像處理方法及裝置、電子設備和電腦可讀儲存介質
TWI747325B (zh) 目標對象匹配方法及目標對象匹配裝置、電子設備和電腦可讀儲存媒介
JP7238141B2 (ja) 顔と手を関連付けて検出する方法及び装置、電子機器、記憶媒体及びコンピュータプログラム
CN108121952B (zh) 人脸关键点定位方法、装置、设备及存储介质
TWI766286B (zh) 圖像處理方法及圖像處理裝置、電子設備和電腦可讀儲存媒介
WO2019101021A1 (zh) 图像识别方法、装置及电子设备
JP7110412B2 (ja) 生体検出方法及び装置、電子機器並びに記憶媒体
WO2020134866A1 (zh) 关键点检测方法及装置、电子设备和存储介质
CN105512685B (zh) 物体识别方法和装置
TWI782480B (zh) 圖像處理方法及電子設備和電腦可讀儲存介質
TW202109449A (zh) 影像處理方法、電子設備，和電腦可讀儲存介質
TWI757668B (zh) 網路優化方法及裝置、圖像處理方法及裝置、儲存媒體
TWI778313B (zh) 圖像處理方法、電子設備和儲存介質
CN110532956B (zh) 图像处理方法及装置、电子设备和存储介质
TW202141352A (zh) 字元識別方法及電子設備和電腦可讀儲存介質
US20220270352A1 (en) Methods, apparatuses, devices, storage media and program products for determining performance parameters
CN107133361B (zh) 手势识别方法、装置和终端设备
TWI770531B (zh) 人臉識別方法、電子設備和儲存介質
CN111723715B (zh) 一种视频显著性检测方法及装置、电子设备和存储介质