TWI753039B - 圖像識別方法及裝置 - Google Patents

圖像識別方法及裝置 Download PDF

Info

Publication number
TWI753039B
TWI753039B TW106137123A TW106137123A TWI753039B TW I753039 B TWI753039 B TW I753039B TW 106137123 A TW106137123 A TW 106137123A TW 106137123 A TW106137123 A TW 106137123A TW I753039 B TWI753039 B TW I753039B
Authority
TW
Taiwan
Prior art keywords
image
spatial transformation
processing
recognized
remake
Prior art date
Application number
TW106137123A
Other languages
English (en)
Other versions
TW201832138A (zh
Inventor
陳凱
Original Assignee
香港商阿里巴巴集團服務有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商阿里巴巴集團服務有限公司 filed Critical 香港商阿里巴巴集團服務有限公司
Publication of TW201832138A publication Critical patent/TW201832138A/zh
Application granted granted Critical
Publication of TWI753039B publication Critical patent/TWI753039B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0609Buyer or seller confidence or verification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/95Pattern authentication; Markers therefor; Forgery detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/243Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/247Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/32Normalisation of the pattern dimensions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Finance (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Medical Informatics (AREA)
  • Accounting & Taxation (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本發明涉及圖像識別技術領域,特別涉及一種圖像識別方法及裝置。該方法為:基於空間變換網路模型,對上述待識別圖像進行圖像處理和空間變換處理,得到上述待識別圖像對應的翻拍圖像概率值,在判定上述待識別圖像對應的翻拍圖像概率值大於等於預設的第一閾值時,確定上述待識別圖像為疑似翻拍圖像。採用上述方法,僅需對空間變換網路進行一次模型訓練和模型測試,即可建立空間變換網路模型,這樣,就減少了訓練和測試過程中圖像樣本標定的工作量,提高了訓練和測試效率,進一步的,基於一級空間變換網路進行模型訓練,訓練得到的各個配置參數為最優組合,從而提高了在線使用空間變換網路模型對圖像進行識別時的識別效果。

Description

圖像識別方法及裝置
本發明涉及圖像識別技術領域,特別涉及一種圖像識別方法及裝置。
隨著網路經濟的發展,電子商務平臺為用戶購物、交易帶來了極大的便利。在電商生態中,幾乎每個環節都涉及到“金錢”,從而促使了不法分子使用虛假身份在電商平臺上進行欺詐、發佈違禁商品資訊等違法違規行為。為了淨化網際網路的生態環境,推進建立實人認證的全社會誠信體系是必不可少的方式。   所謂實人認證,就是要做到人證合一,依據認證過的帳號身份資訊就能方便而準確的找到使用此帳號的人。在實人認證實施的過程中,發現有部分用戶在進行實人認證時,上傳的身份證件的圖像是翻拍圖,而這部分用戶有很大的可能性是透過非法渠道獲得的他人的身份證件的資料,這樣,在進行實人認證的過程中,就需要對用戶上傳的身份證件的圖像進行識別分類,需要判斷用戶上傳的身份證件的圖像是否為翻拍圖。   現有技術中,在進行實人認證的過程中,需要採用多級獨立的卷積神經網路(Convolutional Neural Network,CNN)對用戶上傳的身份證件圖像進行檢測判斷處理。   然而,現有的技術方案需要針對每一CNN分別建立相應的訓練模型,並進行海量的樣本訓練,從而導致樣本標定工作量大,且需要花費大量的人力、物力資源對建立的多個CNN進行後續的運維操作,進一步的,現有的技術方案中採用了多級獨立的CNN處理來對用戶上傳的身份證件圖像進行識別,識別效果不佳。   綜上所述,需要設計一種新的圖像識別方法及裝置來彌補現有技術中存在的缺陷和不足之處。
本發明實施例提供一種圖像識別方法及裝置,用以解決現有技術中存在的需要針對每一CNN分別進行海量的樣本訓練,導致樣本標定工作量大,以及採用多級獨立的CNN處理導致圖像識別效果不佳的問題。   本發明實施例提供的具體技術方案如下:   一種圖像識別方法,包括:   將獲取到的待識別圖像輸入空間變換網路模型中;   基於所述空間變換網路模型,對所述待識別圖像進行圖像處理和空間變換處理,得到所述待識別圖像對應的翻拍圖像概率值;   在判定所述所述待識別圖像對應的翻拍圖像概率值大於等於預設的第一閾值時,確定所述待識別圖像為疑似翻拍圖像。   可選的,在將獲取到的待識別圖像輸入空間變換網路模型中之前,進一步包括:   獲取圖像樣本,並按照預設比例將獲取到的圖像樣本劃分為訓練集合和測試集合;   基於卷積神經網路CNN和空間變換模組構建空間變換網路,並基於所述訓練集合對所述空間變換網路進行模型訓練,以及基於所述測試集合對已完成模型訓練的空間變換網路進行模型測試。   可選的,基於CNN和空間變換模組構建空間變換網路,具體包括:   在CNN中嵌入一個可學習的空間變換模組,以構建空間變換網路,其中,所述空間變換模組至少包括定位網路,網格產生器和採樣器,所述定位網路包括至少一個卷積層,至少一個池化層和至少一個全連接層;   其中,所述定位網路用於:產生變換參數集合;所述網格產生器用於:根據變換參數集合生產採樣網格;所述採樣器用於:依據採樣網格對輸入的圖像進行採樣。   可選的,基於所述訓練集合對所述空間變換網路進行模型訓練,具體包括:   基於空間變換網路,將所述訓練集合中包含的圖像樣本劃分為若干批次,其中,一個批次內包含G個圖像樣本,G為大於等於1的正整數;   依次針對所述訓練集合中包含的每一批次執行以下操作,直到判定連續Q個批次對應的識別正確率均大於第一預設門限值為止,確定空間變換網路模型訓練完成,其中,Q為大於等於1的正整數:   使用當前的配置參數分別對一批次內包含的每一圖像樣本進行空間變換處理和圖像處理,獲得相應的識別結果,其中,所述配置參數中至少包括至少一個卷積層使用的參數,至少一個池化層使用的參數,至少一個全連接層使用的參數,以及空間變化模組使用的參數;   基於所述一批次內包含的各個圖像樣本的識別結果,計算所述一批次對應的識別正確率;   判定所述一批次對應的識別正確率是否大於第一預設門限值,若是,則保持所述當前的配置參數不變,否則,對所述當前的配置參數進行調整,將調整後的配置參數作為下一次批次使用的當前的配置參數。   可選的,基於所述測試集合對已完成模型訓練的空間變換網路進行模型測試,具體包括:   基於已完成模型訓練的空間變換網路,分別對所述測試集合中包含的每一個圖像樣本進行圖像處理和空間變換處理,獲得相應的輸出結果,其中,所述輸出結果包含每一圖像樣本對應的翻拍圖像概率值和非翻拍圖像概率值;   基於所述輸出結果,設置所述第一閾值,進而確定空間變換網路模型測試完成。   可選的,基於所述輸出結果,設置所述第一閾值,具體包括:   分別以所述測試集合中包含的每一圖像樣本的翻拍概率值作為設定閾值,基於所述輸出結果中包含的各個圖像樣本對應的翻拍圖像概率值和非翻拍圖像概率值,確定每一設定閾值對應的誤判率FPR和檢測正確率TPR;   基於已確定的每一設定閾值對應的FPR和TPR,繪製以FPR為橫坐標,TPR為縱坐標的受試者工作特徵ROC曲線;   基於所述ROC曲線,將FPR等於第二預設門限值時對應的翻拍圖像概率值設置為所述第一閾值。   可選的,基於所述空間變換網路模型,對所述待識別圖像進行圖像處理,具體包括:   基於所述空間變換網路模型,對所述待識別圖像進行至少一次卷積處理,至少一次池化處理和至少一次全連接處理。   可選的,對所述待識別圖像進行空間變換處理,具體包括:   所述空間變換網路模型至少包括CNN和空間變換模組,所述空間變換模組至少包括定位網路,網格產生器和採樣器;   使用所述CNN對所述待識別圖像進行任意一次卷積處理之後,使用所述定位網路產生變換參數集合,並使用所述網格產生器根據所述變換參數集合產生採樣網格,以及使用所述採樣器根據所述採樣網格對所述待識別圖像進行採樣和空間變換處理;   其中,空間變換處理至少包括以下操作中的任意一種或組合:旋轉處理,平移處理和縮放處理。   一種圖像識別方法,包括:   接收用戶上傳的待識別圖像;   接收到用戶觸發的圖像處理指令時,對所述待識別圖像進行圖像處理,接收到用戶觸發的空間變換指令時,對所述待識別圖像進行空間變換處理,並將經過圖像處理和空間變換處理後的待識別圖像呈現給用戶;   根據用戶指示,計算所述待識別圖像對應的翻拍圖像概率值;   判斷所述待識別圖像對應的翻拍圖像概率值是否小於預設的第一閾值,若是,則確定所述待識別圖像為非翻拍圖像,進而提示用戶識別成功;否則,確定所述待識別圖像為疑似翻拍圖像。   可選的,在確定所述待識別圖像為疑似翻拍圖像之後,進一步包括:   將所述疑似翻拍圖像呈現給管理人員,並提示管理人員對所述疑似翻拍圖像進行審核;   根據管理人員的審核回饋,確定所述疑似翻拍圖像是否為翻拍圖像。   可選的,對所述待識別圖像進行圖像處理,具體包括:   對所述待識別圖像進行至少一次卷積處理,至少一次池化處理和至少一次全連接處理。   可選的,對所述待識別圖像進行空間變換處理,具體包括:   對所述待識別圖像進行以下操作中的任意一種或組合:旋轉處理、平移處理和縮放處理。   一種圖像處理裝置,包括:   輸入單元,用於將獲取到的待識別圖像輸入空間變換網路模型中;   處理單元,用於基於所述空間變換網路模型,對所述待識別圖像進行圖像處理和空間變換處理,得到所述待識別圖像對應的翻拍圖像概率值;   確定單元,用於在判定所述所述待識別圖像對應的翻拍圖像概率值大於等於預設的第一閾值時,確定所述待識別圖像為疑似翻拍圖像。   可選的,在將獲取到的待識別圖像輸入空間變換網路模型中之前,所述輸入單元進一步用於:   獲取圖像樣本,並按照預設比例將獲取到的圖像樣本劃分為訓練集合和測試集合;   基於卷積神經網路CNN和空間變換模組構建空間變換網路,並基於所述訓練集合對所述空間變換網路進行模型訓練,以及基於所述測試集合對已完成模型訓練的空間變換網路進行模型測試。   可選的,在基於CNN和空間變換模組構建空間變換網路時,所述輸入單元具體用於:   在CNN中嵌入一個可學習的空間變換模組,以構建空間變換網路,其中,所述空間變換模組至少包括定位網路,網格產生器和採樣器,所述定位網路包括至少一個卷積層,至少一個池化層和至少一個全連接層;   其中,所述定位網路用於:產生變換參數集合;所述網格產生器用於:根據變換參數集合生產採樣網格;所述採樣器用於:依據採樣網格對輸入的圖像進行採樣。   可選的,在基於所述訓練集合對所述空間變換網路進行模型訓練時,所述輸入單元具體用於:   基於空間變換網路,將所述訓練集合中包含的圖像樣本劃分為若干批次,其中,一個批次內包含G個圖像樣本,G為大於等於1的正整數;   依次針對所述訓練集合中包含的每一批次執行以下操作,直到判定連續Q個批次對應的識別正確率均大於第一預設門限值為止,確定空間變換網路模型訓練完成,其中,Q為大於等於1的正整數:   使用當前的配置參數分別對一批次內包含的每一圖像樣本進行空間變換處理和圖像處理,獲得相應的識別結果,其中,所述配置參數中至少包括至少一個卷積層使用的參數,至少一個池化層使用的參數,至少一個全連接層使用的參數,以及空間變化模組使用的參數;   基於所述一批次內包含的各個圖像樣本的識別結果,計算所述一批次對應的識別正確率;   判定所述一批次對應的識別正確率是否大於第一預設門限值,若是,則保持所述當前的配置參數不變,否則,對所述當前的配置參數進行調整,將調整後的配置參數作為下一次批次使用的當前的配置參數。   可選的,在基於所述測試集合對已完成模型訓練的空間變換網路進行模型測試時,所述輸入單元具體用於:   基於已完成模型訓練的空間變換網路,分別對所述測試集合中包含的每一個圖像樣本進行圖像處理和空間變換處理,獲得相應的輸出結果,其中,所述輸出結果包含每一圖像樣本對應的翻拍圖像概率值和非翻拍圖像概率值;   基於所述輸出結果,設置所述第一閾值,進而確定空間變換網路模型測試完成。   可選的,在基於所述輸出結果,設置所述第一閾值時,所述輸入單元具體用於:   分別以所述測試集合中包含的每一圖像樣本的翻拍概率值作為設定閾值,基於所述輸出結果中包含的各個圖像樣本對應的翻拍圖像概率值和非翻拍圖像概率值,確定每一設定閾值對應的誤判率FPR和檢測正確率TPR;   基於已確定的每一設定閾值對應的FPR和TPR,繪製以FPR為橫坐標,TPR為縱坐標的受試者工作特徵ROC曲線;   基於所述ROC曲線,將FPR等於第二預設門限值時對應的翻拍圖像概率值設置為所述第一閾值。   可選的,在基於所述空間變換網路模型,對所述待識別圖像進行圖像處理時,所述輸入單元具體用於:   基於所述空間變換網路模型,對所述待識別圖像進行至少一次卷積處理,至少一次池化處理和至少一次全連接處理。   可選的,在對所述待識別圖像進行空間變換處理時,所述輸入單元具體用於:   所述空間變換網路模型至少包括CNN和空間變換模組,所述空間變換模組至少包括定位網路,網格產生器和採樣器;   使用所述CNN對所述待識別圖像進行任意一次卷積處理之後,使用所述定位網路產生變換參數集合,並使用所述網格產生器根據所述變換參數集合產生採樣網格,以及使用所述採樣器根據所述採樣網格對所述待識別圖像進行採樣和空間變換處理;   其中,空間變換處理至少包括以下操作中的任意一種或組合:旋轉處理,平移處理和縮放處理。   一種圖像識別裝置,包括:   接收單元,用於接收用戶上傳的待識別圖像;   處理單元,用於接收到用戶觸發的圖像處理指令時,對所述待識別圖像進行圖像處理,接收到用戶觸發的空間變換指令時,對所述待識別圖像進行空間變換處理,並將經過圖像處理和空間變換處理後的待識別圖像呈現給用戶;   計算單元,用於根據用戶指示,計算所述待識別圖像對應的翻拍圖像概率值;   判斷單元,用於判斷所述待識別圖像對應的翻拍圖像概率值是否小於預設的第一閾值,若是,則確定所述待識別圖像為非翻拍圖像,進而提示用戶識別成功;否則,確定所述待識別圖像為疑似翻拍圖像。   可選的,在確定所述待識別圖像為疑似翻拍圖像之後,所述判斷單元進一步用於:   將所述疑似翻拍圖像呈現給管理人員,並提示管理人員對所述疑似翻拍圖像進行審核;   根據管理人員的審核回饋,確定所述疑似翻拍圖像是否為翻拍圖像。   可選的,在對所述待識別圖像進行圖像處理時,所述處理單元具體用於:   對所述待識別圖像進行至少一次卷積處理,至少一次池化處理和至少一次全連接處理。   可選的,在對所述待識別圖像進行空間變換處理時,所述處理單元具體用於:   對所述待識別圖像進行以下操作中的任意一種或組合:旋轉處理、平移處理和縮放處理。   本發明有益效果如下:   綜上所述,本發明實施例中,在基於空間變換網路模型進行圖像識別的過程中,將獲取到的待識別圖像輸入空間變換網路模型中,並基於上述空間變換網路模型,對上述待識別圖像進行圖像處理和空間變換處理,得到上述待識別圖像對應的翻拍圖像概率值,在判定上述待識別圖像對應的翻拍圖像概率值大於等於預設的第一閾值時,確定上述待識別圖像為疑似翻拍圖像。採用上述圖像識別方法,僅需對空間變換網路進行一次模型訓練和模型測試,即可建立空間變換網路模型,這樣,就減少了訓練和測試過程中圖像樣本標定的工作量,提高了訓練和測試效率,進一步的,基於一級空間變換網路進行模型訓練,訓練得到的各個配置參數為最優組合,從而提高了在線使用空間變換網路模型對圖像進行識別時的識別效果。
目前,實人認證的過程中,對用戶上傳的身份證件圖像進行檢測判斷的過程為:首先,利用第一CNN將用戶上傳的身份證件圖像進行旋轉校正;然後,利用第二CNN從旋轉校正後的身份證件圖像中截取身份證件區域;最後,利用第三CNN對截取出的身份證件圖像進行分類識別。   然而,現有的技術方案需要依次進行一次CNN旋轉角度處理,一次CNN身份證件區域截取處理和一次CNN分類處理,這樣,就需要建立三個CNN,針對每一CNN分別建立相應的訓練模型,並進行海量的樣本訓練,從而導致樣本標定工作量大,且需要花費大量的人力、物力資源對建立的三個CNN進行後續的運維操作,進一步的,現有的技術方案中採用了多級獨立的CNN處理來對用戶上傳的身份證件圖像進行識別,識別效果不佳。   為了解決現有技術中存在的需要針對每一CNN分別進行海量的樣本訓練,導致樣本標定工作量大,以及採用多級獨立的CNN處理導致圖像識別效果不佳的問題,本發明實施例中設計了一種新的圖像識別方法及裝置。該方法為:將獲取到的待識別圖像輸入空間變換網路模型中,並基於上述空間變換網路模型,對上述待識別圖像進行圖像處理和空間變換處理,得到上述待識別圖像對應的翻拍圖像概率值,在判定上述待識別圖像對應的翻拍圖像概率值大於等於預設的第一閾值時,確定上述待識別圖像為疑似翻拍圖像。   下面將結合本發明實施例中的圖式,對本發明實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發明一部分實施例,並不是全部的實施例。基於本發明中的實施例,本領域具有通常知識者在沒有做出創造性勞動前提下所獲得的所有其他實施例,都屬於本發明保護的範圍。   下面將透過具體實施例對本發明的方案進行詳細描述,當然,本發明並不限於以下實施例。   本發明實施例中,在進行圖像識別之前,需要對現有的卷積神經網路(Convolutional Neural Networks,CNN)進行改進,即在現有卷積神經網路中引入可學習的空間變換模組(The Spatial Transformer),建立空間變換網路(Spatial Transformer Networks),這樣,空間變換網路就可以主動對輸入空間變換網路內的圖像資料進行空間變換處理,其中,空間變換模組由定位網路(Localization Net),網格產生器(Grid Generator)和採樣器(Sampler)組成。卷積神經網路中包括至少一個卷積層,至少一個池化層和至少一個全連接層;空間變換模組中的定位網路也包括至少一個卷積層,至少一個池化層和至少一個全連接層。空間變換網路中的空間變換模組可以穿插在任一卷積層之後。   參閱圖1所示,本發明實施例中,基於上述已建立的空間變換網路進行模型訓練的詳細流程如下:   步驟100:獲取圖像樣本,並按照預設比例將獲取到的圖像樣本劃分為訓練集合和測試集合。   實際應用中,對於空間變換網路而言,圖像樣本的收集是一個非常重要的環節,也是一個繁重的任務。圖像樣本可以是已確認的翻拍的身份證件圖像和已確認的非翻拍的身份證件圖像,當然,也可以是其他類型的圖像,例如,已確認的動物類圖像和已確認的植物類圖像,已確認的帶文本的圖像和已確認的不帶文本的圖像等等。   本發明實施例中,僅以電子商務平臺的註冊用戶在進行實人認證時提交的正、反面身份證圖像作為圖像樣本。   具體的,所謂翻拍的圖像樣本指的是透過終端翻拍電腦螢幕上的照片、手機螢幕上的照片,或者照片複印件等等,因此,翻拍的圖像樣本至少包括電腦螢幕翻拍圖像,手機螢幕翻拍圖像和複印件翻拍圖像。假設在獲取的圖像樣本集合中,已確認的翻拍的圖像樣本和已確認的非翻拍的圖像樣本各占一半,並按照預設的比例將上述獲取到的圖像樣本集合劃分成訓練集合和測試集合,其中,上述訓練集合中包含的圖像樣本用於進行後續的模型訓練,上述測試集合中包含的圖像樣本用於進行後續的模型測試。   例如,假設本發明實施例中,在獲取的圖像樣本集合中收集了10萬張已確認的翻拍的身份證圖像和10萬張已確認的非翻拍的身份證圖像,則可以按照10:1的比例將上述10萬張已確定的翻拍的身份證圖像和10萬張已確定的非翻拍的身份證圖像劃分成訓練集合和測試集合。   步驟110:基於CNN和空間變換模組構建空間變換網路。   本發明實施例中採用的空間變換網路的網路結構至少包括CNN和空間變換模組,即在CNN中引入了可學習的空間變換模組。CNN的網路結構包括至少一個卷積層,至少一個池化層和至少一個全連接層,且最後一層為全連接層,空間變換網路即是在一個CNN中任一卷積層之後嵌入一個空間變換模組,空間變換網路可以主動對輸入網路內的圖像資料進行空間變換操作,其中,該空間變換模組至少包括定位網路,網格產生器和採樣器,空間變換網路中的定位網路的網路結構也包括至少一個卷積層,至少一個池化層和至少一個全連接層。上述定位網路用於:產生變換參數集合;上述網格產生器用於:根據變換參數集合生產採樣網格;上述採樣器用於:依據採樣網格對輸入的圖像進行採樣。   具體的,參閱圖2所示,空間變換模組的結構示意圖。假設U∈RH × W × C ,為輸入圖像特徵圖,如,原始圖像或者CNN某一卷積層輸出的圖像特徵圖,其中,W為圖像特徵圖的寬度,H為圖像特徵圖的高度,C為通道數,V是透過空間變化模組對U進行空間變換後的輸出圖像特徵圖,U與V之間的M則是空間變換模組,空間變換模組至少包括定位網路,網路產生器和採樣器。   空間變換模組中定位網路可用於產生變換參數
Figure 02_image001
,優選的,參數
Figure 02_image001
為仿射變換的平移變換參數、定標變換參數、旋轉變換參數和剪切變換參數等6個參數,其中,參數
Figure 02_image001
可表示為:
Figure 02_image003
。   參閱圖3所示,空間變換模組中網格產生器可用於利用定位網路產生的參數
Figure 02_image001
和V,即透過利用參數
Figure 02_image001
,計算得到V中每一個點對應於U中的位置,並透過從U中採樣得到V,具體計算公式如下:
Figure 02_image005
,   其中,(
Figure 02_image007
Figure 02_image009
)為U中點的坐標位置;(
Figure 02_image011
Figure 02_image013
)為V中點的坐標位置。   空間變換模組中採樣器可以在產生採樣網格後,從U中透過採樣的方式得V。   空間變換網路包括CNN和空間變換模組,空間變換模組又包括定位網路,網格產生器和採樣器,而CNN中包括至少一個卷積層,至少一個池化層和至少一個全連接層,且空間變換網路中的定位網路也包括至少一個卷積層,至少一個池化層和至少一個全連接層。   本發明實施例中,用con[N,w,s1,p]來表示一個卷積層,其中,N為通道數目,w*w為卷積核大小,s1為每一個通道對應的步長,p為填充(Padding)值,卷積層可用來提取輸入圖像的圖像特徵。卷積是圖像處理常用的一種方法,在卷積層的輸出圖像中每一個像素是輸入圖像中一個小區域中像素的加權平均,其中,權值由一個函數定義,這個函數稱為卷積核。卷積核是一個函數,卷積核中每一個參數都相當於一個權值參數,與對應的局部像素相連接,將卷積核中的各個參數與對應的局部像素值相乘,再加上偏置參數,即可得到卷積結果,具體計算公式如下:
Figure 02_image015
,其中,
Figure 02_image017
表示第
Figure 02_image019
個特徵結果圖,
Figure 02_image021
Figure 02_image023
表示第
Figure 02_image019
個卷積核的參數,
Figure 02_image025
表示上一層的特徵,
Figure 02_image027
為偏置參數。   本發明實施例中,用max[s2]來表示步長為s2的池化層。對輸入的特徵圖進行壓縮,使得特徵圖變小,簡化網路計算複雜量,並提取出輸入的特徵圖的主要特徵。因此,為了降低空間變換網路訓練參數及訓練模型的過擬合程度,需要對卷積層輸出的特徵圖進行池化(Pooling)處理。常用的池化方式有最大值池化(Max Pooling)和平均池化(Average Pooling),其中,最大值池化是選擇池化窗口中的最大值作為池化後的值,平均池化是將池化區域中的平均值作為池化後的值。本發明實施例中,採用最大值池化。   本發明實施例中,用fc[R]來表示包含R個輸出單元的全連接層。任意兩個相鄰全連接層之間的各個節點相互連接,任一全連接層的輸入神經元(即,特徵圖)與輸出神經元的個數可以相同也可以不同,其中,若上述任一全連接層不是最後一個全連接層,那麼,上述任一全連接層的輸入神經元和輸出神經元就是特徵圖。例如,參閱圖4所示,本發明實施例中,透過全連接層進行降維處理,將3個輸入神經元轉化為兩個輸出神經元的示意圖,具體轉化公式如下:
Figure 02_image029
,   其中,X1,X2和X3上述任一為全連接層的輸入神經元,Y1和Y2為上述任一全連接層的輸出神經元,Y1=(X1*W11+X2*W21+X3*W31),Y2=(X1*W12+X2*W22+ X3*W32),W為X1,X2和X3在Y1和Y2上所占的權重。而本發明實施例中,空間變換網路中的最後一層全連接層只包含兩個輸出節點,兩個輸出節點的輸出值分別用於表示圖像樣本是翻拍的身份證圖像的概率和非翻拍的身份證圖像的概率。   本發明實施例中,將空間變換模組中的定位網路設定為“conv[32,5,1,2]-max[2]-conv[32,5,1,2]-fc[32]-fc[32]-fc[12]”結構,即,第一層為卷積層conv[32,5,1,2],第二層為池化層max[2],第三層為卷積層conv[32,5,1,2],第四層為全連接層fc[32],第五層為全連接層fc[32],第六層為全連接層fc[12]。   將空間變換網路中的CNN設定為“conv[48,5,1,2]- max[2]-conv[64,5,1,2]-conv[128,5,1,2]-max[2] - conv[160,5,1,2]-conv[192,5,1,2]-max[2]-conv[192,5,1,2]-conv[192,5,1,2]-max[2]-conv[192,5,1,2]-fc[3072]-fc[3072]-fc[2]”,即,第一層為卷積層conv[48,5,1,2],第二層為池化層max[2],第三層為卷積層conv[64,5,1,2],第四層為卷積層conv[128,5,1,2],第五層為池化層max[2],第六層為卷積層conv[160,5,1,2],第七層為卷積層conv[192,5,1,2],第八層為池化層max[2],第九層為卷積層conv[192,5,1,2],第十層為卷積層conv[192,5,1,2],第十一層為池化層max[2],第十二層為卷積層conv[192,5,1,2],第十三層為全連接層fc[3072],第十四層為全連接層fc[3072],第十五層為全連接層fc[2]。   進一步的,空間變換網路中最後一層全連接層之後連接的是softmax分類器,其損失函數如下:
Figure 02_image031
,   其中,m為訓練樣本的個數,xj 為為全連接層第j個節點的輸出,y(i) 為第i個樣本的標簽類別,當y(i) 與j相等時,1(y(i) =j)的值為1,否則為0,θ為網路的參數,J為損失函數值。   步驟120:基於上述訓練集合對上述空間變換網路進行模型訓練。   所謂空間變換網路模型訓練,即是空間變換網路基於訓練集合進行自主學習的過程中,透過主動對輸入的圖像樣本進行識別判斷,並根據識別準確率對參數進行相應的調整,以使得對後續輸入的圖像樣本的識別結果更準確。   本發明實施例中,採用隨機梯度下降法(Stochastic Gradient Descent,SGD)訓練空間變換網路模型,具體實施方式如下:   首先,基於空間變換網路將訓練集合中包含的圖像樣本劃分為若干批次,其中,一個批次內包含G個圖像樣本,G為大於等於1的正整數,每一個圖像樣本均為已確認的翻拍的身份證圖像,或者為已確認的非翻拍的身份證圖像;   然後,使用上述空間變換網路,依次針對上述訓練集合中包含的每一批次執行以下操作:使用當前的配置參數分別對一批次內包含的每一圖像樣本進行空間變換處理和圖像處理,獲得相應的識別結果,其中,上述配置參數中至少包括至少一個卷積層使用的參數,至少一個池化層使用的參數,至少一個全連接層使用的參數,以及空間變化模組使用的參數,基於上述一批次內包含的各個圖像樣本的識別結果,計算上述一批次對應的識別正確率,判定上述一批次對應的識別正確率是否大於第一預設門限值,若是,則保持上述當前的配置參數不變,否則,對上述當前的配置參數進行調整,將調整後的配置參數作為下一次批次使用的當前的配置參數。   當然,本發明實施例中,上述圖像處理可以包括但不限於為了使圖像的邊緣、輪廓線以及圖像的細節變的清晰,而對圖像進行適當的圖像銳化處理等等。上述空間變換處理可以包括但不限於以下操作中的任意一種或組合:旋轉處理,平移處理和縮放處理。   在判定連續Q個批次對應的識別正確率均大於第一預設門限值為止,確定空間變換網路模型訓練完成,其中,Q為大於等於1的正整數。   顯然,本發明實施例中,針對訓練集合中第一批次而言,上述當前的配置參數為預設的初始化配置參數,優選的,為空間變換網路隨機產生的初始化配置參數;而針對除第一批次之外的其他批次而言,上述當前的配置參數為上一批次使用的配置參數,或者,為在上一批次使用的配置參數的基礎上進行調整後得到的調整後的配置參數。   優選的,基於空間變換網路,對訓練集合中每一批次圖像樣本子集進行訓練操作的具體過程如下:   本發明實施例中,空間變換網路中最後一層全連接層包含兩個輸出節點,兩個輸出節點的輸出值分別表示圖像樣本是翻拍的身份證圖像的概率和非翻拍的身份證圖像的概率。在判定針對某一非翻拍的身份證圖像輸出的用於表示圖像樣本是非翻拍的身份證圖像的概率大於等於0.95,且是翻拍的身份證圖像的概率小於等於0.05時,確定識別正確;在判定針對某一翻拍的身份證圖像輸出的用於表示圖像樣本是翻拍的身份證圖像的概率大於等於0.95,且是非翻拍的身份證圖像的概率小於等於0.05時,確定識別正確,其中,針對任一個圖像樣本而言,用於表示圖像樣本是翻拍的身份證圖像的概率與是非翻拍的身份證圖像的概率之和為1,當然,本發明實施例中,僅以0.95和0.05舉例說明,實際應用中可以根據運維經驗設置其他閾值,在此不再贅述。   針對任一批次圖像樣本子集中包含的圖像樣本進行識別後,統計上述任一批次圖像樣本子集中包含的圖像樣本識別正確的數目,並計算上述任一批次圖像樣本子集對應的識別正確率。   具體的,可以基於預設的初始化配置參數,針對訓練集合中第一批次圖像樣本子集(以下簡稱第一批次)中包含的每一圖像樣本分別進行識別處理,透過計算得到第一批次對應的識別正確率,其中,上述預設的初始化配置參數是基於空間變換網路設置的各個配置參數,例如,該配置參數中至少包括至少一個卷積層使用的參數,至少一個池化層使用的參數,至少一個全連接層使用的參數,以及空間變化模組中使用的參數。   例如,假設針對訓練集合中第一批次包含的256個圖像樣本設置初始化參數,並分別提取第一批次包含的256個圖像樣本的特徵,以及採用上述空間變換網路對第一批次包含的256個圖像樣本分別進行識別處理,分別得到每一個圖像樣本的識別結果,並基於識別結果計算第一批次對應的識別正確率。   接著,針對第二批次圖像樣本子集(以下簡稱第二批次)中包含的每一圖像樣本分別進行識別處理。具體的,若判定第一批次對應的識別正確率大於第一預設門限值,則使用針對第一批次預設的初始化配置參數對第二批次包含的圖像樣本進行識別處理,並得到第二批次對應的識別正確率;若判定第一批次對應的識別正確率不大於第一預設門限值,則在針對第一批次預設的初始化配置參數的基礎上進行配置參數調整,得到調整後的配置參數,並使用調整後的配置參數對第二批次包含的圖像樣本進行識別處理,得到第二批次對應的識別正確率。   以此類推,可以繼續採用相同方式對後續第三批次、第四批次……的圖像樣本子集進行相關處理,直到訓練集合中的所有圖像樣本處理完畢。   簡言之,在訓練過程中,從訓練集合中第二批次開始,若判定上一批次對應的識別正確率大於第一預設門限值,則使用上一批次對應的配置參數對當前批次中包含的圖像樣本進行識別處理,並得到當前批次對應的識別正確率;若判定上一批次對應的識別正確率不大於第一預設門限值,則在上一批次對應的配置參數的基礎上進行參數調整,得到調整後的配置參數,並使用調整後的配置參數對當前批次中包含的圖像樣本進行識別處理,得到當前批次對應的識別正確率。   進一步的,在基於上述訓練集合對上述空間變換網路進行模型訓練的過程中,在判定空間變換網路在使用某一套配置參數後,連續Q個批次的識別正確率均大於第一預設門限值時,其中,Q為大於等於1的正整數,則確定空間變換網路模型訓練完成,此時,確定使用空間變換網路中最終設置的各個配置參數進行後續的模型測試過程。   在確定基於上述訓練集合的空間變換網路的模型訓練完成後,即可進行基於上述測試集合的空間變換網路的模型測試,並根據上述測試集合中包含的每一個圖像樣本對應的輸出結果,確定翻拍的身份證圖像的誤判率(False Positive Rate,FPR)等於第二預設門限值(如,1%)時對應的第一閾值,其中,該第一閾值為輸出結果中用於表示圖像樣本為翻拍的身份證圖像的概率的取值。   在進行空間變換網路模型測試的過程中,測試集合中包含的每一個圖像樣本分別對應一個輸出結果,該輸出結果包含表示圖像樣本為翻拍的身份證圖像的概率以及包含表示圖像樣本為非翻拍的身份證圖像的概率,不同的輸出結果中用於表示圖像樣本是翻拍的身份證圖像的概率的取值對應不同的FPR,本發明實施例中,將FPR等於第二預設門限值(如,1%)時對應的用於表示圖像樣本是翻拍的身份證圖像的概率的取值確定為第一閾值。   較佳的,本發明實施例中,基於測試集合中的空間變換網路的模型測試,根據上述測試集合中包含的每一個圖像樣本對應的輸出結果,繪製受試者工作特徵曲線(Receiver Operating Characteristic Curve,ROC曲線),並根據上述ROC曲線,將FPR等於1%時對應的用於表示圖像樣本是翻拍的身份證圖像的概率的取值,確定為第一閾值。   具體的,參閱圖5所示,本發明實施例中,空間變換網路基於上述測試集合進行模型測試的詳細流程如下:   步驟500:基於已完成模型訓練的空間變換網路,分別對上述測試集合中包含的每一個圖像樣本進行空間變換處理和圖像處理,獲得相應的輸出結果,其中,上述輸出結果包含每一圖像樣本對應的翻拍圖像概率值和非翻拍圖像概率值。   本發明實施例中,將上述測試集合中包含的圖像樣本作為空間變換網路模型測試的原始圖像,並分別獲取上述測試集合中包含的每一圖像樣本,以及使用空間變換網路模型訓練完成時,上述空間變換網路中最終設置的各個配置參數,針對獲取到的上述測試集合中包含的每一圖像樣本分別進行識別處理。   例如,假設空間變換網路設定為:第一層為卷積層1,第二層為空間變換模組,第三層為卷積層2,第四層為池化層1,第五層為全連接層1。那麼,基於上述空間變換網路對任一原始圖像x進行圖像識別的具體流程如下:   卷積層1將原始圖像x作為輸入圖像,並對原始圖像x進行銳化處理,以及將銳化處理過的原始圖像x作為輸出圖像x1;   空間變換模組將輸出圖像x1作為輸入圖像,並對輸出圖像x1進行空間變換操作(如,順時針旋轉60度和/或向左平移2cm等等),以及將旋轉和/或平移後的輸出圖像x1作為輸出圖像x2;   卷積層2將輸出圖像x2作為輸入圖像,並對輸出圖像x2進行模糊處理,以及將模糊處理後的輸出圖像x2作為輸出圖像x3;   池化層1將輸出圖像x3作為輸入圖像,並對輸出圖像x3使用最大值池化的方式進行壓縮處理,以及將壓縮後的輸出圖像x3作為輸出圖像x4;   空間變換網路的最後一層為全連接層1,全連接層1將輸出圖像x4作為輸入圖像,並基於輸出圖像x4的特徵圖對輸出圖像x4進行分類處理,其中,全連接層1包含兩個輸出節點(如,a和b),a表示原始圖像x為翻拍的身份證圖像的概率,b表示原始圖像x為非翻拍的身份證圖像的概率,如,a=0.05,b=0.95。   接著,基於上述輸出結果,設置第一閾值,進而確定空間變換網路模型測試完成。   步驟510:根據上述測試集合中包含的每一個圖像樣本對應的輸出結果,繪製ROC曲線。   具體的,本發明實施例中,分別以上述測試集合中包含的每一圖像樣本的翻拍概率值作為設定閾值,基於上述輸出結果中包含的各個圖像樣本對應的翻拍圖像概率值和非翻拍圖像概率值,確定每一設定閾值對應的FPR和檢測正確率(True Positive Rate,TPR),並基於已確定的每一設定閾值對應的FPR和TPR,繪製以FPR為橫坐標,TPR為縱坐標的ROC曲線。   例如,假設測試集合中包含10個圖像樣本,且測試集合中包含的每一個圖像樣本分別對應一個用於表示圖像樣本為翻拍的身份證圖像的概率,以及用於表示圖像樣本為非翻拍的身份證圖像的概率,其中,針對任一個圖像樣本而言,用於表示圖像樣本是翻拍的身份證圖像的概率與是非翻拍的身份證圖像的概率之和為1。本發明實施例中,不同的用於表示圖像樣本是翻拍的身份證圖像的概率的取值,對應不同的FPR和TPR,那麼,就可以分別將測試集合中包含的10個圖像樣本對應的10個用於表示圖像樣本是翻拍的身份證圖像的概率的取值作為設定閾值,基於上述測試集合中包含的10個圖像樣本對應的用於標識圖像樣本時翻拍的身份證圖像的概率值和用於標識圖像樣本是非翻拍身份證圖像的概率值,確定每一設定閾值對應的FPR和TPR。具體的,參閱圖6所示,本發明實施例中,根據上述10組不同的FPR和TPR,繪製以FPR為橫坐標,TPR為縱坐標的ROC曲線的示意圖。   步驟520:基於上述ROC曲線,將FPR等於第二預設門限值時對應的翻拍圖像概率值設置為第一閾值。   例如,假設本發明實施例中,在繪製ROC曲線後,若判定FPR等於1%時對應的用於表示圖像樣本是翻拍身份證圖像的概率的取值為0.05,則將第一閾值設定為0.05。   當然,本發明實施例中,僅以0.05舉例說明,實際應用中可根據運維經驗設置其他的第一閾值,在此不再贅述。   本發明實施例中,在上述已建立的空間變換網路基於上述訓練集合完成模型訓練,以及空間變換網路基於上述測試集合完成模型測試之後,確定空間變換網路模型建立完成,並確定實際使用上述空間變換網路模型時的閾值(如,T),以及在實際使用上述空間變換網路模型時,判斷空間變換網路模型對輸入圖像進行識別處理後得到的用於表示圖像樣本為翻拍的身份證圖像的概率的取值T’與T之間的大小關係,並根據T’與T之間的大小關係執行相應的後續操作。   具體的,參閱圖7所示,本發明實施例中,在線使用空間變換網路模型進行圖像識別的詳細流程如下:   步驟700:將獲取到的待識別圖像輸入空間變換網路模型中。   實際應用中,基於訓練集合中包含的圖像樣本對空間變換網路完成模型訓練,以及基於測試集合中包含的圖像樣本對已完成模型訓練的空間變換網路完成模型測試後,得到空間變換網路模型,該空間變換網路模型可對輸入該模型的待識別圖像進行圖像識別。   例如,假設獲取到的待識別圖像為李某某的身份證圖像,那麼,就將獲取到的李某某的身份證圖像輸入至空間變換網路模型中。   步驟710:基於上述空間變換網路模型,對上述待識別圖像進行圖像處理和空間變換處理,得到上述待識別圖像對應的翻拍圖像概率值。   具體的,上述空間變換網路模型至少包括CNN和空間變換模組,其中,上述空間變換模組至少包括定位網路,網格產生器和採樣器。基於上述空間變換網路模型,對上述待識別圖像進行至少一次卷積處理,至少一次池化處理和至少一次全連接處理。   例如,假設空間變換網路模型中包含CNN和空間變換模組,空間變換模組至少包括定位網路1,網格產生器1和採樣器1,CNN設定為卷積層1,卷積層2,池化層1,全連接層1,那麼,對輸入上述空間變換網路模型的李某某的身份證圖像進行2次卷積處理,一次池化處理和一次全連接處理。   進一步的,空間變換模組在上述空間變換網路模型包含的CNN中的任意一個卷積層之後,那麼,在使用上述CNN對上述待識別圖像進行任意一次卷積處理之後,使用上述定位網路產生變換參數集合,並使用上述網格產生器根據上述變換參數集合產生採樣網格,以及使用上述採樣器根據上述採樣網格對上述待識別圖像進行採樣和空間變換處理,其中,空間變換處理至少包括以下操作中的任意一種或組合:旋轉處理,平移處理和縮放處理。   例如,假設空間變換模組設置在卷積層1之後,卷積層2之前,那麼,在使用卷積層1對輸入上述空間變換網路模型中的李某某的身份證圖像進行一次卷積處理後,使用上述空間變換模組中包含的定位1產生的變換參數集合,對李某某的身份證圖像進行順時針旋轉30度和/或向左平移2cm等。   步驟720:在判定上述待識別圖像對應的翻拍圖像概率值大於等於預設的第一閾值時,確定上述待識別圖像為疑似翻拍圖像。   例如,假設使用空間變換網路模型對原始圖像y進行圖像識別的過程中,空間變換網路模型將原始圖像y作為輸入圖像,並針對原始圖像y進行相應的銳化處理、空間變換處理(如,逆時針旋轉30度和/或向左平移3cm等等)、模糊處理、壓縮處理之後,由空間變換網路模型的最後一層(全連接層)進行分類處理,其中,最後一層全連接層包含兩個輸出節點,且兩個輸出節點分別用於表示原始圖像y為翻拍的身份證圖像的概率的取值T’,以及用於表示原始圖像y為非翻拍的身份證圖像的概率的取值。進一步的,將使用空間變換網路模型對原始圖像y進行識別處理後得到的用於表示原始圖像y為翻拍的身份證圖像的概率的取值T’,與空間變換網路進行模型測試時確定的第一閾值T進行比較。若T’<T,則確定原始圖像y為非翻拍的身份證圖像,即為正常圖像;若T’≥T,則確定原始圖像y為翻拍的身份證圖像。   更進一步的,在判定T’≥T時,確定原始圖像y為疑似翻拍的身份證圖像,並轉至人工審核階段,在人工審核階段,若判定原始圖像y為翻拍的身份證圖像,則確定原始圖像y為翻拍的身份證圖像;在人工審核階段,若判定原始圖像y為非翻拍的身份證圖像,則確定原始圖像y為非翻拍的身份證圖像。   下面將對本發明實施例在實際業務場景中的應用作進一步詳細說明,具體的,參閱圖8所示,本發明實施例中,對用戶上傳的待識別圖像進行圖像識別處理的詳細流程如下:   步驟800:接收用戶上傳的待識別圖像。   例如,假設張某某在電子商務平臺上進行實人認證,那麼,張某某就需要將本人的身份證圖像上傳至電子商務平臺中,以進行實人認證,電子商務平臺接收張某某上傳的身份證圖像。   步驟810:接收到用戶觸發的圖像處理指令時,對所述待識別圖像進行圖像處理,接收到用戶觸發的空間變換指令時,對所述待識別圖像進行空間變換處理,並將經過圖像處理和空間變換處理後的待識別圖像呈現給用戶。   具體的,在接收到用戶觸發的圖像處理指令時,對上述待識別圖像進行至少一次卷積處理,至少一次池化處理和至少一次全連接處理。   本發明實施例中,在接收用戶上傳的待識別原始圖像後,假設對上述待識別原始圖像進行一次卷積處理,如,圖像銳化處理後,那麼,就可以得到邊緣、輪廓線以及圖像的細節更清晰的銳化後的待識別圖像。   例如,假設張某某將本人的身份證圖像上傳至電子商務平臺中,那麼,電子商務平臺會透過終端向張某某展示是否對身份證圖像進行圖像處理(如,卷積處理,池化處理和全連接處理),電子商務平臺在接收到張某某觸發的對上述身份證圖像進行圖像處理的指令時,對上述身份證圖像進行銳化處理和壓縮處理。   在接收到用戶觸發的空間變換指令時,對所述待識別圖像進行以下操作中的任意一種或組合:旋轉處理、平移處理和縮放處理。   本發明實施例中,在接收到用戶觸發的空間變換指令時後,假設對上述已進行銳化處理後的圖像進行旋轉和平移處理後,那麼,就可以得到糾正後的待識別圖像。   例如,假設張某某將本人的身份證圖像上傳至電子商務平臺中,那麼,電子商務平臺會透過終端向張某某展示是否對身份證圖像進行旋轉處理和或/平移處理,電子商務平臺在接收到張某某觸發的對上述身份證圖像進行旋轉處理和或/平移處理的指令時,對上述身份證圖像進行順時針旋轉60度和向左平移2cm,得到旋轉和平移後的身份證圖像。   本發明實施例中,在對上述待識別圖像進行銳化,旋轉和平移處理後,將經過銳化處理,旋轉處理和平移處理後的待識別圖像透過終端呈現給用戶。   步驟820:根據用戶指示,計算所述待識別圖像對應的翻拍圖像概率值。   例如,假設電子商務平臺將經過圖像處理和空間變換處理後的張某某的身份證圖像透過終端展示給張某某,並提示張某某是否計算上述身份證圖像對應的翻拍圖像的概率值,在接收到張某某觸發的計算上述身份證圖像對應的翻拍圖像概率值的指示,計算上述身份證圖像對應的翻拍概率值。   步驟830:判斷上述待識別圖像對應的翻拍圖像概率值是否小於預設的第一閾值,若是,則確定上述待識別圖像為非翻拍圖像,進而提示用戶識別成功;否則,確定上述待識別圖像為疑似翻拍圖像。   進一步的,在確定上述待識別圖像為疑似翻拍圖像時,將上述疑似翻拍圖像呈現給管理人員,並提示管理人員對上述疑似翻拍圖像進行審核,以及根據管理人員的審核回饋,確定上述疑似翻拍圖像是否為翻拍圖像。   下面採用具體的應用場景對上述實施例作進一步詳細說明。   例如,計算設備接收用戶上傳的用於進行實人認證的身份證圖像後,將上述身份證圖像作為原始輸入圖像進行圖像識別,以判定用戶上傳的身份證圖像是否為翻拍身份證圖像,進而進行實人認證操作。具體的,計算設備在接收到用戶觸發的對身份證圖像進行銳化處理的指令時,對上述身份證圖像進行相應的銳化處理,並在對上述身份證圖像進行銳化處理後,根據用戶觸發的對上述身份證圖像進行空間變換處理(如,旋轉、平移等處理)的指令,對上述進行銳化處理後的身份證圖像進行相應的旋轉和/或平移處理,接著,計算設備對進行空間變換處理後的身份證圖像進行相應的模糊處理,然後,計算設備對進行模糊處理後的身份證圖像進行相應的壓縮處理,最後,計算設備對進行壓縮處理後的身份證圖像進行相應的分類處理,得到上述身份證圖像對應的用於表示上述身份證圖像為翻拍圖像的概率值,在判定該概率值滿足預設條件時,確定用戶上傳的身份證圖像為非翻拍圖像,提示用戶實人認證成功;在判定該概率值不滿足預設條件時,確定用戶上傳的身份證圖像為疑似翻拍圖像,並將上述疑似翻拍身份證圖像轉至管理人員處,進行後續的人工審核。在人工審核階段,若管理人員判定用戶上傳的身份證圖像為翻拍身份證圖像,則提示用戶實人認證失敗,需重新上傳新的身份證圖像;若管理人員判定用戶上傳的身份證圖像為非翻拍身份證圖像,則提示用戶實人認證成功。   基於上述實施例,參閱圖9所示,本發明實施例中,一種圖像識別裝置,至少包括輸入單元90、處理單元91以及確定單元92,其中,   輸入單元90,用於將獲取到的待識別圖像輸入空間變換網路模型中;   處理單元91,用於基於所述空間變換網路模型,對所述待識別圖像進行圖像處理和空間變換處理,得到所述待識別圖像對應的翻拍圖像概率值;   確定單元92,用於在判定所述所述待識別圖像對應的翻拍圖像概率值大於等於預設的第一閾值時,確定所述待識別圖像為疑似翻拍圖像。   可選的,在將獲取到的待識別圖像輸入空間變換網路模型中之前,輸入單元90進一步用於:   獲取圖像樣本,並按照預設比例將獲取到的圖像樣本劃分為訓練集合和測試集合;   基於卷積神經網路CNN和空間變換模組構建空間變換網路,並基於所述訓練集合對所述空間變換網路進行模型訓練,以及基於所述測試集合對已完成模型訓練的空間變換網路進行模型測試。   可選的,在基於CNN和空間變換模組構建空間變換網路時,輸入單元90具體用於:   在CNN中嵌入一個可學習的空間變換模組,以構建空間變換網路,其中,所述空間變換模組至少包括定位網路,網格產生器和採樣器,所述定位網路包括至少一個卷積層,至少一個池化層和至少一個全連接層;   其中,所述定位網路用於:產生變換參數集合;所述網格產生器用於:根據變換參數集合生產採樣網格;所述採樣器用於:依據採樣網格對輸入的圖像進行採樣。   可選的,在基於所述訓練集合對所述空間變換網路進行模型訓練時,輸入單元90具體用於:   基於空間變換網路,將所述訓練集合中包含的圖像樣本劃分為若干批次,其中,一個批次內包含G個圖像樣本,G為大於等於1的正整數;   依次針對所述訓練集合中包含的每一批次執行以下操作,直到判定連續Q個批次對應的識別正確率均大於第一預設門限值為止,確定空間變換網路模型訓練完成,其中,Q為大於等於1的正整數:   使用當前的配置參數分別對一批次內包含的每一圖像樣本進行空間變換處理和圖像處理,獲得相應的識別結果,其中,所述配置參數中至少包括至少一個卷積層使用的參數,至少一個池化層使用的參數,至少一個全連接層使用的參數,以及空間變化模組使用的參數;   基於所述一批次內包含的各個圖像樣本的識別結果,計算所述一批次對應的識別正確率;   判定所述一批次對應的識別正確率是否大於第一預設門限值,若是,則保持所述當前的配置參數不變,否則,對所述當前的配置參數進行調整,將調整後的配置參數作為下一次批次使用的當前的配置參數。   可選的,在基於所述測試集合對已完成模型訓練的空間變換網路進行模型測試時,輸入單元90具體用於:   基於已完成模型訓練的空間變換網路,分別對所述測試集合中包含的每一個圖像樣本進行圖像處理和空間變換處理,獲得相應的輸出結果,其中,所述輸出結果包含每一圖像樣本對應的翻拍圖像概率值和非翻拍圖像概率值;   基於所述輸出結果,設置所述第一閾值,進而確定空間變換網路模型測試完成。   可選的,在基於所述輸出結果,設置所述第一閾值時,輸入單元90具體用於:   分別以所述測試集合中包含的每一圖像樣本的翻拍概率值作為設定閾值,基於所述輸出結果中包含的各個圖像樣本對應的翻拍圖像概率值和非翻拍圖像概率值,確定每一設定閾值對應的誤判率FPR和檢測正確率TPR;   基於已確定的每一設定閾值對應的FPR和TPR,繪製以FPR為橫坐標,TPR為縱坐標的受試者工作特徵ROC曲線;   基於所述ROC曲線,將FPR等於第二預設門限值時對應的翻拍圖像概率值設置為所述第一閾值。   可選的,在基於所述空間變換網路模型,對所述待識別圖像進行圖像處理時,輸入單元90具體用於:   基於所述空間變換網路模型,對所述待識別圖像進行至少一次卷積處理,至少一次池化處理和至少一次全連接處理。   可選的,在對所述待識別圖像進行空間變換處理時,輸入單元90具體用於:   所述空間變換網路模型至少包括CNN和空間變換模組,所述空間變換模組至少包括定位網路,網格產生器和採樣器;   使用所述CNN對所述待識別圖像進行任意一次卷積處理之後,使用所述定位網路產生變換參數集合,並使用所述網格產生器根據所述變換參數集合產生採樣網格,以及使用所述採樣器根據所述採樣網格對所述待識別圖像進行採樣和空間變換處理;   其中,空間變換處理至少包括以下操作中的任意一種或組合:旋轉處理,平移處理和縮放處理。   參閱圖10所示,本發明實施例中,一種圖像識別裝置,至少包括接收單元100、處理單元110、計算單元120以及判斷單元130,其中,   接收單元100,用於接收用戶上傳的待識別圖像;   處理單元110,用於接收到用戶觸發的圖像處理指令時,對所述待識別圖像進行圖像處理,接收到用戶觸發的空間變換指令時,對所述待識別圖像進行空間變換處理,並將經過圖像處理和空間變換處理後的待識別圖像呈現給用戶;   計算單元120,用於根據用戶指示,計算所述待識別圖像對應的翻拍圖像概率值;   判斷單元130,用於判斷所述待識別圖像對應的翻拍圖像概率值是否小於預設的第一閾值,若是,則確定所述待識別圖像為非翻拍圖像,進而提示用戶識別成功;否則,確定所述待識別圖像為疑似翻拍圖像。   可選的,在確定所述待識別圖像為疑似翻拍圖像之後,判斷單元130進一步用於:   將所述疑似翻拍圖像呈現給管理人員,並提示管理人員對所述疑似翻拍圖像進行審核;   根據管理人員的審核回饋,確定所述疑似翻拍圖像是否為翻拍圖像。   可選的,在對所述待識別圖像進行圖像處理時,處理單元110具體用於:   對所述待識別圖像進行至少一次卷積處理,至少一次池化處理和至少一次全連接處理。   可選的,在對所述待識別圖像進行空間變換處理時,處理單元110具體用於:   對所述待識別圖像進行以下操作中的任意一種或組合:旋轉處理、平移處理和縮放處理。   綜上所述,本發明實施例中,在基於空間變換網路模型進行圖像識別的過程中,將獲取到的待識別圖像輸入空間變換網路模型中,並基於上述空間變換網路模型,對上述待識別圖像進行圖像處理和空間變換處理,得到上述待識別圖像對應的翻拍圖像概率值,在判定上述待識別圖像對應的翻拍圖像概率值大於等於預設的第一閾值時,確定上述待識別圖像為疑似翻拍圖像。採用上述圖像識別方法,僅需對空間變換網路進行一次模型訓練和模型測試,即可建立空間變換網路模型,這樣,就減少了訓練和測試過程中圖像樣本標定的工作量,提高了訓練和測試效率,進一步的,基於一級空間變換網路進行模型訓練,訓練得到的各個配置參數為最優組合,從而提高了在線使用空間變換網路模型對圖像進行識別時的識別效果。   本領域內的技術人員應明白,本發明的實施例可提供為方法、系統、或電腦程式產品。因此,本發明可採用完全硬體實施例、完全軟體實施例、或結合軟體和硬體方面的實施例的形式。而且,本發明可採用在一個或多個其中包含有電腦可用程式碼的電腦可用儲存媒體(包括但不限於磁碟記憶體、CD-ROM、光學記憶體等)上實施的電腦程式產品的形式。   本發明是參照根據本發明實施例的方法、設備(系統)、和電腦程式產品的流程圖和/或方塊圖來描述的。應理解可由電腦程式指令實現流程圖和/或方塊圖中的每一流程和/或方塊、以及流程圖和/或方塊圖中的流程和/或方塊的結合。可提供這些電腦程式指令到通用電腦、專用電腦、嵌入式處理機或其他可程式資料處理設備的處理器以產生一個機器,使得透過電腦或其他可程式資料處理設備的處理器執行的指令產生用於實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能的裝置。   這些電腦程式指令也可儲存在能引導電腦或其他可程式資料處理設備以特定方式工作的電腦可讀記憶體中,使得儲存在該電腦可讀記憶體中的指令產生包括指令裝置的製造品,該指令裝置實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能。   這些電腦程式指令也可裝載到電腦或其他可程式資料處理設備上,使得在電腦或其他可程式設備上執行一系列操作步驟以產生電腦實現的處理,從而在電腦或其他可程式設備上執行的指令提供用於實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能的步驟。   儘管已描述了本發明的優選實施例,但本領域內的技術人員一旦得知了基本創造性概念,則可對這些實施例作出另外的變更和修改。所以,所附申請專利範圍意欲解釋為包括優選實施例以及落入本發明範圍的所有變更和修改。   顯然,本領域的技術人員可以對本發明實施例進行各種改動和變形而不脫離本發明實施例的精神和範圍。這樣,倘若本發明實施例的這些修改和變形屬於本發明申請專利範圍及其等同技術的範圍之內,則本發明也意圖包含這些改動和變形在內。
100~120‧‧‧步驟500~520‧‧‧步驟700~720‧‧‧步驟800~830‧‧‧步驟90‧‧‧輸入單元91‧‧‧處理單元92‧‧‧確定單元100‧‧‧接收單元110‧‧‧處理單元120‧‧‧計算單元130‧‧‧判斷單元
圖1為本發明實施例中,基於上述已建立的空間變換網路進行模型訓練的詳細流程圖;   圖2為本發明實施例中,空間變換模組的結構示意圖;   圖3為本發明實施例中,基於空間變換模組進行圖像樣本空間變換的示意圖;   圖4為本發明實施例中,透過全連接層進行降維處理,將3個輸入神經元轉化為兩個輸出神經元的示意圖;   圖5為本發明實施例中,空間變換網路基於上述測試集合進行模型測試的詳細流程圖;   圖6為本發明實施例中,根據10組不同的FPR和TPR,繪製以FPR為橫坐標,TPR為縱坐標的ROC曲線的示意圖;   圖7為本發明實施例中,在線使用空間變換網路模型進行圖像識別的詳細流程圖;   圖8為本發明實施例在實際業務場景中,對用戶上傳的待識別圖像進行圖像識別處理的詳細流程圖;   圖9為本發明實施例中,一種圖像處理裝置的結構示意圖;   圖10為本發明實施例中,另一種圖像處理裝置的結構示意圖。

Claims (24)

  1. 一種圖像識別方法,其特徵在於,包括:將獲取到的待識別圖像輸入基於一級空間變換網路訓練獲得的空間變換網路模型中;基於該空間變換網路模型,對該待識別圖像進行圖像處理和空間變換處理,得到該待識別圖像對應的翻拍圖像概率值;在判定該待識別圖像對應的翻拍圖像概率值大於等於預設的第一閾值時,確定該待識別圖像為疑似翻拍圖像。
  2. 如申請專利範圍第1項所述的方法,其中,在將獲取到的待識別圖像輸入空間變換網路模型中之前,進一步包括:獲取圖像樣本,並按照預設比例將獲取到的圖像樣本劃分為訓練集合和測試集合;基於卷積神經網路(CNN)和空間變換模組構建空間變換網路,並基於該訓練集合對該空間變換網路進行模型訓練,以及基於該測試集合對已完成模型訓練的空間變換網路進行模型測試。
  3. 如申請專利範圍第2項所述的方法,其中,基於CNN和空間變換模組構建空間變換網路,具體包括:在CNN中嵌入一個可學習的空間變換模組,以構建空 間變換網路,其中,該空間變換模組至少包括定位網路,網格產生器和採樣器,該定位網路包括至少一個卷積層,至少一個池化層和至少一個全連接層;其中,該定位網路用於:產生變換參數集合;該網格產生器用於:根據變換參數集合生產採樣網格;該採樣器用於:依據採樣網格對輸入的圖像進行採樣。
  4. 如申請專利範圍第2項所述的方法,其中,基於該訓練集合對該空間變換網路進行模型訓練,具體包括:基於空間變換網路,將該訓練集合中包含的圖像樣本劃分為若干批次,其中,一個批次內包含G個圖像樣本,G為大於等於1的正整數;依次針對該訓練集合中包含的每一批次執行以下操作,直到判定連續Q個批次對應的識別正確率均大於第一預設門限值為止,確定空間變換網路模型訓練完成,其中,Q為大於等於1的正整數:使用當前的配置參數分別對一批次內包含的每一圖像樣本進行空間變換處理和圖像處理,獲得相應的識別結果,其中,該配置參數中至少包括至少一個卷積層使用的參數,至少一個池化層使用的參數,至少一個全連接層使用的參數,以及空間變化模組使用的參數;基於該一批次內包含的各個圖像樣本的識別結果,計算該一批次對應的識別正確率;判定該一批次對應的識別正確率是否大於第一預設門 限值,若是,則保持該當前的配置參數不變,否則,對該當前的配置參數進行調整,將調整後的配置參數作為下一次批次使用的當前的配置參數。
  5. 如申請專利範圍第4項所述的方法,其中,基於該測試集合對已完成模型訓練的空間變換網路進行模型測試,具體包括:基於已完成模型訓練的空間變換網路,分別對該測試集合中包含的每一個圖像樣本進行圖像處理和空間變換處理,獲得相應的輸出結果,其中,該輸出結果包含每一圖像樣本對應的翻拍圖像概率值和非翻拍圖像概率值;基於該輸出結果,設置該第一閾值,進而確定空間變換網路模型測試完成。
  6. 如申請專利範圍第5項所述的方法,其中,基於該輸出結果,設置該第一閾值,具體包括:分別以該測試集合中包含的每一圖像樣本的翻拍概率值作為設定閾值,基於該輸出結果中包含的各個圖像樣本對應的翻拍圖像概率值和非翻拍圖像概率值,確定每一設定閾值對應的誤判率(FPR)和檢測正確率(TPR);基於已確定的每一設定閾值對應的FPR和TPR,繪製以FPR為橫坐標,TPR為縱坐標的受試者工作特徵(ROC)曲線;基於該ROC曲線,將FPR等於第二預設門限值時對應 的翻拍圖像概率值設置為該第一閾值。
  7. 如申請專利範圍第1-6項任一項所述的方法,其中,基於該空間變換網路模型,對該待識別圖像進行圖像處理,具體包括:基於該空間變換網路模型,對該待識別圖像進行至少一次卷積處理,至少一次池化處理和至少一次全連接處理。
  8. 如申請專利範圍第7項所述的方法,其中,對該待識別圖像進行空間變換處理,具體包括:該空間變換網路模型至少包括CNN和空間變換模組,該空間變換模組至少包括定位網路,網格產生器和採樣器;使用該CNN對該待識別圖像進行任意一次卷積處理之後,使用該定位網路產生變換參數集合,並使用該網格產生器根據該變換參數集合產生採樣網格,以及使用該採樣器根據該採樣網格對該待識別圖像進行採樣和空間變換處理;其中,空間變換處理至少包括以下操作中的任意一種或組合:旋轉處理,平移處理和縮放處理。
  9. 一種圖像識別方法,其特徵在於,包括:接收用戶上傳的待識別圖像; 接收到用戶觸發的圖像處理指令時,將獲取到的該待識別圖像輸入基於一級空間變換網路訓練獲得的空間變換網路模型中;基於該空間變換網路模型,對該待識別圖像進行圖像處理,接收到用戶觸發的空間變換指令時,基於該空間變換網路模型,對該待識別圖像進行空間變換處理,並將經過圖像處理和空間變換處理後的待識別圖像呈現給用戶;根據用戶指示,計算該待識別圖像對應的翻拍圖像概率值;判斷該待識別圖像對應的翻拍圖像概率值是否小於預設的第一閾值,若是,則確定該待識別圖像為非翻拍圖像,進而提示用戶識別成功;否則,確定該待識別圖像為疑似翻拍圖像。
  10. 如申請專利範圍第9項所述的方法,其中,在確定該待識別圖像為疑似翻拍圖像之後,進一步包括:將該疑似翻拍圖像呈現給管理人員,並提示管理人員對該疑似翻拍圖像進行審核;根據管理人員的審核回饋,確定該疑似翻拍圖像是否為翻拍圖像。
  11. 如申請專利範圍第9或10項所述的方法,其中,對該待識別圖像進行圖像處理,具體包括:對該待識別圖像進行至少一次卷積處理,至少一次池 化處理和至少一次全連接處理。
  12. 如申請專利範圍第11項所述的方法,其中,對該待識別圖像進行空間變換處理,具體包括:對該待識別圖像進行以下操作中的任意一種或組合:旋轉處理、平移處理和縮放處理。
  13. 一種圖像處理裝置,其特徵在於,包括:輸入單元,用於將獲取到的待識別圖像輸入基於一級空間變換網路訓練獲得的空間變換網路模型中;處理單元,用於基於該空間變換網路模型,對該待識別圖像進行圖像處理和空間變換處理,得到該待識別圖像對應的翻拍圖像概率值;確定單元,用於在判定該待識別圖像對應的翻拍圖像概率值大於等於預設的第一閾值時,確定該待識別圖像為疑似翻拍圖像。
  14. 如申請專利範圍第13項所述的裝置,其中,在將獲取到的待識別圖像輸入空間變換網路模型中之前,該輸入單元進一步用於:獲取圖像樣本,並按照預設比例將獲取到的圖像樣本劃分為訓練集合和測試集合;基於卷積神經網路(CNN)和空間變換模組構建空間變換網路,並基於該訓練集合對該空間變換網路進行模型訓 練,以及基於該測試集合對已完成模型訓練的空間變換網路進行模型測試。
  15. 如申請專利範圍第14項所述的裝置,其中,在基於CNN和空間變換模組構建空間變換網路時,該輸入單元具體用於:在CNN中嵌入一個可學習的空間變換模組,以構建空間變換網路,其中,該空間變換模組至少包括定位網路,網格產生器和採樣器,該定位網路包括至少一個卷積層,至少一個池化層和至少一個全連接層;其中,該定位網路用於:產生變換參數集合;該網格產生器用於:根據變換參數集合生產採樣網格;該採樣器用於:依據採樣網格對輸入的圖像進行採樣。
  16. 如申請專利範圍第14項所述的裝置,其中,在基於該訓練集合對該空間變換網路進行模型訓練時,該輸入單元具體用於:基於空間變換網路,將該訓練集合中包含的圖像樣本劃分為若干批次,其中,一個批次內包含G個圖像樣本,G為大於等於1的正整數;依次針對該訓練集合中包含的每一批次執行以下操作,直到判定連續Q個批次對應的識別正確率均大於第一預設門限值為止,確定空間變換網路模型訓練完成,其中,Q為大於等於1的正整數: 使用當前的配置參數分別對一批次內包含的每一圖像樣本進行空間變換處理和圖像處理,獲得相應的識別結果,其中,該配置參數中至少包括至少一個卷積層使用的參數,至少一個池化層使用的參數,至少一個全連接層使用的參數,以及空間變化模組使用的參數;基於該一批次內包含的各個圖像樣本的識別結果,計算該一批次對應的識別正確率;判定該一批次對應的識別正確率是否大於第一預設門限值,若是,則保持該當前的配置參數不變,否則,對該當前的配置參數進行調整,將調整後的配置參數作為下一次批次使用的當前的配置參數。
  17. 如申請專利範圍第16項所述的裝置,其中,在基於該測試集合對已完成模型訓練的空間變換網路進行模型測試時,該輸入單元具體用於:基於已完成模型訓練的空間變換網路,分別對該測試集合中包含的每一個圖像樣本進行圖像處理和空間變換處理,獲得相應的輸出結果,其中,該輸出結果包含每一圖像樣本對應的翻拍圖像概率值和非翻拍圖像概率值;基於該輸出結果,設置該第一閾值,進而確定空間變換網路模型測試完成。
  18. 如申請專利範圍第17項所述的裝置,其中,在基於該輸出結果,設置該第一閾值時,該輸入單元具體用於: 分別以該測試集合中包含的每一圖像樣本的翻拍概率值作為設定閾值,基於該輸出結果中包含的各個圖像樣本對應的翻拍圖像概率值和非翻拍圖像概率值,確定每一設定閾值對應的誤判率(FPR)和檢測正確率(TPR);基於已確定的每一設定閾值對應的FPR和TPR,繪製以FPR為橫坐標,TPR為縱坐標的受試者工作特徵(ROC)曲線;基於該ROC曲線,將FPR等於第二預設門限值時對應的翻拍圖像概率值設置為該第一閾值。
  19. 如申請專利範圍第13-18項任一項所述的裝置,其中,在基於該空間變換網路模型,對該待識別圖像進行圖像處理時,該輸入單元具體用於:基於該空間變換網路模型,對該待識別圖像進行至少一次卷積處理,至少一次池化處理和至少一次全連接處理。
  20. 如申請專利範圍第19項所述的裝置,其中,在對該待識別圖像進行空間變換處理時,該輸入單元具體用於:該空間變換網路模型至少包括CNN和空間變換模組,該空間變換模組至少包括定位網路,網格產生器和採樣器;使用該CNN對該待識別圖像進行任意一次卷積處理之後,使用該定位網路產生變換參數集合,並使用該網格產 生器根據該變換參數集合產生採樣網格,以及使用該採樣器根據該採樣網格對該待識別圖像進行採樣和空間變換處理;其中,空間變換處理至少包括以下操作中的任意一種或組合:旋轉處理,平移處理和縮放處理。
  21. 一種圖像識別裝置,其特徵在於,包括:接收單元,用於接收用戶上傳的待識別圖像;處理單元,用於接收到用戶觸發的圖像處理指令時,將獲取到的該待識別圖像輸入基於一級空間變換網路訓練獲得的空間變換網路模型中;基於該空間變換網路模型,對該待識別圖像進行圖像處理,接收到用戶觸發的空間變換指令時,基於該空間變換網路模型,對該待識別圖像進行空間變換處理,並將經過圖像處理和空間變換處理後的待識別圖像呈現給用戶;計算單元,用於根據用戶指示,計算該待識別圖像對應的翻拍圖像概率值;判斷單元,用於判斷該待識別圖像對應的翻拍圖像概率值是否小於預設的第一閾值,若是,則確定該待識別圖像為非翻拍圖像,進而提示用戶識別成功;否則,確定該待識別圖像為疑似翻拍圖像。
  22. 如申請專利範圍第21項所述的裝置,其中,在確定該待識別圖像為疑似翻拍圖像之後,該判斷單元進一步用 於:將該疑似翻拍圖像呈現給管理人員,並提示管理人員對該疑似翻拍圖像進行審核;根據管理人員的審核回饋,確定該疑似翻拍圖像是否為翻拍圖像。
  23. 如申請專利範圍第21或22項所述的裝置,其中,在對該待識別圖像進行圖像處理時,該處理單元具體用於:對該待識別圖像進行至少一次卷積處理,至少一次池化處理和至少一次全連接處理。
  24. 如申請專利範圍第23項所述的裝置,其中,在對該待識別圖像進行空間變換處理時,該處理單元具體用於:對該待識別圖像進行以下操作中的任意一種或組合:旋轉處理、平移處理和縮放處理。
TW106137123A 2017-02-22 2017-10-27 圖像識別方法及裝置 TWI753039B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
??201710097375.8 2017-02-22
CN201710097375.8 2017-02-22
CN201710097375.8A CN108460649A (zh) 2017-02-22 2017-02-22 一种图像识别方法及装置

Publications (2)

Publication Number Publication Date
TW201832138A TW201832138A (zh) 2018-09-01
TWI753039B true TWI753039B (zh) 2022-01-21

Family

ID=63167400

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106137123A TWI753039B (zh) 2017-02-22 2017-10-27 圖像識別方法及裝置

Country Status (4)

Country Link
US (1) US20180239987A1 (zh)
CN (1) CN108460649A (zh)
TW (1) TWI753039B (zh)
WO (1) WO2018156478A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10262235B1 (en) 2018-02-26 2019-04-16 Capital One Services, Llc Dual stage neural network pipeline systems and methods
CN110335269A (zh) * 2018-05-16 2019-10-15 腾讯医疗健康(深圳)有限公司 眼底图像的类别识别方法和装置
CN109447958B (zh) * 2018-10-17 2023-04-14 腾讯科技(深圳)有限公司 图像处理方法、装置、存储介质及计算机设备
CN109522900B (zh) * 2018-10-30 2020-12-18 北京陌上花科技有限公司 自然场景文字识别方法及装置
CN111241891B (zh) * 2018-11-29 2024-04-30 中科视语(北京)科技有限公司 一种人脸图像切图方法、装置及计算机可读存储介质
CN109886275A (zh) * 2019-01-16 2019-06-14 深圳壹账通智能科技有限公司 翻拍图像识别方法、装置、计算机设备和存储介质
CN109859227B (zh) * 2019-01-17 2023-07-14 平安科技(深圳)有限公司 翻拍图像检测方法、装置、计算机设备及存储介质
CN109635141B (zh) * 2019-01-29 2021-04-27 京东方科技集团股份有限公司 用于检索图像的方法、电子设备和计算机可读存储介质
US11699070B2 (en) * 2019-03-05 2023-07-11 Samsung Electronics Co., Ltd Method and apparatus for providing rotational invariant neural networks
CN110222736A (zh) * 2019-05-20 2019-09-10 北京字节跳动网络技术有限公司 训练分类器的方法、装置、电子设备和计算机可读存储介质
CN112149701B (zh) * 2019-06-28 2024-05-10 杭州海康威视数字技术股份有限公司 一种图像识别方法、虚拟样本数据生成方法和存储介质
CN110321964B (zh) * 2019-07-10 2020-03-03 重庆电子工程职业学院 图像识别模型更新方法及相关装置
CN110458164A (zh) * 2019-08-07 2019-11-15 深圳市商汤科技有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN110659694B (zh) * 2019-09-27 2022-10-11 华中农业大学 一种基于机器学习的柑橘果蒂的检测方法
CN110751061B (zh) * 2019-09-29 2023-04-07 五邑大学 基于sar网络的sar图像识别方法、装置、设备和存储介质
CN110717450B (zh) * 2019-10-09 2023-02-03 深圳大学 自动识别原始文档的翻拍图像的训练方法和检测方法
WO2021068142A1 (zh) * 2019-10-09 2021-04-15 深圳大学 自动识别原始文档的翻拍图像的训练方法和检测方法
CN110908901B (zh) * 2019-11-11 2023-05-02 福建天晴数码有限公司 一种图像识别能力的自动化验证方法及系统
CN111191550B (zh) * 2019-12-23 2023-05-02 初建刚 一种基于图像锐度自动动态调整的视觉感知装置及方法
CN111260214B (zh) * 2020-01-15 2024-01-26 大亚湾核电运营管理有限责任公司 核电站预留工单领料方法、装置、设备及存储介质
CN111368889B (zh) * 2020-02-26 2023-10-17 腾讯科技(深圳)有限公司 一种图像处理方法及装置
CN111626982A (zh) * 2020-04-13 2020-09-04 中国外运股份有限公司 识别待检测货箱批次码的方法和装置
TWI775084B (zh) * 2020-05-27 2022-08-21 鴻海精密工業股份有限公司 圖像識別方法、裝置、電腦裝置及存儲介質
CN113743427B (zh) 2020-05-27 2023-10-31 富泰华工业(深圳)有限公司 图像识别方法、装置、计算机装置及存储介质
CN111814636A (zh) * 2020-06-29 2020-10-23 北京百度网讯科技有限公司 一种安全带检测方法、装置、电子设备及存储介质
RU2739059C1 (ru) * 2020-06-30 2020-12-21 Анатолий Сергеевич Гавердовский Способ проверки подлинности маркировки
CN112149713B (zh) * 2020-08-21 2022-12-16 中移雄安信息通信科技有限公司 基于绝缘子图像检测模型检测绝缘子图像的方法及装置
CN112258481A (zh) * 2020-10-23 2021-01-22 北京云杉世界信息技术有限公司 一种门脸照翻拍检测方法
CN112396058B (zh) * 2020-11-11 2024-04-09 深圳大学 一种文档图像的检测方法、装置、设备及存储介质
CN112580621B (zh) * 2020-12-24 2022-04-29 成都新希望金融信息有限公司 身份证翻拍识别方法、装置、电子设备及存储介质
CN113344000A (zh) * 2021-06-29 2021-09-03 南京星云数字技术有限公司 证件翻拍识别方法、装置、计算机设备和存储介质
CN113649422A (zh) * 2021-06-30 2021-11-16 云南昆钢电子信息科技有限公司 一种基于热图像的粗轧钢坯质量检测系统及方法
CN114120453A (zh) * 2021-11-29 2022-03-01 北京百度网讯科技有限公司 一种活体检测方法、装置、电子设备及存储介质
CN114564964B (zh) * 2022-02-24 2023-05-26 杭州中软安人网络通信股份有限公司 一种基于k近邻对比学习的未知意图检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100037059A1 (en) * 2008-08-11 2010-02-11 General Electric Company System and method for forensic analysis of media works
TW201636905A (zh) * 2015-01-22 2016-10-16 前進公司 神經網路及神經網路訓練的方法
US20160350336A1 (en) * 2015-05-31 2016-12-01 Allyke, Inc. Automated image searching, exploration and discovery
TW201702937A (zh) * 2015-07-02 2017-01-16 Alibaba Group Services Ltd 圖像預處理方法及裝置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070140551A1 (en) * 2005-12-16 2007-06-21 Chao He Banknote validation
CN104008369A (zh) * 2014-05-16 2014-08-27 四川大学 一种真假印章识别装置及其方法
CN105989330A (zh) * 2015-02-03 2016-10-05 阿里巴巴集团控股有限公司 一种图片检测方法及设备
CN106156161A (zh) * 2015-04-15 2016-11-23 富士通株式会社 模型融合方法、模型融合设备和分类方法
EP3262569A1 (en) * 2015-06-05 2018-01-03 Google, Inc. Spatial transformer modules
CN105118048B (zh) * 2015-07-17 2018-03-27 北京旷视科技有限公司 翻拍证件图片的识别方法及装置
CN105844653B (zh) * 2016-04-18 2019-07-30 深圳先进技术研究院 一种多层卷积神经网络优化系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100037059A1 (en) * 2008-08-11 2010-02-11 General Electric Company System and method for forensic analysis of media works
TW201636905A (zh) * 2015-01-22 2016-10-16 前進公司 神經網路及神經網路訓練的方法
US20160350336A1 (en) * 2015-05-31 2016-12-01 Allyke, Inc. Automated image searching, exploration and discovery
TW201702937A (zh) * 2015-07-02 2017-01-16 Alibaba Group Services Ltd 圖像預處理方法及裝置

Also Published As

Publication number Publication date
TW201832138A (zh) 2018-09-01
WO2018156478A1 (en) 2018-08-30
CN108460649A (zh) 2018-08-28
US20180239987A1 (en) 2018-08-23

Similar Documents

Publication Publication Date Title
TWI753039B (zh) 圖像識別方法及裝置
CN110569721B (zh) 识别模型训练方法、图像识别方法、装置、设备及介质
CN108182394B (zh) 卷积神经网络的训练方法、人脸识别方法及装置
Mayer et al. Exposing fake images with forensic similarity graphs
US20190354801A1 (en) Unsupervised cross-domain distance metric adaptation with feature transfer network
CN110866471A (zh) 人脸图像质量评价方法及装置、计算机可读介质、通信终端
WO2016124103A1 (zh) 一种图片检测方法及设备
CN104915673B (zh) 一种基于视觉词袋模型的目标分类方法和系统
CN104077613A (zh) 一种基于级联多级卷积神经网络的人群密度估计方法
CN108416343B (zh) 一种人脸图像识别方法及装置
CN106530200A (zh) 一种基于深度学习模型的隐写图像检测方法及系统
CN104537647A (zh) 一种目标检测方法及装置
US20140072208A1 (en) System and method for automated object detection in an image
CN111275070B (zh) 一种基于局部特征匹配的签名验证方法及设备
Jain et al. An efficient image forgery detection using biorthogonal wavelet transform and improved relevance vector machine
Chen et al. Image splicing localization using residual image and residual-based fully convolutional network
CN112597798A (zh) 一种使用神经网络鉴别商品真伪的方法
Liu et al. A band selection method with masked convolutional autoencoder for hyperspectral image
CN110942090A (zh) 模型训练、图像处理方法、装置、电子设备及存储介质
CN105809180A (zh) 图像处理方法及装置
Sreelekshmi et al. Deep forgery detect: enhancing social media security through deep learning-based forgery detection
Dhar et al. Detecting deepfake images using deep convolutional neural network
CN110263196B (zh) 图像检索方法、装置、电子设备及存储介质
Zheng et al. Content-adaptive selective steganographer detection via embedding probability estimation deep networks
CN111352827A (zh) 一种自动化测试的方法及装置