TWI761077B - 指紋感測裝置與指紋識別方法 - Google Patents

指紋感測裝置與指紋識別方法 Download PDF

Info

Publication number
TWI761077B
TWI761077B TW110105609A TW110105609A TWI761077B TW I761077 B TWI761077 B TW I761077B TW 110105609 A TW110105609 A TW 110105609A TW 110105609 A TW110105609 A TW 110105609A TW I761077 B TWI761077 B TW I761077B
Authority
TW
Taiwan
Prior art keywords
fingerprint
image
block
predicted
neural network
Prior art date
Application number
TW110105609A
Other languages
English (en)
Other versions
TW202143098A (zh
Inventor
張永清
Original Assignee
王建華
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 王建華 filed Critical 王建華
Publication of TW202143098A publication Critical patent/TW202143098A/zh
Application granted granted Critical
Publication of TWI761077B publication Critical patent/TWI761077B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1335—Combining adjacent partial images (e.g. slices) to create a composite input or reference pattern; Tracking a sweeping finger movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G06V40/1359—Extracting features related to ridge properties; Determining the fingerprint type, e.g. whorl or loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本發明提出一種指紋感測裝置與指紋識別方法。透過指紋感測器獲取原始指紋圖像。擷取位於原始指紋圖像的邊緣上的圖像邊緣區塊。將圖像邊緣區塊輸入至類神經網路（Neural Network）模型，以產生預測拓展區塊。經由合併預測拓展區塊與原始指紋圖像來產生經拓展指紋圖像。依據經拓展指紋圖像執行指紋應用程序。

Description

指紋感測裝置與指紋識別方法
本發明是有關於一種指紋辨識技術，且特別是有關於一種指紋感測裝置與指紋識別方法。
近年來，指紋辨識技術已被廣泛地單獨或結合應用於各式電子裝置或產品之中，以提供身分驗證功能，其中至少包括有電容式、光學式、超音波式等等各種指紋辨識技術正在陸續地被持續研發與改進中。可知的，當指紋感測器的感測範圍因為各種考量而受到限制時，指紋感測器進行感測所產生的指紋圖像的圖像尺寸也相對較小。當依據小面積指紋圖像提供的局部指紋資訊進行指紋辨識時，有可能因為指紋特徵量太少或不同人的手指局部相似而發生誤判的情形。可知的，指紋圖像的圖像尺寸越大，其所能夠提供的指紋特徵量越多。此外，當依據小面積指紋圖像提供的局部指紋資訊來拼接多次按壓而產生的多張小面積指紋圖像時，小面積指紋圖像之間可能不存在對應至相同指紋部位的相似圖像區塊，因而發生無法進行圖像拼接的情況。
因此，目前已有人提出一些方案來解決上述小面積指紋圖像帶來的問題。像是，透過直接將小面積指紋圖像放大後再進行指紋驗證，以增加指紋圖像的圖像尺寸而嘗試提昇特徵點數量，但此法實際上並未提昇指紋圖像的指紋資訊量。此外，也有人提出將多張小面積指紋圖像拼接為較完整的指紋圖像。然而，如同前述，當指紋感測器的感測範圍很小時，即便使用者多次按壓指紋感測器，小面積指紋圖像之間可能不存在對應至相同指紋部位的相似圖像區塊，因而發生無法進行圖像拼接的情況。
有鑑於此，本發明提供一種指紋感測裝置與指紋識別方法，其可提昇指紋辨識的準確度與匹配成功率。
本發明實施例提出一種指紋感測裝置，其包括指紋感測器、儲存裝置，以及處理器。指紋感測器產生原始指紋圖像。處理器耦接指紋感測器與儲存裝置，並經配置以執行下列步驟。擷取位於原始指紋圖像的邊緣上的圖像邊緣區塊。將圖像邊緣區塊輸入至類神經網路(Neural Network)模型，以產生預測拓展區塊。經由合併預測拓展區塊與原始指紋圖像來產生經拓展指紋圖像。依據經拓展指紋圖像執行指紋應用程序。
本發明實施例提出一種指紋識別方法，適用於一指紋感測裝置。所述方法包括下列步驟。透過指紋感測器獲取原始指紋圖像。擷取位於原始指紋圖像的邊緣上的圖像邊緣區塊。將圖像邊緣 區塊輸入至類神經網路(Neural Network)模型，以產生預測拓展區塊。經由合併預測拓展區塊與原始指紋圖像來產生經拓展指紋圖像。依據經拓展指紋圖像執行指紋應用程序。
基於上述，於本發明的實施例中，類神經網路模型經訓練而用以依據原始指紋圖像的圖像邊緣區塊產生預測拓展區塊。預測拓展區塊可與原始指紋圖像合併而產生經拓展指紋圖像，此經拓展指紋圖像相較於原始指紋圖像具備更多的指紋特徵量。藉此，可提昇指紋辨識的比對成功率與準確度。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100:指紋感測裝置
110:指紋感測器
130:處理器
120:儲存裝置
Img_ori:原始指紋圖像
EB1,EB2,EB3,EB4,EB5,EB6,EB7,EB8:圖像邊緣區塊
PB1,PB2,PB3,PB4,PB5,PB6,PB7,PB8:預測拓展區塊
PB3_1:第一部份區塊
PB3_2:第二部份區塊
Img_e1,Img_e2,Img_e3,Img_e4,Img_e5:經拓展指紋圖像
Img_te:暫時拓展指紋圖像
ZP_1,ZP_2,ZP_3,ZP_4:填充區塊
S210~S250:步驟
圖1是依照本發明一實施例的指紋感測裝置的方塊圖。
圖2是依照本發明一實施例的指紋識別方法的流程圖。
圖3A是依照本發明一實施例的指紋識別方法的示意圖。
圖3B是依照本發明一實施例的指紋識別方法的示意圖。
圖4是依照本發明一實施例的產生預測拓展區塊的示意圖。
圖5是依照本發明一實施例的產生預測拓展區塊的示意圖。
圖6A是依照本發明一實施例的利用類神經網路模型產生預測拓展區塊的預測拓展像素的示意圖。
圖6B是依照本發明一實施例的利用類神經網路模型產生預 測拓展區塊的預測拓展像素的示意圖。
圖7是依據本發明一實施例的產生經拓展指紋圖像的示意圖。
為了使本發明的內容可以被更容易明瞭，以下特舉實施例做為本發明確實能夠據以實施的實施範例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟，是代表相同或類似部件。
應當理解，當元件被稱為“直接在另一元件上”或“直接連接到”另一元件時，不存在中間元件。如本文所使用的，“連接”可以指物理及/或電性連接。再者，“電性連接”或“耦合”可以是二元件間存在其它元件。
請參照圖1，圖1是依照本發明一實施例的指紋感測裝置的方塊圖。指紋辨識裝置110可包括指紋感測器110、儲存裝置120，以及處理器130。指紋感測裝置100例如是筆記型電腦、智慧型手機(smart phone)、平板(panel)、遊戲機或其他具有指紋辨識功能的電子裝置或電器設備等等，本發明對此不限制。
處理器130可耦接儲存裝置120與指紋感測器110。處理器130可包括中央處理單元(Central Processing Unit，CPU)、應用處理器(Application Processor，AP)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器 (Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)或這些裝置的組合。換言之，處理器130可由一顆或多顆積體電路(integrated circuit，IC)實現，發明對此並不限制。舉例而言，處理器113可包括應用處理器以及感測驅動IC。
儲存裝置120用以儲存資料、軟體模組、程式碼，其可以例如是任意型式的固定式或可移動式隨機存取記憶體(random access memory，RAM)、唯讀記憶體(read-only memory，ROM)、快閃記憶體(flash memory)、硬碟或其他類似裝置、積體電路及其組合。在一實施例中，處理器130可載入儲存裝置120中所記錄的程式碼或模組以執行本發明實施例提出的指紋識別方法。
指紋感測器110可進行指紋感測而產生原始指紋圖像。本發明對於指紋感測器110的感測方式並不限制，其可以是光學式指紋感測器、超聲波指紋感測器或電容式指紋感測器。於一實施例中，指紋感測器110具有較小的指紋感測範圍，因而依據局部指紋來產生小面積的原始指紋圖像。
於一實施例中，處理器130可利用訓練完成的類神經網路模型來準確地預測未被指紋感測器110感測到的指紋資訊，並將預測結果與原始指紋圖像合併以產生經拓展指紋圖像。經拓展指紋圖像將用以進行後續的指紋應用程序。藉此，可提昇小面積的原始指紋圖像的指紋匹配成功率，也可改善無法順利進行影像拼 接的問題。
圖2是依照本發明一實施例的指紋識別方法的流程圖。圖3A是依照本發明一實施例的指紋識別方法的示意圖。請參圖1、圖2與圖3A，本實施例的方法適用於上述實施例中的指紋感測裝置100，以下即搭配屏下指紋感測裝置100中的各項元件與圖3A的實施範例說明本實施例方法的詳細步驟。
於步驟S210，透過指紋感測器110獲取原始指紋圖像。當使用者將手指置放於指紋感測器110上方時，指紋感測器110可依據指紋感測器110中各個感測單元輸出的感測資料產生原始指紋圖像Img_ori。於圖3A的實施範例中，指紋感測器110可產生圖像尺寸為N*P的原始指紋圖像Img_ori，亦即，原始指紋圖像Img_ori包括N*P個像素點。
於步驟S220，處理器130擷取位於原始指紋圖像的邊緣上的圖像邊緣區塊。於此，圖像邊緣區塊為自原始指紋圖像的某一邊緣向內延伸的圖像區塊。本發明對於圖像邊緣區塊的尺寸並不限制，其可是實際需求而設置。圖3A是以處理器130擷取位於原始指紋圖像Img_ori的下邊緣的圖像邊緣區塊EB1為例，但處理器130可擷取位於原始指紋圖像Img_ori的任意邊緣(例如上邊緣、下邊緣、左邊緣或右邊緣)上的圖像邊緣區塊，本發明對此不限制。於圖3A的實施範例中，圖像邊緣區塊EB1的尺寸為N*Q，其中Q小於P。亦即，圖像邊緣區塊EB1包括N*Q個像素點。
於步驟S230，處理器130將圖像邊緣區塊輸入至類神經 網路模型，以產生預測拓展區塊。亦即，類神經網路模型將依據作為模型輸入的圖像邊緣區塊而產生作為模型輸出的預測拓展區塊。於一實施例中，類神經網路模型經訓練而用以預測未被實際擷取的指紋資訊。於一實施例中，類神經網路模型可為一卷積神經網路(CNN)模型。於此，作為模型輸出的預測拓展區塊的尺寸小於作為模型輸入的圖像邊緣區塊，但實際尺寸可視實際需求而設計，本發明對此不限制。於圖3A的實施範例中，處理器130將圖像邊緣區塊EB1輸入至類神經網路模型，以產生預測拓展區塊PB1。預測拓展區塊PB1的尺寸為N*M，其中M小於Q。亦即，預測拓展區塊PB1包括N*M個預測拓展像素。
於步驟S240，處理器130經由合併預測拓展區塊與原始指紋圖像來產生經拓展指紋圖像。基於作為模型輸入的圖像邊緣區塊是位於原始指紋圖像的某一邊緣上，處理器130會將預測拓展區塊連接至原始指紋圖像的此邊緣上。於一實施例中，預測拓展區塊可包括多個預測拓展像素。根據圖像邊緣區塊所在的邊緣，處理器130可將這些預測拓展像素合併至原始指紋圖像的垂直邊緣或水平邊緣上，使這些預測拓展像素成為經拓展指紋圖像的像素。於圖3A的實施範例中，在將預測拓展區塊PB1連接至原始指紋圖像Img_ori的下邊緣(即水平邊緣)之後，處理器130可產生圖像尺寸為N*(P+M)的經拓展指紋圖像Img_e1。
值得一提的是，基於類神經網路模型是依據真實指紋圖像進行訓練而產生，因此可準確地預測未被指紋感測器所感測到 的指紋資訊。相較於單純延伸原始指紋圖像上的指紋，本發明實施例的類神經網路模型可更準確地預測出指紋的分叉、轉折、螺旋或其他特殊走向。
於步驟S250，處理器130依據經拓展指紋圖像執行指紋應用程序。指紋應用程序可包括指紋註冊程序、指紋驗證程序或其他需要用到指紋圖像的相關程序。於一實施例中，於指紋驗證程序中，處理器130可對經拓展指紋圖像進行指紋特徵點擷取操作，而從經拓展指紋圖像獲取多個指紋特徵點。於是，處理器130可判斷上述多個指紋特徵點與註冊模板特徵點是否匹配，以獲取指紋驗證結果。於一實施例中，於指紋註冊程序中，處理器130可對經拓展指紋圖像進行指紋特徵點擷取操作，從而獲取註冊模板特徵點並將其記錄下來。於一實施例中，使用者可以手指不同部位按壓於指紋感測器110上方，處理器130可重複執行步驟S210~步驟S240而產生多張經拓展指紋圖像。依據這些拓展指紋圖像之間的重疊區域，處理器130可對多張經拓展指紋圖像進行影像拼接(image stitching)處理，從而生成一張完整指紋圖像。上述完整指紋圖像同樣可用於進行指紋驗證程序或指紋註冊程序。
需說明的是，圖3A是以從原始指紋圖像Img_ori的水平邊緣擷取圖像邊緣區塊EB1並將預測拓展區塊PB1合併至原始指紋圖像Img_ori的水平邊緣上為例，但本發明不限制於此。於一實施例中，處理器130可自原始指紋圖像的垂直邊緣擷取圖像拓展區塊，並將對應的預測拓展區塊合併至原始指紋圖像的垂直邊緣 上。
舉例而言，圖3B是依照本發明一實施例的指紋識別方法的示意圖。指紋感測器110可產生圖像尺寸為N*P的原始指紋圖像Img_ori。處理器130擷取位於原始指紋圖像Img_ori的左邊緣上的圖像邊緣區塊EB2。於此，圖像邊緣區塊EB2的尺寸為Q*P，其中Q小於N。亦即，圖像邊緣區塊EB2包括Q*P個像素點。處理器130可將圖像邊緣區塊EB2輸入至類神經網路模型，使類神經網路模型輸出預測拓展區塊PB2。於此，預測拓展區塊PB2的尺寸為M*P，其中M小於Q。亦即，預測拓展區塊PB2可包括M*P個預測拓展像素。在將預測拓展區塊PB2合併至原始指紋圖像Img_ori的左邊緣之後，處理器130可產生圖像尺寸為(N+M)*P的經拓展指紋圖像Img_e2。
應理解，圖3A與圖3B是以從原始指紋圖像Img_ori的某一邊緣擷取圖像邊緣區塊EB1、EB2與對應產生一個預測拓展區塊PB1、PB2為實施範例進行說明，但本發明不限制於此。基於相同的原理與流程，處理器130可從原始指紋圖像的多個邊緣擷取多個圖像邊緣區塊與對應產生多個預測拓展區塊。
於一實施例中，處理器130可將圖像邊緣區塊輸入至類神經網路模型，使類神經網路模型直接輸出預測拓展區塊的每一個預測拓展像素。也就是說，處理器130可依據原始指紋圖像的一個圖像邊緣區塊直接預測對應的一個預測拓展區塊。舉例而言，圖3A與圖3B的實施範例中，類神經網路模型可直接輸出一 個完整的預測拓展區塊PB1、PB2。
於一實施例中，處理器130可將圖像邊緣區塊輸入至類神經網路模型，使類神經網路模型輸出部份的預測拓展區塊。接著，處理器130合併圖像邊緣區塊與部份的預測拓展區塊而產生另一圖像邊緣區塊，並將另一圖像邊緣區塊輸入至類神經網路模型，使類神經網路模型輸出另一部份的預測拓展區塊。也就是說，處理器130可先使用類神經網路模型依據原始指紋圖像的一個圖像邊緣區塊產生預測拓展區塊的部份預測拓展像素，接在再次使用類神經網路模型依據部份的圖像邊緣區塊與部份的預測拓展區塊產生預測拓展區塊的另一部份預測拓展像素。
舉例而言，圖4是依照本發明一實施例的產生預測拓展區塊的示意圖。請參照圖4，假設指紋感測器110可產生圖像尺寸為N*P的原始指紋圖像Img_ori。處理器130可使用類神經網路模型而依據原始指紋圖像Img_ori的圖像邊緣區塊EB3產生預測拓展區塊的第一部份區塊PB3_1。接著，處理器130合併圖像邊緣區塊EB3與第一部份區塊PB3_1而產生另一圖像邊緣區塊EB4。於此，圖像邊緣區塊EB4包括部份的圖像邊緣區塊EB3與第一部份區塊PB3_1。之後，處理器130將另一圖像邊緣區塊EB4輸入至類神經網路模型，使類神經網路模型輸出預測拓展區塊的第二部份區塊PB3_2，以最終獲取完整的預測拓展區塊。於是，處理器130可依序將預測拓展區塊的第一部份區塊PB3_1與第二部份區塊PB3_2合併至原始指紋圖像Img_ori而產生經拓展指紋圖像 Img_e3。可知的，圖4是以使用類神經網路模型進行兩次預測而獲取完整的預測拓展區塊PB3為範例進行說明，但本發明不限制於此。於其他實施例中，基於相似的原理與流程，處理器130可使用類神經網路模型進行更多次預測而獲取完整的預測拓展區塊。
於一實施例中，處理器130可合併預測延伸拓展區塊與原始指紋圖像而產生暫時拓展指紋圖像。處理器擷取位於暫時拓展指紋圖像的邊緣上的另一圖像邊緣區塊。處理器將另一圖像邊緣區塊輸入至類神經網路模型，以產生另一預測拓展區塊，處理器130合併另一預測拓展區塊與暫時拓展指紋圖像而產生經拓展指紋圖像。於此，處理器130將預測拓展區塊合併於原始指紋圖像的第一方向邊緣上，並將另一預測拓展區塊合併於暫時拓展指紋圖像的第二方向邊緣上。第一方向邊緣是沿第一方向延伸，第二方向邊緣是沿第二方向延伸，第一方向相異於第二方向。亦即，第一方向邊緣與第二方向邊緣分別為水平邊緣與垂直邊緣。
詳細而言，當處理器130要分於原始指紋圖像的左右兩側與上下兩側添加預測拓展區塊時，處理器130可依據上下兩側的預測拓展區塊的部份預側拓展區塊與原始指紋圖像中位於垂直邊緣上的圖像邊緣區塊來預測原始指紋圖像左右兩側的預測拓展區塊。或者，當處理器130要分於原始指紋圖像的左右兩側與上下兩側添加預測拓展區塊時，處理器130可依據左右兩側的預測拓展區塊的部份預側拓展區塊與原始指紋圖像中位水平邊緣上的圖像邊緣區塊來預測原始指紋圖像左右兩側的預測拓展區塊。
舉例而言，圖5是依照本發明一實施例的產生預測拓展區塊的示意圖。請參照圖5，假設指紋感測器110可產生圖像尺寸為N*P的原始指紋圖像Img_ori。處理器130可使用類神經網路模型而依據原始指紋圖像Img_ori的圖像邊緣區塊EB5產生預測拓展區塊PB4。接著，處理器130合併原始指紋圖像Img_ori與預測拓展區塊PB4而產生暫時拓展指紋圖像Img_te。處理器130擷取位於暫時拓展指紋圖像Img_te的邊緣上的另一圖像邊緣區塊EB6。處理器將另一圖像邊緣區塊EB6輸入至類神經網路模型，以產生另一預測拓展區塊PB5，處理器130合併另一預測拓展區塊PB5與暫時拓展指紋圖像Img_te而產生經拓展指紋圖像Img_e4。可知的，圖5是以使用類神經網路模型先產生水平邊緣上的預測拓展區塊再產生垂直邊緣上的預測拓展區塊為範例進行說明，但本發明不限制於此。
於一實施例中，類神經網路模型包括多個卷積層。本發明對於卷積層的層數並不加以限制，其可視實際需求而設置。每一層卷積層各自依據一或多個卷積核(convolution kernel)進行卷積運算。類神經網路模型中的第一層卷積層接收圖像邊緣區塊，而類神經網路模型中的最後一層卷積層依據一個卷積核進行卷積操作而輸出預測拓展區塊的部份或全部預測拓展像素。需說明的是，於一實施例中，處理器130可依據預設輸入參數添加填充區塊於圖像邊緣區塊的相對兩側，並將圖像邊緣區塊與填充區塊輸入至卷積層中的第一層卷積層。填充區塊的尺寸是依據預設輸入參數與圖 像邊緣區塊的尺寸而決定。於此，類神經網路模型的預設輸入參數是依據原始指紋圖像的圖像高度與圖像寬度其中較大者來決定。於一實施例中，類神經網路模型的預設輸入參數包括類神經網路模型的輸入圖像寬度。
詳細而言，卷積運算會導致卷積層輸出資料的尺寸小於卷積層輸入資料。因此，於一實施例中，為了使類神經網路模型的輸出圖像寬度等於原始指紋圖像或暫時拓展指紋圖像的像素列數或像素行數，處理器130會添加填充區塊於圖像邊緣區塊的兩側。基於依據預設輸入參數增加填充區塊的操作，因為類神經網路模型的預設輸入參數是依據原始指紋圖像的圖像高度與圖像寬度其中較大者來決定，所以處理器130可使用單一套類神經網路模型分別針對原始指紋圖像的垂直邊緣與水平邊緣產生尺寸不同的兩種預測拓展區塊。
以下將進一步說明利用類神經網路模型產生預測拓展區塊的實施範例。
圖6A是依照本發明一實施例的利用類神經網路模型產生預測拓展區塊的預測拓展像素的示意圖。請參照圖6A，類神經網路模型610可包括五層卷積層L1~L5，卷積層L1~L5各自依據一或多個卷積核進行卷積運算。於本實施範例中，是以類神經網路模型610的輸入圖像高度為7且類神經網路模型610的輸出圖像高度為3為範例，但本發明不限制於此。
於圖6A的範例中，假設原始指紋圖像的尺寸為N*P且 圖像寬度N大於圖像高度P，則處理器130可決定類神經網路模型610的預設輸入參數等於圖像寬度N加上常數參數(於此以常數參數等於4為範例)。亦即，類神經網路模型610的預設輸入參數經配置等於N+4。於一實施例中，常數參數可依據類神經網路模型610的輸入圖像高度與輸出圖像高度而決定。例如，於圖6A的範例中，因為類神經網路模型610的輸入圖像高度為7且類神經網路模型610的輸出圖像高度為3，在確保類神經網路模型610的輸出圖像寬度等於原始指紋圖像或暫時拓展指紋圖像的像素列數或像素行數的條件下，處理器130可決定常數參數可為大於等於4的偶數。
於本實施範例中，在類神經網路模型610的預設輸入參數等於N+4的條件下，當將N*7的圖像邊緣區塊EB7輸入至類神經網路模型610時，處理器130可決定用於添加於圖像邊緣區塊EB7兩側的填充區塊ZP1、ZP2的尺寸為2*7。此外，類神經網路模型610的模型參數可例如表1所示。
Figure 110105609-A0305-02-0016-1
 此外，圖6A與表1所示的類神經網路模型610之各卷積層L1~L5是以步幅等於1(stride=1)進行卷積運算，但本發明不限制於此。然而，表1所示的模型參數僅為示範性說明，以清楚說明本發明實施例內容，而非用以限定本發明。類神經網路模型之各卷積層L1~L5所使用的卷積核尺寸、卷積核數目、零填充方式以及步幅可視實際需求而配置。
需特別說明的是，類神經網路模型610同樣可用以針對垂直邊緣上的邊緣圖像區塊產生預測拓展區塊。舉例而言，圖6B是依照本發明一實施例的利用類神經網路模型產生預測拓展區塊的預測拓展像素的示意圖。請參照圖6B，假設原始指紋圖像的尺寸為N*P且圖像寬度N大於圖像高度P。在類神經網路模型610的預設輸入參數等於N+4的條件下，當將7*P的圖像邊緣區塊EB8輸入至類神經網路模型610時，處理器130可先對7*P的圖像邊緣區塊EB8進行旋轉處理而產生P*7的圖像邊緣區塊EB8。接著，處理器130可決定用於添加於圖像邊緣區塊EB8兩側的填充區塊ZP3、ZP4的尺寸為(N+4-P)/2*7。經過卷積層L1~L5的卷積運算後，處理器130可自類神經網路模型610的模型輸出擷取出P*3的預測拓展區塊PB6。處理器130可先對P*3的預測拓展區塊PB6進行旋轉處理而產生3*P的預測拓展區塊PB6，以於後續操作中將3*P的預測拓展區塊PB6合併至N*P的原始指紋圖像的垂直邊緣上。基於圖6A與圖6B的說明可知，於一實施例中，同一套訓練完成的類神經網路模型可用以產生不同尺寸的預測拓 展區塊。
值得一提的是，於一實施例中，類神經網路模型所輸出的預測拓展區塊可包括一預測指紋脊線或一預測指紋谷線。此預測指紋脊線未與原始指紋圖像中的任一指紋脊線相連。此預測指紋谷線未與原始指紋圖像中的任一指紋谷線相連。亦即，預測拓展區塊可包括並非延伸自原始指紋圖像中的指紋脊線或指紋谷線的預測指紋紋路。詳細而言，本發明實施例的類神經網路模型可依據各種類型的指紋走向進行訓練而建立，因而本發明實施例的類神經網路模型可更準確地預測出指紋的分叉、轉折、螺旋或其他特殊走向，而非單純地延伸指紋圖像中的指紋脊線或指紋谷線。
圖7是依據本發明一實施例的產生經拓展指紋圖像的示意圖。請參照圖7，原始指紋圖像Img_ori是具有螺旋紋路指紋的小面積指紋圖像。於本實施範例中，分別取位於原始指紋圖像Img_ori上邊緣與下邊緣的兩個圖像邊緣區塊作為類神經網路模型的輸入資料。類神經網路模型將分別輸出對應的兩個預測拓展區塊PB7、PB8。經由合併預測拓展區塊PB7、PB8與原始指紋圖像Img_ori可產生經拓展指紋圖像Img_e5。於圖7的範例中，類神經網路模型可準確地預測出指紋的螺旋走向，以產生可信度高的經拓展指紋圖像Img_e5。更具體而言，預測拓展區塊PB8包括並非延伸自原始指紋圖像Img_ori中的指紋脊線與指紋谷線的預測指紋紋路。
綜上所述，於本發明實施例中，類神經網路模型經訓練而 用以依據原始指紋圖像的圖像邊緣區塊產生預測拓展區塊。預測拓展區塊可與原始指紋圖像合併而產生經拓展指紋圖像，此經拓展指紋圖像相較於原始指紋圖像具備更多的指紋特徵量。藉此，可提昇指紋辨識的匹配成功率與準確度，也可避免多張指紋圖像無法順利拼接的情況。除此之外，基於類神經網路模型是依據真實指紋圖像進行訓練而產生，因此可準確地預測未被指紋感測器所感測到的指紋資訊，使經拓展指紋圖像具備一定的可靠度。
最後應說明的是：以上各實施例僅用以說明本發明的技術方案，而非對其限制；儘管參照前述各實施例對本發明進行了詳細的說明，本領域的普通技術人員應當理解：其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分或者全部技術特徵進行等同替換；而這些修改或者替換，並不使相應技術方案的本質脫離本發明各實施例技術方案的範圍。
S210~S250:步驟

Claims (16)

  1. 一種指紋感測裝置，包括：一指紋感測器，產生一原始指紋圖像；一儲存裝置；以及一處理器，耦接該指紋感測器與該儲存裝置，經配置以擷取位於該原始指紋圖像的邊緣上的一圖像邊緣區塊；將該圖像邊緣區塊輸入至一類神經網路模型，以產生一預測拓展區塊；經由合併該預測拓展區塊與該原始指紋圖像來產生一經拓展指紋圖像；以及依據該經拓展指紋圖像執行一指紋應用程序。
  2. 如請求項1所述的指紋感測裝置，其中該預測拓展區塊包括多個預測拓展像素，該處理器將該圖像邊緣區塊輸入至該類神經網路模型，使該類神經網路模型直接輸出該預測拓展區塊的每一該些預測拓展像素。
  3. 如請求項1所述的指紋感測裝置，其中該處理器將該圖像邊緣區塊輸入至該類神經網路模型，使該類神經網路模型輸出部份的該預測拓展區塊，該處理器合併該圖像邊緣區塊與部份的該預測拓展區塊而產生另一圖像邊緣區塊，並將該另一圖像邊緣區塊輸入至該類神經網路模型，使該類神經網路模型輸出另一部份的該預測拓展區塊。
  4. 如請求項1所述的指紋感測裝置，其中該預測拓展區塊包括多個預測拓展像素，該處理器將該些預測拓展像素合併至該原始指紋圖像的垂直邊緣或水平邊緣上。
  5. 如請求項1所述的指紋感測裝置，其中該處理器合併該預測拓展區塊與該原始指紋圖像而產生一暫時拓展指紋圖像，該處理器擷取位於該暫時拓展指紋圖像的邊緣上的另一圖像邊緣區塊，該處理器將該另一圖像邊緣區塊輸入至該類神經網路模型，以產生另一預測拓展區塊，該處理器合併該另一預測拓展區塊與該暫時拓展指紋圖像而產生該經拓展指紋圖像。
  6. 如請求項1所述的指紋感測裝置，其中該指紋應用程序包括一指紋註冊程序或一指紋驗證程序。
  7. 如請求項1所述的指紋感測裝置，其中該類神經網路模型包括多個卷積層，該處理器依據一預設輸入參數添加填充區塊於該圖像邊緣區塊的相對兩側，並將該圖像邊緣區塊與該填充區塊輸入至該些卷積層中的第一層卷積層，其中該填充區塊的尺寸是依據該預設輸入參數與該圖像邊緣區塊的尺寸而決定，且該預設輸入參數是依據該原始指紋圖像的圖像高度與圖像寬度其中較大者而決定。
  8. 如請求項1所述的指紋感測裝置，其中預測拓展區塊包括一預測指紋脊線或一預測指紋谷線，該預測指紋脊線未與所述原始指紋圖像中的任一指紋脊線相連，該預測指紋谷線未與所述原始指紋圖像中的任一指紋谷線相連。
  9. 一種指紋識別方法，適用於指紋感測裝置，所述方法包括：透過一指紋感測器獲取一原始指紋圖像；擷取位於該原始指紋圖像的邊緣上的一圖像邊緣區塊；將該圖像邊緣區塊輸入至一類神經網路模型，以產生一預測拓展區塊；經由合併該預測拓展區塊與該原始指紋圖像來產生一經拓展指紋圖像；以及依據該經拓展指紋圖像執行一指紋應用程序。
  10. 如請求項9所述的指紋識別方法，其中該預測拓展區塊包括多個預測拓展像素，而將該圖像邊緣區塊輸入至該類神經網路模型，以產生該預測拓展區塊的步驟包括：將該圖像邊緣區塊輸入至該類神經網路模型，使該類神經網路模型直接輸出該預測拓展區塊的每一該些預測拓展像素。
  11. 如請求項9所述的指紋識別方法，其中將該圖像邊緣區塊輸入至該類神經網路模型，以產生該預測拓展區塊的步驟包括：將該圖像邊緣區塊輸入至該類神經網路模型，使該類神經網路模型輸出部份的該預測拓展區塊；合併該圖像邊緣區塊與部份的該預測拓展區塊而產生另一圖像邊緣區塊；以及將該另一圖像邊緣區塊輸入至該類神經網路模型，使該類神 經網路模型輸出另一部份的該預測拓展區塊。
  12. 如請求項9所述的指紋識別方法，其中該預測拓展區塊包括多個預測拓展像素，而經由合併該預測拓展區塊與該原始指紋圖像來產生該經拓展指紋圖像的步驟包括：將該些預測拓展像素合併至該原始指紋圖像的垂直邊緣或水平邊緣上。
  13. 如請求項9所述的指紋識別方法，其中經由合併該預測拓展區塊與該原始指紋圖像來產生該經拓展指紋圖像的步驟包括：合併該預測拓展區塊與該原始指紋圖像而產生一暫時拓展指紋圖像；擷取位於該暫時拓展指紋圖像的邊緣上的另一圖像邊緣區塊；將該另一圖像邊緣區塊輸入至該類神經網路模型，以產生另一預測拓展區塊；以及合併該另一預測拓展區塊與該暫時拓展指紋圖像而產生該經拓展指紋圖像。
  14. 如請求項9所述的指紋識別方法，其中該指紋應用程序包括一指紋註冊程序或一指紋驗證程序。
  15. 如請求項9所述的指紋識別方法，其中該類神經網路模型包括多個卷積層，一處理器依據一預設輸入參數添加填充區塊於該圖像邊緣區塊的相對兩側，並將該圖像邊緣區塊與該 填充區塊輸入至該些卷積層中的第一層卷積層，其中該填充區塊的尺寸是依據該預設輸入參數與該圖像邊緣區塊的尺寸而決定，且該預設輸入參數是依據該原始指紋圖像的圖像高度與圖像寬度其中較大者而決定。
  16. 如請求項9所述的識別方法，其中預測拓展區塊包括一預測指紋脊線或一預測指紋谷線，該預測指紋脊線未與所述原始指紋圖像中的任一指紋脊線相連，該預測指紋谷線未與所述原始指紋圖像中的任一指紋谷線相連。
TW110105609A 2020-05-05 2021-02-19 指紋感測裝置與指紋識別方法 TWI761077B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063020030P 2020-05-05 2020-05-05
US63/020,030 2020-05-05
US202063029729P 2020-05-26 2020-05-26
US63/029,729 2020-05-26

Publications (2)

Publication Number Publication Date
TW202143098A TW202143098A (zh) 2021-11-16
TWI761077B true TWI761077B (zh) 2022-04-11

Family

ID=76124046

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110105609A TWI761077B (zh) 2020-05-05 2021-02-19 指紋感測裝置與指紋識別方法

Country Status (3)

Country Link
US (1) US11270092B2 (zh)
CN (1) CN112906567B (zh)
TW (1) TWI761077B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113869206A (zh) * 2019-10-21 2021-12-31 深圳市汇顶科技股份有限公司 识别指纹的方法、指纹识别装置和电子设备
CN115035640B (zh) * 2022-08-10 2022-12-06 湖南朗国视觉识别研究院有限公司 一种基于人体特征识别的智能门锁解锁方法及门锁系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107085827A (zh) * 2017-04-27 2017-08-22 中国电子科技集团公司第二十八研究所 基于硬件平台实现的超分辨力图像复原方法
US20180150679A1 (en) * 2016-11-29 2018-05-31 Samsung Electronics Co., Ltd. Method and apparatus of fingerprint recognition
TW201833815A (zh) * 2017-03-01 2018-09-16 映智科技股份有限公司 指紋偵測方法及電路
CN111047522A (zh) * 2019-11-07 2020-04-21 北京科技大学 一种基于边缘生成的图像修复方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU7990700A (en) * 1999-09-30 2001-04-30 John F. Catalano System and method for capturing, enrolling and verifying a fingerprint
JP5599605B2 (ja) * 2009-12-29 2014-10-01 ラピスセミコンダクタ株式会社 ノイズ除去装置、ノイズ除去方法、及びノイズ除去プログラム
TWI457842B (zh) * 2010-09-29 2014-10-21 Gingy Technology Inc A segmented image recognition method and a region identification device thereof
CN105447437B (zh) 2015-02-13 2017-05-03 比亚迪股份有限公司 指纹识别方法和装置
KR101639986B1 (ko) * 2015-10-07 2016-07-15 크루셜텍 (주) 지문 등록 및 인증 속도 향상을 위한 지문 정보 프로세싱 방법 및 그 장치
CN109426795A (zh) * 2017-09-05 2019-03-05 比亚迪股份有限公司 指纹识别方法和装置
CN109598182B (zh) * 2017-09-30 2020-12-25 比亚迪股份有限公司 指纹比对方法和装置
CN109815772A (zh) * 2017-11-20 2019-05-28 方正国际软件(北京)有限公司 指纹图像增强、识别方法、装置及指纹图像增强识别系统
US11151355B2 (en) 2018-01-24 2021-10-19 Invensense, Inc. Generation of an estimated fingerprint

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180150679A1 (en) * 2016-11-29 2018-05-31 Samsung Electronics Co., Ltd. Method and apparatus of fingerprint recognition
TW201833815A (zh) * 2017-03-01 2018-09-16 映智科技股份有限公司 指紋偵測方法及電路
CN107085827A (zh) * 2017-04-27 2017-08-22 中国电子科技集团公司第二十八研究所 基于硬件平台实现的超分辨力图像复原方法
CN111047522A (zh) * 2019-11-07 2020-04-21 北京科技大学 一种基于边缘生成的图像修复方法

Also Published As

Publication number Publication date
CN112906567B (zh) 2024-06-28
TW202143098A (zh) 2021-11-16
CN112906567A (zh) 2021-06-04
US20210350108A1 (en) 2021-11-11
US11270092B2 (en) 2022-03-08

Similar Documents

Publication Publication Date Title
Song et al. Finger-vein recognition based on deep DenseNet using composite image
TWI761077B (zh) 指紋感測裝置與指紋識別方法
JP6444523B2 (ja) 指紋認識方法及び指紋認識装置
Noh et al. Finger-vein recognition based on densely connected convolutional network using score-level fusion with shape and texture images
JP6167733B2 (ja) 生体特徴ベクトル抽出装置、生体特徴ベクトル抽出方法、および生体特徴ベクトル抽出プログラム
US9220445B2 (en) Information processing apparatus, information processing method and program
CN106897994A (zh) 一种基于分层图像的pcb板缺陷检测系统和方法
US20160004934A1 (en) Authenticity determination system, feature point registration apparatus and method of controlling operation of same, and matching determination apparatus and method of controlling operation of same
Meng et al. Finger vein recognition based on zone-based minutia matching
CN111160288A (zh) 手势关键点检测方法、装置、计算机设备和存储介质
CN111009001A (zh) 一种图像配准方法、装置、设备及存储介质
Shao et al. Cross-domain palmprint recognition based on transfer convolutional autoencoder
CN115083571A (zh) 病理切片处理方法、计算机设备和存储介质
TWI607388B (zh) 指紋驗證方法及其電子裝置
JP7131118B2 (ja) 認証装置、認証プログラム、認証方法
Sisodia et al. A conglomerate technique for finger print recognition using phone camera captured images
CN115457308A (zh) 细粒度图像识别方法、装置和计算机设备
JP7270304B2 (ja) ユーザのバイオメトリック特性を有する画像中の物体を識別することにより当該ユーザのｉｄを検証するための方法、及び当該方法を実施するためのモバイル装置
Nunsong et al. An improved finger-knuckle-print recognition using fractal dimension based on Gabor wavelet
WO2020001400A1 (zh) 纹路识别设备分辨率的测试方法及装置、系统及存储介质
JP2021110753A5 (ja) 電子部品を接続する接合部のボイド・クラックの検出方法および検出装置
Xiao et al. Modified binary pattern for finger vein recognition
TWI590170B (zh) 部分指紋驗證的疊代匹配方法與系統
JP3742313B2 (ja) 画像照合装置、画像照合方法、プログラム及び記録媒体
JP2014232373A (ja) 照合対象抽出システム、照合対象抽出方法、照合対象抽出プログラム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees