TWI795930B - 使用觸控輸入之基於指紋之鑑認 - Google Patents

使用觸控輸入之基於指紋之鑑認 Download PDF

Info

Publication number
TWI795930B
TWI795930B TW110136394A TW110136394A TWI795930B TW I795930 B TWI795930 B TW I795930B TW 110136394 A TW110136394 A TW 110136394A TW 110136394 A TW110136394 A TW 110136394A TW I795930 B TWI795930 B TW I795930B
Authority
TW
Taiwan
Prior art keywords
touch
image data
touch input
fingerprint
raw image
Prior art date
Application number
TW110136394A
Other languages
English (en)
Other versions
TW202223611A (zh
Inventor
申東翼
Original Assignee
美商谷歌有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商谷歌有限責任公司 filed Critical 美商谷歌有限責任公司
Publication of TW202223611A publication Critical patent/TW202223611A/zh
Application granted granted Critical
Publication of TWI795930B publication Critical patent/TWI795930B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Collating Specific Patterns (AREA)
  • User Interface Of Digital Computer (AREA)
  • Lock And Its Accessories (AREA)

Abstract

本發明描述實現在無專用於指紋請求之一觸控輸入之情況下解鎖一裝置且進行持續使用者鑑認的技術及設備。接收包括對一觸控螢幕(306)之一或多次觸控(108)之一觸控輸入(106)，及自一指紋成像感測器(308)擷取對應於該等觸控(108)之原始影像資料(112)。對該原始影像資料(112)執行一像素叢集技術以判定對應於該等觸控(108)之各者之該原始影像資料之一部分(118)。針對該原始影像資料之該等部分(118)之各者形成觸控嵌入項(120)且比較其等與對應於一或多個經授權使用者之各自指紋之一或多個經儲存指紋嵌入項(220)。接著，基於比較結果(124)判定該觸控輸入(106)之一鑑認結果(204)。

Description

使用觸控輸入之基於指紋之鑑認
使用者鑑認係用於確保可由運算裝置存取之敏感資訊之安全性的一重要工具。指紋感測器通常實施為使用者鑑認之一快速且有效的手段。近來，已實施顯示器下(under-display)指紋感測器，其等實現以使用者友善的且具空間效率的方式進行指紋鑑認。
然而，常常需要專用指紋輸入來鑑認一使用者。例如，一裝置可需要一使用者將其等之手指放置於一特定位置或定向中以便解鎖該裝置。歸因於輸入僅僅用於解鎖裝置，此可減損一使用者體驗。此外，一旦裝置經解鎖，一未經授權使用者便可暢通無阻地使用裝置。
本發明描述實現使用觸控輸入之基於指紋之鑑認的技術及設備。此等技術及設備實現在無明確指紋觸控輸入之情況下解鎖一運算裝置且持續鑑認一使用者。因此，此減少一使用者解鎖運算裝置所需之觸控輸入之次數且藉由容許持續鑑認而增加安全性。例如，當裝置處於一鎖定狀態時，可呈現一軟鎖定(soft-lock)螢幕(例如，一模糊使用者介面或在該使用者介面之頂部上之一覆疊)。藉由簡單地與軟鎖定使用者螢幕互動(例如，經由對使用者介面之一元素之一觸控輸入)，裝置可解鎖，移除軟鎖定螢幕或以其他方式改變至底層使用者介面，執行對應於觸控輸入之一動作，且允許使用者繼續如其等通常所進行般與裝置互動。一旦經解鎖，裝置便可週期性地鑑認觸控輸入以確保觸控輸入仍來自一經授權使用者。觸控輸入可與一特定動作相關聯(例如，除了明確限於指紋辨識之外)，使得使用者可在一單一觸控輸入中被鑑認且輸入動作。
下文描述之態樣包含一種藉由一運算裝置執行之基於指紋之鑑認的方法。該方法涉及接收包括對該運算裝置之一觸控螢幕之一或多次觸控的一觸控輸入，及自該運算裝置之一指紋成像感測器擷取對應於該等觸控之原始影像資料。該方法亦涉及對該原始影像資料執行一像素叢集技術以判定對應於該等觸控之各者之該原始影像資料之一部分，及針對該觸控輸入建立一或多個比較結果。藉由以下步驟來針對該等觸控之各者建立該等比較結果：形成表示對應於該各自觸控之該原始影像資料之該部分的一觸控嵌入項；計算該觸控嵌入項與對應於一或多個經授權使用者之各自指紋之一或多個經儲存指紋嵌入項之各者之間的一相似性；及基於該計算針對該各自觸控建立一比較結果。接著，該方法涉及基於該等比較結果判定該觸控輸入之一鑑認結果。
下文描述之態樣亦包含一種運算裝置，該運算裝置包括一觸控螢幕、一指紋成像感測器、至少一個處理器及包括指令之至少一個電腦可讀儲存媒體，該等指令在藉由該處理器執行時引起該處理器接收包括對該觸控螢幕之一或多次觸控之一觸控輸入，及自該指紋成像感測器擷取對應於該等觸控之原始影像資料。該等指令進一步引起該處理器對該原始影像資料執行一像素叢集技術以判定對應於該等觸控之各者之該原始影像資料之一部分，及針對該觸控輸入建立一或多個比較結果。藉由以下步驟來針對該等觸控之各者建立該等比較結果：形成表示對應於該各自觸控之該原始影像資料之該部分的一觸控嵌入項；計算該觸控嵌入項與對應於一或多個經授權使用者之各自指紋之一或多個經儲存指紋嵌入項之各者之間的一相似性；及基於該計算針對該各自觸控建立一比較結果。接著，該等指令引起該處理器基於該等比較結果判定該觸控輸入之一鑑認結果。
概述
顯示器下指紋感測器實現在無專用指紋輸入區域(例如，後部指紋感測器或實體按鈕上之指紋感測器)之情況下進行基於指紋之鑑認。儘管顯示器下指紋感測器對於一使用者而言更具空間效率且直觀，但其等通常需要專用觸控輸入來進行使用者鑑認。因而，通常需要一單獨步驟來與一經鎖定裝置互動(例如，步驟1：解鎖裝置，步驟2：與裝置互動)。此外，一旦一裝置經解鎖，該裝置便可能無法在與裝置互動期間持續鑑認使用者(例如，因為典型互動可能不對應於一專用觸控輸入之一位置或定向)。即使裝置係藉由一經授權使用者解鎖，此仍可導致裝置之未經授權存取/使用。
本文中所描述之方法及設備實現在無用於指紋請求之專用觸控輸入之情況下的裝置解鎖及持續使用者鑑認。例如，當裝置處於一鎖定狀態時，可呈現一軟鎖定螢幕。藉由簡單地與底層使用者介面互動(例如，經由對一使用者介面元素之一觸控輸入)，裝置可解鎖並執行一功能(例如，與該使用者介面元素相關聯之一功能)。一旦裝置經解鎖，便可在使用者與裝置互動時週期性地鑑認觸控輸入。以此方式，自一鎖定狀態至一解鎖狀態之轉變可為無縫的，且可經由與裝置之正常互動來持續鑑認一使用者。 例示 性程序流程
圖1繪示使用觸控輸入之基於指紋之鑑認的一例示性程序流程100。程序流程100大體上在關於圖3進一步論述之一運算裝置102中實施。程序流程100可在104以運算裝置102處於一鎖定狀態或一解鎖狀態開始。在任一情況中，程序流程100大體上為相同的。然而，如下文論述，取決於初始狀況，一些細節不同。
在104，藉由運算裝置之一觸控螢幕顯示一使用者介面，且藉由觸控螢幕接收包括一或多次觸控108之一觸控輸入106。若運算裝置102處於鎖定狀態，則可結合使用者介面接收至一軟鎖定螢幕(未展示)之觸控輸入106，如將關於圖4進一步論述。觸控輸入106可包括一單點觸控(例如，單指輕觸或拖曳手勢)或多點觸控(例如，多指輕觸或拖曳手勢或多指捏縮或展開手勢)。在一些情況中，觸控108之一或多者可對應於除一手指以外之某物(例如，一物件、一手掌、一指關節)。替代地或另外，觸控108可來自兩個或更多個使用者(例如，該等使用者兩者皆正在觸控觸控螢幕)。在所繪示實例中，觸控輸入106包括具有觸控108-1及108-2之兩指展開手勢(例如，以起始縮放)。
基於接收觸控輸入106，在110，運算裝置102自運算裝置102之一顯示器下指紋感測器接收原始影像資料112。原始影像資料112對應於觸控輸入106。
在114，對原始影像資料112執行一叢集技術。叢集技術將原始影像資料112之像素叢集成一或多個叢集116 (例如，叢集116-1及116-2)，使得叢集116之各者對應於觸控108之一者。在所繪示實例中，叢集116-1對應於觸控108-1，且叢集116-2對應於觸控108-2。
將對應於叢集116之原始影像資料之部分118 (例如，原始影像資料之一部分118-1及原始影像資料之一部分118-2)個別地傳遞通過一神經網路以判定原始影像資料之各自部分118之觸控嵌入項120 (例如，原始影像資料之部分118-1之一觸控嵌入項120-1及原始影像資料之部分118-2之一觸控嵌入項120-2)。例如，神經網路可包括一徑向卷積(convolutional)層以強制旋轉不變性(視情況連同其他層一起)，且觸控嵌入項120可包括原始影像資料之部分118的雜湊。
在122，運算裝置102可比較觸控嵌入項120之各者與經授權使用者之經儲存指紋嵌入項，以判定各自觸控嵌入項120是否匹配或足夠接近經儲存指紋嵌入項之一者(例如，在一嵌入項空間中之一半徑內)。經儲存指紋嵌入項可能先前已使用一類似神經網路建立。
接著，在126對比較之結果(例如，比較結果124)進行表決。表決結果在一鑑認結果中(例如，在對應於經授權使用者之一者時鑑認觸控輸入106，或在不對應於經授權使用者之一者時拒絕觸控輸入106)。若鑑認結果係一鑑認(例如，124中之是)，則運算裝置102可執行對應於觸控輸入106之一動作。然而，若運算裝置102以鎖定狀態開始，則可執行額外動作(例如，解鎖運算裝置102及移除軟鎖定螢幕)。在所繪示實例中，觸控輸入106係一展開手勢。因此，使用者介面可縮放，如在128繪示。若鑑認結果係一拒絕(例如，124中之否)，則運算裝置102可鎖定以防止未經授權使用，如在130繪示。鎖定可為一軟鎖定(例如，仍顯示使用者介面)或一硬鎖定(例如，用一鎖定螢幕替換使用者介面)。
藉由執行此等動作，自一鎖定狀態至一解鎖狀態之轉變可為更加無縫的，且可經由與裝置之正常互動來持續鑑認一使用者。 例示性資料流
圖2繪示用於使用觸控輸入之基於指紋之鑑認之一指紋模組202的一例示性資料流200。資料流200大體上對應於程序流程100之至少一部分，且因此亦可在下文關於圖3論述之運算裝置102 (未展示)中實施。
至少部分實施於運算裝置102之硬體中之指紋模組202接收對應於觸控輸入106之原始影像資料112且提供一鑑認結果204。原始影像資料112可含有整個顯示器下指紋感測器或對應於觸控輸入106之顯示器下指紋感測器之一部分的像素資料。例如，運算裝置102可判定觸控輸入106之大體位置(例如，經由觸控螢幕之電容式感測器)且擷取對應於該等位置之原始影像資料。另外，為了增強原始影像資料112，運算裝置102可照明該等位置(例如，經由像素或觸控螢幕之背光)。鑑認結果204對應於來自圖1之126之表決的鑑認結果(例如，在對應於一經授權使用者時鑑認觸控輸入106，或在不對應於一經授權使用者時拒絕觸控輸入106)。可基於鑑認結果執行各種動作，如下文將進一步論述。
原始影像資料112藉由指紋模組202之一叢集模組206接收，叢集模組206產生原始影像資料之部分118。為進行此，叢集模組206可使用具有一預設叢集值之一高斯混合模型208來判定叢集116及原始影像資料之對應部分118。叢集模組206可判定原始影像資料112之哪些像素具有高於一臨限值(例如，一強度值、一色彩值或一亮度值)之一值，判定像素之叢集之數目，及將具有高於臨限值之值之像素之各者分配至叢集116之一者。因此，叢集116係原始影像資料112 (例如，原始影像資料之部分118)之像素之叢集。
可將高斯混合模型208內之叢集值(例如，高斯叢集之數目)設定為高於經儲存指紋嵌入項之數目之一值(例如，若存在四個經儲存指紋嵌入項，則可將叢集之數目設定為十)。亦可將叢集值設定為對應於觸控輸入106中之觸控之預期最大次數之一值。由於十個以上手指或物件與觸控輸入106相關聯之可能性很小，故可針對叢集值選擇一值十。應注意，叢集值係叢集技術(例如，高斯混合模型208)之部分且用於影響叢集但不直接指示叢集116之數目。
儘管論述為利用高斯混合模型208，但叢集模組206可利用一般技術者已知之任何叢集技術來判定叢集116及原始影像資料之對應部分118。此外，可根據實驗資料來設定所選叢集技術內之叢集值(但一般技術者將認識到，歸因於將一觸控之部分識別為各別觸控之可能性，將值設定為高於十可能適得其反)。
一旦高斯混合模型208 (或另一模型)已判定原始影像資料之各自部分118，叢集模組206便可將原始影像資料之部分118提供至指紋模組202之一嵌入項模組212。若僅偵測到一個指紋，則叢集模組206將發送對應於該一個指紋之原始影像資料之一部分118。
嵌入項模組212利用具有一徑向卷積層216之一神經網路214以判定對應於觸控108之原始影像資料之部分118的觸控嵌入項120。徑向卷積層216容許原始影像資料之部分118之旋轉不變性。換言之，徑向卷積層216容許相關聯觸控相對於裝置成任何定向。以此方式，嵌入項模組212不需要一特定指紋手勢以達成一可用嵌入項。
神經網路214可含有一般技術者將知道之額外元件。例如，神經網路214可含有一集區(例如，一最大集區)及全連接層(例如，自然語言模型(vanilla)層)以判定觸控嵌入項120。如上文所陳述，觸控嵌入項120可包括原始影像資料之各自部分118的雜湊。
已使用已知輸入訓練(例如，權重計算)神經網路214。例如，可在一裝置之正常使用期間之不同時間向神經網路214饋送一相同手指之指紋資料之複數個例項(指紋之不同部分、指紋之不同定向)。可針對複數個手指及使用者進行重複訓練以建立一可靠網路。藉由以此一方式訓練神經網路214，神經網路214能夠建立一類似嵌入項，而與一相關聯觸控(例如，指紋)之一定向或部分無關。此類似於人臉辨識，其中一系統可判定一人之一身份，即使其等面部之一部分可能被眼鏡或帽子遮擋。
一旦已建立觸控嵌入項120，一比較模組218便比較觸控嵌入項120之各者與經儲存指紋嵌入項220。經儲存指紋嵌入項220係先前已使用嵌入項模組212建立之經授權使用者之指紋的嵌入項。例如，在一設置程序期間，可將對應於一經授權使用者之一指紋之一或多個影像之部分饋送至神經網路214中以建立指紋之一經儲存指紋嵌入項。接著，可針對其他手指及/或其他經授權使用者重複該程序。
比較可涉及查看觸控嵌入項120之各者是否匹配或足夠接近經儲存指紋嵌入項220之一者。例如，比較模組218可判定觸控嵌入項120之各者是否在經儲存指紋嵌入項220之任何者之一嵌入項空間中的一特定半徑內。下文展示使用一1-稀疏命中之一例示性比較。 例示 性比較
此例示性比較涉及透過一查詢功能(例如，一1-稀疏命中功能)輸入觸控嵌入項120之一者。查詢功能利用一前向觀察模型及反向推理計算來判定觸控嵌入項120是否匹配經儲存指紋嵌入項220之任何者。
前向模型可定義為：
Figure 02_image001
其中y係觸控嵌入項120 (例如，具有一特定大小之向量)，A係經儲存指紋嵌入項220之集合(例如，特定大小乘經儲存指紋嵌入項220之數目之矩陣)，且x係具有等於經儲存指紋嵌入項220之數目之一大小的一選擇向量(例如，指示一匹配)。
反向推理計算(1-稀疏命中)可定義為：
Figure 02_image003
反向推理計算之最佳化問題之一解決方案本質上為觸控嵌入項120與經儲存指紋嵌入項220之各者之間的一相似性評分。最佳化問題可用公式表示為使用以下原子匹配原理解決之一稀疏線性逆系統：
Figure 02_image005
Figure 02_image007
Figure 02_image009
其中
Figure 02_image011
係具有觸控嵌入項120與各自經儲存指紋嵌入項220
Figure 02_image013
之間之一最高相似性評分(點積)的一索引，且若
Figure 02_image015
大於一臨限值
Figure 02_image017
，則
Figure 02_image019
將一經儲存指紋嵌入項220指示為匹配。
若相似性評分之一者高於臨限值
Figure 02_image017
，則可鑑認觸控嵌入項120及因此與觸控嵌入項120相關聯之觸控108。若相似性評分中沒有一個高於臨限值
Figure 02_image017
，則可拒絕觸控嵌入項120及因此與觸控嵌入項120相關聯之觸控108。在一些實施例中，代替相似性評分或除相似性評分之外，亦可計算觸控嵌入項120與經儲存指紋嵌入項220之各者之間的一距離。
在已執行比較之後，將比較結果124發送至指紋模組202之一表決模組222以判定觸控輸入106之鑑認結果204。比較結果124可包括對應於觸控嵌入項120之各者之各自鑑認或拒絕的一組二進位整數。例如，若觸控108分別對應於一經授權使用者之手指、該經授權使用者之手掌及一未經授權使用者之手指，則該組二進位整數將為[1, 0, 0]。
表決模組222對比較結果124進行表決。表決可包括判定比較結果124內之鑑認或拒絕之數目或百分比是否高於一臨限值。在上述實例中，比較結果124係[1, 0, 0]，表示33%鑑認。若臨限值係20%，則在此實例中，鑑認結果204將為觸控輸入106之鑑認。然而，若臨限值係40%，則在此實例中，鑑認結果204將為拒絕。
儘管指紋模組被描述為對原始影像資料之部分118之各者進行操作以便判定鑑認結果204，但在一些實施例中，可循序地操作原始影像資料之部分118直至判定鑑認之一比較結果124。例如，指紋模組202可選擇原始影像資料之部分118之一者，形成選定部分之一觸控嵌入項120，及比較觸控嵌入項120與經儲存指紋嵌入項220。若比較結果124之一者係鑑認，則指紋模組202可判定觸控輸入106對應於一經授權使用者(例如，將鑑認結果204提供為鑑認)，而不對原始影像資料之其他部分118進行操作。若未發現一匹配，則指紋模組202可循序地選擇原始影像資料之部分118之其他者，建立相關聯觸控嵌入項120，及比較該等觸控嵌入項120與經儲存指紋嵌入項220直至判定鑑認之一比較結果124。若比較結果124不含有任何鑑認，則鑑認結果204將為拒絕，例如，指紋模組202將拒絕觸控輸入106。 例示性裝置
圖3以300繪示其中可實施使用觸控輸入之基於指紋之鑑認的運算裝置102之一實例。儘管運算裝置102被繪示為一智慧型電話，但在不脫離本發明之範疇之情況下，運算裝置102可包括任何電子裝置(例如，一膝上型電腦、一電視機、一桌上型電腦、一平板電腦、一可穿戴裝置等)。如下面所展示，運算裝置102包含至少一個處理器302、至少一個電腦可讀儲存媒體304、一觸控螢幕306、一指紋成像感測器308及指紋模組202。
處理器302 (例如，一應用程式處理器、微處理器、數位信號處理器(DSP)或控制器)執行儲存於電腦可讀儲存媒體304 (例如，一非暫時性儲存裝置，諸如一硬碟機、SSD、快閃記憶體、唯讀記憶體(ROM)、EPROM或EEPROM)內之指令310 (例如，程式碼)，以引起運算裝置102執行本文中所描述之技術。指令310可為一作業系統之部分及/或運算裝置102之一或多個應用程式。
指令310引起運算裝置102作用於(例如，建立、接收、修改、刪除、傳輸或顯示)資料314 (例如，應用程式資料、模組資料；感測器資料，或I/O資料)。儘管被展示為在電腦可讀儲存媒體304內，但資料314之部分可在運算裝置102之一隨機存取記憶體(RAM)或一快取區(未展示)內。此外，指令310及/或資料314可在運算裝置102遠端。
指紋模組202 (或其之部分)可藉由電腦可讀儲存媒體304包括或為一獨立組件(例如，在與處理器302及電腦可讀儲存媒體304通信之專用硬體中執行)。例如，指令310可引起處理器302實施或以其他方式引起指紋模組202接收原始影像資料112且輸出鑑認結果204，如關於圖1及圖2所描述。
提供觸控輸入106之一指示之觸控螢幕306及提供原始影像資料112之指紋成像感測器308可為一般技術者已知之觸控螢幕及指紋成像感測器之任何者。例如，觸控螢幕306可為一電容式觸控螢幕，且指紋成像感測器308可為一全顯示器指紋感測器。 例示 性軟鎖定
圖4係結合一軟鎖定螢幕之基於指紋之鑑認的一例示性繪示400。例示性繪示400展示運算裝置102在402以一鎖定狀態開始並顯示軟鎖定螢幕404，且在406以對應於觸控輸入106之一動作結束。
在402，運算裝置102處於鎖定狀態且顯示軟鎖定螢幕404。軟鎖定螢幕404可為一模糊使用者介面、一使用者介面覆疊(例如，使用者介面上方之一圖案)、一色彩變化，或運算裝置102經鎖定同時仍展示使用者介面之其他視覺指示項。
在一些實施方案中，運算裝置102可回應於判定一使用者互動即將發生而顯示軟鎖定螢幕404。例如，若運算裝置102判定其已被拾起或一使用者正看著觸控螢幕306，則裝置可自一硬鎖定螢幕改變至具有適用使用者介面(例如，上次使用之應用程式、主螢幕等)之軟鎖定螢幕。步驟402一般在由圖1所描繪之程序之前，且為在接收觸控輸入106時(例如，在步驟104)可顯示之內容之一實例。
在406接收觸控輸入106，觸控輸入106被鑑認為對應於一經授權使用者(例如，經由圖1及圖2之程序)，軟鎖定螢幕404移除或改變至使用者介面，且執行對應於觸控輸入106之一動作，如在408展示。在所繪示實例中，根據觸控輸入106縮放使用者介面。以此方式，一使用者可與運算裝置102互動，而無需一單獨解鎖步驟，例如，自402進展至408僅需要一單一使用者輸入。 例示性方法
以下論述描述用於使用觸控輸入之基於指紋之鑑認的一方法。此方法可利用先前描述之實例(諸如程序流程100、資料流200、運算裝置300及圖4中所展示之繪示400)來實施。方法500之態樣繪示於圖5中，其被展示為由一或多個實體(例如，運算裝置102及/或指紋模組202)執行之操作502至516。展示及/或描述此方法之操作之順序並不意欲被解釋為限制，且可以任何順序組合任何數目或組合之所描述方法操作以實施一方法或一替代方法。
視需要，在502，顯示一軟鎖定螢幕。例如，觸控螢幕306可顯示軟鎖定螢幕404，軟鎖定螢幕404可為一底層使用者介面螢幕之一模糊版本或在底層使用者介面螢幕之頂部上之一覆疊。軟鎖定螢幕404指示運算裝置102被鎖定但仍可藉由一經授權使用者直接互動(例如，無需單獨解鎖輸入)。
在504，接收一觸控輸入。例如，可藉由觸控螢幕306接收觸控輸入106，且觸控輸入106可包括一或多次觸控108。觸控輸入106可為一手勢且可與運算裝置102之一功能相關聯。此外，手勢可對應於由運算裝置102顯示之一使用者介面元素。
在506，擷取對應於觸控輸入之原始影像資料。例如，指紋模組202可擷取或以其他方式接收對應於觸控輸入106之原始影像資料112。
在508，對原始影像資料執行一像素叢集技術。例如，叢集模組206可使用高斯混合模型208來判定對應於各自觸控108之原始影像資料之部分118。
在510，針對觸控建立比較結果。藉由針對觸控之各者形成表示對應於各自觸控之原始影像資料之部分的一觸控嵌入項，計算觸控嵌入項與對應於一或多個經授權使用者之各自指紋之一或多個經儲存指紋嵌入項之各者之間的一相似性，及基於計算針對各自觸控建立一比較結果，而來建立比較結果。例如，嵌入項模組212可使用神經網路214之徑向卷積層216來形成觸控嵌入項120。比較模組218可比較觸控嵌入項120與經儲存指紋嵌入項220以建立比較結果214。
在512，判定一鑑認結果。例如，表決模組222可接收比較結果124且判定鑑認結果204。鑑認結果204在對應於一經授權使用者時可為觸控輸入106之一鑑認，或在不對應於一經授權使用者時為觸控輸入106之一拒絕。
視需要，在514，回應於鑑認結果指示觸控輸入對應於一經授權使用者而執行一動作。例如，運算裝置102可判定鑑認結果204指示觸控輸入106對應於一經授權使用者，且執行對應於觸控輸入106之一動作(例如，在128展示之縮放或一使用者介面物件之一選擇)。
再者，視需要，在516，回應於鑑認結果指示觸控輸入不對應於一經授權使用者而鎖定運算裝置。例如，運算裝置102可判定鑑認結果204指示觸控輸入106不對應於一經授權使用者且鎖定裝置(例如，軟鎖定螢幕404或藉由130描繪之鎖定螢幕)。 實例
實例1：一種藉由一運算裝置執行之基於指紋之鑑認的方法，該方法包括：接收包括對該運算裝置之一觸控螢幕之一或多次觸控的一觸控輸入；自該運算裝置之一指紋成像感測器擷取對應於該一或多次觸控之原始影像資料；對該原始影像資料執行一像素叢集技術以判定該原始影像資料之一或多個部分，該原始影像資料之各部分對應於該一或多次觸控之一者；藉由針對該一或多次觸控之各者進行以下步驟而針對該觸控輸入建立一或多個比較結果：基於該像素叢集技術判定對應於該各自觸控之該原始影像資料之該部分；形成表示對應於該各自觸控之該原始影像資料之該部分的一觸控嵌入項；計算該各自觸控之該觸控嵌入項與對應於一或多個經授權使用者之各自指紋之一或多個經儲存指紋嵌入項之各者之間的一相似性；及基於該計算針對該各自觸控建立一比較結果；及基於該一或多個比較結果判定該觸控輸入之一鑑認結果。
實例2：如實例1之方法，其中該觸控輸入之該鑑認結果進一步基於該一或多個比較結果之一表決，該表決包括：判定對應於鑑認之該一或多個比較結果之一數目；及判定對應於該鑑認之該一或多個比較結果之該數目是否超過一臨限值。
實例3：如實例1或2之方法，其中該指紋成像感測器包括一全顯示器指紋成像感測器。
實例4：如前述實例中任一項之方法，其中該觸控輸入包括一單點觸控輸入。
實例5：如前述實例中任一項之方法，其中該觸控輸入係一多點觸控輸入。
實例6：如前述實例中任一項之方法：其中該觸控輸入係對應於一使用者介面之一手勢；其中該鑑認結果包括該觸控輸入對應於一經授權使用者之一判定；且進一步包括執行對應於該手勢之一動作。
實例7：如實例1至5中任一項之方法：其中該觸控輸入係對應於一使用者介面之一手勢；其中該鑑認結果包括該觸控輸入不對應於一經授權使用者之一判定；且進一步包括鎖定該運算裝置。
實例8：如前述實例中任一項之方法，其進一步包括，在接收該原始影像資料之前，顯示指示先前已鎖定該運算裝置之一軟鎖定螢幕。
實例9：如前述實例中任一項之方法，其中該觸控嵌入項及該一或多個經儲存指紋嵌入項包括雜湊。
實例10：如前述實例中任一項之方法，其中該觸控嵌入項及該一或多個經儲存指紋嵌入項係使用一神經網路之一徑向卷積層形成。
實例11：如前述實例中任一項之方法，其中該經計算相似性對應於在一嵌入項空間中該觸控嵌入項與該各自經儲存指紋嵌入項之間的一半徑距離。
實例12：如前述實例中任一項之方法，其中該像素叢集技術包括判定該原始影像資料之該一或多個部分之一混合模型。
實例13：如實例12之方法，其中將影響該原始影像資料之該一或多個部分之該判定之該混合模型內的一叢集值設定為小於或等於十之一值。
實例14：如實例12或13之方法，其中該混合模型係判定該原始影像資料之該一或多個部分之一高斯混合模型。
實例15：一種運算裝置，其包括：一觸控螢幕；一指紋成像感測器；至少一個處理器；及包括指令之至少一個電腦可讀儲存媒體，該等指令在藉由該至少一個處理器執行時引起該處理器執行如前述實例 任一項之方法。
實例16：一種含有指令之電腦可讀儲存媒體，該等指令在藉由一或多個處理器執行時引起該一或多個處理器執行如實例1至14中任一項之方法。此實例之電腦可讀儲存媒體可為一暫時性或一非暫時性電腦可讀儲存媒體。
儘管已依特定於特定特徵及/或方法之語言描述使用觸控輸入之基於指紋之鑑認的實施方案，但隨附發明申請專利範圍之標的並不一定限於所描述之特定特徵或方法。實情係，該等特定特徵及方法被揭示為使用觸控輸入之基於指紋之鑑認的例示性實施方案。此外，儘管上文已描述各項實例，其中各實例具有特定特徵，但應理解，一項實例之一特定特徵不必要僅與該實例一起使用。代替性地，除該等實例之其他特徵之任何者之外或替代此，在上文描述及/或在圖式中描繪之特徵之任何者可與實例之任何者組合。
100:程序流程 102:運算裝置 104:藉由運算裝置之觸控螢幕顯示使用者介面，且藉由觸控螢幕接收包括一或多次觸控之觸控輸入/步驟 106:觸控輸入 108-1:觸控 108-2:觸控 110:運算裝置自運算裝置之顯示器下指紋感測器接收原始影像資料 112:原始影像資料 114:對原始影像資料執行叢集技術 116-1:叢集 116-2:叢集 118:原始影像資料之部分 118-1:原始影像資料之部分 118-2:原始影像資料之部分 120:觸控嵌入項 120-1:觸控嵌入項 120-2:觸控嵌入項 122:運算裝置比較觸控嵌入項之各者與經授權使用者之經儲存指紋嵌入項，以判定各自觸控嵌入項是否匹配或足夠接近經儲存指紋嵌入項之一者 124:比較結果 126:對比較之結果進行表決 128:使用者介面縮放 130:運算裝置鎖定以防止未經授權使用 200:資料流 202:指紋模組 204:鑑認結果 206:叢集模組 208:高斯混合模型 212:嵌入項模組 214:神經網路 216:徑向卷積層 218:比較模組 220:經儲存指紋嵌入項 222:表決模組 300:運算裝置 302:處理器 304:電腦可讀儲存媒體 306:觸控螢幕 308:指紋成像感測器 310:指令 314:資料 400:繪示 402:運算裝置處於鎖定狀態且顯示軟鎖定螢幕/步驟 404:軟鎖定螢幕 406:接收觸控輸入 408:執行對應於觸控輸入之動作 500:方法 502:操作/顯示軟鎖定螢幕 504:操作/接收觸控輸入 506:操作/擷取對應於觸控輸入之原始影像資料 508:操作/對原始影像資料執行像素叢集技術 510:操作/針對觸控建立比較結果 512:操作/判定鑑認結果 514:操作/回應於鑑認結果指示觸控輸入對應於經授權使用者而執行動作 516:操作/回應於鑑認結果指示觸控輸入不對應於經授權使用者而鎖定運算裝置
參考以下圖式描述實現使用觸控輸入之基於指紋之鑑認的設備及技術。在圖式各處使用相同數字來指稱相同特徵及組件： 圖1繪示使用觸控輸入之基於指紋之鑑認的一例示性程序流程； 圖2繪示用於使用觸控輸入之基於指紋之鑑認之一指紋模組的一例示性資料流； 圖3繪示其中可實施使用觸控輸入之基於指紋之鑑認的一例示性運算裝置； 圖4係結合一軟鎖定螢幕之基於指紋之鑑認的一例示性繪示；及 圖5繪示用於使用觸控輸入之基於指紋之鑑認的一例示性方法。
100:程序流程
102:運算裝置
104:藉由運算裝置之觸控螢幕顯示使用者介面，且藉由觸控螢幕接收包括一或多次觸控之觸控輸入/步驟
106:觸控輸入
108-1:觸控
108-2:觸控
110:運算裝置自運算裝置之顯示器下指紋感測器接收原始影像資料
112:原始影像資料
114:對原始影像資料執行叢集技術
116-1:叢集
116-2:叢集
118-1:原始影像資料之部分
118-2:原始影像資料之部分
120-1:觸控嵌入項
120-2:觸控嵌入項
122:運算裝置比較觸控嵌入項之各者與經授權使用者之經儲存指紋嵌入項，以判定各自觸控嵌入項是否匹配或足夠接近經儲存指紋嵌入項之一者
124:比較結果
126:對比較之結果進行表決
128:使用者介面縮放
130:運算裝置鎖定以防止未經授權使用

Claims (15)

  1. 一種藉由一運算裝置執行之基於指紋之鑑認的方法，該方法包括： 接收包括對該運算裝置之一觸控螢幕之一或多次觸控的一觸控輸入； 自該運算裝置之一指紋成像感測器擷取對應於該一或多次觸控之原始影像資料； 對該原始影像資料執行一像素叢集技術以判定該原始影像資料之一或多個部分，該原始影像資料之各部分對應於該一或多次觸控之一者； 藉由針對該一或多次觸控之各者進行以下步驟而針對該觸控輸入建立一或多個比較結果： 基於該像素叢集技術判定對應於該各自觸控之該原始影像資料之該部分； 形成表示對應於該各自觸控之該原始影像資料之該部分的一觸控嵌入項； 計算該各自觸控之該觸控嵌入項與對應於一或多個經授權使用者之各自指紋之一或多個經儲存指紋嵌入項之各者之間的一相似性；及 基於該計算針對該各自觸控建立一比較結果；及 基於該一或多個比較結果判定該觸控輸入之一鑑認結果。
  2. 如請求項1之方法，其中該觸控輸入之該鑑認結果進一步基於該一或多個比較結果之一表決，該表決包括： 判定對應於鑑認之該一或多個比較結果之一數目；及 判定對應於該鑑認之該一或多個比較結果之該數目是否超過一臨限值。
  3. 如請求項1或2之方法，其中該指紋成像感測器包括一全顯示器指紋成像感測器。
  4. 如請求項1或2之方法，其中該觸控輸入包括一單點觸控輸入。
  5. 如請求項1或2之方法，其中該觸控輸入係一多點觸控輸入。
  6. 如請求項1或2之方法： 其中該觸控輸入係對應於一使用者介面之一手勢； 其中該鑑認結果包括該觸控輸入對應於一經授權使用者之一判定；及 進一步包括執行對應於該手勢之一動作。
  7. 如請求項1或2之方法： 其中該觸控輸入係對應於一使用者介面之一手勢； 其中該鑑認結果包括該觸控輸入不對應於一經授權使用者之一判定；及 進一步包括鎖定該運算裝置。
  8. 如請求項1或2之方法，其進一步包括，在接收該原始影像資料之前，顯示指示先前已鎖定該運算裝置之一軟鎖定螢幕。
  9. 如請求項1或2之方法，其中該觸控嵌入項及該一或多個經儲存指紋嵌入項包括雜湊。
  10. 如請求項1或2之方法，其中該觸控嵌入項及該一或多個經儲存指紋嵌入項係使用一神經網路之一徑向卷積層形成。
  11. 如請求項1或2之方法，其中該經計算相似性對應於在一嵌入項空間中該觸控嵌入項與該各自經儲存指紋嵌入項之間的一半徑距離。
  12. 如請求項1或2之方法，其中該像素叢集技術包括判定該原始影像資料之該一或多個部分之一混合模型。
  13. 如請求項12之方法，其中將影響該原始影像資料之該一或多個部分之該判定之該混合模型內的一叢集值設定為小於或等於十之一值。
  14. 如請求項12之方法，其中該混合模型係判定該原始影像資料之該一或多個部分之一高斯混合模型。
  15. 一種運算裝置，其包括： 一觸控螢幕； 一指紋成像感測器； 至少一個處理器；及 至少一個電腦可讀儲存媒體，其包括指令，該等指令在藉由該至少一個處理器執行時引起該處理器執行如請求項1至14中任一項之方法。
TW110136394A 2020-12-07 2021-09-30 使用觸控輸入之基於指紋之鑑認 TWI795930B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
WOPCT/US20/63623 2020-12-07
PCT/US2020/063623 WO2022125058A1 (en) 2020-12-07 2020-12-07 Fingerprint-based authentication using touch inputs

Publications (2)

Publication Number Publication Date
TW202223611A TW202223611A (zh) 2022-06-16
TWI795930B true TWI795930B (zh) 2023-03-11

Family

ID=74104204

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110136394A TWI795930B (zh) 2020-12-07 2021-09-30 使用觸控輸入之基於指紋之鑑認

Country Status (5)

Country Link
US (1) US20220398304A1 (zh)
EP (1) EP4038522A1 (zh)
CN (1) CN114916236A (zh)
TW (1) TWI795930B (zh)
WO (1) WO2022125058A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230031064A1 (en) * 2020-01-10 2023-02-02 Semiconductor Energy Laboratory Co., Ltd. Electronic device and program
GB2622032A (en) * 2022-08-31 2024-03-06 Bluestar Software Ltd Automated footwear identification system and method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080095413A1 (en) * 2001-05-25 2008-04-24 Geometric Informatics, Inc. Fingerprint recognition system
US20170147865A1 (en) * 2015-11-23 2017-05-25 Eric Dean Jensen Fingerprint reader
US20170220838A1 (en) * 2015-06-18 2017-08-03 Shenzhen Huiding Technology Co., Ltd. Under-screen optical sensor module for on-screen fingerprint sensing
TW202032424A (zh) * 2018-12-07 2020-09-01 大陸商上海耕岩智能科技有限公司 指紋識別方法及裝置、儲存介質和終端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8331775B2 (en) * 2009-10-15 2012-12-11 Jack Harper Fingerprint scanning systems and methods

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080095413A1 (en) * 2001-05-25 2008-04-24 Geometric Informatics, Inc. Fingerprint recognition system
US20170220838A1 (en) * 2015-06-18 2017-08-03 Shenzhen Huiding Technology Co., Ltd. Under-screen optical sensor module for on-screen fingerprint sensing
US20170147865A1 (en) * 2015-11-23 2017-05-25 Eric Dean Jensen Fingerprint reader
TW202032424A (zh) * 2018-12-07 2020-09-01 大陸商上海耕岩智能科技有限公司 指紋識別方法及裝置、儲存介質和終端

Also Published As

Publication number Publication date
WO2022125058A1 (en) 2022-06-16
TW202223611A (zh) 2022-06-16
EP4038522A1 (en) 2022-08-10
CN114916236A (zh) 2022-08-16
US20220398304A1 (en) 2022-12-15

Similar Documents

Publication Publication Date Title
US10824707B2 (en) Method and device for providing security content
TWI795930B (zh) 使用觸控輸入之基於指紋之鑑認
Jain et al. Exploring orientation and accelerometer sensor data for personal authentication in smartphones using touchscreen gestures
US9710630B2 (en) Electronic device and method of providing security using complex biometric information
EP2742412B1 (en) Manipulating layers of multi-layer applications
KR102554724B1 (ko) 이미지 내 객체를 식별하기 위한 방법 및 상기 방법을 실행하기 위한 모바일 디바이스
US10643667B2 (en) Bounding box doubling as redaction boundary
JP2017511912A5 (zh)
JP2018519600A (ja) テンプレート更新による指紋認証
US20160171192A1 (en) User authentication and data encryption
EP2336949B1 (en) Apparatus and method for registering plurality of facial images for face recognition
WO2017097057A1 (zh) 基于人物识别的相片加/解密方法及系统、移动终端
WO2017113407A1 (zh) 一种手势识别方法、装置及电子设备
JP5659777B2 (ja) 認証処理装置、認証処理方法、及びプログラム
WO2020253495A1 (zh) 一种屏幕锁定的控制方法、装置、手持终端以及存储介质
WO2022268023A1 (zh) 指纹识别方法、装置、电子设备和可读存储介质
CN111898561A (zh) 一种人脸认证方法、装置、设备及介质
Hossain et al. Incorporating deep learning into capacitive images for smartphone user authentication
Zahra et al. Camera-based interactive wall display using hand gesture recognition
JP2015018413A (ja) 携帯端末、画像表示方法、及びプログラム
WO2024041452A1 (zh) 指纹识别方法、装置、电子设备及可读存储介质
CN109543389B (zh) 一种信息保护方法和系统
Kiran et al. Biometric authentication: a holistic review
CN106778164B (zh) 指纹鉴权方法、系统及电子设备
JP2011087785A (ja) 操作処理装置、操作処理方法、および、操作処理プログラム