TWI762053B

TWI762053B - 屏下式指紋感測裝置

Info

Publication number: TWI762053B
Application number: TW109141947A
Authority: TW
Inventors: 林冠儀
Original assignee: 神盾股份有限公司
Priority date: 2020-06-05
Filing date: 2020-11-30
Publication date: 2022-04-21
Also published as: TW202147170A; WO2021243986A1; TWM608710U; CN112287903A

Abstract

一種屏下式指紋感測裝置，包括一影像感測器及一控制器。影像感測器配置於一顯示器下方，其中顯示器發出一照明光，照明光傳遞至按壓於顯示器上的一手指，手指將照明光反射成攜帶手指的指紋資訊的一訊號光，訊號光穿透顯示器而在影像感測器上形成一指紋影像。控制器電性連接至影像感測器，且用以處理影像感測器所感測到的指紋影像。控制器用以對指紋影像的兩個方向不同的軸線上的灰階值與一哈爾特徵作內積，並藉此判斷指紋影像是來自真手指或假手指。

Description

屏下式指紋感測裝置

本發明是有關於一種感測裝置，且特別是有關於一種指紋感測裝置。

隨著可攜式電子裝置朝向大屏占比發展，原本置於電子裝置正面的電容式指紋感測器便不再適用，而需改成置於電子裝置的側面或背面。然而，置於側面或背面的指紋感測器在使用上有不便利之處，因此屏下式指紋感測器便被發展出來。

屏下式指紋感測器大致上可分為光學式指紋感測器與超聲波式指紋感測器，其中又以光學式指紋感測器成本較低且較適合量產。由於指紋感測攸關使用者的個人資料的安全性，因此，尚需發展出反欺騙（anti-spoofing）的功能。例如，欲竊取個人資料的人可能可以在環境中採集使用者的指紋，並製作成具有此指紋的假手指，再用假手指按壓電子裝置以達成指紋成功辨識而解鎖。因此，需發展出能夠辨識出假手指而非真手指的指紋感測器，以進一步提升使用者的個人資料的安全性。

本發明提供一種屏下式指紋感測裝置，其可辨識出真手指與假手指。

本發明的一實施例提出一種屏下式指紋感測裝置，用以與一顯示器搭配，顯示器發出一照明光，照明光傳遞至按壓於顯示器上的一手指，手指將照明光反射成攜帶手指的指紋資訊的一訊號光。屏下式指紋感測裝置包括一影像感測器及一控制器。影像感測器配置於顯示器下方，其中訊號光穿透顯示器而在影像感測器上形成一指紋影像。控制器電性連接至影像感測器，處理影像感測器所感測到的指紋影像，對指紋影像的兩個方向不同的軸線上的灰階值與一哈爾特徵（Haar-like feature）作內積，並藉此判斷指紋影像是來自真手指或假手指。

本發明的一實施例提出一種屏下式指紋感測裝置，用以與一顯示器搭配，顯示器發出一照明光，照明光傳遞至按壓於顯示器上的一手指，手指將照明光反射成攜帶手指的指紋資訊的一訊號光。屏下式指紋感測裝置包括一影像感測器及一控制器。影像感測器配置於一顯示器下方，其中訊號光穿透顯示器而在影像感測器上形成一指紋影像。控制器電性連接至影像感測器，且用以處理影像感測器所感測到的指紋影像。控制器用以計算指紋影像的一中心區域的灰階平均值及在中心區域兩側的二周邊區域的各自的灰階平均值，並藉此判斷指紋影像是來自真手指或假手指。

本發明的一實施例提出一種屏下式指紋感測裝置，用以與一顯示器搭配，顯示器發出一照明光，照明光傳遞至按壓於顯示器上的一手指，手指將照明光反射成攜帶手指的指紋資訊的一訊號光。屏下式指紋感測裝置包括一影像感測器及一控制器。影像感測器配置於一顯示器下方，其中訊號光穿透顯示器而在影像感測器上形成一指紋影像。控制器電性連接至影像感測器，且用以處理影像感測器所感測到的指紋影像。控制器用以對指紋影像的兩個方向不同的軸線上的灰階值與一哈爾特徵作內積，以獲得一第一結果。控制器用以計算指紋影像的一中心區域的灰階平均值及在中心區域兩側的二周邊區域的各自的灰階平均值，以獲得一第二結果。控制器用以綜合第一結果與第二結果來判斷指紋影像是來自真手指或假手指。

在本發明的實施例的屏下式指紋感測裝置中，控制器對指紋影像的兩個方向不同的軸線上的灰階值與一哈爾特徵作內積，及/或計算指紋影像的中心區域的灰階平均值及在中心區域兩側的二個周邊區域的各自的灰階平均值，並藉此判斷指紋影像是來自真手指或假手指。因此，本發明的實施例的屏下式指紋感測裝置在指紋感測上可以達到防欺騙的效果，進而提升使用者的個人資料的安全性。

圖1為本發明的一實施例的電子裝置的剖面示意圖。請參照圖1，本實施例的電子裝置100包括一顯示器105及一屏下式指紋感測裝置200。電子裝置100例如為智慧型手機、平板電腦、筆記型電腦、個人數位助理（personal digital assistant, PDA）或其他適當的電子裝置。屏下式指紋感測裝置200用以與一顯示器105搭配，且包括一影像感測器210及一控制器230。影像感測器210配置於顯示器105下方。顯示器105發出一照明光60，照明光60傳遞至按壓於顯示器105上的一手指50，手指50將照明光60反射成攜帶手指的指紋資訊的一訊號光70。訊號光70穿透顯示器105而在影像感測器210上形成一指紋影像。如此一來，影像感測器210便能夠感測到手指50的指紋影像。控制器230電性連接至影像感測器210，且用以處理影像感測器210所感測到的指紋影像。

在本實施例中，顯示器105包括一玻璃蓋（cover glass）120、一線偏振片116、一相位延遲膜114及一有機發光二極體顯示面板112。手指按壓於玻璃蓋120上。線偏振片116配置於玻璃蓋120與影像感測器210之間。相位延遲膜114配置於線偏振片116與影像感測器210之間，其中相位延遲膜114例如為波片（wave plate），其可以是顯示器本身的材料所形成，或是額外加入的波片所形成。有機發光二極體顯示面板112配置於相位延遲膜114與影像感測器210之間。在其他實施例中，亦可以用液晶顯示面板、微發光二極體顯示面板、電泳顯示面板或其他適當的顯示面板來取代有機發光二極體顯示面板112。

在本實施例中，屏下式指紋感測裝置200更包括一鏡頭220，配置於訊號光70的路徑上，且位於顯示器105與影像感測器210之間。鏡頭220可包括一或多片透鏡，其可將訊號光70成像於影像感測器210上，以在影像感測器210上形成指紋影像。

具體而言，有機發光二極體顯示面板112發出的照明光60是不具有偏振性的，且當其穿透相位延遲膜114後，仍不具有偏振性。然而，當照明光60穿透線偏振片116後，會具有偏振方向K0，其中偏振方向K0可被分解成第一偏振方向K1與第二偏振方向K2兩個分量，如圖2A及圖2B所示，第一偏振方向K1為P偏振方向，而第二偏振方向K2為S偏振方向。換言之，具有偏振方向K0的照明光60可視為具有第一偏振方向K1的照明光62與具有第二偏振方向K2的照明光64所合成。

圖2A繪示圖1中具有P偏振方向的照明光被手指反射的情形，而圖2B繪示圖1中具有S偏振方向的照明光被手指反射的情形。請參照圖1、圖2A及圖2B，具有第一偏振方向K1的照明光62在玻璃蓋120中行進（如圖2A），並在玻璃蓋120的上表面122處被手指50部分反射成訊號光72，而另一部分的照明光82則在手指50中傳遞。另一方面，具有第二偏振方向K2的照明光64在玻璃蓋120中行進（如圖2B），並在玻璃蓋120的上表面122處被手指50部分反射成訊號光74，而另一部分的照明光84則在手指50中傳遞。其中，訊號光72與訊號光74合成訊號光70，而往影像感測器210的方向傳遞。

影像感測器210所感測到的訊號光72與訊號光74的光強度及其比例是有關於手指50與玻璃蓋120的折射率所造成的反射率。圖3為圖1的手指與玻璃蓋的界面對照明光的反射率及穿透率相對於入射此界面的入射角的分佈曲線，其中，R_p 為此界面對照明光62的反射率相對於入射角的分佈曲線，R_s 為此界面對照明光64的反射率相對於入射角的分佈曲線，T_p 為此界面對照明光62的穿透率相對於入射角的分佈曲線，而T_s 為此界面對照明光64的穿透率相對於入射角的分佈曲線。其中，T_p =1-R_p ，且T_s =1-R_s 。由圖3可知，在入射角較大處所對應的訊號光72（P偏振光）與訊號光74（S偏振光）的光強度差異越大。由於影像感測器210在越外圈處是收到越大入射角的照明光60所反射成的訊號光70，因此越外圈處所感測到的訊號光72（P偏振光）與訊號光74（S偏振光）的光強度差異越大。

圖4A為圖1的影像感測器所感測到的指紋影像與其所接收到的P偏振光與S偏振光的區域對照圖。請參照圖1、圖2A、圖2B及圖4A，圖4A中，P所在區域的影像亮度主要是由訊號光72（P偏振光）所貢獻，S所在區域的影像亮度主要是由訊號光74（S偏振光）所貢獻，而S+P所在區域的影像亮度主要是由訊號光72（P偏振光）與訊號光74（S偏振光）兩者所共同貢獻。P所在區域因為穿透光多，所以指紋影像的對比度較強；S所在區域因為穿透光少，所以指紋影像的對比度較弱；P所在區域因為反射光少，所以指紋影像的直流值（DC value）低，也就是平均亮度較低；S所在區域因為反射光多，所以指紋影像的直流值高，也就是平均亮度較高。

圖4B為圖1的影像感測器感測到假手指的指紋影像。圖5A為圖1的影像感測器所感測到的真手指的指紋影像於對角線M-N上的平均灰階分佈圖，而圖5B為圖1的影像感測器所感測到的假手指的指紋影像於對角線M-N上的平均灰階分佈圖。在圖5A與圖5B的對角線M-N上的某個畫素的平均灰階是藉由將此畫素附近的幾個畫素的灰階值與此畫素本身的灰階值取平均值而得。比較圖4A與圖4B，以及圖5A與圖5B，可發現真手指的指紋影像於中央的平均亮度較低，而對角線M-N上靠近兩端的平均亮度較高。相反地，假手指的指紋影像於中央的平均亮度較高，而對角線M-N上靠近兩端的平均亮度較低。會造成此種現象的主要原因之一是假手指的折射率與真手指有差異，因此會造成P偏振光與S偏振光的反射率不同，進而造成平均亮度在不同位置的分佈曲線的不同。因此，本發明的實施例便可對此現象加以利用，以產生辨識真手指與假手指的方案，這將於以下內容中詳述。

圖6為圖1中的控制器處理指紋影像的示意圖。請參照圖1與圖6，在本實施例中，控制器230用以對指紋影像的兩個方向不同的軸線L1與L2上的灰階值與一哈爾特徵作內積（inner product），以獲得一第一結果。具體而言，在本實施例中，控制器先對指紋影像作模糊化處理後，再對經模糊化的指紋影像的兩個方向不同的軸線L1與L2上的灰階值與哈爾特徵作內積。此處的模糊化例如是平均模糊化（mean blur）或高斯模糊化（Gaussian blur），例如將每個畫素的灰階值與此畫素的周圍的幾個畫素的灰階值取平均值，並以此平均值作為此畫素的新灰階值。

在本實施例中，哈爾特徵為中間區域C1具有一第一數值而兩側區域C2與C3具有一第二數值的函數，其中第一數值大於第二數值。舉例而言，第一數值為+1，而第二數值為-1。經模糊化後的指紋影像例如具有200×200個像素，而哈爾特徵從左端數來的第1到75個像素所各自具有的數值例如設為-1，第76至125個像素所各自具有的數值例如設為+1，而第126至第200個像素所各自具有的數值例如設為-1。經模糊化後的指紋影像的軸線L1上亦具有200個畫素，而每個畫素具有各自的灰階值，而此灰階值代表經模糊化後的指紋影像的亮度。接著，將軸線L1上的這200個畫素所具有的灰階值依序分別地與哈爾特徵的這200個像素的數值（即-1或+1）相乘，以得到200個積，而後再將這200個積相加，即可獲得上述經內積運算後所得到的數值。

然後，控制器230將分別對應於軸線L1與軸線L2的兩個內積值相加，以獲得一第一特徵值。比較圖5A、圖5B與圖6可知，軸線L1與L2上的灰階值經由與哈爾特徵作內積運算後，圖5A的真手指的內積值或第一特徵值越小，而圖5B的假手指的內積值或第一特徵值越大，因此所運算出的第一特徵值可用以分辨所感測的是真手指或假手指。

圖7為圖1中的控制器處理指紋影像的另一示意圖。請參照圖1與圖7，控制器230用以計算指紋影像的一中心區域D2的灰階平均值及在中心區域D2兩側的二周邊區域D1與D3的各自的灰階平均值，以獲得一第二結果。此外，控制器230用以綜合第一結果與第二結果來判斷指紋影像是來自真手指或假手指。

具體而言，中心區域D2的灰階平均值為R2，二周邊區域D1與D3的灰階平均值分別為R1與R3，控制器230用以對R1、R2、R3作算術運算，以獲得一第二特徵值。在本實施例中，中心區域D2與該二周邊區域D1與D3排列於指紋影像的一對角線上，而此對角線的方向可依據線偏振片116的穿透軸方向來作決定，也就是選擇真手指與假手指的第二特徵值的區別較大的方向作為此對角線的方向。在一實施例中，上述的算術運算例如為(R2-R1)+(R2-R3)，或者上述的算術運算例如為R2-R1-R3，在比較圖5A、圖5B及圖7可知，對於這兩種算數運算所獲得的第二特徵值而言，都是真手指的第二特徵值較小，而假手指的第二特徵值較大，因此所運算出的第二特徵值可用以分辨所感測的是真手指或假手指。

圖8為圖1中的控制器處理指紋影像的第一特徵值與第二特徵值的示意圖。請參照圖1與圖8，控制器230用以判斷第一特徵值與第二特徵值所形成的一二維座標（如在圖8的座標平面中的座標）是否落在一預設區域F1或F2內（例如是否落在預設區域F1的橢圓區域內，或是否落在預設區域F2的橢圓區域內），而預設區域F1、預設區域F2或其他區域的選擇可根據所實驗的真手指與假手指的案例來決定。若二維座標落在預設區域F1或F2內，則控制器230判斷指紋影像是來自真手指。若二維座標落在預設區域F1或F2外，則控制器230判斷指紋影像是來自假手指。如此一來，本實施例的屏下式指紋感測裝置100在指紋感測上便可以達到防欺騙的效果，進而提升使用者的個人資料的安全性。

上述實施例是以綜合第一特徵值與第二特徵值的結果來判斷出真手指與假手指。然而，在其他實施例中，也可以單就第一特徵值來判斷出真手指與假手指，或者是單就第二特徵值來判斷出真手指與假手指。舉例而言，控制器230可以只計算出第一特徵值，並判斷第一特徵值是否落在一預設範圍內。若第一特徵值落在預設範圍內，則判斷指紋影像是來自真手指；若第一特徵值落在預設範圍外，則判斷指紋影像是來自假手指。或者，控制器230可以只計算出第二特徵值，並判斷第二特徵值是否落在一預設範圍內。若第二特徵值落在預設範圍內，則判斷指紋影像是來自真手指；若第二特徵值落在預設範圍外，則判斷指紋影像是來自假手指。

在一實施例中，控制器230例如為中央處理單元（central processing unit, CPU)、微處理器（microprocessor）、數位訊號處理器（digital signal processor, DSP）、可程式化控制器、可程式化邏輯裝置（programmable logic device, PLD）或其他類似裝置或這些裝置的組合，本發明並不加以限制。此外，在一實施例中，控制器230的各功能可被實作為多個程式碼。這些程式碼會被儲存在一個記憶體中，由控制器230來執行這些程式碼。或者，在一實施例中，控制器230的各功能可被實作為一或多個電路。本發明並不限制用軟體或硬體的方式來實作控制器230的各功能。

綜上所述，在本發明的實施例的屏下式指紋感測裝置中，控制器對指紋影像的兩個方向不同的軸線上的灰階值與一哈爾特徵作內積，及/或計算指紋影像的中心區域的灰階平均值及在中心區域兩側的二個周邊區域的各自的灰階平均值，並藉此判斷指紋影像是來自真手指或假手指。因此，本發明的實施例的屏下式指紋感測裝置在指紋感測上可以達到防欺騙的效果，進而提升使用者的個人資料的安全性。

50:手指 60、62、64、82、84:照明光 70、72、74:訊號光 100:電子裝置 105:顯示器 112:有機發光二極體顯示面板 114:相位延遲膜 116:線偏振片 120:玻璃蓋 122:上表面 200:屏下式指紋感測裝置 210:影像感測器 220:鏡頭 230:控制器 C1:中間區域 C2、C3:兩側區域 D2:中心區域 D1、D3:周邊區域 F1、F2:預設區域 K0:偏振方向 K1:第一偏振方向 K2:第二偏振方向 L1、L2:軸線

圖1為本發明的一實施例的電子裝置的剖面示意圖。圖2A繪示圖1中具有P偏振方向的照明光被手指反射的情形。圖2B繪示圖1中具有S偏振方向的照明光被手指反射的情形。圖3為圖1的手指與玻璃蓋的界面對照明光的反射率及穿透率相對於入射此界面的入射角的分佈曲線。圖4A為圖1的影像感測器所感測到的指紋影像與其所接收到的P偏振光與S偏振光的區域對照圖。圖4B為圖1的影像感測器感測到假手指的指紋影像。圖5A為圖1的影像感測器所感測到的真手指的指紋影像於對角線M-N上的平均灰階分佈圖。圖5B為圖1的影像感測器所感測到的假手指的指紋影像於對角線M-N上的平均灰階分佈圖。圖6為圖1中的控制器處理指紋影像的示意圖。圖7為圖1中的控制器處理指紋影像的另一示意圖。圖8為圖1中的控制器處理指紋影像的第一特徵值與第二特徵值的示意圖。

50:手指

60:照明光

70:訊號光

100:電子裝置

105:顯示器

112:有機發光二極體顯示面板

114:相位延遲膜

116:線偏振片

120:玻璃蓋

122:上表面

200:屏下式指紋感測裝置

210:影像感測器

220:鏡頭

230:控制器

K0:偏振方向

Claims

一種屏下式指紋感測裝置，用以與一顯示器搭配，該顯示器發出一照明光，該照明光傳遞至按壓於該顯示器上的一手指，該手指將該照明光反射成攜帶該手指的指紋資訊的一訊號光，該屏下式指紋感測裝置包括：一影像感測器，配置於該顯示器下方，其中該訊號光穿透該顯示器而在該影像感測器上形成一指紋影像；以及一控制器，電性連接至該影像感測器，處理該影像感測器所感測到的指紋影像，對該指紋影像的兩個方向不同的軸線上的灰階值與一哈爾特徵作內積，並藉此判斷該指紋影像是來自真手指或假手指，其中該控制器先對該指紋影像作模糊化處理後，再對經模糊化的該指紋影像的兩個方向不同的軸線上的灰階值與該哈爾特徵作內積，該控制器將對應於兩個方向不同的軸線的兩個內積值相加，並判斷相加後的數值是否落在一預設範圍內，該控制器反應於該相加後的數值是落在該預設範圍內而判斷該指紋影像是來自真手指，且該控制器反應於該相加後的數值是落在該預設範圍外而判斷該指紋影像是來自假手指。
如請求項1所述的屏下式指紋感測裝置，其中該哈爾特徵為中間區域具有一第一數值而兩側區域具有一第二數值的函數，其中該第一數值大於該第二數值。
如請求項1所述的屏下式指紋感測裝置，其中該顯示器包括：一玻璃蓋，其中該手指按壓於該玻璃蓋上；一線偏振片，配置於該玻璃蓋與該影像感測器之間；一相位延遲膜，配置於該線偏振片與該影像感測器之間；以及一有機發光二極體顯示面板，配置於該相位延遲膜與該影像感測器之間。
如請求項1所述的屏下式指紋感測裝置，更包括一鏡頭，配置於該訊號光的路徑上，且位於該顯示器與該影像感測器之間。
一種屏下式指紋感測裝置，用以與一顯示器搭配，該顯示器發出一照明光，該照明光傳遞至按壓於該顯示器上的一手指，該手指將該照明光反射成攜帶該手指的指紋資訊的一訊號光，該屏下式指紋感測裝置包括：一影像感測器，配置於該顯示器下方，其中該訊號光穿透該顯示器而在該影像感測器上形成一指紋影像；以及一控制器，電性連接至該影像感測器，處理該影像感測器所感測到的指紋影像，計算該指紋影像的一中心區域的灰階平均值及在該中心區域兩側的二周邊區域的各自的灰階平均值，並藉此判斷該指紋影像是來自真手指或假手指，其中該中心區域的灰階平均值為R2，該二周邊區域的灰階平均值分別為R1與R3，該控制器用以對R1、R2、R3作算術運算，以獲得一特徵值，並判斷該特徵值是否落在一預設範圍內，該控制器反應於該特徵值是落在該預設範圍內而判斷該指紋影像是來自真手指，且該控制器反應於該特徵值是落在該預設範圍外而判斷該指紋影像是來自假手指。
如請求項5所述的屏下式指紋感測裝置，其中該中心區域與該二周邊區域排列於該指紋影像的一對角線上。
如請求項5所述的屏下式指紋感測裝置，其中該算術運算為(R2-R1)+(R2-R3)，或者該算術運算為R2-R1-R3。
如請求項5所述的屏下式指紋感測裝置，其中該顯示器包括：一玻璃蓋，其中該手指按壓於該玻璃蓋上；一線偏振片，配置於該玻璃蓋與該影像感測器之間；一相位延遲膜，配置於該線偏振片與該影像感測器之間；以及一有機發光二極體顯示面板，配置於該相位延遲膜與該影像感測器之間。
如請求項5所述的屏下式指紋感測裝置，更包括一鏡頭，配置於該訊號光的路徑上，且位於該顯示器與該影像感測器之間。
一種屏下式指紋感測裝置，用以與一顯示器搭配，該顯示器發出一照明光，該照明光傳遞至按壓於該顯示器上的一手指，該手指將該照明光反射成攜帶該手指的指紋資訊的一訊號光，該屏下式指紋感測裝置包括：一影像感測器，配置於該顯示器下方，其中該訊號光穿透該顯示器而在該影像感測器上形成一指紋影像；以及一控制器，電性連接至該影像感測器，處理該影像感測器所感測到的指紋影像，對該指紋影像的兩個方向不同的軸線上的灰階值與一哈爾特徵作內積，以獲得一第一結果，該控制器用以計算該指紋影像的一中心區域的灰階平均值及在該中心區域兩側的二周邊區域的各自的灰階平均值，以獲得一第二結果，且該控制器用以綜合該第一結果與該第二結果來判斷該指紋影像是來自真手指或假手指，其中該控制器用以先對該指紋影像作模糊化處理後，再對經模糊化的該指紋影像的兩個方向不同的軸線上的灰階值與該哈爾特徵作內積，該控制器將對應於兩個方向不同的軸線的兩個內積值相加，以獲得一第一特徵值，該中心區域的灰階平均值為R2，該二周邊區域的灰階平均值分別為R1與R3，該控制器用以對R1、R2、R3作算術運算，以獲得一第二特徵值，該控制器用以判斷該第一特徵值與該第二特徵值所形成的一二維座標是否落在一預設區域內，該控制器反應於該二維座標是落在該預設區域內而判斷該指紋影像是來自真手指，且該控制器反應於該二維座標是落在該預設區域外而判斷該指紋影像是來自假手指。
如請求項10所述的屏下式指紋感測裝置，其中該哈爾特徵為中間區域具有一第一數值而兩側區域具有一第二數值的函數，其中該第一數值大於該第二數值。
如請求項10所述的屏下式指紋感測裝置，其中該算術運算為(R2-R1)+(R2-R3)，或者該算術運算為R2-R1-R3。
如請求項10所述的屏下式指紋感測裝置，其中該中心區域與該二周邊區域排列於該指紋影像的一對角線上。
如請求項10所述的屏下式指紋感測裝置，其中該顯示器包括：一玻璃蓋，其中該手指按壓於該玻璃蓋上；一線偏振片，配置於該玻璃蓋與該影像感測器之間；一相位延遲膜，配置於該線偏振片與該影像感測器之間；以及一有機發光二極體顯示面板，配置於該相位延遲膜與該影像感測器之間。
如請求項10所述的屏下式指紋感測裝置，更包括一鏡頭，配置於該訊號光的路徑上，且位於該顯示器與該影像感測器之間。