TWI754806B

TWI754806B - 利用深度學習定位虹膜之裝置與方法

Info

Publication number: TWI754806B
Application number: TW108112339A
Authority: TW
Inventors: 栗永徽
Original assignee: 栗永徽
Priority date: 2019-04-09
Filing date: 2019-04-09
Publication date: 2022-02-11
Also published as: US20200327304A1; TW202038133A

Abstract

本發明以一發光單元、一影像擷取模組與一控制與處理模組組成一種利用深度學習快速定位虹膜之裝置。特別地，本發明於該控制與處理模組之中設置一眼睛圖像檢測單元、一虹膜內邊界估測單元與一虹膜外邊界估測單元。其中，該眼睛圖像檢測單元用以自一影像圖片之中檢測出一眼睛圖像候選區域，且該一虹膜內邊界估測單元用以於該眼睛圖像候選區域之中檢出一瞳孔區域，並於該瞳孔區域上標畫出一虹膜內邊界。進一步地，該虹膜外邊界估測單元用以對該眼睛圖像候選區域執行一虹膜外邊界估測處理，並於該眼睛圖像候選區域之上標畫出一虹膜外邊界。並且，實驗數據係證實本發明之裝置僅需花0.06秒即可在一張包含眼睛影像的圖片之中找出虹膜區域，且準確率高達95.49%。

Description

利用深度學習定位虹膜之裝置與方法

本發明係關於生物特徵辨識技術領域，尤指一種利用深度學習快速定位虹膜之裝置與方法。

生物辨識技術(Biometric identification)指的是利用人體的生理特徵與/或行為特徵來達到身份辨識之目的；其中，生理特徵包括：指紋、掌紋、靜脈分佈、虹膜、視網膜、與臉部特徵，而行為特徵則包括：聲紋與簽名。就錯誤接收率(False acceptance rate)與錯誤拒絕率(False rejection rate)方面來看，虹膜辨識會是最理想的生物辨識方式，原因在於虹膜紋理是由獨立的生物個體所攜帶、具獨特性、不會遺失、且難以複製。即使是一對雙胞胎，其仍為兩個獨立的生物個體，是以其虹膜紋理也不會相同。另一方面，相較於臉部具有80個特徵點以及指紋具有20-40個特徵點，具有多達244個的虹膜，其應用於生物特徵辨識之上必然顯示出最高的生物辨識準確性及最安全性。

美國專利公開號US2015/0131051A1揭示一種虹膜辨識裝置及方法。圖1即顯示習知的虹膜辨識裝置的架構圖。如圖1所示，習知技術係於一電子裝置1’之中內安裝有一虹膜辨識軟體，用以控制該電子裝置1’所具有的一發光單元11’提供一紅外光至一生物個體的眼睛2’；接著，該虹膜辨識軟體又控制該電子裝置1’所具有的一影像擷取模組12’進行眼睛2’的影像之擷取。如圖1的虛線方框所示，眼睛2’的虹膜21’在紅外光的照射下會顯示至少一亮點G’，且線透過辨識該亮點G’的方式定義一檢視區域M’。最終，虹膜辨識軟體將該檢視區域M’與其鄰近區域進行一灰度值比對處理，之後便能找出瞳孔22’位置。

習知的虹膜辨識方法並無法快速、有效率地藉由檢測虹膜21’所在區域的方式來定位瞳孔22’。在多數的情況下，虹膜21’的外邊界會受到眼睫毛23’、眼瞼24’與反光點的遮擋，此時虹膜辨識軟體根本難以快速地辨識其偵測到的亮點是由虹膜21’反射而出的，抑或根本是雜訊反光點。

由上述說明可知，現有的虹膜辨識方法與裝置仍存在著很大的改善空間。有鑑於此，本案之發明人係極力加以研究創作，而終於研發完成本發明之一種利用深度學習快速定位虹膜之裝置與方法。

本發明之主要目的在於提出一種利用深度學習快速定位虹膜之裝置與方法；其中，本發明以一發光單元、一影像擷取模組與一控制與處理模組組成所述利用深度學習快速定位虹膜之裝置。特別地，本發明於該控制與處理模組之中設置一眼睛圖像檢測單元、一虹膜內邊界估測單元與一虹膜外邊界估測單元。其中，該眼睛圖像檢測單元用以自一影像圖片之中檢測出一眼睛圖像候選區域，且該一虹膜內邊界估測單元用以於該眼睛圖像候選區域之中檢出一瞳孔區域，並於該瞳孔區域上標畫出一虹膜內邊界。進一步地，該虹膜外邊界估測單元用以對該眼睛圖像候選區域執行一虹膜外邊界估測處理，並於該眼睛圖像候選區域之上標畫出一虹膜外邊界。並且，實驗數據係證實本發明之裝置僅需花0.06秒即可在一張包含眼睛影像的圖片之中找出虹膜區域，且準確率高達95.49%。

為達成上述目的，一種利用深度學習快速定位虹膜之裝置，其包括：至少一發光單元，用以發出一紅外光以照射至少一眼睛；至少一影像擷取模組，用以在該至少一眼睛受到該紅外光照射的情況下對該眼睛執行一影像擷取處理；以及一控制與處理模組，電性連接至該至少一發光單元與該至少一影像擷取模組，用以接收該至少一影像擷取模組所輸出的至少一影像幀，並包括：一眼睛圖像檢測單元，用以自該影像幀之中檢測出一眼睛圖像候選區域；一虹膜內邊界估測單元，耦接該圖像眼睛檢測單元，用以對該眼睛圖像候選區域執行一虹膜內邊界估測處理，藉此決定一虹膜內邊界；以及一虹膜外邊界估測單元，耦接該虹膜內邊界估測單元，用以接著對該眼睛圖像候選區域執行一虹膜外邊界估測處理，藉此決定一虹膜外邊界。

同時，本發明進一步提出一種利用深度學習快速定位虹膜之方法，其包括以下步驟：(1)以至少一發光單元發出一紅外光以照射至少一眼睛；(2)令至少一影像擷取模組在該至少一眼睛受到該紅外光照射的情況下對該眼睛執行一影像擷取處理；(3)提供包括一眼睛圖像檢測單元、一虹膜內邊界估測單元與一虹膜外邊界估測單元的一控制與處理模組，並令該控制與處理模組自該至少一影像擷取模組所輸出的至少一影像幀；(4)以該眼睛圖像檢測單元自該影像幀之中檢測出一眼睛圖像候選區域；(5)以該虹膜內邊界估測單元對該眼睛圖像候選區域執行一虹膜內邊界估測處理，以決定一虹膜內邊界；以及(6)以該虹膜外邊界估測單元對該眼睛圖像候選區域執行一虹膜外邊界估測處理，以決定一虹膜外邊界。

<本發明>

1:利用深度學習快速定位虹膜之裝置

2:眼睛

11:發光單元

12:影像擷取模組

13:控制與處理模組

130:核心控制單元

131:眼睛圖像檢測單元

132:虹膜內邊界估測單元

133:虹膜外邊界估測單元

S1-S6:方法步驟

134:資料儲存單元

1311:機器學習分類器

1312:概率模型應用器

1321:影像平滑化單元

1322:虹膜內邊界建立單元

1331:徑向路徑產生單元

1332:像素強度紀錄單元

1333:虹膜外邊界建立單元

<習知>

1’:電子裝置

11’:發光單元

12’:影像擷取模組

2’:眼睛

21’:觸控感測單元

22’:瞳孔

23’:眼睫毛

24’:眼瞼

25’:驅動單元

G’:亮點

M’:檢視區域

圖1顯示習知的虹膜辨識裝置的架構圖；圖2顯示本發明之一種利用深度學習快速定位虹膜之裝置的架構圖；圖3顯示本發明之利用深度學習快速定位虹膜之裝置的功能方塊圖；圖4顯示本發明之利用深度學習快速定位虹膜之方法的流程圖；圖5顯示眼睛圖像檢測單元、虹膜內邊界估測單元與虹膜外邊界估測單元的內部架構圖；圖6顯示複數張圖片；圖7顯示虹膜內邊界之標畫過程示意圖；以及圖8顯示虹膜外邊界之標畫過程示意圖。

為使貴審查委員能進一步瞭解本發明之結構、特徵、目的、與其優點，茲附以圖式及較佳具體實施例之詳細說明如後。

圖2顯示本發明之一種利用深度學習快速定位虹膜之裝置的架構圖。如圖2所示，本發明之利用深度學習快速定位虹膜之裝置1主要包括：至少一發光單元11、至少一影像擷取模組12與一控制與處理模組13。圖3顯示本發明之利用深度學習快速定位虹膜之裝置的功能方塊圖。由圖3可知，所述控制與處理模組13內部設有一核心控制單元130、一眼睛圖像檢測單元131、一虹膜內邊界估測單元132、與一虹膜外邊界估測單元133。熟悉影像處理技術的軟體/韌體工程師應當知道，所述核心控制單元130、眼睛圖像檢測單元131、虹膜內邊界估測單元132、與虹膜外邊界估測單元133通常是以韌體、函式庫、變數、或運算元的形式被建立於該控制與處理模組13之中。由此可知，雖然圖2以筆記型電腦的形樣表示該控制與處理模組13，但該控制與處理模組13在實務應用上也可以是智慧眼鏡、智慧手錶、虛擬實境穿戴裝置、門口機、智慧型電子鎖、智慧型手機、平板電腦、桌上型電腦、或一體式電腦。

此外，本發明同時提供一種利用深度學習快速定位虹膜之方法，其係應用於該控制與處理模組13之中。圖4即顯示本發明之利用深度學習快速定位虹膜之方法的流程圖。請同時參閱圖2、圖3與圖4，本發明所述之利用深度學習快速定位虹膜之方法，其係於流程上首先執行步驟S1與步驟S2：以至少一發光單元11發出一紅外光以照射至少一眼睛2，並令至少一影像擷取模組12在該至少一眼睛2受到該紅外光照射的情況下對該眼睛2執行一影像擷取處理。特別說明的是，本發明係將控制與處理模組13電性連接至該至少一發光單元11與該至少一影像擷取模組12；因此，該步驟S1與該步驟S2係由該控制與處理模組13控制所述發光單元11與所述影像擷取模組12予以完成。

於該步驟S3之中，係提供包括眼睛圖像檢測單元131、虹膜內邊界估測單元132與虹膜外邊界估測單元133的控制與處理模組13，並令該控制與處理模組13自該至少一影像擷取模組12所輸出的至少一影像幀。由於眼睛圖像檢測單元131、虹膜內邊界估測單元132、與虹膜外邊界估測單元133是嵌於控制與處理模組13之中，因此這三組單元皆由核心控制單元130整合其運作。由此可知，所述核心控制單元130可以是控制與處理模組13內部的主處理器晶片、繪圖晶片、或者額外加入的場可程式化邏輯閘陣列(Field Programmable Gate Array,FPGA)晶片。當然，於該控制與處理模組13之中也會配置有供程式運行使用的資料儲存單元134。

接收該至少一影像幀之後，方法流程便接著執行步驟S4：以該眼睛圖像檢測單元131自該影像幀之中檢測出一眼睛圖像候選區域。請再同時參閱圖5，其顯示眼睛圖像檢測單元、虹膜內邊界估測單元與虹膜外邊界估測單元的內部架構圖。如圖3、圖4與圖5所示，本發明特別設計令該眼睛圖像檢測單元131包括一機器學習分類器1311與一概率模型應用器1312；其中，該機器學習分類器1311係用以利用一機器學習(machine learning)演算法自該影像幀之中檢測出一眼睛圖像候選區域。所述卷積神經網路演算法可為下列任一者：全卷積網路演算法(Fully convolutional neural network,FCN)、基於區域的卷積網路演算法(Region-based convolutional neural network,R-CNN)、快速的基於區域的卷積網路演算法(Fast region-based convolutional neural network,fast R-CNN)、或更加快速的基於區域的卷積網路演算法(Faster region-based convolutional neural network,faster R-CNN)、使用遮罩的基於區域的卷積網路演算法(Mask R-CNN)、即時物體檢測演算法YOLOv1、物體檢測演算法YOLOv2、物體檢測演算法YOLOv3、即時物體檢測框架演算法(Single-shot multiBox detector,SSD)。其中，YOLO(You Only Look Once)是一種即時物體檢測法，在2016年被提出，為能夠與RCNN系列並駕齊驅的演算法。

舉例而言，吾人可以基於faster R-CNN設計出六層結構的卷積神經網路，且第一層使用64個大小為5×5×1的卷積核(convolution kernel)對灰階輸入圖像(亦即，影像幀)進行步距為1的像素採樣處理。其中，5×5表示為分辨率，且1表示為單通道。接著，對輸出圖片執行線性整流(Linear rectification)與局部響應正規化(Local response normalization)處理。正規化後的輸出值會作為最大池化單元的輸入，進而以大小為2×2的池化核(Pooling kernel)對輸入值進行步距為2的最大池化處理。另一方面，第二層、第三層、與第四層係依序地使用64個大小為3×3×64的卷積核對第一層輸出的圖片進行卷積處理。之後，輸出圖片再被送至第五層，以接著進行RoI池化處理，進而於特徵圖之中取出維度為1024的特徵向量，最後將輸出值再送入第六層的全連接層(Fully connected layer)。

簡單地說，執行該步驟S4時，該眼睛圖像檢測單元131會先啟用其內部的一機器學習分類器1311，進以利用一卷積神經網路(Convolutional neural network,CNN)演算法自該影像幀之中檢測出一眼睛圖像候選區域。接著，該眼睛圖像檢測單元131會繼續啟用其內部的一概率模型應用器1312，進以使用一高斯機率密度函數(Gaussian mixture model,GMM)對該眼睛圖像候選區域進行像素級的一瞳孔區域預測處理，進而於該眼睛圖像候選區之上檢測出一瞳孔候選區域。在某些特殊情況下，概率模型應用器1312自圖片中檢出的瞳孔候選區域可能會同時包含瞳孔、睫毛、眼瞼、與雜訊點。為了正確地檢測出圖片中的瞳孔區域(亦即，虹膜內邊界)，如圖3、圖4與圖5所示，本發明之方法接著執行步驟S5：以該虹膜內邊界估測單元132對該眼睛圖像候選區域執行一虹膜內邊界估測處理。

執行步驟S5之時，該虹膜內邊界估測單元132會先啟用其內部的一影像平滑化單元1321，以依序地對由該概率模型應用器1312所輸出的瞳孔候選區域執行一群集分析處理、一空白區塊填補處理、與一形態學開運算(morphological opening operator)處理，而後獲得一瞳孔區域。其中，該群集分析處理係藉由使用K-近鄰演算法而完成，且該形態學開運算處理是利用大小為4的結構化方形元素對整個該瞳孔候選區域執行形態學開運算而完成。圖6係顯示複數張圖片；其中，圖6的(a)行包含3張圖片，為機器學習分類器1311所檢出的眼睛圖像候選區域的輸出圖片。並且，以概率模型應用器1312對前述眼睛圖像候選區域進行像素級的瞳孔區域預測處理之後，透過圖6的(b)行所包含的3張圖片可以發現，部分的瞳孔候選區域可能會同時包含瞳孔、睫毛、眼瞼。因此，利用影像平滑化單元1321依序地對該瞳孔候選區域執行群集分析處理、空白區塊填補處理、與形態學開運算處理後，透過圖6的(c)行所包含的3張圖片可以清楚知道，每張眼睛圖像候選區域之中的一瞳孔候選區域皆被精準地確認為一瞳孔區域。

圖7顯示虹膜內邊界之標畫過程示意圖。如圖7的(a)圖所示，當瞳孔區域被擬定後，其區域中心點可由簡單數學運算求得。接著，如圖7的(b)圖所示，在瞳孔區域的中心處沿水平與垂直方向上查尋像素值，記錄下左邊界點、右邊界點及下邊界點這3點像素值。必須注意的是，由於上邊界點有很大的機率被上眼瞼所遮擋，故在執行像素值之時並不紀錄上邊界點。因此，如圖7的(c)圖所示，可在上邊界點到中心點的距離的一半處再執行一次水平方向上的像素查尋，這次查尋可以記錄下兩個邊界點。

如此，總共於瞳孔區域上收集到五個虹膜內邊界點(亦即，總N=5)，且每個虹膜內邊界點將以其座標標記為(xi,yi)。接著，該虹膜內邊界估測單元132接著啟用其內部的一虹膜內邊界建立單元1322，進以依據該瞳孔區域計算出一畫圓參數，並基於該畫圓參數而在該瞳孔區域之上標畫出一虹膜內邊界。所述畫圓參數係利用下式(1)計算而得。

完成步驟S5之後，如圖3、圖4與圖5所示，本發明之方法接著執行步驟S6：以該虹膜外邊界估測單元133對該眼睛圖像執行一虹膜外邊界估測處理。圖8即顯示虹膜外邊界之標畫過程示意圖。如圖8的(a)圖至(e)圖所示，該虹膜外邊界估測單元133先啟用其內部的一徑向路徑產生單元1331，進以於該虹膜內邊界與該瞳孔區域之上標畫出複數條徑向路徑(Radial path)；其中，各條徑向路徑皆起始於該虹膜內邊界並終止與於該眼睛圖像候選區之上的一鞏膜區域。接著，如圖8的(e)圖所示，該虹膜外邊界估測單元133啟用其內部的一像素強度紀錄單元1332，進以沿著每一條徑向路徑紀錄所有像素值，並於每一條徑向路徑之上各挑出一最大像素梯度(Maximization of the intensity gradient)點。最後，如圖8的(f)圖所示，該虹膜外邊界估測單元133啟用其內部的一虹膜外邊界建立單元1333，進以在由複數個所述最大像素梯度點所組成的一邊界點集合中選出至少一錯誤點，並以至少一參考點取代該至少一錯誤點，最終獲得複數個虹膜外邊界，並基於該複數個虹膜外邊界在該瞳孔區域之上標畫出一虹膜外邊界。

如此，上述係已完整且清楚地說明本發明之利用深度學習快速定位虹膜之裝置與方法；並且，經由上述可得知本發明係具有下列之優點：

(1)本發明以一發光單元11、一影像擷取模組12與一控制與處理模組13組成一種利用深度學習快速定位虹膜之裝置1。特別地，本發明於該控制與處理模組13之中設置一眼睛圖像檢測單元131、一虹膜內邊界估測單元132與一虹膜外邊界估測單元133；其中，該眼睛圖像檢測單元131用以自一影像圖片之中檢測出一眼睛圖像候選區域，且該一虹膜內邊界估測單元132用以於該眼睛圖像候選區域之中檢出一瞳孔區域，並於該瞳孔區域上標畫出一虹膜內邊界。進一步地，該虹膜外邊界估測單元133用以對該眼睛圖像候選區域執行一虹膜外邊界估測處理，並於該眼睛圖像候選區域之上標畫出一虹膜外邊界。並且，實驗數據證實，本發明之裝置僅需花0.06秒即可在一張包含眼睛影像的圖片之中找出虹膜區域，且準確率高達95.49%。

必須加以強調的是，前述本案所揭示者乃為較佳實施例，舉凡局部之變更或修飾而源於本案之技術思想而為熟習該項技藝之人所易於推知者，俱不脫本案之專利權範疇。

綜上所陳，本案無論目的、手段與功效，皆顯示其迥異於習知技術，且其首先發明合於實用，確實符合發明之專利要件，懇請貴審查委員明察，並早日賜予專利俾嘉惠社會，是為至禱。