JP4617121B2 - Personal authentication device and personal authentication method - Google Patents
Personal authentication device and personal authentication method Download PDFInfo
- Publication number
- JP4617121B2 JP4617121B2 JP2004254706A JP2004254706A JP4617121B2 JP 4617121 B2 JP4617121 B2 JP 4617121B2 JP 2004254706 A JP2004254706 A JP 2004254706A JP 2004254706 A JP2004254706 A JP 2004254706A JP 4617121 B2 JP4617121 B2 JP 4617121B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- pixels
- frames
- total number
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Collating Specific Patterns (AREA)
Description
本発明は、個人認証装置及び個人認証方法にかかり、特に、個人の眼の瞬きを利用して個人照合を行なことで個人認証を行なう個人認証装置及び個人認証方法に関する。 The present invention relates to a personal authentication device and a personal authentication method, and more particularly, to a personal authentication device and a personal authentication method for performing personal authentication by performing personal collation using the blink of an individual's eyes.
近年、バイオメトリクスは、生物学的な特徴に基づく個人性、及び行動学的な特徴に基づいて個人を照合し、個人の正当性、すなわち認証を行なう本人認証（個人認証）に用いられつつある。このバイオメトリクスでは、指紋、虹彩、声紋、口唇の動き等の生体情報が用いられる。指紋、虹彩に代表される静的生体情報による個人認証は、高精度である一方、その脅威耐性に関しては問題がある。すなわち、虹彩は市販の特殊用紙にプリントアウトするだけで認証でき、指紋は食用グミで作成された人工指で容易に認証され、声紋は録音された音声で、口唇の動きは模写によって認証に対応することが可能である。 In recent years, biometrics is being used for personal authentication (personal authentication) that verifies an individual by verifying the individuality based on personality based on biological characteristics and behavioral characteristics. . In the biometrics, biological information such as fingerprints, irises, voiceprints, and lip movements is used. Personal authentication using static biometric information represented by fingerprints and irises is highly accurate, but there is a problem with respect to threat resistance. In other words, the iris can be authenticated by simply print out the commercially available special paper, a fingerprint is easily authenticated by artificial finger that was created in edible gummy, voice voiceprint that was recorded, the movement of the lips for authentication by replication It is possible to respond.
一方、動的生体情報による個人認証は、静的生体情報による個人認証に比べて精度は劣るものの、その受容性、及び脅威耐性については静的生体情報による個人認証より優れている。したがって、静的生体情報と動的生体情報を複合的に個人認証に用いることで、バイオメトリクスの信頼度を高めることができる。 On the other hand, personal authentication based on dynamic biometric information is inferior in accuracy to personal authentication based on static biometric information, but its acceptability and threat resistance are superior to those based on static biometric information. Therefore, the reliability of biometrics can be increased by using static biometric information and dynamic biometric information in combination for personal authentication.
また、眼の瞬きを用いた認証技術として、瞬きによって暗証データを入力することで個人認証を行なうことが提案されている（特許文献１）。
しかしながら、従来技術では単に暗証データを用いた個人認証であって、動的生体情報による個人認証ではないため、暗証データの流出には対応することができない、という問題がある。 However, in the conventional technique, personal authentication using only personal identification data is not personal authentication based on dynamic biometric information. Therefore, there is a problem that it is not possible to cope with the leakage of personal identification data.
本発明は、動的生体情報の中でも模写が極めて困難である眼の瞬き動作に着目し、瞬きに関連する特徴量を抽出して個人の照合を行い、個人認証することができる個人認証装置及び個人認証方法を提供することを目的とする。 The present invention focuses on the blinking operation of the eye that is extremely difficult to replicate among dynamic biometric information, extracts a feature amount related to blinking, performs individual verification, and can perform personal authentication and The purpose is to provide a personal authentication method.
人間は一日に約２万回の瞬きをしているが、瞬きを常時意識的に行なっている者はいない。また、自分がどのように瞬きをしているかは、特別な機械を用いなければ観測できない。これらのことから、個人照合に瞬きを用いた個人認証は、指紋や虹彩などの静的生体情報による個人認証より、脅威耐性が高いということができる。 Humans blink about 20,000 times a day, but no one is always consciously blinking. Also, how you are blinking cannot be observed without using a special machine. From these facts, it can be said that personal authentication using blink for personal verification has higher threat resistance than personal authentication using static biometric information such as fingerprints and irises.
本発明は、上記の点に着目して成されたもので、本発明の個人認証装置は、認証対象者が瞬きを行なったときの顔を所定フレームレートで撮影して複数フレーム画像からなる動画情報を出力する撮影手段と、前記動画情報に基づいて、各フレーム画像において黒眼領域の画像及び白眼領域の画像の何れか一方を、瞬きに関連する特徴画像として抽出する特徴画像抽出手段と、抽出された前記特徴画像に基づいて、閉眼動作画像のフレームが第１の個数で開眼動作画像のフレームが第２の個数となるようにフレーム数を正規化する正規化手段と、前記正規化手段で正規化されたフレーム数の特徴画像からなる入力画像と予め求められた認証対象者の瞬き時の各フレーム画像から得られる、前記正規化手段で正規化されたフレーム数の前記特徴画像からなるテンプレート画像とを比較し、各フレーム毎に算出される前記入力画像の総画素数と前記テンプレート画像の総画素数との絶対差分値の和を、類似度として演算し、この類似度が予め設定した所定値を超えたか否かに基づいて認証対象者が正当な利用者であるか否かを判定する判定手段と、を含んで構成したものである。 The present invention has been made paying attention to the above points, and the personal authentication device of the present invention captures a face when the person to be authenticated blinks at a predetermined frame rate, and is a moving image composed of a plurality of frame images. Photographing means for outputting information; and feature image extraction means for extracting one of a black eye region image and a white eye region image as a feature image related to blinking in each frame image based on the moving image information; Normalization means for normalizing the number of frames based on the extracted feature images so that the number of closed eye movement image frames is the first number and the number of open eye movement image frames is the second number; and the normalization means in obtained from the normalized consisting number of feature image frame input image previously obtained the object's of each frame image at the time of blinking, the feature image of the number of frames that have been normalized by the normalization means Comparing the template image consisting of the sum of the absolute difference between the total number of pixels of the total pixel number and the template image of the input image to be calculated for each frame, calculated as the similarity, the similarity Determining means for determining whether or not the person to be authenticated is a legitimate user based on whether or not a predetermined value set in advance is exceeded .
また、本発明の個人認証方法は、認証対象者が瞬きを行なったときの顔を所定フレームレートで撮影して得られる複数フレーム画像からなる動画情報に基づいて、各フレーム画像において黒眼領域の画像及び白眼領域の画像の何れか一方を、瞬きに関連する特徴画像として抽出し、抽出された前記特徴画像に基づいて、閉眼動作画像のフレームが第１の個数で開眼動作画像のフレームが第２の個数となるようにフレーム数を正規化し、前記正規化されたフレーム数の特徴画像からなる入力画像と予め求められた認証対象者の瞬き時の各フレーム画像から得られる、前記正規化されたフレーム数の前記特徴画像からなるテンプレート画像とを比較し、各フレーム毎に算出される前記入力画像の総画素数と前記テンプレート画像の総画素数との絶対差分値の和を、類似度として演算し、この類似度が予め設定した所定値を超えたか否かに基づいて認証対象者が正当な利用者であるか否かを判定することを特徴とする。 Further, the personal authentication method of the present invention is based on moving image information composed of a plurality of frame images obtained by photographing the face when the person to be authenticated blinks at a predetermined frame rate, in each frame image , One of the image and the image of the white-eye region is extracted as a feature image related to blinking. Based on the extracted feature image, the first number of frames of the eye-opening operation image and the frame of the eye-opening operation image are the first. The number of frames is normalized so that the number is equal to 2, and the normalized image is obtained from an input image composed of feature images of the normalized number of frames and each frame image obtained when the authentication subject blinks in advance. comparing the template image consisting of the number of the feature image frame, absolute and total number of pixels of the total pixel number and the template image of the input image to be calculated for each frame The sum of the difference value, calculated as the similarity, and judging whether the authentication target person based on whether or not exceeds a predetermined value the degree of similarity is previously set is a valid user .
本発明では、認証対象者が瞬きを行なったときの顔を所定フレームレートで撮影して得られた複数フレーム画像からなる動画情報に基づいて、各フレーム画像において黒眼領域の画像及び白眼領域の画像の何れか一方を、瞬きに関連する特徴画像として抽出する。撮影位置から認証対象者までの距離等の撮影状態によって、撮影時の動画情報のフレーム数が異なることがあるため、閉眼動作画像のフレームが第１の個数で開眼動作画像のフレームが第２の個数となるように、フレーム数を正規化する。 In the present invention, based on moving image information composed of a plurality of frame images obtained by photographing the face when the person to be authenticated blinks at a predetermined frame rate, the image of the black eye region and the image of the white eye region in each frame image . One of the images is extracted as a feature image related to blinking. Since the number of frames of moving image information at the time of shooting may differ depending on the shooting state such as the distance from the shooting position to the person to be authenticated, the first number of closed eye movement image frames and the second opening eye movement image frame are the second number. The number of frames is normalized so as to be the number.
そして、正規化されたフレーム数の特徴画像からなる入力画像と予め求められた認証対象者の瞬き時の各フレーム画像から得られる、正規化されたフレーム数の特徴画像からなるテンプレート画像とを比較し、各フレーム毎に算出される入力画像の総画素数とテンプレート画像の総画素数との絶対差分値の和を、類似度として演算し、類似度に基づいた照合を行い、照合結果に基づいて認証対象者が正当な利用者であるか否かを判定する。 Then, the input image composed of the feature image having the normalized number of frames is compared with the template image composed of the feature image having the normalized number of frames obtained from each frame image obtained when the authentication subject blinks in advance. and the sum of the absolute difference between the total number of pixels of the total pixel number and the template image of the input image is calculated for each frame, calculated as the similarity, performs collation based on the similarity, based on the comparison result To determine whether or not the person to be authenticated is a valid user.
本発明によれば、瞬きに関連する特徴画像を抽出して個人の照合を行い、照合結果に基づいて個人認証を行なっているため、受容性、及び脅威耐性に優れた個人認証を行なうことができる。 According to the present invention, since feature images related to blinking are extracted and individuals are collated, and personal authentication is performed based on the collation results, personal authentication with excellent acceptability and threat resistance can be performed. it can.
以上説明したように本発明の個人認証装置及び個人認証方法によれば、瞬きに関連する特徴画像を抽出して個人の照合を行い、照合結果に基づいて個人認証を行なっているため、受容性、及び脅威耐性に優れた個人認証を行なうことができる、という効果が得られる。 As described above, according to the personal authentication device and the personal authentication method of the present invention, since feature images related to blinking are extracted and personal verification is performed, and personal verification is performed based on the verification result, acceptability , and can be performed better personal authentication threat resistant, Ru effect is obtained that.
以下、図面を参照して本発明の実施の形態を詳細に説明する。本実施の形態は、特徴画像として黒眼領域の画像（以下、単に黒眼領域という）を抽出し、複数回の瞬きを撮影して得られた黒眼領域の総画素数から演算されたテンプレートデータ（総画素数の平均値）と、認証対象者が瞬きを行なったときに得られた黒眼領域の総画素数とを用いて類似度を演算し、演算した類似度を用いて認証対象者を認証するようにしたものである。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In this embodiment, a template calculated from the total number of pixels of a black eye region obtained by extracting a black eye region image (hereinafter simply referred to as a black eye region) as a feature image and photographing a plurality of blinks. The similarity is calculated using the data (average value of the total number of pixels) and the total number of pixels in the black eye area obtained when the person to be authenticated blinks, and the authentication target is calculated using the calculated similarity. The person is authenticated.
本実施の形態の個人認証装置は、図１に示すように、認証対象者が瞬きを行なったときの顔を所定フレームレートで撮影して複数フレーム画像からなる動画情報を出力する高速カメラ１０、認証対象者の顔を照明するハロゲンランプ等で構成された照明装置１２、高速カメラで撮影された動画情報に基づいて、個人照合を行ない、照合結果に基づいて個人認証を行なうパーソナルコンピュータ１４から構成されている。 As shown in FIG. 1, the personal authentication device of the present embodiment is a high-speed camera 10 that captures a face when the person to be authenticated blinks at a predetermined frame rate and outputs moving image information including a plurality of frame images. An illumination device 12 configured with a halogen lamp or the like that illuminates the face of the person to be authenticated, and a personal computer 14 that performs personal verification based on moving image information captured by a high-speed camera and performs personal authentication based on the verification result. Has been.
高速カメラとしては、 ＶＦＣ‐１０００ＳＢ （朋栄社製、商品名；最大１０００ｆｐｓ）を使用することができる。 As a high-speed camera, VFC-1000SB (manufactured by Koeisha, trade name; maximum 1000 fps) can be used.
次に、図２及び図３を参照して、テンプレートデータの作成ルーチン及びパーソナルコンピュータで実行される個人認証ルーチンについて説明する。まず、図２を参照してテンプレートデータの作成ルーチンについて説明する。 Next, a template data creation routine and a personal authentication routine executed by the personal computer will be described with reference to FIGS. First, a template data creation routine will be described with reference to FIG.
ステップ１００では照明装置１２を点灯させて瞬きを行なっている認証対象者の顔を照明し、カメラを用いて所定フレームレート（例えば、５００ｆｐｓ）で認証対象者の顔を撮影する。これにより、所定フレーム数からなる動画情報が得られる。本実施の形態では、照明装置として点光源を用いているため、図４の特定フレームの原画像に示すように各フレームの黒眼領域内に照明装置の光源部分が反射点光源として撮影される。この光源からの光の反射により、瞳部分が明るくその周辺が暗くなった画像が得られる。 In step 100, the lighting device 12 is turned on to illuminate the face of the person to be authenticated who is blinking, and the face of the person to be authenticated is photographed using a camera at a predetermined frame rate (for example, 500 fps). Thereby, moving image information consisting of a predetermined number of frames is obtained. In this embodiment, since the point light source is used as the illumination device, the light source portion of the illumination device is photographed as the reflection point light source in the black eye area of each frame as shown in the original image of the specific frame in FIG. . Due to the reflection of light from the light source, an image in which the pupil portion is bright and the periphery thereof is dark is obtained.
ステップ１０２では、反射点光源の位置を眼の中心とみなし、ロバーツオペレータを用いたエッジ検出を行なうことで図５に示す画像のように、例えば７０×６０ピクセルサイズの領域を切り出す。これによって、黒眼領域を含む黒眼近傍領域の画像を切り出すことができる。 In step 102, the position of the reflection point light source is regarded as the center of the eye, and edge detection using a Roberts operator is performed to cut out a region of, for example, 70 × 60 pixel size as shown in FIG. As a result, it is possible to cut out an image of a region near the black eye including the black eye region.
次のステップ１０４では、２値化処理によって黒眼領域を抽出する。すなわち、黒眼領域の輝度値は閾値（例えば、７０）未満であるので、黒眼近傍領域の画像に対して、輝度値が閾値未満の画素の輝度値を０（黒画素）に、輝度値が閾値以上の画像の輝度値を２５５（白画素）にする２値化処理を行なう。また、光源の反射部分である反射点光源も黒眼領域なので、２値化処理により抽出された黒眼領域の周囲にフラグを立て、その内部の全ての画素の輝度値を０にする処理を行なう。これにより、図６及び図７に示すよう、各フレーム毎に黒眼領域が特徴画像として抽出される。 In the next step 104, a black eye region is extracted by binarization processing. That is, since the luminance value of the black eye region is less than a threshold value (for example, 70), the luminance value of the pixel having the luminance value less than the threshold value is set to 0 (black pixel) with respect to the image in the region near the black eye. A binarization process is performed to set the luminance value of an image having a threshold value equal to or greater than 255 to 255 (white pixel). In addition, since the reflection point light source which is a reflection part of the light source is also a black eye region, a process is performed in which a flag is set around the black eye region extracted by the binarization processing, and the luminance values of all the pixels inside it are set to zero. Do. Thereby, as shown in FIG.6 and FIG.7, a black eye area | region is extracted as a feature image for every frame.
２値化処理された画像では、開眼状態から閉眼状態へ移行するにつれて、図７に示すように本来黒眼領域ではない睫毛等の画素の輝度値が２値化処理により０となり、正確な黒眼領域の総画素数（面積に相当する）を算出できなくなる。 In the binarized image, as it shifts from the open eye state to the closed eye state, as shown in FIG. 7, the luminance value of pixels such as eyelashes that are not originally black-eye regions becomes 0 by the binarization processing, and an accurate black The total number of pixels in the eye area (corresponding to the area) cannot be calculated.
そこで、ステップ１０６では、睫毛等の画素が含まれていない第１フレームの画像をその１回の瞬きにおける基準画像とし、下記（１）式より基準画像と第ｎフレームにおける画像との和により共通部分を求める（ｎは第２フレームから最終フレームまでのフレーム番号を示す。）。黒眼領域に含まれる画素であれば、第１フレームの画像及び第ｎフレームにおける画像のいずれの画像にも輝度値が０の画素として含まれている。このため、黒眼領域に含まれる画素について輝度値の和を求めても０のままであるので、和によって輝度値が２５５以上となった画素の輝度値を（１）式の括弧に示すように２５５とすることにより、図８に示す画像のように、第ｎフレームにおける睫毛等の画素を除いた黒眼領域を特定することができる。そして、（２）式に基づいて黒眼領域の総画素数、すなわち黒眼領域の面積を求める。 Therefore, in step 106, the first frame image that does not include pixels such as eyelashes is used as the reference image for that single blink, and the sum of the reference image and the image in the nth frame is calculated by the following equation (1). The part is obtained (n indicates the frame number from the second frame to the last frame). If it is a pixel included in the black eye area, both the image in the first frame and the image in the nth frame are included as pixels having a luminance value of 0. For this reason, even if the sum of the luminance values for the pixels included in the black eye area is obtained, it remains 0, so that the luminance value of the pixel whose luminance value is 255 or more due to the sum is shown in parentheses in equation (1). By setting the value to 255, it is possible to specify a black eye region excluding pixels such as eyelashes in the nth frame, as in the image shown in FIG. Then, the total number of pixels in the black eye area, that is, the area of the black eye area is obtained based on the equation (2).
ここで、Ｉbase（ｘ，ｙ）は２値化処理を施した基準画像の座標（ｘ，ｙ）における画素の輝度値、Ｉn（ｘ，ｙ）は２値化処理を施した第ｎフレームの画像の座標（ｘ，ｙ）における画素の輝度値、Ｂ（ｘ，ｙ）は第ｎフレームの画像の座標（ｘ，ｙ）における画素の輝度値を各々表す。 Here, I base (x, y) is the luminance value of the pixel at the coordinates (x, y) of the reference image subjected to the binarization process, and I n (x, y) is the n-th binarized process. The luminance value of the pixel at the coordinates (x, y) of the image of the frame, and B (x, y) represent the luminance value of the pixel at the coordinates (x, y) of the image of the nth frame.
また、（２）式のｘｓｉｚｅ，ｙｓｉｚｅは黒眼領域の縦幅と横幅、ｘｓｉｚｅ×ｙｓｉｚｅはｘｓｉｚｅ×ｙｓｉｚｅの領域内の総画素数、右辺第２項はｘｓｉｚｅ×ｙｓｉｚｅの領域内の白画素の総画素数、Ｓｎは第ｎフレームにおける黒眼領域の総画素数を表す。 In addition, xsize and ysize in equation (2) are the vertical width and horizontal width of the black eye area, xsize × ysize is the total number of pixels in the xsize × ysize area, and the second term on the right side is the white pixel in the xsize × size area. The total number of pixels, Sn, represents the total number of pixels in the black eye area in the nth frame.
撮影状態によってカメラと認証対象者との距離や瞬き動作を撮影した場合の動画情報のフレーム数が相違するため、ステップ１０８では、撮影状態に応じて黒眼領域の総画素数及び動画情報のフレーム数の正規化処理を行う。 Since the distance between the camera and the person to be authenticated and the number of frames of the moving image information when shooting the blinking operation are different depending on the shooting state, in step 108, the total number of pixels of the black eye area and the frame of the moving image information according to the shooting state Perform number normalization.
まず、黒眼領域の総画素数は、以下の（３）式を用いて基準撮影状態における黒眼領域の基準画素数に対応するように正規化する。すなわち、図５の黒眼領域近傍の画像から両目間の距離ｌを算出し、このｌをカメラから認証対象者までの距離を基準距離として撮影したときの両目間の距離（定数）ｌ0に統一することで総画素数の正規化を行う。これにより、黒眼領域の総画素数がカメラから認証対象者までの基準距離に応じた値になるように正規化される。 First, the total number of pixels in the black eye region is normalized so as to correspond to the reference number of pixels in the black eye region in the reference photographing state using the following equation (3). That is, the distance l between both eyes is calculated from the image in the vicinity of the black eye region in FIG. 5, and the distance (constant) l 0 between both eyes when this l is taken using the distance from the camera to the person to be authenticated as the reference distance. The total number of pixels is normalized by unifying. As a result, the total number of pixels in the black eye region is normalized so as to be a value corresponding to the reference distance from the camera to the person to be authenticated.
ここで、Ｓは正規化前の黒眼領域の総画素数、Ｓ’は正規化後の黒眼領域の総画素数を表す。なお、本実施の形態ではｌ0＝２５０とした。 Here, S represents the total number of pixels in the black eye region before normalization, and S ′ represents the total number of pixels in the black eye region after normalization. In this embodiment, l 0 = 250.
総画素数の正規化を行った後、フレーム数の正規化を行う。フレーム数の正規化は、全フレームを閉眼動作画像フレームと開眼動作画像フレームとに分類し、線形補間処理によって各動作フレームのフレーム数を統一した後、両フレームを結合するという手順で行う。 After normalizing the total number of pixels, the number of frames is normalized. Normalization of the number of frames is performed by a procedure in which all frames are classified into an eye-opening motion image frame and an eye-opening motion image frame, the number of motion frames is unified by linear interpolation processing, and then both frames are combined.
まず、図９に示すように、全フレーム画像を、フレーム番号を横軸、黒眼領域の総画素数を縦軸とする座標にプロットし、黒眼領域の総画素数が最小値となるフレームを境界フレームとし、この境界フレームが複数個連続して存在する場合を考慮して閉眼動作画像フレームＡと開眼動作画像フレームＢとに分類する。 First, as shown in FIG. 9, all frame images are plotted on coordinates with the frame number as the horizontal axis and the total number of pixels in the black eye region as the vertical axis, and the total number of pixels in the black eye region is the minimum value. Is considered as a boundary frame, and a closed eye movement image frame A and an open eye movement image frame B are classified in consideration of the case where a plurality of boundary frames exist continuously.
本実施の形態では、黒眼領域の総画素数の最小値を０％、最大値を１００％とし、閉眼動作画像フレームは総画素数が９５％以下になるフレームから０％になるフレームまで、開眼動作画像フレームは総画素数が０％になるフレームから８０％になるフレームまでとして分類した。 In the present embodiment, the minimum value of the total number of pixels in the black eye region is set to 0% and the maximum value is set to 100%, and the closed-eye motion image frame ranges from a frame in which the total number of pixels is 95% or less to a frame in which the total number of pixels becomes 0%. The eye-opening motion image frames were classified as frames from 0% to 80% of the total number of pixels.
次に、１回の瞬き毎に各動作画像フレームのフレーム数に相違が生じているため、線形補間によりフレーム数を統一する。本実施の形態では、閉眼動作画像フレームを５０フレーム、開眼動作画像フレームを１００フレームに統一した。また、線形補間後、図１０に示すように閉眼動作画像フレームＡ´と開眼動作画像フレームＢ´とを結合し、重複する最小値を除いた合計１４９フレームを１回の瞬きに要するフレームとした。 Next, since there is a difference in the number of frames of each motion image frame for each blink, the number of frames is unified by linear interpolation. In this embodiment, the closed-eye motion image frame is unified to 50 frames and the open-eye motion image frame is unified to 100 frames. Further, after linear interpolation, as shown in FIG. 10, the eye-closing motion image frame A ′ and the eye-opening motion image frame B ′ are combined, and a total of 149 frames excluding the overlapping minimum values are used as a frame required for one blink. .
ステップ１１０では、次の（４）式より各フレームにおける黒眼領域の総画素数の平均値を算出し、算出した各フレームにおける黒眼領域の総画素数の平均値の各々をテンプレートデータとして、パソコンのメモリに記憶する。 In step 110, the average value of the total number of pixels of the black eye region in each frame is calculated from the following equation (4), and each of the calculated average values of the total number of pixels of the black eye region in each frame is used as template data. Store it in the PC memory.
ここで、Ｔnは第ｎフレームにおける黒眼領域の総画素数の平均値（テンプレートデータ）、ｉはテンプレートデータ作成に使用した１人当たりの瞬きの回数、Ｓｎ（ｋ）はｋ回目の瞬きの第ｎフレームにおける黒眼領域の総画素数を表す。 Here, T n is the average value (template data) of the total number of pixels in the black eye area in the n-th frame, i is the number of blinks per person used to create the template data, and Sn (k) is the k-th blink. This represents the total number of pixels in the black eye area in the nth frame.
また、ステップ１１２において、作成したテンプレートデータとその作成に使用したデータから各フレームにおける分散値及び偏差を次の（５）式及び（６）式に基づいて算出してメモリに記憶し、後述する類似度を判定する演算の際に用いるようにする。 In step 112, a variance value and a deviation in each frame are calculated from the created template data and the data used for the creation based on the following equations (5) and (6) and stored in the memory, which will be described later. It is used in the calculation for determining the similarity.
ここで、σn 2は第ｎフレームにおける分散値、σnは第ｎフレームにおける偏差を表す。 Here, σ n 2 represents the variance value in the nth frame, and σ n represents the deviation in the nth frame.
次に、図３を参照して本実施の形態の個人認証ルーチンについて説明する。なお、この個人認証ルーチンにおいてテンプレートデータ作成ルーチンと対応する処理を行なう部分には、図２と同一の符号を付して説明を省略する。 Next, the personal authentication routine of the present embodiment will be described with reference to FIG. In the personal authentication routine, the same reference numerals as those in FIG.
まず、上記と同様に、認証対象者が瞬きを行なったときの顔を所定フレームレートで撮影して得られた複数フレーム画像からなる動画情報に基づいて、各フレーム画像毎に黒眼領域を抽出し、抽出した黒眼領域の総画素数を正規化すると共に、閉眼動作画像フレームと開眼動作画像フレームとに分類し、閉眼動作画像フレーム及び開眼動作画像フレームの数がテンプレートデータの個数と同一となるように、閉眼動作画像フレームが例えば５０個で開眼動作画像フレームが例えば１００個となるように正規化する。 First, in the same way as described above, a black eye area is extracted for each frame image based on moving image information composed of a plurality of frame images obtained by photographing the face when the person to be authenticated blinks at a predetermined frame rate. Normalizing the total number of pixels of the extracted black eye region and classifying it into a closed eye motion image frame and an open eye motion image frame, and the number of the closed eye motion image frame and the open eye motion image frame is the same as the number of template data Thus, normalization is performed so that there are, for example, 50 closed eye movement image frames and 100 open eye movement image frames.
次のステップ１２０では、フレーム数及び総画素数が正規化された入力画像（黒眼領域）の総画素数とテンプレートデータとを用いて、入力画像とテンプレートデータで表されるテンプレート画像との類似度を以下のように演算する。 In the next step 120, the similarity between the input image and the template image represented by the template data is obtained using the total number of pixels of the input image (black-eye region) and the template data in which the number of frames and the total number of pixels are normalized. The degree is calculated as follows.
類似度の演算には以下の４つの方式のいずれかを用いることができる。類似度の演算を行う際の対象は、右目、左目、利き目、両目の４種類に分類して行うことができる。本実施の形態では、右目と左目の類似度演算結果の和を両目の類似度演算結果として用いた。 Any of the following four methods can be used for calculating the similarity. The targets for calculating the similarity can be classified into four types, right eye, left eye, dominant eye, and both eyes. In the present embodiment, the sum of the right eye and left eye similarity calculation results is used as the similarity calculation result for both eyes.
第１の方式（方式１）は、（７）式より各フレーム毎に、テンプレートデータと認証対象データである入力画像の総画素数との絶対差分値の和を類似度として算出するものである。 In the first method (method 1), the sum of absolute difference values between the template data and the total number of pixels of the input image, which is authentication target data, is calculated as a similarity for each frame from equation (7). .
ここで、Ｓkは入力画像である黒眼領域の第ｋフレームにおける総画素数、Ｔkは第ｋフレームにおけるテンプレートデータ（黒眼領域の総画素数の平均値）、ｎは１回の瞬きのフレーム数、Ｒは１回の瞬きにおけるＳkとＴkとの差分値の絶対値の和（絶対差分値の和）を表す。 Here, S k is the total number of pixels in the k-th frame of the black-eye region that is the input image, T k is the template data (average value of the total number of pixels in the black-eye region) in the k-th frame, and n is one blink , R represents the sum of absolute values of the difference values between S k and T k in one blink (sum of absolute difference values).
第２の方式（方式２）は、上記の（５）式より算出した各人の本人データの各フレーム毎の分散値を用い、図１１に示すように分散値に閾値を設け、分散値が閾値以上のフレームは不安定であるとみなして比較対象から除去するマスキング処理を施し、マスキング処理後、（７）式より算出した絶対差分値の和を類似度として算出するものである。すなわち、分散値が閾値以上のフレームをテンプレートデータから除去すると共に、除去したフレームに対応するフレームの画像を入力画像のフレーム画像から除去し、上記（７）式により類似度を演算するものである。 The second method (method 2) uses a variance value for each frame of each person's personal data calculated from the above equation (5), and provides a threshold value for the variance value as shown in FIG. A frame that is equal to or greater than the threshold value is considered unstable and is subjected to a masking process to be removed from the comparison target. After the masking process, the sum of absolute difference values calculated from equation (7) is calculated as the similarity. That is, a frame whose variance value is equal to or greater than a threshold value is removed from the template data, and an image of a frame corresponding to the removed frame is removed from the frame image of the input image, and the similarity is calculated by the above equation (7). .
第３の方式（方式３）は、上記（６）式より算出した偏差を用いてオフセット処理を行い、下記（８）式より類似度Ｄを算出するものである。このオフセット処理は、偏差に係数αを乗算して与えられている。また、フレーム毎のＤkが負の値になるときは、Ｄkを０として類似度Ｄを演算する。 In the third method (method 3), offset processing is performed using the deviation calculated from the above equation (6), and the similarity D is calculated from the following equation (8). This offset processing is given by multiplying the deviation by a coefficient α. Further, when D k for each frame becomes a negative value, the similarity D is calculated by setting D k to 0.
そして、第４の方式（方式４）は、上記の第２の方式で述べたマスキング処理後、上記（８）式より算出したＤを類似度として算出するものである。 In the fourth method (method 4), after the masking process described in the second method, D calculated from the above equation (8) is calculated as the similarity.
そして、ステップ１２４において、上記のようにして演算した類似度と所定値とを比較し、類似度が所定値未満の場合は、テンプレート画像と認証対象者の入力画像とが照合したと判断し、ステップ１２６で個人が認証されたとする。一方、類似度が所定値を越える場合はテンプレート画像と認証対象者の画像とは照合しない、と判断してステップ１２８で不認証とする。 Then, in step 124, the similarity calculated as described above is compared with a predetermined value . If the similarity is less than the predetermined value , it is determined that the template image and the input image of the person to be authenticated are collated. Assume that the individual is authenticated in step 126. On the other hand, if the degree of similarity exceeds a predetermined value , it is determined that the template image and the image of the person to be authenticated are not collated, and the authentication is rejected in step 128.
上記の実施の形態では、各フレームの黒眼領域の総画素数を用いて、入力画像とテンプレート画像との類似度を求める例について説明したが、各フレーム毎に特徴画像のパターンマッチングを行なって入力画像とテンプレート画像との類似度を求めるようにしてもよい。 In the above embodiment, an example of obtaining the similarity between the input image and the template image using the total number of pixels in the black eye area of each frame has been described. However, pattern matching of the feature image is performed for each frame. The similarity between the input image and the template image may be obtained.
次に、本実施の形態における照合率の算出について説明する。本実施の形態では、個人照合率としてＥＲＲ（Ｅｑｕａｌ Ｅｒｒｏｒ Ｒａｔｅ）用いた。このＥＲＲは、図１２に示すように、入力された情報が本人の情報であるにも関わらずシステムが他人であると判断してしまう誤り率（Ｆａｌｓｅ Ｒｅｊｅｃｔ Ｒａｔｅ（ＦＲＲ）：本人拒否率）と入力された情報が他人の情報であるにも関わらずシステムが本人であると判断してしまう誤り率（Ｆａｌｓｅ Ａｃｃｅｐｔ Ｒａｔｅ（ＦＡＲ）：他人受入れ率）が等しくなる点のことである。 Next, calculation of the matching rate in the present embodiment will be described. In the present embodiment, ERR (Equal Error Rate) is used as the personal verification rate. As shown in FIG. 12, the ERR is an error rate (False Reject Rate (FRR)) that determines that the system is another person even though the input information is the person's information. The error rate (False Accept Rate (FAR)) for judging that the system is the identity of the person even though the input information is that of others is the same.
認証対象者とカメラとの距離を１ｍ、認証対象者を１５名、１名当たり２０回の瞬き画像を１回当たり１５０フレームで撮影した。 The distance between the person to be authenticated and the camera was 1 m, 15 persons to be authenticated, 20 blink images per person, and 150 frames per shot.
また、第１フレームにおける黒眼領域の総画素数を特徴情報とし、絶対差分法を用いて個人照合率を算出した。これは静的生体情報による個人照合を意味する。比較対象は右目、左目、利き目、両目の４種類とし、被験者１５名分の平均ＥＲＲを表１に示す。 Further, the total number of pixels in the black eye area in the first frame was used as feature information, and the personal verification rate was calculated using the absolute difference method. This means personal verification using static biometric information. The comparison target is four types of right eye, left eye, dominant eye, and both eyes, and the average ERR for 15 subjects is shown in Table 1.
黒眼領域に着目した瞬き動作による個人照合として、比較対象を右目、左目、利き目、両目の４種類とし、上記で述べた４つの類似度を用いて照合したときの被験者１５名分の平均ＥＲＲを表２に示す。 For personal verification by blinking operation focusing on the black eye area, the comparison target is four types of right eye, left eye, dominant eye, and both eyes, and the average of 15 subjects when collation is performed using the four similarities described above ERR is shown in Table 2.
また、本実施の形態の黒眼領域に着目した瞬き動作の個人照合に対する寄与度を評価するために、下記（９）式より演算した寄与度を用た。 Moreover, in order to evaluate the contribution with respect to the personal collation of the blink operation | movement which paid its attention to the black eye area | region of this Embodiment, the contribution calculated from the following (9) formula was used.
ここで、ＥＲＲSは第１フレームにおける黒眼領域の総画素数による個人照合率、ＥＲＲMは黒眼領域に着目した瞬き動作による個人照合率を表す。各比較対象における各方式の寄与度を表３に示す。表３より両目を比較対象とした場合の寄与度が８．２０％と最も高かった。また、類似度を演算する第４の方式を用いることで全ての比較対象において高い寄与度が得られて。この結果から、瞬き動作は個人照合に充分寄与している。
表２より、両目を比較対象とし、類似度を演算する第４の方式を用いた場合が最も高く、平均ＥＲＲは１３．６８％であった。
Here, ERR S represents the personal verification rate based on the total number of pixels in the black eye region in the first frame, and ERR M represents the personal verification rate based on the blinking operation focusing on the black eye region. Table 3 shows the degree of contribution of each method in each comparison target. From Table 3, the degree of contribution when comparing both eyes was the highest at 8.20%. Further, by using the fourth method for calculating the similarity, a high contribution is obtained in all the comparison objects. From this result, the blinking operation contributes to personal verification sufficiently.
From Table 2, the case where both were compared and the fourth method for calculating the similarity was the highest, and the average ERR was 13.68%.
類似度を演算する４つの方式は、全ての比較対象において第４の方式が最も高い照合率が得られた。これにより、比較演算の際に各登録本人のデータのバラつきを考慮し、分散値によるマスキング処理と偏差による重み付けを用いることが有効である。 As for the four methods for calculating the similarity, the highest verification rate was obtained in the fourth method for all comparison targets. Thus, it is effective to use a masking process based on the variance value and a weighting based on the deviation in consideration of the variation of the data of each registered person in the comparison calculation.
また、全ての照合において両目を用いる場合が、最も高い照合率が得られた。３種類の片目の中では利き目が最も高い照合率を示すと推測されたが、今回の結果からは特にそのような傾向は得られず、右目が最も高い照合率を実現した。これより、両目を比較対象として利用できない場合は右目を比較対象とするのが効果的である。 Moreover, the highest collation rate was obtained when both eyes were used in all collations. Although it was speculated that the dominant eye showed the highest collation rate among the three eye types, such a tendency was not obtained from the present results, and the right eye achieved the highest collation rate. Thus, when both eyes cannot be used as a comparison target, it is effective to use the right eye as a comparison target.
１０ 高速カメラ
１２ 照明装置
１４ パーソナルコンピュータ
10 High-speed camera 12 Illumination device 14 Personal computer
Claims (6)
前記動画情報に基づいて、各フレーム画像において黒眼領域の画像及び白眼領域の画像の何れか一方を、瞬きに関連する特徴画像として抽出する特徴画像抽出手段と、
抽出された前記特徴画像に基づいて、閉眼動作画像のフレームが第１の個数で開眼動作画像のフレームが第２の個数となるようにフレーム数を正規化する正規化手段と、
前記正規化手段で正規化されたフレーム数の特徴画像からなる入力画像と予め求められた認証対象者の瞬き時の各フレーム画像から得られる、前記正規化手段で正規化されたフレーム数の前記特徴画像からなるテンプレート画像とを比較し、各フレーム毎に算出される前記入力画像の総画素数と前記テンプレート画像の総画素数との絶対差分値の和を、類似度として演算し、この類似度が予め設定した所定値を超えたか否かに基づいて認証対象者が正当な利用者であるか否かを判定する判定手段と、
を含む個人認証装置。 Photographing means for photographing a face when the person to be authenticated blinks at a predetermined frame rate and outputting moving image information including a plurality of frame images;
Based on the moving image information, feature image extraction means for extracting one of a black eye region image and a white eye region image in each frame image as a feature image related to blinking;
Normalizing means for normalizing the number of frames based on the extracted feature image so that the number of frames of the eye-opening motion image is the first number and the number of frames of the eye-opening motion image is the second number;
The number of frames normalized by the normalization means, obtained from the input image consisting of feature images of the number of frames normalized by the normalization means and each frame image obtained when the subject person blinks is obtained in advance. comparing the template image consisting feature image, a sum of absolute difference values between the total number of pixels of the total pixel number and the template image of the input image to be calculated for each frame, calculated as the similarity, the similarity Determining means for determining whether the person to be authenticated is a valid user based on whether or not the degree exceeds a predetermined value set in advance ;
Including personal authentication device.
ただし、Ｔkは複数回の瞬きについて抽出されかつ各瞬きに対するフレーム数が前記正規化手段で正規化されると共に、撮影状態に応じて総画素数が基準画素数に対応するように正規化された特徴画像における総画素数の平均値で表された第ｋフレームのテンプレートデータ、Ｓkはテンプレートデータのフレームに対応するフレームの入力画像の総画素数、αは定数、σkは瞬きの回数、テンプレートデータ、及びテンプレートデータ作成に使用した総画素数から演算される偏差である。
However, T k is extracted for a plurality of blinks, the number of frames for each blink is normalized by the normalizing means, and the total number of pixels is normalized so as to correspond to the reference number of pixels according to the shooting state. the k-th frame of the template data represented by the average value of the total number of pixels in a feature image, S k is the total number of pixels in the input image of the frame corresponding to the frame of the template data, alpha is a constant, the number of sigma k is blinking , A deviation calculated from the total number of pixels used for template data and template data creation.
ただし、Ｔ T kk は複数回の瞬きについて抽出されかつ各瞬きに対するフレーム数が前記正規化手段で正規化されると共に、撮影状態に応じて総画素数が基準画素数に対応するように正規化された特徴画像における総画素数の平均値で表された第ｋフレームのテンプレートデータ、及びＳIs extracted for a plurality of blinks, and the number of frames for each blink is normalized by the normalization means, and in the feature image normalized so that the total number of pixels corresponds to the reference number of pixels according to the shooting state Template data of the kth frame expressed by the average value of the total number of pixels, and S kk はテンプレートデータのフレームに対応するフレームの入力画像の総画素数である。Is the total number of pixels of the input image of the frame corresponding to the frame of the template data.
抽出された前記特徴画像に基づいて、閉眼動作画像のフレームが第１の個数で開眼動作画像のフレームが第２の個数となるようにフレーム数を正規化し、
前記正規化されたフレーム数の特徴画像からなる入力画像と予め求められた認証対象者の瞬き時の各フレーム画像から得られる、前記正規化されたフレーム数の前記特徴画像からなるテンプレート画像とを比較し、各フレーム毎に算出される前記入力画像の総画素数と前記テンプレート画像の総画素数との絶対差分値の和を、類似度として演算し、この類似度が予め設定した所定値を超えたか否かに基づいて認証対象者が正当な利用者であるか否かを判定する、
個人認証方法。 Based on the moving image information composed of a plurality of frame images obtained by photographing the face when the person to be authenticated blinks at a predetermined frame rate, either one of the black eye region image or the white eye region image in each frame image was extracted as the feature image relating to blink,
Based on the extracted feature images, the number of frames is normalized so that the number of closed eye movement image frames is the first number and the number of open eye movement image frames is the second number,
Obtained from each frame image at the time of blinking the previously obtained object's an input image composed of the normalized frame number of feature images, and the template image composed of the feature image of the number of frames the normalized comparison, the sum of the absolute difference between the total number of pixels of the total pixel number and the template image of the input image to be calculated for each frame, calculated as the similarity, the predetermined value that this similarity is preset authentication target person based on whether exceeded it is determined whether a valid user,
Personal authentication method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004254706A JP4617121B2 (en) | 2004-09-01 | 2004-09-01 | Personal authentication device and personal authentication method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004254706A JP4617121B2 (en) | 2004-09-01 | 2004-09-01 | Personal authentication device and personal authentication method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006072652A JP2006072652A (en) | 2006-03-16 |
| JP4617121B2 true JP4617121B2 (en) | 2011-01-19 |
Family
ID=36153224
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004254706A Expired - Fee Related JP4617121B2 (en) | 2004-09-01 | 2004-09-01 | Personal authentication device and personal authentication method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4617121B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11048785B2 (en) | 2018-02-14 | 2021-06-29 | Samsung Electronics Co., Ltd | Method and apparatus of performing authentication |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5055166B2 (en) * | 2008-02-29 | 2012-10-24 | キヤノン株式会社 | Eye open / closed degree determination device, method and program, and imaging device |
| CN108259768B (en) * | 2018-03-30 | 2020-08-04 | Oppo广东移动通信有限公司 | Image selection method and device, storage medium and electronic equipment |
| JP2020173668A (en) * | 2019-04-11 | 2020-10-22 | 国立大学法人 鹿児島大学 | Authentication system, authentication method and authentication program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06203145A (en) * | 1993-01-07 | 1994-07-22 | Fuji Electric Co Ltd | Individual recognizing device |
| JPH11213164A (en) * | 1998-01-29 | 1999-08-06 | Fuji Xerox Co Ltd | Personal identification device |
| JP2003533801A (en) * | 2000-05-16 | 2003-11-11 | スイスコム・モバイル・アクチエンゲゼルシヤフト | Biometric identification and authentication methods |
-
2004
- 2004-09-01 JP JP2004254706A patent/JP4617121B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06203145A (en) * | 1993-01-07 | 1994-07-22 | Fuji Electric Co Ltd | Individual recognizing device |
| JPH11213164A (en) * | 1998-01-29 | 1999-08-06 | Fuji Xerox Co Ltd | Personal identification device |
| JP2003533801A (en) * | 2000-05-16 | 2003-11-11 | スイスコム・モバイル・アクチエンゲゼルシヤフト | Biometric identification and authentication methods |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11048785B2 (en) | 2018-02-14 | 2021-06-29 | Samsung Electronics Co., Ltd | Method and apparatus of performing authentication |
| US11720658B2 (en) | 2018-02-14 | 2023-08-08 | Samsung Electronics Co., Ltd. | Method and apparatus of performing authentication |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006072652A (en) | 2006-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11188734B2 (en) | Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices | |
| JP7242528B2 (en) | Systems and methods for performing fingerprint user authentication using images captured using mobile devices | |
| US9922238B2 (en) | Apparatuses, systems, and methods for confirming identity | |
| JP5010905B2 (en) | Face recognition device | |
| Connaughton et al. | Fusion of face and iris biometrics | |
| JP6212099B2 (en) | Image template masking | |
| KR20030083510A (en) | Method for verifying users and updating the data base, and face verification system using thereof | |
| CN110647955A (en) | Identity authentication method | |
| US9946929B2 (en) | Method of detecting boundaries of the human eye | |
| JP4617121B2 (en) | Personal authentication device and personal authentication method | |
| KR20120135381A (en) | Method of biometrics and device by using pupil geometry | |
| Lee et al. | Improvements in video-based automated system for iris recognition (vasir) | |
| JP2005084979A (en) | Face authentication system, method and program | |
| WO2024042674A1 (en) | Information processing device, authentication method, and storage medium | |
| KR102277122B1 (en) | Ai based authentication method using finger vein | |
| Kumar et al. | Performance of personal identification system technique using iris biometrics technology | |
| Liu | Multi-modality quality assessment for unconstrained biometric samples | |
| Prasad et al. | Robust Facial Biometric Authentication System Using Pupillary Light Reflex for Liveness Detection of Facial Images. | |
| Kumar | Fusion of Multiple Features of Palm for Biometric Recognition System using Image Processing | |
| Papaj et al. | Facial features extraction for color, frontal images | |
| Esteves | Mobile multimodal biometric identification for african communities |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070830 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100716 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100727 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100924 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101019 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101025 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131029 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |