WO2023277211A1 - Method for lightening iris recognition, and computer-readable recording medium in which iris recognition program is stored - Google Patents

Method for lightening iris recognition, and computer-readable recording medium in which iris recognition program is stored Download PDF

Info

Publication number
WO2023277211A1
WO2023277211A1 PCT/KR2021/008209 KR2021008209W WO2023277211A1 WO 2023277211 A1 WO2023277211 A1 WO 2023277211A1 KR 2021008209 W KR2021008209 W KR 2021008209W WO 2023277211 A1 WO2023277211 A1 WO 2023277211A1
Authority
WO
WIPO (PCT)
Prior art keywords
iris
interest
pupil
region
image
Prior art date
Application number
PCT/KR2021/008209
Other languages
French (fr)
Korean (ko)
Inventor
한승은
Original Assignee
주식회사 아이리시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이리시스 filed Critical 주식회사 아이리시스
Publication of WO2023277211A1 publication Critical patent/WO2023277211A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image

Definitions

  • the present invention relates to a lightweight method of iris recognition and a computer readable recording medium storing an iris recognition program, and more particularly, to an iris that performs accurate recognition with a small integer arithmetic operation in the process of finding a pupil and an iris and creating a code. It relates to a light weight recognition method and a computer readable recording medium storing an iris recognition program.
  • iris recognition is biometric recognition using the iris, which is one of human biological organs.
  • This iris recognition is mainly used to verify identity, and is difficult to forget, lost, stolen, or duplicated, and is convenient to use, making it useful for e-commerce, access control systems, immigration control, finding criminals or missing children, digital document security, safes, etc. There is an advantage to being
  • the recognition method using the iris frequently causes errors in recognizing the user because the image reacts sensitively to movement or rotation, and restricts the user's recognition, resulting in a sense of rejection and discomfort. There are also some downsides to using it.
  • General iris recognition involves the process of adjusting the region of interest, performing preprocessing, searching and tracking the pupil and iris, creating a mask, improving the iris image, normalizing the iris image, and generating and matching the iris code. through iris recognition.
  • the purpose of the present invention to solve the conventional problems as described above is to use techniques such as approximation of integer arithmetic of real number arithmetic, appropriate utilization of LUT (Lookup Table), and to apply various techniques used in video compression algorithms.
  • LUT Lookup Table
  • an integral image is created and used at various stages such as adjusting the region of interest or generating the iris code, so a lightweight, fast and accurate iris recognition method and a computer-readable record that stores the iris recognition program to provide the medium.
  • a lightweight method of iris recognition includes a first step of extracting iris information of a user; a second step of setting a region of interest from the extracted iris information; a third step of pre-processing the set region of interest; a fourth step of searching for and tracking a pupil and an iris from preprocessed data; a fifth step of generating a mask from the searched and tracked data; a sixth step of improving an iris image from the generated mask data; a seventh step of performing iris normalization from the improved iris image; and an eighth step of generating and matching an iris code from normalized iris data.
  • the lightweight method of iris recognition generates an integral image with the extracted iris information in the first step, reduces the amount of calculation by repeatedly using the generated integral image, and For an image, if I(x,y) is the pixel value at the coordinates (x,y) and II(x,y) is the value of the integral image, the II(x,y) is the origin and the coordinates (x, It is characterized in that it is the sum of all pixels up to y).
  • the region of interest in the second step, the region of interest generates all blobs for a wide region, and among all the generated blobs, two blobs most likely to be pupils are selected. A candidate blob is selected, and the region of interest is adjusted according to the position and size of the candidate blob.
  • the preprocessing calculates the directionality of each pixel in the region of interest, and the filter used to determine the directionality of the pixel is a Sobel operator ( Soble Operator), and if the magnitude of the absolute value of the degree of change in the horizontal direction (dx) and the degree of change in the vertical direction (dy) approaches 0 after the operation by the Sobel operator, calculation is not performed (zero vector processing) , When the absolute value is less than 256, a look-up table (LUT) is referred to, or when the absolute value is large, approximate calculation is performed.
  • Sobel operator Soble Operator
  • the pupil and the iris are assumed to be circles and searched by a multi-step search method, and the multi-step search method sets the step size to a predetermined value. It is characterized in that the search is performed while sequentially decreasing the step size from , and the region of interest is modified based on a search result.
  • the pupil is searched within the set region of interest, and if the pupil is successfully searched, the iris is searched, and the iris is searched. If successful, the user's pupil and iris are registered or authenticated.
  • the region of interest is reset.
  • the pupil is tracked, if the pupil is successfully tracked, the iris is tracked, and if the iris is successfully tracked , It is characterized in that the user's pupil and iris are registered or authenticated.
  • the region of interest is reset.
  • a computer-readable recording medium storing an iris recognition program includes a first step of extracting iris information of a user; a second step of setting a region of interest from the extracted iris information; a third step of pre-processing the set region of interest; a fourth step of searching for and tracking a pupil and an iris from preprocessed data; a fifth step of generating a mask from the searched and tracked data; a sixth step of improving an iris image from the generated mask data; a seventh step of performing iris normalization from the improved iris image; and an eighth step of generating and matching an iris code from the normalized iris data.
  • FIG. 1 is a block diagram showing the overall configuration of a lightweight system for iris recognition according to the present invention.
  • Figure 2 is a flow chart showing the overall flow of the lightweight method of iris recognition according to the present invention.
  • FIG. 3 is a diagram illustrating area calculation using an integral image in the lightweight method of iris recognition according to the present invention.
  • FIG. 4 is a diagram showing an example of a region of interest in the lightweight method of iris recognition according to the present invention.
  • FIG. 5 is a diagram showing an example of a blob in the lightweight method of iris recognition according to the present invention.
  • FIG. 6 is a diagram showing the directionality of the boundary between the pupil and the iris in the lightweight method of iris recognition according to the present invention.
  • FIG. 7 is a diagram illustrating integer approximation of directionality in a lightweight method of iris recognition according to the present invention.
  • FIG. 8 is a flow chart showing the flow of directional calculation in the lightweight method of iris recognition according to the present invention.
  • FIG. 9 is a diagram showing examples of pupil and iris search results in the lightweight method of iris recognition according to the present invention.
  • FIG. 10 is a flow chart showing pupil and iris search and tracking in a lightweight method of iris recognition according to the present invention.
  • FIG. 11 is a diagram showing an example of a mask in a lightweight method of iris recognition according to the present invention.
  • FIG. 12 is a diagram showing an example of iris image improvement in the lightweight method of iris recognition according to the present invention.
  • FIG. 13 is a diagram illustrating image normalization in a lightweight method of iris recognition according to the present invention.
  • FIG. 14 is a diagram illustrating iris image normalization in a lightweight method of iris recognition according to the present invention.
  • FIG. 15 is a diagram showing an angular region used to generate an iris code in a lightweight method of iris recognition according to the present invention.
  • FIG. 16 is a diagram showing an iris code configuration in a lightweight method of iris recognition according to the present invention.
  • FIG. 17 is a diagram showing a block structure for iris code generation in a lightweight method of iris recognition according to the present invention.
  • FIG. 18 is a diagram showing a matching window in the lightweight method of iris recognition according to the present invention.
  • the present invention uses techniques such as approximation of real number arithmetic to integer arithmetic, proper utilization of LUT (Lookup Table), and applies various techniques used in video compression algorithms, as well as adjusting the region of interest or iris code to improve the speed of the algorithm.
  • LUT Lookup Table
  • a component when a component is described as “existing inside or connected to and installed” of another component, this component may be directly connected to or installed in contact with the other component, and a certain It may be installed at a distance, and when it is installed at a certain distance, a third component or means for fixing or connecting the corresponding component to another component may exist, and now It should be noted that the description of the components or means of 3 may be omitted.
  • FIG. 1 is a block diagram showing the overall configuration of a lightweight system for iris recognition according to the present invention.
  • a lightweight system 1000 for iris recognition includes an input unit 100 and an authentication unit 200 .
  • Iris information of the user may be input to the input unit 110 .
  • iris information of a user is input, but is not limited thereto, and may include all means capable of recognizing the user's body.
  • the authentication unit 120 authenticates the user through input biometric information, for example, iris information.
  • the authentication unit 120 serves to authenticate iris information of the user input through the input unit 110 .
  • FIG. 2 is a flow chart showing the overall flow of a lightweight method for iris recognition according to the present invention.
  • the method for lightening iris recognition according to the present invention includes a total of eight steps.
  • the first step (S100) is performed through the input unit 100, but the second step (S200) to the eighth step (S800) are performed through the authentication unit (200).
  • iris information of the user is extracted.
  • a region of interest is set from the extracted iris information.
  • pre-processing is performed on the set region of interest.
  • the pupil and the iris are searched for and tracked from the preprocessed data.
  • a mask is created from searched and tracked data.
  • a sixth step (S600) an iris image is improved from the generated mask data.
  • iris normalization is performed from the improved iris image.
  • iris codes are generated and matched from normalized iris data.
  • FIG. 3 is a diagram illustrating area calculation using an integral image in the lightweight method of iris recognition according to the present invention.
  • area calculation using an integral image is performed in a process of extracting iris information of a user in a first step (S100).
  • an integral image is generated with the extracted iris information, and the generated integral image is repeatedly used to reduce the amount of calculation, and the integral image is I (x , y) as the pixel value at the coordinates (x, y) and II (x, y) as the value of the integral image, the II (x, y) is the origin and coordinates (x, y) is the sum of the pixels.
  • the amount of calculation of the iris recognition algorithm can be reduced by repeatedly using the integral image created once.
  • the iris recognition algorithm uses the average value of neighboring pixels to eliminate noise or improve performance when analyzing statistical characteristics of pixels in the entire input image or calculating a feature value at a specific location. .
  • the present invention creates and uses an integral image, through which the amount of calculation can be greatly reduced.
  • I(x,y) is the pixel value at the coordinates (x,y) and II(x,y) is the integral image value, as shown in Equation 1 below, the value is from the origin to its location. is the sum of all pixels in
  • the sum of pixels in the rectangle ABCD is obtained by sum or difference of integrated image values only three times.
  • II(A) is the sum of all pixels between the origin and A, then the sum of pixels in rectangle ABCD is II(A) + II(D) - II(B) - II(C).
  • One of the advantages of using an integral image is that the size of each rectangle does not affect the budget in various calculations such as image filtering, gradient calculation, and block averaging.
  • FIG. 4 is a diagram showing an example of a region of interest in the lightweight method of iris recognition according to the present invention
  • FIG. 5 is a diagram showing an example of a blob in the lightweight method of iris recognition according to the present invention.
  • (a) of FIG. 4 represents a narrow region of interest
  • (b) of FIG. 4 represents a wide region of interest.
  • FIG. 5(a) shows an original image
  • FIG. 5(b) shows an eyebrow blob
  • FIG. 5(c) shows a pupil blob.
  • a region of interest is set from extracted iris information.
  • the region of interest generates all blobs for a wide region and selects two candidate blobs most likely to be pupils among all the generated blobs, Adjust the region of interest according to the position and size of the candidate blob.
  • blobs are generated for a wide area, and candidate blobs are selected in consideration of the characteristics of the iris image.
  • the region of interest is adjusted according to the position and size of the candidate blob.
  • the approximate position of the eye can be found, and the Hough Transform, which is commonly used to find the position of the eye, can be omitted.
  • the Howe transform is a process that requires a large amount of computation.
  • a region of interest refers to an image region used for actual signal processing, as shown in FIG. 4 .
  • the user must place both eyes within the box in FIG. 4 .
  • the region of interest must be displayed on the screen so that the user can know about it, or it must be explained in advance so that the user can know about it before using the device.
  • the region of interest is adjusted through a method called blob analysis, and while using a wide region of interest, the calculation amount can be reduced and the probability of finding an eye can be greatly increased.
  • a blob is a mass of dark pixels connected to each other in an image, as shown in FIG. 5 .
  • a typical example is the pupil, but in face images, there are many cases such as hair, eyebrows, black dots, and temples of glasses.
  • a histogram is created for 4 ⁇ 4 blocks and the threshold is obtained with the darkest values.
  • a score is calculated using the shape and size of the blob, the density of dark pixels in the blob, and the two blobs with the highest score are candidates for the pupil.
  • the reason for selecting a plurality of candidates is that the pupil usually has the highest score, but sometimes the pupil does not have the highest score because it is partially covered by the eyelid or connected to the eyelashes.
  • a region of interest is set around the blob to find a pupil circle and an iris circle.
  • FIG. 6 is a diagram showing the directionality of the pupil and the iris boundary in the lightweight method of iris recognition according to the present invention
  • FIG. 7 is a diagram showing integer approximation of directionality in the lightweight method of iris recognition according to the present invention
  • FIG. It is a flow chart showing the flow of directional calculation in the lightweight method of iris recognition according to the present invention.
  • pre-processing is performed on the set region of interest.
  • the preprocessing process is a process of pre-calculating and storing repeatedly used values before searching for the pupil and iris.
  • the preprocessing is to calculate the directionality for each pixel in the region of interest, and the filter used to determine the directionality of the pixels is a Soble Operator. If the magnitude of the horizontal direction change (dx) and the vertical direction change (dy) are close to 0 after calculation by -Refer to the Up Table (LUT) or, if the absolute value is large, approximate calculation is performed.
  • the filter used to orient the pixels is the Sobel Operator.
  • the operator on the left is used to calculate the degree of change in the horizontal direction (dx), and the operator on the right is used to calculate the degree of change in the vertical direction (dy).
  • the inside of the circle of the pupil or iris is darker than the outside.
  • the trigonometric function (arc tangent) that calculates direction is too computationally intensive and is not suitable for light and fast algorithms.
  • This approximation calculation method can have an error of up to 4 degrees, as shown in FIG. 7. If the error value is added to the angle obtained as a result of the calculation in consideration of the error curve on the right side of FIG. 7, the required accuracy can be obtained. do.
  • FIG. 9 is a diagram showing an example of a pupil and iris search result in a lightweight method of iris recognition according to the present invention
  • FIG. 10 is a flow chart showing search and tracking of a pupil and an iris in a lightweight method of iris recognition according to the present invention.
  • a pupil and an iris are searched for and tracked from pre-processed data, which is the fourth step (S400) of the lightweight method of iris recognition according to the present invention.
  • the pupil and the iris are assumed to be circles and searched by a multi-step search method, but the multi-step search method searches while sequentially decreasing the step size from a predetermined value. and corrects the region of interest based on the search result.
  • a pupil is searched within the set region of interest, and if the pupil search is successful, an iris is searched. If the iris search is successful, the user's pupil and iris are registered or authenticated.
  • the region of interest is reset.
  • the pupil is tracked, if the pupil is successfully tracked, the iris is tracked, and if the iris is successfully tracked, the user's pupil and iris are registered or authenticated.
  • the region of interest is reset.
  • both the pupil and the iris are obtained by assuming that they are circles. If each circle is searched by the multi-step search method and fails, the area of interest is set again, and if successful, registration and authentication are performed.
  • the search for the pupil and iris is as follows.
  • the pupil is searched first, and the iris is searched using the pupil search result.
  • FIG. 9 (a) is a case where the center and boundary of the pupil and the iris, that is, the radius are found normally, and in (b) of FIG. 9, the left iris and the right pupil boundary In case you didn't find it properly.
  • the space is searched with a step size of 4, and the region of interest is modified based on the result.
  • the radius is also searched with a step size of 2 or 3 centering on the initial radius.
  • the actual operation to find the pupil and iris is to calculate how much the direction of the candidate circle matches the direction of the corresponding pixel.
  • the score is calculated by considering the symmetry of the circle.
  • the scoring method for finding the pupil and the scoring method for the iris are very similar, but are made considering the characteristics of each object.
  • the center point of the region of interest of the pupil is created by the result of the blob analysis, and the center point of the region of interest of the iris is the center of the pupil.
  • the pupil and the iris are assumed to be concentric circles, but strictly speaking, there is a slight difference between the center points.
  • the algorithm of the present invention determines that the eye is not looking toward the camera and returns a search failure as a result.
  • pupil and iris tracking are as follows.
  • the iris image found using several input images and the best code among the iris codes generated therewith are stored.
  • the region of interest is set around the currently found pupil and around the iris, respectively, so that the amount of calculation can be greatly reduced.
  • the change of the radius also does not appear significantly between two adjacent frames.
  • the movement of the pupil and iris is created by changing the position of the eyes or changing the line of sight in the image.
  • the pupil is first searched and the result is used to find the iris.
  • the motion vector obtained here is added to the center of the pupil of the previous frame, the center of the region of interest is determined, and the region of interest is created considering the change in size, the pupil's region of interest is made smaller than in the search process.
  • the pupil can be found with very little calculation.
  • the center of the iris region of interest is determined by adding the motion vector of the pupil to the center of the iris of the previous frame, and the region of interest is determined by considering the iris size change.
  • the iris region of interest in the tracking process is set smaller than that in the search process.
  • the amount of calculation required for pupil and iris tracking is about 30% to 40% of the amount required for search.
  • FIG. 11 is a diagram illustrating an example of a mask in a lightweight method of iris recognition according to the present invention.
  • a mask is created from searched and tracked data, which is a fifth step (S500).
  • the pupil and the iris have the shape of a circle, but they do not have a perfect circle.
  • the upper part of the eye is covered by the eyelid.
  • This obscured iris region does not have pixel values that differ greatly from person to person, and its complexity is significantly lower than that of the normal iris region.
  • Etelid and eyelash detection itself is a very complex task with a computational load comparable to that of iris detection.
  • the mask created as a result of eyelid and eyelash detection focuses on increasing the accuracy of iris recognition.
  • pixel statistics are analyzed for the pupil area, the iris area, and the area outside the iris.
  • the eyelids and eyelashes are found using this information.
  • the eyelid approximates the boundary with the iris as a part of a circle.
  • a comparison with (a) of FIG. 11 shows the validity of approximating to a circle.
  • the pupil or eyelid is displayed in black, and the part covered by the eyelashes is displayed in gray.
  • black and gray areas are processed separately.
  • Such a mask may be approximated through statistical analysis of an eye image including the iris.
  • iris endpoints are extracted, eyelids are approximated, statistical analysis is performed on the iris image, iris and eyelash threshold values are determined, and then a mask is created.
  • FIG. 12 is a diagram illustrating an example of iris image improvement in the lightweight method of iris recognition according to the present invention.
  • an iris image is improved from generated mask data, which is a sixth step (S600).
  • the iris pattern forcibly expressed by the IR-LED has a small dynamic range and a relatively large difference in the average or dynamic range of the pixel values depending on the image acquisition conditions.
  • CLAHE contrast limited adaptive histogram equalization
  • histogram smoothing is done over the entire image or within a region of interest.
  • the reason for using the adaptive method is that there is little improvement in the dynamic range in a specific area or a case where the dynamic range is deteriorated. Contrast limiting is to prevent excessive improvement.
  • the algorithm according to the present invention also considers the specificity of iris recognition.
  • FIG. 12 shows an example of iris image enhancement, in which the iris mask as shown in FIG.
  • the reason for using the adaptive method even though the image is improved only within the iris is to overcome the limitations of IR-LED illumination.
  • Contrast adaptive constrained histogram smoothing used for image enhancement is applied only to the unmasked area, thereby increasing the improvement effect and reducing the amount of computation.
  • FIG. 13 is a diagram showing image normalization in a lightweight method of iris recognition according to the present invention
  • FIG. 14 is a diagram showing iris image normalization in a lightweight method of iris recognition according to the present invention
  • FIG. 15 is a diagram showing iris recognition according to the present invention. It is a diagram showing the angular region used for iris code generation in the weight reduction method of .
  • iris normalization is performed from the improved iris image, which is a seventh step (S700) in the lightweight method of iris recognition according to the present invention.
  • the iris region is divided into an outer boundary expressed as an iris radius and an inner boundary expressed as a pupil radius.
  • the iris image is also changed by the relative positional change between the centers of the pupil and the iris circle according to the gaze.
  • iris recognition The basic idea of iris recognition is to compare the binary code generated during registration with the code generated during actual recognition.
  • the iris image is used as it is when creating the iris code, the difference between the image at the time of registration and the time of authentication may be too large, and thus recognition itself may not be performed properly.
  • Iris normalization is a process to minimize errors in iris recognition due to differences in images.
  • an image of a predetermined size is created regardless of the radius of the pupil or the iris, and coordinate conversion is performed.
  • a pixel position is generally expressed as a position in a circumferential direction, that is, a position relative to the outer and inner borders of the iris in an angular and radial image.
  • the pixel value of the normalized image can be determined by the pixel value at the corresponding original image position. In the rectangular coordinate system, even if it is an integer position, it is generally a real number position in the original image.
  • Mapping pixel values of integer positions corresponding to real positions is called interpolation, and the simplest method is to use a pixel value closest to the real position.
  • This method is simple to calculate, but the resulting image is not natural and in severe cases, the image may look like noise.
  • the algorithm according to the present invention uses bilinear interpolation, which is a method of using a weighted average of the distances of values of four neighboring pixels to real positions.
  • FIG. 13 An example of the resulting image is shown in FIG. 13 .
  • the normalized iris image becomes an input image for the iris code generation process. Looking at the size of this image, the algorithm according to the present invention does not create patterns for all angles in the circumferential direction when generating the iris code.
  • the eyelids do not cover the iris at all, but more often the upper part is covered at all, and in many cases it is covered by eyelashes.
  • no code is created for the upper 120-degree region, and 66 4-byte codes are created for the 240-degree region from 60 to 300 degrees.
  • FIG. 16 is a diagram showing an iris code configuration in a lightweight method of iris recognition according to the present invention
  • FIG. 17 is a block structure for iris code generation in a lightweight method of iris recognition according to the present invention
  • FIG. It is a diagram showing a matching window in the lightweight method of iris recognition according to the present invention.
  • an iris code is generated and matched from normalized iris data, which is an eighth step (S800) in the lightweight method of iris recognition according to the present invention.
  • the iris code is created by dividing the 240 degree area from 60 degrees to 300 degrees evenly.
  • the 240-degree area is divided into 264 angles to obtain pixel values.
  • 16 shows the structure of the iris code.
  • the normalized image is divided into 16 overlapping regions in the radial direction (vertical direction).
  • the spacing of the regions is 4, and the size of each region is 8.
  • For one vertical area there are 8 areas, 4 on each side in the circumferential direction.
  • the size of the 4 areas on both sides is called Scale, and 24 and 12 scales are used.
  • FIG. 17 shows the structure of a block used to calculate iris code bits for one coordinate.
  • each block is the sum of all pixels in that block.
  • This block value is convoluted with the following two filters, and two bit values are set as “1” if the result is positive and “0” otherwise.
  • the registration code is composed of 240 bytes excluding codes made from three angles on each side of the previously created 264-byte code.
  • the mask is not stored, but instead, the pixel value at the position where the mask bit becomes “0” is randomly determined as “1” or “0”.
  • Matching is performed by calculating a Hamming Distance between the two iris codes.
  • Hamming distance refers to the number of different bits when comparing two binary codes.
  • An easy way to find the Hamming distance is to perform a binary XOR operation on the two codes and count the number of 1s in the resulting code.
  • the size of the authentication code is 240 bytes, that is, 1920 bits.
  • the Hamming distance is calculated by dividing the total number of bits existing after masking, that is, the maximum possible Hamming distance.
  • the maximum Hamming distance is 1.0, and the average Hamming distance with others is 0.5.
  • Iris recognition compares all registered iris codes with the iris code generated during authentication and outputs a registration index having a minimum Hamming distance.
  • the reason why the authentication code is made larger than the registration code by 24 bytes is that there may be a slight difference between the eye tilt during registration and the tilt during authentication.
  • the registration code (ECode) is made in angular steps corresponding to 3 to 62, and the authentication code (ACode) matches 60 out of 66 angular steps in a sliding window method.
  • Embodiments of the present invention may generate a lightweight method of iris recognition and an iris recognition program, and include computer readable media including program instructions for performing various computer-implemented operations.
  • Such computer readable media may include program instructions, local data files, local data structures, etc. alone or in combination.
  • This medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, and ROMs, RAMs, flash memories, and the like.
  • a hardware device specially configured to store and execute the same program instructions is included.
  • Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.
  • a computer-readable recording medium storing an iris recognition program includes a first step of extracting iris information of a user (S100); A second step (S200) of setting a region of interest from the extracted iris information; A third step (S300) of performing pre-processing on the set region of interest; A fourth step (S400) of searching for and tracking pupils and irises from preprocessed data; A fifth step (S500) of generating a mask from searched and tracked data; A sixth step of improving an iris image from the generated mask data (S600); A seventh step of performing iris normalization from the improved iris image (S700); and an eighth step of generating and matching an iris code from normalized iris data (S800).
  • the present invention uses techniques such as approximation of real number arithmetic to integer arithmetic, proper utilization of LUT (Lookup Table), and applies various techniques used in video compression algorithms, as well as adjusting the region of interest or iris code to improve the speed of the algorithm.
  • LUT Lookup Table

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)

Abstract

The objective of the present invention is to provide: a method for lightening iris recognition, that is to be light, fast and accurate, by using techniques such as integer operation approximation of a real number operation and suitable utilization of a lookup table (LUT), applying various techniques used in video compression algorithms, and generating and using an integral image in several steps such as region-of-interest adjustment and iris code generation in order to improve algorithmic speed; and a computer-readable recording medium in which an iris recognition program is stored. To achieve the objective, a method for lightening iris recognition, according to the present invention, comprises: a first step of extracting iris information about a user; a second step of setting a region of interest from the extracted iris information; a third step of pre-processing the set region of interest; a fourth step of detecting and tracking a pupil and an iris from the pre-processed data; a fifth step of generating a mask from the detected and tracked data; a sixth step of enhancing an iris image from the generated mask data; a seventh step of normalizing the iris in the enhanced iris image; and an eighth step of generating an iris code from the normalized iris data and performing matching.

Description

홍채 인식의 경량화 방법 및 홍채 인식 프로그램을 저장한 컴퓨터로 판독가능한 기록 매체A computer-readable recording medium storing a lightweight method of iris recognition and an iris recognition program
본 발명은 홍채 인식의 경량화 방법 및 홍채 인식 프로그램을 저장한 컴퓨터로 판독가능한 기록 매체에 관한 것으로, 더욱 상세하게는 동공 및 홍채를 찾고 코드를 만드는 과정에서 적은 정수 연산으로도 정확한 인식을 수행하는 홍채 인식의 경량화 방법 및 홍채 인식 프로그램을 저장한 컴퓨터로 판독가능한 기록 매체에 관한 것이다.The present invention relates to a lightweight method of iris recognition and a computer readable recording medium storing an iris recognition program, and more particularly, to an iris that performs accurate recognition with a small integer arithmetic operation in the process of finding a pupil and an iris and creating a code. It relates to a light weight recognition method and a computer readable recording medium storing an iris recognition program.
일반적으로 홍채 인식은 사람의 생체 기관 중 하나인 홍채를 이용한 생체인식이다.In general, iris recognition is biometric recognition using the iris, which is one of human biological organs.
이러한 홍채 인식은 본인 여부를 확인하는데 주로 사용되며 망각, 분실, 도난, 복제가 어렵고, 사용이 편리하여 전자 상거래, 접근 통제 시스템, 출입국 관리, 범죄자 또는 미아 찾기, 디지털 문서 보안, 금고 등에 유용하게 사용되는 장점이 있다.This iris recognition is mainly used to verify identity, and is difficult to forget, lost, stolen, or duplicated, and is convenient to use, making it useful for e-commerce, access control systems, immigration control, finding criminals or missing children, digital document security, safes, etc. There is an advantage to being
그러나, 홍채를 이용한 인식 방법은 영상이 움직임이나 회전에 민감하게 반응하여 사용자를 인식하는데 자주 오류가 발생하고, 사용자의 인식을 제약하여 거부감과 불편함을 느끼게 되며, 뿐만 아니라 미인식으로 인해 사용자가 사용에 있어서 어려운 단점도 있다.However, the recognition method using the iris frequently causes errors in recognizing the user because the image reacts sensitively to movement or rotation, and restricts the user's recognition, resulting in a sense of rejection and discomfort. There are also some downsides to using it.
일반적인 홍채 인식은 관심 영역을 조절하고, 전처리를 수행하며, 동공 및 홍채를 탐색 및 추적하고, 마스크를 생성하며, 홍채 영상을 개선하고, 홍채 영상을 정규화하며, 홍채 코드를 생성 및 매칭하는 과정을 통해 홍채를 인식하게 된다.General iris recognition involves the process of adjusting the region of interest, performing preprocessing, searching and tracking the pupil and iris, creating a mask, improving the iris image, normalizing the iris image, and generating and matching the iris code. through iris recognition.
하지만, 상술한 바와 같은 일반적인 홍채 인식은 동공 및 홍채를 찾고 코드를 만드는 과정에서 많은 실수 연산을 필요로 하는 문제점이 있었다.However, general iris recognition as described above has a problem in that many real numbers are required in the process of finding pupils and irises and creating codes.
즉, 홍채 인식은 일반적으로 매우 복잡한 수학적 모델링과 계산 과정을 필요로 하기 때문에 저사양의 CPU에서 실시간으로 동작하는 것을 어렵게 하는 문제점이 있었다.That is, since iris recognition generally requires very complex mathematical modeling and calculation processes, there is a problem in that it is difficult to operate in real time on a low-end CPU.
상기한 바와 같은 종래의 문제점을 해결하기 위한 본 발명의 목적은 실수 연산의 정수 연산 근사화, LUT(Lookup Table)의 적절한 활용 등의 기법을 사용하고, 동영상 압축 알고리즘에서 사용하는 여러 기법을 적용할 뿐만 아니라 알고리즘의 속도 향상을 위해 관심 영역 조정이나 홍채 코드 생성 등 여러 단계에서 적분 영상(Integral Image)를 만들어 사용함으로써, 가벼우면서도 빠르고 정확한 홍채 인식의 경량화 방법 및 홍채 인식 프로그램을 저장한 컴퓨터로 판독가능한 기록 매체를 제공하는 것이다.The purpose of the present invention to solve the conventional problems as described above is to use techniques such as approximation of integer arithmetic of real number arithmetic, appropriate utilization of LUT (Lookup Table), and to apply various techniques used in video compression algorithms. In addition, in order to improve the speed of the algorithm, an integral image is created and used at various stages such as adjusting the region of interest or generating the iris code, so a lightweight, fast and accurate iris recognition method and a computer-readable record that stores the iris recognition program to provide the medium.
상기 목적을 달성하기 위해, 본 발명에 따른 홍채 인식의 경량화 방법은, 사용자의 홍채 정보를 추출하는 제 1 단계; 추출된 홍채 정보로부터 관심 영역을 설정하는 제 2 단계; 설정된 관심 영역에 대한 전처리를 수행하는 제 3 단계; 전처리가 수행된 데이터로부터 동공 및 홍채를 탐색 및 추적하는 제 4 단계; 탐색 및 추적된 데이터로부터 마스크를 생성하는 제 5 단계; 생성된 마스크 데이터로부터 홍채 영상을 개선하는 제 6 단계; 개선된 홍채 영상으로부터 홍채 정규화를 수행하는 제 7 단계; 및 정규화된 홍채 데이터로부터 홍채 코드를 생성 및 매칭하는 제 8 단계;를 포함하는 것을 특징으로 한다.In order to achieve the above object, a lightweight method of iris recognition according to the present invention includes a first step of extracting iris information of a user; a second step of setting a region of interest from the extracted iris information; a third step of pre-processing the set region of interest; a fourth step of searching for and tracking a pupil and an iris from preprocessed data; a fifth step of generating a mask from the searched and tracked data; a sixth step of improving an iris image from the generated mask data; a seventh step of performing iris normalization from the improved iris image; and an eighth step of generating and matching an iris code from normalized iris data.
또한, 본 발명에 따른 홍채 인식의 경량화 방법은, 상기 제 1 단계에서, 추출한 상기 홍채 정보로 적분 영상(Integral Image)을 생성하며, 생성된 상기 적분 영상을 반복 사용하여 계산량을 감소시키며, 상기 적분 영상은 I(x,y)를 좌표 (x,y)에서의 화소값으로 하고, II(x,y)를 적분 영상의 값으로 하면, 상기 II(x,y)는 원점과 좌표 (x,y)까지의 모든 화소들의 합인 것을 특징으로 한다.In addition, the lightweight method of iris recognition according to the present invention generates an integral image with the extracted iris information in the first step, reduces the amount of calculation by repeatedly using the generated integral image, and For an image, if I(x,y) is the pixel value at the coordinates (x,y) and II(x,y) is the value of the integral image, the II(x,y) is the origin and the coordinates (x, It is characterized in that it is the sum of all pixels up to y).
또한, 본 발명에 따른 홍채 인식의 경량화 방법은, 상기 제 2 단계에서, 상기 관심 영역은, 넓은 영역에 대해 모든 블랍(Blob)을 생성하고, 생성된 모든 블랍 중 동공일 가능성이 가장 큰 2개의 후보 블랍을 선택하되, 상기 후보 블랍의 위치와 크기에 따라 상기 관심 영역을 조정하는 것을 특징으로 한다.In addition, in the lightweight method of iris recognition according to the present invention, in the second step, the region of interest generates all blobs for a wide region, and among all the generated blobs, two blobs most likely to be pupils are selected. A candidate blob is selected, and the region of interest is adjusted according to the position and size of the candidate blob.
또한, 본 발명에 따른 홍채 인식의 경량화 방법은, 상기 제 3 단계에서, 상기 전처리는 상기 관심 영역 내 각 픽셀에 대한 방향성을 계산하는 것이며, 상기 픽셀의 방향성을 정하기 위해 사용되는 필터는 소벨 연산자(Soble Operator)이고, 상기 소벨 연산자에 의한 연산 이후 가로 방향의 변화 정도(dx)와, 수직 방향의 변화 정도(dy)의 절대값의 크기가 0에 근접할 경우 계산을 하지 않거나(제로 벡터 처리), 상기 절대값이 256보다 작을 경우 Look-Up Table(LUT)을 참조하거나 상기 절대값이 클 경우 근사 계산을 하는 것을 특징으로 한다.In addition, in the lightweight method of iris recognition according to the present invention, in the third step, the preprocessing calculates the directionality of each pixel in the region of interest, and the filter used to determine the directionality of the pixel is a Sobel operator ( Soble Operator), and if the magnitude of the absolute value of the degree of change in the horizontal direction (dx) and the degree of change in the vertical direction (dy) approaches 0 after the operation by the Sobel operator, calculation is not performed (zero vector processing) , When the absolute value is less than 256, a look-up table (LUT) is referred to, or when the absolute value is large, approximate calculation is performed.
또한, 본 발명에 따른 홍채 인식의 경량화 방법은, 상기 제 4 단계에서, 상기 동공 및 상기 홍채는 원으로 가정하여 멀티 스텝 서치 방식으로 탐색하되, 상기 멀티 스텝 서치 방식은, 스텝 사이즈를 미리 정해진 값으로부터 상기 스텝 사이즈를 순차 감소시키면서 탐색하며, 탐색 결과에 의거하여 상기 관심 영역을 수정하는 것을 특징으로 한다.In addition, in the lightweight method of iris recognition according to the present invention, in the fourth step, the pupil and the iris are assumed to be circles and searched by a multi-step search method, and the multi-step search method sets the step size to a predetermined value. It is characterized in that the search is performed while sequentially decreasing the step size from , and the region of interest is modified based on a search result.
또한, 본 발명에 따른 홍채 인식의 경량화 방법에서, 상기 관심 영역을 설정한 후, 설정된 관심 영역 내에서 상기 동공을 탐색하며, 상기 동공의 탐색에 성공할 경우, 상기 홍채를 탐색하고, 상기 홍채의 탐색에 성공할 경우, 사용자의 동공 및 홍채를 등록 또는 인증하는 것을 특징으로 한다.In addition, in the lightweight method of iris recognition according to the present invention, after setting the region of interest, the pupil is searched within the set region of interest, and if the pupil is successfully searched, the iris is searched, and the iris is searched. If successful, the user's pupil and iris are registered or authenticated.
또한, 본 발명에 따른 홍채 인식의 경량화 방법에서, 상기 동공의 탐색에 실패하거나 또는 상기 홍채의 탐색에 실패할 경우, 상기 관심 영역을 재설정하는 것을 특징으로 한다.In addition, in the lightweight method of iris recognition according to the present invention, if the search for the pupil fails or the search for the iris fails, the region of interest is reset.
또한, 본 발명에 따른 홍채 인식의 경량화 방법에서, 상기 등록 또는 상기 인증에 실패할 경우, 상기 동공을 추적하며, 상기 동공의 추적에 성공할 경우, 상기 홍채를 추적하고, 상기 홍채의 추적에 성공할 경우, 사용자의 동공 및 홍채를 등록 또는 인증하는 것을 특징으로 한다.In addition, in the lightweight method of iris recognition according to the present invention, if the registration or authentication fails, the pupil is tracked, if the pupil is successfully tracked, the iris is tracked, and if the iris is successfully tracked , It is characterized in that the user's pupil and iris are registered or authenticated.
또한, 본 발명에 따른 홍채 인식의 경량화 방법에서, 상기 동공의 추적에 실패하거나 또는 상기 홍채의 추적에 실패할 경우, 상기 관심 영역을 재설정하는 것을 특징으로 한다.In addition, in the lightweight method of iris recognition according to the present invention, if the tracking of the pupil fails or the tracking of the iris fails, the region of interest is reset.
상기 목적을 달성하기 위해, 본 발명에 따른 홍채 인식 프로그램을 저장한 컴퓨터로 판독가능한 기록 매체는, 사용자의 홍채 정보를 추출하는 제 1 단계; 추출된 상기 홍채 정보로부터 관심 영역을 설정하는 제 2 단계; 설정된 관심 영역에 대한 전처리를 수행하는 제 3 단계; 전처리가 수행된 데이터로부터 동공 및 홍채를 탐색 및 추적하는 제 4 단계; 탐색 및 추적된 데이터로부터 마스크를 생성하는 제 5 단계; 생성된 마스크 데이터로부터 홍채 영상을 개선하는 제 6 단계; 개선된 홍채 영상으로부터 홍채 정규화를 수행하는 제 7 단계; 및 정규화된 홍채 데이터로부터 홍채 코드를 생성 및 매칭하는 제 8 단계;를 포함한다.In order to achieve the above object, a computer-readable recording medium storing an iris recognition program according to the present invention includes a first step of extracting iris information of a user; a second step of setting a region of interest from the extracted iris information; a third step of pre-processing the set region of interest; a fourth step of searching for and tracking a pupil and an iris from preprocessed data; a fifth step of generating a mask from the searched and tracked data; a sixth step of improving an iris image from the generated mask data; a seventh step of performing iris normalization from the improved iris image; and an eighth step of generating and matching an iris code from the normalized iris data.
기타 실시 예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.Details of other embodiments are included in the "specific details for carrying out the invention" and the accompanying "drawings".
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시 예를 참조하면 명확해질 것이다.Advantages and/or features of the present invention, and methods of achieving them, will become apparent with reference to the various embodiments described below in detail in conjunction with the accompanying drawings.
그러나 본 발명은 이하에서 개시되는 각 실시 예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시 예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.However, the present invention is not limited only to the configuration of each embodiment disclosed below, but may also be implemented in various other forms, and each embodiment disclosed herein only makes the disclosure of the present invention complete, and the present invention It is provided to completely inform those skilled in the art of the scope of the present invention, and it should be noted that the present invention is only defined by the scope of each claim of the claims.
본 발명에 의하면, 실수 연산의 정수 연산 근사화, LUT(Lookup Table)의 적절한 활용 등의 기법을 사용하고, 동영상 압축 알고리즘에서 사용하는 여러 기법을 적용할 뿐만 아니라 알고리즘의 속도 향상을 위해 관심 영역 조정이나 홍채 코드 생성 등 여러 단계에서 적분 영상(Integral Image)를 만들어 사용함으로써, 가벼우면서도 빠르고 정확한 홍채 인식의 경량화 방법 및 홍채 인식 프로그램을 저장한 컴퓨터로 판독가능한 기록 매체를 제공하는 효과가 있다.According to the present invention, techniques such as approximation of real number arithmetic to integer arithmetic and proper utilization of LUT (Lookup Table) are used, and various techniques used in video compression algorithms are applied, as well as adjustment of the region of interest to improve the speed of the algorithm. By creating and using an integral image in several steps, such as iris code generation, there is an effect of providing a lightweight, fast and accurate iris recognition method and a computer-readable recording medium storing an iris recognition program.
도 1은 본 발명에 따른 홍채 인식의 경량화 시스템의 전체 구성을 나타내는 블록도.1 is a block diagram showing the overall configuration of a lightweight system for iris recognition according to the present invention.
도 2는 본 발명에 따른 홍채 인식의 경량화 방법의 전체 흐름을 나타내는 플로우 차트.Figure 2 is a flow chart showing the overall flow of the lightweight method of iris recognition according to the present invention.
도 3은 본 발명에 따른 홍채 인식의 경량화 방법에서 적분 영상을 이용한 영역 계산을 나타내는 도면.3 is a diagram illustrating area calculation using an integral image in the lightweight method of iris recognition according to the present invention.
도 4는 본 발명에 따른 홍채 인식의 경량화 방법에서 관심 영역의 예를 나타내는 도면.4 is a diagram showing an example of a region of interest in the lightweight method of iris recognition according to the present invention.
도 5는 본 발명에 따른 홍채 인식의 경량화 방법에서 Blob의 예를 나타내는 도면.5 is a diagram showing an example of a blob in the lightweight method of iris recognition according to the present invention.
도 6은 본 발명에 따른 홍채 인식의 경량화 방법에서 동공과 홍채 경계의 방향성을 나타내는 도면.6 is a diagram showing the directionality of the boundary between the pupil and the iris in the lightweight method of iris recognition according to the present invention.
도 7은 본 발명에 따른 홍채 인식의 경량화 방법에서 방향성의 정수 근사화를 나타내는 도면.7 is a diagram illustrating integer approximation of directionality in a lightweight method of iris recognition according to the present invention.
도 8은 본 발명에 따른 홍채 인식의 경량화 방법에서 방향성 계산의 흐름을 나타내는 플로우 차트.8 is a flow chart showing the flow of directional calculation in the lightweight method of iris recognition according to the present invention.
도 9는 본 발명에 따른 홍채 인식의 경량화 방법에서 동공 및 홍채 탐색 결과 예를 나타내는 도면.9 is a diagram showing examples of pupil and iris search results in the lightweight method of iris recognition according to the present invention.
도 10은 본 발명에 따른 홍채 인식의 경량화 방법에서 동공과 홍채의 탐색 및 추적을 나타내는 플로우 차트.10 is a flow chart showing pupil and iris search and tracking in a lightweight method of iris recognition according to the present invention.
도 11은 본 발명에 따른 홍채 인식의 경량화 방법에서 마스크 예를 나타내는 도면.11 is a diagram showing an example of a mask in a lightweight method of iris recognition according to the present invention.
도 12는 본 발명에 따른 홍채 인식의 경량화 방법에서 홍채 영상 개선의 예를 나타내는 도면.12 is a diagram showing an example of iris image improvement in the lightweight method of iris recognition according to the present invention.
도 13은 본 발명에 따른 홍채 인식의 경량화 방법에서 영상 정규화를 나타내는 도면.13 is a diagram illustrating image normalization in a lightweight method of iris recognition according to the present invention.
도 14는 본 발명에 따른 홍채 인식의 경량화 방법에서 홍채 영상 정규화를 나타내는 도면.14 is a diagram illustrating iris image normalization in a lightweight method of iris recognition according to the present invention.
도 15는 본 발명에 따른 홍채 인식의 경량화 방법에서 홍채 코드 생성에 사용되는 각도 영역을 나타내는 도면.15 is a diagram showing an angular region used to generate an iris code in a lightweight method of iris recognition according to the present invention.
도 16은 본 발명에 따른 홍채 인식의 경량화 방법에서 홍채 코드 구성을 나타내는 도면.16 is a diagram showing an iris code configuration in a lightweight method of iris recognition according to the present invention.
도 17은 본 발명에 따른 홍채 인식의 경량화 방법에서 홍채 코드 생성을 위한 블록 구조를 나타내는 도면.17 is a diagram showing a block structure for iris code generation in a lightweight method of iris recognition according to the present invention.
도 18은 본 발명에 따른 홍채 인식의 경량화 방법에서 매칭 윈도우를 나타내는 도면.18 is a diagram showing a matching window in the lightweight method of iris recognition according to the present invention.
본 발명은 실수 연산의 정수 연산 근사화, LUT(Lookup Table)의 적절한 활용 등의 기법을 사용하고, 동영상 압축 알고리즘에서 사용하는 여러 기법을 적용할 뿐만 아니라 알고리즘의 속도 향상을 위해 관심 영역 조정이나 홍채 코드 생성 등 여러 단계에서 적분 영상(Integral Image)를 만들어 사용함으로써, 가벼우면서도 빠르고 정확한 홍채 인식의 경량화 방법 및 홍채 인식 프로그램을 저장한 컴퓨터로 판독가능한 기록 매체를 제공하도록 한다.The present invention uses techniques such as approximation of real number arithmetic to integer arithmetic, proper utilization of LUT (Lookup Table), and applies various techniques used in video compression algorithms, as well as adjusting the region of interest or iris code to improve the speed of the algorithm. By creating and using an integral image in several steps such as generation, a lightweight, fast and accurate iris recognition method and a computer-readable recording medium storing an iris recognition program are provided.
본 발명을 상세하게 설명하기 전에, 본 명세서에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 무조건 한정하여 해석되어서는 아니 되며, 본 발명의 발명자가 자신의 발명을 가장 최선의 방법으로 설명하기 위해서 각종 용어의 개념을 적절하게 정의하여 사용할 수 있고, 더 나아가 이들 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 함을 알아야 한다.Before explaining the present invention in detail, the terms or words used in this specification should not be construed unconditionally in a conventional or dictionary sense, and in order for the inventor of the present invention to explain his/her invention in the best way It should be noted that concepts of various terms may be appropriately defined and used, and furthermore, these terms or words should be interpreted as meanings and concepts corresponding to the technical spirit of the present invention.
즉, 본 명세서에서 사용된 용어는 본 발명의 바람직한 실시 예를 설명하기 위해서 사용되는 것일 뿐이고, 본 발명의 내용을 구체적으로 한정하려는 의도로 사용된 것이 아니며, 이들 용어는 본 발명의 여러 가지 가능성을 고려하여 정의된 용어임을 알아야 한다.That is, the terms used in this specification are only used to describe preferred embodiments of the present invention, and are not intended to specifically limit the contents of the present invention, and these terms represent various possibilities of the present invention. It should be noted that it is a defined term.
또한, 본 명세서에서, 단수의 표현은 문맥상 명확하게 다른 의미로 지시하지 않는 이상, 복수의 표현을 포함할 수 있으며, 유사하게 복수로 표현되어 있다고 하더라도 단수의 의미를 포함할 수 있음을 알아야 한다.In addition, it should be noted that in this specification, singular expressions may include plural expressions unless the context clearly indicates otherwise, and similarly, even if they are expressed in plural numbers, they may include singular meanings. .
본 명세서의 전체에 걸쳐서 어떤 구성 요소가 다른 구성 요소를 "포함"한다고 기재하는 경우에는, 특별히 반대되는 의미의 기재가 없는 한 임의의 다른 구성 요소를 제외하는 것이 아니라 임의의 다른 구성 요소를 더 포함할 수도 있다는 것을 의미할 수 있다.Throughout this specification, when a component is described as "including" another component, it does not exclude any other component, but further includes any other component, unless otherwise stated. It can mean you can do it.
더 나아가서, 어떤 구성 요소가 다른 구성 요소의 "내부에 존재하거나, 연결되어 설치된다"라고 기재한 경우에는, 이 구성 요소가 다른 구성 요소와 직접적으로 연결되어 있거나 접촉하여 설치되어 있을 수 있고, 일정한 거리를 두고 이격되어 설치되어 있을 수도 있으며, 일정한 거리를 두고 이격되어 설치되어 있는 경우에 대해서는 해당 구성 요소를 다른 구성 요소에 고정 내지 연결하기 위한 제 3의 구성 요소 또는 수단이 존재할 수 있으며, 이 제 3의 구성 요소 또는 수단에 대한 설명은 생략될 수도 있음을 알아야 한다.Furthermore, when a component is described as “existing inside or connected to and installed” of another component, this component may be directly connected to or installed in contact with the other component, and a certain It may be installed at a distance, and when it is installed at a certain distance, a third component or means for fixing or connecting the corresponding component to another component may exist, and now It should be noted that the description of the components or means of 3 may be omitted.
반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, 또는 "직접 접속"되어 있다고 기재되는 경우에는, 제 3의 구성 요소 또는 수단이 존재하지 않는 것으로 이해하여야 한다.On the other hand, when it is described that a certain element is "directly connected" to another element, or is "directly connected", it should be understood that no third element or means exists.
마찬가지로, 각 구성 요소 간의 관계를 설명하는 다른 표현들, 즉 " ~ 사이에"와 "바로 ~ 사이에", 또는 " ~ 에 이웃하는"과 " ~ 에 직접 이웃하는" 등도 마찬가지의 취지를 가지고 있는 것으로 해석되어야 한다.Similarly, other expressions describing the relationship between components, such as "between" and "directly between", or "adjacent to" and "directly adjacent to" have the same meaning. should be interpreted as
또한, 본 명세서에서 "일면", "타면", "일측", "타측", "제 1", "제 2" 등의 용어는, 사용된다면, 하나의 구성 요소에 대해서 이 하나의 구성 요소가 다른 구성 요소로부터 명확하게 구별될 수 있도록 하기 위해서 사용되며, 이와 같은 용어에 의해서 해당 구성 요소의 의미가 제한적으로 사용되는 것은 아님을 알아야 한다.In addition, in this specification, the terms "one side", "the other side", "one side", "the other side", "first", "second", etc., if used, refer to one component It is used to be clearly distinguished from other components, and it should be noted that the meaning of the corresponding component is not limitedly used by such a term.
또한, 본 명세서에서 "상", "하", "좌", "우" 등의 위치와 관련된 용어는, 사용된다면, 해당 구성 요소에 대해서 해당 도면에서의 상대적인 위치를 나타내고 있는 것으로 이해하여야 하며, 이들의 위치에 대해서 절대적인 위치를 특정하지 않는 이상은, 이들 위치 관련 용어가 절대적인 위치를 언급하고 있는 것으로 이해하여서는 아니된다.In addition, in this specification, terms related to positions such as "top", "bottom", "left", and "right", if used, should be understood as indicating a relative position in the drawing with respect to the corresponding component, Unless an absolute position is specified for these positions, these positional terms should not be understood as referring to an absolute position.
또한, 본 명세서에서는 각 도면의 각 구성 요소에 대해서 그 도면 부호를 명기함에 있어서, 동일한 구성 요소에 대해서는 이 구성 요소가 비록 다른 도면에 표시되더라도 동일한 도면 부호를 가지고 있도록, 즉 명세서 전체에 걸쳐 동일한 참조 부호는 동일한 구성 요소를 지시하고 있다.In addition, in this specification, in specifying the reference numerals for each component of each drawing, for the same component, even if the component is displayed in different drawings, it has the same reference numeral, that is, the same reference throughout the specification. Symbols indicate identical components.
본 명세서에 첨부된 도면에서 본 발명을 구성하는 각 구성 요소의 크기, 위치, 결합 관계 등은 본 발명의 사상을 충분히 명확하게 전달할 수 있도록 하기 위해서 또는 설명의 편의를 위해서 일부 과장 또는 축소되거나 생략되어 기술되어 있을 수 있고, 따라서 그 비례나 축척은 엄밀하지 않을 수 있다.In the drawings accompanying this specification, the size, position, coupling relationship, etc. of each component constituting the present invention is partially exaggerated, reduced, or omitted in order to sufficiently clearly convey the spirit of the present invention or for convenience of explanation. may be described, and therefore the proportions or scale may not be exact.
또한, 이하에서, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성, 예를 들어, 종래 기술을 포함하는 공지 기술에 대해 상세한 설명은 생략될 수도 있다.In addition, in the following description of the present invention, a detailed description of a configuration that is determined to unnecessarily obscure the subject matter of the present invention, for example, a known technology including the prior art, may be omitted.
이하, 본 발명의 실시 예에 대해 관련 도면들을 참조하여 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to related drawings.
도 1은 본 발명에 따른 홍채 인식의 경량화 시스템의 전체 구성을 나타내는 블록도이다.1 is a block diagram showing the overall configuration of a lightweight system for iris recognition according to the present invention.
도 1을 참조하면, 본 발명에 따른 홍채 인식의 경량화 시스템(1000)은 입력부(100)와, 인증부(200)를 포함한다.Referring to FIG. 1 , a lightweight system 1000 for iris recognition according to the present invention includes an input unit 100 and an authentication unit 200 .
입력부(110)에는 사용자의 홍체 정보가 입력될 수 있다.Iris information of the user may be input to the input unit 110 .
본 실시예에서는 설명의 용이함을 위해 예를 들어, 사용자의 홍채 정보가 입력되는 것을 예로 설명하지만 이에 한정되는 것은 아니며, 사용자의 생체를 인식할 수 있는 모든 수단을 포함할 수도 있다.In this embodiment, for ease of explanation, for example, iris information of a user is input, but is not limited thereto, and may include all means capable of recognizing the user's body.
인증부(120)는 입력된 생체 정보, 예를 들면 홍채 정보를 통해 사용자를 인증한다.The authentication unit 120 authenticates the user through input biometric information, for example, iris information.
즉, 인증부(120)는 입력부(110)를 통해 입력된 사용자의 홍체 정보를 인증하는 역할을 수행한다.That is, the authentication unit 120 serves to authenticate iris information of the user input through the input unit 110 .
도 2는 본 발명에 따른 홍채 인식의 경량화 방법의 전체 흐름을 나타내는 플로우 차트이다.2 is a flow chart showing the overall flow of a lightweight method for iris recognition according to the present invention.
도 2를 참조하면, 본 발명에 따른 홍채 인식의 경량화 방법은 총 8개의 단계를 포함한다.Referring to FIG. 2 , the method for lightening iris recognition according to the present invention includes a total of eight steps.
제 1 단계(S100)는 입력부(100)를 통해 수행되지만, 제 2 단계(S200) 내지 제 8 단계(S800)는 인증부(200)를 통해 수행된다.The first step (S100) is performed through the input unit 100, but the second step (S200) to the eighth step (S800) are performed through the authentication unit (200).
제 1 단계(S100)에서는, 사용자의 홍채 정보를 추출한다.In the first step (S100), iris information of the user is extracted.
제 2 단계(S200)에서는, 추출된 홍채 정보로부터 관심 영역을 설정한다.In the second step (S200), a region of interest is set from the extracted iris information.
제 3 단계(S300)에서는, 설정된 관심 영역에 대한 전처리를 수행한다.In the third step (S300), pre-processing is performed on the set region of interest.
제 4 단계(S400)에서는, 전처리가 수행된 데이터로부터 동공 및 홍채를 탐색 및 추적한다.In the fourth step (S400), the pupil and the iris are searched for and tracked from the preprocessed data.
제 5 단계(S500)에서는, 탐색 및 추적된 데이터로부터 마스크를 생성한다.In a fifth step (S500), a mask is created from searched and tracked data.
제 6 단계(S600)에서는, 생성된 마스크 데이터로부터 홍채 영상을 개선한다.In a sixth step (S600), an iris image is improved from the generated mask data.
제 7 단계(S700)에서는, 개선된 홍채 영상으로부터 홍채 정규화를 수행한다.In a seventh step (S700), iris normalization is performed from the improved iris image.
제 8 단계(S800)에서는, 정규화된 홍채 데이터로부터 홍채 코드를 생성 및 매칭한다.In an eighth step (S800), iris codes are generated and matched from normalized iris data.
이와 같은 본 발명에 따른 홍채 인식의 경량화 방법을 후술하는 도면을 참조하여 좀 더 상세히 설명하도록 한다.The weight reduction method of iris recognition according to the present invention will be described in more detail with reference to the drawings to be described later.
도 3은 본 발명에 따른 홍채 인식의 경량화 방법에서 적분 영상을 이용한 영역 계산을 나타내는 도면이다.3 is a diagram illustrating area calculation using an integral image in the lightweight method of iris recognition according to the present invention.
도 3을 참조하면, 본 발명에 따른 홍채 인식의 경량화 방법에서 적분 영상을 이용한 영역 계산은 제 1 단계(S100)의 사용자의 홍채 정보를 추출하는 과정에서 수행된다.Referring to FIG. 3 , in the lightweight method of iris recognition according to the present invention, area calculation using an integral image is performed in a process of extracting iris information of a user in a first step (S100).
좀 더 상세히 설명하면, 제 1 단계(S100)에서, 추출한 상기 홍채 정보로 적분 영상(Integral Image)을 생성하며, 생성된 상기 적분 영상을 반복 사용하여 계산량을 감소시키며, 상기 적분 영상은 I(x,y)를 좌표 (x,y)에서의 화소값으로 하고, II(x,y)를 적분 영상의 값으로 하면, 상기 II(x,y)는 원점과 좌표 (x,y)까지의 모든 화소들의 합이다.More specifically, in the first step (S100), an integral image is generated with the extracted iris information, and the generated integral image is repeatedly used to reduce the amount of calculation, and the integral image is I (x , y) as the pixel value at the coordinates (x, y) and II (x, y) as the value of the integral image, the II (x, y) is the origin and coordinates (x, y) is the sum of the pixels.
즉, 한번 만든 적분 영상을 반복적으로 사용하여 홍채 인식 알고리즘의 계산량을 감소시킬 수 있다.That is, the amount of calculation of the iris recognition algorithm can be reduced by repeatedly using the integral image created once.
본 발명에 따른 홍채 인식의 경량화 방법에서 홍채 인식 알고리즘에서는 전체 입력 영상 내 화소들의 통계적 특성을 분석하거나 특정 위치에서의 특징값을 계산할 때, 잡음을 없애거나 성능 향상을 위해 주변 화소들의 평균값을 사용한다.In the lightweight method of iris recognition according to the present invention, the iris recognition algorithm uses the average value of neighboring pixels to eliminate noise or improve performance when analyzing statistical characteristics of pixels in the entire input image or calculating a feature value at a specific location. .
이와 같은 방식을 이용하면, 계산량이 크게 늘어 실시간 인식이 어려울 수 있다.If this method is used, real-time recognition may be difficult because the amount of calculation is greatly increased.
따라서, 이러한 문제를 해결하기 위해, 본 발명에서는 적분 영상(Integral Image)을 만들어서 사용하는데, 이를 통해 계산량을 크게 줄일 수 있다.Therefore, in order to solve this problem, the present invention creates and uses an integral image, through which the amount of calculation can be greatly reduced.
I(x,y)를 좌표 (x,y)에서의 화소값이라 하고, II(x,y)를 그 적분 영상 값이라 하면, 이는 하기 식 1에 나타낸 바와 같이 그 값은 원점과 그 위치까지의 모든 화소들의 합이 된다.If I(x,y) is the pixel value at the coordinates (x,y) and II(x,y) is the integral image value, as shown in Equation 1 below, the value is from the origin to its location. is the sum of all pixels in
Figure PCTKR2021008209-appb-img-000001
식 (1)
Figure PCTKR2021008209-appb-img-000001
Equation (1)
모든 위치에 대해 이 값을 미리 구해 놓으면 특정 값을 계산할 때, 적은 계산으로도 원하는 값을 계산해 낼 수 있다.If this value is obtained in advance for all positions, when calculating a specific value, the desired value can be calculated with less calculation.
예를 들어, 도 3에서 직사각형 ABCD 내의 화소합은 단 세 번의 적분 영상 값의 합 또는 차로 구해진다.For example, in FIG. 3 , the sum of pixels in the rectangle ABCD is obtained by sum or difference of integrated image values only three times.
II(A)를 원점과 A 사이의 모든 화소들의 합이라 한다면, 직사각형 ABCD 내의 화소합은 II(A) + II(D) - II(B) - II(C)가 된다.If II(A) is the sum of all pixels between the origin and A, then the sum of pixels in rectangle ABCD is II(A) + II(D) - II(B) - II(C).
적분 영상을 사용하는 장점 중 하나는 영상 필터링이나 기울기 계산, 블록 평균 등 여러 계산에서 각 직사각형의 크기가 예산량에 영향을 주지 않는다는 것이다.One of the advantages of using an integral image is that the size of each rectangle does not affect the budget in various calculations such as image filtering, gradient calculation, and block averaging.
영상 크기의 정수 정밀도(precision)의 메모리가 추가적으로 필요하지만, 현대 하드웨어에서는 이 정도 메모리 증가는 문제되지 않는다.Additional memory with integer precision of the image size is required, but this increase in memory is not a problem with modern hardware.
도 4는 본 발명에 따른 홍채 인식의 경량화 방법에서 관심 영역의 예를 나타내는 도면이고, 도 5는 본 발명에 따른 홍채 인식의 경량화 방법에서 Blob의 예를 나타내는 도면이다.4 is a diagram showing an example of a region of interest in the lightweight method of iris recognition according to the present invention, and FIG. 5 is a diagram showing an example of a blob in the lightweight method of iris recognition according to the present invention.
여기서, 도 4의 (a)는 좁은 관심 영역를 나타내고, 도 4의 (b)는 넓은 관심 영역를 나타낸다.Here, (a) of FIG. 4 represents a narrow region of interest, and (b) of FIG. 4 represents a wide region of interest.
또한, 도 5의 (a)는 원 영상을 나타내고, 도 5의 (b)는 눈썹 블랍(Blob)을 나타내며, 도 5의 (c)는 동공 블랍을 나타낸다.In addition, FIG. 5(a) shows an original image, FIG. 5(b) shows an eyebrow blob, and FIG. 5(c) shows a pupil blob.
도 4 및 도 5를 참조하면, 본 발명에 따른 홍채 인식의 경량화 방법의 제 2 단계(S200)인 추출된 홍채 정보로부터 관심 영역을 설정이 수행된다.Referring to FIGS. 4 and 5 , in the second step (S200) of the lightweight method of iris recognition according to the present invention, a region of interest is set from extracted iris information.
좀 더 상세히 설명하면, 제 2 단계(S200)에서, 관심 영역은, 넓은 영역에 대해 모든 블랍(Blob)을 생성하고, 생성된 모든 블랍 중 동공일 가능성이 가장 큰 2개의 후보 블랍을 선택하되, 후보 블랍의 위치와 크기에 따라 상기 관심 영역을 조정한다.More specifically, in the second step (S200), the region of interest generates all blobs for a wide region and selects two candidate blobs most likely to be pupils among all the generated blobs, Adjust the region of interest according to the position and size of the candidate blob.
즉, 넓은 영역에 대해 블랍을 생성하고, 홍채영상의 특성을 고려해 후보 블랍을 선택한다.That is, blobs are generated for a wide area, and candidate blobs are selected in consideration of the characteristics of the iris image.
후보 블랍의 위치와 크기에 따라 관심 영역을 조절한다.The region of interest is adjusted according to the position and size of the candidate blob.
이 과정에서 대략적인 눈의 위치를 찾을 수 있는데, 눈의 위치를 찾기 위해 흔히 사용되는 하우 변환(Hough Transform)을 생략할 수 있다.In this process, the approximate position of the eye can be found, and the Hough Transform, which is commonly used to find the position of the eye, can be omitted.
하우 변환은 큰 계산량을 필요로 하는 과정이다.The Howe transform is a process that requires a large amount of computation.
홍채 인식에서 관심 영역(관심 영역: Region Of Interest)은 도 4에 나타낸 것처럼 실제 신호 처리에 사용되는 영상 영역을 말한다.In iris recognition, a region of interest (region of interest) refers to an image region used for actual signal processing, as shown in FIG. 4 .
사용자는 두 눈을 도 4의 박스 내에 위치시켜야 한다.The user must place both eyes within the box in FIG. 4 .
실제 장치에서는 사용자가 이 관심 영역을 알 수 있도록 화면 상에 표시해 주거나 장치를 사용하기 전에 사용자가 알 수 있도록 미리 설명해 주어야 한다.In an actual device, the region of interest must be displayed on the screen so that the user can know about it, or it must be explained in advance so that the user can know about it before using the device.
도 4의 (a)처럼 관심 영역이 좁으면 계산량이 작고 정확도는 높아진다.As shown in (a) of FIG. 4 , when the region of interest is narrow, the calculation amount is small and the accuracy is high.
하지만 사용자는 눈을 좁은 영역에 위치시켜야 하기 때문에 사용에 큰 불편을 느낄 수 있다.However, since the user has to place the eyes in a narrow area, the user may experience great inconvenience in use.
반면에 도 4의 (b)처럼 넓은 관심 영역을 사용하면 사용은 편해지지만 계산량은 크고 눈을 못 찾을 가능성도 커진다.On the other hand, if a wide region of interest is used as shown in (b) of FIG. 4, it is easy to use, but the calculation amount is large and the possibility of not finding an eye increases.
이는 영상에서 가장 어두운 부분이 눈이라는 기본 가정이 조명이 닿지 않는 배경이나 머리카락 등에 의해 깨질 가능성이 생기기 때문이다.This is because the basic assumption that the darkest part of the image is the eye may be broken by the background or hair that does not reach the light.
본 발명에서는 블랍 분석(Blob Analysis)이라는 방법을 통해 관심 영역을 조정하는데, 넓은 관심 영역을 사용하면서도 계산량은 줄이고 눈을 찾을 확률을 크게 높일 수 있다.In the present invention, the region of interest is adjusted through a method called blob analysis, and while using a wide region of interest, the calculation amount can be reduced and the probability of finding an eye can be greatly increased.
블랍은 도 5에 나타낸 바와 같이 영상 내에서 서로 연결되어 있는 어두운 화소들의 덩어리이다.A blob is a mass of dark pixels connected to each other in an image, as shown in FIG. 5 .
대표적인 것이 동공이지만 얼굴 영상에서는 머리카락이나 눈썹, 검은 점, 안경 다리 등 여러 경우가 있다.A typical example is the pupil, but in face images, there are many cases such as hair, eyebrows, black dots, and temples of glasses.
이들 모두 블랍들을 찾아 분석하고, 그 중 동공일 가능성이 가장 높은 후보 둘을 선정하여 그 주위에 새롭게 관심 영역를 만들며, 이 후 동공 탐색은 이 수정된 관심 영역 내에서만 수행된다.All of these blobs are found and analyzed, and two candidates with the highest probability of being pupils are selected and a new region of interest is created around them. Then, pupil search is performed only within the modified region of interest.
동공을 찾는 과정에서는 원 영상의 1/16 해상도 영상을 사용하는데, 계산량도 크게 줄일 수 있지만 작은 점이나 눈썹 등에서 쉽게 나타나는 블랍들을 없앰으로써 정확도도 높일 수 있다.In the process of finding a pupil, an image with a resolution of 1/16 of the original image is used, and the amount of calculation can be greatly reduced, but accuracy can be improved by removing blobs that easily appear in small dots or eyebrows.
어두운 화소에 대한 임계값(threshold)을 구할 때도, 4 × 4 블록 들에 대해 히스토그램(histogram)을 만들고 가장 어두운 값들로 임계값을 구한다.When obtaining the threshold for dark pixels, a histogram is created for 4 × 4 blocks and the threshold is obtained with the darkest values.
블랍을 찾게 되면 블랍 모양과 크기, 블랍 내 어두운 화소의 밀도 등을 이용하여 점수를 계산하는데, 가장 높은 점수를 갖는 두 블랍이 동공의 후보가 된다.When a blob is found, a score is calculated using the shape and size of the blob, the density of dark pixels in the blob, and the two blobs with the highest score are candidates for the pupil.
복수의 후보를 선정하는 이유는 동공이 가장 높은 점수를 갖는 것이 일반적이지만, 동공이 눈꺼풀에 일부 가려지거나 속눈썹에 연결되어 최고 점수를 갖지 못하는 경우도 발생하기 때문이다.The reason for selecting a plurality of candidates is that the pupil usually has the highest score, but sometimes the pupil does not have the highest score because it is partially covered by the eyelid or connected to the eyelashes.
동공 블랍을 찾게 되면 동공 원과 홍채 원을 찾기 위해 블랍 주변에 관심 영역을 설정하게 된다.When a pupil blob is found, a region of interest is set around the blob to find a pupil circle and an iris circle.
도 6은 본 발명에 따른 홍채 인식의 경량화 방법에서 동공과 홍채 경계의 방향성을 나타내는 도면이고, 도 7은 본 발명에 따른 홍채 인식의 경량화 방법에서 방향성의 정수 근사화를 나타내는 도면이며, 도 8은 본 발명에 따른 홍채 인식의 경량화 방법에서 방향성 계산의 흐름을 나타내는 플로우 차트이다.6 is a diagram showing the directionality of the pupil and the iris boundary in the lightweight method of iris recognition according to the present invention, FIG. 7 is a diagram showing integer approximation of directionality in the lightweight method of iris recognition according to the present invention, and FIG. It is a flow chart showing the flow of directional calculation in the lightweight method of iris recognition according to the present invention.
도 6 내지 도 8을 참조하면, 본 발명에 따른 홍채 인식의 경량화 방법의 제 3 단계(S300)인 설정된 관심 영역에 대한 전처리를 수행한다.Referring to FIGS. 6 to 8 , in the third step (S300) of the lightweight method of iris recognition according to the present invention, pre-processing is performed on the set region of interest.
전처리 과정은 동공과 홍채를 참색하기 전에 반복적으로 사용되는 값들을 미리 계산해 저장하는 과정이다.The preprocessing process is a process of pre-calculating and storing repeatedly used values before searching for the pupil and iris.
좀 더 상세히 설명하면, 제 3 단계(S300)에서, 전처리는 관심 영역 내 각 픽셀에 대한 방향성을 계산하는 것이며, 픽셀의 방향성을 정하기 위해 사용되는 필터는 소벨 연산자(Soble Operator)이고, 소벨 연산자에 의한 연산 이후 가로 방향의 변화 정도(dx)와, 수직 방향의 변화 정도(dy)의 절대값의 크기가 0에 근접할 경우 계산을 하지 않거나(제로 벡터 처리), 절대값이 256보다 작을 경우 Look-Up Table(LUT)을 참조하거나, 절대값이 클 경우 근사 계산을 수행한다.More specifically, in the third step (S300), the preprocessing is to calculate the directionality for each pixel in the region of interest, and the filter used to determine the directionality of the pixels is a Soble Operator. If the magnitude of the horizontal direction change (dx) and the vertical direction change (dy) are close to 0 after calculation by -Refer to the Up Table (LUT) or, if the absolute value is large, approximate calculation is performed.
즉, 관심 영역 내 각 픽셀에 대해서 방향성을 계산하는 과정이다.That is, it is a process of calculating the direction for each pixel in the region of interest.
소벨 연산 후 가로 방향의 변화 정도와, 수직 방향의 변화 정도의 절대값의 크기에 따라 계산을 하지 않거나, Look-Up Table (LUT)를 참조하거나, 근사 계산을 한다.After the Sobel operation, depending on the size of the absolute value of the change in the horizontal direction and the change in the vertical direction, calculation is not performed, a Look-Up Table (LUT) is referred to, or approximate calculation is performed.
홍채 영상의 특성상 가로 방향의 변화 정도와, 수직 방향의 변화 정도의 절대값은 대부분 256보다 작아 근사 계산을 하는 경우가 거의 없다.Due to the nature of the iris image, the absolute values of the degree of change in the horizontal direction and the degree of change in the vertical direction are mostly smaller than 256, so approximate calculations are rarely performed.
동공과 홍채의 경계는 원으로 가정되기 때문에 전체 입력 영상 중 실제 처리가 되는 영역인 관심 영역 내의 모든 픽셀에 대해 미리 방향성을 계산해 놓아야 한다.Since the boundary between the pupil and the iris is assumed to be a circle, directions must be calculated in advance for all pixels within the region of interest, which is the region to be actually processed, among the entire input image.
픽셀의 방향을 정하기 위해 사용되는 필터는 소벨 연산자(Sobel Operator)이다.The filter used to orient the pixels is the Sobel Operator.
이 소벨 연산자에는 여러 가지 변형이 있는데, 본 발명에서 사용하는 소벨 연산자는 하기 식 2와 같다.There are various variations of this Sobel operator, and the Sobel operator used in the present invention is shown in Equation 2 below.
Figure PCTKR2021008209-appb-img-000002
식 (2)
Figure PCTKR2021008209-appb-img-000002
Equation (2)
왼쪽 연산자는 가로 방향의 변화 정도(dx)를 계산하는데 사용되고, 오른쪽 연산자는 수직 방향의 변화 정도(dy)를 계산할 때 사용된다.The operator on the left is used to calculate the degree of change in the horizontal direction (dx), and the operator on the right is used to calculate the degree of change in the vertical direction (dy).
동공 또는 홍채에서 이 변화를 벡터로 표시하면 (dx, dy)인데, 벡터의 방향(tan-1(dy/dx))을 그림으로 나타내면 도 6과 같다.If this change in the pupil or iris is expressed as a vector (dx, dy), the direction of the vector (tan -1 (dy/dx)) is shown in Fig. 6.
동공이나 홍채는 원의 내부가 외부보다 어둡다.The inside of the circle of the pupil or iris is darker than the outside.
따라서, 도 6의 왼쪽처럼 벡터가 표시되는 것이 일반적이지만 계산의 편의상 도 6의 오른쪽 그림처럼 방향을 뒤집어서 사용한다.Therefore, it is common that the vector is displayed as shown on the left side of FIG. 6, but the direction is reversed and used as shown on the right side of FIG. 6 for convenience of calculation.
방향을 계산하는 삼각 함수(아크 탄젠트)는 계산량이 너무 커서 가볍고 빠른 알고리즘에는 적합하지 않다.The trigonometric function (arc tangent) that calculates direction is too computationally intensive and is not suitable for light and fast algorithms.
본 발명에 따른 알고리즘에서는 도 7과 같이 정수로 근사하여 계산하는 방법을 사용한다.In the algorithm according to the present invention, as shown in FIG. 7, a method of calculating by approximating to an integer is used.
이와 같은 방법을 사용하면 덧셈과, 시프트(shift), 그리고 한번의 정수 나눗셈으로 계산을 끝낼 수 있어서 빠른 연산이 가능하다.Using this method, calculations can be completed with addition, shift, and one-time integer division, enabling fast calculations.
이 근사 계산 방법은 도 7에 나타낸 바와 같이 최대 4도 정도의 오차를 가질 수 있는데, 도 7의 오른쪽에 있는 오차 곡선을 고려하여 계산 결과 얻어진 각도에 오차 값을 더해주면 필요로 하는 충분한 정확도를 갖게 된다.This approximation calculation method can have an error of up to 4 degrees, as shown in FIG. 7. If the error value is added to the angle obtained as a result of the calculation in consideration of the error curve on the right side of FIG. 7, the required accuracy can be obtained. do.
도 9는 본 발명에 따른 홍채 인식의 경량화 방법에서 동공 및 홍채 탐색 결과 예를 나타내는 도면이고, 도 10은 본 발명에 따른 홍채 인식의 경량화 방법에서 동공과 홍채의 탐색 및 추적을 나타내는 플로우 차트이다.9 is a diagram showing an example of a pupil and iris search result in a lightweight method of iris recognition according to the present invention, and FIG. 10 is a flow chart showing search and tracking of a pupil and an iris in a lightweight method of iris recognition according to the present invention.
도 9 및 도 10을 참조하면, 본 발명에 따른 홍채 인식의 경량화 방법의 제 4 단계(S400)인 전처리가 수행된 데이터로부터 동공 및 홍채를 탐색 및 추적한다.Referring to FIGS. 9 and 10 , a pupil and an iris are searched for and tracked from pre-processed data, which is the fourth step (S400) of the lightweight method of iris recognition according to the present invention.
좀 더 상세히 설명하면, 제 4 단계(S400)에서, 동공 및 홍채는 원으로 가정하여 멀티 스텝 서치 방식으로 탐색하되, 멀티 스텝 서치 방식은, 스텝 사이즈를 미리 정해진 값으로부터 스텝 사이즈를 순차 감소시키면서 탐색하며, 탐색 결과에 의거하여 상기 관심 영역을 수정한다.More specifically, in the fourth step (S400), the pupil and the iris are assumed to be circles and searched by a multi-step search method, but the multi-step search method searches while sequentially decreasing the step size from a predetermined value. and corrects the region of interest based on the search result.
여기서, 관심 영역을 설정한 후, 설정된 관심 영역 내에서 동공을 탐색하며, 동공의 탐색에 성공할 경우, 홍채를 탐색하고, 홍채의 탐색에 성공할 경우, 사용자의 동공 및 홍채를 등록 또는 인증한다.Here, after setting a region of interest, a pupil is searched within the set region of interest, and if the pupil search is successful, an iris is searched. If the iris search is successful, the user's pupil and iris are registered or authenticated.
하지만, 동공의 탐색에 실패하거나 또는 홍채의 탐색에 실패할 경우, 관심 영역을 재설정한다.However, if the pupil search fails or the iris search fails, the region of interest is reset.
또한, 등록 또는 인증에 실패할 경우, 동공을 추적하며, 동공의 추적에 성공할 경우, 홍채를 추적하고, 홍채의 추적에 성공할 경우, 사용자의 동공 및 홍채를 등록 또는 인증한다.In addition, if registration or authentication fails, the pupil is tracked, if the pupil is successfully tracked, the iris is tracked, and if the iris is successfully tracked, the user's pupil and iris are registered or authenticated.
하지만, 동공의 추적에 실패하거나 또는 홍채의 추적에 실패할 경우, 관심 영역을 재설정한다.However, if the pupil tracking fails or the iris tracking fails, the region of interest is reset.
즉, 동공과 홍채는 모두 원으로 가정하여 구하게 되는데, 각 원을 멀티 스텝 탐색 방법에 의해 탐색을 하여 실패하면 관심 영역 설정부터 다시 설정하고 성공하면 등록 및 인증을 수행한다.That is, both the pupil and the iris are obtained by assuming that they are circles. If each circle is searched by the multi-step search method and fails, the area of interest is set again, and if successful, registration and authentication are performed.
등록 및 인증에 실패할 경우에는 이전 프레임의 동공과 홍채의 위치로부터 움직임 추정을 하여 현재 프레임의 동공과 홍채를 찾는다.If registration and authentication fail, motion estimation is performed from the pupil and iris positions of the previous frame to find the pupil and iris of the current frame.
실패할 경우에는 관심 영역 설정으로 돌아간다.In case of failure, return to setting the region of interest.
동공 및 홍채의 탐색은 다음과 같다.The search for the pupil and iris is as follows.
블랍 분석을 끝내면 동공의 대략적인 중심 위치와 반지름을 알 수 있다.Upon completion of the blob analysis, the approximate center position and radius of the pupil is known.
이 결과를 출발점으로 동공을 먼저 탐색하고 동공 탐색 결과를 이용하여 홍채를 탐색한다.Using this result as a starting point, the pupil is searched first, and the iris is searched using the pupil search result.
도 9에 탐색 결과가 나타나 있으며, 도 9의 (a)는 정상적으로 동공 및 홍채의 중심과 경계, 즉 반지름을 찾아낸 경우이고, 도 9의 (b)에서 왼쪽은 홍채를, 오른쪽은 동공의 경계를 제대로 찾아내지 못한 경우이다.The search results are shown in FIG. 9, and FIG. 9 (a) is a case where the center and boundary of the pupil and the iris, that is, the radius are found normally, and in (b) of FIG. 9, the left iris and the right pupil boundary In case you didn't find it properly.
동공과 홍채의 중심과 경계를 정확히 알지 못한다면, 홍채 인식의 정확도가 크게 떨어질 수밖에 없다.If the center and boundary of the pupil and iris are not accurately known, the accuracy of iris recognition is inevitably reduced.
해당하는 모든 중심 위치와 반지름에 대해 전수 조사를 행하게 되면 감당하기 어려운 연산량이 필요하다.If all the corresponding center positions and radii are investigated, an unmanageable amount of computation is required.
본 발명에서는 Multi-step Search 방법을 사용한다.In the present invention, a multi-step search method is used.
처음에는 공간 상에서 스텝 사이즈(step size)를 4로 하여 탐색하고, 그 결과를 바탕으로 관심 영역을 수정한다.Initially, the space is searched with a step size of 4, and the region of interest is modified based on the result.
반지름도 초기 반지름을 중심으로 하여 스텝 사이즈를 2 또는 3으로 하여 탐색한다.The radius is also searched with a step size of 2 or 3 centering on the initial radius.
그 결과를 가지고 스텝 사이즈를 줄여가면서 스텝 사이즈가 1인 최종 관심 영역으로 정확한 원의 중심 위치나 반지름을 획득하게 된다.With the result, while reducing the step size, the exact location of the center or radius of the circle as the final region of interest with a step size of 1 is obtained.
동공과 홍채를 찾기 위한 실제 연산은 후보 원의 방향과 해당 픽셀의 방향성이 얼마나 일치하는 가를 계산하는 것이다.The actual operation to find the pupil and iris is to calculate how much the direction of the candidate circle matches the direction of the corresponding pixel.
원은 중심점과 반지름으로 정의되고 입력 영상의 크기는 변하지 않기 때문에 후보 원에 대한 점수를 계산할 때 사용되는 원주 상의 좌표는 늘 일정하다.Since a circle is defined by a center point and a radius, and the size of the input image does not change, the coordinates on the circumference used when calculating the score for the candidate circle are always constant.
이를 미리 계산하여 table(LUT, Lookup Table)로 갖고 있으면 편리하다.It is convenient to calculate this in advance and have it as a table (LUT, Lookup Table).
도 9의 (b)에 나타낸 것처럼 잘못된 원을 찾을 가능성을 줄이기 위해서는 원의 대칭성을 고려하여 점수 계산을 한다.As shown in (b) of FIG. 9, in order to reduce the possibility of finding a wrong circle, the score is calculated by considering the symmetry of the circle.
동공을 찾기 위한 점수 계산 방법과 홍채에 대한 점수 계산 방법은 매우 유사하지만 각 대상의 특성을 고려하여 만들어진다.The scoring method for finding the pupil and the scoring method for the iris are very similar, but are made considering the characteristics of each object.
동공의 관심 영역 중심점은 블랍 분석의 결과에 의해 만들어지고, 홍채의 관심 영역 중심점은 동공의 중심으로 한다.The center point of the region of interest of the pupil is created by the result of the blob analysis, and the center point of the region of interest of the iris is the center of the pupil.
홍채 인식에서 동공과 홍채는 동심원으로 가정하지만 엄밀하게는 중심점 사이에 약간의 차이가 있다.In iris recognition, the pupil and the iris are assumed to be concentric circles, but strictly speaking, there is a slight difference between the center points.
동공과 홍채가 동심원인 경우는 카메라와 눈이 잘 얼라인(align)되어 있는 경우에만 해당되지만, 눈이 카메라 방향을 쳐다보고 있을 때 두 원의 중심점 사이에는 큰 차이가 없고, 만일 차이가 크다면 본 발명의 알고리즘은 눈이 카메라 쪽을 바라보고 있지 않다고 판단해 탐색 실패를 결과로 돌려준다.The case where the pupil and the iris are concentric circles is only true when the camera and eyes are well aligned, but when the eyes are looking in the camera direction, there is not much difference between the center points of the two circles, and if the difference is large, The algorithm of the present invention determines that the eye is not looking toward the camera and returns a search failure as a result.
본 발명에 따른 홍채 인식의 경량화 방법에서 동공 및 홍채 추적은 다음과 같다.In the lightweight method of iris recognition according to the present invention, pupil and iris tracking are as follows.
카메라를 사용하여 실제 등록 또는 인증을 할 때, 한 장의 영상으로 끝내지 않는다.When actually registering or authenticating using a camera, it does not end with a single video.
특히, 등록을 할 때는 여러 장의 입력 영상을 이용하여 찾은 홍채 영상과 이를 가지고 만든 홍채 코드 중 가장 우수한 코드를 저장한다.In particular, when registering, the iris image found using several input images and the best code among the iris codes generated therewith are stored.
어떤 프레임에서 눈을 제대로 찾았다면 다음 프레임에서 눈의 위치가 크게 변할 가능성은 작다.If an eye is found correctly in one frame, it is unlikely that the position of the eye will change significantly in the next frame.
따라서, 다음 프레임에서 관심 영역은 현재 찾은 동공의 주변과 홍채의 주변에 각각 설정되어 계산량을 크게 줄일 수 있게 된다.Therefore, in the next frame, the region of interest is set around the currently found pupil and around the iris, respectively, so that the amount of calculation can be greatly reduced.
반지름의 변화도 인접한 두 프레임 사이에서는 크게 나타나지 않는다.The change of the radius also does not appear significantly between two adjacent frames.
이는 단순한 형태의 추적 방법인데, 본 발명에 따른 알고리즘에서는 좀 더 빠르고 정확한 추적을 위해 특별히 고안된 움직임 추정(Motion Estimation) 방법을 사용한다.This is a simple tracking method, and the algorithm according to the present invention uses a specially designed motion estimation method for faster and more accurate tracking.
동공과 홍채의 움직임은 영상 내에서 눈의 위치가 바뀌거나 시선이 변해서 만들어진다.The movement of the pupil and iris is created by changing the position of the eyes or changing the line of sight in the image.
탐색 과정뿐만 아니라, 추정 과정에서도 동공을 먼저 찾고 그 결과를 홍채를 찾는데 이용한다.In not only the search process, but also the estimation process, the pupil is first searched and the result is used to find the iris.
동공은 주변 홍채에 비해서 어둡고 모양의 변화가 거의 없기 때문에 움직임 추정을 매우 빠르게 할 수 있다.Since the pupil is darker than the surrounding iris and has little change in shape, motion estimation can be performed very quickly.
여기서 구해지는 움직임 벡터를 이전 프레임의 동공 중심에 더해 관심 영역 중심을 정하고 크기 변화를 고려하여 관심 영역을 만들면 동공의 관심 영역은 탐색 과정에 비해 작게 만들어진다.If the motion vector obtained here is added to the center of the pupil of the previous frame, the center of the region of interest is determined, and the region of interest is created considering the change in size, the pupil's region of interest is made smaller than in the search process.
뿐만 아니라, 관심 영역 조정을 위한 블랍 분석 과정도 동공 추적에서는 건너 뛸 수 있어 아주 작은 계산으로도 동공을 찾을 수 있다.In addition, since the blob analysis process for adjusting the region of interest can be skipped in pupil tracking, the pupil can be found with very little calculation.
동공을 찾고 나면 동공의 움직임 벡터를 이전 프레임의 홍채 중심에 더해 홍채 관심 영역 중심을 정하고, 홍채 크기 변화를 고러하여 관심 영역을 정한다.After the pupil is found, the center of the iris region of interest is determined by adding the motion vector of the pupil to the center of the iris of the previous frame, and the region of interest is determined by considering the iris size change.
홍채 관심 영역을 정할 때 한가지 더 고려해야 할 것은 시선의 변화이다.One more thing to consider when determining the area of interest of the iris is the change of gaze.
시선이 변하면 동공과 홍채 중심 사이의 상대적 위치에도 변화가 생기기 때문에, 이를 반영하여 관심 영역을 결정해야 한다.When the gaze changes, the relative position between the center of the pupil and the iris also changes, so it is necessary to reflect this to determine the region of interest.
그럼에도 불구하고 추적 과정에서의 홍채 관심 영역은 탐색 과정의 그것보다 작게 설정된다.Nevertheless, the iris region of interest in the tracking process is set smaller than that in the search process.
평균적으로 동공 및 홍채 추적에 필요한 계산량은 탐색에 필요한 양의 30% ~ 40% 정도 수준이다.On average, the amount of calculation required for pupil and iris tracking is about 30% to 40% of the amount required for search.
도 11은 본 발명에 따른 홍채 인식의 경량화 방법에서 마스크 예를 나타내는 도면이다.11 is a diagram illustrating an example of a mask in a lightweight method of iris recognition according to the present invention.
도 11을 참조하면, 본 발명에 따른 홍채 인식의 경량화 방법에서 제 5 단계(S500)인 탐색 및 추적된 데이터로부터 마스크를 생성한다.Referring to FIG. 11 , in the lightweight method of iris recognition according to the present invention, a mask is created from searched and tracked data, which is a fifth step (S500).
동공과 홍채는 원의 모양을 갖지만, 완전한 형태의 원을 갖지는 못한다.The pupil and the iris have the shape of a circle, but they do not have a perfect circle.
눈꺼풀(Eyelid)에 일부가 가려지기도 하고, 어떤 사람은 속눈썹이 홍채의 일부를 덮기도 한다.Part of it is covered by the eyelid, and some people have eyelashes covering part of the iris.
도 11을 살펴보면, 눈의 윗 부분이 눈꺼풀에 가려져 있다.Referring to Figure 11, the upper part of the eye is covered by the eyelid.
이 가려진 홍채 영역은 사람에 따라 크게 다른 픽셀 값을 갖지 않으며, 정상적인 홍채 영역에 비해 복잡도가 크게 떨어져, 코드로 만들었을 때 다른 사람과 큰 차이를 보이지 않아 오인식의 원인이 된다.This obscured iris region does not have pixel values that differ greatly from person to person, and its complexity is significantly lower than that of the normal iris region.
눈꺼풀 및 속눈썹 검출(Etelid and Eyelash Detection)은 그 자체만으로도 홍채 탐색에 못지 않은 계산량을 갖는 매우 복잡한 작업이다.Etelid and eyelash detection itself is a very complex task with a computational load comparable to that of iris detection.
본 발명에 따른 알고리즘에서는 눈꺼풀 및 속눈썹 검출의 결과로 만들어지는 마스크가 홍채 인식의 정확도를 높이는 것에 집중한다.In the algorithm according to the present invention, the mask created as a result of eyelid and eyelash detection focuses on increasing the accuracy of iris recognition.
동공과 홍채를 찾고 나면 동공 영역, 홍채 영역, 홍채 밖 영역에 대한 픽셀 통계를 분석한다.After the pupil and iris are found, pixel statistics are analyzed for the pupil area, the iris area, and the area outside the iris.
이 정보를 이용하여 눈꺼풀과 속눈썹을 찾아 내는데, 우선 눈꺼풀은 홍채와의 경계를 원의 일부로 근사한다.The eyelids and eyelashes are found using this information. First, the eyelid approximates the boundary with the iris as a part of a circle.
도 11의 (b)는 눈꺼풀만을 고려해서 만든 마스크를 나타낸다.11(b) shows a mask made considering only the eyelids.
도 11의 (a)와 비교해 보면 원으로 근사하는 것의 타당성을 알 수 있다.A comparison with (a) of FIG. 11 shows the validity of approximating to a circle.
도 11의 (b)에서 눈꺼풀은 잘 근사해 냈으나 속눈썹이 홍채의 일부를 가리고 있는 것을 볼 수 있다.In (b) of FIG. 11, the eyelids are approximated well, but it can be seen that the eyelashes cover part of the iris.
이 문제도 마스크를 만들 때 같이 처리되며, 최종 결과는 도 11의 (c)에서 확인할 수 있다.This problem is also dealt with when making a mask, and the final result can be seen in (c) of FIG. 11.
도 11에서 보면 동공이나 눈꺼풀은 검정으로 표시되어 있고, 속눈썹에 가려진 부분은 회색으로 표시된다.11, the pupil or eyelid is displayed in black, and the part covered by the eyelashes is displayed in gray.
마스크 코드를 만들 때는 검게 표시된 부분과 회색으로 표시된 부분은 구분되어 처리된다.When creating mask codes, black and gray areas are processed separately.
이러한 마스크는 홍채를 포함한 눈 영상의 통계 분석을 통해 근사적으로 이루어질 수 있다.Such a mask may be approximated through statistical analysis of an eye image including the iris.
즉, 눈 영상에 대한 통계 분석을 수행하고, 홍채 끝점을 추출하며, 눈꺼풀을 근사하고, 홍채 영상에 대한 통계 분석을 수행하며, 홍채 및 속눈썹 임계값을 결정한 후, 마스크를 생성하게 된다.That is, after statistical analysis is performed on the eye image, iris endpoints are extracted, eyelids are approximated, statistical analysis is performed on the iris image, iris and eyelash threshold values are determined, and then a mask is created.
도 12는 본 발명에 따른 홍채 인식의 경량화 방법에서 홍채 영상 개선의 예를 나타내는 도면이다.12 is a diagram illustrating an example of iris image improvement in the lightweight method of iris recognition according to the present invention.
도 12를 참조하면, 본 발명에 따른 홍채 인식의 경량화 방법에서 제 6 단계(S600)인 생성된 마스크 데이터로부터 홍채 영상을 개선한다.Referring to FIG. 12 , in the method for lightening iris recognition according to the present invention, an iris image is improved from generated mask data, which is a sixth step (S600).
홍채 영상의 개선은 크게 두 가지 이유로 필요하다.Improvement of the iris image is necessary for two main reasons.
IR-LED에 의해서 강제로 발현되는 홍채 패턴은 그 동적 범위(dynamic range)가 작고 영상 취득 조건에 따라 그 픽셀 값의 평균이나 동적 범위에 상대적으로 큰 차이가 생긴다.The iris pattern forcibly expressed by the IR-LED has a small dynamic range and a relatively large difference in the average or dynamic range of the pixel values depending on the image acquisition conditions.
이는 실제 사용 환경에서는 인증 성능에 영향을 줄 수 있다.This may affect authentication performance in actual use environments.
홍채 인식에서 많이 사용되는 영상 개선 방법은 대비 제한 적응 히스토그램 평활화(CLAHE: Contrast Limited Adaptive Histogram Equalization)이다.An image enhancement method widely used in iris recognition is contrast limited adaptive histogram equalization (CLAHE).
일반적으로, 히스토그램 평활화는 전체 영상에 대해 행해지거나 관심 영역 내에서 행해진다.In general, histogram smoothing is done over the entire image or within a region of interest.
적응적인 방법을 사용하는 이유는 어떤 특정 영역에서는 동적 범위의 개선이 별로 없거나 오히려 나빠지는 경우가 발생하기 때문이고, 대비 제한을 하는 것은 지나친 개선을 막기 위해서이다.The reason for using the adaptive method is that there is little improvement in the dynamic range in a specific area or a case where the dynamic range is deteriorated. Contrast limiting is to prevent excessive improvement.
본 발명에 따른 알고리즘에서는 홍채 인식의 특수성을 함께 고려한다.The algorithm according to the present invention also considers the specificity of iris recognition.
도 12에 홍채 영상 개선의 예를 나타내는데, 도 12의 (b)에 나타낸 것과 같은 홍채 마스크를 함께 고려하여 영상 개선이 홍채 내에서만 일어나게 한다.12 shows an example of iris image enhancement, in which the iris mask as shown in FIG.
홍채 내에서만 영상 개선을 하는데도 적응적인 방법을 사용하는 이유는 IR-LED에 의한 조명이 갖는 한계를 극복하기 위함이다.The reason for using the adaptive method even though the image is improved only within the iris is to overcome the limitations of IR-LED illumination.
홍채 정면에서 조명이 이루어지는 경우는 흔하지 않기 때문에 이에 대한 조절도 필요하다.Since it is not common for illumination to occur in front of the iris, it is also necessary to adjust for this.
도 12의 (c)를 보면 원 영상에 비해 홍채 패턴이 좀 더 뚜렷하게 나타난 것을 볼 수 있다.Referring to (c) of FIG. 12 , it can be seen that the iris pattern appears more distinctly than the original image.
영상 개선을 위해 사용되는 대비 적응 제한 히스토그램 평활화를 마스킹 되지 않는 영역에만 적용함으로써 개선 효과를 높임과 동시에 계산량도 줄일 수 있다.Contrast adaptive constrained histogram smoothing used for image enhancement is applied only to the unmasked area, thereby increasing the improvement effect and reducing the amount of computation.
도 13은 본 발명에 따른 홍채 인식의 경량화 방법에서 영상 정규화를 나타내는 도면이고, 도 14는 본 발명에 따른 홍채 인식의 경량화 방법에서 홍채 영상 정규화를 나타내는 도면이며, 도 15는 본 발명에 따른 홍채 인식의 경량화 방법에서 홍채 코드 생성에 사용되는 각도 영역을 나타내는 도면이다.13 is a diagram showing image normalization in a lightweight method of iris recognition according to the present invention, FIG. 14 is a diagram showing iris image normalization in a lightweight method of iris recognition according to the present invention, and FIG. 15 is a diagram showing iris recognition according to the present invention. It is a diagram showing the angular region used for iris code generation in the weight reduction method of .
도 13 내지 도 15를 참조하면, 본 발명에 따른 홍채 인식의 경량화 방법에서 제 7 단계(S700)인 개선된 홍채 영상으로부터 홍채 정규화를 수행한다.13 to 15, iris normalization is performed from the improved iris image, which is a seventh step (S700) in the lightweight method of iris recognition according to the present invention.
홍채 영역은 홍채 반지름으로 표현되는 바깥 경계와, 동공 반지름으로 표현되는 안쪽 경계로 구분된다.The iris region is divided into an outer boundary expressed as an iris radius and an inner boundary expressed as a pupil radius.
이 두 반지름은 카메라와의 거리에 따라 달라지기도 하지만, 동공 반지름은 주변 밝기에 따라서 동공이 확장 또는 축소되기 때문에 달라진다.These two radii also depend on the distance from the camera, but the pupil radius also changes because the pupil expands or contracts depending on the surrounding brightness.
뿐만 아니라 홍채 영상은 시선에 따른 동공과 홍채 원 중심들 간 상대적인 위치 변화로도 달라진다.In addition, the iris image is also changed by the relative positional change between the centers of the pupil and the iris circle according to the gaze.
홍채 인식의 기본적인 아이디어는 등록시 만들어진 이진 코드를 실제 인식 시에 만들어진 코드와 비교하는 것이다.The basic idea of iris recognition is to compare the binary code generated during registration with the code generated during actual recognition.
그러므로, 홍채 코드를 만들 때 이 홍채 영상을 그대로 사용하게 되면 등록 시와 인증 시 영상의 차이가 지나치게 클 수 있어서 인식 자체가 제대로 되지 않을 수 있다.Therefore, if the iris image is used as it is when creating the iris code, the difference between the image at the time of registration and the time of authentication may be too large, and thus recognition itself may not be performed properly.
영상의 차이에 의한 홍채 인식의 오류를 최소로 만들기 위해 거치는 과정이 홍채 정규화(Iris Normalization)이다.Iris normalization is a process to minimize errors in iris recognition due to differences in images.
홍채 영상의 정규화에서는 동공이나 홍채의 반지름과 상관없이 미리 정해진 크기의 영상으로 만들고 좌표 변환을 한다.In the normalization of the iris image, an image of a predetermined size is created regardless of the radius of the pupil or the iris, and coordinate conversion is performed.
홍채 영상에서 화소 위치는 일반적으로 원주 방향의 위치, 즉 각도와 반지름 영상으로 홍채 바깥 및 안쪽 경계와의 상대적 위치로 나타낸다.In an iris image, a pixel position is generally expressed as a position in a circumferential direction, that is, a position relative to the outer and inner borders of the iris in an angular and radial image.
이것이 홍채 영상의 극 좌표계 표현으로 도 13의 왼쪽에 나타나 있다.This is shown on the left of FIG. 13 as a representation of the iris image in polar coordinates.
홍채 영상의 크기만 일정하게 한다면 홍채와 동공의 중심을 일치시키고, 두 반지름을 고정된 값으로 하여 영상을 만드는 것으로 정규화를 수행할 수 있겠지만, 뒤에 홍채 코드를 만드는 데 매우 복잡한 연산을 해야 한다.If only the size of the iris image is constant, normalization can be performed by matching the centers of the iris and pupil and creating an image with the two radii as fixed values, but very complicated calculations are required to create the iris code later.
이 계산량을 줄이기 위해서 홍채 정규화에서는 도 13의 오른쪽처럼 극 좌표계를 직교 좌표계로 만드는 작업도 함께 수행된다.In order to reduce this amount of calculation, in the iris normalization, as shown on the right side of FIG. 13, an operation of making a polar coordinate system into an orthogonal coordinate system is also performed.
정규화 영상의 픽셀값은 해당 원 영상 위치에 있는 픽셀값으로 정하면 되는데, 직각 좌표계에서는 정수 위치라 해도 원 영상에서는 실수 위치가 되는 것이 일반적이다.The pixel value of the normalized image can be determined by the pixel value at the corresponding original image position. In the rectangular coordinate system, even if it is an integer position, it is generally a real number position in the original image.
이 실수 위치에 해당하는 정수 위치의 화소값을 매핑하는 것을 보간(interpolation)이라 하는데, 가장 간단한 방법은 실수 위치에 가장 가까운 화소의 값을 사용하는 것이다.Mapping pixel values of integer positions corresponding to real positions is called interpolation, and the simplest method is to use a pixel value closest to the real position.
이 방법은 계산은 간단하지만 결과 영상이 자연스럽지 못하고 심한 경우에는 영상이 마치 노이즈가 낀 듯이 보일 수도 있다.This method is simple to calculate, but the resulting image is not natural and in severe cases, the image may look like noise.
본 발명에 따른 알고리즘에서는 이중 선형 보간법(Bilinear Interpolation)을 사용하는데, 이는 주변 네 화소의 값을 실수 위치와의 거리를 가중 평균하여 사용하는 방법이다.The algorithm according to the present invention uses bilinear interpolation, which is a method of using a weighted average of the distances of values of four neighboring pixels to real positions.
그 결과 만들어지는 영상의 예는 도 13에 나타나 있다.An example of the resulting image is shown in FIG. 13 .
본 발명에 따른 알고리즘에서는 원 영상 뿐만 아니라 마스크 영상에 대해서도 같은 처리를 하여 홍채 코드 생성에 대비한다.In the algorithm according to the present invention, not only the original image but also the mask image are processed in the same manner to prepare for iris code generation.
도 14는 홍채 영상의 정규화에 대한 결과 예이다.14 is an example of a result of normalization of an iris image.
정규화된 홍채 영상은 홍채 코드 생성 과정의 입력 영상이 되는데, 이 영상의 크기를 살펴보면, 본 발명에 따른 알고리즘에서는 홍채 코드를 만들 때 원주 방향의 모든 각도에 대해 패턴을 만들지는 않는다.The normalized iris image becomes an input image for the iris code generation process. Looking at the size of this image, the algorithm according to the present invention does not create patterns for all angles in the circumferential direction when generating the iris code.
눈꺼풀이 홍채를 전혀 덮지 않는 사람도 많지만 윗부분을 조금이라도 덮는 경우가 더 많고, 속눈썹에 의해 가려지는 경우도 많다.In some people, the eyelids do not cover the iris at all, but more often the upper part is covered at all, and in many cases it is covered by eyelashes.
주어진 홍채 코드 비트를 효율적으로 사용하기 위해서 도 15에 나타낸 것처럼 상단의 120도 영역에 대해서는 코드를 만들지 않고 60도에서 300도까지 240도 영역에 대해서 66개의 4바이트 코드를 만든다.In order to efficiently use the given iris code bits, as shown in FIG. 15, no code is created for the upper 120-degree region, and 66 4-byte codes are created for the 240-degree region from 60 to 300 degrees.
그에 더해, 양 끝으로 추가 영역이 필요해 실제 영상은 원주 방향(수평 방향)으로는 312(= 66 × 4 + 24 × 2), 반지름 방향(수직 방향)으로는 68(= 8 + 4 × 15)의 해상도를 가진다.In addition, since additional areas are required at both ends, the actual image is 312 (= 66 × 4 + 24 × 2) in the circumferential direction (horizontal direction) and 68 (= 8 + 4 × 15) in the radial direction (vertical direction). has a resolution of
도 16은 본 발명에 따른 홍채 인식의 경량화 방법에서 홍채 코드 구성을 나타내는 도면이고, 도 17은는 본 발명에 따른 홍채 인식의 경량화 방법에서 홍채 코드 생성을 위한 블록 구조를 나타내는 도면이며, 도 18은 본 발명에 따른 홍채 인식의 경량화 방법에서 매칭 윈도우를 나타내는 도면이다.16 is a diagram showing an iris code configuration in a lightweight method of iris recognition according to the present invention, FIG. 17 is a block structure for iris code generation in a lightweight method of iris recognition according to the present invention, and FIG. It is a diagram showing a matching window in the lightweight method of iris recognition according to the present invention.
도 16 내지 도 18을 참조하면, 본 발명에 따른 홍채 인식의 경량화 방법에서 제 8 단계(S800)인 정규화된 홍채 데이터로부터 홍채 코드를 생성 및 매칭한다.Referring to FIGS. 16 to 18 , an iris code is generated and matched from normalized iris data, which is an eighth step (S800) in the lightweight method of iris recognition according to the present invention.
홍채 코드는 상술한 도 15에 나타낸 바와 같이 60도에서 300도까지의 240도 영역이 균일하게 나뉘어서 만들어진다.As shown in FIG. 15 described above, the iris code is created by dividing the 240 degree area from 60 degrees to 300 degrees evenly.
정규화 과정에서 240도 영역은 264개 각도로 나뉘어 화소 값을 구한다.In the normalization process, the 240-degree area is divided into 264 angles to obtain pixel values.
이 264개 각도를 다시 66개로 나누고 각 각도 스텝(step)마다 4 바이트(32 비트)의 이진 코드를 만든다.These 264 angles are divided into 66 again, and a 4-byte (32-bit) binary code is created for each angle step.
이는 매칭 과정에서 사용하는 이진 연산자들이 4 바이트 단위로 수행되는 것을 고려한 것이다.This is considering that binary operators used in the matching process are performed in units of 4 bytes.
도 16에 홍채 코드의 구성을 나타낸다.16 shows the structure of the iris code.
각 각도 스텝마다 32개의 비트를 만들어 내는 과정은 다음과 같다.The process of generating 32 bits for each angular step is as follows.
우선 정규화된 영상을 반지름 방향(수직 방향)으로 16개의 중첩된 영역으로 나눈다.First, the normalized image is divided into 16 overlapping regions in the radial direction (vertical direction).
영역의 간격은 4이고, 각 영역 크기는 8이다.The spacing of the regions is 4, and the size of each region is 8.
따라서, 반지름 방향의 전체 크기는 68(=8 + 4 × 15)이다.Therefore, the total size in the radial direction is 68 (= 8 + 4 × 15).
한 수직 영역에 대해 원주 방향으로는 양쪽으로 4개씩 8개의 영역을 갖게 하는데, 양쪽 4개 영역의 크기를 Scale이라 하고, 24와 12, 두 가지 Scale을 사용한다.For one vertical area, there are 8 areas, 4 on each side in the circumferential direction. The size of the 4 areas on both sides is called Scale, and 24 and 12 scales are used.
따라서, 원주 방향으로의 전체 정규화 영상 크기는 312(= 66 × 4 + 24 × 2)가 된다.Therefore, the total normalized image size in the circumferential direction is 312 (= 66 × 4 + 24 × 2).
도 17에 한 좌표에 대한 홍채 코드 비트를 계산하기 위해 사용되는 블록의 구조를 나타낸다.17 shows the structure of a block used to calculate iris code bits for one coordinate.
각 블록의 값은 해당 블록에 있는 모든 화소들을 더한 값이다.The value of each block is the sum of all pixels in that block.
이 블록 값으로 다음과 같은 두 가지 필터로 합성(Convolution)하여 각각 결과가 양수이면 “1”, 그렇지 않으면 “0”으로 두 비트값이 정해진다.This block value is convoluted with the following two filters, and two bit values are set as “1” if the result is positive and “0” otherwise.
Scale 24 Filter: [+89, +75, +50, +18, -18, -50, -75, -89]Scale 24 Filter: [+89, +75, +50, +18, -18, -50, -75, -89]
Scale 12 Filter: [+83, +36, -36, -83, -83, -36, +36, +83] Scale 12 Filter: [+83, +36, -36, -83, -83, -36, +36, +83]
홍채 코드는 등록 코드와 인증 코드 사이에 약간의 차이가 있는데, 그 차이는 코드 크기와 마스크 사용 여부에 있다.There is a slight difference between the registration code and the authentication code for the iris code, the difference being the size of the code and whether or not a mask is used.
등록 코드는 앞서서 만들어진 264 바이트의 코드 중 양쪽 각 세 개의 각도에서 만들어진 코드를 제외한 240 바이트로 구성된다.The registration code is composed of 240 bytes excluding codes made from three angles on each side of the previously created 264-byte code.
이는 인증시 60개의 각도 스텝에 대해서 240 바이트의 등록 코드와 인증 코드를 비교하기 때문이다.This is because the registration code of 240 bytes and the authentication code are compared for 60 angular steps during authentication.
등록 코드에서는 마스크를 저장하지 않는데, 대신 마스크 비트가 “0”이 되는 위치의 화소 값은 랜덤(random)하게 “1” 또는 “0”이 결정된다.In the registration code, the mask is not stored, but instead, the pixel value at the position where the mask bit becomes “0” is randomly determined as “1” or “0”.
인증 코드에서는 마스크를 사용하기 때문에 이 화소 값은 의미가 없고, 264 바이트의 마스크 코드가 함께 사용되어 코드 크기는 528 바이트가 된다.Since a mask is used in the authentication code, this pixel value is meaningless, and a 264-byte mask code is used together, making the code size 528 bytes.
매칭은 두 홍채 코드 사이의 해밍 거리(Hamming Distance)를 계산하여 수행된다.Matching is performed by calculating a Hamming Distance between the two iris codes.
해밍 거리는 두 이진 코드(Binary Code)를 비교했을 때 서로 다른 비트의 수를 말한다.Hamming distance refers to the number of different bits when comparing two binary codes.
16 비트의 두 코드 A(='0101 0011 1010 1111')와 B(='0100 0110 1001 1101')이고, 두 코드 사이의 해밍 거리는 6이다.Two 16-bit codes A (='0101 0011 1010 1111') and B (='0100 0110 1001 1101'), and the Hamming distance between the two codes is 6.
해밍 거리를 구하는 쉬운 방법은 두 코드를 XOR 이진 연산을 하고, 그 결과 코드에서 1의 개수를 세는 것이다.An easy way to find the Hamming distance is to perform a binary XOR operation on the two codes and count the number of 1s in the resulting code.
A XOR B를 C라 한다면, C = '0001 1100 0011 0010'이 된다.If A XOR B is C, then C = '0001 1100 0011 0010'.
이때, C가 갖고 있는 1의 개수는 6이다.At this time, the number of 1's in C is 6.
요즘 대부분의 CPU에서 이 해밍 거리 계산은 매우 빨리 이루어지고 있다.On most CPUs these days, this Hamming distance calculation is done very quickly.
정수 간의 XOR 계산과 정수 내 1의 개수를 세는 것은 무시할 수 있을 정도의 빠른 시간에 이루어진다.Computing the XOR between integers and counting the number of 1's in an integer takes negligibly fast time.
상술한 바와 같이 인증 코드의 크기는 240 바이트, 즉 1920 비트이다.As described above, the size of the authentication code is 240 bytes, that is, 1920 bits.
그러나, 마스크 효과에 의해 이 중 일부는 사용되지 않는다.However, due to the mask effect, some of these are not used.
인증 시에 사용되는 비트의 수가 일정하지 않기 때문에 해밍 거리는 마스킹 후 존재하는 전체 비트 수, 즉 가능한 최대 해밍 거리로 나누어 계산한다.Since the number of bits used in authentication is not constant, the Hamming distance is calculated by dividing the total number of bits existing after masking, that is, the maximum possible Hamming distance.
따라서, 홍채 인식에서 최대 해밍 거리는 1.0이고, 타인과의 평균 해밍 거리는 0.5가 된다.Therefore, in iris recognition, the maximum Hamming distance is 1.0, and the average Hamming distance with others is 0.5.
홍채 인식은 등록되어 있는 모든 홍채 코드들과 인증시 만드는 홍채 코드를 비교하여 최소 해밍 거리를 갖는 등록 인덱스를 출력하는 것이다.Iris recognition compares all registered iris codes with the iris code generated during authentication and outputs a registration index having a minimum Hamming distance.
이때, 찾은 최소 해밍 거리가 기준값보다 크면 인증 실패라 판단한다.At this time, if the minimum Hamming distance found is greater than the reference value, it is determined that authentication has failed.
인증 코드가 등록 코드에 비해 24 바이트만큼 더 크게 만들어지는 이유는 등록시 눈의 기울기와 인증시 기울기 사이에 약간의 차이가 있을 수 있기 때문이다.The reason why the authentication code is made larger than the registration code by 24 bytes is that there may be a slight difference between the eye tilt during registration and the tilt during authentication.
등록 코드(ECode)는 도 16에 나타낸 것처럼 3 ~ 62에 해당하는 각도 스텝에서 만들어지고, 인증 코드(ACode)는 매칭을 할 때 66개의 각도 스텝 중 60개씩 슬라이딩 윈도우 방식으로 매칭을 한다.As shown in FIG. 16, the registration code (ECode) is made in angular steps corresponding to 3 to 62, and the authentication code (ACode) matches 60 out of 66 angular steps in a sliding window method.
이는 눈이 시계 방향 또는 시계 반대 방향으로 대략 10도 정도 기울어지는 것을 허용하는 것으로 생각할 수 있다.This can be thought of as allowing the eye to tilt approximately 10 degrees either clockwise or counterclockwise.
이와 같이 본 발명에 의하면, 실수 연산의 정수 연산 근사화, LUT(Lookup Table)의 적절한 활용 등의 기법을 사용하고, 동영상 압축 알고리즘에서 사용하는 여러 기법을 적용할 뿐만 아니라 알고리즘의 속도 향상을 위해 관심 영역 조정이나 홍채 코드 생성 등 여러 단계에서 적분 영상(Integral Image)를 만들어 사용함으로써, 가벼우면서도 빠르고 정확한 홍채 인식의 경량화 방법 및 홍채 인식 프로그램을 저장한 컴퓨터로 판독가능한 기록 매체를 제공하는 효과가 있다.As described above, according to the present invention, techniques such as approximation of real number arithmetic to integer arithmetic and proper utilization of LUT (Lookup Table) are used, and various techniques used in video compression algorithms are applied, as well as areas of interest to improve the speed of the algorithm. By creating and using an integral image in several steps such as adjustment or iris code generation, it is effective to provide a lightweight, fast and accurate iris recognition method and a computer-readable recording medium storing an iris recognition program.
본 발명의 실시예들은 홍채 인식의 경량화 방법 및 홍채 인식 프로그램을 생성할 수 있는 것으로, 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다.Embodiments of the present invention may generate a lightweight method of iris recognition and an iris recognition program, and include computer readable media including program instructions for performing various computer-implemented operations.
이러한 컴퓨터 판독 가능 매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.Such computer readable media may include program instructions, local data files, local data structures, etc. alone or in combination.
이 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.This medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in computer software.
컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, and ROMs, RAMs, flash memories, and the like. A hardware device specially configured to store and execute the same program instructions is included.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.
예컨대, 본 발명에 따른 홍채 인식 프로그램을 저장한 컴퓨터로 판독가능한 기록 매체는, 사용자의 홍채 정보를 추출하는 제 1 단계(S100); 추출된 상기 홍채 정보로부터 관심 영역을 설정하는 제 2 단계(S200); 설정된 관심 영역에 대한 전처리를 수행하는 제 3 단계(S300); 전처리가 수행된 데이터로부터 동공 및 홍채를 탐색 및 추적하는 제 4 단계(S400); 탐색 및 추적된 데이터로부터 마스크를 생성하는 제 5 단계(S500); 생성된 마스크 데이터로부터 홍채 영상을 개선하는 제 6 단계(S600); 개선된 홍채 영상으로부터 홍채 정규화를 수행하는 제 7 단계(S700); 및 정규화된 홍채 데이터로부터 홍채 코드를 생성 및 매칭하는 제 8 단계(S800);를 포함한다.For example, a computer-readable recording medium storing an iris recognition program according to the present invention includes a first step of extracting iris information of a user (S100); A second step (S200) of setting a region of interest from the extracted iris information; A third step (S300) of performing pre-processing on the set region of interest; A fourth step (S400) of searching for and tracking pupils and irises from preprocessed data; A fifth step (S500) of generating a mask from searched and tracked data; A sixth step of improving an iris image from the generated mask data (S600); A seventh step of performing iris normalization from the improved iris image (S700); and an eighth step of generating and matching an iris code from normalized iris data (S800).
이상, 일부 예를 들어서 본 발명의 바람직한 여러 가지 실시 예에 대해서 설명하였지만, 본 "발명을 실시하기 위한 구체적인 내용" 항목에 기재된 여러 가지 다양한 실시 예에 관한 설명은 예시적인 것에 불과한 것이며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이상의 설명으로부터 본 발명을 다양하게 변형하여 실시하거나 본 발명과 균등한 실시를 행할 수 있다는 점을 잘 이해하고 있을 것이다.In the above, various preferred embodiments of the present invention have been described with some examples, but the description of various embodiments described in the "Specific Contents for Carrying Out the Invention" section is only exemplary, and the present invention Those skilled in the art will understand from the above description that the present invention can be practiced with various modifications or equivalent implementations of the present invention can be performed.
또한, 본 발명은 다른 다양한 형태로 구현될 수 있기 때문에 본 발명은 상술한 설명에 의해서 한정되는 것이 아니며, 이상의 설명은 본 발명의 개시 내용이 완전해지도록 하기 위한 것으로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이며, 본 발명은 청구범위의 각 청구항에 의해서 정의될 뿐임을 알아야 한다.In addition, since the present invention can be implemented in various other forms, the present invention is not limited by the above description, and the above description is intended to complete the disclosure of the present invention and is common in the technical field to which the present invention belongs. It is only provided to completely inform those skilled in the art of the scope of the present invention, and it should be noted that the present invention is only defined by each claim of the claims.
본 발명은 실수 연산의 정수 연산 근사화, LUT(Lookup Table)의 적절한 활용 등의 기법을 사용하고, 동영상 압축 알고리즘에서 사용하는 여러 기법을 적용할 뿐만 아니라 알고리즘의 속도 향상을 위해 관심 영역 조정이나 홍채 코드 생성 등 여러 단계에서 적분 영상(Integral Image)를 만들어 사용함으로써, 가벼우면서도 빠르고 정확한 홍채 인식의 경량화 방법 및 홍채 인식 프로그램을 저장한 컴퓨터로 판독가능한 기록 매체를 제공한다.The present invention uses techniques such as approximation of real number arithmetic to integer arithmetic, proper utilization of LUT (Lookup Table), and applies various techniques used in video compression algorithms, as well as adjusting the region of interest or iris code to improve the speed of the algorithm. By creating and using an integral image in several steps such as generation, a lightweight, fast and accurate iris recognition method and a computer readable recording medium storing an iris recognition program are provided.

Claims (10)

  1. 사용자의 홍채 정보를 추출하는 제 1 단계;A first step of extracting iris information of a user;
    추출된 홍채 정보로부터 관심 영역을 설정하는 제 2 단계;a second step of setting a region of interest from the extracted iris information;
    설정된 관심 영역에 대한 전처리를 수행하는 제 3 단계;a third step of pre-processing the set region of interest;
    전처리가 수행된 데이터로부터 동공 및 홍채를 탐색 및 추적하는 제 4 단계;a fourth step of searching for and tracking a pupil and an iris from preprocessed data;
    탐색 및 추적된 데이터로부터 마스크를 생성하는 제 5 단계;a fifth step of generating a mask from the searched and tracked data;
    생성된 마스크 데이터로부터 홍채 영상을 개선하는 제 6 단계;a sixth step of improving an iris image from the generated mask data;
    개선된 홍채 영상으로부터 홍채 정규화를 수행하는 제 7 단계; 및a seventh step of performing iris normalization from the improved iris image; and
    정규화된 홍채 데이터로부터 홍채 코드를 생성 및 매칭하는 제 8 단계;를 포함하는 것을 특징으로 하는,An eighth step of generating and matching an iris code from normalized iris data;
    홍채 인식의 경량화 방법.A lightweight method for iris recognition.
  2. 제 1 항에 있어서,According to claim 1,
    상기 제 1 단계에서,In the first step,
    추출한 상기 홍채 정보로 적분 영상(Integral Image)을 생성하며, 생성된 상기 적분 영상을 반복 사용하여 계산량을 감소시키며,An integral image is created with the extracted iris information, and the amount of calculation is reduced by repeatedly using the generated integral image,
    상기 적분 영상은 I(x,y)를 좌표 (x,y)에서의 화소값으로 하고, II(x,y)를 적분 영상의 값으로 하면, 상기 II(x,y)는 원점과 좌표 (x,y)까지의 모든 화소들의 합인 것을 특징으로 하는,In the integral image, when I(x,y) is the pixel value at the coordinates (x,y) and II(x,y) is the value of the integral image, the II(x,y) is the origin and the coordinates ( Characterized in that the sum of all pixels up to x, y),
    홍채 인식의 경량화 방법.A lightweight method for iris recognition.
  3. 제 1 항에 있어서,According to claim 1,
    상기 제 2 단계에서,In the second step,
    상기 관심 영역은,The region of interest is
    넓은 영역에 대해 모든 블랍(Blob)을 생성하고,Generate all blobs for a large area,
    생성된 모든 블랍 중 동공일 가능성이 가장 큰 2개의 후보 블랍을 선택하되, 상기 후보 블랍의 위치와 크기에 따라 상기 관심 영역을 조정하는 것을 특징으로 하는,Characterized in that, among all generated blobs, two candidate blobs most likely to be pupils are selected, and the region of interest is adjusted according to the position and size of the candidate blobs.
    홍채 인식의 경량화 방법.A lightweight method for iris recognition.
  4. 제 1 항에 있어서,According to claim 1,
    상기 제 3 단계에서,In the third step,
    상기 전처리는 상기 관심 영역 내 각 픽셀에 대한 방향성을 계산하는 것이며,The preprocessing is to calculate a directionality for each pixel in the region of interest,
    상기 픽셀의 방향성을 정하기 위해 사용되는 필터는 소벨 연산자(Soble Operator)이고,The filter used to determine the directionality of the pixel is a Soble Operator,
    상기 소벨 연산자에 의한 연산 이후 가로 방향의 변화 정도(dx)와, 수직 방향의 변화 정도(dy)의 절대값의 크기가 0에 근접할 경우 계산을 하지 않거나(제로 벡터 처리), 상기 절대값이 256보다 작을 경우 Look-Up Table(LUT)을 참조하거나 상기 절대값이 클 경우 근사 계산을 하는 것을 특징으로 하는,After the calculation by the Sobel operator, if the magnitude of the absolute value of the degree of change in the horizontal direction (dx) and the degree of change in the vertical direction (dy) approaches 0, the calculation is not performed (zero vector processing), or the absolute value is Characterized in that when it is less than 256, a Look-Up Table (LUT) is referred to or when the absolute value is large, approximate calculation is performed.
    홍채 인식의 경량화 방법.A lightweight method for iris recognition.
  5. 제 1 항에 있어서,According to claim 1,
    상기 제 4 단계에서,In the fourth step,
    상기 동공 및 상기 홍채는 원으로 가정하여 멀티 스텝 서치 방식으로 탐색하되,The pupil and the iris are assumed to be circles and searched in a multi-step search method,
    상기 멀티 스텝 서치 방식은,The multi-step search method,
    스텝 사이즈를 미리 정해진 값으로부터 상기 스텝 사이즈를 순차 감소시키면서 탐색하며,Searching for a step size while sequentially decreasing the step size from a predetermined value;
    탐색 결과에 의거하여 상기 관심 영역을 수정하는 것을 특징으로 하는,Characterized in that the region of interest is modified based on a search result,
    홍채 인식의 경량화 방법.A lightweight method for iris recognition.
  6. 제 5 항에 있어서,According to claim 5,
    상기 관심 영역을 설정한 후, 설정된 관심 영역 내에서 상기 동공을 탐색하며,After setting the region of interest, searching for the pupil within the set region of interest;
    상기 동공의 탐색에 성공할 경우, 상기 홍채를 탐색하고,If the search for the pupil is successful, the iris is searched,
    상기 홍채의 탐색에 성공할 경우, 사용자의 동공 및 홍채를 등록 또는 인증하는 것을 특징으로 하는,Characterized in that when the search for the iris is successful, the user's pupil and iris are registered or authenticated.
    홍채 인식의 경량화 방법.A lightweight method for iris recognition.
  7. 제 6 항에 있어서,According to claim 6,
    상기 동공의 탐색에 실패하거나 또는 상기 홍채의 탐색에 실패할 경우, 상기 관심 영역을 재설정하는 것을 특징으로 하는,Characterized in that, if the search for the pupil fails or the search for the iris fails, the region of interest is reset.
    홍채 인식의 경량화 방법.A lightweight method for iris recognition.
  8. 제 6 항에 있어서,According to claim 6,
    상기 등록 또는 상기 인증에 실패할 경우, 상기 동공을 추적하며,If the registration or the authentication fails, the pupil is tracked;
    상기 동공의 추적에 성공할 경우, 상기 홍채를 추적하고,If the pupil is successfully tracked, the iris is tracked;
    상기 홍채의 추적에 성공할 경우, 사용자의 동공 및 홍채를 등록 또는 인증하는 것을 특징으로 하는,Characterized in that when the iris tracking is successful, the user's pupil and iris are registered or authenticated.
    홍채 인식의 경량화 방법.A lightweight method for iris recognition.
  9. 제 8 항에 있어서,According to claim 8,
    상기 동공의 추적에 실패하거나 또는 상기 홍채의 추적에 실패할 경우, 상기 관심 영역을 재설정하는 것을 특징으로 하는,Characterized in that, when the tracking of the pupil fails or the tracking of the iris fails, the region of interest is reset.
    홍채 인식의 경량화 방법.A lightweight method for iris recognition.
  10. 사용자의 홍채 정보를 추출하는 제 1 단계;A first step of extracting iris information of a user;
    추출된 상기 홍채 정보로부터 관심 영역을 설정하는 제 2 단계;a second step of setting a region of interest from the extracted iris information;
    설정된 관심 영역에 대한 전처리를 수행하는 제 3 단계;a third step of pre-processing the set region of interest;
    전처리가 수행된 데이터로부터 동공 및 홍채를 탐색 및 추적하는 제 4 단계;a fourth step of searching for and tracking a pupil and an iris from preprocessed data;
    탐색 및 추적된 데이터로부터 마스크를 생성하는 제 5 단계;a fifth step of generating a mask from the searched and tracked data;
    생성된 마스크 데이터로부터 홍채 영상을 개선하는 제 6 단계;a sixth step of improving an iris image from the generated mask data;
    개선된 홍채 영상으로부터 홍채 정규화를 수행하는 제 7 단계; 및a seventh step of performing iris normalization from the improved iris image; and
    정규화된 홍채 데이터로부터 홍채 코드를 생성 및 매칭하는 제 8 단계;를 포함하는 홍채 인식 프로그램을 저장한 컴퓨터로 판독가능한 기록 매체.An eighth step of generating and matching an iris code from normalized iris data; a computer-readable recording medium storing an iris recognition program comprising:
PCT/KR2021/008209 2021-06-28 2021-06-29 Method for lightening iris recognition, and computer-readable recording medium in which iris recognition program is stored WO2023277211A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0084104 2021-06-28
KR1020210084104A KR102480152B1 (en) 2021-06-28 2021-06-28 Weight lightening method of iris recognition and computer-readable recording medium recording iris recognition program

Publications (1)

Publication Number Publication Date
WO2023277211A1 true WO2023277211A1 (en) 2023-01-05

Family

ID=84578344

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/008209 WO2023277211A1 (en) 2021-06-28 2021-06-29 Method for lightening iris recognition, and computer-readable recording medium in which iris recognition program is stored

Country Status (2)

Country Link
KR (1) KR102480152B1 (en)
WO (1) WO2023277211A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120089527A (en) * 2010-12-16 2012-08-13 김인선 Method and system for iris recognition
KR20150081680A (en) * 2014-01-06 2015-07-15 삼성전자주식회사 Method of detecting pupil, Computer readable storage medium of recording the method and an pupil detecting device
KR101614468B1 (en) * 2014-11-03 2016-04-21 백석대학교산학협력단 Eye Detection and Its Opening and Closing State Recognition Method Using Block Contrast in Mobile Device
KR20180009303A (en) * 2016-07-18 2018-01-26 삼성전자주식회사 Method and apparatus for iris recognition
KR20180090072A (en) * 2017-02-02 2018-08-10 삼성전자주식회사 Device and method to recognize iris

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2670798C9 (en) 2017-11-24 2018-11-26 Самсунг Электроникс Ко., Лтд. Method of iris authentication of user and device therefor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120089527A (en) * 2010-12-16 2012-08-13 김인선 Method and system for iris recognition
KR20150081680A (en) * 2014-01-06 2015-07-15 삼성전자주식회사 Method of detecting pupil, Computer readable storage medium of recording the method and an pupil detecting device
KR101614468B1 (en) * 2014-11-03 2016-04-21 백석대학교산학협력단 Eye Detection and Its Opening and Closing State Recognition Method Using Block Contrast in Mobile Device
KR20180009303A (en) * 2016-07-18 2018-01-26 삼성전자주식회사 Method and apparatus for iris recognition
KR20180090072A (en) * 2017-02-02 2018-08-10 삼성전자주식회사 Device and method to recognize iris

Also Published As

Publication number Publication date
KR102480152B1 (en) 2022-12-22

Similar Documents

Publication Publication Date Title
WO2018016837A1 (en) Method and apparatus for iris recognition
WO2013009020A4 (en) Method and apparatus for generating viewer face-tracing information, recording medium for same, and three-dimensional display apparatus
WO2020171550A1 (en) Image processing method and apparatus, electronic device and computer readable storage medium
WO2019216593A1 (en) Method and apparatus for pose processing
EP3440593A1 (en) Method and apparatus for iris recognition
WO2015009111A1 (en) Biometrics-based authentication method and apparatus
WO2018143707A1 (en) Makeup evaluation system and operation method thereof
EP3740936A1 (en) Method and apparatus for pose processing
WO2013022226A4 (en) Method and apparatus for generating personal information of client, recording medium thereof, and pos system
WO2020117006A1 (en) Ai-based face recognition system
WO2016006918A1 (en) Method of performing a touch action in a touch sensitive device
WO2018062647A1 (en) Normalized-metadata generation apparatus, object occlusion detection apparatus, and methods thereof
WO2017003136A1 (en) User authenticating method and device
WO2015199354A1 (en) Pupil extraction method using neighbor aggregation binarization and pupil extraction control apparatus using same
WO2019088555A1 (en) Electronic device and method for determining degree of conjunctival hyperemia by using same
WO2018093105A1 (en) Input/output integration module for simultaneously linking biological information algorithms
WO2019074339A1 (en) Signal conversion system and signal conversion method
WO2019164290A1 (en) Method of biometric authenticating using plurality of camera with different field of view and electronic apparatus thereof
WO2019000466A1 (en) Face recognition method and apparatus, storage medium, and electronic device
WO2019164281A1 (en) Electronic device and control method thereof
EP4320472A1 (en) Device and method for predicted autofocus on an object
WO2023277211A1 (en) Method for lightening iris recognition, and computer-readable recording medium in which iris recognition program is stored
WO2021167210A1 (en) Server, electronic device, and control methods therefor
WO2021006635A1 (en) Electronic apparatus for identifying object through warped image and control method thereof
WO2022225375A1 (en) Method and device for multi-dnn-based face recognition using parallel-processing pipelines

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE