WO2023054756A1 - 안검 영역을 검출하는 방법 및 이를 위한 서버 - Google Patents

안검 영역을 검출하는 방법 및 이를 위한 서버 Download PDF

Info

Publication number
WO2023054756A1
WO2023054756A1 PCT/KR2021/013407 KR2021013407W WO2023054756A1 WO 2023054756 A1 WO2023054756 A1 WO 2023054756A1 KR 2021013407 W KR2021013407 W KR 2021013407W WO 2023054756 A1 WO2023054756 A1 WO 2023054756A1
Authority
WO
WIPO (PCT)
Prior art keywords
eyelid
region
pupil
area
center
Prior art date
Application number
PCT/KR2021/013407
Other languages
English (en)
French (fr)
Inventor
정진성
Original Assignee
주식회사 아이디랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이디랩 filed Critical 주식회사 아이디랩
Priority to KR1020217041844A priority Critical patent/KR20230047875A/ko
Priority to PCT/KR2021/013407 priority patent/WO2023054756A1/ko
Publication of WO2023054756A1 publication Critical patent/WO2023054756A1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Definitions

  • the present invention relates to a method for detecting an eyelid area in an eyeball image and a server therefor.
  • the iris is a flat donut-shaped membrane, located between the 'cornea' and 'lens' of the eyeball, and the amount of light entering the eyeball can be determined by adjusting the size of the pupil (pupil) in the center of the iris.
  • Iris recognition is a technology that identifies each person by using a unique pattern inherent in the iris, a part of the body. there is.
  • iris recognition has a higher recognition rate than other biometric recognition technologies such as epitaphs, fingerprints, and veins, and the iris is less likely to be damaged than other body parts such as epitaphs, fingerprints, etc., making it the most popular biometric recognition technology.
  • EYELID eyelid
  • An object to be solved by the present invention for solving the above problems is to provide a method for accurately and quickly detecting the eyelid region in order to increase the accuracy of iris recognition.
  • a method for detecting an "eyelid” region in an image includes a step of coordinating "a pupil” region and an "iris” region in an eyeball “photographed” image, and a step of detecting an "eyelid” region based on the "coordinated pupil” region and "iris” region. can be included.
  • a step of "obtaining” the "eyeball” photographed “image” using an infrared “light source” and an “infrared camera” may be further included.
  • the coordinating step is to coordinate the pupil area and iris regions of the reclaimed eye shooting images based on the steps of recharging the eye shooting image and based on the upper left corner of the reciprocated eye shooting image. steps may be included.
  • the step of detecting the "eyelid” region may include the step of detecting "the upper eyelid” region and the step of detecting the "lower eyelid” region.
  • the step of detecting the "upper” eyelid “region” may include the step of setting the “upper” edge of the “detected” target “region” below the “center” of the "pupil” region, and the step of detecting the "lower” eyelid “region” of the "head” region A step of setting higher than the center of the pupil area may be included.
  • the step of detecting the “upper eyelid” region is the step of setting the “x coordinates of the upper eyelid” region within the “range” within which the iris radius “touches” based on the “center of the pupil” and the “y coordinate” of the upper “eyelid” region, from a point below the center of the pupil at a predetermined distance from the reference point. It may include a step of setting "within” the “range” within which the "iris” radius in the "vertical” and "upper” direction reaches.
  • the step of detecting the “lower eyelid” area is the step of setting the “x coordinates of the lower eyelid” region within the “range” within which the “irus” radius “touches” based on the “center of the pupil” and the “y coordinates of the lower” eyelid “region” as the center of the “upper eye” area at a predetermined distance from the center of the pupil.
  • a step of setting “within the range” within which the radius of the iris in the vertical “lower” direction may be included.
  • the step of detecting the “upper eyelid” region may include a step of recognizing the boundary between the upper eyelid region and the eyeball while moving in the “x” axis direction from the center of the “pupil” and searching for all of the “y coordinates” corresponding to the “x coordinates”.
  • the step of detecting the “upper eyelid” area is the first “linear” function “corresponding” to the “x coordinate” of the center of the pupil and the “right lower eyelid” area corresponding to the “linear” function “corresponding” to the “eyelid region” and the “right lowering” area based on the “center line” of the “recognized” boundary. It may comprise the step of determining the second linear function and based on the determined first linear function, the second linear function, the pupil center and the detection area of the upper bracket region.
  • the step of detecting the “lower eyelid” area may include a step of recognizing the “border” between the “lower eyelid region” and the “eyeball” while searching for all “y coordinates” corresponding to “x coordinates” while moving from the center of the “pupil” in the “x” axis direction.
  • the step of detecting the “lower eyelid” area is the y-coordinate of the “recognized” boundary corresponding to the “x-coordinate of the center of the pupil”, based on the “centre line”, and the “upper-left” function “upper-left” and “upper-right” function corresponding to the “eyelid” area It may comprise the step of determining a four -linear function and the detection target area of the determined third linear function, the fourth linear function, the center of the pupil and the lower pupil area.
  • the eyelid region detection method may further include, prior to the step of detecting the "eyelid region", a step of performing "morphology” calculation on the "resized” "eyeball” photographed image.
  • a server that detects an "eyelid” region in an image may include one or more “processors” and a “memory” electrically connected to the “processors” and storing “at least” one “code” performed by “the” processor. .
  • the processor coordinates the pupil area and the iris area in the eye photographed image, and stores the area to be detected by the eyelid area as a basis.
  • the memory obtains the eye shooting image taken using the infrared light source and infrared camera, recipes the eye shooting image, and is founded on the upper left coordinates of the reciprocated eye shooting image and the bottom right coordinates.
  • a code that causes the "resized” "eyeball” to be taken and “the pupil” and “iris” region of the image to be coordinated can be stored.
  • the memory may store code causing the processor to detect the upper "eyelid” region and to detect the lower "eyelid” region.
  • the memory sets, when the processor detects the upper eyelid region, an "upper” edge of the "target” region to be “higher” than an "upper part” of the "pupil” region, and when detecting the "lower” eyelid “region,” the "lower” edge of the "detected” target region A code that causes the setting to be “lower” than the lower portion of the "pupil” region may be stored.
  • the memory sets the “x coordinate” of the upper “eyelid” region within the “range” within which the “iris” radius “touches” based on the “center of the pupil”, and sets the “y coordinate” of the upper “eyelid” region below a predetermined distance from the center of the pupil. From the point, set within the range within which the iris in the “vertical” upper direction direction reaches the pupil “center”, and when the “lower eyelid” area is detected, set the “x coordinates of the lower” eyelid “area within the range” based on the “pupil” center.
  • a code that causes the setting of the y-coordinate of the eyelid area within the range within which the iris in the direction of "vertical” and “lower” direction from a point above a predetermined distance from the center of the pupil is reached can be stored.
  • an eyelid region may be effectively detected in an eyeball photographed image.
  • FIG. 1 is a diagram for schematically explaining an iris recognition system according to an embodiment of the present invention.
  • FIGS. 2a and 2b are diagrams for explaining a photographing unit of an image acquisition device according to an embodiment of the present invention.
  • FIG. 3 is a sequence diagram for generally explaining the operation of an image processing server according to an embodiment of the present invention.
  • 4 to 6 are diagrams for explaining an execution process of an image processing server for detecting an eyelid area according to an embodiment of the present invention
  • FIG. 7 is a sequence diagram illustrating a process of detecting and masking an eyelid area in an eye-photographed image by an image processing server according to an embodiment of the present invention
  • FIG. 8 is a sequence diagram illustrating a process of detecting an eyebrow region and generating an iris identification image by using an image in which an eyelid region is detected by the image processing server 100 according to an embodiment of the present invention
  • FIG. 9 is a sequence diagram illustrating a process of performing iris authentication by an image processing server according to an embodiment of the present invention.
  • FIG. 1 is a diagram schematically illustrating an iris recognition system 1000 according to an embodiment of the present invention.
  • the iris recognition system 1000 is limited to a system for recognizing a human iris, but may be extended to a system for recognizing an animal's iris according to embodiments.
  • the iris recognition system 1000 largely includes an image acquisition device 200 for acquiring an iris image and an image processing server 100 for performing iris authentication by detecting an eyelid (eyelid) region in the image and generating an iris identification image based thereon. ) may be included.
  • the image processing server 100 and the image acquisition device 200 are connected to each other through a wired or wireless network, the iris image obtained by the image acquisition device 200 is transmitted to the image processing server 100, and the image processing server 100 may perform entity identification or registration using the iris image.
  • the image processing server 100 may provide the result of object identification or registration to the image acquisition device 200 or a separate user terminal.
  • the image processing server 100 may include all functions of the image processing device 100 .
  • the image capture device 200 may include a photographing unit 210, a device memory 230, and a device controller 290.
  • the device control unit 290 may be provided in a common body with the photographing unit 210, or may be provided in a body different from the photographing unit 210. In the latter case, the device control unit 290 is configured by a device having image processing and logic operation functions such as a PC, smartphone, tablet, and the like, and an application (software) installed to perform the functions for the execution of the present invention in such a device. may be implemented.
  • the image acquisition device 200 can be understood as a concept of a virtual device in which devices having two different bodies are wired or wirelessly connected to each other to exchange data and control signals and perform a function of acquiring an iris image. will be.
  • the photographing unit 210 may include an infrared camera 211 and an infrared light source 212 .
  • the device control unit 290 may include a module for image processing and calculation, which is a microprocessor, and various modules for controlling the operation of the photographing unit 210 .
  • the image processing server 100 may include a server memory 130 and one or more server processors 190 .
  • the server memory 130 may be electrically connected to the server processor 190 and may store at least one code executed by the server processor 190 .
  • the image processing server 100 structures an iris image to be registered together with various information about the corresponding person and stores it in the server memory 130 according to the request of the connected user. In addition, the image processing server 100 identifies a subject of information based on a registered iris image when there is a request for viewing or adding information, thereby allowing access to information on the identified entity.
  • the server memory 130 may store an eyebrow detection model.
  • the eyebrow detection model can be implemented to extract a region in which eyebrow detection is possible near the eyebrow region, and networks such as a deep neural network (DNN), a convolutional neural network (CNN), and a recurrent neural network (RNN) based on supervised learning can be implemented. It may be implemented including, and may be implemented including unsupervised learning-based Generative Adversarial Network (GAN), Conditional GAN (CGAN), Context Guided GAN (CGGAN), etc., but the embodiment is not limited thereto and various deep learning algorithms. this may apply.
  • GAN Generative Adversarial Network
  • CGAN Conditional GAN
  • CGGAN Context Guided GAN
  • the server memory 130 may store codes causing the server processor 190 to perform various processing.
  • the processor 190 is a module that controls components of the image processing server 100, and the server processor 190 is a hardware, having a physically structured circuit to perform functions expressed by codes or instructions included in a program. It may refer to a built-in data processing device. As an example of such a data processing device built into hardware, a microprocessor, a central processing unit (CPU), a processor core, a multiprocessor, an application-specific integrated (ASIC) circuit), field programmable gate array (FPGA), etc., but the scope of the present invention is not limited thereto.
  • the server processor 190 may separately include a running processor for performing artificial intelligence calculations or may include a running processor itself.
  • the photographing unit 210 transmits infrared rays emitted from the infrared light source 212 and reflected to the eyeball to be photographed and emitted from the eyeball to the infrared camera 211. ) is configured to be photographed.
  • the configuration of the photographing unit 210 including the infrared camera 211 and the infrared light source 212 may obtain an iris image by utilizing the high infrared reflectance on the surface of the eyeball.
  • the infrared camera 211 may be a camera with a fixed focus lens, may have a continuous shooting function, and may provide image frames at a predetermined frame rate, like a video camera, but the embodiment is limited thereto it is not going to be
  • the device controller 290 may store an image frame photographed by the infrared camera 211 in the device memory 230 .
  • Image information in units of frames obtained through the image sensor of the infrared camera 211, reference information necessary for determining whether this image frame is suitable as an iris image, and intermediate results of image processing are stored in the device memory 230.
  • FIGS. 2A and 2B are views for explaining the photographing unit 210 of the image acquisition device 200 according to an embodiment of the present invention.
  • the photographing unit 210 shown in FIG. 2A includes an image sensor A112 disposed on a printed circuit board (PCB) and a camera lens A111 aligned with respect to a light receiving area of the image sensor A112, and A first light source group A113 and a second light source divided into two groups and symmetrically arranged around the center line C1 perpendicular to the optical axis of the camera lens A111 at a fixed position on the printed circuit board (PCB). It is constituted by including the group A114. In each of the first light source group A113 and the second light source group A114, point light source type infrared light sources A113a to A113c and A114a to A114c are arranged in a line parallel to the center line C1.
  • the infrared light sources A113a to A113c and A114a to A114c may be infrared LEDs. More specifically, an infrared LED of 0.1 lux may be applied.
  • the shape seen from the front that is, the shape of the light emission pattern of each light source, is not limited, but in the following embodiments, a case in which the light emission pattern of each light source is circular is described.
  • the first light source group A113 includes at least two infrared light sources A113a and A113b arranged in a line parallel to the center line C1, and may further include one infrared light source A113c on the same line. More light sources may be further included according to necessity such as the amount of light.
  • the second light source group A114 also includes at least two infrared light sources A114a and A114b arranged in a line parallel to the center line C1, and may further include one infrared light source A114c on the same line. It is the same as the first light source group A113 in that more light sources may be further included according to necessity, such as the amount of light.
  • a pair of infrared light sources A115 and A116 are symmetrical It is different from the embodiment of FIG. 2A described above in that it is batched as . Details regarding the camera lens A111, the image sensor A112, and the infrared light sources A115 and A116 themselves are the same as described above.
  • Both configurations of the embodiments shown in FIGS. 2A and 2B may be applied to the image acquisition device 200 according to the present invention. However, depending on the number or arrangement of infrared light sources, there may be some differences in the specific calculation required to determine suitability as an iris image.
  • FIG. 3 is a sequence diagram for generally explaining the operation of the image processing server 100 according to an embodiment of the present invention.
  • the image processing server 100 may detect an eyelid (eyelid) region from an eyeball photographed image, generate an iris identification image, and authenticate an iris of an identification target.
  • the eyeball photographic image is an image captured including the eyeball
  • the eyelid region is the eyelid region and may include the eyelid region forming the boundary between the eyeball and the skin among the eyelid regions.
  • the image processing server 100 may obtain an eye-photographed image from the image acquisition device 200 (S310).
  • the image acquisition device 200 may acquire a new image frame from the infrared camera 211.
  • the obtained image frame is temporarily stored in the above-described device memory 230, image processing and calculation may be performed on it, and a series of processes for determining whether it is suitable as a discriminating iris image, that is, iris image suitability determination process can proceed.
  • the image processing server 100 may first detect a pupil area from the image frame (S320).
  • a pupil area can be found from the image frame using the Hough Circle Transform. Since the boundary of the pupil is distinct, it is desirable to first find the pupil within the image frame in order to find the iris.
  • the image processing server 100 may determine suitability according to the degree of image shaking, and may perform convolution with the Laplacian kernel to check whether there is image shaking with respect to the image frame in which the pupil is detected.
  • the Laplacian function is the second derivative of the horizontal and vertical gradient of the image, and is used to detect the edge of the image included in the image. As the value of Laplacian Value increases, the border of the line becomes clearer, and it can be judged that the image has less shaking. If the Laplacian value is higher than a preset threshold, it is determined as a suitable image with less shaking.
  • the image processing server 100 may determine the suitability of the photographing angle to determine whether the angle at which the image was photographed is suitable for an image frame having a suitable degree of shaking.
  • the image processing server 100 may detect an iris region from the eyeball image (S330).
  • the image processing server 100 may determine whether the iris is included within the field of view (FOV) of the image, that is, the field of view (FOV) of the image.
  • the image processing server 100 may coordinate the pupil and iris regions in the eye-photographed image, and the image processing server 100 may detect the eyelid region based on the coordinated pupil and iris regions (S340). .
  • the image processing server 100 may resize the eyeball image to coordinate the pupil area and the iris region, and based on the upper left coordinate and the lower right coordinate of the resized eyeball image, the resized eyeball image
  • the pupil area and the iris area of can be coordinated.
  • the image processing server 100 may sequentially detect the upper eyelid area and the lower eyelid area.
  • the eyelid region described in this specification is a region including both the eyelid region, but in this specification, it may be mainly used when referring to the region that is the boundary between the eyeball and the skin.
  • the image processing server 100 may simultaneously detect the upper eyelid region and the lower eyelid region.
  • the image processing server 100 may detect an eyebrow located at the boundary of the eyelid area (S350).
  • the image processing server 100 may perform a normalization operation to generate a standardized image in order to detect the eyebrows bordering the eyelid area, and may process the image.
  • the image processing server 100 When the image processing server 100 detects an eyebrow, it may generate an iris identification image (S360).
  • the image processing server 100 may perform iris-based authentication by comparing the generated iris identification image of the identification target with iris identification images of various people stored in the server memory 130 .
  • 4 to 6 are diagrams for explaining an execution process of the image processing server 100 for detecting an eyelid area according to an embodiment of the present invention.
  • the image processing server 100 may resize the eyeball image, and may set the upper left point of the resized eyeball image (res_e) to (0,0) and the lower right coordinates to (x_max, y_max). Based on the captured eyeball image res_e, the pupil area and the iris area may be coordinated.
  • the pupil area may be an area formed by the pupil radius rp
  • the iris area may be an area formed by the iris radius ri.
  • the pupil area and the iris area may be implemented in a circular shape or similar to a circular shape.
  • the center line C3 may be formed in a direction perpendicular to the center of the pupil.
  • the image processing server 100 may separate and detect the eyelid area into an upper part and a lower part.
  • the image processing server 100 may set the upper edge of the detection target region lower than the center of the pupil region. Thus, the upper eyelid region can be more effectively detected.
  • the image processing server 100 may set the lower edge of the detection target region higher than the center of the pupil region. Thus, the lower eyelid region can be more effectively detected.
  • the image processing server 100 may set the x-coordinate of the upper eyelid area within the range of the iris radius ri based on the center of the pupil, and set the y-coordinate of the upper eyelid area from the center of the pupil to It can be set within a range where the iris radius ri in the vertical upward direction based on the center of the pupil touches from the point a below the predetermined distance.
  • the image processing server 100 may set the x-coordinate of the lower eyelid area within the range of the radius of the iris with respect to the center of the pupil, and set the y-coordinate of the lower eyelid area to a point a predetermined distance from the center of the pupil. It can be set within the range where the iris radius (ri) in the vertical downward direction from the center of the pupil touches.
  • the image processing server 100 detects the boundaries 410 and 420 between the upper eyelid region and the eyeball while moving in the x-axis direction from the center of the pupil and searching all of the y-coordinates corresponding to the x-coordinates. can do.
  • the upper eyelid area may include the corresponding boundaries 410 and 420 .
  • the image processing server 100 converts the y-coordinate of the recognized boundary corresponding to the x-coordinate of the pupil center into a first linear function 410d corresponding to the lower-left eyelid area 410 and the lower-right A second linear function 420d corresponding to the eyelid area 420 may be determined.
  • the image processing server 100 may determine the linear functions 410d and 420d using the coordinates of the boundary using Hough Transform.
  • the image processing server 100 may filter out detection values except for the linear functions 410d and 420d by setting them as noise. Specifically, when the x-coordinate is 0, the image processing server 100 may remove the noise component by obtaining an average of the constant values, and may remove the noise component by setting a region other than the linear functions 410d and 420d as the noise component. . In addition, noise components can be removed by determining the direction and magnitude of the direction vector of the linear function.
  • the image processing server 100 may display each of the linear functions 410d and 420d together in one image PI2 by removing noise from the image PI1 including noise, and performing resizing It may be expressed in the form of a linear function (eg, 420e) on the area ((0,0) to (x_max, y_max)) of the eyeball photographed image PI3.
  • a linear function eg, 420e
  • the average of slopes and the average of constant values may be used.
  • the image processing server 100 may derive 4 points and 2 straight lines through the above formula, and the 4 points are (0, left_y), (pupil center), (0, right_y), (x_max, right_y), etc.
  • the width may be the horizontal length of the right image divided into left and right sides.
  • the image processing server 100 has a height difference (G) between a first linear function connecting P2 and P4 and a second linear function connecting P1 and P3, at a relatively higher position.
  • the upper part of the eyelid can be determined based on P1.
  • the image processing server 100 may determine the upper eyelid area based on the point where P2, P1, and P3 are connected, and generate an image PI4 masking the corresponding area.
  • the image processing server 100 may separately detect the upper eyelid region and the lower eyelid region. When the image processing server 100 detects the lower eyelid region, the image processing server 100 moves in the x-axis direction from the center of the pupil, corresponding to the x-coordinate.
  • the boundary between the lower eyelid area and the eyeball is recognized while searching all the y-coordinates, and in a similar way to the detection of the upper eyelid area, the y-coordinate of the recognized boundary corresponding to the x-coordinate of the center of the pupil, based on the center line, upper left eyelid determining a third linear function corresponding to a region and a fourth linear function corresponding to an upper eyelid region, and based on the determined third linear function, the fourth linear function, the pupil center and the lower eyelid region to be detected,
  • the lower eyelid region may be detected.
  • the image processing server 100 may perform morphology calculation on the resized eyeball image before detecting the eyelid region. This can be referred to as pre-processing that can reduce the interference of eyebrows by applying blur processing through various morphological calculations to the image.
  • FIG. 7 is a sequence diagram illustrating a process of detecting and masking an eyelid region in an eyeball photographed image by the image processing server 100 according to an embodiment of the present invention.
  • the image processing server 100 acquires an eyeball image (S810). After that, the image processing server 100 blurs the eyebrows based on the morphology (S820). After that, the image processing server 100 acquires eyebrow and eye boundary information (S830).
  • the image processing server 100 may remove noise (S840), specify a linear function for masking through Hough transform (S850), and generate masking based on 3 points (S860).
  • the image processing server 100 may detect an eyelid region in an image, and includes one or more server processors 190 and a memory electrically connected to the server processor and storing at least one code performed by the processor.
  • server processors 190 and a memory electrically connected to the server processor and storing at least one code performed by the processor.
  • a memory electrically connected to the server processor and storing at least one code performed by the processor.
  • the server processor 190 coordinates the pupil region and the iris region in the eyeball photographed image, and the pupil region and the iris region are based on the eyelid region.
  • a code that "causes" to be detected may be stored.
  • the server processor 190 may store codes for performing the above functions in the server memory 130 .
  • FIG. 8 is a sequence diagram illustrating a process of detecting an eyebrow region and generating an iris identification image by using an image in which an eyelid region is detected by the image processing server 100 according to an embodiment of the present invention.
  • the image processing server 100 may generate an iris identification image, and may authenticate an iris of an identification target by using the iris identification image.
  • the image processing server 100 may generate an image PI6 in which the eyelid area is masked from the eyeball image.
  • the masking image PI6 may be an image obtained by masking the entire eyelid area by detecting both the upper and lower eyelids.
  • the image processing server 100 may perform a predetermined normalizing operation on the detected eyelid region to detect the eyebrow region and generate a normalized image PI7.
  • the normalizing image PI7 is an image in which the upper and lower eyebrows are normalized and expressed within a rectangle, and may include an operation of converting a circular iris region into a rectangular iris region.
  • the image processing server 100 first masks (first masking) the eyebrow regions 7M1a and 7M1b of the normalized image PI7, and then masks (second masking) also the regions 7M2a and 7M2b in which eyebrows are likely to be detected. masking) may be generated.
  • the image processing server 100 may use the learned eyebrow determination model to determine a region in which an eyebrow may be detected by using a plurality of eyelid regions and eyebrow regions as a training set.
  • a variety of neural network-based algorithms may be applied to the eyebrow determination model.
  • the eyebrow determination model may be trained until a target value is reached through a method such as backpropagation based on a loss function based on a neural network algorithm.
  • the image processing server 100 may generate a masking-based iris identification image PI9 based on the detected eyebrow region.
  • the iris identification image PI9 may include a code representing iris data in binary numbers and a masking code, but the embodiment is not limited thereto.
  • the image processing server 100 does not use only the gray levels of the eyebrows and pupils and does not use a separate matrix for detecting the eyebrows, so the amount of calculation may not be excessive.
  • FIG. 9 is a sequence diagram illustrating a process of performing iris authentication by the image processing server 100 according to an embodiment of the present invention.
  • the image processing server 100 acquires an image in which the eyelid region of the identification target is masked (S910).
  • the image processing server 100 may acquire an eye-photographed image of an identification target and mask an eyelid region in the eye-photographed image of the identification target. As an optional embodiment, the image processing server 100 may obtain a masked eyelid region image.
  • the image processing server 100 may detect the eyebrow area by performing a predetermined normalization operation on the detected eyelid area (S920).
  • the image processing server 100 may generate a masking-based iris identification image based on the detected eyebrow region.
  • the image processing server 100 may determine an iris identification image of an identification target by adding pixels for additional masking to an area in which an eyebrow may be detected.
  • the image processing server 100 may authenticate the iris of the identification target by comparing the previously stored iris identification image (S940).
  • the image processing server 100 may compare an iris code and a masking code included in an iris identification image of an identification target with an iris code included in one or more pre-stored iris identification images and a masking code.
  • the image processing server 100 Based on the HD (Hamming Distance), the image processing server 100 indicates that there is an iris identification image that matches the iris identification image of the identification target as the HD value is closer to 0, which may eventually result in successful authentication. . As the HD value is closer to 1, it may indicate that there is no stored iris identification image that matches the iris identification image of the identification target, which may result in authentication failure.
  • codeA is one of pre-stored iris data represented by binary numbers
  • codeB is a code to be identified
  • maskA is masking data of codeA
  • maskB is masking data of codeB.
  • codeA and codeB may perform intersection and intersection of masking data on the result of performing the XOR operation. In the denominator, intersection may be performed on the masking data.
  • the image processing server 100 may calculate an HD value by activating only the XOR of bits only in the comparable iris region and dividing the bits by the comparable masking region.
  • the XOR operation is a logical operation that outputs 1 only when bits are different.
  • the image processing server 100 performs masking not only on the eyebrow area but also on the area where the eyebrow is likely to be detected, so that the effect of the eyebrow can be minimized, FAR (False Accept Rate) It can be helpful to improve the indicator and False Reject Rate (FRR) indicator, which indicates the case of authenticating a person as someone else.
  • FAR False Accept Rate
  • the method of detecting the eyelid area in an image, the method of generating an iris identification image from an image, and the method of authenticating an iris of an identification target according to an embodiment of the present invention described above are programs to be executed in combination with a computer, which is hardware. (or application) and stored in a medium.
  • the computer may be the image processing server 100 described above.
  • the above-described program is C, C++, Python, JAVA, C, C++, Python, JAVA, which can be read by a processor (CPU) of the computer through a device interface of the computer so that the computer reads the program and executes the methods implemented as a program.
  • It may include a code coded in a computer language such as machine language.
  • These codes may include functional codes related to functions defining necessary functions for executing the methods, and include control codes related to execution procedures necessary for the processor of the computer to execute the functions according to a predetermined procedure. can do.
  • these codes may further include memory reference related codes for which location (address address) of the computer's internal or external memory should be referenced for additional information or media required for the computer's processor to execute the functions. there is.
  • the code uses the computer's communication module to determine how to communicate with any other remote computer or server. It may further include communication-related codes for whether to communicate, what kind of information or media to transmit/receive during communication, and the like.
  • Steps of a method or algorithm described in relation to an embodiment of the present invention may be directly implemented as hardware, implemented as a software module executed by hardware, or implemented by a combination thereof.
  • a software module may include random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any form of computer readable recording medium well known in the art to which the present invention pertains.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Image Processing (AREA)

Abstract

이미지에서 안검 영역을 검출하는 서버 및 방법이 개시된다. 본 서버는 하나 이상의 프로세서 및 프로세서와 전기적으로 연결되고, 프로세서에서 수행되는 적어도 하나의 코드(Code)가 저장되는 메모리를 포함할 수 있다. 본 서버가 제공됨으로써, 이미지에서 안검 영역이 정확하게 검출될 수 있다.

Description

안검 영역을 검출하는 방법 및 이를 위한 서버
본 발명은 안구 촬영 이미지에서 안검 영역을 검출하는 방법 및 이를 위한 서버에 관한 것이다.
홍채는 납작한 도넛 모양의 막으로, 안구의 ‘각막’과 ‘수정체’ 사이에 위치하며, 홍채 중앙의 동공(Pupil) 사이즈를 조절하여 안구로 들어오는 빛의 양을 결정할 수 있다.
홍채 인식은 신체 일부인 홍채에 내재된 본연의 고유한 무늬를 이용하여 각 사람을 식별하는 기술로서, 체내에 이물질을 삽입하거나, 인식표를 착용하는 등의 불편함 없이, 등록된 개체의 신원을 확인할 수 있다. 게다가 홍채인식은 비문, 지문, 정맥 등 다른 생채 인식 기술보다 인식률이 높고, 홍채는 비문, 지문, 등 다른 신체 부위에 비해 손상될 확률도 낮아 생채 인식 기술 중 가장 각광받는 방식으로 꼽힌다.
한편, 홍채 인식의 정확도를 높이기 위해, 소위 눈꺼풀이라 불리는 안검(EYELID)을 정확하게 검출하는 방법이 필요하다.
상술한 바와 같은 문제점을 해결하기 위한 본 발명이 해결하고자 하는 일 과제는 홍체 인식의 정확도를 높이기 위해 안검 영역을 정확하고 신속하게 검출하는 방법을 제공하는 데에 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시 예에 따른 이미지에서 안검 영역을 검출하는 방법은 안구 촬영 이미지에서 동공 영역 및 홍채 영역을 좌표화하는 단계 및 상기 좌표화된 동공 영역 및 홍채 영역을 기초로 안검 영역을 검출하는 단계를 포함할 수 있다.
상기 좌표화하는 단계 이전에, 적외선 광원 및 적외선 카메라를 이용하여 촬영된 상기 안구 촬영 이미지를 획득하는 단계를 더 포함할 수 있다.
상기 좌표화하는 단계는, 상기 안구 촬영 이미지를 리사이징하는 단계 및 상기 리사이징된 안구 촬영 이미지의 좌측 상단 좌표 및 우측 하단 좌표에 기초하여, 상기 리사이징된 안구 촬영 이미지의 동공 영역 및 홍채 영역을 좌표화하는 단계를 포함할 수 있다.
상기 안검 영역을 검출하는 단계는 상부 안검 영역을 검출하는 단계 및 하부 안검 영역을 검출하는 단계를 포함할 수 있다.
상기 상부 안검 영역을 검출하는 단계는 검출 대상 영역의 상부 테두리를 상기 동공 영역의 중심보다 아래로 설정하는 단계를 포함할 수 있으며, 상기 하부 안검 영역을 검출하는 단계는 검출 대상 영역의 하부 테두리를 상기 동공 영역의 중심보다 높게 설정하는 단계를 포함할 수 있다.
상기 상부 안검 영역을 검출하는 단계는 상부 안검 영역의 x 좌표를 동공 중심 기준으로 홍채 반지름이 닿는 범위 내로 설정하는 단계 및 상부 안검 영역의 y 좌표를, 동공 중심에서 소정 거리 아래 지점부터 상기 동공 중심 기준으로 수직 상부 방향의 홍채 반지름이 닿는 범위 내로 설정하는 단계를 포함할 수 있다.
상기 하부 안검 영역을 검출하는 단계는 하부 안검 영역의 x 좌표를 동공 중심 기준으로 홍채 반지름이 닿는 범위 내로 설정하는 단계 및 하부 안검 영역의 y 좌표를 상기 동공 중심에서 소정 거리 위 지점부터 동공 중심 기준으로 수직 하부 방향의 홍채 반지름이 닿는 범위 내로 설정하는 단계를 포함할 수 있다.
상기 상부 안검 영역을 검출하는 단계는 상기 동공 중심에서 x 축 방향으로 이동하면서 x 좌표에 대응하는 y 좌표 전부를 탐색하면서 상부 안검 영역과 안구의 경계를 인식하는 단계를 포함할 수 있다.
상기 상부 안검 영역을 검출하는 단계는 동공 중심의 x 좌표에 대응하는 상기 인식된 경계의 y좌표를, 중심선을 기준으로, 좌하향 안검 영역에 대응하는 제1 선형 함수 및 우하향 안검 영역에 대응하는 제2 선형 함수를 결정하는 단계 및 상기 결정된 제1 선형 함수, 제2 선형 함수, 상기 동공 중심 및 상기 상부 안검 영역의 검출 대상 영역에 기초하여, 상기 상부 안검 영역을 검출하는 단계를 포함할 수 있다.
상기 하부 안검 영역을 검출하는 단계는 상기 동공 중심에서 x 축 방향으로 이동하면서 x좌표에 대응하는 y좌표 전부를 탐색하면서 하부 안검 영역과 안구의 경계를 인식하는 단계를 포함할 수 있다.
상기 하부 안검 영역을 검출하는 단계는 동공 중심의 x 좌표에 대응하는 상기 인식된 경계의 y 좌표를, 중심선을 기준으로, 좌상향 안검 영역에 대응하는 제3 선형 함수 및 우상향 안검 영역에 대응하는 제4 선형 함수를 결정하는 단계 및 상기 결정된 제3 선형 함수, 제4 선형 함수, 상기 동공 중심 및 상기 하부 안검 영역의 검출 대상 영역이 기초하여, 상기 하부 안검 영역을 검출하는 단계를 포함할 수 있다.
상기 안검 영역 검출 방법은 상기 안검 영역을 검출하는 단계 이전에, 상기 리사이징된 안구 촬영 이미지에 모폴로지 연산을 수행하는 단계를 더 포함할 수 있다.
본 발명의 일 실시 예에 따른 이미지에서 안검 영역을 검출하는 서버는 하나 이상의 프로세서 및 상기 프로세서와 전기적으로 연결되고, 상기 프로세서에서 수행되는 적어도 하나의 코드(Code)가 저장되는 메모리를 포함할 수 있다.
상기 메모리는, 상기 프로세서를 통해 실행될 때, 상기 프로세서가, 안구 촬영 이미지에서 동공 영역 및 홍채 영역을 좌표화하고, 상기 동공 영역 및 홍채 영역을 기초로, 안검 영역을 검출하도록 야기하는 코드가 저장될 수 있다.
상기 메모리는, 상기 프로세서가, 적외선 광원 및 적외선 카메라를 이용하여 촬영된 상기 안구 촬영 이미지를 획득하고, 상기 안구 촬영 이미지를 리사이징하며, 상기 리사이징된 안구 촬영 이미지의 좌측 상단 좌표 및 우측 하단 좌표에 기초하여, 상기 리사이징된 안구 촬영 이미지의 동공 및 홍채 영역을 좌표화하도록 야기하는 코드가 저장될 수 있다.
상기 메모리는, 상기 프로세서가, 상부 안검 영역을 검출하고, 하부 안검 영역을 검출하도록 야기하는 코드가 저장될 수 있다.
상기 메모리는, 상기 프로세서가, 상기 상부 안검 영역을 검출할 때, 검출 대상 영역의 상부 테두리를 상기 동공 영역의 상부보다 높게 설정하고, 상기 하부 안검 영역을 검출할 때, 검출 대상 영역의 하부 테두리를 상기 동공 영역의 하부보다 낮게 설정하도록 야기하는 코드가 저장될 수 있다.
상기 메모리는, 상기 프로세서가, 상기 상부 안검 영역을 검출할 때, 상부 안검 영역의 x좌표를 동공 중심 기준으로 홍채 반지름이 닿는 범위 내로 설정하고, 상부 안검 영역의 y 좌표를 동공 중심에서 소정 거리 아래 지점부터 상기 동공 중심 기준으로 수직 상부 방향의 홍채 반지름이 닿는 범위 내로 설정하며, 상기 하부 안검 영역을 검출할 때, 하부 안검 영역의 x좌표를 동공 중심 기준으로 홍채 반지름이 닿는 범위 내로 설정하고, 하부 안검 영역의 y 좌표를 상기 동공 중심에서 소정 거리 위 지점부터 상기 동공 중심 기준으로 수직 하부 방향의 홍채 반지름이 닿는 범위 내로 설정하도록 야기하는 코드가 저장될 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램, 그리고 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
본 발명의 일 실시 예에 따라, 안구 촬영 이미지에서 안검 영역이 효과적으로 검출될 수 있다.
본 발명의 효과들은 이상에서 언급된 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 홍채 인식 시스템을 개략적으로 설명하기 위한 도면,
도 2a 및 도 2b는 본 발명의 일 실시 예에 따른 이미지 획득 장치의 촬영부를 설명하기 위한 도면들,
도 3은 본 발명의 일 실시 예에 따른 이미지 처리 서버의 동작을 개괄적으로 설명하기 위한 시퀀스도,
도 4 내지 도 6은 본 발명의 일 실시 예에 따른 안검 영역을 검출하는 이미지 처리 서버의 실행 프로세스를 설명하기 위한 도면들,
도 7은 본 발명의 일 실시 예에 따른 이미지 처리 서버가 안구 촬영 이미지에서 안검 영역을 검출하여 마스킹하는 과정을 나타내는 시퀀스도,
도 8은 본 발명의 일 실시 예에 따른 이미지 처리 서버(100)가 안검 영역이 검출된 이미지를 이용하여 눈썹 영역을 검출하고 홍채 식별 이미지를 생성하는 과정을 나타내는 시퀀스도, 그리고,
도 9는 본 발명의 일 실시 예에 따른 이미지 처리 서버의 홍채 인증을 수행하는 과정을 나타내는 시퀀스도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명의 일 실시 예에 따른 홍채 인식 시스템(1000)을 개략적으로 설명하기 위한 도면이다.
본 명세서에서, 홍채 인식 시스템(1000)은 사람의 홍채를 인식하는 시스템으로 한정하나, 실시 예에 따라서는 동물의 홍채를 인식하는 시스템으로 확장될 수 있다. 홍채 인식 시스템(1000)은 크게 홍채 이미지를 획득하기 위한 이미지 획득 장치(200) 및 이미지에서 안검(눈꺼풀) 영역을 검출하고 이에 기반하여 홍채 식별 이미지를 생성하여 홍채 인증을 수행하는 이미지 처리 서버(100)를 포함할 수 있다.
이미지 처리 서버(100) 및 이미지 획득 장치(200)는 유무선 네트워크를 통해 서로 연결되어, 이미지 획득 장치(200)에서 획득된 홍채 이미지가 이미지 처리 서버(100)에 전송되고, 이미지 처리 서버(100)는 홍채 이미지를 이용하여 개체 식별 또는 등록 작업을 수행할 수 있다. 이미지 처리 서버(100)는 개체 식별 또는 등록 작업의 결과를 이미지 획득 장치(200) 또는 별도의 사용자 단말기로 제공할 수 있다. 선택적 실시 예로, 이미지 처리 서버(100)는 이미지 처리 장치(100)의 기능을 모두 포함할 수도 있다.
이미지 획득 장치(200)는 촬영부(210)와 장치 메모리(230) 및 장치 제어부(290)를 포함할 수 있다. 장치 제어부(290)는 촬영부(210)와 하나의 공통된 몸체 내에 구비될 수도 있으나, 촬영부(210)와 다른 몸체에 구비될 수도 있다. 후자의 경우, 장치 제어부(290)는 PC, 스마트폰, 태블릿, 등의 영상 처리 및 논리 연산 기능을 갖는 기기와, 이러한 기기에서 본 발명의 실행을 위한 기능들을 수행하도록 설치된 애플리케이션(소프트웨어)에 의해 구현될 수도 있다. 이 경우, 이미지 획득 장치(200)는 서로 다른 두 개의 몸체를 가진 기기가 유선 또는 무선으로 서로 접속되어 데이터와 제어 신호를 교환하며 홍채 이미지 획득이라는 기능을 수행하는 가상의 장치 개념으로 이해될 수 있을 것이다.
촬영부(210)는 적외선 카메라(211)와 적외선 광원(212)을 포함하여 구성될 수 있다. 또한, 장치 제어부(290)는 마이크로 프로세서인 영상처리 및 연산을 위한 모듈, 촬영부(210)의 동작을 제어하기 위한 다양한 모듈을 포함할 수 있다.
이미지 처리 서버(100)는 서버 메모리(130) 및 하나 이상의 서버 프로세서(190)를 포함할 수 있다. 서버 메모리(130)는 서버 프로세서(190)와 전기적으로 연결되고, 서버 프로세서(190)에서 수행되는 적어도 하나의 코드(Code)가 저장될 수 있다.
이미지 처리 서버(100)는 접속된 사용자의 요청에 따라, 등록하고자 하는 홍채 이미지를 해당 사람에 관한 다양한 정보와 함께 구조화하여 서버 메모리(130)에 저장한다. 또한, 이미지 처리 서버(100)는 정보의 열람, 추가 등의 요청이 있는 때에는 등록된 홍채 이미지를 기준으로 정보의 주체를 식별함으로써, 식별된 개체에 대한 정보에 접근하도록 한다.
서버 메모리(130)는 눈썹 검출 모델을 저장할 수 있다. 눈썹 검출 모델은 눈썹 영역 근처의 눈썹 검출 가능성이 있는 영역을 추출하도록 구현될 수 있으며, 지도 학습 기반의 DNN(Deep Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network) 등의 네트워크들을 포함하여 구현될 수 있으며, 비지도 학습 기반의 GAN(Generative Adversarial Network), CGAN(Conditional GAN), CGGAN(Context Guided GAN) 등을 포함하여 구현될 수 있으나, 실시 예가 이에 한정되지 않고 다양한 딥러닝 알고리즘이 적용될 수 있다.
서버 메모리(130)는 서버 프로세서(190)를 통해 실행될 때, 상기 서버 프로세서(190)가 다양한 프로세싱을 수행하도록 야기하는(Causing) 코드가 저장될 수 있다.
서버 프로세서(190)는 하나 이상으로 구현될 수 있으며, 단수로 표현하더라도 복수로 간주될 수 있다. 프로세서(190)는 이미지 처리 서버(100)의 구성들을 컨트롤하는 모듈이며, 서버 프로세서(190)는 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 서버 프로세서(190)는 인공 지능 연산을 수행하기 위한 러닝 프로세서를 별도로 구비하거나, 자체적으로 러닝 프로세서를 구비할 수 있다.
이미지 획득 장치(200)의 구성과 그에 따른 기능을 좀 더 자세히 살펴보면, 촬영부(210)는 적외선 광원(212)으로부터 방출되어 촬영 대상인 안구에 반사된 적외선과 안구로부터 방출된 적외선을 적외선 카메라(211)로 촬영하도록 구성된다. 또한, 적외선 카메라(211)와 적외선 광원(212)을 구비한 촬영부(210)의 구성은 안구 표면에서의 적외선 반사율이 높다는 점을 활용하여 홍채 이미지를 획득할 수 있다. 적외선 카메라(211)는 고정 초점 렌즈를 가진 카메라일 수 있고 연속 촬영 기능을 가질 수 있으며, 동영상 촬영용 카메라와 같이, 소정의 프레임 레이트(frame rate)로 이미지 프레임을 제공할 수 있으나, 실시 예가 이에 한정되는 것은 아니다.
장치 제어부(290)는 적외선 카메라(211)에서 촬영된 이미지 프레임을 장치 메모리(230)에 저장할 수 있다. 적외선 카메라(211)의 이미지 센서를 통해 얻어진 프레임 단위의 이미지 정보와, 이러한 이미지 프레임이 홍채 이미지로서 적합한지를 판단하는 데에 필요한 기준 정보 및 영상처리의 중간 결과물 등이 장치 메모리(230)에 저장될 수 있다.
도 2a 및 도 2b는 본 발명의 일 실시 예에 따른 이미지 획득 장치(200)의 촬영부(210)를 설명하기 위한 도면들이다.
먼저, 도 2a에 도시된 촬영부(210)는, 인쇄회로기판(PCB) 상에 배치된 이미지 센서(A112)와 상기 이미지 센서(A112)의 수광 영역에 대해 정렬된 카메라 렌즈(A111), 그리고 상기 인쇄회로기판(PCB)에 대해서 고정된 위치에 카메라 렌즈(A111)의 광축과 직교하는 중심선(C1)을 중심으로 두 그룹으로 나뉘어 대칭적으로 배치된 제1 광원 그룹(A113)과 제2 광원 그룹(A114)을 포함하여 구성된다. 상기 제1 광원 그룹(A113)과 상기 제2 광원 그룹 (A114) 각각은 점광원 형태의 적외선 광원들(A113a~A113c 및 A114a~A114c)이 상기 중심선(C1)에 평행하게 일렬로 배치된다. 상기 적외선 광원(A113a~A113c 및 A114a~A114c)은 적외선 LED일 수 있다. 좀 더 구체적으로는, 0.1 lux의 적외선 LED가 적용될 수 있다. 이들 광원이 발광할 때 정면에서 본 모양, 즉 개별 광원의 발광 패턴 모양에 제한은 없으나, 이하의 실시예에서는 각 광원의 발광 패턴이 원형인 경우를 기준으로 설명한다.
제1 광원 그룹(A113)은 중심선(C1)에 평행하게 일렬로 배치된 적어도 두 개의 적외선 광원(A113a, A113b)을 포함하고, 동일 선상에 하나의 적외선 광원(A113c)을 더 포함할 수 있다. 광량 등의 필요에 따라서 그 이상의 광원을 더 포함할 수도 있다. 제2 광원 그룹(A114) 역시 중심선(C1)에 평행하게 일렬로 배치된 적어도 두 개의 적외선 광원(A114a, A114b)을 포함하고, 동일 선상에 하나의 적외선 광원(A114c)을 더 포함할 수 있다. 광량 등의 필요에 따라서 그 이상의 광원을 더 포함할 수 있다는 점도 제1 광원 그룹(A113)과 동일하다.
도 2b의 실시예에 따른 촬영부(210)는, 카메라 렌즈(A111)의 광축과 직교하는 중심선(C2)을 중심으로 하여 양쪽에 각각 하나씩, 한 쌍의 적외선 광원(A115, A116)이 대칭적으로 배칭된 점에서 전술한 도 2a의 실시 예와 차이가 있다. 카메라 렌즈(A111)나 이미지 센서(A112), 그리고 각각의 적외선 광원(A115, A116) 자체에 관한 사항은 전술한 바와 같다.
도2a 및 도2b에 도시된 실시 예의 구성 모두 본발명에 따른 이미지 획득 장치(200)에 적용될 수 있다. 다만, 적외선 광원의 개수나 배치 형태에 따라서 홍채 이미지로서의 적합성을 판단하는 데 필요한 구체적 연산 에 다소 차이가 있을 수 있다.
도 3은 본 발명의 일 실시 예에 따른 이미지 처리 서버(100)의 동작을 개괄적으로 설명하기 위한 시퀀스도이다.
이미지 처리 서버(100)는 안구 촬영 이미지에서 안검(눈꺼풀) 영역을 검출하고 홍채 식별 이미지를 생성할 수 있으며, 식별 대상의 홍채를 인증할 수 있다.
여기서, 안구 촬영 이미지는 안구를 포함하여 촬영된 이미지이며, 안검 영역은 눈꺼풀 영역으로 눈꺼풀 영역 중에서 안구와 피부의 경계를 형성하는 안검 영역을 포함할 수 있다.
이미지 처리 서버(100)는 안구 촬영 이미지를 이미지 획득 장치(200)로부터 획득(S310)할 수 있는데, 이미지 획득 장치(200)는 촬영이 시작되면, 적외선 카메라(211)로부터 하나의 새로운 이미지 프레임을 획득하고, 획득된 이미지 프레임은 전술한 장치 메모리(230)에 임시 저장되고, 그에 대하여 영상처리 및 연산이 수행될 수 있으며, 식별력 있는 홍채 이미지로서 적합한지를 판단하는 일련의 프로세스, 즉 홍채 이미지 적합성 판단 프로세스가 진행될 수 있다.
이미지 처리 서버(100)는 먼저, 상기 이미지 프레임으로부터 동공 영역을 검출할 수 있다(S320). Hough Circle Transform을 이용하여 상기 이미지 프레임으로부터 동공 영역을 찾을 수 있다. 동공의 경계는 뚜렷하기 때문에 홍채를 찾기 위해서는 이미지 프레임 내에서 동공을 먼저 찾는 것이 바람직하다.
다음으로, 이미지 처리 서버(100)는 이미지 흔들림 정도에 따른 적합성을 판단할 수 있는데, 동공이 검출된 이미지 프레임에 대하여 이미지 흔들림이 있는지를 확인을 위해 Laplacian kernel을 Convolution을 수행할 수 있다. Laplacian 함수는 이미지의 가로와 세로에 대한 Gradient를 2차 미분한 값이며, 이미지에 포함된 상의 엣지(Edge)를 검출하는데에 사용된다. Laplacian Value의 값이 클수록 선의 경계가 뚜렷하며, 이미지의 흔들림이 적은 이미지라고 판단할 수 있다. Laplacian value가 미리 설정된 임계치(Threshold) 이상이면 흔들림이 적은 적합한 이미지로 판단된다.
이미지 처리 서버(100)는 흔들림 정도가 적합한 이미지 프레임에 대해서는 이미지가 촬영된 각도가 적합한지를 판단하는 촬영각도 적합성을 판단할 수 있다.
이미지 처리 서버(100)는 안구 촬영 이미지에서 홍채 영역을 검출할 수 있다(S330).
이미지 처리 서버(100)는 이미지의 화각, 즉 촬상된 영역의 범위(FOV, Field Of View) 내에 홍채가 포함되었는지를 판단할 수 있다.
이미지 처리 서버(100)는 안구 촬영 이미지에서 동공 영역 및 홍채 영역을 좌표화할 수 있는데, 이미지 처리 서버(100)는 좌표화된 동공 영역 및 홍채 영역을 기초로 안검 영역을 검출할 수 있다(S340).
이미지 처리 서버(100)는 동공 영역 및 홍채 영역을 좌표화하기 위해, 안구 촬영 이미지를 리사이징할 수 있으며, 리사이징된 안구 촬영 이미지의 좌측 상단 좌표 및 우측 하단 좌표에 기초하여, 상기 리사이징된 안구 촬영 이미지의 동공 영역 및 홍채 영역을 좌표화할 수 있다.
또한, 이미지 처리 서버(100)는 안검 영역을 검출할 때, 상부 안검 영역 및 하부 안검 영역을 순차적으로 검출할 수 있다. 본 명세서에 기재된 안검 영역은 눈꺼풀 영역을 모두 포함하는 영역이나, 본 명세서에서는, 안구와 피부의 경계가 되는 영역을 지칭할 때 주로 사용될 수 있다. 선택적 실시 예로, 이미지 처리 서버(100)는 상부 안검 영역 및 하부 안검 영역을 동시에 검출할 수도 있다.
이미지 처리 서버(100)는 안검 영역이 검출되면, 안검 영역의 경계에 위치한 눈썹을 검출할 수 있다(S350).
이미지 처리 서버(100)는 안검 영역의 경계한 눈썹을 검출하기 위해, 규격화된 이미지를 생성하기 위해 노멀라이징 연산을 수행할 수 있으며, 이미지를 가공할 수 있다.
이미지 처리 서버(100)는 눈썹을 검출하면, 홍채 식별 이미지를 생성할 수 있다(S360).
최종적으로, 이미지 처리 서버(100)는 식별 대상의 생성된 홍채 식별 이미지를 서버 메모리(130)에 저장된 다양한 사람의 홍채 식별 이미지와 비교하여, 홍채 기반으로 인증을 수행할 수 있다.
도 4 내지 도 6은 본 발명의 일 실시 예에 따른 안검 영역을 검출하는 이미지 처리 서버(100)의 실행 프로세스를 설명하기 위한 도면이다.
이미지 처리 서버(100)는 안구 촬영 이미지를 리사이징할 수 있으며, 리사이징된 안구 촬영 이미지(res_e)는 좌측 상단 지점을 (0,0)으로 우측 하단 좌표를 (x_max, y_max)로 설정할 수 있으며, 리사이징된 안구 촬영 이미지(res_e)를 기초로, 동공 영역 및 홍채 영역을 좌표화할 수 있다.
여기서, 동공 영역은 동공 반지름(rp)에 의해 형성되는 영역일 수 있으며, 홍채 영역은 홍채 반지름(ri)에 의해 형성되는 영역일 수 있다. 동공 영역 및 홍채 영역은 원 모양 또는 원 모양에 유사하게 구현될 수 있다. 중심선(C3)은 동공의 중심을 기준으로 수직 방향으로 형성될 수 있다.
이미지 처리 서버(100)는 안검 영역을 상부와 하부로 분리하여 검출할 수 있다.
이미지 처리 서버(100)는 상부 안검 영역을 검출할 때, 검출 대상 영역의 상부 테두리를 상기 동공 영역의 중심보다 아래로 설정할 수 있다. 이에, 상부 안검 영역이 보다 효과적으로 검출될 수 있다.
또한, 이미지 처리 서버(100)는 하부 안검 영역을 검출할 때, 검출 대상 영역의 하부 테두리를 상기 동공 영역의 중심보다 높게 설정할 수 있다. 이에, 하부 안검 영역이 보다 효과적으로 검출될 수 있다.
이미지 처리 서버(100)는 상부 안검 영역을 검출할 때, 상부 안검 영역의 x 좌표를 동공 중심 기준으로 홍채 반지름(ri)이 닿는 범위 내로 설정할 수 있으며, 상부 안검 영역의 y 좌표를, 동공 중심에서 소정 거리 아래 지점(a)부터 동공 중심 기준으로 수직 상부 방향의 홍채 반지름(ri)이 닿는 범위 내로 설정할 수 있다.
이미지 처리 서버(100)는 하부 안검 영역을 검출할 때, 하부 안검 영역의 x 좌표를 동공 중심 기준으로 홍채 반지름이 닿는 범위 내로 설정할 수 있으며, 하부 안검 영역의 y 좌표를 동공 중심에서 소정 거리 위 지점부터 동공 중심 기준으로 수직 하부 방향의 홍채 반지름(ri)이 닿는 범위 내로 설정할 수 있다.
상부 안검 영역을 중심으로 설명하면, 이미지 처리 서버(100)는 동공 중심에서 x 축 방향으로 이동하면서 x 좌표에 대응하는 y 좌표 전부를 탐색하면서 상부 안검 영역과 안구의 경계(410, 420)를 검출할 수 있다. 여기서, 상부 안검 영역은 해당 경계(410, 420)를 포함할 수 있다.
이미지 처리 서버(100)는 동공 중심의 x 좌표에 대응하는 인식된 경계의 y좌표를, 중심선(C3)을 기준으로, 좌하향 안검 영역(410)에 대응하는 제1 선형 함수(410d) 및 우하향 안검 영역(420)에 대응하는 제2 선형 함수(420d)를 결정할 수 있다. 여기서, 이미지 처리 서버(100)는 허프 변환(Hough Transform)을 이용하여, 경계의 좌표들을 이용하여, 선형 함수(410d, 420d)를 결정할 수 있다.
여기서, 이미지 처리 서버(100)는 선형 함수(410d, 420d)를 제외한 검출값들을 노이즈로 설정하여 필터링 아웃할 수 있다. 구체적으로, 이미지 처리 서버(100)는 x 좌표가 0 일때, 상수값의 평균을 구하여 노이즈 성분을 제거할 수 있으며, 선형 함수(410d, 420d) 이외의 영역을 노이즈 성분으로 설정하여 제거할 수 있다. 또한 선형 함수의 방향 벡터 방향과 크기를 파악하여 노이즈 성분이 제거될 수 있다.
도 5를 참고하면, 이미지 처리 서버(100)는 노이즈가 포함된 이미지(PI1)에서, 노이즈를 제거하여 각 선형 함수(410d, 420d)를 하나의 이미지(PI2)에 함께 표시할 수 있으며, 리사이징된 안구 촬영 이미지(PI3)의 영역((0,0)에서 (x_max, y_max)) 상에서 일차 함수(가령, 420e)의 형태로 표현될 수 있다. 여기서, 기울기의 평균 및 상수값의 평균이 사용될 수 있다.
가령, 이미지 처리 서버(100)는 우하향 안검 영역(420)에 대응하는 제2 선형 함수(420d)를, right_y = 기울기평균 * right_x + 상수로 표현할 수 있으며, 이미지 처리 서버(100)는 좌하향 안검 영역(410)에 대응하는 제1 선형 함수(410d)를, left_y = 기울기평균 * left_x + 상수의 형태로 표현할 수 있다. 즉, 이미지 처리 서버(100)는 기울기의 평균값 및 상수값의 평균으로 구성될 수 있다. 이미지 처리 서버(100)는 상술한 수식을 통해, 4 개의 포인트와 2 개의 직선을 도출할 수 있으며, 4 개의 포인트는 (0, left_y), (동공 중심), (0, right_y), (x_max, right_y) 등이 될 수 있다. 여기서, 폭은 좌우로 나뉜 우 이미지의 가로 길이일 수 있다.
도 6을 참고하면, 이미지 처리 서버(100)는 P2 및 P4 를 연결한 제1 선형 함수와 P1 및 P3를 연결한 제2 선형 함수의 높이차(G)가 있는 경우, 상대적으로 더 높은 위치의 P1 을 기준으로 안검 최상부를 결정할 수 있다.
이미지 처리 서버(100)는 P2, P1, P3 를 연결한 지점을 기초로 상부 안검 영역을 결정하여, 해당 영역을 마스킹한 이미지(PI4)를 생성할 수 있다.
이미지 처리 서버(100)는 상부 안검 영역 및 하부 안검 영역을 별도로 검출할 수 있는데, 이미지 처리 서버(100)는 하부 안검 영역을 검출할 때, 동공 중심에서 x 축 방향으로 이동하면서 x좌표에 대응하는 y좌표 전부를 탐색하면서 하부 안검 영역과 안구의 경계를 인식하고, 상부 안검 영역 검출과 유사한 방식으로, 동공 중심의 x 좌표에 대응하는 인식된 경계의 y 좌표를, 중심선을 기준으로, 좌상향 안검 영역에 대응하는 제3 선형 함수 및 우상향 안검 영역에 대응하는 제4 선형 함수를 결정하고, 결정된 제3 선형 함수, 제4 선형 함수, 상기 동공 중심 및 상기 하부 안검 영역의 검출 대상 영역이 기초하여, 상기 하부 안검 영역을 검출할 수 있다.
또한, 이미지 처리 서버(100)는 안검 영역을 검출하기 전에, 리사이징된 안구 촬영 이미지에 모폴로지 연산을 수행할 수 있다. 이는 다양한 모폴로지 연산을 통한 블러 처리를 이미지에 적용하여 눈썹의 간섭을 줄일 수 있는 전처리라 할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 이미지 처리 서버(100)가 안구 촬영 이미지에서 안검 영역을 검출하여 마스킹하는 과정을 나타내는 시퀀스도이다.
먼저, 이미지 처리 서버(100)는 안구 촬영 이미지를 획득한다(S810). 그 후에, 이미지 처리 서버(100)는 모폴로지 기반으로 눈썹을 블러 처리한다(S820). 그 후에, 이미지 처리 서버(100)는 눈썹 및 안구 경계 정보를 획득한다(S830).
그 다음으로, 이미지 처리 서버(100)는 노이즈를 제거하고(S840), 허프 변환(S850)을 통해 마스킹을 위한 선형 함수를 특정할 수 있으며, 3 포인트 기반으로 마스킹을 생성한다(S860).
이미지 처리 서버(100)은 이미지에서 안검 영역을 검출할 수 있으며, 하나 이상의 서버 프로세서(190) 및 서버 프로세서와 전기적으로 연결되고, 상기 프로세서에서 수행되는 적어도 하나의 코드(Code)가 저장되는 메모리를 포함할 수 있다.
서버 메모리(130)는, 서버 프로세서(190)를 통해 실행될 때, 서버 프로세서(190)가, 안구 촬영 이미지에서 동공 영역 및 홍채 영역을 좌표화하고, 동공 영역 및 홍채 영역을 기초로, 안검 영역을 검출하도록 야기하는 코드가 저장될 수 있다.
서버 프로세서(190)는 상술한 기능을 수행하기 위한 코드를 서버 메모리(130)에 저장할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 이미지 처리 서버(100)가 안검 영역이 검출된 이미지를 이용하여 눈썹 영역을 검출하고 홍채 식별 이미지를 생성하는 과정을 나타내는 시퀀스도이다.
이미지 처리 서버(100)는 홍채 식별 이미지를 생성할 수 있으며, 이를 이용하여 식별 대상의 홍채를 인증할 수 있다.
우선, 이미지 처리 서버(100)는 안구 촬영 이미지에서 안검 영역을 마스킹한 이미지(PI6)를 생성할 수 있다. 마스킹 이미지(PI6)는 상부 안검 및 하부 안검을 모두 검출하여, 안검 영역을 모두 마스킹한 이미지일 수 있다.
그 다음으로, 이미지 처리 서버(100)는 검출된 안검 영역에 미리 결정된 노멀라이징 연산을 수행하여 눈썹 영역을 검출하여, 노멀라이징 이미지(PI7)를 생성할 수 있다. 노멀라이징 이미지(PI7)는 상부 눈썹과 하부 눈썹을 직사각형 내부에 규격화하여 표현한 이미지로, 원형 모양의 홍채 영역을 직사각형 모양의 홍채 영역으로 변환하는 연산을 포함할 수 있다.
이미지 처리 서버(100)는 노멀라이징 이미지(PI7)의 눈썹 영역(7M1a, 7M1b)을 먼저 마스킹(제1 마스킹)한 후, 눈썹이 검출될 가능성이 있는 영역(7M2a, 7M2b)에 대해서도 마스킹(제2 마스킹)을 수행한 이미지(PI8)를 생성할 수 있다.
이미지 처리 서버(100)는 복수의 안검 영역 및 눈썹 영역을 트레이닝 세트로 하여 눈썹이 검출될 가능성이 있는 영역을 결정하도록 학습된 눈썹 결정 모델을 이용할 수 있다. 눈썹 결정 모델은 다양한 신경망 기반의 알고리즘이 적용될 수 있다. 또한, 눈썹 결정 모델은 신경망 알고리즘 기반의 손실 함수에 기반한 백프로퍼게이션 등의 방법을 통해 목표값에 도달하기까지 학습이 수행될 수 있다.
최종적으로, 이미지 처리 서버(100)는 검출된 눈썹 영역을 기초로 마스킹 기반의 홍채 식별 이미지(PI9)를 생성할 수 있다. 홍채 식별 이미지(PI9)는 이진수로 홍채 데이터를 표현하는 코드와 마스킹 코드를 포함할 수 있으나, 실시 예가 이에 한정되는 것은 아니다.
이미지 처리 서버(100)는 눈썹과 동공의 그레이 레벨만 이용하지 않고, 눈썹을 검출하기 위한 별도의 매트릭스를 사용하지 않아, 연산량이 과도하지 않을 수 있다.
도 9는 본 발명의 일 실시 예에 따른 이미지 처리 서버(100)의 홍채 인증을 수행하는 과정을 나타내는 시퀀스도이다.
먼저, 이미지 처리 서버(100)는 식별 대상의 안검 영역이 마스킹된 이미지를 획득한다(S910).
이미지 처리 서버(100)는 식별 대상의 안구 촬영 이미지를 획득하여, 상기 식별 대상의 안구 촬영 이미지에서 안검 영역을 마스킹할 수 있다. 선택적 실시 예로, 이미지 처리 서버(100)는 마스킹된 안검 영역 이미지를 획득할 수도 있다.
이미지 처리 서버(100)는 검출된 안검 영역에 미리 결정된 노멀라이징 연산을 수행하여 눈썹 영역을 검출할 수 있다(S920).
이미지 처리 서버(100)는 검출된 눈썹 영역을 기초로 마스킹 기반의 홍채 식별 이미지를 생성할 수 있다.
이미지 처리 서버(100)는 눈썹 검출 가능성이 있는 영역에 대해 추가 마스킹을 위한 픽셀 추가하여 식별 대상의 홍채 식별 이미지를 결정할 수 있다.
이미지 처리 서버(100)는 미리 저장된 홍채 식별 이미지와 비교하여 식별 대상의 홍채를 인증할 수 있다(S940).
구체적으로, 이미지 처리 서버(100)는 식별 대상의 홍채 식별 이미지에 포함된 홍채 코드와 마스킹 코드를 기 저장된 하나 이상의 홍채 식별 이미지에 포함된 홍채 코드와 마스킹 코드를 비교할 수 있다.
이미지 처리 서버(100)는 HD(Hamming Distance)를 기초로, HD 값이 0에 가까울수록 식별 대상의 홍채 식별 이미지와 일치하는 저장된 홍채 식별 이미지가 있음을 나타내며, 이는 결국 인증의 성공된 것일 수 있다. HD 값이 1에 가까울수록 식별 대상의 홍채 식별 이미지와 일치하는 저장된 홍채 식별 이미지가 없음을 나타낼 수 있으며, 이는 인증에 실패한 것일 수 있다.
HD는 아래의 식에 따라 산출될 수 있다.
Figure PCTKR2021013407-appb-I000001
여기서, codeA는 이진수로 표현되는 기 저장된 홍채 데이터 중 하나의 코드이며, codeB는 식별 대상의 코드, maskA는 codeA의 마스킹 데이터이며, maskB는 codeB의 마스킹 데이터이다.
분자에서, codeA 및 codeB 는 XOR 연산을 수행한 결과에, 마스킹 데이터의 교집합과 교집합이 수행될 수 있다. 분모에서, 마스킹 데이터에 대한 교집합이 수행될 수 있다.
이미지 처리 서버(100)는 비교 가능한 홍채 영역에서만 비트의 XOR 만 활성화하고, 비교 가능한 마스킹 영역으로 나누어주면 HD 값을 산출할 수 있다. 여기서, XOR 연산은 비트가 다를 때만 1을 출력하는 논리 연산이다.
이미지 처리 서버(100)는 눈썹 영역뿐만 아니라 눈썹이 검출될 가능성이 있는 영역에 대해서도 마스킹을 수행함으로써, 눈썹의 영향이 최소화될 수 있어, 타인을 본인이라 인증하는 경우를 나타내는 FAR(False Accept Rate) 지표 및 보인을 타인이라 인증하는 경우를 나타내는 FRR(False Reject Rate) 지표 개선에 도움이 될 수 있다.
이상에서 전술한 본 발명의 일 실시 예에 따른 이미지에서 안검 영역을 검출하는 방법, 이미지에서 홍채 식별 이미지를 생성하는 방법 및 식별 대상의 홍채를 인증하는 방법은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다. 여기서, 컴퓨터는 앞에서 설명한 이미지 처리 서버(100)일 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, Python, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
본 발명의 실시 예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시 예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (15)

  1. 서버에 의해 수행되는 이미지에서 안검 영역을 검출하는 방법으로서,
    안구 촬영 이미지에서 동공 영역 및 홍채 영역을 좌표화하는 단계; 및
    상기 좌표화된 동공 영역 및 홍채 영역을 기초로 안검 영역을 검출하는 단계를 포함하는, 안검 영역 검출 방법.
  2. 제1항에 있어서,
    상기 좌표화하는 단계 이전에,
    적외선 광원 및 적외선 카메라를 이용하여 촬영된 상기 안구 촬영 이미지를 획득하는 단계를 더 포함하며,
    상기 좌표화하는 단계는,
    상기 안구 촬영 이미지를 리사이징하는 단계; 및
    상기 리사이징된 안구 촬영 이미지의 좌측 상단 좌표 및 우측 하단 좌표에 기초하여, 상기 리사이징된 안구 촬영 이미지의 동공 영역 및 홍채 영역을 좌표화하는 단계를 포함하는, 안검 영역 검출 방법.
  3. 제2항에 있어서,
    상기 안검 영역을 검출하는 단계는,
    상부 안검 영역을 검출하는 단계; 및
    하부 안검 영역을 검출하는 단계를 포함하는, 안검 영역 검출 방법.
  4. 제3항에 있어서,
    상기 상부 안검 영역을 검출하는 단계는,
    검출 대상 영역의 상부 테두리를 상기 동공 영역의 중심보다 아래로 설정하는 단계를 포함하는,
    상기 하부 안검 영역을 검출하는 단계는,
    검출 대상 영역의 하부 테두리를 상기 동공 영역의 중심보다 높게 설정하는 단계를 포함하는, 안검 영역 검출 방법.
  5. 제4항에 있어서,
    상기 상부 안검 영역을 검출하는 단계는,
    상부 안검 영역의 x 좌표를 동공 중심 기준으로 홍채 반지름이 닿는 범위 내로 설정하는 단계; 및
    상부 안검 영역의 y 좌표를, 동공 중심에서 소정 거리 아래 지점부터 상기 동공 중심 기준으로 수직 상부 방향의 홍채 반지름이 닿는 범위 내로 설정하는 단계를 포함하며,
    상기 하부 안검 영역을 검출하는 단계는,
    하부 안검 영역의 x 좌표를 동공 중심 기준으로 홍채 반지름이 닿는 범위 내로 설정하는 단계; 및
    하부 안검 영역의 y 좌표를 상기 동공 중심에서 소정 거리 위 지점부터 동공 중심 기준으로 수직 하부 방향의 홍채 반지름이 닿는 범위 내로 설정하는 단계를 포함하는, 안검 영역 검출 방법.
  6. 제5항에 있어서,
    상기 상부 안검 영역을 검출하는 단계는,
    상기 동공 중심에서 x 축 방향으로 이동하면서 x 좌표에 대응하는 y 좌표 전부를 탐색하면서 상부 안검 영역과 안구의 경계를 인식하는 단계를 포함하는, 안검 영역검출 방법.
  7. 제6항에 있어서,
    상기 상부 안검 영역을 검출하는 단계는,
    동공 중심의 x 좌표에 대응하는 상기 인식된 경계의 y좌표를, 중심선을 기준으로, 좌하향 안검 영역에 대응하는 제1 선형 함수 및 우하향 안검 영역에 대응하는 제2 선형 함수를 결정하는 단계; 및
    상기 결정된 제1 선형 함수, 제2 선형 함수, 상기 동공 중심 및 상기 상부 안검 영역의 검출 대상 영역에 기초하여, 상기 상부 안검 영역을 검출하는 단계를 포함하는, 안검 영역 검출 방법.
  8. 제5항에 있어서,
    상기 하부 안검 영역을 검출하는 단계는,
    상기 동공 중심에서 x 축 방향으로 이동하면서 x좌표에 대응하는 y좌표 전부를 탐색하면서 하부 안검 영역과 안구의 경계를 인식하는 단계를 포함하는, 안검 영역 검출 방법.
  9. 제8항에 있어서,
    상기 하부 안검 영역을 검출하는 단계는,
    동공 중심의 x 좌표에 대응하는 상기 인식된 경계의 y 좌표를, 중심선을 기준으로, 좌상향 안검 영역에 대응하는 제3 선형 함수 및 우상향 안검 영역에 대응하는 제4 선형 함수를 결정하는 단계; 및
    상기 결정된 제3 선형 함수, 제4 선형 함수, 상기 동공 중심 및 상기 하부 안검 영역의 검출 대상 영역이 기초하여, 상기 하부 안검 영역을 검출하는 단계를 포함하는, 안검 영역 검출 방법.
  10. 제2항에 있어서,
    상기 안검 영역을 검출하는 단계 이전에,
    상기 리사이징된 안구 촬영 이미지에 모폴로지 연산을 수행하는 단계를 더 포함하는, 안검 영역 검출 방법.
  11. 이미지에서 안검 영역을 검출하는 서버로서,
    하나 이상의 프로세서; 및
    상기 프로세서와 전기적으로 연결되고, 상기 프로세서에서 수행되는 적어도 하나의 코드(Code)가 저장되는 메모리를 포함하며,
    상기 메모리는, 상기 프로세서를 통해 실행될 때, 상기 프로세서가, 안구 촬영 이미지에서 동공 영역 및 홍채 영역을 좌표화하고, 상기 동공 영역 및 홍채 영역을 기초로, 안검 영역을 검출하도록 야기하는 코드가 저장된, 안검 영역 검출 서버.
  12. 제11항에 있어서,
    상기 메모리는, 상기 프로세서가, 적외선 광원 및 적외선 카메라를 이용하여 촬영된 상기 안구 촬영 이미지를 획득하고, 상기 안구 촬영 이미지를 리사이징하며, 상기 리사이징된 안구 촬영 이미지의 좌측 상단 좌표 및 우측 하단 좌표에 기초하여, 상기 리사이징된 안구 촬영 이미지의 동공 및 홍채 영역을 좌표화하도록 야기하는 코드가 저장된, 안검 영역 검출 서버.
  13. 제12항에 있어서,
    상기 메모리는, 상기 프로세서가, 상부 안검 영역을 검출하고, 하부 안검 영역을 검출하도록 야기하는 코드가 저장된, 안검 영역 검출 서버.
  14. 제13항에 있어서,
    상기 메모리는, 상기 프로세서가, 상기 상부 안검 영역을 검출할 때, 검출 대상 영역의 상부 테두리를 상기 동공 영역의 중심보다 아래로 설정하고, 상기 하부 안검 영역을 검출할 때, 검출 대상 영역의 하부 테두리를 상기 동공 영역의 중심보다 높게 설정하도록 야기하는 코드가 저장된, 안검 영역 검출 서버.
  15. 제14항에 있어서,
    상기 메모리는, 상기 프로세서가, 상기 상부 안검 영역을 검출할 때, 상부 안검 영역의 x좌표를 동공 중심 기준으로 홍채 반지름이 닿는 범위 내로 설정하고, 상부 안검 영역의 y 좌표를 동공 중심에서 소정 거리 아래 지점부터 상기 동공 중심 기준으로 수직 상부 방향의 홍채 반지름이 닿는 범위 내로 설정하며, 상기 하부 안검 영역을 검출할 때, 하부 안검 영역의 x좌표를 동공 중심 기준으로 홍채 반지름이 닿는 범위 내로 설정하고, 하부 안검 영역의 y 좌표를 상기 동공 중심에서 소정 거리 위 지점부터 상기 동공 중심 기준으로 수직 하부 방향의 홍채 반지름이 닿는 범위 내로 설정하도록 야기하는 코드가 저장된, 안검 영역 검출 서버.
PCT/KR2021/013407 2021-09-29 2021-09-29 안검 영역을 검출하는 방법 및 이를 위한 서버 WO2023054756A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020217041844A KR20230047875A (ko) 2021-09-29 2021-09-29 안검 영역을 검출하는 방법 및 이를 위한 서버
PCT/KR2021/013407 WO2023054756A1 (ko) 2021-09-29 2021-09-29 안검 영역을 검출하는 방법 및 이를 위한 서버

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2021/013407 WO2023054756A1 (ko) 2021-09-29 2021-09-29 안검 영역을 검출하는 방법 및 이를 위한 서버

Publications (1)

Publication Number Publication Date
WO2023054756A1 true WO2023054756A1 (ko) 2023-04-06

Family

ID=85782960

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/013407 WO2023054756A1 (ko) 2021-09-29 2021-09-29 안검 영역을 검출하는 방법 및 이를 위한 서버

Country Status (2)

Country Link
KR (1) KR20230047875A (ko)
WO (1) WO2023054756A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008158922A (ja) * 2006-12-26 2008-07-10 Aisin Seiki Co Ltd 瞼検出装置、瞼検出方法及びプログラム
KR20120089527A (ko) * 2010-12-16 2012-08-13 김인선 홍채 인식 방법 및 시스템
US20160117544A1 (en) * 2014-10-22 2016-04-28 Hoyos Labs Ip Ltd. Systems and methods for performing iris identification and verification using mobile devices
KR20180044331A (ko) * 2015-08-21 2018-05-02 매직 립, 인코포레이티드 눈 포즈 측정을 사용한 눈꺼풀 형상 추정
KR20180072559A (ko) * 2016-12-21 2018-06-29 존슨 앤드 존슨 비젼 케어, 인코포레이티드 용량성 감지 회로 및 이를 이용한 안검 위치 결정 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008158922A (ja) * 2006-12-26 2008-07-10 Aisin Seiki Co Ltd 瞼検出装置、瞼検出方法及びプログラム
KR20120089527A (ko) * 2010-12-16 2012-08-13 김인선 홍채 인식 방법 및 시스템
US20160117544A1 (en) * 2014-10-22 2016-04-28 Hoyos Labs Ip Ltd. Systems and methods for performing iris identification and verification using mobile devices
KR20180044331A (ko) * 2015-08-21 2018-05-02 매직 립, 인코포레이티드 눈 포즈 측정을 사용한 눈꺼풀 형상 추정
KR20180072559A (ko) * 2016-12-21 2018-06-29 존슨 앤드 존슨 비젼 케어, 인코포레이티드 용량성 감지 회로 및 이를 이용한 안검 위치 결정 방법

Also Published As

Publication number Publication date
KR20230047875A (ko) 2023-04-10

Similar Documents

Publication Publication Date Title
US7916904B2 (en) Face region detecting device, method, and computer readable recording medium
CN110309782B (zh) 一种基于红外与可见光双目系统的活体人脸检测方法
KR100374708B1 (ko) 회전영상의 보정에 의한 비접촉식 홍채인식방법
JP7269711B2 (ja) 生体認証システム、生体認証方法およびプログラム
RU2431190C2 (ru) Способ и устройство распознавания рельефности лица
KR20190016733A (ko) 얼굴 특징점 기반 부분 영역 지정을 통한 부분 가림 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
KR101626837B1 (ko) 손가락 마디 및 지정맥 기반의 융합형 생체 인증 방법 및 그 장치
WO2018012928A1 (ko) 얼굴 인식을 이용한 사용자 인증 방법 및 그 장치
KR102137060B1 (ko) 등록 얼굴 템플릿의 갱신이 가능한 얼굴 인식 시스템 및 방법
JP2003150942A (ja) 目位置追跡方法
JP2012118817A (ja) 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
JP2006099718A (ja) 個人認証装置
CN113158883A (zh) 基于区域注意力的人脸识别方法、系统、介质及终端
WO2019221494A1 (en) Electronic device for performing biometric authentication and method of operating the same
EP3746923A1 (en) Electronic device for performing biometric authentication and method of operating the same
JP6396357B2 (ja) 顔画像認証装置
Ebihara et al. Specular-and diffuse-reflection-based face spoofing detection for mobile devices
JP2009015518A (ja) 眼画像撮影装置及び認証装置
WO2023054756A1 (ko) 안검 영역을 검출하는 방법 및 이를 위한 서버
WO2023054757A1 (ko) 홍채 식별 이미지를 생성하는 방법과 이를 위한 서버 및 홍채 인증 방법
US11195009B1 (en) Infrared-based spoof detection
WO2021261771A1 (ko) 사용자의 시선 추적 방법 및 사용자의 시선 추적 방법을 실행시키는 프로그램이 기록된 기록 매체
JP4996943B2 (ja) 顔特徴点検出装置、顔特徴点検出方法及びプログラム
KR20110023407A (ko) 얼굴 변화에 강인한 얼굴 인식 방법
WO2018008934A2 (en) Adaptive quantization method for iris image encoding

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21959527

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21959527

Country of ref document: EP

Kind code of ref document: A1