WO2020218656A1 - 전자 장치 및 그 제어방법 - Google Patents

전자 장치 및 그 제어방법 Download PDF

Info

Publication number
WO2020218656A1
WO2020218656A1 PCT/KR2019/005102 KR2019005102W WO2020218656A1 WO 2020218656 A1 WO2020218656 A1 WO 2020218656A1 KR 2019005102 W KR2019005102 W KR 2019005102W WO 2020218656 A1 WO2020218656 A1 WO 2020218656A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
feature points
biometric identification
biometric
detected
Prior art date
Application number
PCT/KR2019/005102
Other languages
English (en)
French (fr)
Inventor
김경근
강덕훈
김창석
김형정
서승규
이석수
황정환
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2019/005102 priority Critical patent/WO2020218656A1/ko
Publication of WO2020218656A1 publication Critical patent/WO2020218656A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication

Definitions

  • the present invention relates to an electronic device capable of performing biometric authentication, and more particularly, to an electronic device and method for performing biometric authentication using a vein of a hand.
  • the functions of electronic devices are diversifying. For example, there are functions of data and voice communication, taking pictures and videos through a camera, recording voice, playing music files through a speaker system, and outputting images or videos to the display unit.
  • Some electronic devices add an electronic game play function or perform a multimedia player function.
  • recent electronic devices may receive a multicast signal providing visual content such as broadcast and video or television programs.
  • Such electronic devices are diversified, they are implemented in the form of a multimedia player with complex functions such as, for example, taking photos or videos, playing music or video files, receiving games, and broadcasting. have.
  • a password method such as a Personal Identification Number (PIN)
  • a biometric method using biometric authentication information may be used.
  • the user's authentication is performed by comparing the images of vein blood vessels flowing in the user's body in pixels. For example, if a hand) is not captured, there is a problem that authentication failure may occur even for a registered user.
  • biometric authentication method despite the advantages of the biometric authentication method, there is a problem that it is difficult to perform user authentication according to the biometric authentication method in reality at airport gates or payment terminals with many users. Therefore, a biometric authentication method that can be faster and more accurate and minimize the possibility that an error may occur depending on the angle or position at which an image is captured is currently being studied.
  • the present invention is to solve the above-described problem, and is to provide an electronic device capable of performing biometric authentication according to a user's vein pattern more precisely at a faster speed, and a control method of the electronic device.
  • the present invention when sensing a user's hand image to sense a vein pattern, an electronic device that enables authentication for a pre-registered user even when the positions or angles of the sensed images are different, and the electronic device Is to provide a control method of.
  • An electronic device for achieving the above object includes an infrared irradiation unit, an imaging unit that acquires an image of the back of a hand of a user with a fist, and from the acquired image, corresponding to the metacarpophalangeal joint.
  • a living body that detects an outline and a shape of a venous blood vessel distributed on the back of the user's hand, and generates a first biometric identification image including feature points extracted from the contour of the metacarpophalangeal joint and feature points extracted from the shape of the venous blood vessel
  • An identity image generating unit a memory for storing at least one pre-registered biometric identity image, and locations of each of the feature points of the generated biometric identity image, and each of the feature points included in the at least one pre-registered biometric identity image.
  • a control unit for authenticating a user corresponding to the image of the back of the hand obtained by the imaging unit according to a result of matching the location.
  • the controller detects a first contour line from the acquired back image of the hand, and detects a contour line corresponding to the metacarpophalangeal joint based on outermost points detected from the detected first contour line. It characterized in that it controls the biometric identification image generation unit.
  • control unit controls the biometric identification image generation unit to detect inflection points whose inclination is reversed from an outline corresponding to the metacarpophalangeal joint, and extract the detected inflection points as feature points of the metacarpophalangeal joint outline. Characterized in that.
  • control unit the biometric identification image generating unit to detect the end points of each of the venous blood vessels and branch points at which the venous blood vessels are branched, and extract the detected end points and branch points as feature points of the venous blood vessels. It is characterized by controlling.
  • control unit matches any one of the first biometric identification image and the pre-registered biometric identification image in an image unit to detect the number of feature points matched with each other between the biometric identification images, and the The authentication is performed based on a ratio of the number of matching feature points to the number of feature points of a previously registered biometric identification image.
  • the controller compares the size of the first biometric identification image with a second biometric identification image to compare positions of feature points among the previously registered biometric identification images, and the second biometric identification image Depending on the size of, the first biometric identification image and the second biometric identification image are enlarged, reduced, or stretched or reduced in a specific direction, and the enlarged, reduced, or stretched or reduced. It characterized in that the authentication is performed according to a result of matching the positions of each of the included feature points.
  • control unit detects a first contour line from the acquired back image of the hand, sets a region of interest based on the outermost points detected from the detected first contour line, and And extracting at least a part of the obtained back image of the hand according to the region of interest, and generating the first biometric image from the extracted image of the region of interest.
  • the control unit detects a left outermost point and a right outermost point of an outline corresponding to the back of a user's hand from the obtained image of the back of the hand, and connects the detected left outermost point and the right outermost point.
  • a reference line is formed, a contour line corresponding to the metacarpophalangeal joint is detected based on the first reference line, a first metacarpophalangeal joint and a second metacarpophalangeal joint are detected from the detected contour of the metacarpophalangeal joint, and the detected The ROI is generated based on a second reference line connecting outermost points detected from contours of the first and second metacarpophalangeal joints.
  • control unit rotates an image corresponding to the region of interest so that the second reference line forms a horizontal direction when the second reference line does not form a horizontal direction. It is characterized in that the biometric identification image is generated.
  • control unit comprises a margin corresponding to each of the feature points based on the positions of each of the feature points included in the at least one pre-registered biometric identification image based on a preset authentication accuracy.
  • the authentication is performed based on a result of creating regions, and matching the generated margin regions with feature points included in the first biometric identification image.
  • control unit performs the authentication based on a ratio of the number of feature points located in the margin areas and the number of margin areas among the feature points included in the first biometric identification image. do.
  • the authentication precision is set differently according to a function performed by the electronic device, and the control unit is configured to have different sizes for each function performed by the electronic device according to the different authentication accuracy. It is characterized by creating margin areas.
  • a method for controlling an electronic device for achieving the above object includes the steps of acquiring an image of a back of a user's hand with a fist, and the back of a user's hand including an outline of a metacarpophalangeal joint from the acquired back image of the hand.
  • Extracting a contour line of detecting a shape of a venous blood vessel from the obtained image, detecting first feature points from the contour of the metacarpophalangeal joint, and detecting second feature points from the shape of the venous blood vessel And, generating a first biometric identification image by combining first characteristic points and second characteristic points based on the outline, and positions of each of the characteristic points of the generated first biometric identification image, and at least one previously registered And performing authentication of a user corresponding to the acquired back image of the hand based on a result of matching the positions of each of the feature points included in the biometric identification image.
  • the first characteristic points are inflection points in which the slope of the metacarpophalangeal joint is reversed
  • the second characteristic points are end points of the venous blood vessels and bifurcation points at which the venous blood vessels branch. do.
  • the performing of the authentication includes selecting a second biometric identity image for matching among the pre-registered biometric identity images, and the second biometric identity image according to the size of the selected second biometric identity image. 1 changing the size of the biometric identity image, and matching the positions of the feature points included in the first biometric identity image whose size has been changed and the locations of the feature points included in the second biometric identity image with each other. It is characterized.
  • the present invention acquires an image of the back of the hand of the user with a fist, and the user's authentication is performed based on the shape of the metacarpophalangeal joint and the vein pattern of the back of the hand from the obtained image. By doing so, there is an effect of enabling more precise and high-speed biometric authentication.
  • the present invention acquires a biometric identity image including feature points obtained from an image of the back of the hand of the user with a fist, and determines the size of the obtained image of the biometric identity image of the pre-registered user.
  • FIG. 1 is a block diagram illustrating a structure of an electronic device according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating an operation process of performing biometric authentication from an image of a back of a hand acquired from a user in an electronic device according to an embodiment of the present invention.
  • FIG. 3 is an exemplary diagram illustrating an example of detecting first feature points from contours of metacarpophalangeal joints of an image obtained during the process of FIG. 2.
  • FIG. 4 is an exemplary diagram illustrating an example of detecting second feature points from venous blood vessels of an image acquired during the process of FIG. 2.
  • FIG. 6 is a conceptual diagram illustrating an example of performing authentication based on a pre-registered biometric identity image in an electronic device according to an embodiment of the present invention.
  • FIG. 7A, 7B, and 7C are flowcharts illustrating an operation process of detecting an ROI from an acquired image and determining the size of a biometric identity image according to the detected ROI in an electronic device according to an embodiment of the present invention.
  • FIGS. 8A and 8B are flowcharts illustrating an operation process of changing the size of a generated biometric identification image in an electronic device according to an embodiment of the present invention, and an exemplary view showing an example of changing the size of a biometric identification image .
  • 9A and 9B illustrate an operation process of setting margin areas of different sizes for each feature point of a biometric identity image based on an authentication precision set by a user in an electronic device according to an embodiment of the present invention, and It is an exemplary diagram showing an example in which the sized margin areas are generated.
  • Portable electronic devices described herein include mobile phones, smart phones, laptop computers, digital broadcasting terminals, personal digital assistants (PDAs), portable multimedia players (PMPs), navigation systems, and slate PCs. ), tablet PC, ultrabook, wearable device (e.g., smartwatch, glass-type terminal, HMD (head mounted display)), smart car Etc. may be included.
  • PDAs personal digital assistants
  • PMPs portable multimedia players
  • slate PCs slate PC
  • tablet PC ultrabook
  • wearable device e.g., smartwatch, glass-type terminal, HMD (head mounted display)
  • smart car Etc. may be included.
  • FIG. 1 is a block diagram illustrating a structure of an electronic device 100 according to an embodiment of the present invention.
  • an electronic device 100 includes a control unit 110 and an imaging unit 120 connected by the control unit 110 and controlled by the control unit 110. , It may be configured to include a biometric identification image generating unit 130, a memory 140, and a matching unit 150.
  • the components shown in FIG. 1 are not essential in implementing the electronic device according to the embodiment of the present invention, so the electronic device described in the present specification has more or fewer components than the components listed above. I can.
  • the imaging unit 120 may acquire an image.
  • an image of a vein vessel of a subject for example, a user's hand, etc.
  • a vein vessel of a subject for example, a user's hand, etc.
  • the imaging unit 120 may be formed to enable infrared imaging.
  • the image pickup unit 120 may include an infrared irradiation unit (not shown) for irradiating near-infrared rays to the subject, and a light receiving unit (not shown) for sensing infrared rays reflected from the subject.
  • the light receiving unit may include an infrared filter unit (not shown) and may be formed to receive only near infrared rays reflected from the subject.
  • the imaging unit 120 may acquire an image in which not only the outline of the user's hand image but also the location and shape of the vein blood vessel of the user's hand can be identified.
  • the imaging unit 120 of the electronic device 100 may capture an image of a user's hand holding a fist. Then, an image captured in the direction of looking at the hand of the user clenching the fist may be obtained. Accordingly, the image acquired by the imaging unit 120 may include contours of the metacarpophalangeal joints of the user in a fisted state.
  • the biometric identification image generation unit 130 may obtain a biometric identification image from the image acquired by the imaging unit 120 under the control of the controller 110.
  • the biometric identification image generator 130 may detect an edge of the acquired image, that is, a contour corresponding to the edge.
  • the first feature points may be detected from at least a part of the detected contour line.
  • the biometric identification image generator 130 may detect points at which inclination is reversed, that is, inflection points, from an outline detected from an acquired image.
  • the detected inflection points may be detected as the first feature points.
  • contours of the user's metacarpophalangeal joints may be detected from the image of the back of the hand. Further, inflection points extracted from the detected contours of the metacarpophalangeal joints may be detected as the first feature points.
  • the biometric identification image generation unit 130 may detect venous blood vessels from an image acquired by the imaging unit 120 under the control of the controller 110.
  • the second feature points may be detected from the detected contour of the venous blood vessel.
  • the second feature points detected from the contour of the venous blood vessel may be a point corresponding to an end of the detected contour of the venous blood vessel and a point at which the venous blood vessel branches. That is, end points and branch points of each venous blood vessel may be detected as the second feature points.
  • the image acquired by the imaging unit 120 is an image of the back of the user's hand in a fisted state, end points and branch points of each vein vessel on the back of the user's hand may be detected as the second feature points.
  • biometric identification image generator 130 may combine the first feature points and the second feature points. Further, an image including the combined first feature points and second feature points as authentication information for biometric authentication may be generated.
  • an image having first feature points detected from the contours of the metacarpophalangeal joints detected from the back of the user's hand with a fist and second feature points detected from the veins of the user's hand as authentication information for biometric authentication is a biometric identity image. I will say.
  • the matching unit 150 may match the image (first biometric identification image) generated by the biometric identification image generation unit 130 under the control of the control unit 110 with each of the previously registered biometric identification images. .
  • the matching unit 150 may compare the locations of each feature point included in each pre-registered biometric identity image with the location of each feature point included in the first biometric identity image.
  • the controller 110 Users can be authenticated according to the image. That is, the controller 110 may determine that the user corresponding to the image currently captured by the imaging unit 120 is a user according to the second biometric identification image.
  • the memory 140 stores data supporting various functions of the electronic device 100.
  • the memory 140 may store a plurality of application programs or applications driven by the electronic device 100 for user authentication, data for the operation of the electronic device 100, and commands.
  • the memory 140 may include at least one pre-registered biometric authentication information.
  • the memory 140 may include pre-registered identification information corresponding to at least one user.
  • the identification information is information for authenticating the biometric identification of a previously registered user, and from an image captured by the user for registration (for example, an image of a hand clenched in a fist), the biometric identification image generation unit 130 It may be a biometric identity image generated through.
  • at least two of the identification information may be registered for each user.
  • a user registers a biometric identity image corresponding to the right hand and a biometric identity image corresponding to the left hand as their identity information, or creates only a biometric identity image corresponding to one hand and creates one biometric identity image for themselves. You can register as your identity information.
  • the controller 110 generally controls the overall operation of the electronic device 100.
  • the controller 110 may provide or process appropriate information or functions to a user by processing signals, data, information, etc. input or output through the above-described components or by driving an application program stored in the memory 140.
  • the controller 110 may control at least some of the components described in FIG. 1. Furthermore, in order to drive the application program, the controller 110 may operate by combining at least two or more of the components included in the electronic device 100 with each other.
  • the controller 110 may control the imaging unit 120 to obtain an image for biometric authentication.
  • the acquired image is an image of a user's hand clenched a fist as described above, and may be an image capable of identifying a vein vessel.
  • the controller 110 may control the biometric identification image generator 130 to detect contours of metacarpophalangeal joints from the acquired image and detect inflection points (first feature points) from the detected contours.
  • first feature points inflection points
  • venous blood vessels may be detected from the acquired image, and feature points of the detected venous blood vessels, that is, end points and branch points (second feature points) may be detected.
  • a biometric identification image including the detected first and second feature points as authentication information may be generated.
  • the controller 110 controls the matching unit 150 to control the currently generated biometric identity image (first biometric identity image) and pre-registered identity information, that is, a pre-registered biometric identity image ( Matching with a second biometric identification image) may be performed.
  • the controller 110 may compare authentication information included in the first and second biometric identification images, that is, positions of the first and second feature points with each other.
  • the controller 110 may align and overlap the first and second biometric identification images based on a preset reference point, and detect the number of feature points at the same location as a result of the overlapping.
  • user authentication may be performed based on a ratio according to the number of feature points having the same location.
  • the positions of the feature points of the biometric identification image generated for biometric authentication and the positions of the feature points of the biometric identification image that have been previously registered are compared with each other, and image-by-image matching can be achieved. Accordingly, high-speed authentication can be performed even when there are multiple pre-registered biometric identification images.
  • the present invention combines the positions of the feature points that can be obtained from not only the venous blood vessels, but also the contours of the metacarpophalangeal joint of the fisted user, and uses them as authentication information, thereby enabling more precise biometric authentication. I can.
  • FIG. 2 is a flowchart illustrating an operation process of performing biometric authentication from an image of a back of a hand obtained from a user in the electronic device 100 according to an embodiment of the present invention.
  • FIGS. 3 to 6 are exemplary diagrams illustrating examples in which each operation process described in FIG. 2 is performed.
  • the control unit 110 of the electronic device 100 may control the imaging unit 120 to obtain an image of the back of a user's hand holding a fist (S200 ).
  • the imaging unit 120 may irradiate infrared rays onto the back of the user's hand, and may acquire the image of the back of the hand by receiving infrared rays reflected from the back of the user's hand.
  • the image of the back of the hand may be an image in which the outline of the back of the user's hand and the location and image of veins distributed on the back of the user's hand can be identified.
  • the controller 110 may detect the contours of the metacarpophalangeal joints from the image of the back of the hand obtained first (S202). For example, the controller 110 may detect the outermost points of both sides of the back of the hand image from the acquired back image of the hand, and may detect the contours of the metacarpophalangeal joints based on the detected outermost points.
  • the inflection points may be detected from the detected contour (S204).
  • the inflection points detected in step S204 may be first characteristic points that can be used for user authentication in the electronic device 100 according to an embodiment of the present invention.
  • the controller 110 may store information on the positions of the first feature points from the image acquired in step S200 as information on the first feature points.
  • FIG. 3 is a diagram showing an example of detecting contours of metacarpophalangeal joints from an image of the back of a hand obtained in steps S202 and S204 of FIG. 2 and detecting first feature points from the detected contours.
  • the controller 110 may detect an area 302 corresponding to the wrist from the image 300 obtained in step S200 of FIG. 2. For example, the controller 110 may detect an area in which an outline is not formed in the acquired image as an area 302 corresponding to the user's wrist.
  • the controller 110 may determine a side surface of the image of the back of the hand acquired based on the detected wrist region 302.
  • both sides of the wrist region 302 may be determined as side surfaces 311 and 312 of the back image of the hand.
  • a portion corresponding to the opposite direction of the wrist region 302 may be determined as an area corresponding to the metacarpophalangeal joints.
  • the controller 110 may detect the outermost points 761 and 763 of the both side surfaces 311 and 312.
  • an outline 310 of a region corresponding to the metacarpophalangeal joint may be extracted based on the outermost points 761 and 763.
  • inflection points 320 whose inclination is reversed based on preset axial directions (eg, X-axis and Y-axis) may be detected.
  • step S204 of FIG. 2 if the inflection points detected from the contours of the metacarpophalangeal joints are detected as first feature points, the controller 110 may detect venous blood vessels from the back image of the hand obtained in step S200 (S206). .
  • second feature points that can be used for user authentication in the electronic device 100 according to an embodiment of the present invention may be detected from the detected shapes of venous blood vessels (S208).
  • the controller 110 may detect end points, which are points at which each venous blood vessel ends, and branch points, which are points at which the venous blood vessels are branched, from the venous blood vessels detected in step S206.
  • the detected end points and branch points may be detected as the second feature points.
  • FIG. 4 is an exemplary diagram illustrating an example of detecting venous blood vessels and detecting the second feature points from the detected venous blood vessels in steps S206 and S208 of FIG. 2.
  • Figure 4 (a) shows an example of the back of the hand image obtained in the step S200.
  • the control unit 110 may perform image filtering to more clearly detect the shape of the venous blood vessels 400.
  • the brightness or saturation of the region corresponding to the venous blood vessel 400 increases, so that the region corresponding to the venous blood vessel 400 can be more clearly identified.
  • control unit 110 may detect characteristic points of the detected venous blood vessels.
  • the characteristic points of the venous blood vessels may be end points 410 of each venous blood vessel and branch points 420 at which venous blood vessels are branched. Then, as shown in (c) of FIG. 4, the control unit 110 transmits the location information of the end point 410 and the branch point 420 to the user's authentication in the electronic device 100 according to the embodiment of the present invention. It can be stored as information of the second feature points that can be used.
  • the controller 110 may generate a biometric identification image by combining the detected feature points (S210).
  • the controller 110 determines the first feature points 320 detected in the S204 step and the second feature points 410 and 420 detected in the S208 step, based on the image acquired in the S200 step. Can be combined.
  • FIG. 5 is an exemplary diagram illustrating an example of generating a biometric identity image based on the first and second feature points detected in FIGS. 3 and 4.
  • FIG. 5A shows the feature points (second feature points) of the venous blood vessels detected in FIG. 4, and FIG. 5B shows the FIG. 3
  • inflection points (first feature points) detected from the contours of the user's metacarpophalangeal joints detected in is shown.
  • the control unit 110 is an image including all points corresponding to the positions of each of the feature points (first feature points information: 510, second feature points information: 500).
  • (550) can be created.
  • the image 550 generated here may be an image having a size corresponding to the size of the back of the hand image 300 obtained in step S200 of FIG. 2.
  • the steps S204 and S208 of FIG. 2 include the first feature points 320 and the second feature points from a region of interest extracted from the back of the hand image 300 obtained in step S200 of FIG. 2. It may be a step of detecting 410 and 420.
  • the image 550 may be an image having a size corresponding to the region of interest.
  • the controller 110 may store the generated image 550 as a biometric identification image.
  • each location of the first and second feature points 320 and 410 and 420 in the biometric identification image 550 may be used as authentication information for user authentication. That is, the electronic device 100 according to an embodiment of the present invention may generate a biometric identity image 500 having a plurality of feature points 552 from the captured image of the user's body, and the plurality of feature points 552 Each location may be used as authentication information for user authentication.
  • the control unit 110 may perform user authentication by matching the generated biometric identification image with a pre-registered biometric identification image (S212).
  • the controller 110 may match the biometric identification image 550 generated in step S210 with at least one pre-registered biometric identification image, as shown in FIG. 6.
  • the biometric identification image generated for biometric authentication will be referred to as a first biometric identification image.
  • the controller 110 may compare the positions of the respective feature points included in each of the previously registered biometric identity images 610, 620, and 630 with the positions of the respective feature points included in the first biometric identity image. As a result of the comparison, it may be detected whether or not there is a pre-registered biometric identification image (a second biometric identification image) in which the positions of the feature points equal to or greater than a preset ratio match each other.
  • a pre-registered biometric identification image a second biometric identification image
  • the controller 110 may authenticate a user according to the second biometric identification image 610. Then, the control unit 110 may display that the user corresponding to the first biometric identification image has been authenticated, and perform functions according thereto. For example, the controller 110 may unlock the electronic device 100 or display a list of functions permitted to the user corresponding to the second biometric identification image 610. Alternatively, the controller 110 may execute a specific function according to a user corresponding to the second biometric identification image 610.
  • the controller 110 may determine that the user corresponding to the first biometric identity image is not a pre-registered user. Then, the controller 110 may output that the user has not been authenticated, and perform a function according to the output.
  • control unit 110 may set a region of interest from the acquired image of the back of the hand.
  • the controller 110 may determine the size of the biometric identification image based on the set region of interest and generate the biometric identification image according to the determined size.
  • FIG. 7A is a flowchart illustrating an operation process of detecting a region of interest from an acquired image and determining a size of a biometric identity image according to the detected region of interest in the electronic device 100 according to an exemplary embodiment of the present invention.
  • the controller 110 may detect an outline of a subject from the acquired image (S700).
  • the outline may mean a boundary between a region in which brightness or saturation is equal to or higher than a preset level in the obtained image and a region that is not. That is, an area outside the outline 752 may be an area considered as a background.
  • control unit 110 may detect the outermost points from the detected contour (S702).
  • the outermost points may be points having the greatest distance from the center of the image among the contour lines detected in step S700. Alternatively, they may be points closest to the boundary of the acquired image.
  • the control unit 110 may set the region of interest based on the detected outermost points.
  • an image corresponding to the set region of interest may be extracted (S704).
  • the control unit 110 may set the region of interest to contact the detected outermost point.
  • the controller 110 may set the region of interest to contact points spaced apart from the detected outermost point by a preset distance. In this case, a distance equal to the preset distance may be formed between the boundary of the ROI and the outermost points.
  • step 704 when an ROI is set and an image corresponding to the set ROI is extracted, the controller 110 may determine the size of the biometric identity image according to the set size of the ROI. Accordingly, in step S210 of FIG. 2, a biometric identity image including the positions of the detected feature points and corresponding to the size of the ROI may be generated.
  • FIG. 7B and 7C are exemplary diagrams illustrating examples in which an ROI is extracted according to the process illustrated in FIG. 7A.
  • FIG. 7B (a) shows an example of the image 750 obtained in step S200 of FIG. 2.
  • the controller 110 may detect the outermost points from the contour line 752 of the acquired image 750.
  • the controller 110 may detect points 761, 762, and 763 closest to the boundary 740 of each image among the outlines 752 of the subject detected from the acquired image 750.
  • each of the detected points may be detected as the outermost point.
  • the first outermost point 761 and the third outermost point 763 may be the outermost points with respect to the left and right sides of the acquired back image.
  • the second outermost point 762 may be the outermost point detected from a contour corresponding to the most protruding joint among the metacarpophalangeal joints detected in the image of the back of the hand.
  • the control unit 110 controls the region of interest 765 based on the detected outermost points 761, 762, and 763. Can be set. For example, as shown in (c) of FIG. 7B, the control unit 110 generates an area 765 in contact with each of the plurality of outermost points 761, 762, and 763, and the generated area 765 It can be set as a region of interest.
  • an ROI 765 may be set.
  • the controller 110 may extract only the region corresponding to the ROI 765 from the acquired image 750.
  • the first feature points detected according to the contours of the metacarpophalangeal joints and the first feature points detected from the shape of the veins A biometric identity image including 2 feature points may be generated. That is, the size of the ROI 765 may be the size of the biometric identification image.
  • the direction of the back of the hand may be changed each time the user captures an image.
  • an image of the back of the hand 750 as shown in FIG. 7B (a) may be obtained, but when an image of the back of the hand is captured for biometric authentication, it is left or right.
  • the image of the back of the user's hand may be acquired while being rotated by a certain angle.
  • the electronic device 100 may detect contours corresponding to metacarpophalangeal joints from contours detected from the acquired back image of the hand.
  • the contours corresponding to the metacarpophalangeal joints are based on a reference line 760 connecting the left outer point 761 and the right outermost point 763 of the acquired image as shown in (a) of FIG. 7C.
  • It may be an outline 772 of a portion corresponding to the opposite direction of the wrist portion 755.
  • the control unit 110 may determine an area in which an outline is not detected from the acquired image 750 as the wrist part 755.
  • the control unit 110 may detect the first metacarpophalangeal joint and the second metacarpophalangeal joint from the contour line 772 corresponding to the metacarpophalangeal joints.
  • the first metacarpophalangeal joint and the second metacarpophalangeal joint may be metacarpophalangeal joints that protrude most from the contours 772 of the metacarpophalangeal joints based on the reference line 760.
  • control unit 110 is shown in (b) of FIG. 7C and the outermost points of the first metacarpophalangeal joint and the second metacarpophalangeal joint (the first outermost point 780 and the second outermost point 762)
  • a second reference line 790 may be generated to connect to each other.
  • the controller 110 determines the region of interest 765 based on the second reference line 790, the left outer point 761 and the right outermost point 763. Can be generated.
  • an image corresponding to the generated ROI 765 may be extracted from the image obtained in step S200 of FIG. 2.
  • the extracted image of the ROI 765 may be rotated in a direction in which the second reference line 790 becomes horizontal.
  • the horizontal direction may be a preset direction.
  • the horizontal direction of the image obtained in step S200 may be the horizontal direction. Accordingly, an image of the rotated ROI 765 may be extracted as shown in (d) of FIG. 7C.
  • the region of interest 765 is formed adjacent to the outermost points 761, 762, 763, and 780, but this is only an embodiment of the present invention. It goes without saying that the invention is not limited thereto. As an example, it goes without saying that the region of interest 765 may be set to secure a width equal to a preset distance from the outermost points 761, 762, 763 and 780.
  • the image obtained may vary according to an angle formed between the back of the hand and the image pickup unit 120. For example, as the angle between the back of the user's hand and the light receiving unit of the image pickup unit 120 increases, an image inclined in a specific direction may be generated. In addition, as the degree of inclination increases, the obtained image may be compressed in either a horizontal or vertical direction.
  • an image obtained may vary according to a distance between the back of the hand and the image pickup unit 120. For example, as the distance between the back of the user's hand and the light receiving unit of the image pickup unit 120 increases, a smaller image may be generated.
  • the electronic device 100 may perform user authentication based on the positions of each feature point included in the biometric identification image.
  • each of the feature points may be detected from the shape of the metacarpophalangeal joint and the shape of the vein blood vessel extracted from the image of the back of the hand of the user holding a fist as described above. Accordingly, the ratio of intervals between the feature points included in the biometric identification image according to the exemplary embodiment of the present invention is always constant regardless of the state of the acquired image.
  • the electronic device 100 may change the size of the generated biometric identification image to prevent an inclination of the back of a user's hand or an error according to a distance. Accordingly, a difference in size of the biometric identification image caused by the inclination may be eliminated, and a difference in position of the feature points generated according to the difference in size of the image may also be eliminated.
  • FIGS. 8A and 8B illustrate an operation process of resolving a difference in size of an image caused by tilting by changing the size of a biometric authentication image generated for biometric authentication in the electronic device 100 according to an embodiment of the present invention.
  • FIGS. 8A and 8B illustrate an operation process of resolving a difference in size of an image caused by tilting by changing the size of a biometric authentication image generated for biometric authentication in the electronic device 100 according to an embodiment of the present invention.
  • the control unit 110 of the electronic device 100 selects any one of the previously registered biometric identification images. You can choose.
  • the selected pre-registered biometric identification image and the biometric identification image generated in the step S210 may be aligned according to a preset reference point (S800).
  • the biometric identification image (first biometric identification image) generated in step S210 of FIG. 2 and the pre-registered biometric identification image (second biometric identification image) are both regions of interest shown in FIGS. 7A to 7C. They may be biometric images generated through setting.
  • the controller 110 may align the first and second biometric identification images according to a preset reference point.
  • the preset reference point may be a vertex at the upper left.
  • the controller 110 may align the first and second biometric identification images based on the upper left vertex of each image.
  • the alignment of the biometric identification images may include overlapping the first and second biometric identification images around the reference point.
  • the controller 110 may detect a difference in size between the first and second biometric identification images. Then, the controller 110 may change the size of another biometric identification image according to any one biometric identification image. More preferably, the controller 110 may enlarge or reduce the first biometric identification image based on the second biometric identification image, which is a registered biometric identification image. Or you can increase or decrease in one direction.
  • the standard of enlargement or reduction or the standard of increase or decrease may be the reference point.
  • FIG. 8B(a) the left drawing of FIG. 8B(a) shows the first biometric identification image 860 generated for biometric authentication and a pre-registered second biometric identification image ( 850) is shown.
  • the feature points 862 of the first biometric identification image 860 and the feature points 852 of the second biometric identification image 850 are at the same location, due to the difference in size of the image, Can be matched.
  • the controller 110 may align the first biometric identification image 860 and the second biometric identification image 850 according to a preset reference point 880.
  • the first biometric identification image 860 may be enlarged according to the size of the second biometric identification image 850.
  • the first biometric image 860 and the second biometric image 850 may be aligned to the same size, and accordingly, the first biometric image 860 The feature point 862 of) and the feature point 852 of the second biometric identification image 850 may be matched to the same location.
  • FIG. 8B(b) shows an example of a case contrary to FIG. 8B(a). That is, (b) of FIG. 8B shows that the first biometric identification image 870 is photographed at a position closer to the light receiving unit of the imaging unit 120 than the distance when the pre-registered second biometric identification image 850 is photographed. Accordingly, an example in which the second biometric identity image 850 is previously registered is generated. In this case, although the feature points 872 of the first biometric identification image 870 and the feature points 852 of the second biometric identification image 850 are at the same location, due to the difference in size of the image, Can be matched.
  • the controller 110 may align the first biometric identification image 870 and the second biometric identification image 850 according to a preset reference point 880.
  • the first biometric identification image 870 may be reduced according to the size of the second biometric identification image 850.
  • the first biometric image 870 and the second biometric image 850 may be aligned to the same size, and accordingly, the first biometric image 870 The feature point 872 of) and the feature point 852 of the second biometric identification image 850 may be matched to the same location.
  • the electronic device 100 may use the locations of feature points included in the biometric identification image as authentication information for user authentication. Accordingly, among the feature points included in the biometric identity image (first biometric identity image) generated in step S210 of FIG. 2, the feature points coincide with the feature points included in the previously registered biometric identity image (second biometric identity image). Authentication success or failure may be determined according to the number of them.
  • success or failure of authentication may be determined according to the size of an area corresponding to each feature point of the second biometric identification image. For example, as the sizes of regions corresponding to each feature point of the second biometric identity image increase, the number of feature points included in the first biometric identity image considered to match each feature point of the second biometric identity image increases. Can be. Conversely, as the size of the regions corresponding to each feature point of the second biometric identity image is narrower, the controller 110 includes it in the first biometric identity image even if there is a slight difference from the location corresponding to each feature point of the second biometric identity image. It can be determined as a feature point corresponding to each of the feature points and different positions.
  • the electronic device 100 allows the user to set the authentication precision by allowing the user to set the size of an area corresponding to each feature point of the previously registered second biometric identification image.
  • the size of the area corresponding to each of the feature points will be referred to as a margin area.
  • 9A and 9B illustrate an operation process of setting margin areas of different sizes for each feature point of a biometric identity image based on the authentication accuracy set by the user in the electronic device 100 according to the embodiment of the present invention. And, it is an exemplary view showing an example in which margin areas of different sizes are generated.
  • step S212 of FIG. 2 when the matching in step S212 of FIG. 2 is performed, the control unit 110 of the electronic device 100 according to an exemplary embodiment of the present invention, from one of the previously registered biometric identification images, As shown in (c) of FIG. 9B, the position 950 of each feature point may be detected (S900).
  • the controller 110 may determine the size of the margin area based on the authentication precision set by the user (S902). For example, the controller 110 may determine the size of the margin area to be small when the authentication accuracy is high, and may determine the size of the margin area to be large when the authentication accuracy is low.
  • control unit 110 may generate margin regions having a size determined in step S902 based on the location of each feature point (S904). Accordingly, as shown in (b) and (c) of FIG. 9B, margin areas of different sizes may be generated.
  • FIG. 9B shows an example of a margin area 960 that is generated when an authentication precision lower than that of (c) of FIG. 9B is set.
  • FIG. 9B(c) shows an example of the margin area 970 generated when an authentication precision higher than that of FIG. 9B(b) is set.
  • the user may be authenticated based on a ratio of the feature points included in the margin areas generated for each feature point of the second biometric identity image among the feature points included in the first biometric identity image (S906).
  • the probability that the feature points matched with the feature points of the corresponding second biometric identity image increases may increase. That is, in the case of (b) of FIG. 9B, even if there is a slight difference, the feature points of each biometric identity image may be considered to match each other, whereas in the case of (c) of FIG. 9B, the feature points of each biometric identity image If there is a difference, it may be determined that there is no match.
  • the ratio of the feature points may be calculated according to the number of feature points of the first biometric identity image included in each margin area with respect to the number of each feature point of the second biometric identity image.
  • the authentication accuracy may be set differently according to an application or function that can be provided by the electronic device 100.
  • the control unit 110 determines the margin area for each feature point of the biometric identity image previously registered according to the authentication accuracy preset for the application or function. Can be created. Therefore, in this case, applications or functions that require a higher authentication level may require higher authentication accuracy and more precise authentication may be required, and applications or functions that require a lower authentication level may require lower authentication accuracy. You can also make it easier to authenticate.
  • the above-described present invention can be implemented as a computer-readable code on a medium on which a program is recorded.
  • the computer-readable medium includes all types of recording devices storing data that can be read by a computer system. Examples of computer-readable media include HDD (Hard Disk Drive), SSD (Solid State Disk), SDD (Silicon Disk Drive), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. There is also a carrier wave (e.g., transmission over the Internet). Also, the computer may include the control unit 110 of the electronic device 100. Therefore, the detailed description above should not be construed as restrictive in all respects and should be considered as illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 발명은 손의 정맥을 이용하여 생체 인증을 수행하는 전자 장치 및 방법에 대한 것으로, 적외선 조사부를 포함하며, 주먹을 쥔 사용자의 손등 이미지를 획득하는 촬상부와, 상기 획득된 이미지로부터 중수지 관절에 대응하는 윤곽선 및 상기 사용자의 손등에 분포된 정맥 혈관의 형상을 검출하며, 상기 중수지 관절의 윤곽선으로부터 추출되는 특징점들과 상기 정맥 혈관의 형상으로부터 추출되는 특징점들을 포함하는 제1 생체 신분 이미지를 생성하는 생체 신분 이미지 생성부와, 기 등록된 생체 신분 이미지를 적어도 하나 저장하는 메모리 및, 생성된 생체 신분 이미지의 특징점들 각각의 위치와, 상기 기 등록된 적어도 하나의 생체 신분 이미지에 포함된 특징점들 각각의 위치를 매칭한 결과에 따라 상기 촬상부에서 획득된 손등 이미지에 대응하는 사용자의 인증을 수행하는 제어부를 포함하는 것을 특징으로 한다.

Description

전자 장치 및 그 제어방법
본 발명은 생체 인증을 수행할 수 있는 전자 장치에 대한 것으로, 보다 자세하게는 손의 정맥을 이용하여 생체 인증을 수행하는 전자 장치 및 방법에 대한 것이다.
기술 발전과 함께 전자 장치의 기능이 다양화되고 있다. 예를 들면, 데이터와 음성통신, 카메라를 통한 사진촬영 및 비디오 촬영, 음성녹음, 스피커 시스템을 통한 음악파일 재생 그리고 디스플레이부에 이미지나 비디오를 출력하는 기능이 있다. 일부 전자 장치는 전자게임 플레이 기능이 추가되거나, 멀티미디어 플레이어 기능을 수행한다. 특히 최근의 전자 장치는 방송과 비디오나 텔레비전 프로그램과 같은 시각적 컨텐츠를 제공하는 멀티캐스트 신호를 수신할 수 있다.
이와 같은 전자 장치의 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다.
이러한 전자 장치의 기능 지지 및 증대를 위해, 단말기의 구조적인 부분 및/또는 소프트웨어적인 부분을 개량하는 것이 고려될 수 있다.
전자 장치의 기능이 다양화됨에 따라 보안성 강화를 위한 사용자 인증에 대한 중요성이 증대되고 있다. 사용자 인증에는 개인 식별 번호(Personal Identification Number : PIN)와 같은 비밀번호 방식, 및 생체 인증 정보를 이용하는 생체 인식 방식 등 다양한 방식이 사용될 수 있다.
그런데 생체 인식 방식의 경우, 사용자의 생체 정보를 사용함으로써 위조하기 어렵다는 장점이 있으나, 사용자 인증에 소요되는 시간이 오래 걸리고, 생체 인증을 위해 이미지가 센싱되는 각도 등에 따라 인증 실패가 자주 발생할 수 있다는 문제가 있다.
일 예로 홍채 인식의 경우 사용자가 카메라의 기 설정된 영역에 정확하게 홍채를 일치시키지 않는 경우, 기 등록된 사용자일지라도 인증 실패가 발생하게 되는 문제가 있다. 또한 정맥 패턴을 이용하는 생체 인증의 경우 사용자의 신체에 흐르는 정맥 혈관들의 이미지를 픽셀 단위로 비교하여 사용자의 인증을 수행하므로, 미리 지정된 위치에 지정된 각도로 사용자가 정맥 혈관을 센싱하기 위한 신체 부위(예를 들어 손)를 촬상하지 않는 경우 기 등록된 사용자라고 할지라도 인증 실패가 발생할 수 있다는 문제가 있다.
이에 생체 인증 방식이 가지는 장점에도 불구하고, 사용자가 많은 공항 게이트나 결제 단말기 등에서 상기 생체 인증 방식에 따른 사용자 인증이 현실적으로 이루어지기 어렵다는 문제가 있다. 따라서 현재 보다 빠르고 정확하면서도, 이미지가 촬상되는 각도나 위치 등에 따라 오류가 발생할 수 있는 가능성을 최소화할 수 있는 생체 인증 방식이 연구 중인 실정이다.
본 발명은 전술한 문제를 해결하기 위한 것으로, 보다 빠른 속도로 보다 정밀하게 사용자의 정맥 패턴에 따른 생체 인증을 수행할 수 있도록 하는 전자 장치 및 그 전자 장치의 제어 방법을 제공하는 것이다.
또한 본 발명은, 정맥 패턴을 센싱하기 위해 사용자의 손 이미지를 센싱하는 경우, 센싱되는 이미지의 위치나 각도가 서로 다른 경우에도 기 등록된 사용자에 대한 인증이 이루어질 수 있도록 하는 전자 장치 및 그 전자 장치의 제어 방법을 제공하는 것이다.
상술한 목적을 달성하기 위한 본 발명의 실시 예에 따른 전자 장치는, 적외선 조사부를 포함하며, 주먹을 쥔 사용자의 손등 이미지를 획득하는 촬상부와, 상기 획득된 이미지로부터, 중수지 관절에 대응하는 윤곽선 및 상기 사용자의 손등에 분포된 정맥 혈관의 형상을 검출하며, 상기 중수지 관절의 윤곽선으로부터 추출되는 특징점들과 상기 정맥 혈관의 형상으로부터 추출되는 특징점들을 포함하는 제1 생체 신분 이미지를 생성하는 생체 신분 이미지 생성부와, 기 등록된 생체 신분 이미지를 적어도 하나 저장하는 메모리 및, 생성된 생체 신분 이미지의 특징점들 각각의 위치와, 상기 기 등록된 적어도 하나의 생체 신분 이미지에 포함된 특징점들 각각의 위치를 매칭한 결과에 따라 상기 촬상부에서 획득된 손등 이미지에 대응하는 사용자의 인증을 수행하는 제어부를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 획득된 손등 이미지로부터 제1 윤곽선을 검출하고, 검출된 제1 윤곽선으로부터 검출되는 최외곽점들에 근거하여 상기 중수지 관절에 대응하는 윤곽선을 검출하도록 상기 생체 신분 이미지 생성부를 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 중수지 관절에 대응하는 윤곽선으로부터 기울기가 반전되는 변곡점들을 검출하고, 검출된 변곡점들을 상기 중수지 관절 윤곽선의 특징점들로 추출하도록 상기 생체 신분 이미지 생성부를 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 정맥 혈관 각각의 끝점들과 정맥 혈관이 분기되는 분기점들을 검출하고, 검출된 끝점들과 분기점들을 상기 정맥 혈관의 특징점들로 추출하도록 상기 생체 신분 이미지 생성부를 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 제1 생체 신분 이미지와 상기 기 등록된 생체 신분 이미지 중 어느 하나를 이미지 단위로 매칭하여 각 생체 신분 이미지들 간에 서로 매칭되는 특징점들의 개수를 검출하고, 상기 기 등록된 생체 신분 이미지의 특징점들 개수에 대한 상기 매칭되는 특징점들 개수의 비율에 근거하여 상기 인증을 수행하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 제1 생체 신분 이미지의 크기를, 상기 기 등록된 생체 신분 이미지 중 서로 간에 특징점들의 위치들을 비교할 제2 생체 신분 이미지와 비교하고, 상기 제2 생체 신분 이미지의 크기에 따라 상기 제1 생체 신분 이미지를 확대, 축소 또는 특정 방향으로의 늘림 또는 줄임을 수행하고, 상기 확대, 축소 또는 늘림이나 줄임을 수행한 제1 생체 신분 이미지와 상기 제2 생체 신분 이미지에 포함된 특징점들 각각의 위치를 매칭한 결과에 따라 상기 인증을 수행하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 획득된 손등 이미지로부터 제1 윤곽선을 검출하고, 검출된 제1 윤곽선으로부터 검출되는 최외곽점들에 근거하여 관심 영역(Region of Interest)을 설정하며, 설정된 관심 영역에 따라 상기 획득된 손등 이미지의 적어도 일부를 추출하고, 추출된 관심 영역의 이미지로부터 상기 제1 생체 신분 이미지의 생성하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 획득된 손등 이미지로부터, 사용자 손등에 대응하는 윤곽선의 좌측 최외곽점과 우측 최외곽점을 검출하고 검출된 좌측 최외곽점과 우측 최외곽점을 잇는 제1 기준선을 형성하고, 상기 제1 기준선을 기준으로 상기 중수지 관절에 대응하는 윤곽선을 검출 및, 검출된 중수지 관절의 윤곽선으로부터 제1 중수지 관절과 제2 중수지 관절을 검출하고, 검출된 제1 및 제2 중수지 관절 윤곽들로부터 검출되는 최외곽점들을 서로 잇는 제2 기준선에 근거하여 상기 관심 영역을 생성하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 제2 기준선이 기 설정된 수평 방향을 이루지 않는 경우, 상기 제2 기준선이 수평 방향을 이루도록 상기 관심 영역에 대응하는 이미지를 회전하여 상기 관심 영역에 따른 제1 생체 신분 이미지를 생성하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 기 설정된 인증 정밀도에 근거하여, 상기 기 등록된 적어도 하나의 생체 신분 이미지에 포함된 특징점들 각각의 위치들을 기준으로, 각 특징점들에 대응하는 마진(margin) 영역들을 생성하고, 생성된 마진 영역들과, 상기 제1 생체 신분 이미지에 포함된 특징점들을 매칭한 결과에 근거하여 상기 인증을 수행하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 제1 생체 신분 이미지에 포함된 특징점들 중, 상기 마진 영역들 내에 위치한 특징점들의 개수와 상기 마진 영역들의 개수 비율에 근거하여 상기 인증을 수행하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 인증 정밀도는, 상기 전자 장치에서 수행되는 기능에 따라 각각 서로 다르게 설정되며, 상기 제어부는, 상기 서로 다르게 설정된 인증 정밀도에 따라 상기 전자 장치에서 수행되는 기능 별로 서로 다른 크기의 마진 영역들을 생성하는 것을 특징으로 한다.
상술한 목적을 달성하기 위한 본 발명의 실시 예에 따른 전자 장치의 제어 방법은, 주먹을 쥔 사용자의 손등 이미지를 획득하는 단계와, 상기 획득된 손등 이미지로부터 중수지 관절의 윤곽선을 포함하는 사용자 손등의 윤곽선을 추출하는 단계와, 상기 획득된 이미지로부터 정맥 혈관의 형상을 검출하는 단계와, 상기 중수지 관절의 윤곽선으로부터 제1 특징점들을 검출하고, 상기 정맥 혈관의 형상으로부터 제2 특징점들을 검출하는 단계와, 상기 윤곽선을 기준으로 제1 특징점들과 제2 특징점들을 조합하여 제1 생체 신분 이미지를 생성하는 단계 및, 생성된 제1 생체 신분 이미지의 특징점들 각각의 위치와, 기 등록된 적어도 하나의 생체 신분 이미지에 포함된 특징점들 각각의 위치를 매칭한 결과에 따라 상기 획득된 손등 이미지에 대응하는 사용자의 인증을 수행하는 단계를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제1 특징점들은, 상기 중수지 관절의 윤곽선 중 기울기가 반전되는 변곡점들이며, 상기 제2 특징점들은, 상기 정맥 혈관의 끝점들 및 상기 정맥 혈관이 분기되는 분기점들임을 특징으로 한다.
일 실시 예에 있어서, 상기 인증을 수행하는 단계는, 상기 기 등록된 생체 신분 이미지들 중 상기 매칭을 위한 제2 생체 신분 이미지를 선택하는 단계와, 선택된 제2 생체 신분 이미지의 크기에 따라 상기 제1 생체 신분 이미지의 크기를 변경하는 단계 및, 상기 크기가 변경된 제1 생체 신분 이미지에 포함된 특징점들의 위치와, 상기 제2 생체 신분 이미지에 포함된 특징점들의 위치를 서로 매칭하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 전자 장치 및 그 전자 장치의 제어 방법에 따른 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 본 발명은 주먹을 쥔 사용자의 손등 이미지를 획득하고, 획득된 이미지에서 중수지 관절의 모양과 상기 손등의 정맥 혈관의 패턴에 근거하여 사용자의 인증이 수행되도록 함으로써, 보다 정밀하고 고속의 생체 인증이 가능하도록 하는 효과가 있다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 본 발명은 주먹을 쥔 사용자의 손등 이미지로부터 획득된 특징점들을 포함하는 생체 신분 이미지를 획득하고, 획득된 이미지의 크기를 기 등록된 사용자의 생체 신분 이미지의 크기에 따라 변경함으로써, 획득되는 이미지의 위치나 각도가 기 등록된 생체 신분 이미지와 서로 다른 경우에도 기 등록된 사용자에 대한 인증이 이루어질 수 있도록 하는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 전자 장치의 구조를 도시한 블록도이다.
도 2는 본 발명의 실시 예에 따른 전자 장치에서, 사용자로부터 획득된 손등의 이미지로부터 생체 인증을 수행하는 동작 과정을 도시한 흐름도이다.
도 3은, 도 2의 과정 중 획득된 이미지의 중수지 관절들 윤곽선으로부터 제1 특징점들을 검출하는 예를 도시한 예시도이다.
도 4는, 도 2의 과정 중 획득된 이미지의 정맥 혈관들로부터 제2 특징점들을 검출하는 예를 도시한 예시도이다.
도 5는, 도 3 및 도 4에서 검출된 제1 특징점들과 제2 특징점들에 근거하여 생체 신분 이미지를 생성하는 예를 도시한 예시도이다.
도 6은 본 발명의 실시 예에 따른 전자 장치에서, 기 등록된 생체 신분 이미지에 근거하여 인증을 수행하는 예를 도시한 개념도이다.
도 7a, 도 7b 및 도 7c는 본 발명의 실시 예에 따른 전자 장치에서, 획득된 이미지로부터 관심 영역을 검출하고 검출된 관심 영역에 따라 생체 신분 이미지의 크기를 결정하는 동작 과정을 도시한 흐름도 및, 도 7a에서 도시한 과정에 따라 관심 영역이 추출되는 예들을 도시한 예시도들이다.
도 8a 및 도 8b는 본 발명의 실시 예에 따른 전자 장치에서, 생성된 생체 신분 이미지의 크기를 변경하는 동작 과정을 도시한 흐름도 및, 생체 신분 이미지의 크기를 변경하는 예를 도시한 예시도이다.
도 9a 및 도 9b는 본 발명의 실시 예에 따른 전자 장치에서, 사용자가 설정한 인증 정밀도에 근거하여, 생체 신분 이미지의 각 특징점들에 서로 다른 크기의 마진 영역을 설정하는 동작 과정 및, 서로 다른 크기의 마진 영역들이 생성된 예를 도시한 예시도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 설명되는 휴대 전자장치에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)), 스마트 자동차 등이 포함될 수 있다.
그러나 본 명세서에 기재된 실시 예에 따른 구성은 휴대 전자장치에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.
먼저 도 1은 본 발명의 실시 예에 따른 전자 장치(100)의 구조를 도시한 블록도이다.
도 1을 참조하여 살펴보면, 본 발명의 실시 예에 따른 전자 장치(100)는 제어부(110)와, 상기 제어부(110)에 의해 연결되며, 상기 제어부(110)에 의해 제어되는 촬상부(120), 생체 신분 이미지 생성부(130), 메모리(140) 및 매칭부(150)를 포함하여 구성될 수 있다. 도 1에 도시된 구성요소들은 본 발명의 실시 예에 따른 전자 장치를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 전자 장치는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
보다 구체적으로 상기 구성 요소들 중 촬상부(120)는 이미지를 획득할 수 있다. 또한 피사체(예를 들어 사용자의 손 등)의 정맥 혈관의 이미지를 획득할 수 있다.
이를 위해 촬상부(120)는 적외선 촬영이 가능하도록 형성될 수 있다. 이를 위해 촬상부(120)는 피사체에 근적외선을 조사하는 적외선 조사부(도시되지 않음), 피사체로부터 반사된 적외선을 센싱하는 수광부(도시되지 않음)를 포함하여 형성될 수 있다. 또한 상기 수광부는 적외선 필터부(도시되지 않음)를 포함하여, 상기 피사체에서 반사되는 근적외선만 수광되도록 형성될 수도 있다.
한편 정맥 혈관의 경우, 정맥 혈관을 통과하는 헤모글로빈이 흡수하는 산소가 근적외선을 흡수하는 성질이 있다. 이에 따라 피사체에 근적외선이 조사되면 피사체의 정맥 혈관에 대응하는 부분에서 상기 근적외선의 흡수로 인해 더 적은 양의 근적외선이 반사될 수 있다. 따라서 촬상부(120)에서 획득되는 이미지에서는 정맥 혈관에 대응하는 영역이 정맥 혈관이 위치하지 않는 영역보다 더 어둡게 표시될 수 있으며, 이에 피사체의 윤곽 뿐만 아니라 상기 피사체의 정맥 혈관 위치 및, 상기 정맥 혈관의 모양이 식별가능한 이미지가 획득될 수 있다.
한편 상기 피사체는 일반적으로 사용자의 손일 수 있다. 따라서 상기 촬상부(120)는 사용자의 손 이미지의 윤곽 뿐만 아니라 상기 사용자 손의 정맥 혈관의 위치 및 모양이 식별 가능한 이미지를 획득할 수 있다.
보다 자세하게, 본 발명의 실시 예에 따른 전자 장치(100)의 촬상부(120)는 주먹을 쥔 사용자의 손 등의 이미지를 촬상할 수 있다. 그러면 상기 주먹을 쥔 사용자의 손 등을 바라보는 방향에서 촬상된 이미지가 획득될 수 있다. 따라서 상기 촬상부(120)에서 획득되는 이미지는, 주먹을 쥔 상태의 사용자의 중수지 관절들의 윤곽을 포함할 수 있다.
한편 생체 신분 이미지 생성부(130)는 제어부(110)의 제어에 따라, 촬상부(120)에서 획득된 이미지로부터 생체 신분 이미지를 획득할 수 있다. 보다 자세하게 상기 생체 신분 이미지 생성부(130)는, 획득된 이미지의 에지(edge), 즉 가장자리에 해당하는 윤곽선을 검출할 수 있다. 그리고 검출된 윤곽선의 적어도 일부로부터 제1 특징점들을 검출할 수 있다. 예를 들어 상기 생체 신분 이미지 생성부(130)는 획득된 이미지로부터 검출된 윤곽선으로부터 기울기가 반전되는 지점들, 즉 변곡점들을 검출할 수 있다. 그리고 검출된 변곡점들이 상기 제1 특징점들로 검출될 수 있다.
따라서 상기 촬상부(120)에서 획득되는 이미지가 주먹을 쥔 상태의 사용자의 손등 이미지인 경우, 상기 손등 이미지로부터 사용자의 중수지 관절들의 윤곽선이 검출될 수 있다. 그리고 검출된 상기 중수지 관절들의 윤곽선으로부터 추출되는 변곡점들이 상기 제1 특징점들로 검출될 수 있다.
또한 생체 신분 이미지 생성부(130)는 제어부(110)의 제어에 따라, 촬상부(120)에서 획득된 이미지로부터 정맥 혈관을 검출할 수 있다. 그리고 검출된 정맥 혈관의 윤곽으로부터 제2 특징점들을 검출할 수 있다. 일 예로 상기 정맥 혈관의 윤곽으로부터 검출되는 제2 특징점들은 검출된 정맥 혈관 윤곽의 끝에 대응하는 지점 및, 정맥 혈관이 분기되는 지점일 수 있다. 즉 각 정맥 혈관의 끝 점 및 분기점들이 상기 제2 특징점들로서 검출될 수 있다.
따라서 상기 촬상부(120)에서 획득되는 이미지가 주먹을 쥔 상태의 사용자의 손등 이미지인 경우라면, 상기 사용자의 손등 부위 각 정맥 혈관의 끝 점 및 분기점들이 상기 제2 특징점들로 검출될 수 있다.
그리고 생체 신분 이미지 생성부(130)는, 상기 제1 특징점들과 제2 특징점들을 조합할 수 있다. 그리고 조합된 제1 특징점들과 제2 특징점들을 생체 인증을 위한 인증 정보로 포함하는 이미지를 생성할 수 있다. 이하 이처럼 주먹을 쥔 사용자 손등으로부터 검출되는 중수지 관절들의 윤곽선으로부터 검출되는 제1 특징점들과 상기 사용자 손등의 정맥 혈관들로부터 검출되는 제2 특징점들을 생체 인증을 위한 인증 정보로 가지는 이미지를 생체 신분 이미지라고 하기로 한다.
한편 매칭부(150)는 제어부(110)의 제어에 따라 상기 생체 신분 이미지 생성부(130)에서 생성된 이미지(제1 생체 신분 이미지)를, 기 등록된 각각의 생체 신분 이미지와 매칭할 수 있다. 여기서 매칭부(150)는 각 기 등록된 생체 신분 이미지에 포함된 각 특징점들의 위치와, 상기 제1 생체 신분 이미지에 포함된 각 특징점들이 위치를 비교할 수 있다.
그리고 비교 결과, 기 설정된 수준 이상의 특징점들의 위치가 일치하는 또는 일치하는 것으로 간주할 수 있는 기 등록된 생체 신분 이미지(제2 생체 신분 이미지)가 검출되는 경우, 제어부(110)는 상기 제2 생체 신분 이미지에 따라 사용자를 인증할 수 있다. 즉, 제어부(110)는 현재 촬상부(120)에서 촬상된 이미지에 대응하는 사용자가 상기 제2 생체 신분 이미지에 따른 사용자라고 판단할 수 있다.
한편 메모리(140)는 전자 장치(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(140)는 전자 장치(100)에서 사용자의 인증을 위해 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 전자 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다.
또한 메모리(140)는 기 등록된 적어도 하나의 생체 인증 정보를 포함할 수 있다. 일 예로 메모리(140)는 적어도 하나의 사용자에 대응하는 기 등록된 신분 정보들을 포함할 수 있다. 여기서 상기 신분 정보들은 기 등록된 사용자의 생체 신분을 인증하기 위한 정보로서, 등록을 위해 사용자가 촬상한 이미지(예를 들어 주먹을 쥔 손등의 이미지)로부터, 상기 생체 신분 이미지 생성부(130)를 통해 생성된 생체 신분 이미지일 수 있다. 여기서 상기 신분 정보들은 사용자마다 적어도 2개씩 등록될 수 있다. 일 예로 사용자는 오른손에 해당하는 생체 신분 이미지 및 왼손에 해당하는 생체 신분 이미지를 자신의 신분 정보로서 각각 등록하거나 또는 어느 한쪽 손에 해당하는 생체 신분 이미지만을 생성하고 생성된 하나의 생체 신분 이미지를 자신의 신분 정보로서 등록할 수 있다.
한편 제어부(110)는 통상적으로 전자 장치(100)의 전반적인 동작을 제어한다. 제어부(110)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(140)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
그리고 제어부(110)는 메모리(140)에 저장된 응용 프로그램을 구동하기 위하여, 도 1에서 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(110)는 상기 응용 프로그램의 구동을 위하여, 전자 장치(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.
또한 제어부(110)는 촬상부(120)를 제어하여 생체 인증을 위한 이미지를 획득할 수 있다. 여기서 상기 획득되는 이미지는 상술한 바와 같이 주먹을 쥔 사용자 손 등의 이미지로서, 정맥 혈관의 식별이 가능한 이미지일 수 있다. 그러면 제어부(110)는 생체 신분 이미지 생성부(130)를 제어하여 상기 획득된 이미지로부터 중수지 관절들의 윤곽을 검출하고 검출된 윤곽으로부터 변곡점들(제1 특징점)을 검출할 수 있다. 그리고 상기 획득된 이미지로부터 정맥 혈관들을 검출하고, 검출된 정맥 혈관의 특징점, 즉 끝점들과 분기점들(제2 특징점들)을 검출할 수 있다. 그리고 검출된 제1 특징점과 제2 특징점들을 인증 정보로서 포함하는 생체 신분 이미지를 생성할 수 있다.
이처럼 생체 신분 이미지가 생성되면, 제어부(110)는 매칭부(150)를 제어하여, 현재 생성된 생체 신분 이미지(제1 생체 신분 이미지)와 기 등록된 신분 정보, 즉 기 등록된 생체 신분 이미지(제2 생체 신분 이미지)와의 매칭을 수행할 수 있다. 여기서 제어부(110)는 제1 및 제2 생체 신분 이미치에 각각 포함된 인증 정보들, 즉 제1 및 제2 특징점들의 위치를 서로 비교할 수 있다. 이 경우 제어부(110)는 기 설정된 기준점에 근거하여 상기 제1 및 제2 생체 신분 이미지를 정렬하고 중첩시키고, 중첩 결과 동일한 위치에 있는 특징점들의 개수를 검출할 수 있다. 그리고 기 등록된 생체 인증 정보의 특징점들의 개수를 기준으로, 위치가 동일한 특징점들의 개수에 따른 비율에 근거하여 사용자의 인증을 수행할 수 있다.
즉 본 발명은 생체 인증을 위해 생성된 생체 신분 이미지의 특징점들의 위치와, 기 등록된 생체 신분 이미지의 특징점들의 위치를 서로 비교하는 것으로, 이미지 단위의 매칭이 이루어질 수 있다. 이에 기 등록된 생체 신분 이미지가 다수 존재하는 경우라도 고속의 인증을 수행할 수 있다. 또한 본 발명은 정맥 혈관으로부터 획득될 수 있는 특징점들 뿐만 아니라, 주먹을 쥔 사용자 손의 중수지 관절의 윤곽으로부터 획득될 수 있는 특징점들의 위치들을 조합하여 인증 정보로 사용함으로써, 보다 정밀한 생체 인증이 이루어질 수 있다.
도 2는 이러한 본 발명의 실시 예에 따른 전자 장치(100)에서, 사용자로부터 획득된 손등의 이미지로부터 생체 인증을 수행하는 동작 과정을 도시한 흐름도이다. 그리고 도 3 내지 도 6은, 도 2에서 설명하는 각 동작 과정이 수행되는 예들을 도시한 예시도들이다.
먼저 도 2를 참조하여 살펴보면, 본 발명의 실시 예에 따른 전자 장치(100)의 제어부(110)는 촬상부(120)를 제어하여 주먹을 쥔 사용자의 손등 이미지를 획득할 수 있다(S200). 여기서 촬상부(120)는 적외선을 상기 사용자의 손등에 조사할 수 있으며, 사용자의 손등으로부터 반사된 적외선을 수광하여 상기 손등 이미지를 획득할 수 있다. 이에 상기 손등 이미지는 상기 사용자 손등의 윤곽선과 상기 사용자 손등에 분포된 정맥 혈관들의 위치와 영상이 식별 가능한 이미지일 수 있다.
그러면 제어부(110)는 먼저 획득된 손등 이미지로부터 중수지 관절들의 윤곽선을 검출할 수 있다(S202). 예를 들어 제어부(110)는 획득된 손등 이미지로부터, 상기 손등 이미지의 양 측면 최외곽점들을 검출하고, 검출된 최외곽점들을 기준으로 중수지 관절들의 윤곽선을 검출할 수 있다. 그리고 검출된 윤곽선으로부터 변곡점들을 검출할 수 있다(S204). 여기서 상기 S204 단계에서 검출된 변곡점들은, 본 발명의 실시 예에 따른 전자 장치(100)에서 사용자의 인증에 이용될 수 있는 제1 특징점들이 될 수 있다. 이 경우 제어부(110)는 상기 S200 단계에서 획득된 이미지로부터 상기 제1 특징점들의 각 위치들에 대한 정보를 상기 제1 특징점들의 정보로 저장할 수 있다.
도 3은, 상기 도 2의 S202 단계 및 S204 단계에서, 획득된 손등 이미지로부터 중수지 관절들의 윤곽선을 검출하고 검출된 윤곽선으로부터 제1 특징점들을 검출하는 예를 보이고 있는 도면이다.
먼저 도 3의 (a)를 참조하여 살펴보면, 제어부(110)는 상기 도 2의 S200 단계에서 획득된 이미지(300)로부터 손목에 대응하는 영역(302)을 검출할 수 있다. 일 예로 제어부(110)는 획득된 이미지에서 윤곽선이 형성되지 않는 영역을 사용자의 손목에 대응하는 영역(302)이라고 검출할 수 있다.
그러면 제어부(110)는 검출된 손목 영역(302)을 중심으로 획득된 손등 이미지의 측면을 결정할 수 있다. 이 경우 도 3의 (b)에서 보이고 있는 바와 같이, 상기 손목 영역(302)의 양 측면이 상기 손등 이미지의 측면들(311, 312)로 결정될 수 있다. 그리고 손목 영역(302)의 반대 방향에 대응하는 부분이 중수지 관절들에 대응하는 영역으로 결정될 수 있다.
그러면 제어부(110)는 상기 양 측면들(311, 312)의 최외곽점들(761, 763)을 검출할 수 있다. 그리고 도 3의 (c)에서 보이고 있는 바와 같이, 최외곽점들(761, 763)을 기준으로 상기 중수지 관절에 대응하는 영역의 윤곽선(310)을 추출할 수 있다. 그리고 추출된 중수지 관절에 대응하는 영역의 윤곽선(310)으로부터, 기 설정된 축 방향들(예 : X축 및 Y축)을 기준으로 기울기가 반전되는 변곡점들(320)을 검출할 수 있다.
한편 도 2의 S204 단계에서, 중수지 관절들의 윤곽선으로부터 검출되는 변곡점들이 제1 특징점들로 검출되면, 제어부(110)는 상기 S200 단계에서 획득된 손등 이미지로부터 정맥 혈관들을 검출할 수 있다(S206). 그리고 검출된 정맥 혈관들의 형상으로부터 본 발명의 실시 예에 따른 전자 장치(100)에서 사용자의 인증에 이용될 수 있는 제2 특징점들을 검출할 수 있다(S208).
보다 자세하게, 제어부(110)는 상기 S206 단계에서 검출된 정맥 혈관들로부터 각 정맥 혈관이 끝나는 지점인 끝점들 및, 정맥 혈관이 분기되는 지점인 분기점들을 검출할 수 있다. 그리고 검출된 끝점들 및 분기점들을 상기 제2 특징점들로 검출할 수 있다.
도 4는, 상기 도 2의 S206 단계 및 S208 단계에서, 정맥 혈관들을 검출 및 검출된 정맥 혈관들로부터 상기 제2 특징점들을 검출하는 예를 도시한 예시도이다.
먼저 도 4의 (a)를 참조하여 살펴보면, 도 4의 (a)는 상기 S200 단계에서 획득된 손등 이미지의 예를 보이고 있다. 이러한 경우 제어부(110)는 정맥 혈관(400)들의 형상을 보다 명확하게 검출하기 위해 이미지 필터링을 수행할 수 있다. 이 경우 도 4의 (b)에서 보이고 있는 바와 같이 정맥 혈관(400)에 대응하는 영역의 명도 또는 채도가 증가하여 상기 정맥 혈관(400)에 대응하는 영역이 보다 명확하게 식별될 수 있다.
한편 제어부(110)는 검출된 정맥 혈관들의 특징점들을 검출할 수 있다. 여기서 상기 정맥 혈관들의 특징점들은 각 정맥 혈관의 끝점(410)들 및 정맥 혈관이 분기되는 분기점(420)들일 수 있다. 그러면 제어부(110)는 도 4의 (c)에서 보이고 있는 바와 같이, 상기 끝점(410) 및 분기점(420)의 위치 정보들을 상기 본 발명의 실시 예에 따른 전자 장치(100)에서 사용자의 인증에 이용될 수 있는 제2 특징점들의 정보로서 저장할 수 있다.
한편 상기 도 2의 S208 단계에서, 검출된 정맥 혈관들의 특징점들(끝점들 및 분기점들)이 검출되면, 제어부(110)는 검출된 특징점들을 조합하여 생체 신분 이미지를 생성할 수 있다(S210). 상기 S210 단계에서, 제어부(110)는 상기 S200 단계에서 획득된 이미지를 기준으로, 상기 S204 단계에서 검출된 제1 특징점(320)들과 상기 S208 단계에서 검출된 제2 특징점(410, 420)들을 조합할 수 있다.
도 5는, 이처럼 도 3 및 도 4에서 검출된 제1 특징점들과 제2 특징점들에 근거하여 생체 신분 이미지를 생성하는 예를 도시한 예시도이다.
먼저 도 5의 (a)와 (b)를 참조하여 살펴보면, 도 5의 (a)는 상기 도 4에서 검출된 정맥 혈관들의 특징점(제2 특징점)들을, 도 5의 (b)는 상기 도 3에서 검출된 사용자의 중수지 관절들 윤곽선으로부터 검출된 변곡점들(제1 특징점들)의 예를 보이고 있는 것이다.
이 경우 제어부(110)는 도 5의 (c)에서 보이고 있는 바와 같이, 각 특징점들의 위치(제1 특징점들 정보 : 510, 제2 특징점들 정보: 500)에 각각 대응하는 지점들을 모두 포함하는 이미지(550)를 생성할 수 있다. 여기서 생성된 이미지(550)는 상기 도 2의 S200 단계에서 획득된 손등 이미지(300)의 크기에 대응하는 크기를 가지는 이미지일 수 있다.
한편 상기 도 2의 상기 S204 단계 및 S208 단계는, 상기 도 2의 S200 단계에서 획득된 손등 이미지(300)로부터 추출된 관심 영역(Region Of Interest)으로부터 상기 제1 특징점(320)들 및 제2 특징점(410, 420)들을 검출하는 단계일 수 있다. 이 경우 상기 이미지(550)는 상기 관심 영역(Region Of Interest)에 대응하는 크기의 이미지일 수 있다.
이처럼 제1 특징점(320)들 및 제2 특징점(410, 420)들을 모두 포함하는 이미지(550)가 생성되면, 제어부(110)는 생성된 이미지(550)를 생체 신분 이미지로 저장할 수 있다. 이 경우 생체 신분 이미지(550)에서 상기 제1 특징점(320)들 및 제2 특징점(410, 420)들의 각 위치는 사용자의 인증을 위한 인증 정보로 사용될 수 있다. 즉 본 발명의 실시 예에 따른 전자 장치(100)는 촬상된 사용자 신체의 이미지로부터, 복수의 특징점(552)을 가지는 생체 신분 이미지(500)를 생성할 수 있으며, 상기 복수의 특징점(552)의 각 위치가, 사용자의 인증을 위한 인증 정보로 이용될 수 있다.
한편 도 2의 S210 단계에서 생체 신분 이미지(550)가 생성되면, 제어부(110)는 생성된 생체 신분 이미지와 기 등록된 생체 신분 이미지를 매칭하여 사용자 인증을 수행할 수 있다(S212).
상기 S212 단계에서 제어부(110)는, 도 6에서 보이고 있는 바와 같이, 상기 S210 단계에서 생성된 생체 신분 이미지(550)를 기 등록된 적어도 하나의 생체 신분 이미지와 매칭할 수 있다. 이하 상기 S210 단계에서, 생체 인증을 위해 생성된 생체 신분 이미지를 제1 생체 신분 이미지라고 하기로 한다. 이 경우 제어부(110)는 기 등록된 각각의 생체 신분 이미지(610, 620, 630)에 포함된 각 특징점들의 위치와, 상기 제1 생체 신분 이미지에 포함된 각 특징점들이 위치를 비교할 수 있다. 그리고 비교 결과, 기 설정된 비율 이상의 특징점들의 위치가 서로 일치하는 기 등록된 생체 신분 이미지(제2 생체 신분 이미지)가 있는지 여부를 검출할 수 있다.
상기 검출 결과, 도 6에서 보이고 있는 바와 같이, 상기 제1 생체 신분 이미지에 포함된 각 특징점들의 위치와 기 설정된 비율 이상의 특징점들의 위치가 서로 일치하는 제2 생체 신분 이미지(610)가 있는 경우라면, 제어부(110)는 상기 제2 생체 신분 이미지(610)에 따라 사용자를 인증할 수 있다. 그러면 제어부(110)는 상기 제1 생체 신분 이미지에 대응하는 사용자가 인증되었음을 표시하고, 그에 따른 기능들을 수행할 수 있다. 예를 들어 제어부(110)는 전자 장치(100)의 잠금 상태를 해제하거나, 또는 상기 제2 생체 신분 이미지(610)에 대응하는 사용자에게 허용된 기능들의 목록을 표시할 수 있다. 또는 제어부(110)는 상기 제2 생체 신분 이미지(610)에 대응하는 사용자에 따른 특정 기능을 실행할 수도 있다.
반면 상기 검출 결과 제2 생체 신분 이미지가 없는 경우라면, 제어부(110)는 상기 제1 생체 신분 이미지에 대응하는 사용자가 기 등록된 사용자가 아니라고 판단할 수 있다. 그러면 제어부(110)는 인증이 되지 않은 사용자임을 출력하고, 그에 따른 기능을 수행할 수 있다.
한편 상기 S200 단계에서 손등 이미지가 획득되면, 제어부(110)는 획득된 손등 이미지로부터 관심 영역(Region Of Interest)을 설정할 수 있다. 이 경우 제어부(110)는 상기 설정된 관심 영역에 근거하여 생체 신분 이미지의 크기를 결정 및 결정된 크기에 따른 생체 신분 이미지를 생성할 수 있다.
도 7a는 이러한 본 발명의 실시 예에 따른 전자 장치(100)에서, 획득된 이미지로부터 관심 영역을 검출하고 검출된 관심 영역에 따라 생체 신분 이미지의 크기를 결정하는 동작 과정을 도시한 흐름도이다.
도 7a를 참조하여 살펴보면, 제어부(110)는 획득된 이미지로부터 피사체의 윤곽선을 검출할 수 있다(S700). 여기서 상기 윤곽선은 획득된 이미지에서 명도 또는 채도가 기 설정된 수준 이상인 영역과 그렇지 않은 영역의 경계를 의미할 수 있다. 즉 상기 윤곽선(752) 외부의 영역은 배경으로 간주되는 영역일 수 있다.
그리고 제어부(110)는 검출된 윤곽선으로부터 최외곽점들을 검출할 수 있다(S702). 여기서 상기 최외곽점들은 상기 S700 단계에서 검출된 윤곽선 중 이미지의 중심으로부터의 거리가 가장 먼 지점들일 수 있다. 또는 상기 획득된 이미지의 경계와 가장 인접한 지점들일 수 있다.
상기 S702 단계에서 최외곽점들이 검출되면, 제어부(110)는 검출된 최외곽점들에 근거하여 관심 영역을 설정할 수 있다. 그리고 설정된 관심 영역에 대응하는 이미지를 추출할 수 있다(S704). 일 예로 제어부(110)는 검출된 최외곽점에 접하도록 상기 관심 영역을 설정할 수 있다. 또는 제어부(110)는 상기 검출된 최외곽점으로부터 기 설정된 거리만큼 이격된 지점들에 접하도록 상기 관심 영역을 설정할 수 있다. 이 경우 상기 관심 영역의 경계와 상기 최외곽점들의 사이에는 상기 기 설정된 거리 만큼의 간격이 형성될 수 있다.
한편 상기 704 단계에서, 관심 영역이 설정 및 설정된 관심 영역에 대응하는 이미지가 추출되면, 제어부(110)는 상기 설정된 관심 영역의 크기에 따라 생체 신분 이미지의 크기를 결정할 수 있다. 이에 따라 상기 도 2의 S210 단계에서는, 검출된 각 특징점들의 위치를 포함하며, 상기 관심 영역의 크기에 대응하는 생체 신분 이미지가 생성될 수 있다.
도 7b 및 도 7c는, 상기 도 7a에서 도시한 과정에 따라 관심 영역이 추출되는 예들을 도시한 예시도이다.
먼저 도 7b를 참조하여 살펴보면, 먼저 도 7b의 (a)는 상기 도 2의 S200 단계에서 획득된 이미지(750)의 예를 보이고 있다. 이 경우 제어부(110)는 획득된 이미지(750)의 윤곽선(752)로부터 최외곽점들을 검출할 수 있다. 일 예로 제어부(110)는 획득된 이미지(750)로부터 검출되는 피사체의 윤곽선(752) 중, 각 이미지의 경계(740)에 가장 인접한 지점들(761, 762, 763)을 검출할 수 있다. 그리고 검출된 지점들을 각각 최외곽점으로 검출할 수 있다.
이 경우 도 7b의 (b)에서 보이고 있는 바와 같이, 제1 최외곽점(761) 및 제3 최외곽점(763)은 획득된 손등 이미지의 좌우측 측면에 대한 최외곽점일 수 있다. 반면 제2 최외곽점(762)은 손등 이미지에서 검출되는 중수지 관절 중 가장 돌출된 관절에 대응하는 윤곽으로부터 검출되는 최외곽점일 수 있다.
이처럼 피사체의 윤곽선(752)으로부터 복수의 최외곽점(761, 762, 763)이 검출되면, 제어부(110)는 검출된 최외곽점(761, 762, 763)들에 근거하여 관심 영역(765)을 설정할 수 있다. 일 예로 제어부(110)는 도 7b의 (c)에서 보이고 있는 바와 같이, 상기 복수의 최외곽점(761, 762, 763) 각각에 접하는 영역(765)을 생성하고, 생성된 영역(765)을 관심 영역으로 설정할 수 있다.
이에 도 7b의 (c)에서 보이고 있는 바와 같이, 관심 영역(765)이 설정될 수 있다. 그러면 제어부(110)는, 획득된 이미지(750)로부터 상기 관심 영역(765)에 해당하는 영역만을 추출할 수 있다. 그리고 상기 추출된 관심 영역(765)에 포함된 이미지에 근거하여 상기 도 2의 S202 단계 내지 S210 단계에서, 중수지 관절들의 윤곽에 따라 검출되는 제1 특징점들과, 정맥 혈관들의 형상으로부터 검출되는 제2 특징점들을 포함하는 생체 신분 이미지가 생성될 수 있다. 즉, 상기 관심 영역(765)의 크기가 상기 생체 신분 이미지의 크기가 될 수 있다.
한편, 도 7b에서 보이고 있는 바와 달리, 사용자가 촬상할 때마다 손등이 향하는 방향은 달라질 수도 있음은 물론이다. 일 예로 사용자가 생체 신분 이미지를 등록할 때에는 도 7b의 (a)에서 보이고 있는 바와 같은 손등 이미지(750)가 획득될 수 있으나, 차후 생체 인증을 위해 손등의 이미지를 촬상할 때는 좌 또는 우 방향으로 일정 각도 만큼 회전된 상태로 사용자 손등의 이미지가 획득될 수 있다.
이러한 경우 본 발명의 실시 예에 따른 전자 장치(100)는 획득된 손등 이미지로부터 검출되는 윤곽선으로부터 중수지 관절들에 대응하는 윤곽선을 검출할 수 있다. 여기서 상기 중수지 관절들에 대응하는 윤곽선은, 도 7c의 (a)에서 보이고 있는 바와 같이 획득된 이미지의 좌측 외곽점(761) 및 우측 최외곽점(763)을 잇는 기준선(760)을 기준으로, 손목 부분(755)의 반대 방향에 대응하는 부분의 윤곽선(772)일 수 있다. 일 예로 제어부(110)는 획득된 이미지(750)로부터 윤곽선이 검출되지 않는 영역을 상기 손목 부분(755)으로 판단할 수 있다.
그러면 제어부(110)는 상기 중수지 관절들에 대응하는 윤곽선(772)으로부터 제1 중수지 관절과 제2 중수지 관절을 검출할 수 있다. 여기서 상기 제1 중수지 관절과 제2 중수지 관절은 상기 기준선(760)을 기준으로, 상기 중수지 관절들의 윤곽선(772)으로부터 가장 많이 돌출된 중수지 관절들일 수 있다.
그러면 제어부(110)는 도 7c의 (b)에서 보이고 상기 제1 중수지 관절과 제2 중수지 관절의 최외곽점들(제1 최외곽점(780) 및 제2 최외곽점(762))을 서로 잇는 제2 기준선(790)을 생성할 수 있다.
그러면 제어부(110)는 도 7c의 (c)에서 보이고 있는 바와 같이, 상기 제2 기준선(790)과 상기 좌측 외곽점(761) 및 우측 최외곽점(763)을 기준으로 관심 영역(765)을 생성할 수 있다. 그리고 생성된 관심 영역(765)에 대응하는 이미지를, 상기 도 2의 S200 단계에서 획득된 이미지로부터 추출할 수 있다. 그리고 추출된 관심 영역(765)의 이미지를 상기 제2 기준선(790)이 수평이 되는 방향으로 회전시킬 수 있다. 일예로 상기 수평이 되는 방향은 기 설정된 방향일 수 있다. 예를 들어 상기 S200 단계에서 획득된 이미지의 좌우 방향이 상기 수평 방향일 수 있다. 이에 도 7c의 (d)에서 보이고 있는 바와 같이 회전된 관심 영역(765)의 이미지가 추출될 수 있다.
한편 상술한 도 7b 및 도 7c의 설명에서는 상기 관심 영역(765)이 각 최외곽점들(761, 762, 763, 780)에 인접하여 형성되는 것을 예로 들어 설명하였으나 이는 본 발명의 실시 예일 뿐 본 발명이 이에 한정되는 것이 아님은 물론이다. 일 예로 각 최외곽점들(761, 762, 763, 780)로부터 기 설정된 거리만큼의 폭이 확보되도록 상기 관심 영역(765)이 설정될 수도 있음은 물론이다.
한편 사용자의 손등 이미지가 촬상될 때에는, 상기 손등과 촬상부(120)가 이루는 각도에 따라 획득되는 이미지가 달라질 수 있다. 일 예로 사용자의 손등과 상기 촬상부(120)의 수광부가 이루는 각도가 커질수록 특정 방향으로 기울어진 이미지가 생성될 수 있다. 그리고 기울어짐 정도가 심할수록 획득된 이미지는 수평 또는 수직 방향 중 어느 하나의 방향으로 압착된 이미지가 생성될 수 있다.
또한 상기 손등과 촬상부(120)가 이루는 거리에 따라 획득되는 이미지가 달라질 수 있다. 일 예로 사용자의 손등과 상기 촬상부(120)의 수광부가 이루는 거리가 멀어질수록 보다 축소된 이미지가 생성될 수 있다.
그런데 상술한 바와 같이, 본 발명의 실시 예에 따른 전자 장치(100)는 생체 신분 이미지에 포함된 각 특징점들의 위치에 근거하여 사용자의 인증을 수행할 수 있다. 이 경우 상기 각 특징점들은 상술한 바와 같이 주먹을 쥔 사용자의 손등 이미지로부터 추출되는 중수지 관절의 모양과 정맥 혈관의 형상으로부터 검출될 수 있다. 따라서 본 발명의 실시 예에 따른 생체 신분 이미지에 포함된 특징점들 사이의 간격 비율은 획득된 이미지의 상태에 상관없이 언제나 일정하다는 특징을 가진다.
따라서 본 발명의 실시 예에 따른 전자 장치(100)는 생체 신분 이미지가 생성되는 경우, 사용자의 손등의 기울어짐 또는 거리에 따른 오차를 방지하기 위해 생성된 생체 신분 이미지의 크기를 변경할 수 있다. 이에 따라 상기 기울어짐에 따라 발생하는 생체 신분 이미지의 크기 차이가 해소될 수 있으며, 또한 상기 이미지의 크기 차이에 따라 발생하는 특징점들의 위치 차이 역시 해소될 수 있다.
도 8a 및 도 8b는 본 발명의 실시 예에 따른 전자 장치(100)에서, 생체 인증을 위해 생성된 생체 인증 이미지의 크기를 변경함으로써 상기 기울어짐에 따른 이미지의 크기 차이를 해소하는 동작 과정을 도시한 흐름도 및 예를 도시한 도면들이다.
먼저 도 8a를 참조하여 살펴보면, 본 발명의 실시 예에 따른 전자 장치(100)의 제어부(110)는 상기 도 2의 S210 단계에서 생체 신분 이미지가 생성되면, 기 등록된 생체 신분 이미지 중 어느 하나를 선택할 수 있다. 그리고 선택된 기 등록 생체 신분 이미지와, 상기 S210 단계에서 생성된 생체 신분 이미지를 기 설정된 기준점에 따라 정렬할 수 있다(S800).
예를 들어 상기 도 2의 S210 단계에서 생성된 생체 신분 이미지(제1 생체 신분 이미지)와 상기 기 등록된 생체 신분 이미지(제2 생체 신분 이미지)는 모두 상기 도 7a 내지 도 7c에서 도시한 관심 영역 설정을 통해 생성된 생체 신분 이미지들일 수 있다.
이에 동일한 형상(예를 들어 사각형 형상)을 가질 수 있다. 이러한 경우 제어부(110)는 기 설정된 기준점에 따라 상기 제1 및 제2 생체 신분 이미지를 정렬할 수 있다. 여기서 상기 기 설정된 기준점은 좌측 상단의 꼭지점일 수 있다. 그러면 제어부(110)는 상기 제1 및 제2 생체 신분 이미지를, 각 이미지의 좌측 상단 꼭지점을 기준으로 정렬시킬 수 있다. 여기서 상기 생체 신분 이미지들의 정렬은 상기 기준점을 중심으로 상기 제1 및 제2 생체 신분 이미지를 중첩시키는 것일 수 있다.
상기 S800 단계의 정렬 결과, 제어부(110)는 상기 제1 및 제2 생체 신분 이미지의 크기 차이를 검출할 수 있다. 그러면 제어부(110)는 어느 하나의 생체 신분 이미지에 따라 다른 생체 신분 이미지의 크기를 변경할 수 있다. 보다 바람직하게, 제어부(110)는 등록된 생체 신분 이미지인 제2 생체 신분 이미지를 기준으로, 상기 제1 생체 신분 이미지를 확대하거나 축소할 수 있다. 또는 일 방향으로 늘리거나 줄일 수 있다. 여기서 상기 확대 또는 축소의 기준 또는 상기 늘림이나 줄임의 기준은 상기 기준점이 될 수 있다.
도 8b의 (a) 및 (b)는 이처럼 생체 신분 이미지의 크기가 변경되는 경우의 예들을 도시하고 있는 것이다.
먼저 도 8b의 (a)를 참조하여 살펴보면, 도 8b의 (a)의 좌측 도면은 생체 인증을 위해 생성된 제1 생체 신분 이미지(860)가 거리 차이로 인해 기 등록된 제2 생체 신분 이미지(850)보다 작게 생성된 경우의 예를 보이고 있다. 이 경우 제1 생체 신분 이미지(860)의 특징점(862)과 제2 생체 신분 이미지(850)의 특징점(852)은 서로 동일한 위치의 특징점임에도 불구하고, 상기 이미지의 크기 차이로 인해 서로 다른 위치에 매칭될 수 있다.
이 경우 제어부(110)는 제1 생체 신분 이미지(860)와 제2 생체 신분 이미지(850)를 기 설정된 기준점(880)에 따라 정렬할 수 있다. 그리고 도 8b (a)의 좌측 도면에서 보이고 있는 바와 같이, 제2 생체 신분 이미지(850)의 크기에 따라 제1 생체 신분 이미지(860)를 확대시킬 수 있다. 이에 도 8b (a)의 우측 도면에서 보이고 있는 바와 같이, 제1 생체 신분 이미지(860)와 제2 생체 신분 이미지(850)는 동일한 크기로 정렬될 수 있으며, 이에 따라 제1 생체 신분 이미지(860)의 특징점(862)과 제2 생체 신분 이미지(850)의 특징점(852)은 서로 동일한 위치에 매칭될 수 있다.
한편 도 8b의 (b)는 상기 도 8b의 (a)와 상반된 경우의 예를 보이고 있다. 즉 도 8b의 (b)는 기 등록된 제2 생체 신분 이미지(850)가 촬영될 때의 거리보다 제1 생체 신분 이미지(870)가 더 촬상부(120)의 수광부에 더 가까운 위치에서 촬영됨에 따라 기 등록된 제2 생체 신분 이미지(850)보다 크게 생성된 경우의 예를 보이고 있다. 이 경우 제1 생체 신분 이미지(870)의 특징점(872)과 제2 생체 신분 이미지(850)의 특징점(852)은 서로 동일한 위치의 특징점임에도 불구하고, 상기 이미지의 크기 차이로 인해 서로 다른 위치에 매칭될 수 있다.
이 경우 제어부(110)는 제1 생체 신분 이미지(870)와 제2 생체 신분 이미지(850)를 기 설정된 기준점(880)에 따라 정렬할 수 있다. 그리고 도 8b (b)의 좌측 도면에서 보이고 있는 바와 같이, 제2 생체 신분 이미지(850)의 크기에 따라 제1 생체 신분 이미지(870)를 축소시킬 수 있다. 이에 도 8b (b)의 우측 도면에서 보이고 있는 바와 같이, 제1 생체 신분 이미지(870)와 제2 생체 신분 이미지(850)는 동일한 크기로 정렬될 수 있으며, 이에 따라 제1 생체 신분 이미지(870)의 특징점(872)과 제2 생체 신분 이미지(850)의 특징점(852)은 서로 동일한 위치에 매칭될 수 있다.
한편 상술한 설명에 따르면, 본 발명의 실시 예에 따른 전자 장치(100)는 생체 신분 이미지에 포함된 특징점들의 위치를 사용자의 인증을 위한 인증 정보로 이용할 수 있다. 이에 상기 도 2의 S210 단계에서 생성된 생체 신분 이미지(제1 생체 신분 이미지)에 포함된 특징점들 중, 상기 기 등록된 생체 신분 이미지(제2 생체 신분 이미지)에 포함된 특징점들에 일치하는 특징점들의 개수에 따라 인증 성공 또는 실패 여부가 결정될 수 있다.
따라서 상기 제2 생체 신분 이미지의 각 특징점에 대응하는 영역의 크기에 따라 인증의 성공 또는 실패가 결정될 수 있다. 일 예로 상기 제2 생체 신분 이미지의 각 특징점에 대응하는 영역들이 크기가 넓을수록, 상기 제2 생체 신분 이미지의 각 특징점에 매칭되는 것으로 간주되는 상기 제1 생체 신분 이미지에 포함된 각 특징점들의 수가 증가될 수 있다. 반대로 상기 제2 생체 신분 이미지의 각 특징점에 대응하는 영역들이 크기가 좁을수록, 상기 제2 생체 신분 이미지의 각 특징점에 대응하는 위치와 조금만 차이가 있어도 제어부(110)는 제1 생체 신분 이미지에 포함된 각 특징점들과 서로 다른 위치에 대응하는 특징점으로 판단할 수 있다.
이에 본 발명의 실시 예에 따른 전자 장치(100)는 사용자가 기 등록된 제2 생체 신분 이미지의 각 특징점에 대응하는 영역의 크기를 설정하도록 함으로써, 사용자가 인증 정밀도를 설정하도록 할 수 있다. 이하 상기 각 특징점에 대응하는 영역의 크기를 마진(margin) 영역이라고 하기로 한다.
도 9a 및 도 9b는 이러한 본 발명의 실시 예에 따른 전자 장치(100)에서, 사용자가 설정한 인증 정밀도에 근거하여, 생체 신분 이미지의 각 특징점들에 서로 다른 크기의 마진 영역을 설정하는 동작 과정 및, 서로 다른 크기의 마진 영역들이 생성된 예를 도시한 예시도이다.
먼저 도 9a를 참조하여 살펴보면, 본 발명의 실시 예에 따른 전자 장치(100)의 제어부(110)는 상기 도 2의 S212 단계의 매칭이 수행되면, 먼저 기 등록된 생체 신분 이미지 중 어느 하나로부터, 도 9b의 (c)에서 보이고 있는 바와 같이 각 특징점의 위치(950)를 검출할 수 있다(S900).
그리고 제어부(110)는 사용자로부터 설정된 인증 정밀도에 근거하여 마진 영역의 크기를 결정할 수 있다(S902). 예를 들어 제어부(110)는 인증 정밀도가 높은 경우 마진 영역의 크기를 작게 결정하고, 인증 정밀도가 낮은 경우 마진 영역의 크기를 크게 결정할 수 있다.
그리고 제어부(110)는 상기 S900 단계에서 검출된 특징점들 각각에 대해, 각 특징점의 위치를 기준으로 상기 S902 단계에서 결정된 크기의 마진 영역들을 생성할 수 있다(S904). 이에 따라 도 9b의 (b) 및 (c)에서 보이고 있는 바와 같이 서로 다른 크기의 마진 영역들이 생성될 수 있다.
일 예로 도 9b의 (b)는 도 9b의 (c)보다 더 낮은 인증 정밀도가 설정된 경우에 생성되는 마진 영역(960)의 예를 보이고 있는 것이다. 반대로 도 9b의 (c)는 도 9b의 (b)보다 더 높은 인증 정밀도가 설정된 경우에 생성되는 마진 영역(970)의 예를 보이고 있는 것이다.
그리고 상기 제1 생체 신분 이미지에 포함된 각 특징점들 중 상기 제2 생체 신분 이미지의 특징점 별로 생성된 마진 영역들 내에 포함된 특징점들의 비율에 근거하여 사용자의 인증을 수행할 수 있다(S906). 이 경우 마진 영역이 클수록 해당 제2 생체 신분 이미지의 특징점에 매칭되는 특징점이 많아질 확률이 높아질 수 있다. 즉, 도 9b의 (b)의 경우, 다소 차이가 있는 경우에도 각 생체 신분 이미지의 특징점들이 서로 매칭되는 것으로 간주될 수 있는 반면, 도 9b의 (c)의 경우 각 생체 신분 이미지의 특징점들 사이에 차이가 있는 경우 매칭되지 않는 것으로 판단될 수 있다.
여기서 상기 특징점들의 비율은, 제2 생체 신분 이미지의 각 특징점들의 개수에 대해, 각 마진 영역에 포함된 제1 생체 신분 이미지의 특징점들의 개수에 따라 산출될 수 있다.
한편 상기 인증 정밀도는, 상기 전자 장치(100)가 제공할 수 있는 애플리케이션 또는 기능에 따라 서로 다르게 설정될 수 있다. 이 경우 인증을 필요로 하는 애플리케이션 또는 기능의 수행을 사용자가 선택하는 경우, 제어부(110)는 해당 애플리케이션 또는 기능에 대해 기 설정된 인증 정밀도에 따라 기 등록된 생체 신분 이미지의 각 특징점들에 대한 마진 영역들을 생성할 수 있다. 따라서 이 경우 보다 높은 인증 수준이 요구되는 애플리케이션 또는 기능의 경우 높은 인증 정밀도를 통해, 보다 정밀한 인증이 요구되도록 할 수 있으며, 보다 낮은 인증 수준이 요구되는 애플리케이션 또는 기능의 경우 낮은 인증 정밀도를 통해, 보다 수월한 인증이 요구되도록 할 수도 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 상기 전자 장치(100)의 제어부(110)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (15)

  1. 적외선 조사부를 포함하며, 주먹을 쥔 사용자의 손등 이미지를 획득하는 촬상부;
    상기 획득된 이미지로부터, 중수지 관절에 대응하는 윤곽선 및 상기 사용자의 손등에 분포된 정맥 혈관의 형상을 검출하며, 상기 중수지 관절의 윤곽선으로부터 추출되는 특징점들과 상기 정맥 혈관의 형상으로부터 추출되는 특징점들을 포함하는 제1 생체 신분 이미지를 생성하는 생체 신분 이미지 생성부;
    기 등록된 생체 신분 이미지를 적어도 하나 저장하는 메모리; 및,
    생성된 생체 신분 이미지의 특징점들 각각의 위치와, 상기 기 등록된 적어도 하나의 생체 신분 이미지에 포함된 특징점들 각각의 위치를 매칭한 결과에 따라 상기 촬상부에서 획득된 손등 이미지에 대응하는 사용자의 인증을 수행하는 제어부를 포함하는 것을 특징으로 하는 전자 장치..
  2. 제1항에 있어서, 상기 제어부는,
    상기 획득된 손등 이미지로부터 제1 윤곽선을 검출하고, 검출된 제1 윤곽선으로부터 검출되는 최외곽점들에 근거하여 상기 중수지 관절에 대응하는 윤곽선을 검출하도록 상기 생체 신분 이미지 생성부를 제어하는 것을 특징으로 하는 전자 장치.
  3. 제1항에 있어서, 상기 제어부는,
    상기 중수지 관절에 대응하는 윤곽선으로부터 기울기가 반전되는 변곡점들을 검출하고, 검출된 변곡점들을 상기 중수지 관절 윤곽선의 특징점들로 추출하도록 상기 생체 신분 이미지 생성부를 제어하는 것을 특징으로 하는 전자 장치.
  4. 제1항에 있어서, 상기 제어부는,
    상기 정맥 혈관 각각의 끝점들과 정맥 혈관이 분기되는 분기점들을 검출하고, 검출된 끝점들과 분기점들을 상기 정맥 혈관의 특징점들로 추출하도록 상기 생체 신분 이미지 생성부를 제어하는 것을 특징으로 하는 전자 장치.
  5. 제1항에 있어서, 상기 제어부는,
    상기 제1 생체 신분 이미지와 상기 기 등록된 생체 신분 이미지 중 어느 하나를 이미지 단위로 매칭하여 각 생체 신분 이미지들 간에 서로 매칭되는 특징점들의 개수를 검출하고,
    상기 기 등록된 생체 신분 이미지의 특징점들 개수에 대한 상기 매칭되는 특징점들 개수의 비율에 근거하여 상기 인증을 수행하는 것을 특징으로 하는 전자 장치.
  6. 제1항에 있어서, 상기 제어부는,
    상기 제1 생체 신분 이미지의 크기를, 상기 기 등록된 생체 신분 이미지 중 서로 간에 특징점들의 위치들을 비교할 제2 생체 신분 이미지와 비교하고,
    상기 제2 생체 신분 이미지의 크기에 따라 상기 제1 생체 신분 이미지를 확대, 축소 또는 특정 방향으로의 늘림 또는 줄임을 수행하고, 상기 확대, 축소 또는 늘림이나 줄임을 수행한 제1 생체 신분 이미지와 상기 제2 생체 신분 이미지에 포함된 특징점들 각각의 위치를 매칭한 결과에 따라 상기 인증을 수행하는 것을 특징으로 하는 전자 장치.
  7. 제1항에 있어서, 상기 제어부는,
    상기 획득된 손등 이미지로부터 제1 윤곽선을 검출하고, 검출된 제1 윤곽선으로부터 검출되는 최외곽점들에 근거하여 관심 영역(Region of Interest)을 설정하며, 설정된 관심 영역에 따라 상기 획득된 손등 이미지의 적어도 일부를 추출하고, 추출된 관심 영역의 이미지로부터 상기 제1 생체 신분 이미지의 생성하는 것을 특징으로 하는 전자 장치.
  8. 제7항에 있어서, 상기 제어부는,
    상기 획득된 손등 이미지로부터, 사용자 손등에 대응하는 윤곽선의 좌측 최외곽점과 우측 최외곽점을 검출하고 검출된 좌측 최외곽점과 우측 최외곽점을 잇는 제1 기준선을 형성하고,
    상기 제1 기준선을 기준으로 상기 중수지 관절에 대응하는 윤곽선을 검출 및, 검출된 중수지 관절의 윤곽선으로부터 제1 중수지 관절과 제2 중수지 관절을 검출하고, 검출된 제1 및 제2 중수지 관절 윤곽들로부터 검출되는 최외곽점들을 서로 잇는 제2 기준선에 근거하여 상기 관심 영역을 생성하는 것을 특징으로 하는 전자 장치.
  9. 제8항에 있어서, 상기 제어부는,
    상기 제2 기준선이 기 설정된 수평 방향을 이루지 않는 경우, 상기 제2 기준선이 수평 방향을 이루도록 상기 관심 영역에 대응하는 이미지를 회전하여 상기 관심 영역에 따른 제1 생체 신분 이미지를 생성하는 것을 특징으로 하는 전자 장치.
  10. 제1항에 있어서, 상기 제어부는,
    기 설정된 인증 정밀도에 근거하여, 상기 기 등록된 적어도 하나의 생체 신분 이미지에 포함된 특징점들 각각의 위치들을 기준으로, 각 특징점들에 대응하는 마진(margin) 영역들을 생성하고,
    생성된 마진 영역들과, 상기 제1 생체 신분 이미지에 포함된 특징점들을 매칭한 결과에 근거하여 상기 인증을 수행하는 것을 특징으로 하는 전자 장치.
  11. 제10항에 있어서, 상기 제어부는,
    상기 제1 생체 신분 이미지에 포함된 특징점들 중, 상기 마진 영역들 내에 위치한 특징점들의 개수와 상기 마진 영역들의 개수 비율에 근거하여 상기 인증을 수행하는 것을 특징으로 하는 전자 장치.
  12. 제10항에 있어서,
    상기 인증 정밀도는,
    상기 전자 장치에서 수행되는 기능에 따라 각각 서로 다르게 설정되며,
    상기 제어부는,
    상기 서로 다르게 설정된 인증 정밀도에 따라 상기 전자 장치에서 수행되는 기능 별로 서로 다른 크기의 마진 영역들을 생성하는 것을 특징으로 하는 전자 장치.
  13. 주먹을 쥔 사용자의 손등 이미지를 획득하는 단계;
    상기 획득된 손등 이미지로부터 중수지 관절의 윤곽선을 포함하는 사용자 손등의 윤곽선을 추출하는 단계;
    상기 획득된 이미지로부터 정맥 혈관의 형상을 검출하는 단계;
    상기 중수지 관절의 윤곽선으로부터 제1 특징점들을 검출하고, 상기 정맥 혈관의 형상으로부터 제2 특징점들을 검출하는 단계;
    상기 윤곽선을 기준으로 제1 특징점들과 제2 특징점들을 조합하여 제1 생체 신분 이미지를 생성하는 단계; 및,
    생성된 제1 생체 신분 이미지의 특징점들 각각의 위치와, 기 등록된 적어도 하나의 생체 신분 이미지에 포함된 특징점들 각각의 위치를 매칭한 결과에 따라 상기 획득된 손등 이미지에 대응하는 사용자의 인증을 수행하는 단계를 포함하는 것을 특징으로 하는 전자 장치의 제어 방법.
  14. 제13항에 있어서,
    상기 제1 특징점들은,
    상기 중수지 관절의 윤곽선 중 기울기가 반전되는 변곡점들이며,
    상기 제2 특징점들은,
    상기 정맥 혈관의 끝점들 및 상기 정맥 혈관이 분기되는 분기점들임을 특징으로 하는 전자 장치의 제어 방법.
  15. 제13항에 있어서, 상기 인증을 수행하는 단계는,
    상기 기 등록된 생체 신분 이미지들 중 상기 매칭을 위한 제2 생체 신분 이미지를 선택하는 단계;
    선택된 제2 생체 신분 이미지의 크기에 따라 상기 제1 생체 신분 이미지의 크기를 변경하는 단계; 및,
    상기 크기가 변경된 제1 생체 신분 이미지에 포함된 특징점들의 위치와, 상기 제2 생체 신분 이미지에 포함된 특징점들의 위치를 서로 매칭하는 단계를 포함하는 것을 특징으로 하는 전자 장치의 제어 방법.
PCT/KR2019/005102 2019-04-26 2019-04-26 전자 장치 및 그 제어방법 WO2020218656A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/005102 WO2020218656A1 (ko) 2019-04-26 2019-04-26 전자 장치 및 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/005102 WO2020218656A1 (ko) 2019-04-26 2019-04-26 전자 장치 및 그 제어방법

Publications (1)

Publication Number Publication Date
WO2020218656A1 true WO2020218656A1 (ko) 2020-10-29

Family

ID=72941637

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/005102 WO2020218656A1 (ko) 2019-04-26 2019-04-26 전자 장치 및 그 제어방법

Country Status (1)

Country Link
WO (1) WO2020218656A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102370684B1 (ko) * 2021-11-10 2022-03-07 주식회사 테크스피어 손등 혈관패턴 인식 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009187520A (ja) * 2008-01-09 2009-08-20 Sony Corp 認証装置、認証方法、登録装置及び登録方法
KR100986788B1 (ko) * 2007-03-28 2010-10-12 후지쯔 가부시끼가이샤 대조 장치, 대조 방법 및 대조 프로그램을 기록한 컴퓨터판독 가능한 기록 매체
US20110169934A1 (en) * 2008-09-22 2011-07-14 Kranthi Kiran Pulluru Vein pattern recognition based biometric system and methods thereof
KR20140089277A (ko) * 2012-12-31 2014-07-14 기초과학연구원 Ｓｉｆｔ 특징점에 기반한 손가락 정맥 인증 방법
JP2017049955A (ja) * 2015-09-04 2017-03-09 富士通株式会社 生体認証装置、生体認証方法および生体認証プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100986788B1 (ko) * 2007-03-28 2010-10-12 후지쯔 가부시끼가이샤 대조 장치, 대조 방법 및 대조 프로그램을 기록한 컴퓨터판독 가능한 기록 매체
JP2009187520A (ja) * 2008-01-09 2009-08-20 Sony Corp 認証装置、認証方法、登録装置及び登録方法
US20110169934A1 (en) * 2008-09-22 2011-07-14 Kranthi Kiran Pulluru Vein pattern recognition based biometric system and methods thereof
KR20140089277A (ko) * 2012-12-31 2014-07-14 기초과학연구원 Ｓｉｆｔ 특징점에 기반한 손가락 정맥 인증 방법
JP2017049955A (ja) * 2015-09-04 2017-03-09 富士通株式会社 生体認証装置、生体認証方法および生体認証プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102370684B1 (ko) * 2021-11-10 2022-03-07 주식회사 테크스피어 손등 혈관패턴 인식 장치 및 방법
KR20230068247A (ko) * 2021-11-10 2023-05-17 주식회사 테크스피어 손등 혈관패턴 인식 장치 및 방법
KR102666340B1 (ko) 2021-11-10 2024-05-16 주식회사 테크스피어 손등 혈관패턴 인식 장치 및 방법

Similar Documents

Publication Publication Date Title
US9408076B2 (en) Sensor-assisted biometric authentication for smartphones
WO2020130309A1 (ko) 영상 마스킹 장치 및 영상 마스킹 방법
WO2015064925A1 (ko) 패턴 입력 장치 및 방법과 이를 이용한 기록 매체
WO2015122577A1 (ko) 극소 센싱 영역을 포함하는 전자 장치 및 이의 지문 정보 프로세싱 방법
WO2013100699A1 (en) Method, apparatus, and computer-readable recording medium for authenticating a user
WO2020171553A1 (en) An electronic device applying bokeh effect to image and controlling method thereof
WO2011081379A2 (en) Display device and control method thereof
WO2017099427A1 (ko) 손가락 마디 및 지정맥 기반의 융합형 생체 인증 방법 및 그 장치
WO2017069385A1 (ko) 모바일 디바이스를 이용한 신분증 인식 장치
US20180341761A1 (en) Electronic devices with improved iris recognition and methods thereof
WO2018117353A1 (ko) 홍채와 공막의 경계선 검출 방법
WO2017065576A1 (ko) 가변 키패드를 이용한 본인 인증 방법 및 시스템
WO2015163558A1 (ko) 생체 정보 인식을 이용한 결제 방법, 이를 위한 장치 및 시스템
JP6376246B2 (ja) 認証装置、認証方法、制御プログラムおよび記録媒体
WO2020145517A1 (en) Method for authenticating user and electronic device thereof
WO2019017585A1 (en) ELECTRONIC DEVICE FOR CONTROLLING THE DEVELOPMENT OF A LENS AND METHOD OF CONTROLLING THE SAME
WO2020218656A1 (ko) 전자 장치 및 그 제어방법
WO2020189811A1 (ko) 전자 장치 및 그 제어 방법
WO2017164584A1 (ko) 제스처 기반의 사용자 인증이 가능한 hmd 장치 및 상기 hmd 장치의 제스처 기반의 사용자 인증 방법
WO2017069411A1 (ko) 보안 처리된 객체의 보안 상태 해제 방법 및 그 장치
JPH10275233A (ja) 情報処理システム、ポインティング装置および情報処理装置
WO2020189827A1 (ko) 전자 장치 및 그 제어 방법
WO2018199576A1 (en) Method and apparatus for performing authentication based on biometric information
WO2019117379A1 (ko) 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 장치 및 방법
WO2018124671A1 (en) Electronic device and operation method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19926324

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19926324

Country of ref document: EP

Kind code of ref document: A1