KR102151474B1 - Non contract fingerprint recognition method using smart terminal - Google Patents
Non contract fingerprint recognition method using smart terminal Download PDFInfo
- Publication number
- KR102151474B1 KR102151474B1 KR1020180112173A KR20180112173A KR102151474B1 KR 102151474 B1 KR102151474 B1 KR 102151474B1 KR 1020180112173 A KR1020180112173 A KR 1020180112173A KR 20180112173 A KR20180112173 A KR 20180112173A KR 102151474 B1 KR102151474 B1 KR 102151474B1
- Authority
- KR
- South Korea
- Prior art keywords
- finger
- terminal
- image
- fingerprint
- camera
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G06K9/00087—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1365—Matching; Classification
Abstract
개시된 기술은 스마트 단말기를 이용한 비접촉 지문인증 방법에 관한 것으로, 카메라가 구비된 단말기를 이용하여 비접촉 지문인증을 수행하는 방법에 있어서, 상기 단말기가 비접촉 지문인증을 위한 어플리케이션을 실행하여 카메라를 구동하는 단계; 상기 단말기가 상기 어플리케이션이 실행된 화면의 일측에 사용자 인터페이스를 표시하고 상기 카메라를 통해 전송되는 손가락에 대한 이미지를 토대로 상기 인터페이스의 출력값을 변경하여 상기 손가락의 위치를 조정하는 단계; 상기 단말기가 미리 설정된 기준값을 만족하는 위치에서 상기 손가락을 촬영하고, 촬영된 손가락 영상에서 지문에 대한 특징점을 추출하는 단계; 및 상기 단말기가 상기 어플리케이션을 통해 미리 등록된 사용자의 바이오정보와 상기 추출된 특징점을 비교하여 인증을 수행하는 단계;를 포함한다. 따라서 비접촉 지문 인증을 매끄럽게 수행하는 효과가 있다.The disclosed technology relates to a non-contact fingerprint authentication method using a smart terminal, in which a method of performing non-contact fingerprint authentication using a terminal equipped with a camera, the terminal running an application for non-contact fingerprint authentication to drive the camera ; Adjusting, by the terminal, a user interface on one side of a screen on which the application is executed, and changing an output value of the interface based on an image of the finger transmitted through the camera to adjust the position of the finger; Photographing the finger at a location that satisfies a preset reference value by the terminal, and extracting feature points for the fingerprint from the photographed finger image; And performing authentication by comparing, by the terminal, bio-information of a user previously registered through the application with the extracted feature points. Therefore, there is an effect of smoothly performing non-contact fingerprint authentication.
Description
개시된 기술은 스마트 단말기를 이용하여 비접촉 방식으로 지문을 인증하는 방법에 관한 것이다.The disclosed technology relates to a method of authenticating a fingerprint in a contactless manner using a smart terminal.
바이오정보를 인증수단으로 활용하는 움직임이 활발해짐에 따라 최근 지문이나 홍채와 같은 수단을 이용하여 출입통제나 결제인증을 수행하는 시스템이 증가하고 있다. 특히 지문을 이용하는 시스템은 그 이용방식이 간편하고 사용자 입장에서도 별다른 거부감이 없어서 종래부터 비교적 널리 이용되고 있는 추세이다.As the movement to use bio-information as an authentication means is becoming more active, a system that performs access control or payment authentication using a means such as fingerprint or iris is increasing in recent years. In particular, a system using fingerprints is a trend that has been relatively widely used since the conventional method of use is simple and there is no reluctance from the user's point of view.
통상적인 지문인증 시스템에 있어서 가장 보편적으로 이용되고 있는 것은 광학식 시스템으로, 사용자가 단말기의 광처리 지점에 손가락을 접촉하면 지문의 이미지를 필터링하거나 선명하게 가공하여 지문의 고유값인 특징점을 추출하고 이를 인증에 이용하는 것인데, 손가락을 접촉할 때마다 손가락이 접촉되는 방향이나 각도에 따라 획득되는 지문의 이미지가 조금씩 달라져서 인증이 매끄럽게 수행되지 못하거나 손가락이 광처리부에 접촉될 때 표면에 손가락으로 인한 습기나 유분이 껴서 인증에 실패하는 경우가 발생하기 때문에 이를 보정하기 위한 다양한 알고리즘들이 개발되어왔다.The most commonly used fingerprint authentication system is an optical system. When a user touches a finger on the light processing point of the terminal, the fingerprint image is filtered or sharply processed to extract the characteristic points, which are the unique values of the fingerprint, and authenticate them. Whenever a finger is touched, the image of the fingerprint acquired is slightly different depending on the direction or angle in which the finger is touched, so authentication cannot be performed smoothly, or when the finger touches the light processing unit, moisture or oil due to the finger on the surface Since authentication fails because of this, various algorithms have been developed to correct this.
한편, 최근에는 광학식 지문인증 방식의 단점을 탈피하고자 손가락을 접촉하지 않고 지문의 특징점을 추출하는 이른바 비접촉식 지문인증 방법이점차 증가되고 있다. 한국 등록특허 제10-1596298(발명의 명칭 : 스마트폰을 활용한 비접촉식 지문인식방법)을 참조하면 스마트폰에 내장된 카메라를 이용하여 비접촉 방식으로 지문의 특정점을 추출하여 인증을 수행하는 기술을 개시하고 있다. 그러나 촬영시 손가락을 가이드라인에 맞추어야만 인증에 필요로 하는 최적의 이미지를 획득할 수 있기 때문에 손가락을 촬영하는데 다소 제한이 있어서 사용자 친화적이지 못하다는 문제점이 있다.Meanwhile, in recent years, so-called non-contact fingerprint authentication methods that extract feature points of a fingerprint without touching a finger are gradually increasing in order to avoid the disadvantages of the optical fingerprint authentication method. Referring to Korean Patent Registration No. 10-1596298 (name of the invention: non-contact fingerprint recognition method using a smartphone), a technology that performs authentication by extracting a specific point of a fingerprint in a non-contact method using a camera built into a smartphone is described. It is starting. However, there is a problem that it is not user-friendly because it is somewhat limited in photographing a finger because it is possible to obtain an optimal image required for authentication only when the finger is aligned with the guideline during shooting.
개시된 기술은 손가락이 촬영되는 방향에 구애받지 않고 스마트 단말기를 이용하여 사용자 친화적으로 비접촉 지문인증을 수행하는 방법을 제공하는데 있다.The disclosed technology is to provide a user-friendly method of performing non-contact fingerprint authentication using a smart terminal regardless of the direction in which a finger is photographed.
상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 1 측면은 카메라가 구비된 단말기를 이용하여 비접촉 지문인증을 수행하는 방법에 있어서, 상기 단말기가 비접촉 지문인증을 위한 어플리케이션을 실행하여 카메라를 구동하는 단계, 상기 단말기가 상기 어플리케이션이 실행된 화면의 일측에 사용자 인터페이스를 표시하고 상기 카메라를 통해 전송되는 손가락에 대한 이미지를 토대로 상기 인터페이스의 출력값을 변경하여 상기 손가락의 위치를 조정하는 단계, 상기 단말기가 미리 설정된 기준값을 만족하는 위치에서 상기 손가락을 촬영하고, 촬영된 손가락 영상에서 지문에 대한 특징점을 추출하는 단계 및 상기 단말기가 상기 어플리케이션을 통해 미리 등록된 사용자의 바이오정보와 상기 추출된 특징점을 비교하여 인증을 수행하는 단계를 포함하는 비접촉 지문인증 방법을 제공하는데 있다.In order to achieve the above technical problem, a first aspect of the disclosed technology is a method of performing non-contact fingerprint authentication using a terminal equipped with a camera, the terminal running an application for non-contact fingerprint authentication to drive the camera, Adjusting the position of the finger by displaying, by the terminal, a user interface on one side of the screen on which the application is executed and by changing an output value of the interface based on an image of the finger transmitted through the camera, the terminal is preset Taking the finger at a location that satisfies a reference value, extracting a feature point for a fingerprint from the captured finger image, and performing authentication by comparing the extracted feature point with the bio-information of the user registered in advance by the terminal through the application. It is to provide a non-contact fingerprint authentication method including the step of performing.
개시된 기술의 실시 예들은 다음의 장점들을 포함하는 효과를 가질 수 있다. 다만, 개시된 기술의 실시 예들이 이를 전부 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다. Embodiments of the disclosed technology may have effects including the following advantages. However, since it does not mean that the embodiments of the disclosed technology should include all of them, the scope of the rights of the disclosed technology should not be understood as being limited thereto.
개시된 기술의 일 실시예에 따르면 스마트 단말기를 이용한 비접촉 지문인식 방법은 손가락이 촬영되는 방향을 자동으로 보정하여 지문의 인증실패를 방지하는 효과가 있다.According to an embodiment of the disclosed technology, a method for recognizing a non-contact fingerprint using a smart terminal has an effect of preventing a fingerprint authentication failure by automatically correcting a direction in which a finger is photographed.
또한, 손가락 촬영 시 유저 인터페이스를 이용하여 지문인증이 매끄럽게 수행될 수 있도록 사용자를 유도하는 장점이 있다.In addition, there is an advantage of inducing a user so that fingerprint authentication can be performed smoothly by using a user interface when photographing a finger.
도 1은 개시된 기술의 일 실시예에 따른 스마트 단말기를 이용한 비접촉 지문인식 방법에 대한 순서도이다.
도 2는 스마트 단말기의 전면 카메라로 손가락의 지문을 촬영하는 것을 나타낸 도면이다.
도 3은 스마트 단말기의 후면 카메라로 손가락의 지문을 촬영하는 것을 나타낸 도면이다.
도 4는 스마트 단말기의 화면에 표시되는 인터페이스를 나타낸 도면이다.1 is a flowchart of a method for recognizing a non-contact fingerprint using a smart terminal according to an embodiment of the disclosed technology.
2 is a diagram illustrating photographing a fingerprint of a finger with a front camera of a smart terminal.
3 is a diagram illustrating photographing a fingerprint of a finger with a rear camera of a smart terminal.
4 is a diagram showing an interface displayed on a screen of a smart terminal.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.In the present invention, various modifications may be made and various embodiments may be provided, and specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to a specific embodiment, it is to be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present invention.
제 1, 제 2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as 1st, 2nd, A, B, etc. may be used to describe various components, but the components are not limited by the above terms, and only for the purpose of distinguishing one component from other components. Is only used. For example, without departing from the scope of the present invention, a first element may be referred to as a second element, and similarly, a second element may be referred to as a first element. The term and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 한다. 그리고 "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.Singular expressions in terms used herein should be understood as including plural expressions unless clearly interpreted differently in context. And the term "comprises" means the existence of a set feature, number, step, action, component, part, or a combination thereof, but one or more other features or number, step-action component, part It is to be understood that it does not exclude the possibility of the presence or addition of or combinations thereof.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. Prior to the detailed description of the drawings, it is intended to clarify that the division of the constituent parts in the present specification is only divided by the main function that each constituent part is responsible for. That is, two or more constituent parts to be described below may be combined into one constituent part, or one constituent part may be divided into two or more according to more subdivided functions.
그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이다.In addition, each of the constituent units to be described below may additionally perform some or all of the functions of other constituent units in addition to its own main function, and some of the main functions of each constituent unit are different. It goes without saying that it may be performed exclusively by. Therefore, the presence or absence of each component described through the present specification will be functionally interpreted.
도 1은 개시된 기술의 일 실시예에 따른 스마트 단말기를 이용한 비접촉 지문인식 방법에 대한 순서도이다. 도 1을 참조하면 비접촉 지문인식 방법은 이하의 단계들(110, 120, 130, 140)을 포함한다.1 is a flowchart of a method for recognizing a non-contact fingerprint using a smart terminal according to an embodiment of the disclosed technology. Referring to FIG. 1, the non-contact fingerprint recognition method includes the following steps (110, 120, 130, and 140).
110 단계에서 스마트 단말기는 비접촉 지문인증을 위한 어플리케이션을 실행하여 카메라를 구동한다. 일 실시예로, 스마트 단말기는 카메라로 촬영된 손가락 영상으로부터 지문의 특징점을 추출할 수 있는 어플리케이션을 사전에 구비할 수 있고 어플리케이션을 실행시키는 것으로 스마트 단말기에 포함된 카메라를 구동시킬 수 있다.In
한편, 상술한 바와 같이 스마트 단말기는 비접촉 지문 인증을 수행하기 위해서 카메라를 통해 전송되는 손가락 영상을 이용한다. 종래 스마트 단말기에는 다양한 방식으로 사용자의 지문을 인증하는 기술이 적용되고 있다. 예를 들면, 홈버튼과 같이 단말기 내부에 지문인식 센서가 구비되어 있는 특정 위치에 손가락을 접촉시켜서 정전용량값의 변화에 따라 지문의 특징을 인식하는 기술이 적용되어 있는데 이러한 접촉식 지문 인증 기술은 손가락 표면에 유분이나 이물질이 묻어 있는 경우에는 제대로 동작하지 못하고, 손가락이 접촉되는 방향에 따라 인식률에 오차가 많이 발생하기 때문에 개시된 기술에서는 비접촉 방식으로 지문 인증을 수행하기 위해서 구동된 카메라를 이용한다.Meanwhile, as described above, the smart terminal uses a finger image transmitted through a camera to perform non-contact fingerprint authentication. Conventionally, a technology for authenticating a user's fingerprint in various ways is applied to a smart terminal. For example, a technology that recognizes the characteristics of a fingerprint according to a change in capacitance value by touching a finger at a specific location where a fingerprint recognition sensor is installed inside a terminal, such as a home button, is applied. If oil or foreign substances are on the surface of the finger, it does not operate properly, and since a lot of errors occur in the recognition rate depending on the direction in which the finger is in contact, the disclosed technology uses a driven camera to perform fingerprint authentication in a non-contact method.
120 단계에서 스마트 단말기는 어플리케이션이 실행된 화면을 일측에 사용자 인터페이스를 표시한다. 사용자 인터페이스는 사용자가 손가락을 촬영할 때 손가락의 위치를 조절하기 위해서 제공된다. 스마트 단말기는 화면에 카메라의 구동에 따른 화면을 출력하고 그 화면의 일측에 사용자 인터페이스를 함께 표시할 수 있다. 카메라의 구동에 따른 화면에는 사용자가 손가락 촬영에 따른 지문 인증을 보다 수월하게 진행할 수 있도록 화면 중앙에 기준점을 출력시킬 수 있다. 예컨대, 사용자가 손가락 지문의 코어점이 되는 부분이 중앙에 촬영될 수 있도록 스마트 단말기의 화면 상에 십자가 형태 또는 점(Dot) 형태의 기준점이 표시될 수 있다. 사용자는 화면에 표시된 기준점에 지문이 형성된 손가락의 끝 부분이 위치하도록 직접 손가락을 움직일 수 있다.In
한편, 스마트 단말기는 사용자가 손가락을 촬영하는데 따른 위치를 조절하기 위해 소정의 출력값을 사용자 인터페이스로 출력된다. 일 실시예로, 스마트 단말기는 사용자 인터페이스의 출력값으로 텍스트, 색상 및 그림 중 적어도 하나를 포함할 수 있다. 만약 사용자의 손가락 위치가 적정 수준에 속하면 출력값을 파란색 라이트로 출력하고, 적정 위치가 아니라면 빨간색 라이트로 출력할 수 있다. 물론 상술한 바와 같이 손가락의 위치에 따라 위치 조정을 위한 텍스트나 그림을 출력값으로 표시할 수도 있다. 그리고 2개의 종류를 함께 출력값으로 표시하는 것도 가능하다. On the other hand, the smart terminal outputs a predetermined output value to the user interface in order to adjust the position when the user photographs a finger. In an embodiment, the smart terminal may include at least one of text, color, and picture as an output value of the user interface. If the position of the user's finger falls within an appropriate level, the output value can be output as a blue light, and if it is not the appropriate position, it can be output as a red light. Of course, as described above, text or pictures for positioning according to the position of the finger may be displayed as an output value. And it is also possible to display the two types together as output values.
여기에서 손가락의 위치를 조절한다는 것은 지문이 형성된 손가락 끝 부분을 카메라로부터 가까워지거나 멀어지게 하는 것 뿐만 아니라 카메라 화면의 기준점을 중심으로 상하 방향이나 좌우 방향으로 이동시키는 것을 의미한다. 즉, 사용자 인터페이스는 최적의 손가락 지문 영상을 촬영하기 위해서 사용자의 손가락 움직임을 최적의 위치로 유도하는 역할을 수행한다.Here, adjusting the position of the finger means not only moving the fingertip on which the fingerprint is formed closer to or further away from the camera, but also moving the fingertip in the vertical or horizontal direction around the reference point of the camera screen. That is, the user interface serves to induce a user's finger movement to an optimal position in order to capture an optimal fingerprint image.
한편, 사용자 단말기는 카메라를 통해 전송되는 손가락 영상을 토대로 인터페이스의 출력값을 변경하여 손가락의 초점을 조정하는 것이 가능하다. 만약 손가락의 초점이 미리 설정된 기준값에 부합되면 손가락 영상을 촬영하고 기준값에 부합되지 않으면 출력값을 다시 변경하여 사용자가 초점을 맞추도록 유도할 수 있다. 일 실시예로, 스마트 단말기는 손가락의 초점이 기준값에 부합하는 것으로 판단하면 사용자 인터페이스를 녹색으로 출력하고, 손가락의 초점이 기준값에 부합하지 않는 것으로 판단하면 사용자 인터페이스를 적색으로 출력할 수 있다.Meanwhile, the user terminal may adjust the focus of the finger by changing an output value of the interface based on the finger image transmitted through the camera. If the focus of the finger meets the preset reference value, a finger image is captured, and if the finger does not meet the reference value, the output value is changed again to induce the user to focus. In an embodiment, when it is determined that the focus of the finger matches the reference value, the smart terminal may output the user interface in green, and when it determines that the focus of the finger does not meet the reference value, the user interface may be output in red.
다른 일 실시예로, 스마트 단말기는 손가락의 초점이 상기 기준값에 부합하지 않으면 손가락의 위치를 조절하기 위해서 ‘좀 더 앞으로’나 ‘좀 더 뒤로’와 같은 소정의 메시지를 사용자 인터페이스로 출력할 수도 있다.In another embodiment, if the focus of the finger does not meet the reference value, the smart terminal may output a predetermined message such as'more forward' or'more back' to the user interface to adjust the position of the finger. .
한편, 스마트 단말기는 화면 중앙에 표시되는 포인트에 사용자의 손가락이 제대로 위치하는지 판단하기 위해서 손가락 끝의 지문에 대한 곡률을 계산하여 지문의 코어점을 파악하는 것이 가능하다. 일 실시예로, 일반적인 지문에 포함되는 다양한 정보들 중에서 손가락 끝에 있는 지문은 그 시작점의 곡률값이 가장 높고 밖으로 펼쳐질수록 곡률값이 낮아지는데 이러한 곡률값을 알리즘을 이용해 수치적으로 계산하는 것이 가능하다. 곡률값을 파악하는 알고리즘은 종래에 이미 널리 알려져 있으므로 생략한다.Meanwhile, in order to determine whether the user's finger is properly positioned at the point displayed in the center of the screen, the smart terminal can determine the core point of the fingerprint by calculating the curvature of the fingerprint of the fingertip. In one embodiment, among various pieces of information included in a general fingerprint, a fingerprint at the tip of a finger has the highest curvature value at its starting point and decreases as it expands outward. Such curvature values can be numerically calculated using an algorithm. Do. Algorithms for grasping the curvature value are already widely known in the art and thus are omitted.
130 단계에서 스마트 단말기는 미리 설정된 기준값을 만족하는 위치에서 손가락을 촬영하고, 촬영된 손가락 영상에서 지문에 대한 특징점을 추출한다. 스마트 단말기는 상술한 바와 같이 곡률 계산을 통해 지문의 코어점을 파악하고 화면 중앙에 표시된 기준점 안에 지문의 코어점이 포함되도록 유도하는데, 이 때 기준점 안에 코어점이 얼마나 포함되는지에 대한 기준값을 미리 설정하여 지문인증이 매끄럽게 수행될 수 있도록 동작하는 것이 가능하다. 예컨대, 지문의 코어점의 70% 이상이 화면 중앙의 기준점 안에 들어오면 스마트 단말기가 사용자 인터페이스를 통해 현재의 상태로 손가락을 촬영하도록 유도할 수 있다. 다른 예로, 기준점 안에 포함된 코어점의 비율이 70% 미만이라면 사용자 인터페이스를 통해 코어점이 포인트에 좀더 들어올 수 있도록 움직임을 유도할 수도 있다. 이 경우 상술한 바와 같이 사용자 인터페이스의 출력값을 변경하는 것으로 움직임을 유도하게 된다.In
한편, 기준값을 만족하는 상태에서 손가락의 영상을 촬영하면, 스마트 단말기는 영상에 포함된 손가락에서 지문의 특징점을 추출한다. 여기에서 추출되는 지문의 특징점은 사용자 개인의 생체적 특징이 반영된 것으로 종래의 다른 지문인증 시스템과 마찬가지로 지문의 특징점을 추출할 수 있다. 예컨대, 지문의 곡률, 분기점, 융기되는 형태 등을 파악하여 특징점을 추출할 수 있다.Meanwhile, when an image of a finger is captured while the reference value is satisfied, the smart terminal extracts feature points of the fingerprint from the finger included in the image. The feature points of the fingerprint extracted here reflect the personal biometric features of the user, and the feature points of the fingerprint can be extracted as in other conventional fingerprint authentication systems. For example, a feature point may be extracted by grasping the curvature, branching point, and protruding shape of the fingerprint.
한편, 상술한 바와 같이 지문의 특징점을 추출하는 단계에 앞서 스마트 단말기는 비접촉 지문 인증이 보다 수월하게 진행될 수 있도록 손가락 영상의 방향을 보정하는 단계를 수행한다. 예컨대, 바이오정보를 등록할 당시에 촬영한 손가락의 방향이 인증시에 촬영한 손가락의 방향과 서로 다를 수 있기 때문에 이를 보정하여 지문의 특징값의 매칭에 오류가 발생하지 않도록 영상을 보정할 수 있다. 스마트 단말기는 이하의 단계들에 따라 촬영된 이미지의 손가락 방향을 보정하는 것이 가능하다.Meanwhile, as described above, prior to the step of extracting the feature points of the fingerprint, the smart terminal performs the step of correcting the direction of the finger image so that non-contact fingerprint authentication can be performed more easily. For example, since the direction of the finger photographed at the time of registering the bio-information may be different from the direction of the finger photographed at the time of authentication, the image can be corrected so that an error does not occur in matching feature values of the fingerprint. The smart terminal can correct the finger direction of the captured image according to the following steps.
먼저 촬영된 이미지에 포함된 손가락의 윤곽선을 추출하는 단계를 수행한다. 일 실시예로, 스마트 단말기는 손가락이 촬영된 이미지에서 윤곽선을 추출하여 손가락과 배경을 구별하는 것이 가능하다. 즉, 이미지에서 손가락 가장자리의 선을 인지하여 배경과 구별할 수 있다. 그리고 손가락의 적어도 하나의 마디선을 탐색하는 단계를 수행한다. 예컨대, 손가락의 윤곽선을 추출하면 윤곽선 내부에 즉 손가락 안쪽 면에는 촬영된 방법에 따라 적게는 하나에서 많게는 3개의 마디선이 존재하는데 스마트 단말기는 윤곽선을 추출하는 방식과 마찬가지로 이러한 마디선을 더 추출하는 것이 가능하다. First, a step of extracting an outline of a finger included in the captured image is performed. In one embodiment, the smart terminal can distinguish between a finger and a background by extracting an outline from an image in which the finger is photographed. That is, by recognizing the line at the edge of the finger in the image, it can be distinguished from the background. Then, a step of searching for at least one node line of the finger is performed. For example, when the outline of the finger is extracted, there are as few as one to as many as three node lines within the outline, that is, on the inner surface of the finger, depending on the photographed method, but the smart terminal further extracts these node lines as in the method of extracting the outline. It is possible.
한편, 스마트 단말기는 앞서 추출한 윤곽선과 상기 적어도 하나의 마디선을 이용하여 바이오정보에 포함된 손가락의 이미지에 상기 이미지를 매칭시키는 단계를 수행한다. 일 실시예로, 스마트 단말기는 손가락의 윤곽선과 마디선을 이용하여 기 등록된 바이오정보에 포함되어 있는 손가락 이미지의 손가락 각도와 인증을 위해 촬영된 이미지의 손가락 각도를 각각 계산할 수 있다. 그리고 각도의 차이값 만큼 인증을 위해 촬영된 이미지의 방향을 회전시켜서 두 손가락 이미지를 매칭시키는 것이 가능하다. 스마트 단말기는 두 개의 손가락 이미지를 매칭시키는데 있어서도 소정의 매칭 기준을 활용하여 서로 완벽하게 매칭시키기 보다는 어느 정도 유사한 정도로 이미지를 매칭시킬 수 있다.Meanwhile, the smart terminal performs a step of matching the image with the image of the finger included in the bio-information using the previously extracted outline and the at least one node line. In an embodiment, the smart terminal may calculate a finger angle of a finger image included in pre-registered bio-information and a finger angle of an image photographed for authentication, respectively, using the outline and the node line of the finger. In addition, it is possible to match two finger images by rotating the direction of the captured image for authentication by the difference value of the angle. In matching two finger images, the smart terminal may match images to a certain degree rather than perfectly matching each other using a predetermined matching criterion.
140 단계에서 스마트 단말기는 어플리케이션을 통해 미리 등록된 사용자의 바이오정보와 추출된 특징점을 비교하여 인증을 수행한다. 스마트 단말기에 설치된 어플리케이션은 손가락 영상을 촬영하여 지문의 특징점을 획득하는 것과 마찬가지로 사전에 미리 사용자의 손가락에 대한 영상으로부터 바이오정보를 획득하는 것이 가능하다. 물론 별도로 입력되는 바이오정보에 대한 데이터를 통해 등록하는 것도 얼마든지 가능하다. 다만, 사용자의 편의성을 위해 지문을 인증하는 과정과 동일한 단계에 따라 지문을 등록하는 것이 바람직하다.In
한편, 스마트 단말기는 미리 등록된 사용자의 바이오정보와 추출된 지문의 특징점을 비교한다. 앞서 두 영상을 보다 정확하게 비교할 수 있도록 손가락 영상의 방향을 보정한 상태이기 때문에 스마트 단말기는 바이오정보에 포함되어 있는 지문의 특징정보와 촬영된 영상에서 추출된 지문의 특징점을 비교하는 것이 가능하다. 이러한 사용자는 비접촉 방식으로 지문을 인증하는 것이 가능하다. 따라서, 종래의 광학식 지문인증 방식보다 사용자의 편의성이 증대되는 장점이 있으며, 손가락을 촬영할 때 유저 인터페이스를 통해 매끄럽게 지문인증을 수행할 수 있도록 이미지 촬영을 유도하는 효과를 제공한다.Meanwhile, the smart terminal compares the bio-information of the user registered in advance with the feature points of the extracted fingerprint. Since the orientation of the finger image has been corrected so that the two images can be compared more accurately, the smart terminal can compare the feature information of the fingerprint included in the bio-information with the feature point of the fingerprint extracted from the captured image. Such users can authenticate their fingerprints in a non-contact manner. Accordingly, there is an advantage of increasing user convenience than the conventional optical fingerprint authentication method, and it provides an effect of inducing image capture so that fingerprint authentication can be performed smoothly through a user interface when photographing a finger.
도 2는 스마트 단말기의 전면 카메라로 손가락의 지문을 촬영하는 것을 나타낸 도면이다. 그리고 도 3은 스마트 단말기의 후면 카메라로 손가락의 지문을 촬영하는 것을 나타낸 도면이다. 스마트 단말기는 기종마다 서로 다른 위치에 카메라를 구비할 수 있다. 먼저 도 2를 참조하면 사용자는 스마트 단말기의 전면에 구비된 카메라를 이용하는 경우에 엄지손가락의 지문을 인증에 이용할 수 있다. 일 실시예로, 한 손으로 스마트 단말기의 몸체를 지지한 상태로 엄지손가락을 스마트 단말기의 전면부에서 소폭 떨어트린 상태로 엄지손가락의 지문 영상을 촬영할 수 있다.2 is a diagram illustrating photographing a fingerprint of a finger with a front camera of a smart terminal. And FIG. 3 is a diagram illustrating photographing a fingerprint of a finger with a rear camera of a smart terminal. Smart terminals may have cameras at different locations for each model. First, referring to FIG. 2, when a user uses a camera provided on the front of a smart terminal, a fingerprint of a thumb can be used for authentication. In one embodiment, a fingerprint image of the thumb may be taken while the thumb is slightly removed from the front of the smart terminal while supporting the body of the smart terminal with one hand.
한편, 지문인식의 성공률를 최대치로 증가시키기 위해서는 양 손을 모두 이용하여 손가락을 지문을 촬영하는 것이 바람직하다. 예컨대, 왼손으로 단말기의 몸체를 지지하고 오른손의 지문과 손가락 안쪽의 마디선이 정확히 촬영되도록 자세를 취하는 것이 기 저장된 정보와의 일치율을 높이는 방법일 수 있다. 다만 사용자의 편의성을 위해서 한 손으로도 얼마든지 비접촉 지문인증을 수행하는 것이 가능하다.On the other hand, in order to increase the success rate of fingerprint recognition to the maximum value, it is desirable to take a fingerprint with both hands using both hands. For example, supporting the body of the terminal with the left hand and taking a posture so that the fingerprint of the right hand and the joint line inside the finger are accurately photographed may be a method of increasing the match rate with the previously stored information. However, for the convenience of the user, it is possible to perform non-contact fingerprint authentication with one hand.
한편, 도 3을 참조하면 단말기의 후면에 구비된 카메라를 이용하는 경우에는 검지손가락의 지문을 인증에 이용할 수 있다. 일 실시예로, 검지손가락을 제외한 나머지 손가락으로 스마트 단말기의 몸체를 지지하고 스마트 단말기의 후면에 검지손가락을 소폭 떨어트린 상태로 지문의 영상을 촬영할 수 있다. 도 2 및 도 3의 실시예의 경우 스마트 단말기의 카메라로 촬영을 하기 위해 화면의 버튼 영역을 탭할 필요 없이 기준점에 일정 이상 지문이 포함되면서 초점 또한 기준치를 만족하는 경우에 자동으로 카메라가 지문 영상을 촬영할 수 있도록 동작할 수 있다. 이 경우 사용자가 지문이 촬영되었음을 인지할 수 있도록 소리를 출력하거나 인터페이스에 촬영이 수행되었음을 알리는 출력값을 표시할 수도 있다.Meanwhile, referring to FIG. 3, when a camera provided at the rear of the terminal is used, the fingerprint of the index finger can be used for authentication. In one embodiment, the body of the smart terminal is supported by fingers other than the index finger, and an image of a fingerprint may be taken with the index finger slightly dropped from the rear of the smart terminal. In the case of the embodiments of FIGS. 2 and 3, when a fingerprint is included in a reference point for a certain amount or more without having to tap the button area of the screen to take a picture with the camera of the smart terminal, and the focus is also satisfied, the camera automatically takes a fingerprint image. Can operate to be able to. In this case, a sound may be output so that the user can recognize that the fingerprint has been photographed, or an output value indicating that photographing has been performed may be displayed on the interface.
도 4는 스마트 단말기의 화면에 표시되는 인터페이스를 나타낸 도면이다. 도 4를 참조하면 스마트 단말기의 카메라가 구동된 화면의 일측에 출력값을 나타내는 인터페이스 영역이 형성될 수 있다. 인터페이스 영역은 출력값의 형태에 따라 크기나 모양이 다소 변경될 수 있다. 인터페이스는 어플리케이션의 디폴트 설정에 따라 화면의 특정 영역에 형성되는데 사용자의 설정에 따라 인터페이스가 표시되는 영역이 변경될 수 있다. 예컨대, 도면에 표시된 바와 같이 화면의 우측 상단 영역에 인터페이스가 표시될 수 있다. 그리고 설정에 따라 좌측 상단, 좌측 하단 및 우측 하단으로 위치가 변경될 수 있다.4 is a diagram showing an interface displayed on a screen of a smart terminal. Referring to FIG. 4, an interface area indicating an output value may be formed on one side of a screen on which a camera of a smart terminal is driven. The size or shape of the interface area may change slightly depending on the shape of the output value. The interface is formed in a specific area of the screen according to the default setting of the application, and the area in which the interface is displayed may be changed according to the user's setting. For example, as shown in the drawing, an interface may be displayed in the upper right area of the screen. And, depending on the setting, the location may be changed to the upper left, lower left, and lower right.
한편, 사용자 인터페이스의 출력값은 어플리케이션에 설정된 주기에 따라 출력될 수 있다. 여기에서 설정되는 주기는 사용자가 손가락을 이동시키는 것을 실시간에 가깝게 반영하기 위해서 다소 짧게 설정하는 것이 바람직하다. 또는 출력값을 연속으로 유지하되 상기 주기에 따라 점멸하거나 하이라이팅 되도록 동작하여 사용자가 손가락 위치를 적정 위치로 이동하게 쉽게 보조할 수 있다.Meanwhile, the output value of the user interface may be output according to a cycle set in the application. The period set here is preferably set to be somewhat short in order to reflect the movement of the user's finger in real time. Alternatively, the output value is continuously maintained, but the user can easily assist the user to move the finger position to an appropriate position by blinking or highlighting according to the period.
개시된 기술의 일 실시예에 따른 스마트 단말기를 이용한 비접촉 지문인증 방법은 이해를 돕기 위하여 도면에 도시된 실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 개시된 기술의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.The non-contact fingerprint authentication method using a smart terminal according to an embodiment of the disclosed technology has been described with reference to the embodiment shown in the drawings for better understanding, but this is only exemplary, and those with ordinary knowledge in the art may It will be appreciated that various modifications and equivalent other embodiments are possible. Therefore, the true technical protection scope of the disclosed technology should be determined by the appended claims.
110 : 카메라 구동 120 : 손가락 위치 조정
130 : 지문 특징점 추출 140 : 특징점 비교110: camera drive 120: finger position adjustment
130: fingerprint feature point extraction 140: feature point comparison
Claims (7)
상기 단말기가 비접촉 지문인증을 위한 어플리케이션을 실행하여 카메라를 구동하는 단계;
상기 단말기가 상기 어플리케이션이 실행된 화면의 일측에 사용자 인터페이스를 표시하고 상기 카메라를 통해 전송되는 손가락에 대한 이미지를 토대로 상기 인터페이스의 출력값을 변경하여 상기 손가락의 위치를 조정하는 단계;
상기 단말기가 미리 설정된 기준값을 만족하는 위치에서 상기 손가락을 촬영하고, 촬영된 손가락 영상에서 지문에 대한 특징점을 추출하는 단계; 및
상기 단말기가 상기 어플리케이션을 통해 미리 등록된 사용자의 바이오정보와 상기 추출된 특징점을 비교하여 인증을 수행하는 단계;를 포함하되,
상기 지문에 대한 특징점을 추출하는 단계는, 상기 단말기가 상기 특징점을 추출하기 이전에 상기 손가락 영상에 포함된 손가락의 방향을 보정하는 단계를 포함하고,
상기 손가락의 방향을 보정하는 단계는,
상기 손가락 영상에 포함된 손가락의 윤곽선을 추출하는 단계;
상기 손가락 영상에서 적어도 하나의 손가락 마디선을 탐색하는 단계; 및
상기 윤곽선 및 상기 적어도 하나의 마디선을 토대로 상기 바이오정보에 포함된 손가락의 이미지에 상기 손가락 영상을 매칭시키되 상기 손가락 영상에 포함되어 있는 손가락의 각도를 계산하고 상기 바이오정보에 포함되어 있는 손가락의 각도와 상기 계산된 각도의 차이값 만큼 상기 손가락 영상을 회전하는 단계를 포함하는 비접촉 지문인증 방법.In the method of performing non-contact fingerprint authentication using a terminal equipped with a camera,
Driving the camera by the terminal executing an application for non-contact fingerprint authentication;
Adjusting, by the terminal, a user interface on one side of a screen on which the application is executed, and changing an output value of the interface based on an image of the finger transmitted through the camera to adjust the position of the finger;
Photographing the finger at a location that satisfies a preset reference value by the terminal, and extracting feature points for the fingerprint from the photographed finger image; And
Comprising, by the terminal, performing authentication by comparing the bio-information of the user registered in advance through the application with the extracted feature points;
The step of extracting the feature points for the fingerprint includes the step of correcting the orientation of the finger included in the finger image before the terminal extracts the feature points,
Correcting the direction of the finger,
Extracting an outline of a finger included in the finger image;
Searching for at least one finger joint line in the finger image; And
The finger image is matched with the image of the finger included in the bio-information based on the outline and the at least one node line, and the angle of the finger included in the finger image is calculated, and the angle of the finger included in the bio-information And rotating the finger image by a difference value between the calculated angle and the non-contact fingerprint authentication method.
상기 단말기는 상기 손가락의 지문의 코어점이 상기 화면 중앙에 위치하도록 상기 화면 중앙에 기준점을 출력하는 비접촉 지문인증 방법.The method of claim 1,
The terminal outputs a reference point at the center of the screen so that the core point of the fingerprint of the finger is located at the center of the screen.
상기 단말기는 상기 손가락의 초점이 상기 기준값에 부합하는 것으로 판단하면 상기 사용자 인터페이스를 녹색으로 출력하고, 상기 손가락의 초점이 상기 기준값에 부합하지 않는 것으로 판단하면 상기 사용자 인터페이스를 적색으로 출력하는 비접촉 지문인증 방법.The method of claim 1,
When the terminal determines that the focus of the finger matches the reference value, the user interface is output in green, and when the focus of the finger does not meet the reference value, the user interface is output in red. Way.
상기 단말기는 상기 손가락의 초점이 상기 기준값에 부합하지 않으면 상기 손가락의 위치를 조절하기 위한 소정의 메시지를 상기 인터페이스로 출력하는 비접촉 지문인증 방법.The method of claim 1,
When the focus of the finger does not meet the reference value, the terminal outputs a message for adjusting the position of the finger to the interface.
상기 단말기는 상기 사용자 인터페이스의 출력값으로 텍스트, 색상 및 그림 중 적어도 하나를 포함하는 비접촉 지문인증 방법.The method of claim 1,
The terminal is a non-contact fingerprint authentication method including at least one of text, color, and picture as an output value of the user interface.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180112173A KR102151474B1 (en) | 2018-09-19 | 2018-09-19 | Non contract fingerprint recognition method using smart terminal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180112173A KR102151474B1 (en) | 2018-09-19 | 2018-09-19 | Non contract fingerprint recognition method using smart terminal |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200032923A KR20200032923A (en) | 2020-03-27 |
KR102151474B1 true KR102151474B1 (en) | 2020-09-03 |
Family
ID=69959225
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180112173A KR102151474B1 (en) | 2018-09-19 | 2018-09-19 | Non contract fingerprint recognition method using smart terminal |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102151474B1 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102479912B1 (en) * | 2021-03-08 | 2022-12-21 | 계명대학교 산학협력단 | System and method for registration and authentication management service for sports events using non-contact fingerprint or palm print recognition |
KR102549553B1 (en) * | 2021-04-01 | 2023-06-30 | 계명대학교 산학협력단 | Franchise membership management service system and method using contactless biometric authentication |
WO2023101202A1 (en) * | 2021-12-02 | 2023-06-08 | (주)위닝아이 | User-friendly non-contact type fingerprint authentication method |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3058176B2 (en) * | 1989-12-08 | 2000-07-04 | 富士通株式会社 | Fingerprint image input device |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100630688B1 (en) * | 2004-07-07 | 2006-10-02 | 삼성전자주식회사 | Mobile phone with digital camera having security function using fingerprint information and registration and authentication control method of the fingerprint by the mobile phone |
-
2018
- 2018-09-19 KR KR1020180112173A patent/KR102151474B1/en active IP Right Review Request
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3058176B2 (en) * | 1989-12-08 | 2000-07-04 | 富士通株式会社 | Fingerprint image input device |
Also Published As
Publication number | Publication date |
---|---|
KR20200032923A (en) | 2020-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9922238B2 (en) | Apparatuses, systems, and methods for confirming identity | |
JP4650386B2 (en) | Personal authentication system and personal authentication method | |
JP7452571B2 (en) | Biometric authentication device, biometric authentication method and biometric authentication program | |
JP4899551B2 (en) | Authentication device, authentication method, authentication program, and computer-readable recording medium | |
US20170070680A1 (en) | Display control method, terminal device, and storage medium | |
KR102151474B1 (en) | Non contract fingerprint recognition method using smart terminal | |
US11006864B2 (en) | Face detection device, face detection system, and face detection method | |
US7760916B2 (en) | Registration apparatus, collation apparatus, image correction method and program | |
US10586031B2 (en) | Biometric authentication of a user | |
JP2007257221A (en) | Face recognition system | |
JP7269711B2 (en) | Biometric authentication system, biometric authentication method and program | |
JP2015138449A (en) | Personal authentication device, personal authentication method and program | |
EP3200126B1 (en) | Biometric information process device, biometric information process method and biometric information process program | |
JP5254897B2 (en) | Hand image recognition device | |
JP2009015518A (en) | Eye image photographing device and authentication device | |
JP4320775B2 (en) | Face recognition device | |
US10997446B2 (en) | Enrollment scheme for an electronic device | |
WO2022244357A1 (en) | Body part authentication system and authentication method | |
JP2009205203A (en) | Iris authentication device | |
US11188749B2 (en) | Method for biometric recognition from irises | |
JP5791557B2 (en) | Contact operation support system, contact operation support device, and contact operation method | |
KR20160045371A (en) | Certification method using biometric information | |
KR20200053792A (en) | Payment method and system using bio credit card | |
KR20230083770A (en) | Non contacttype palm print recognition method using mobile device installed camera | |
KR20150005368A (en) | Camera module and control method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
J204 | Request for invalidation trial [patent] | ||
J121 | Written withdrawal of request for trial | ||
J204 | Request for invalidation trial [patent] | ||
J301 | Trial decision |
Free format text: TRIAL NUMBER: 2021100001749; TRIAL DECISION FOR INVALIDATION REQUESTED 20210609 Effective date: 20220822 |