KR20200109963A - Identity verification system using smart phone - Google Patents
Identity verification system using smart phone Download PDFInfo
- Publication number
- KR20200109963A KR20200109963A KR1020190029871A KR20190029871A KR20200109963A KR 20200109963 A KR20200109963 A KR 20200109963A KR 1020190029871 A KR1020190029871 A KR 1020190029871A KR 20190029871 A KR20190029871 A KR 20190029871A KR 20200109963 A KR20200109963 A KR 20200109963A
- Authority
- KR
- South Korea
- Prior art keywords
- fingerprint
- smartphone
- finger
- ridge
- police
- Prior art date
Links
Images
Classifications
-
- G06K9/00087—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1365—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G06K9/00067—
-
- G06K9/00268—
-
- G06K9/00288—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1347—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
-
- H04M1/72519—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Collating Specific Patterns (AREA)
Abstract
Description
본 발명은 경찰 스마트폰에 내장된 카메라로부터 피검자의 지문이미지 및 얼굴의 영상을 획득하여, 경찰 스마트폰에서 피검자의 지문 및 얼굴 특징점을 검출하고, 매칭서버는 경찰 스마트폰으로부터 수신된 지문 및 얼굴 특징점을, 데이터베이스부에 기 등록된 비교대상의 지문 및 얼굴 특징점과 비교하여, 피검자의 신원을 확인하는, 스마트폰을 이용한 신원확인 시스템에 관한 것이다.The present invention acquires a fingerprint image and an image of a subject's face from a camera built in a police smartphone, detects the subject's fingerprint and facial feature points in the police smartphone, and the matching server detects the fingerprint and facial feature points received from the police smartphone. And, compared with the fingerprint and facial feature points of the comparison target previously registered in the database unit, to verify the identity of the subject, to an identity verification system using a smartphone.
일선 현장에서 근무 중인 경찰관이 주취자, 치매노인, 그리고, 미아, 변사자, 불법체류 외국인, 수배자, 범죄자 등으로 의심되는 사람을 발견하였을 경우, 현재로는 이들을 경찰서까지 동행한 후, 경찰서에 있는 컴퓨터를 통해 신원확인과정을 거치게 된다.If a police officer working at the front line finds a drunkard, an elderly person with dementia, and a person suspected of being a lost child, a criminal, illegal alien, wanted person, criminal, etc., at present, they will accompany them to the police station and then use the computer at the police station. Through the process, the identification process is performed.
경우에 따라서는 상관없는 사람까지 경찰서까지 가도록 하여 신원확인을 해야하는 불편함이 있다. In some cases, it is inconvenient to have people who do not care to go to the police station to verify their identity.
현재 지문분야에서 지속적으로 이슈화 되고 있는 문제는 지문인식의 성능저하 및 너무 낮은 이미지품질이며, 너무 낮은 이미지품질로 방향정보가 없는 경우 영상개선의 문제가 발생한다. 지문문형은 여러 가지지만 모든 지문은 일정한 패턴을 가지고 있기 때문에 이미지의 패턴을 분석하여 방향정보 개선을 통해 이미지 품질을 향상가능하다.Problems that continue to be an issue in the field of fingerprints are the deterioration of fingerprint recognition and too low image quality, and image improvement problems occur when there is no direction information due to too low image quality. Although there are several types of fingerprints, all fingerprints have a certain pattern, so it is possible to improve the image quality by analyzing the pattern of the image and improving direction information.
따라서, 경찰관 자신이 휴대하고 있는 스마트폰 또는 모바일 기기(노트북, PDF 등)를 활용하여 대상자의 지문을 취득하여 현장에서 즉시 신원을 확인할 수 있되, 지문이미지 품질을 향상한 신원확인 시스템이 요망된다.Therefore, by using a smartphone or mobile device (laptop, PDF, etc.) carried by the police officer himself, it is possible to obtain a fingerprint of the subject and immediately verify the identity at the site, but an identification system with improved fingerprint image quality is desired.
또한, 경찰관의 스마트폰(이하 경찰 스마트폰이라 함)을 이용하여 피검자의 신원을 확인하기 위해서는 지문인식기술과 얼굴인식기술을 채용가능하다.In addition, fingerprint recognition technology and face recognition technology can be employed to verify the identity of the subject using a police officer's smartphone (hereinafter referred to as a police smartphone).
지문인식기술은, 전용센서를 이용하여 지문의 디지털 영상을 획득하여 사용자를 인식하는 기술로, 광학식 지문인식, 정전 용량식 지문인식, 초음파식 지문인식 등이 있다. Fingerprint recognition technology is a technology that recognizes a user by acquiring a digital image of a fingerprint using a dedicated sensor, and includes optical fingerprint recognition, capacitive fingerprint recognition, and ultrasonic fingerprint recognition.
전국민 DB의 경우, 10 손가락에 대해 모두 지문이 저장되어 있으므로, 대략 5억건의 지문을 매칭해야 하는 상황이므로, 초당 10만건을 매칭한다해도 대량 80~100분의 시간이 소요되기 때문에 속도가 중요한 요소이다.In the case of the national DB, since fingerprints are stored for all 10 fingers, approximately 500 million fingerprints must be matched, so even if 100,000 matches per second, it takes a large amount of 80-100 minutes, so speed is important. Element.
얼굴인식 기술은 얼굴 전체보다는 코와 입, 눈썹, 턱 등 얼굴 골격이 변하는 각 부위 50여 곳을 분석하여 인식하는 기술이다. 얼굴영상은 조명 및 환경과 영상의 각도에 민감하며, 변장, 세월이 흐르면서 생기는 얼굴 변화, 성형수술, 쌍둥이의 유사한 얼굴 특징 등을 구분하는데 단점이 있다.Face recognition technology is a technology that analyzes and recognizes about 50 areas where the facial skeleton changes, such as nose, mouth, eyebrows, and chin, rather than the entire face. Facial images are sensitive to lighting, environment, and angle of images, and have disadvantages in distinguishing disguises, facial changes that occur over time, plastic surgery, and similar facial features of twins.
본 발명은 경찰관 자신이 휴대하고 있는 스마트폰 또는 모바일 기기(노트북, PDF 등)를 활용하여 대상자의 지문 및 얼굴의 영상을 취득하여 현장에서, 보다 빠르고 정확하게, 신원을 확인할 수 있는 신원확인 시스템이 요망된다.The present invention requires an identification system that can verify the identity of the subject more quickly and accurately in the field by acquiring an image of the subject's fingerprint and face using a smartphone or mobile device (laptop, PDF, etc.) carried by the police officer himself. do.
선행기술로, 국내 등록실용신안공보 제20-0283571호는 신분증 또는 신분증 소지자의 생체지문을 스캔하여 행정전산망에 등록되어 있는 정보와 비교함으로써 본인임을 확인하는 휴대용 신원확인장치에 관한 것이다. 이 경우, 지문으로만 인식하기 때문에 지문이 지워 진 경우, 확인이 불가능하다.As a prior art, Korean Utility Model Publication No. 20-0283571 relates to a portable identification device that verifies the identity of the person by scanning the biometric fingerprint of the ID card or ID card holder and comparing it with information registered in the administrative computer network. In this case, since it is recognized only as a fingerprint, it is impossible to check if the fingerprint is erased.
다른 선행기술로, 국내 공개특허공보 제2003-0086527호는, 신원조회자의 주민등록번호에 해당하는 지문과 신원조회자가 입력한 지문을 비교하여 상기 신원조회자가 당사자인지를 확인할 수 있는 경찰용무전기에 관한 것으로, 이 경우도, 지문으로만 인식하기 때문에 지문이 지워 진 경우, 확인이 불가능하다.As another prior art, Korean Unexamined Patent Publication No. 2003-0086527 relates to a police radio that can verify whether the identity checker is a party by comparing the fingerprint corresponding to the identity checker's resident registration number with the fingerprint input by the identity checker. , Even in this case, since the fingerprint is recognized only as a fingerprint, it is impossible to check if the fingerprint is erased.
다른 선행기술로, 국내 공개특허공보 제2002-0011577호는, 인터넷상의 이용자의 신원을, 지문 및 얼굴사진등의 데이터를 검증 데이터베이스에 사전에 저장하고, 그 후 입력된 이용자의 지문 및 얼굴사진 등의 데이터를 비교 확인하도록 이루어진 인터넷상의 이용자 신원확인 시스템에 관한 것으로, 일반적으로 이용자의 지문 및 얼굴사진을 비교분석하는데 시간이 많이 소요된다.As another prior art, Korean Laid-Open Patent Publication No. 2002-0011577 stores the identity of users on the Internet, data such as fingerprints and facial photos in a verification database in advance, and then inputs fingerprints and facial photos of users, etc. It relates to a user identification system on the Internet, which is configured to compare and check the data of a user. In general, it takes a lot of time to compare and analyze a user's fingerprint and facial photos.
본 발명이 해결하고자 하는 과제는, 경찰 스마트폰에 내장된 카메라로부터 피검자의 지문이미지 및 얼굴의 영상을 획득하여, 경찰 스마트폰에서 피검자의 지문 및 얼굴 특징점을 검출하고, 매칭서버는 경찰 스마트폰으로부터 수신된 지문 및 얼굴 특징점을, 데이터베이스부에 기 등록된 비교대상의 지문 및 얼굴 특징점과 비교하여, 피검자의 신원을 확인하는, 스마트폰을 이용한 신원확인 시스템을 제공하는 것이다.The problem to be solved by the present invention is to obtain a fingerprint image and an image of a subject's face from a camera built into the police smartphone, detect the subject's fingerprint and facial feature points from the police smartphone, and the matching server is from the police smartphone. It is to provide an identity verification system using a smart phone that compares the received fingerprint and facial feature points with the fingerprint and facial feature points to be compared previously registered in the database unit to confirm the identity of the subject.
본 발명이 해결하고자 하는 다른 과제는, 경찰관 자신이 휴대하고 있는 스마트폰 또는 모바일 기기(노트북, PDF 등)에 인증 등의 특정 등록과정을 거쳐 소정 어플리케이션을 설치하고, 피검자의 지문 및 얼굴의 영상을 취득하여 현장에서, 보다 빠르고 정확하게, 신원을 확인할 수 있는, 스마트폰을 이용한 신원확인 시스템을 제공하는 것이다.Another problem to be solved by the present invention is to install a predetermined application on a smartphone or mobile device (laptop, PDF, etc.) carried by the police officer through a specific registration process such as authentication, and to display the subject's fingerprint and face image. It is to provide an identity verification system using a smartphone that can be acquired and verified more quickly and accurately in the field.
상기 과제를 해결하기 위해, 본 발명의 스마트폰을 이용한 신원확인 시스템은, 카메라를 구비하여 피검자의 지문을 촬영하거나, 카메라를 구비한 지문 취득 보조장치로부터 피검자의 지문을 촬영하여 지문 이미지를 획득하고 획득된 지문이미지로부터 지문의 융선의 단(斷)점과 분기점을 포함하는 지문 특징점을 검출하는, 경찰 스마트폰; 경찰 스마트폰으로부터 피검자의 지문 이미지 및 지문 특징점를 수신하여 매칭서버로 전달하는, 게이트웨이 서버; 게이트웨이서버로부터 피검자의 지문 이미지 및 지문 특징점을 수신하고, 피검자의 지문 특징점과, 데이터베이스부에 기저장된 다수의 비교대상의 지문 특징점들과 매칭하여, 신원확인을 행하는, 매칭서버; 를 포함하는 것을 특징으로 한다.In order to solve the above problem, the identification system using a smartphone of the present invention is equipped with a camera to take a fingerprint of the subject, or by taking a fingerprint of the subject from a fingerprint acquisition auxiliary device equipped with a camera to obtain a fingerprint image, A police smartphone for detecting a fingerprint feature point including an end point and a branch point of the ridge of the fingerprint from the acquired fingerprint image; A gateway server for receiving a fingerprint image and a fingerprint feature point of the subject from a police smartphone and transmitting it to a matching server; A matching server that receives a fingerprint image and a fingerprint feature point of the subject from the gateway server, matches the fingerprint feature point of the subject and a plurality of fingerprint feature points to be compared previously stored in the database unit, and performs identification; It characterized in that it comprises a.
매칭서버는 피검자의 지문 이미지로부터 융선 방향정보를 검출하고, 전, 후, 좌, 우 중의 어느 하나의 연이은 융선 방향과 2개 이상 동일한 것이 없을 때 융선 방향정보가 잘못된 것으로 판단하며, 잘못된 융선방향 정보를 가진 융선의 전, 후, 좌, 우 중의 어느 하나의 연이은 전의 융선의 방향으로 보정함에 따라, 특징점을 보정하며, 보정된 피검자의 지문 특징점과, 데이터베이스부에 기저장된 다수의 비교대상의 지문 특징점들과 매칭하여, 신원확인을 행할 수 있다.The matching server detects the ridge direction information from the subject's fingerprint image, and determines that the ridge direction information is incorrect when there is no same two or more consecutive ridge directions among the front, rear, left and right, and incorrect ridge direction information The feature points are corrected by correcting in the direction of any one of the successive ridges before, after, left, and right of the ridge with and, the corrected fingerprint feature points of the subject, and the fingerprint feature points of a plurality of comparison targets previously stored in the database. By matching them, identification can be performed.
또는, 경찰 스마트폰은, 경찰 스마트폰의 카메라로 피검자의 얼굴을 촬영하여 피검자의 얼굴 이미지를 획득하고 획득된 얼굴 이미지로부터 코, 입, 눈썹, 턱을 포함하는 얼굴 골격이 변하는 각 부위의 위치를 포함하는 얼굴 특징점을 검출하며, 검출된 피검자의 얼굴 이미지와 얼굴 특징점을 게이트웨이 서버를 통해 매칭서버로 전달하며, 매칭서버는, 피검자의 얼굴 특징점과, 데이터베이스부에 기저장된 다수의 비교대상의 얼굴 특징점들과 매칭하여, 신원확인을 행할 수 있다.Alternatively, the police smartphone acquires an image of the subject's face by photographing the subject's face with the camera of the police smartphone, and from the acquired face image, the position of each part where the facial skeleton including the nose, mouth, eyebrows, and chin changes. The included facial feature points are detected, and the detected face image and facial feature points of the subject are transmitted to the matching server through the gateway server, and the matching server includes the subject's facial feature points and a plurality of comparison target facial features previously stored in the database. By matching them, identification can be performed.
매칭서버는, 피검자의 지문 이미지로부터 융선의 간격을 구하고 융선간격의 최대값과 최소값을 이용하여 융선 간격들을 정규화함에 의해, 융선 간격을 표준화하며, 표준화된 융선 간격을 가진 피검자의 지문 이미지로부터, 융선 방향정보를 검출하고, 전, 후, 좌, 우 중의 어느 하나의 연이은 융선 방향과 2개 이상 동일한 것이 없을 때 융선 방향정보가 잘못된 것으로 판단하며, 잘못된 융선방향 정보를 가진 융선의 전, 후, 좌, 우 중의 어느 하나의 연이은 전의 융선의 방향으로 보정함에 따라, 특징점을 보정하며, 보정된 피검자의 지문 특징점과, 데이터베이스부에 기저장된 다수의 비교대상의 지문 특징점들과 매칭하여, 신원확인을 행할 수 있다.The matching server standardizes the ridge spacing by obtaining the ridge spacing from the subject's fingerprint image and normalizing the ridge spacing using the maximum and minimum values of the ridge spacing, and from the fingerprint image of the subject with the standardized ridge spacing, the ridge The direction information is detected, and when there are no two or more consecutive ridge directions among the front, back, left and right, the ridge direction information is judged to be incorrect, and the front, back, and left of the ridge with the wrong ridge direction information By correcting in the direction of the previous ridge of any one of the right and left, the feature points are corrected, and the corrected fingerprint feature points of the subject are matched with the fingerprint feature points of the subject to be compared previously stored in the database to perform identification. I can.
또한, 본 발명의 스마트폰을 이용한 신원확인 시스템의 구동방법은, 경찰 스마트폰은 카메라로 촬영된 피검자의 지문이미지로부터 지문 특징점을 검출하여, 피검자의 지문이미지 및 지문 특징점을 게이트웨이서버를 통해 매칭서버로 전달하는, 경찰 스마트폰의 지문 이미지 분석단계; 매칭서버가 피검자의 지문 특징점과, 데이터베이스부에 기저장된 다수의 비교대상의 지문 특징점들과 매칭하여, 신원확인을 행하는, 매칭서버의 신원분석단계;를 포함하는 것을 특징으로 한다.In addition, the driving method of the identification system using the smartphone of the present invention, the police smartphone detects the fingerprint feature point from the fingerprint image of the subject photographed with a camera, and the fingerprint image and the fingerprint feature point of the subject are matched by a gateway server. Analyzing the fingerprint image of the police smartphone to be transferred to; And an identity analysis step of the matching server, in which the matching server matches the fingerprint feature points of the subject and the fingerprint feature points of the subject to be compared previously stored in the database unit, and performs identification.
경찰 스마트폰의 지문 이미지 분석단계는, 경찰 스마트폰의 카메라, 또는 경찰 스마트폰과 연동된 지문 취득 보조장치로부터 촬상된 손가락 지문영상을, 경찰 스마트폰의 연산처리부가 수신하는, 손가락 지문영상 수신단계; 경찰 스마트폰은, 손가락 지문영상 수신단계에서 촬영된 손가락 지문영상이, 손가락의 지문인지 아닌지를, 기 저장된 손가락의 색과 비교하여, 손가락 지문인지 아닌지를 판단하고, 손가락 지문이 아니라고 판단되면, 문자 또는 음성으로, 손가락 지문이 아님을 알리고, 손가락 지문영상 수신단계로 되돌아가는, 손가락 색 비교단계; 손가락 색 비교단계후, 경찰 스마트폰의 연산처리부는, 손가락 지문영상에서 손가락의 윤곽선을 추출하여 해당 손가락 윤곽선이, 손가락 촬영 가이드라인보다 작은지, 그리고 손가락 촬영 가이드라인과 한계점 내에 있는지를 판단하고, 한계점을 벗어나거나, 손가락 촬영 가이드라인보다 작은 경우에, 손가락 촬영 가이드라인에서 벗어났음을 문자 또는 음성으로 알리고, 손가락 지문영상 수신단계로 되돌아가는, 지문 이미지 입력 여부판단단계; 경찰 스마트폰의 연산처리부는, 지문 이미지 입력 여부판단단계에서, 해당 손가락 윤곽선이 손가락 촬영 가이드라인보다 크거나 같되, 손가락 촬영 가이드라인과 한계점 내에 있으면, 지문 가이드라인을 중심으로 지문 이미지를 100px×100px의 이미지로 추출하여 해당 지문 이미지에서 가로 방향 융선과 세로 방향 융선을 검출하고, 가로 방향 융선과 세로 방향 융선이 각각 일정부분 반복하여 패턴을 형성하는지를 판단하여, 패턴을 형성하지 않는다고 판단되면 문자 또는 음성으로, 손가락 지문 이미지가 아님을 알리고, 손가락 지문영상 수신단계로 되돌가는, 융선 체크단계;를 포함한다.The fingerprint image analysis step of the police smartphone is a finger fingerprint image receiving step in which the operation processing unit of the police smartphone receives the finger fingerprint image captured from the camera of the police smartphone or the fingerprint acquisition auxiliary device linked to the police smartphone. ; The police smartphone determines whether the finger fingerprint image captured in the finger fingerprint image reception step is a finger fingerprint or not, and compares it with the color of a previously stored finger, and determines whether it is a finger fingerprint, and if it is not Or a finger color comparison step of notifying that it is not a finger print by voice and returning to the step of receiving a finger print image; After the finger color comparison step, the operation processing unit of the police smartphone extracts the outline of the finger from the fingerprint image of the finger and determines whether the outline of the finger is smaller than the finger photographing guideline and within the finger photographing guideline and the limit point, A step of determining whether to input a fingerprint image, informing that the deviation from the finger photographing guideline is notified by text or voice and returning to the step of receiving a fingerprint image of the finger when it is out of the threshold or is smaller than the finger photographing guideline; In the step of determining whether to input a fingerprint image, the operation processing unit of the police smartphone, if the outline of the finger is greater than or equal to the finger photographing guideline, but within the limit of the finger photographing guideline, the fingerprint image is 100px×100px around the fingerprint guideline. It is extracted as an image of and detects horizontal and vertical ridges from the fingerprint image, and determines whether the horizontal and vertical ridges form a pattern by repeating a certain portion of each, and if it is determined that the pattern is not formed, text or voice And, informing that it is not a finger fingerprint image, and returning to the finger fingerprint image receiving step, a ridge check step.
경찰 스마트폰의 지문 이미지 분석단계는, 융선 체크단계 후에, 경찰 스마트폰의 연산처리부는, 피검자의 지문이미지로부터 지문의 융선의 단(斷)점과 분기점을 포함하는 지문 특징점을 검출하는, 지문 특징 검출단계;를 더 포함한다.In the fingerprint image analysis step of the police smartphone, after the ridge check step, the operation processing unit of the police smartphone detects a fingerprint feature point including an end point and a branch point of the ridge of the fingerprint from the fingerprint image of the subject. It further includes a; detecting step.
지문 특징 검출단계는, 경찰 스마트폰의 연산처리부는 피검자 지문 이미지를 세선화하는, 전처리 단계; 경찰 스마트폰의 연산처리부는 전처리 단계에서 세선화된 지문영상에서 후보 지문 특징점을 검출하는, 후보 지문 특징점 검출단계; 경찰 스마트폰의 연산처리부는 후보 지문 특징점 검출단계에서 검출한 특징점에서 의사 특징점을 제거하는 후처리 단계;를 포함하여 이루어진다.The fingerprint feature detection step includes: a pre-processing step of thinning the fingerprint image of the subject; The operation processing unit of the police smartphone comprises: a candidate fingerprint feature point detection step of detecting a candidate fingerprint feature point from the fingerprint image thinned in the pre-processing step; The operation processing unit of the police smartphone includes a post-processing step of removing the pseudo feature point from the feature point detected in the candidate fingerprint feature point detection step.
매칭서버의 신원분석단계는, 매칭서버는, 피검자의 지문 특징점과, 데이터베이스부에 기저장된 비교대상의 지문 특징점의, 두 지문 이미지의 특징점이 최대로 많이 겹쳐지는 회전, 천이량을 산출하여 이미지의 정렬 기준점을 선정하고, 정렬 기준점에 맞추어지도록 특징점의 좌표를 변환한 후 대응되는 특징점 쌍을 결정하는, 정렬단계; 매칭서버는 정렬단계에서 결정된 대응 특징점 쌍의 좌표, 종류, 각도정보를 이용하여 유사도를 계산하는, 정합단계; 매칭서버는 대응 특징점 쌍의 유사도로부터, 피검자의 지문 특징점과, 데이터베이스에 기저장된 비교대상의 지문 특징점의 일치하는 정도를, 기 설정된 규칙데이터에 따라, 점수로서 출력하는 점수획득 단계;를 포함하여 이루어진다.In the step of analyzing the identity of the matching server, the matching server calculates the rotation and transition amount of the fingerprint feature points of the subject and the fingerprint feature points to be compared previously stored in the database. An alignment step of selecting an alignment reference point, converting coordinates of the feature points to match the alignment reference point, and determining a corresponding feature point pair; The matching server calculates a similarity by using coordinates, types, and angle information of the pair of corresponding feature points determined in the alignment step; The matching server includes a score acquisition step of outputting the matching degree of the fingerprint feature point of the subject and the fingerprint feature point to be compared previously stored in the database as a score, according to preset rule data, from the similarity of the corresponding feature point pair. .
매칭서버의 신원분석단계는, 정렬단계 전에, 매칭서버는, 경찰 스마트폰의 연산처리부로부터 수신된 피검자의 지문 이미지에 대해 융선의 간격을 구하고 융선간격의 최대값과 최소값을 이용하여 융선 간격들을 정규화함에 의해, 표준화하는, 융선간격 표준화단계; 융선간격 표준화단계 후, 매칭서버는 피검자의 지문 이미지로부터 융선 방향정보를 검출하고, 전, 후, 좌, 우 중의 어느 하나의 연이은 융선 방향과 2개 이상 동일한 것이 없을 때 융선 방향정보가 잘못된 것으로 판단하며, 잘못된 융선방향 정보를, 잘못된 융선방향 정보를 가진 융선의 전, 후, 좌, 우 중의 어느 하나의 연이은 전의 융선의 방향으로 보정함에 따라, 피검자의 지문 특징점을 보정하는, 보정단계;를 더 포함한다.In the identity analysis step of the matching server, before the alignment step, the matching server obtains the ridge spacing for the fingerprint image of the subject received from the operation processing unit of the police smartphone and normalizes the ridge spacing using the maximum and minimum values of the ridge spacing. By doing, standardizing, ridge spacing standardization step; After the ridge interval standardization step, the matching server detects the ridge direction information from the subject's fingerprint image, and determines that the ridge direction information is incorrect when there are no two or more consecutive ridge directions in any one of the front, back, left and right. And, by correcting the wrong ridge direction information in the direction of any one of the successive ridges before, after, left, and right of the ridge having the erroneous ridge direction information, correcting the fingerprint feature points of the subject; further Include.
본 발명의 스마트폰을 이용한 신원확인 시스템은, 경찰 스마트폰에 내장된 카메라로부터 피검자의 지문이미지 및 얼굴의 영상을 획득하여, 경찰 스마트폰에서 피검자의 지문 및 얼굴 특징점을 검출하고, 매칭서버는 경찰 스마트폰으로부터 수신된 지문 및 얼굴 특징점을, 데이터베이스부에 기 등록된 비교대상의 지문 및 얼굴 특징점과 비교하여, 피검자의 신원을 확인한다.The identification system using a smartphone of the present invention acquires a fingerprint image and an image of the subject's face from a camera built in the police smartphone, detects the subject's fingerprint and facial feature points from the police smartphone, and the matching server is the police The fingerprint and facial feature points received from the smartphone are compared with the fingerprint and facial feature points to be compared previously registered in the database to confirm the identity of the subject.
즉, 본 발명은, 경찰관 자신이 휴대하고 있는 스마트폰 또는 모바일 기기(노트북, PDF 등)에 인증 등의 특정 등록과정을 거쳐 소정 어플리케이션을 설치하고, 피검자의 지문 및 얼굴의 영상을 취득하여 현장에서, 보다 빠르고 정확하게, 신원을 확인할 수 있다.That is, the present invention installs a predetermined application on a smart phone or mobile device (laptop, PDF, etc.) carried by the police officer through a specific registration process such as authentication, and acquires an image of the subject's fingerprint and face, , Faster and more accurately, you can verify your identity.
특히, 본 발명의 스마트폰을 이용한 신원확인 시스템은, 특정 등록과정을 거쳐 소정 어플리케이션이 상기 스마트폰에 설치되며, 사용시에 사용자 인증을 통해 보안 기능을 향상하였다.In particular, in the identification system using a smartphone of the present invention, a predetermined application is installed on the smartphone through a specific registration process, and the security function is improved through user authentication during use.
또한, 주취자 또는 치매노인 등에 대한 데이터베이스를 구축하고, 상기 데이터베이스와 연계하여 원스톱으로 피검자의 신원 확인이 가능하다.In addition, it is possible to establish a database for the drunkard or the elderly with dementia, and to check the identity of the subject in one stop by linking with the database.
도 1은 본 발명의 스마트폰을 이용한 신원확인 시스템을 개략적으로 설명하기 위한 모식도이다.
도 2는 도 1의 스마트폰에 적용되는 지문 취득 보조장치의 일예이다.
도 3은 방향정보에 따른 이미지 개선을 설명하기 위한 설명도이다.
도 4는 일반적인 지문이미지의 뒤틀림을 설명하기위한 설명도이다.
도 5는 회전각도 결정에 따른 특징정보 좌표 변경을 설명하기 위한 설명도이다.
도 6은 비교대상 지문간의 일치 특징점 및 특징점끼리의 연결정보를 출력한 예이다.
도 7은 특징정보 유사도 검사 시, 해당 특징정보 주변의 특징정보 유사성을 이용하는 것을 설명하기 위한 설명도이다.
도 8은 매칭서버에서 지문인식과정을 개략적으로 설명하기 위한 설명도이다.
도 9는 본 발명의 경찰 스마트폰의 지문촬영화면에서 오른손 검지를 촬영한 예이다.
도 10은 도 9의 지문촬영화면에서 선택된 손가락이 손가락 촬영 가이드라인과 일치여부를 설명하는 도면이다.1 is a schematic diagram schematically illustrating an identification system using a smartphone of the present invention.
2 is an example of a fingerprint acquisition auxiliary device applied to the smartphone of FIG. 1.
3 is an explanatory diagram for explaining image improvement according to direction information.
4 is an explanatory diagram for explaining distortion of a general fingerprint image.
5 is an explanatory diagram for explaining change of coordinates of feature information according to determination of a rotation angle.
6 is an example of outputting coincident feature points between fingerprints to be compared and connection information between feature points.
7 is an explanatory diagram for explaining using the similarity of feature information around the feature information when checking the similarity of feature information.
8 is an explanatory diagram schematically illustrating a fingerprint recognition process in a matching server.
9 is an example of photographing the index finger of the right hand on the fingerprint screen of the police smartphone of the present invention.
10 is a diagram illustrating whether a finger selected on the fingerprint photographing screen of FIG. 9 matches a finger photographing guideline.
이하, 본 발명의 스마트폰을 이용한 신원확인 시스템을 첨부된 도면을 참조하여 상세히 설명한다.Hereinafter, an identification system using a smart phone of the present invention will be described in detail with reference to the accompanying drawings.
본 발명에서는, 경찰관 자신이 휴대하고 있는 스마트폰 또는 모바일 기기(노트북, PDF 등을 '경찰 스마트폰'이라 명명한다.In the present invention, a smartphone or mobile device (laptop, PDF, etc.) carried by the police officer himself is referred to as a'police smartphone.'
도 1은 본 발명의 스마트폰을 이용한 신원확인 시스템을 개략적으로 설명하기 위한 모식도이다.1 is a schematic diagram schematically illustrating an identification system using a smartphone of the present invention.
경찰 스마트폰(100)으로, 인증 등의 특정 등록과정을 거쳐 소정 어플리케이션이 설치되어 있는 스마트폰으로, 경찰 스마트폰(100) 상에서 피검자의 지문 또는 얼굴의 영상을 촬영하고, 지문 또는 얼굴의 영상에서 지문 또는 얼굴의 특징점을 검출하고, 신원확인 그룹을 선택하고, 신원확인 요청을 선택하면, 피검자의 지문 영상 또는 얼굴의 영상에서 특징점을 검출하고, 신원확인 요청 신호, 신원확인 그룹 신호, 지문 특징점들, 얼굴 특징점들이, 게이트웨이(G/W) 서버(200)로 전송된다.With the
여기서, 신원확인 그룹은, 나이대별, 성별 등을 선택하여 입력할 수 있으며, 또한, 주취자, 치매노인, 미아, 변사자, 외국인, 수배자, 범죄자 등의 그을 설정할 수 있다.Here, the identification group can be input by selecting an age group, a gender, and the like, and also, a drunkard, a dementia elderly, a lost child, a criminal, a foreigner, a wanted person, a criminal, and the like can be set.
본 발명은 지문 취득 보조장치 없이 지문취득이 가능하지만, 경우에 따라서는 지문 취득 보조장치를 이용할 수 있다. Although the present invention can acquire a fingerprint without a fingerprint acquisition auxiliary device, a fingerprint acquisition auxiliary device may be used in some cases.
지문인식에 있어서 접촉식 기술의 경우 해상도가 500dpi로 고정이 되지만, 일반적으로 스마트폰의 경우 대상을 촬영하는 시점별 거리에 따라 해상도가 제각각 다르기 때문에 매칭시 오인식률이 많을 수 있다. In the case of fingerprint recognition, in the case of contact technology, the resolution is fixed at 500 dpi, but in general, in the case of a smartphone, since the resolution varies according to the distance by the point of time at which the subject is photographed, there may be a high rate of misrecognition during matching.
일반적으로 지문센서에 지문을 취득할 시 손가락의 힘을 대는 위치의 압력에 따라 지문모양이 변형되는데 이를 해결하고자, 카메라를 통해 지문을 취득하되 특정 지문보조장치를 이용하면, 취득이미지가 일정한 해상도를 가질 수 있도록 하여 해상도 호환성을 확보할 수 있다.In general, when acquiring a fingerprint on the fingerprint sensor, the shape of the fingerprint is deformed according to the pressure at the position where the force of the finger is applied.In order to solve this, the fingerprint is acquired through a camera, but if a specific fingerprint assist device is used, the acquired image has a certain resolution. Resolution compatibility can be secured by making it available.
경우에 따라서는, 경찰 스마트폰(100) 및 지문 취득 보조장치의 대신에, 기존의 지문 입력장치인 라이브스캐너를 사용하여 취득된 지문이미지를, 경찰 스마트폰(100)이 수신하여 이를 사용할 수 있다.In some cases, instead of the
게이트웨이(G/W) 서버(200)는 경찰 스마트폰(100)으로부터 수신된 신원확인 요청 신호, 신원확인 그룹신호, 지문 특징점들, 얼굴 특징점들을 수신하여, 매칭서버(300)로 전송한다.The gateway (G/W)
매칭서버(300)는, 데이버베이스부(370)에 기 저장된 신원확인 그룹의 지문 특징점들과, 게이트웨이 서버(200)를 통해 수신된 피검자의 지문 특징점들을 비교하여 신원확인을 행하며, 또한, 데이버베이스부(370)에 기 저장된 신원확인 그룹의 얼굴 특징점들과, 게이트웨이 서버(200)를 통해 수신된 피검자의 얼굴 특징점들을 비교하여 신원확인을 행하고, 그 결과를 게이트웨이 서버(200)를 통해 경찰 스마트폰(100)으로 전송한다.The matching
도 2는 도 1의 스마트폰에 적용되는 지문 취득 보조장치의 일예이다.2 is an example of a fingerprint acquisition auxiliary device applied to the smartphone of FIG. 1.
도 2의 지문 취득 보조장치(170)는 손가락 클립, 즉, 골무형태로 이루어지며, 손가락의 바닥이 닫는 부분에 지문 검출센서(177)를 구비한다. The fingerprint acquisition
지문 취득 보조장치(170)의 하우징부는 피검자의 손가락의 전후면을 둘러싸서 상기 손가락에 수평 압력을 가하는 손가락 클립, 즉, 골무형태로 이루어지며, 취득 보조장치에 해당 손가락을 삽입하면, 지문 검출센서(177)에 의해 손가락 지문이 형성된다. The housing portion of the fingerprint acquisition
지문 검출센서(177)는 지문센서는 손가락 지문의 영상 정보를 획득하는 수단으로, 지문영상을 검출하여 경찰 스마트폰(100)의 연산처리부(미도시)로 전송한다.지문 검출센서(177)는 카메라 또는 이미지 센서일 수 있다.The
도 3은 방향정보에 따른 이미지 개선을 설명하기 위한 설명도이고, 도 4는 일반적인 지문이미지의 뒤틀림을 설명하기위한 설명도이고, 도 5는 회전각도 결정에 따른 특징정보 좌표 변경을 설명하기 위한 설명도이고, 도 6은 비교대상 지문간의 일치 특징점 및 특징점끼리의 연결정보를 출력한 예이고, 도 7은 특징정보 유사도 검사 시, 해당 특징정보 주변의 특징정보 유사성을 이용하는 것을 설명하기 위한 설명도이다. 3 is an explanatory diagram for explaining image improvement according to direction information, FIG. 4 is an explanatory diagram for explaining distortion of a general fingerprint image, and FIG. 5 is a description for explaining change of feature information coordinates according to determination of a rotation angle 6 is an example of outputting matching feature points between fingerprints to be compared and connection information between feature points, and FIG. 7 is an explanatory diagram for explaining the use of feature information similarity around corresponding feature information when checking feature information similarity. .
도 3의 (a)는 낮은 이미지 품질의 예를 나타내며, 도 3의 (a)에서 초록색 줄은 실제 나타내져야만 하는 방향정보(즉, 전문가가 표시한 방향정보)이며, 도 3의 (b)는 종래의 분석방법으로, 도 3의 (a)의 지문영상에서 방향정보를 분석한 예로, 특히, 도 3의 (a)의 사각형 내의 부분에서 제대로 방향정보가 잘못되어 있음을 알 수 있다. 즉, 방향정보에 문제가 발생되어 있다. 도 3의 (c)는 도 3의 (a)의 지문이미지에서 방향정보를 개선하도록 지문이미지를 보정한 예이다.FIG. 3(a) shows an example of low image quality, and in FIG. 3(a), the green line is direction information that should actually be displayed (ie, direction information displayed by an expert), and FIG. 3(b) is As a conventional analysis method, as an example of analyzing the direction information in the fingerprint image of FIG. 3(a), it can be seen that the direction information is properly wrong in the part within the square of FIG. 3(a). That is, there is a problem with the direction information. FIG. 3C is an example of correcting the fingerprint image to improve direction information in the fingerprint image of FIG. 3A.
즉, 본 발명은 이미지의 패턴을 분석하여 방향정보 개선을 통해 이미지 품질을 향상한다.That is, the present invention analyzes a pattern of an image and improves the image quality through direction information improvement.
도 4의 (a)는 아래로 뒤틀림의 예이고, 도 4의 (b)는 위로 뒤틀림의 예이고 도 4의 (c)는 오른쪽 뒤틀림의 예이고, 도 4의 (d)는 왼쪽 뒤틀림의 예이다. Figure 4 (a) is an example of downward twist, Figure 4 (b) is an example of upward twist, Figure 4 (c) is an example of right twist, Figure 4 (d) is an example of left twist to be.
즉, 피검자가 지문을 찍을때, 손가락의 압력, 즉, 손가락의 힘을 주는 방향에 따라 이미지 뒤틀림이 일어난다. 따라서 매칭서버(300)는, 지문 비교시에 이미지의 뒤틀림 방향을 파악하여 이미지가 정사각형에 맞도록 이를 보정한다. That is, when the subject takes a fingerprint, image distortion occurs according to the pressure of the finger, that is, the direction in which the force of the finger is applied. Therefore, the matching
본 발명에서 매칭서버(300)는, 변형된 이미지 매칭성능 개선을 위해 회전과 변위 선택을 다중화한다.In the present invention, the matching
도 5의 (a)는 입력된 지문영상의 각도변경을 설정하는 예를 나타내며, 도 5의 (b)는 도 5의 (a)의 각도변경에 따른 좌표변경된 지문영상을 나타낸다. FIG. 5(a) shows an example of setting the angle change of the input fingerprint image, and FIG. 5(b) shows the fingerprint image whose coordinates are changed according to the angle change of FIG. 5(a).
매칭서버(300)는, 회전각도 결정이 특징정보 좌표에 미치는 영향이 크고 이미지 변형이 큰 경우, 이미지 위치에 따라 회전각도가 다를 수 있으므로 복수의 회전값을 이용하여 매칭을 시도한다. The matching
도 6의 (a)는 데이터베이스부에 저장된 지문의 일예이고, 도 6의 (b)는 피검자 지문이 일예로, 상기 두 지문 간의 일치 특징점을 빨강색 선으로 나타내며, 특징점끼리의 연결정보를 파랑색 선으로 나타낸다.Figure 6 (a) is an example of a fingerprint stored in the database, and Figure 6 (b) is an example of a fingerprint of the subject, and the matching feature points between the two fingerprints are represented by a red line, and the connection information between the feature points is blue It is represented by a line.
경찰 스마트폰(100)으로부터 시각적인 지문인식 결과 표출 정보를 획득하고, 매칭서버(300)는 이를 수신하여, 동일지문인지 판단시에 보조하여 사용한다. 즉, 매칭서버(300)는 동일지문인지 판단이 어려울 경우, 시각적인 지문인식 결과 표출 정보를 사용하여 판단할 수 있다.Visual fingerprint recognition result expression information is obtained from the
도 6에서와 같이, 비교대상 지문간의 일치 특징점 및 특징점끼리의 연결정보를 출력하여 동일지문인지 아닌지를 알 수 있다. 지문변형으로 인해 특징정보간 거리나 특징점 방향의 값이 달라지는 경우에도 검사 특징점과 주변의 정보는 같이 움직이기 때문에 편차가 적다. 그렇기 때문에 도 7에서와 같이, 특징정보 유사도 검사 시 해당 특징정보 주변의 특징정보 유사성을 고려한다. As shown in FIG. 6, it is possible to know whether or not the fingerprint is the same by outputting the matching feature points between the fingerprints to be compared and the connection information between the feature points. Even if the distance between the feature information or the value of the feature point direction is changed due to the fingerprint deformation, the deviation is small because the inspection feature point and the surrounding information move together. Therefore, as shown in FIG. 7, when checking the similarity of the feature information, the similarity of feature information around the corresponding feature information is considered.
도 7의 (a)는 데이터베이스부에 저장된 지문에서 특징점(M-r)의 주변 특징점(M1 ~M5)이고, 도 7의 (b)는 대응하고자 하는 피검자 지문의 특징점(M-s)의 주변 특징점(M1 ~M5)으로, 비교하고자 하는 특징점의 주변의 특징점들의 유사성을 검토하고, 이 유사성 검토 결과를 이용하여 특징정보 유사도를 검출한다.7(a) is the peripheral feature points (M1 to M5) of the feature point (Mr) in the fingerprint stored in the database, and FIG. 7(b) shows the peripheral feature points (M1 to Ms) of the subject fingerprint to be corresponded. In M5), the similarity of the feature points around the feature point to be compared is reviewed, and the similarity of feature information is detected using the similarity review result.
본 발명은, 매칭서버(300)에서, 지문인식 속도개선을 위해, 1:N 비교하도록 인덱스 정보를 사용하기 때문에 다른 알고리즘을 적용한 경우보다 속도가 빠르다(예로, 1초 10만명 정도 분석). 정적 분류인 지문유형은 종류가 한정되어 있으므로, 본 발명은 동적으로 대상을 선별하여 고속검색을 수행한다. In the present invention, the matching
도 8은 매칭서버에서 지문인식과정을 개략적으로 설명하기 위한 설명도이다.8 is an explanatory diagram schematically illustrating a fingerprint recognition process in a matching server.
지문특징정보 가공단계(S100)로, 고속검색을 위해 지문특징정보를 가공한다. In the fingerprint feature information processing step (S100), fingerprint feature information is processed for high-speed search.
예비대상 선별단계(S200)로, 지문특징정보 가공단계(S100)에서 가공된 특징정보에서 유사도를 검사하고, 유사도 점수에 따라 데이터베이스부에 저장된 지문 특징정보들을 정렬하고, 정렬된 데이터베이스부에 저장된 지문 특징정보 들 중, 피검자의 지문특징정보와 유사하다고 판정된 예비대상을 선별한다. 예비대상 선별단계(S200)에서 데이터베이스부에 저장된 검사 대상 그룹의 DB크기를 고려하여 예비대상(후보) 의 수(크기)를 결정한다.In the preliminary target selection step (S200), the similarity is checked from the feature information processed in the fingerprint feature information processing step (S100), the fingerprint feature information stored in the database is sorted according to the similarity score, and the fingerprint stored in the sorted database is Among the feature information, a preliminary object judged to be similar to the subject's fingerprint feature information is selected. In the preliminary target selection step (S200), the number (size) of preliminary targets (candidate) is determined in consideration of the DB size of the test target group stored in the database unit.
도 9는 본 발명의 경찰 스마트폰의 지문촬영화면에서 오른손 검지를 촬영한 예이고, 도 10은 도 9의 지문촬영화면에서 선택된 손가락이 손가락 촬영 가이드라인과 일치여부를 설명하는 도면이다.9 is an example of photographing the index finger of the right hand on the fingerprint photographing screen of the police smartphone of the present invention, and FIG. 10 is a diagram illustrating whether a finger selected on the fingerprint photographing screen of FIG. 9 matches the finger photographing guidelines.
도 9의 (a)는 지문촬영화면에서 오른손 검지의 촬영을 선택한 예로, 지문촬영화면의 하단에 있는 오른손과 왼손 그림에서 오른손 검지 선택 버튼을 클릭함을 나타낸다. 지문촬영화면의 중간에는 손가락 촬영 가이드라인 표시되고, 손가락 촬영 가이드라인내에 지문 가이드라인(도 9의 (a)의 경우, 파랑색 원)이 표시되며, 손가락 촬영 가이드라인 표시의 주변 외측에, 손가락이 가이드라인을 벗어날수 있는 범위의 한계점(삼각형)을 표시한다. 또한, 지문촬영화면의 상단에는 손가락 촬영 가이드라인에 선택된 소정 손가락을 위치시켜 촬영을 진행하라는 메시지가 출력된다.9A shows an example of selecting the right index finger on the fingerprint photographing screen, and clicking the right index finger selection button in the right and left hand drawings at the bottom of the fingerprint photographing screen. In the middle of the fingerprint photographing screen, a finger photographing guideline is displayed, and a fingerprint guideline (in the case of FIG. 9A, a blue circle) is displayed in the finger photographing guideline. Mark the limits (triangles) of the range that can deviate from this guideline. In addition, a message is displayed on the upper part of the fingerprint photographing screen, instructing to proceed with photographing by placing a selected finger in the finger photographing guideline.
도 9의 (b)는 지문촬영화면에서 오른손 검지를 화면에 접촉하여 촬영한 일예이다. 9B is an example of a photograph of a fingerprint photographing screen by touching the right index finger to the screen.
도 10의 (a)는 지문촬영화면에서 선택된 손가락인 오른손 검지가 손가락 촬영 가이드라인을 벗어난 경우의 일예이고, 도 10의 (b)는 지문촬영화면에서 오른손 검지가 손가락 촬영 가이드라인보다 작은 경우의 일예이고, 도 10의 (c)는 지문촬영화면에서 오른손 검지가 손가락 촬영 가이드라인과 일치하는 경우의 일예이다.Figure 10 (a) is an example of a case in which the right index finger selected on the fingerprint photographing screen deviates from the finger photographing guidelines, and FIG. 10 (b) shows a case where the right index finger is smaller than the finger photographing guidelines in the fingerprint photographing screen. As an example, (c) of FIG. 10 is an example of a case in which the index finger of the right hand coincides with the finger photographing guideline on the fingerprint photographing screen.
도 10의 (c)에서와 같이, 손가락 촬영 가이드라인과 한계점 사이에 손가락의 경계선이 위치되도록 하면, 이때 지문 가이드라인내에, 촬영하고자 하는 지문이 적정하게 위치된다.As shown in (c) of FIG. 10, if the boundary line of the finger is positioned between the finger photographing guideline and the limit point, the fingerprint to be photographed is properly positioned within the fingerprint guideline.
본 발명에서는 경찰 스마트폰(100) 또는 지문 취득 보조장치(177)의 카메라로부터 지문 이미지를 취득하기 위해서 모바일 전용 앱을 개발하였다. 모바일 앱을 통해 지문 이미지를 취득할 때에 앱에서 지문 이미지 입력 부분에 대해 손가락 촬영 가이드라인을 제시하고, 상기 가이드라인에 입력된 손가락에대해 3가지 사항의 체크, 즉, 색비교를 통한 손가락 지문 이미지 여부의 체크, 가이드라인 내에 손가락 지문 이미지가 적정하게 입력되었는 지 체크, 융선 체크를 통해 지문 이미지 여부 체크를 통하여 양질의 손가락 지문 이미지를 취득할 수 있도록 한다. In the present invention, a mobile-only app was developed in order to acquire a fingerprint image from the camera of the police
다음은 경찰 스마트폰(100)의 연산처리부(미도시)에서 지문촬영 및 특징점 검출과정을 설명한다.Next, a fingerprint photographing and feature point detection process in an operation processing unit (not shown) of the
손가락 지문영상 수신단계로, 경찰 스마트폰의 카메라, 또는 경찰 스마트폰과 연동된 지문 취득 보조장치(170)로부터 촬상된 손가락 지문영상을, 경찰 스마트폰(100)의 연산처리부가 수신한다.In the step of receiving a finger fingerprint image, the operation processing unit of the
손가락 색 비교단계로, 경찰 스마트폰(100)의 연산처리부는, 손가락 지문영상 수신단계에서 촬영된 손가락 지문영상이, 손가락의 지문인지 아닌지를, 기 저장된 손가락의 색과 비교하여, 손가락 지문인지 아닌지를 일차적으로 판단하고, 손가락 지문이 아니라고 판단되면, 문자 또는 음성으로, 손가락이 아님을 알리고, 손가락 지문영상 수신단계로 되돌아간다.In the finger color comparison step, the calculation processing unit of the
지문 이미지 입력 여부판단단계로, 손가락 색 비교단계후, 경찰 스마트폰(100)의 연산처리부는, 손가락 지문영상에서 손가락의 윤곽선을 추출하여 해당 손가락 윤곽선이, 손가락 촬영 가이드라인보다 작은지, 그리고 손가락 촬영 가이드라인과 한계점 내에 있는지를 판단하고, 한계점을 벗어나거나, 손가락 촬영 가이드라인보다 작은 경우는, 이를 문자 또는 음성으로 알리고, 손가락 지문영상 수신단계로 되돌아간다. 이때, 경찰 스마트폰(100)의 연산처리부는, 해당 손가락 윤곽선이 손가락 촬영 가이드라인보다 크거나 같되, 손가락 촬영 가이드라인과 한계점 내에 있다면, 지문 가이드라인 내에 적정한 지문 이미지가 입력되어 있다고 판단하고, 한계점을 벗어나거나, 손가락 촬영 가이드라인보다 작은 경우는 지문 가이드라인 내에 적정한 지문 이미지가 입력되어 있지 않다고 판단한다.In the step of determining whether to input a fingerprint image, after the finger color comparison step, the operation processing unit of the
융선 체크단계로, 지문 이미지 입력 여부판단단계에서, 해당 손가락 윤곽선이 손가락 촬영 가이드라인보다 크거나 같되, 손가락 촬영 가이드라인과 한계점 내에 있어, 지문 가이드라인 내에 적정한 지문 이미지가 입력되어 있다고 판단되면, 경찰 스마트폰(100)의 연산처리부는, 지문 가이드라인을 중심으로 지문 이미지를 100px×100px의 이미지로 추출하여 해당 지문 이미지에서 가로 방향 융선과 세로 방향 융선을 검출하고, 가로 방향 융선과 세로 방향 융선이 각각 일정부분 반복하여 패턴을 형성한다면 손가락의 지문 이미지라고 판단하고, 패턴을 형성하지 않는다면 손가락 지문 이미지가 아니라고 판단하고, 문자 또는 음성으로, 손가락 이미지가 아님을 알리고, 손가락 지문영상 수신단계로 되돌아간다. In the ridge check step, in the step of determining whether to input a fingerprint image, if it is determined that the outline of the finger is greater than or equal to the finger shooting guideline, but is within the limit of the finger shooting guideline, and an appropriate fingerprint image is input within the fingerprint guideline, the police The operation processing unit of the
특징정보 검출단계로, 경찰 스마트폰(100)의 연산처리부는, 손가락 지문이미지에서 특징 정보를 추출하는 단계로, 전처리(pre-processing)단계, 특징점 추출단계 및 후처리(post-processing) 단계의 3단계로 진행된다.In the feature information detection step, the operation processing unit of the
전처리 단계는 지문 이미지를 세선화하는 단계로, 이미지 개선(image enhancement)을 행하고, 이미지 개선된 지문영상을 이진화(binarization)를 행하고, 세선화(thinning)한다. 즉, 전처리 단계는 블록 방향성 이미지, 이진화 이미지, 세선화 이미지로의 변환과정을 거치게 된다. 지문 이미지를 일정 크기의 블록으로 나누고 각 블록별로 융선의 흐름을 나타내는 방향을 결정하여 블록별 방향이미지로 변환한다. 이렇게 구해진 블록별 융선 방향 정보는 이진화, 평활화 과정에 사용된다. 이진화 과정에서 지문 이미지는 검은색과 흰색으로만 표현되는 이진 이미지로 바뀌고, 다시 이진 이미지는 잡음을 제거하고 융션을 강조하는 평활화 처리를 거침으로써 융션의 연결성을 향상시키고 융션을 1화소 굵기의 선으로 표현하여 세선화 이미지로 변환된다,The pre-processing step is a step of thinning the fingerprint image, image enhancement, and binarization and thinning of the improved fingerprint image. That is, the preprocessing step goes through a process of converting a block directional image, a binarized image, and a thinning image. The fingerprint image is divided into blocks of a certain size, and the direction representing the flow of the ridge is determined for each block and converted into a direction image for each block. The obtained block-by-block ridge direction information is used for binarization and smoothing processes. In the process of binarization, the fingerprint image is changed to a binary image that is expressed only in black and white, and the binary image is again smoothed to remove noise and emphasize the fusion, thereby improving the connectivity of the jungseon and turning the jungseon into a line of 1 pixel thickness. It is expressed and converted into a thinned image,
특징점 추출단계는 전처리 단계에서 세선화된 지문영상에서 후보(예비 대상) 특징점을 추출하는 단계이다. 여기서, 특징점(Minutiae)이란 단점(융선의 흐름이 끊기는 지점)과 분기점(하나의 융선이 두개로 갈라지는 지점)이라고 부르는 융선의 흐름에 변화가 발생하는 점을 말한다. 특징량(T={m1, m2, , mm})은 지문 이미지에 존재하는 특징점(mi)의 정보들로 이루어지는데 대부분의 경우 사용되는 특징점의 정보는 분기점과 단점 중 어떤 것인지를 나타내는 특징점의 종류, 지문 이미지내에서의 위치, 특징점이 위치한 융선의 방향에 대한 정보가 있다.The feature point extraction step is a step of extracting candidate (preliminary target) feature points from the fingerprint image thinned in the preprocessing step. Here, the term “Minutiae” refers to a point in which a change occurs in the flow of a ridge, which is called a disadvantage (a point where the flow of a ridge is cut off) and a branch point (a point where one ridge splits into two). The feature quantity (T={m1, m2,, mm}) is composed of information on the feature point (mi) existing in the fingerprint image. In most cases, the information on the feature point used is the type of feature point that indicates whether it is a branch point or a weakness. , There is information on the position in the fingerprint image and the direction of the ridge where the feature point is located.
즉, 특징점 추출단계는 후보 특징점 추출과정으로, 세선화 이미지로부터 융선의 흐름에 변화가 발생하는 단점과 분기점 정보를 저장한다. 세선화 이미지의 융선 정보로부터 의사 특징점을 포함한 후보 특징점을 추출한다. 이때, 세선화 이미지의 잘못된 융선 부분으로 인해 의사 특징점이 발생될 수 있다. 의사 특징점이란 지문획득시의 잡음으로 인해 세선화 과정 중 발생하는 가짜 특징점을 말한다. 의사 특징점은 무의미한 계산량을 증가시키고 에러를 증가시켜 시스템의 성능을 저하시키는 요인이 된다.That is, the feature point extraction step is a process of extracting candidate feature points, and stores information on the disadvantages and branch points in which a change in the flow of ridges occurs from the thinning image. Candidate feature points including pseudo feature points are extracted from the ridge information of the thinning image. In this case, a pseudo feature point may be generated due to an incorrect ridge portion of the thinning image. A pseudo feature point refers to a fake feature point that occurs during the thinning process due to noise during fingerprint acquisition. The pseudo feature point increases the amount of insignificant computation and increases the error, which degrades the performance of the system.
후처리 단계는 특징점 추출단계에서 추출한 특징점에서 가짜 특징점을 제거하는 단계이다. 즉, 후처리 단계는 의사 특징점의 발생원인이 되는 융선 부분을 수정하여 의사 특징점을 제거하고 누락된 특징점을 추가하여 최종적인 특징점을 추출한다.The post-processing step is a step of removing fake feature points from the feature points extracted in the feature point extraction step. That is, in the post-processing step, the ridge portion that is the cause of the pseudo feature point is modified to remove the pseudo feature point, and the missing feature point is added to extract the final feature point.
특징정보 전송단계로, 경찰 스마트폰(100)의 연산처리부는 특징정보 검출단계에서 검출된 후보 특징점들로 이루어진 특징정보와 지문 이미지를 게이트웨이 서버(200)을 통해 매칭 서버(300)으로 전송한다,In the feature information transmission step, the calculation processing unit of the
다음은 매칭서버(300)에서 신원확인과정을 개략적으로 설명한다.Next, an identification process in the matching
융선간격 표준화단계로, 경찰 스마트폰(100)의 연산처리부로부터 수신된 지문 이미지에 대해 융선의 간격을 구하고 융선간격의 최대값과 최소값을 이용하여 융선 간격들을 정규화함에 의해, 표준화된 간격을 갖게 한다.In the step of standardizing the ridge spacing, the ridge spacing is obtained for the fingerprint image received from the calculation processing unit of the
보정단계로, 경찰 스마트폰(100)의 연산처리부로부터 수신된 지문 이미지에서 융선 방향 정보를 분석하여 방향정보가 잘못되어 있는 부분(예를들어 전후좌우에 연이은 융선 방향과 2개 이상 동일한 것이 없을 때)의 방향정보를 보정(예를 들어, 잘못되어 있는 부분의 이전의 융선의 방향으로 보정)한다.In the correction step, the part in which the direction information is wrong by analyzing the ridge direction information from the fingerprint image received from the calculation processing unit of the police smartphone 100 (for example, when there are no two or more consecutive ridge directions in the front, rear, left and right) Correct the direction information of (for example, correct the direction of the previous ridge of the wrong part).
지문정합 단계로, 매칭서버(300)는, 특징점을 이용한 지문 인식방법의 정합 알고리즘을 사용하여, 경찰 스마트폰(100)의 연산처리부에서 추출된 특징점 정보로부터 정의된 특징량을 사용하여 두 지문 이미지간의 유사도를 결정하는 단계로, 정렬(Image Alignment)단계, 정합(Mnutiae Matching)단계, 점수획득(Scoring)단계의 3단계를 포함하여 이루어진다.In the fingerprint matching step, the matching
정렬단계에서는 두 지문 이미지의 특징점이 가장 많이 겹쳐지는 회전, 천이량을 산출하여 이미지의 정렬 기준점을 선정한다. 이어서 정렬 기준점에 맞추어지도록 특징점의 좌표를 변환한 후 대응되는 특징점 쌍을 결정한다. 이때, 이상적인 회전 천이량을 찾기 위해서는 가능한 많은 후보 정렬을 수행해야 한다.In the alignment step, an alignment reference point of the image is selected by calculating the amount of rotation and transition where the feature points of the two fingerprint images overlap the most. Subsequently, the coordinates of the feature points are transformed to match the alignment reference point, and then the corresponding feature point pairs are determined. At this time, in order to find the ideal rotational transition amount, it is necessary to perform as many candidate alignments as possible.
정합단계에서는 정렬단계에서 결정된 대응 특징점 쌍의 좌표, 종류, 각도정보를 이용하여 유사도(Measure Vector)를 계산한다. 대응 특징점 쌍의 유사도를 사실적으로 반영하기 위해서는 유사도 결정방법에 있어 다양한 통계적 기법으로 여러 각도에서 고려될 수 있다.In the matching step, a measure vector is calculated using the coordinates, types, and angle information of the pair of corresponding feature points determined in the alignment step. In order to realistically reflect the similarity of the pair of corresponding feature points, it can be considered from various angles with various statistical techniques in the method of determining the similarity.
점수획득(Scoring)단계에서는 대응 특징점 쌍의 유사도 (Measure Vector)로부터 두 지문 이미지의 일치하는 정도를 기 설정된 규칙데이터에 따라, 점수로 나타낸다. 규칙데이터는 정합단계와 마찬가지로 이미지의 일치하는 정도를 정확히 반영하기 위해서, Score계산 규칙의 선정(Decision Making)에 통계적인 근거와 수학적인 모델링을 이용하여 사전에 정하여진 데이터이다In the scoring step, the degree of coincidence between the two fingerprint images from the measure vector of the corresponding feature point pair is expressed as a score according to preset rule data. Rule data is data previously determined by using statistical basis and mathematical modeling in the decision making of score calculation rules in order to accurately reflect the degree of matching of images as in the matching step.
예비대상 선정단계로, 점수획득(Scoring)단계에서 대응 특징점 쌍의 유사도에 따라 획득한 점수가 소정 문턱치를 넘는 경우의 데이터베이스부의 지문 특징정보를 예비대상으로 선정하거나, 제일 점수가 높은 데이터베이스부의 지문 특징정보를 예비대상으로 선정하고, 이를 게이트웨이 서버를 통해 경찰 스마트폰으로 전달한다.In the preliminary target selection step, when the score acquired according to the similarity of the corresponding feature point pair in the scoring step exceeds a predetermined threshold, the fingerprint feature information of the database unit is selected as a preliminary target, or the fingerprint feature of the database unit with the highest score The information is selected as a preliminary target, and it is delivered to the police smartphone through the gateway server.
기존의 전통적인 지문 이미지의 취득 장치는 라이브스캐너를 활용하여 취득하였으나, 본 발명에서는 기존의 라이브스캐너 또는 경찰 스마트폰(100)의 카메라 또는 지문 취득 보조장치(177)의 카메라로부터 취득한 지문 이미지를 비교하여 신원을 확인한다. The conventional device for obtaining a fingerprint image was acquired by using a live scanner, but in the present invention, the fingerprint image acquired from the camera of the existing live scanner or the
그러나 일반적으로, 카메라로 지문 이미지를 취득 시 카메라로부터 손가락까지의 거리가 일정하지 않으면 기존의 장비로 취득한 지문 이미지와 호환성을 담보할 수가 없다. 따라서 본 발명은, 라이브스캐너, 경찰 스마트폰(100)의 카메라 등에 따라 다르게 취득되는 지문 이미지를 표준화하기 위해 취득한 지문 이미지에 대해 융선의 간격을 구하고 표준화된 간격을 기반으로 하여 이미지를 개선하고, 개선된 이미지를 통해 지문 템플릿을 생성한다.However, in general, when a fingerprint image is acquired with a camera, if the distance from the camera to the finger is not constant, compatibility with the fingerprint image acquired with the existing equipment cannot be guaranteed. Therefore, the present invention obtains the interval of the ridge for the acquired fingerprint image in order to standardize the fingerprint image differently acquired according to the live scanner, the camera of the
매칭서버(300)는 MCU(matching controller units, 매칭제어 유닛)(미도시), MPU(matching process units, 매칭 프로세싱 유닛)(미도시), MMU(Matching Monitoring Uni, 매칭 모니터링 유닛)(미도시)을 포함한다.
MCU는 매칭서버(300)를 전반적으로 제어하는 수단으로, 주요기능은 지문매칭 작업 관리, MPU 관리의 2가지 이다.The MCU is a means for controlling the matching
MCU의 지문매칭 작업 관리 기능은, G/W 서버(200)로부터 수신받은 지문신원확인 요청 정보를, DB부(370)로부터 기저장된 데이터를 fetch하고, MCU에 연결된 MPU로 매칭 작업을 의뢰하고 MPU의 매칭 결과를 취합하여 후보자를 판별하여 그 결과를 G/W 서버로 전달한다.The fingerprint matching task management function of the MCU is to fetch the fingerprint identification request information received from the G/
MCU의 MPU 관리 기능은, MMU를 통해 MPU의 상태를 모니터링하고 MPU의 기동, 중지를 관리한다. 특정 MPU의 프로세스가 중지되거나 데드락이 걸렸을 경우 MCU는 MPU 모니터링을 통해 상태를 파악한 후 해당 MPU의 프로세스를 재 기동할 수 있다.The MPU management function of the MCU monitors the state of the MPU through the MMU and manages the start and stop of the MPU. When a specific MPU process is stopped or a deadlock has occurred, the MCU can detect the status through MPU monitoring and then restart the process of the MPU.
MPU는 MCU로부터 의뢰받은 지문매칭 작업을 분석하여 매칭 대상을 판별하고 의뢰 지문의 특징점과 대상 지문의 특징점을 비교하여 유사도가 높은 순위의 대상 지문 정보를 MCU로 전송한다.The MPU analyzes the fingerprint matching task requested from the MCU to determine the matching target, compares the feature points of the requested fingerprint with the feature points of the target fingerprint, and transmits the target fingerprint information with a high priority to the MCU.
MMU는 MCU와 연동되어 있는 MPU의 상태를 모니터링하고 MPU의 동작 로그를 조회한다. MMU는 MPU에게 상태 체크 메시지를 전송하고 전송받은 MPU는 자신의 상태를 체크하여 정상 동작 여부를 MMU로 보낸다. MMU가 MPU로부터 정상적으로 메시지를 수신받지 못하거나 비정상 상태의 수신 메시지를 받으면 MMU는 MCU에게 해당 MPU의 동작 상태를 전송하고 MCU는 MPU에게 프로세스 재 기동을 위한 메시지를 전송하여 MPU의 기능을 재 기동한다.The MMU monitors the state of the MPU interlocked with the MCU and retrieves the operation log of the MPU. The MMU sends a status check message to the MPU, and the received MPU checks its status and sends it to the MMU whether it is operating normally. When the MMU does not normally receive a message from the MPU or receives a message in an abnormal state, the MMU transmits the operation status of the MPU to the MCU, and the MCU sends a message to restart the process to the MPU to restart the MPU function. .
본 발명에서 매칭서버 및 데이터베이스부를 지문매칭시스템이라 할 수 있다.In the present invention, the matching server and the database unit may be referred to as a fingerprint matching system.
지문매칭시스템의 지문 데이터는 분산 환경으로 구축함으로써 MPU의 성능을 최적화할 수 있도록 관리한다. 지문 데이터의 분산 처리는 실시간 분산 처리와 배치 분산처리의 2가지 방법으로 수행한다. The fingerprint data of the fingerprint matching system is managed in a distributed environment to optimize the performance of the MPU. Distributed processing of fingerprint data is performed in two ways: real-time distributed processing and batch distributed processing.
실시간 분산 처리는 지문매칭시스템이 운영 중에 변경된 지문 데이터를 각각의 MPU로 분산 처리하는 것으로 메인 지문 데이터베이스에 입력, 수정, 삭제 등의 작업으로 인하여 지문 데이터가 변경되었을 경우, 변경 감시를 행하여 지문데이터가 변경되었음이 감지되면, 변경된 지문데이터를 분산처리를 행하고 감사를 행하여 데이터의 정합성을 보장하도록 한다.In real-time distributed processing, the fingerprint data that has been changed while the fingerprint matching system is operating is distributed to each MPU. When fingerprint data is changed due to operations such as input, modification, and deletion in the main fingerprint database, change monitoring is performed and fingerprint data is stored. When a change is detected, the changed fingerprint data is distributedly processed and audited to ensure data consistency.
배치 분산 처리는 초기 지문매칭시스템을 구축하거나 지문 데이터의 변경이 많을 경우 메인 데이터베이스의 지문 데이터를 MPU로 일괄 분산 처리할 경우에 수행될 수 있도록 한다. 기본 데이터를 분산처리하고, 감사를 행하여 지문 데이터의 정합성을 보장하도록 한다.Batch distributed processing can be performed when an initial fingerprint matching system is established, or when fingerprint data in the main database is batch-distributed to MPU when there are many changes in fingerprint data. Distributed processing of basic data and performing an audit ensures the integrity of fingerprint data.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.As described above, although the present invention has been described by the limited embodiments and drawings, the present invention is not limited to the above embodiments, which is various modifications and variations from these descriptions to those of ordinary skill in the field to which the present invention belongs. Transformation is possible. Accordingly, the spirit of the present invention should be grasped only by the claims set forth below, and all equivalent or equivalent modifications thereof will be said to belong to the scope of the present invention.
100: 경찰 스마트폰 170: 지문 취득 보조장치 177: 지문 검출센서
200: 게이트웨이 서버 300: 매칭서버 370: 데이버베이스부100: police smartphone 170: fingerprint acquisition auxiliary device 177: fingerprint detection sensor
200: gateway server 300: matching server 370: database unit
Claims (11)
경찰 스마트폰으로부터 피검자의 지문 이미지 및 지문 특징점를 수신하여 매칭서버로 전달하는, 게이트웨이 서버;
게이트웨이서버로부터 피검자의 지문 이미지 및 지문 특징점을 수신하고, 피검자의 지문 특징점과, 데이터베이스부에 기저장된 다수의 비교대상의 지문 특징점들과 매칭하여, 신원확인을 행하는, 매칭서버;
를 포함하는 것을 특징으로 하는, 스마트폰을 이용한 신원확인 시스템.A camera is provided to capture the subject's fingerprint, or a fingerprint image is acquired by taking the subject's fingerprint from a fingerprint acquisition auxiliary device equipped with a camera, and from the acquired fingerprint image, the end point and branch point of the ridge of the fingerprint are included. A police smartphone that detects fingerprint feature points;
A gateway server for receiving a fingerprint image and a fingerprint feature point of the subject from a police smartphone and transmitting it to a matching server;
A matching server that receives a fingerprint image and a fingerprint feature point of the subject from the gateway server, matches the fingerprint feature point of the subject and a plurality of fingerprint feature points to be compared previously stored in the database unit, and performs identification;
Characterized in that it comprises a, identification system using a smartphone.
매칭서버는 피검자의 지문 이미지로부터 융선 방향정보를 검출하고, 전, 후, 좌, 우 중의 어느 하나의 연이은 융선 방향과 2개 이상 동일한 것이 없을 때 융선 방향정보가 잘못된 것으로 판단하며, 잘못된 융선방향 정보를 가진 융선의 전, 후, 좌, 우 중의 어느 하나의 연이은 전의 융선의 방향으로 보정함에 따라, 특징점을 보정하며, 보정된 피검자의 지문 특징점과, 데이터베이스부에 기저장된 다수의 비교대상의 지문 특징점들과 매칭하여, 신원확인을 행하는 것을 특징으로 하는, 스마트폰을 이용한 신원확인 시스템.The method of claim 1,
The matching server detects the ridge direction information from the subject's fingerprint image, and determines that the ridge direction information is incorrect when there is no same two or more consecutive ridge directions among the front, rear, left and right, and incorrect ridge direction information The feature points are corrected by correcting in the direction of any one of the successive ridges before, after, left, and right of the ridge with and, the corrected fingerprint feature points of the subject, and the fingerprint feature points of a plurality of comparison targets previously stored in the database. Identification system using a smartphone, characterized in that the identification is performed by matching with them.
경찰 스마트폰은, 경찰 스마트폰의 카메라로 피검자의 얼굴을 촬영하여 피검자의 얼굴 이미지를 획득하고 획득된 얼굴 이미지로부터 코, 입, 눈썹, 턱을 포함하는 얼굴 골격이 변하는 각 부위의 위치를 포함하는 얼굴 특징점을 검출하며, 검출된 피검자의 얼굴 이미지와 얼굴 특징점을 게이트웨이 서버를 통해 매칭서버로 전달하며,
매칭서버는, 피검자의 얼굴 특징점과, 데이터베이스부에 기저장된 다수의 비교대상의 얼굴 특징점들과 매칭하여, 신원확인을 행하것을 특징으로 하는, 스마트폰을 이용한 신원확인 시스템.The method of claim 1,
The police smartphone captures the subject's face with the camera of the police smartphone to obtain an image of the subject's face, and from the acquired face image, the position of each part of the facial skeleton including the nose, mouth, eyebrows, and chin is changed. It detects facial feature points, and delivers the detected face image and facial feature points of the subject to the matching server through the gateway server,
The matching server is an identification system using a smartphone, characterized in that identification is performed by matching the facial feature points of the subject and a plurality of comparison target facial feature points previously stored in the database unit.
매칭서버는,
피검자의 지문 이미지로부터 융선의 간격을 구하고 융선간격의 최대값과 최소값을 이용하여 융선 간격들을 정규화함에 의해, 융선 간격을 표준화하며,
표준화된 융선 간격을 가진 피검자의 지문 이미지로부터, 융선 방향정보를 검출하고, 전, 후, 좌, 우 중의 어느 하나의 연이은 융선 방향과 2개 이상 동일한 것이 없을 때 융선 방향정보가 잘못된 것으로 판단하며, 잘못된 융선방향 정보를 가진 융선의 전, 후, 좌, 우 중의 어느 하나의 연이은 전의 융선의 방향으로 보정함에 따라, 특징점을 보정하며, 보정된 피검자의 지문 특징점과, 데이터베이스부에 기저장된 다수의 비교대상의 지문 특징점들과 매칭하여, 신원확인을 행하는 것을 특징으로 하는, 스마트폰을 이용한 신원확인 시스템.The method of claim 2,
The matching server,
The ridge spacing is standardized by obtaining the ridge spacing from the subject's fingerprint image and normalizing the ridge spacing using the maximum and minimum values of the ridge spacing,
The ridge direction information is detected from the fingerprint image of the subject with the standardized ridge spacing, and the ridge direction information is judged to be incorrect when there are no two or more consecutive ridge directions in any one of the front, back, left and right. By correcting the direction of the ridge before, after, left, or right of the ridge with incorrect ridge direction information, the feature points are corrected, and the corrected fingerprint feature points of the subject are compared with a number of previously stored in the database. An identification system using a smartphone, characterized in that the identification is performed by matching with the fingerprint feature points of the target.
매칭서버가 피검자의 지문 특징점과, 데이터베이스부에 기저장된 다수의 비교대상의 지문 특징점들과 매칭하여, 신원확인을 행하는, 매칭서버의 신원분석단계;
를 포함하는 것을 특징으로 하는, 스마트폰을 이용한 신원확인 시스템의 구동방법.The police smartphone detects a fingerprint feature point from the fingerprint image of the subject photographed with a camera, and transmits the fingerprint image and the fingerprint feature point of the subject to a matching server through a gateway server, the fingerprint image analysis step of the police smartphone;
An identity analysis step of the matching server, in which the matching server matches the fingerprint feature points of the subject and the fingerprint feature points of a plurality of comparison targets previously stored in the database unit to perform identification;
Characterized in that it comprises a, driving method of the identification system using a smartphone.
경찰 스마트폰의 카메라, 또는 경찰 스마트폰과 연동된 지문 취득 보조장치로부터 촬상된 손가락 지문영상을, 경찰 스마트폰의 연산처리부가 수신하는, 손가락 지문영상 수신단계;
경찰 스마트폰은, 손가락 지문영상 수신단계에서 촬영된 손가락 지문영상이, 손가락의 지문인지 아닌지를, 기 저장된 손가락의 색과 비교하여, 손가락 지문인지 아닌지를 판단하고, 손가락 지문이 아니라고 판단되면, 문자 또는 음성으로, 손가락 지문이 아님을 알리고, 손가락 지문영상 수신단계로 되돌아가는, 손가락 색 비교단계;
손가락 색 비교단계후, 경찰 스마트폰의 연산처리부는, 손가락 지문영상에서 손가락의 윤곽선을 추출하여 해당 손가락 윤곽선이, 손가락 촬영 가이드라인보다 작은지, 그리고 손가락 촬영 가이드라인과 한계점 내에 있는지를 판단하고, 한계점을 벗어나거나, 손가락 촬영 가이드라인보다 작은 경우에, 손가락 촬영 가이드라인에서 벗어났음을 문자 또는 음성으로 알리고, 손가락 지문영상 수신단계로 되돌아가는, 지문 이미지 입력 여부판단단계;
경찰 스마트폰의 연산처리부는, 지문 이미지 입력 여부판단단계에서, 해당 손가락 윤곽선이 손가락 촬영 가이드라인보다 크거나 같되, 손가락 촬영 가이드라인과 한계점 내에 있으면, 지문 가이드라인을 중심으로 지문 이미지를 100px×100px의 이미지로 추출하여 해당 지문 이미지에서 가로 방향 융선과 세로 방향 융선을 검출하고, 가로 방향 융선과 세로 방향 융선이 각각 일정부분 반복하여 패턴을 형성하는지를 판단하여, 패턴을 형성하지 않는다고 판단되면 문자 또는 음성으로, 손가락 지문 이미지가 아님을 알리고, 손가락 지문영상 수신단계로 되돌가는, 융선 체크단계;
를 포함하는 것을 특징으로 하는, 스마트폰을 이용한 신원확인 시스템의 구동방법.The method of claim 5, wherein the step of analyzing the fingerprint image of the police smartphone,
A finger fingerprint image receiving step of receiving a finger fingerprint image captured from a camera of a police smartphone or a fingerprint acquisition auxiliary device interlocked with the police smartphone;
The police smartphone determines whether the finger fingerprint image captured in the finger fingerprint image reception step is a finger fingerprint or not, and compares it with the color of a previously stored finger, and determines whether it is a finger fingerprint, and if it is not Or a finger color comparison step of notifying that it is not a finger print by voice and returning to the step of receiving a finger print image;
After the finger color comparison step, the operation processing unit of the police smartphone extracts the outline of the finger from the fingerprint image of the finger and determines whether the outline of the finger is smaller than the finger photographing guideline and within the finger photographing guideline and the limit point, A step of determining whether to input a fingerprint image, informing that the deviation from the finger photographing guideline is notified by text or voice and returning to the step of receiving a fingerprint image of the finger when it is out of the threshold or is smaller than the finger photographing guideline;
In the step of determining whether to input a fingerprint image, the operation processing unit of the police smartphone, if the outline of the finger is greater than or equal to the finger photographing guideline, but within the limit of the finger photographing guideline, the fingerprint image is 100px×100px around the fingerprint guideline. It is extracted as an image of and detects horizontal and vertical ridges from the fingerprint image, and determines whether the horizontal and vertical ridges form a pattern by repeating a certain portion of each, and if it is determined that the pattern is not formed, text or voice A ridge check step of notifying that it is not a fingerprint image of the finger and returning to the receiving step of a finger fingerprint image;
Characterized in that it comprises a, driving method of the identification system using a smartphone.
융선 체크단계 후에, 경찰 스마트폰의 연산처리부는, 피검자의 지문이미지로부터 지문의 융선의 단(斷)점과 분기점을 포함하는 지문 특징점을 검출하는, 지문 특징 검출단계;
를 더 포함하는 것을 특징으로 하는, 스마트폰을 이용한 신원확인 시스템의 구동방법.The method of claim 6, wherein the step of analyzing the fingerprint image of the police smartphone,
After the ridge check step, the operation processing unit of the police smartphone includes a fingerprint feature detection step of detecting a fingerprint feature point including an end point and a branch point of the ridge of the fingerprint from the fingerprint image of the subject;
Characterized in that it further comprises a driving method of the identification system using a smartphone.
경찰 스마트폰의 연산처리부는 피검자 지문 이미지를 세선화하는, 전처리 단계;
경찰 스마트폰의 연산처리부는 전처리 단계에서 세선화된 지문영상에서 후보 지문 특징점을 검출하는, 후보 지문 특징점 검출단계;
경찰 스마트폰의 연산처리부는 후보 지문 특징점 검출단계에서 검출한 특징점에서 의사 특징점을 제거하는 후처리 단계;
를 포함하여 이루어진 것을 특징으로 하는, 스마트폰을 이용한 신원확인 시스템의 구동방법.The method of claim 7, wherein the fingerprint feature detection step,
The calculation processing unit of the police smartphone includes a pre-processing step of thinning the fingerprint image of the subject;
The operation processing unit of the police smartphone comprises: a candidate fingerprint feature point detection step of detecting a candidate fingerprint feature point from the fingerprint image thinned in the pre-processing step;
The operation processing unit of the police smartphone includes a post-processing step of removing pseudo feature points from the feature points detected in the candidate fingerprint feature point detection step;
Characterized in that made, including, the driving method of the identification system using a smartphone.
매칭서버는, 피검자의 지문 특징점과, 데이터베이스부에 기저장된 비교대상의 지문 특징점의, 두 지문 이미지의 특징점이 최대로 많이 겹쳐지는 회전, 천이량을 산출하여 이미지의 정렬 기준점을 선정하고, 정렬 기준점에 맞추어지도록 특징점의 좌표를 변환한 후 대응되는 특징점 쌍을 결정하는, 정렬단계;
매칭서버는 정렬단계에서 결정된 대응 특징점 쌍의 좌표, 종류, 각도정보를 이용하여 유사도를 계산하는, 정합단계;
매칭서버는 대응 특징점 쌍의 유사도로부터, 피검자의 지문 특징점과, 데이터베이스에 기저장된 비교대상의 지문 특징점의 일치하는 정도를, 기 설정된 규칙데이터에 따라, 점수로서 출력하는 점수획득 단계;
를 포함하여 이루어진 것을 특징으로 하는, 스마트폰을 이용한 신원확인 시스템의 구동방법.The method of claim 8, wherein the step of analyzing the identity of the matching server comprises:
The matching server selects the alignment reference point of the image by calculating the rotation and transition amount at which the characteristic points of the two fingerprint images overlap the maximum number of the fingerprint characteristic points of the subject and the fingerprint characteristic points to be compared previously stored in the database, and the alignment reference point An alignment step of determining a corresponding pair of feature points after transforming the coordinates of the feature points so as to be aligned with each other;
The matching server calculates a similarity using coordinates, types, and angle information of the corresponding feature point pair determined in the alignment step, a matching step;
The matching server includes a score acquisition step of outputting a match degree between the subject's fingerprint feature point and the fingerprint feature point to be compared previously stored in the database as a score, according to preset rule data, from the similarity of the corresponding feature point pair;
Characterized in that made, including, the driving method of the identification system using a smartphone.
정렬단계 전에, 매칭서버는, 경찰 스마트폰의 연산처리부로부터 수신된 피검자의 지문 이미지에 대해 융선의 간격을 구하고 융선간격의 최대값과 최소값을 이용하여 융선 간격들을 정규화함에 의해, 표준화하는, 융선간격 표준화단계;
융선간격 표준화단계 후, 매칭서버는 피검자의 지문 이미지로부터 융선 방향정보를 검출하고, 전, 후, 좌, 우 중의 어느 하나의 연이은 융선 방향과 2개 이상 동일한 것이 없을 때 융선 방향정보가 잘못된 것으로 판단하며, 잘못된 융선방향 정보를, 잘못된 융선방향 정보를 가진 융선의 전, 후, 좌, 우 중의 어느 하나의 연이은 전의 융선의 방향으로 보정함에 따라, 피검자의 지문 특징점을 보정하는, 보정단계;
를 더 포함하는 것을 특징으로 하는 스마트폰을 이용한 신원확인 시스템의 구동방법.The method of claim 9, wherein the step of analyzing the identity of the matching server,
Before the alignment step, the matching server obtains the ridge interval for the fingerprint image of the subject received from the operation processing unit of the police smartphone and normalizes the ridge intervals by using the maximum and minimum values of the ridge interval to standardize the ridge interval. Standardization stage;
After the ridge interval standardization step, the matching server detects the ridge direction information from the subject's fingerprint image, and determines that the ridge direction information is incorrect when there are no two or more consecutive ridge directions in any one of the front, back, left and right. And correcting the wrong ridge direction information in the direction of any one of successive ridges before, after, left, and right of the ridge having the erroneous ridge direction information, thereby correcting the fingerprint feature point of the subject;
Driving method of an identification system using a smartphone, characterized in that it further comprises.
지문 취득 보조장치는 골무형태를 이루며, 손가락의 저면의 접촉부에 카메라를 구비한 것을 특징으로 하는, 스마트폰을 이용한 신원확인 시스템.
The method of claim 1,
Fingerprint acquisition assist device is a thimble form, characterized in that the camera is provided in the contact portion of the bottom of the finger, identification system using a smartphone.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190029871A KR102529513B1 (en) | 2019-03-15 | 2019-03-15 | Identity verification system using smart phone |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190029871A KR102529513B1 (en) | 2019-03-15 | 2019-03-15 | Identity verification system using smart phone |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200109963A true KR20200109963A (en) | 2020-09-23 |
| KR102529513B1 KR102529513B1 (en) | 2023-05-09 |
Family
ID=72708678
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190029871A KR102529513B1 (en) | 2019-03-15 | 2019-03-15 | Identity verification system using smart phone |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102529513B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060027613A (en) * | 2004-09-23 | 2006-03-28 | (주)니트 젠 | Direction filtering method in algorithm for extracting fingerprint minutiae |
| KR101596298B1 (en) * | 2015-03-20 | 2016-02-24 | 이상훈 | Contactless fingerprint image acquistion method using smartphone |
| KR20170127159A (en) * | 2016-05-11 | 2017-11-21 | 주식회사 디젠트 | Fingerprint acquisition auxiliary apparatus used in acquiring fingerprint by camera and fingerprint acquisition apparatus using the same |
-
2019
- 2019-03-15 KR KR1020190029871A patent/KR102529513B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060027613A (en) * | 2004-09-23 | 2006-03-28 | (주)니트 젠 | Direction filtering method in algorithm for extracting fingerprint minutiae |
| KR101596298B1 (en) * | 2015-03-20 | 2016-02-24 | 이상훈 | Contactless fingerprint image acquistion method using smartphone |
| KR20170127159A (en) * | 2016-05-11 | 2017-11-21 | 주식회사 디젠트 | Fingerprint acquisition auxiliary apparatus used in acquiring fingerprint by camera and fingerprint acquisition apparatus using the same |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102529513B1 (en) | 2023-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11188734B2 (en) | Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices | |
| US9361507B1 (en) | Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices | |
| US8265347B2 (en) | Method and system for personal identification using 3D palmprint imaging | |
| US7747043B2 (en) | Registration method for biometrics authentication system, biometrics authentication system, and program for same | |
| WO2021036436A1 (en) | Facial recognition method and apparatus | |
| US8649575B2 (en) | Method and apparatus of a gesture based biometric system | |
| US7151846B1 (en) | Apparatus and method for matching fingerprint | |
| KR101632912B1 (en) | Method for User Authentication using Fingerprint Recognition | |
| RU2670798C1 (en) | Method of iris authentication of user and device therefor | |
| CN110647955A (en) | Identity authentication method | |
| WO2002071316A1 (en) | Non-contact type human iris recognition method by correction of rotated iris image | |
| KR101626837B1 (en) | Method and apparatus for convergence biometric authentication based on finger joint and finger vein | |
| JP2006099718A (en) | Personal authentication apparatus | |
| WO2008054940A2 (en) | Print matching method and apparatus using pseudo-ridges | |
| US20210406351A1 (en) | Non-face-to-face authentication system | |
| US20120020535A1 (en) | Unique, repeatable, and compact biometric identifier | |
| KR102333453B1 (en) | Smartphone-based identity verification method using fingerprints and facial images | |
| Tukur | Fingerprint recognition and matching using Matlab | |
| JP2006072553A (en) | Biological information collating device | |
| KR102529513B1 (en) | Identity verification system using smart phone | |
| WO2023028947A1 (en) | Palm vein non-contact three-dimensional modeling method and apparatus, and authentication method | |
| Aizi et al. | Remote multimodal biometric identification based on the fusion of the iris and the fingerprint | |
| CN111291586A (en) | Living body detection method, living body detection device, electronic apparatus, and computer-readable storage medium | |
| KR20050014406A (en) | System And Method For Identifying Fingerprint In Mobile Communication Terminal | |
| Lee et al. | Ocular and iris recognition baseline algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |