KR20230068643A - Identification verification server for detecting forgery and identification verificatio method using the same - Google Patents

Identification verification server for detecting forgery and identification verificatio method using the same Download PDF

Info

Publication number
KR20230068643A
KR20230068643A KR1020210154645A KR20210154645A KR20230068643A KR 20230068643 A KR20230068643 A KR 20230068643A KR 1020210154645 A KR1020210154645 A KR 1020210154645A KR 20210154645 A KR20210154645 A KR 20210154645A KR 20230068643 A KR20230068643 A KR 20230068643A
Authority
KR
South Korea
Prior art keywords
image information
verification
information
client terminal
forgery
Prior art date
Application number
KR1020210154645A
Other languages
Korean (ko)
Other versions
KR102609220B1 (en
Inventor
조춘호
Original Assignee
조춘호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조춘호 filed Critical 조춘호
Priority to KR1020210154645A priority Critical patent/KR102609220B1/en
Publication of KR20230068643A publication Critical patent/KR20230068643A/en
Application granted granted Critical
Publication of KR102609220B1 publication Critical patent/KR102609220B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
    • G06V30/1478—Inclination or skew detection or correction of characters or of image to be recognised of characters or characters lines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/23—Reliability checks, e.g. acknowledgments or fault reporting

Abstract

본 발명의 일실시예에 따른 신분 위변조 검증 서버는 클라이언트 단말기로부터 고객의 신분증 이미지 정보 및 얼굴 이미지 정보를 수집하는 데이터 수집부와, 상기 신분증 이미지 정보에서 텍스트 영역 및 사진 영역을 추출하고, 상기 사진 영역의 정보 및 상기 얼굴 이미지 정보의 특징점 정보를 추출하는 이미지 처리부와, 상기 텍스트 영역의 정보로부터 텍스트 정보를 추출하는 텍스트 추출부와, 상기 사진 영역의 정보 및 상기 얼굴 이미지 정보의 특징점 정보를 비교하여 유사도를 기준으로 동일인 여부를 판단하는 신분 검증부와, 상기 추출된 텍스트 정보를 상기 신분증 종류에 대응되는 신분증 검증 템플릿과 비교하여 상기 고객의 신분증의 위변조 여부를 판단하는 신분증 위변조 검증부 및 기 신분 검증부가 동일인으로 판단하고, 상기 신분증 위변조 검증부가 위변조가 없다고 판단되는 경우에 상기 클라이언트 단말기로 검증 성공 메시지를 전송하는 검증 처리부를 포함한다.An identity forgery verification server according to an embodiment of the present invention includes a data collection unit that collects customer ID image information and face image information from a client terminal, extracts a text area and a photo area from the ID image information, and extracts the photo area from the ID image information. An image processing unit that extracts the information of the face image information and feature point information of the face image information, a text extractor that extracts text information from the information of the text area, and the information of the photo area and the feature point information of the face image information are compared to determine the degree of similarity. An identity verification unit that determines whether the customer is the same person based on, an ID forgery verification unit that compares the extracted text information with an ID verification template corresponding to the ID type, and determines whether the customer's ID is forged or altered, and an existing identity verification unit and a verification processing unit for transmitting a verification success message to the client terminal when it is determined that the ID card is the same person and the ID forgery verification unit determines that there is no forgery or alteration.

Description

신분 위변조 검증 서버 및 이를 이용한 신분 위변조 검증 방법{IDENTIFICATION VERIFICATION SERVER FOR DETECTING FORGERY AND IDENTIFICATION VERIFICATIO METHOD USING THE SAME}IDENTIFICATION VERIFICATION SERVER FOR DETECTING FORGERY AND IDENTIFICATION VERIFICATIO METHOD USING THE SAME}

본 발명은 신분 위변조 검증 서버 및 방법에 관한 것으로서, 보다 상세하게는 상점 등에서 미성년자 등에 의한 신분 위변조를 쉽게 파악할 수 있는 신분 위변조 검증 서버 및 방법에 관한 것이다.The present invention relates to a server and method for verifying identity forgery and alteration, and more particularly, to a server and method for verifying identity forgery and alteration by minors and the like in a store.

식당이나 편의점 등의 상점에서는 주류 제품을 성인에게만 판매하여야 하며, 미성년자에게 판매하는 경우에는 과태료 부과나 영업 정지 등의 처분이 부과된다. 소상공인의 경우 이러한 리스크를 해소하기 위하여 최대한 신분 확인을 하려고 노력하지만 실질적으로 신분 확인을 완벽하게 하기에는 많은 어려움이 존재한다.Stores such as restaurants and convenience stores must sell alcoholic beverages only to adults, and if sold to minors, fines for negligence or suspension of business will be imposed. In the case of small business owners, they try to verify their identity as much as possible to eliminate these risks, but there are many difficulties in actually verifying their identity perfectly.

특히, 신분증이 위조되었는지를 판별하기 위한 검사 기기는 고가이기 때문에 소상공인이 도입하기에는 어려운 실정이다. 더욱이 악의적인 영업방해 등의 목적으로 미성년자가 의도적으로 주류를 구입하여 상점이 영업 정지 처분에 의하여 사업에 어려움을 겪는 안타까운 사례도 종종 발생하고 있다.In particular, since the inspection device for determining whether an ID card is forged is expensive, it is difficult for small business owners to introduce it. Moreover, there are often unfortunate cases in which minors intentionally purchase alcoholic beverages for the purpose of malicious obstruction of business, and the store suffers business difficulties due to the suspension of business.

따라서, 소상공인의 사업장 등에서 신분 확인을 간편하게 수행할 수 있는 기술의 개발이 필요한 실정이다. 한국등록특허 제10-0455311호(이하 '311특허'로 약칭한다)의 경우 카메라, 스캐너 등의 영상입력 장치를 사용하여 획득된 신분증 화상을 DIP의 연산 처리를 적용하여 신분증의 텍스트 이미지 영역과 인물사진 영역을 분석하여 원격지 서버의 원본 데이터와 비교하여 신분증 위변조를 검증하는 방법을 개시하고 있다.Therefore, there is a need to develop a technology that can easily perform identification at the workplace of a small business owner. In the case of Korea Patent Registration No. 10-0455311 (hereinafter referred to as the '311 Patent'), DIP operation processing is applied to the ID image obtained using a video input device such as a camera or scanner, so that the text image area and character of the ID Disclosed is a method of verifying forgery of an ID card by analyzing a photo area and comparing it with original data of a remote server.

하지만 상기 311특허의 경우 신분증 자체의 이미지를 분석한 후 해당 분석된 자료를 신분증 원본 데이터 및 신분증 종류에 따른 폼 정보와 비교하여 신분증 위조 여부를 판별하는 구성을 개시하고 있지만, 신분증이 위조되지는 않았지만 신분증 소지자와 신분증 상의 사람이 동일인이 아닌 경우를 판별하지는 못하는 한계가 있었다.However, in the case of the 311 patent, after analyzing the image of the ID card itself, the analyzed data is compared with the original ID data and form information according to the type of ID card to determine whether the ID card is forged. There was a limitation in not being able to discriminate the case where the holder of the ID and the person on the ID were not the same person.

또한 상기 311 특허는 신분증 자체의 위조 여부만 판별할 수 있을 뿐 신분증 자체가 위조되었거나 신분증 소지자와 신분증 상의 사람이 동일인이 아닌 경우 다양한 사업장에서 이러한 정보를 이용하여 보다 더 정확하고 간편하게 신분 위변조를 판별하는 기술에 대해서는 개시하고 있지 않다.In addition, the 311 patent can only detect forgery of the ID card itself, but if the ID card itself is forged or the ID card holder and the person on the ID card are not the same person, various businesses use this information to more accurately and conveniently detect identity forgery. The technology is not disclosed.

한국등록특허 제10-0455311호(2004.10.22)Korean Patent Registration No. 10-0455311 (2004.10.22)

본 발명은 위와 같은 문제를 해결하기 위한 것으로 신분증 자체의 위조뿐만 아니라 신분증 소지자와 신분증 상의 사람이 동일인이 아닐 경우도 파악할 수 있는 신분 위변조 검증 서버 및 방법을 제공하는 것을 목적으로 한다.The present invention is to solve the above problem, and an object of the present invention is to provide an identity forgery verification server and method that can detect not only forgery of the ID card itself, but also when the ID holder and the person on the ID card are not the same person.

본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The tasks of the present invention are not limited to the tasks mentioned above, and other tasks not mentioned will be clearly understood by those skilled in the art from the following description.

상기 과제를 해결하기 위한 본 발명의 일실시예에 따른 위변조 검증 서버는, 클라이언트 단말기로부터 고객의 신분증 이미지 정보 및 얼굴 이미지 정보를 수집하는 데이터 수집부; 상기 신분증 이미지 정보에서 사진 영역을 추출하고, 상기 사진 영역의 정보와 상기 얼굴 이미지 정보를 비교하여 유사도를 기준으로 동일인 여부를 판단하는 신분 검증부; 상기 신분증 이미지 정보에서 텍스트 영역을 추출하고, 상기 텍스트 영역의 정보를 상기 신분증 종류에 대응되는 신분증 검증 템플릿과 비교하여 상기 고객의 신분증의 위변조 여부를 판단하는 신분증 위변조 검증부; 및 상기 신분 검증부가 동일인으로 판단하고, 상기 신분증 위변조 검증부가 위변조가 없다고 판단되는 경우에 상기 클라이언트 단말기로 검증 성공 메시지를 전송하는 검증 처리부를 포함한다.Forgery verification server according to an embodiment of the present invention for solving the above problems, data collection unit for collecting the customer's identification card image information and face image information from the client terminal; an identification verification unit that extracts a photo area from the ID image information and compares the photo area information with the face image information to determine whether or not the person is the same person based on a degree of similarity; an ID forgery verification unit extracting a text area from the ID image information and comparing the information in the text area with an ID verification template corresponding to the ID type to determine whether the customer's ID card is forged or altered; and a verification processing unit that transmits a verification success message to the client terminal when the identity verification unit determines that the identity verification unit is the same person and the ID forgery verification unit determines that there is no forgery.

일실시예에서 상기 검증 처리부는 상기 신분 검증부가 동일인이 아닌 것으로 판단한 경우 상기 클라이언트 단말기 외의 다른 클라이언트 단말기에 상기 신분증 이미지 정보 또는 상기 얼굴 이미지 정보화 함께 제1 알람 메시지를 전송할 수 있다.In an embodiment, the verification processing unit may transmit a first alarm message together with the ID image information or the face image information to a client terminal other than the client terminal when the identification verification unit determines that the identity verification unit is not the same person.

일실시예에서 상기 검증 처리부는 상기 신분증 위변조 검증부가 위변조가 있다고 판단되는 경우에는 상기 클라이언트 단말기 외의 다른 클라이언트 단말기에 상기 신분증 이미지 정보와 함께 제2 알람 메시지를 전송할 수 있다.In one embodiment, the verification processor may transmit a second alarm message together with the ID image information to a client terminal other than the client terminal when the ID forgery verification unit determines that forgery has occurred.

일실시예에서 상기 검증 처리부는 상기 클라이언트 단말기의 위치 정보를 기준으로 미리 설정된 거리 이내에 위치하는 상기 다른 클라이언트 단말기에 상기 제1 알람 메시지 및 상기 제2 알람 메시지를 전송할 수 있다.In one embodiment, the verification processing unit may transmit the first alarm message and the second alarm message to the other client terminal located within a preset distance based on location information of the client terminal.

일실시예에서 상기 제1 알람 메시지 및 상기 제2 알람 메시지에 포함된 상기 신분증 이미지 정보 및 상기 얼굴 이미지 정보는 개인 정보가 노출되지 않도록 암호화될 수 있다.In one embodiment, the ID image information and the face image information included in the first alarm message and the second alarm message may be encrypted so that personal information is not exposed.

일실시예에서 상기 검증 처리부는 상기 데이터 수집부에서 수집된 상기 신분증 이미지 정보 또는 상기 얼굴 이미지 정보가 상기 다른 클라이언트 단말기에서 전송된 상기 제1 알람 메시지 또는 상기 제2 알림 메시지 정보에 매칭되는 경우 상기 클라이언트 단말기로 검증 실패 메시지를 전송할 수 있다.In one embodiment, the verification processing unit, when the ID image information or the face image information collected by the data collection unit matches the first alarm message or the second notification message information transmitted from the other client terminal, the client A verification failure message may be transmitted to the terminal.

또한 본 발명의 일실시예에 따른 복수의 클라이언트 단말기와 네트워크로 연결되는 서버를 이용한 신분 위변조 검증 방법은, (a) 상기 서버가 상기 클라이언트 단말기로부터 고객의 신분증 이미지 정보 및 얼굴 이미지 정보를 수집하는 단계; (b) 상기 서버가 상기 신분증 이미지 정보에서 사진 영역을 추출하고, 상기 사진 영역의 정보와 상기 얼굴 이미지 정보를 비교하여 유사도를 기준으로 동일인 여부를 판단하는 단계; (c) 상기 서버가 상기 이미지 정보에서 텍스트 영역을 추출하고, 상기 텍스트 영역의 정보를 상기 신분증 종류에 대응되는 신분증 검증 템플릿과 비교하여 상기 고객의 신분증의 위변조 여부를 판단하는 단계; 및 (d) 상기 서버는 상기 (b) 단계에서 동일인으로 판단되고, 상기 (c) 단계에서 위변조가 없다고 판단되는 경우에 상기 클라이언트 단말기로 검증 성공 메시지를 전송하는 단계를 포함할 수 있다.In addition, an identity forgery verification method using a server connected to a plurality of client terminals and a network according to an embodiment of the present invention includes: (a) the server collecting customer's ID image information and face image information from the client terminals; ; (b) the server extracting a photo area from the ID image information and comparing the photo area information with the face image information to determine whether they are the same based on similarity; (c) determining, by the server, whether the customer's ID is forged or altered by extracting a text area from the image information and comparing the information in the text area with an ID verification template corresponding to the ID type; and (d) the server transmitting a verification success message to the client terminal when it is determined that the server is the same person in the step (b) and there is no forgery or alteration in the step (c).

일실시예에서 본 발명의 신분 위변조 검증 방법은, (e) 상기 서버는 상기 (b) 단계에서 동일인이 아닌 것으로 판단된 경우 상기 클라이언트 단말기 외의 다른 클라이언트 단말기에 상기 신분증 이미지 정보 또는 상기 얼굴 이미지 정보와 함께 제1 알람 메시지를 전송하는 단계를 더 포함할 수 있다.In one embodiment, in the identity forgery verification method of the present invention, (e) the server sends the ID image information or the face image information to a client terminal other than the client terminal when it is determined that the server is not the same person in step (b). The method may further include transmitting the first alarm message together.

일실시예에서 본 발명의 신분 위변조 검증 방법은, (f) 상기 서버는 상기 (c) 단계에서 위변조가 있다고 판단되는 경우 상기 클라이언트 단말기 외의 다른 클라이언트 단말기에 상기 신분증 이미지 정보와 함께 제2 알람 메시지를 전송하는 단계를 더 포함할 수 있다.In one embodiment, in the identity forgery verification method of the present invention, (f) the server sends a second alarm message together with the ID image information to a client terminal other than the client terminal when it is determined that there is forgery in step (c). A step of transmitting may be further included.

일실시예에서 본 발명의 신분 위변조 검증 방법은, 상기 서버가 상기 클라이언트 단말기의 위치 정보를 기준으로 미리 설정된 거리 이내에 위치하는 상기 다른 클라이언트 단말기에 상기 제1 알람 메시지 및 상기 제2 알람 메시지를 전송하도록 구성될 수 있다.In one embodiment, the identity forgery verification method of the present invention is such that the server transmits the first alarm message and the second alarm message to the other client terminal located within a preset distance based on the location information of the client terminal. can be configured.

본 발명의 일실시예에 따른 신분 위변조 검증 서버 및 방법은 신분증 자체의 위조뿐만 아니라 신분증 소지자와 신분증 상의 사람이 동일인이 아닐 경우도 파악할 수 있는 효과가 있다.The identity forgery verification server and method according to an embodiment of the present invention has an effect of detecting not only forgery of the identification card itself, but also a case where the holder of the identification card and the person on the identification card are not the same person.

또한 본 발명의 일실시예에 따른 신분 위변조 검증 서버 및 방법은 신분 위변조 행위가 발견된 경우 이러한 정보를 활용하여 다양한 사업장에서 보다 더 정확하고 간편한 신분 위변조 검증을 수행할 수 있는 장점이 있다.In addition, the identity forgery verification server and method according to an embodiment of the present invention has the advantage of being able to more accurately and conveniently perform identity forgery verification in various workplaces by utilizing this information when an identity forgery act is discovered.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.Effects according to the present invention are not limited by the contents exemplified above, and more various effects are included in the present specification.

도 1은 본 발명의 일실시예에 따른 신분 위변조 검증 서버가 적용된 네트워크를 나타내는 도면이다.
도 2은 도 1의 신분 위변조 검증 서버의 개략 구성도이다.
도 3은 도 2의 이미지 처리부의 개략 구성도이다.
도 4는 본 발명의 일실시예에 따른 신분 위변조 검증 서버를 이용한 위변조 검증 방법을 설명하는 개략 순서도이다.
도 5는 본 발명의 일실시예에 따른 신분 위변조 검증 서버의 알람 메시지 정보를 활용한 위변조 검증 방법을 설명하는 개략 순서도이다.1 is a diagram showing a network to which an identity forgery verification server according to an embodiment of the present invention is applied.
FIG. 2 is a schematic configuration diagram of an identity forgery verification server of FIG. 1 .
3 is a schematic configuration diagram of an image processing unit of FIG. 2 .
4 is a schematic flowchart illustrating a forgery verification method using an identity forgery verification server according to an embodiment of the present invention.
5 is a schematic flowchart illustrating a forgery verification method using alarm message information of an identity forgery verification server according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention, and methods of achieving them, will become clear with reference to the detailed description of the following embodiments taken in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments make the disclosure of the present invention complete, and common knowledge in the art to which the present invention belongs. It is provided to completely inform the person who has the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numbers designate like elements throughout the specification.

이하, 본 발명의 실시예들에 따른 신분 위변조 검증 서버 및 방법에 대하여 도면을 참고하여 설명하기로 한다.Hereinafter, an identity forgery verification server and method according to embodiments of the present invention will be described with reference to the drawings.

도 1은 본 발명의 일실시예에 따른 신분 위변조 검증 서버가 적용된 네트워크를 나타내는 도면이다.1 is a diagram showing a network to which an identity forgery verification server according to an embodiment of the present invention is applied.

본 명세서에서 본 발명의 신분 위변조 검증 방법은 하나 또는 복수의 서버에 의하여 처리될 수 있으며, 이하에서는 하나의 서버로 이루어진 것을 예로 들어 설명한다.In the present specification, the identity forgery verification method of the present invention may be processed by one or a plurality of servers, and hereinafter, one server will be described as an example.

하지만, 신분 위변조 검증 서버(100)는 하나의 컴퓨터로 이루어지는 것에 한정되는 것은 아니며 하위 구성요소가 별도의 서버로 이루어지는 실시예도 가능하다.However, the identity forgery verification server 100 is not limited to being made of one computer, and an embodiment in which sub-components are made of separate servers is also possible.

신분 위변조 검증 서버(100)는 인터넷망을 통하여 클라이언트 단말기(200)에 신분 위변조 검증을 위한 프로그램, 웹사이트 또는 애플리케이션 등을 제공하는 서버 컴퓨터 등을 의미하며, 클라이언트 단말기(200)는 편의점, 음식점 등 사업장 관리자가 사용하는 스마트폰, 태블릿, 노트북, 컴퓨터 등의 단말기를 의미한다.Identity forgery verification server 100 means a server computer that provides a program, website or application for identity forgery verification to the client terminal 200 through the Internet network, and the client terminal 200 is a convenience store, restaurant, etc. It refers to terminals such as smartphones, tablets, laptops, and computers used by workplace managers.

신분 위변조 검증 서버(100)는 네트워크를 통하여 복수의 클라이언트 단말기(210, 220, 230)에 신분 위변조 검증을 위한 프로그램, 웹사이트 또는 애플리케이션을 제공할 수 있다.The identity forgery verification server 100 may provide a program, website, or application for identity forgery verification to the plurality of client terminals 210, 220, and 230 through a network.

신분 위변조 검증 서버(100)는 클라이언트 단말기(200)에 제공하는 프로그램, 웹사이트 또는 애플리케이션은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독가능 매체에 기록될 수 있다. 상기 컴퓨터 판독가능매체는 프로그램 명령, 데이터 파일, 데이터 구조 등이 단독으로 또는 조합으로 구성될 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수 있다.A program, website or application provided by the identity forgery verification server 100 to the client terminal 200 may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. The computer readable medium may be composed of program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the medium may be those specially designed and configured for the present invention or those known and usable to those skilled in computer software.

도 1을 참조하면 본 발명의 일실시예에 따른 신분 위변조 검증 서버(100)는 데이터 수집부(110), 이미지 처리부(120), 텍스트 추출부(130), 신분 검증부(140), 신분증 위변조 검증부(150), 검증 처리부(160) 및 데이터베이스(170)를 포함하여 구성된다.Referring to FIG. 1, the identity forgery verification server 100 according to an embodiment of the present invention includes a data collection unit 110, an image processing unit 120, a text extraction unit 130, an identity verification unit 140, and an identification card forgery It is configured to include a verification unit 150 , a verification processing unit 160 and a database 170 .

데이터 수집부(100)는 클라이언트 단말기(200)로부터 고객의 신분증 이미지 정보 및 얼굴 이미지 정보를 수집하는 역할을 한다.The data collection unit 100 serves to collect customer ID image information and face image information from the client terminal 200 .

이때, 클라이언트 단말기(200)는 고객의 신분증 및 얼굴을 촬영 또는 스캔함으로써 고객의 신분증 이미지 정보 및 얼굴 이미지 정보를 획득할 수 있다. 이때, 클라이언트 단말기(200)에 의해 구동되는 클라이언트 프로그램과 카메라 기능이 연동하여 이미지 촬영 기능을 수행할 수 있다.At this time, the client terminal 200 may acquire the customer's ID card image information and face image information by photographing or scanning the customer's ID card and face. At this time, a client program driven by the client terminal 200 and a camera function may interlock to perform an image capturing function.

하지만 이는 일실시예일 뿐이며, 클라이언트 단말기(200)가 직접 촬영 또는 스캔하는 것이 아닌 다른 단말기에 의하여 촬영 또는 스캔된 이미지를 수신하는 방법도 가능하다.However, this is only one embodiment, and a method of receiving an image captured or scanned by another terminal rather than directly photographed or scanned by the client terminal 200 is also possible.

예를 들어, 점포에 클라이언트 단말기(200)외의 별도 촬영용 카메라 또는 스캐너가 존재하는 경우 점포에 방문한 고객은 신분증과 자신의 얼굴을 상기 카메라 또는 스캐너를 통하여 촬영 또는 스캔할 수 있으며, 이렇게 획득된 이미지 데이터가 유무선 네트워크를 통하여 클라이언트 단말기(200)로 전송되는 것이 가능하다.For example, if a store has a camera or scanner for taking pictures other than the client terminal 200, a customer who visits the store can photograph or scan his or her ID and his/her face through the camera or scanner, and image data obtained in this way. It is possible to be transmitted to the client terminal 200 through a wired or wireless network.

상기와 같은 방법으로 클라이언트 단말기(200)가 고객의 신분증 이미지 정보 및 얼굴 이미지 정보를 수집하면 유무선 네트워크를 통하여 고객의 신분증 이미지 정보 및 얼굴 이미지 정보를 데이터 수집부(100)로 전송한다.When the client terminal 200 collects the customer's ID image information and face image information in the above manner, it transmits the customer's ID image information and face image information to the data collection unit 100 through a wired or wireless network.

이미지 처리부(120)는 데이터 수집부(100)로부터 상기 신분증 이미지 정보 및 얼굴 이미지 정보를 전달받고, 신분증 이미지 정보에서 텍스트 영역 및 사진 영역을 추출하고, 상기 사진 영역의 정보와 얼굴 이미지 정보의 특징점 정보를 추출하는 역할을 한다.The image processing unit 120 receives the ID image information and face image information from the data collection unit 100, extracts a text area and a photo area from the ID image information, and extracts the photo area information and feature point information of the face image information. plays a role in extracting

이미지 처리부(120)는 각종 신분증 종류에 대응되는 최적 이미지 처리 프로세스를 미리 구축하고 있으며, 주민등록증, 운전면허증 등의 신분증에 대하여 텍스트 영역 및 사진 영역으로 데이터를 구분하여 추출한다.The image processing unit 120 builds an optimal image processing process corresponding to various ID types in advance, and extracts data by dividing data into a text area and a photo area for ID cards such as a resident registration card and a driver's license.

이미지 처리부(120)는 추출된 텍스트 영역의 정보에서는 기 공지된 OCR(Optical Character Recognition) 방식 등을 이용하여 텍스트 정보를 추출할 수 있다.The image processing unit 120 may extract text information from the information of the extracted text area using a known OCR (Optical Character Recognition) method.

이미지 처리부(120)는 추출된 사진 영역의 정보 및 얼굴 이미지 정보로부터 특징점을 추출하는 방법으로 얼굴인식을 수행한다.The image processing unit 120 performs face recognition by extracting feature points from the information of the extracted photo area and face image information.

구체적으로 도 3을 참조하면 이미지 처리부(120)는 특징점 추출부(120), 눈코입 검출부(123) 및 윤곽 검출부(125)를 포함하여 구성된다.Specifically, referring to FIG. 3 , the image processing unit 120 includes a feature point extraction unit 120 , an eye nose detection unit 123 and an outline detection unit 125 .

특징점 추출부(120)는 상기 설명한 바와 같이 신분증 이미지에서 추출된 사진 영역의 정보와 고객의 실제 얼굴을 촬영한 얼굴 이미지 정보로부터 특징점을 추출하는 역할을 한다. As described above, the feature point extraction unit 120 serves to extract feature points from the photo area information extracted from the ID card image and facial image information of the customer's actual face.

이때, 특징점 추출 방법은 공지된 딥러닝 모델 학습 방법을 사용할 수 있으며, SIFT(Scale Invariant Feature Transform) 및 SURF(Speeded Up Robust Feature) 등의 알고리즘이 사용될 수 있다.In this case, as the feature point extraction method, a known deep learning model learning method may be used, and algorithms such as Scale Invariant Feature Transform (SIFT) and Speeded Up Robust Feature (SURF) may be used.

눈코입 검출부(123) 및 윤곽 검출부(125)는 특징점 추출부(120)에서 추출된 특징점들을 기반으로 하여 딥러닝 학습 모델에 기반하여 눈코입을 검출하고 턱선 등의 얼굴 윤곽을 검출하는 역할을 한다.The eyes, nose, and mouth detection unit 123 and the contour detection unit 125 serve to detect the eyes, nose, and mouth based on the deep learning learning model based on the feature points extracted by the feature point extraction unit 120 and detect facial contours such as jawlines.

이미지 처리부(120)가 사용하는 상기의 딥러닝 학습 모델을 미리 구축된 학습 모델을 포함한 DB에 의하여 수행될 수 있으며, 실시간으로 수집되는 입력 데이터를 기반으로 학습되도록 구성될 수 있다. The deep learning learning model used by the image processing unit 120 may be performed by a DB including a pre-built learning model, and may be configured to be learned based on input data collected in real time.

신분 검증부(140)는 사진 영역의 정보 및 얼굴 이미지의 특징점 정보 등을 비교하여 유사도를 기준으로 동일인 여부를 판단하는 역할을 한다.The identity verification unit 140 compares the information of the photo area and the feature point information of the face image, and determines whether or not the same person is the same based on similarity.

즉, 고객의 신분증에서 추출된 사진 영역의 특징점들과 고객의 얼굴의 사진에서 추출된 특징점들을 비교하여 유사도 기준으로 동일인 여부를 판단할 수 있다.That is, by comparing the feature points of the photo area extracted from the customer's identification card with the feature points extracted from the customer's face photo, it is possible to determine whether the user is the same person based on the degree of similarity.

이때, 신분 검증부(140)는 신분증의 생성 날짜와 현재 날짜와 미리 설정된 기준 이상으로 차이가 있거나 하는 등의 경우에는 고객의 신분증에서 추출된 얼굴 이미지를 현재 시점에 맞게 변화시키는 작업을 추가로 수행할 수 있다.At this time, the identity verification unit 140 additionally changes the facial image extracted from the customer's ID card to match the current point of view when there is a difference between the ID generation date and the current date by more than a preset standard. can do.

즉, 신분 검증부(140)는 사람의 성별, 나이별, 얼굴 형태별로 구축된 나이별 얼굴 모델 데이터를 기반으로 신분증 상의 얼굴 이미지를 현재 시점의 나이에 맞게 보정하는 작업을 수행할 수 있으며, 이 보정된 데이터와 촬영된 얼굴 데이터를 비교하여 동일인 여부를 판별할 수 있다.That is, the identity verification unit 140 may perform an operation of correcting the face image on the ID card to match the current age based on age-specific face model data constructed for each person's gender, age, and face shape. It is possible to determine whether the corrected data is the same person by comparing the corrected data with the photographed face data.

이때, 신분증 상의 얼굴 이미지를 현재 시점의 나이에 맞게 보정하는 것은 신분 검증부(140)가 외부에 공개된 오픈 소스 프로그램을 호출하여 수행하는 것도 가능하다.At this time, it is also possible to correct the face image on the ID card according to the current age by calling an open source program open to the outside by the identity verification unit 140 .

신분증 위변조 검증부(150)는 신분증 이미지 정보에서 추출된 텍스트 정보를 신분증 종류에 대응되는 신분증 검증 템플릿과 비교하여 고객의 신분증의 위변조 여부를 판단하는 역할을 한다.The ID forgery verification unit 150 compares the text information extracted from the ID image information with the ID verification template corresponding to the ID type to determine whether the customer's ID is forged or altered.

이때, 신분증 검증 템플릿은 각각의 신분증 종류에 대응되도록 신분증 번호 생성 규칙이 적용된 템플릿 정보를 의미한다. 만약, 신분증이 위조되어 이러한 규칙에 맞지 않는 번호 등의 텍스트가 포함된 경우 신분증 검증 템플릿에 의하여 위변조 여부가 검출될 수 있다.In this case, the ID verification template means template information to which ID number generation rules are applied to correspond to each ID type. If the ID card is forged and contains text such as a number that does not conform to these rules, forgery or alteration can be detected by the ID verification template.

신분증 위변조 검증부(150)는 이러한 신분증 검증 템플릿을 외부 기관으로부터 미리 습득하여 미리 구축하고 이를 이용하여 상기 위변조 검출을 수행할 수도 있고, 외부에 공개된 오픈소스 프로그램을 호출하여 이를 수행하도록 할 수도 있다.The ID forgery verification unit 150 may acquire and build such an ID verification template in advance from an external institution and use it to perform the forgery detection, or may call an open source program open to the outside to perform it. .

검증 처리부(160)는 신분 검증부(140)가 신분증 상의 사진 영역에 표시된 사람과 실제 고객의 촬영된 사진 속의 사람이 동일인이라고 판단되고, 신분증 위변조 검증부(150)가 위변조가 없다고 판단되는 경우에 클라이언트 단말기(200)로 검증 성공 메시지를 전송할 수 있다.The verification processing unit 160 determines that the person displayed in the photo area on the ID card and the person in the photographed photo of the real customer are the same person, and the identification forgery verification unit 150 determines that there is no forgery. A verification success message may be transmitted to the client terminal 200 .

검증 처리부(160)는 신분 검증부가(140)가 동일인이 아닌 것으로 판단한 경우 클라이언트 단말기(200) 외의 다른 클라이언트 단말기에 신분증 이미지 정보 또는 얼굴 이미지 정보와 함께 제1 알람 메시지를 전송할 수 있다.The verification processing unit 160 may transmit a first alarm message together with ID image information or face image information to a client terminal other than the client terminal 200 when the identification verification unit 140 determines that the identity verification unit 140 is not the same person.

또한, 검증 처리부(160)는 신분증 위변조 검증부(150)가 위변조가 있다고 판단되는 경우에는 클라이언트 단말기(200) 외의 다른 클라이언트 단말기에 신분증 이미지 정보와 함께 제2 알람 메시지를 전송할 수 있다.In addition, the verification processing unit 160 may transmit a second alarm message together with the ID image information to client terminals other than the client terminal 200 when the ID forgery verification unit 150 determines that there is forgery.

이때, 검증 처리부(160)는 클라이언트 단말기(200)의 위치 정보를 기준으로 미리 설정된 거리 이내에 위치하는 다른 클라이언트 단말기에 제1 알람 메시지 및 제2 알람 메시지를 전송할 수 있다.In this case, the verification processing unit 160 may transmit the first alarm message and the second alarm message to other client terminals located within a preset distance based on the location information of the client terminal 200 .

제1 알람 메시지 및 제2 알람 메시지에 포함된 신분증 이미지 정보 및 얼굴 이미지 정보는 개인 정보가 노출되지 않도록 암호화 처리될 수 있다.ID image information and face image information included in the first alarm message and the second alarm message may be encrypted so that personal information is not exposed.

검증 처리부(160)의 알람 메시지 전송과 관련된 동작은 도 4 및 도 5를 참조하여 뒤에서 상술한다.Operations related to the alarm message transmission of the verification processor 160 will be described later with reference to FIGS. 4 and 5 .

데이터베이스(170)는 신분 위변조 검증 서버(100)의 동작과 관련된 프로그램의 동작을 위하여 미리 학습 모델 등의 데이터를 미리 구축하여 보관하는 역할을 한다. 또한, 데이터베이스(170)는 데이터 수집부(100)에서 수집된 데이터와 이미지 처리부(120) 등의 구성에 의하여 처리된 출력 데이터를 저장하는 역할을 한다.The database 170 serves to build and store data such as a learning model in advance for the operation of programs related to the operation of the identity forgery verification server 100. In addition, the database 170 serves to store data collected by the data collection unit 100 and output data processed by components such as the image processing unit 120.

데이터베이스(170)는 신분 위변조 검증 서버(100)의 하위 구성요소로 저장 장치인 것으로 도시되어 있으나, 별도의 서버 컴퓨터 등으로 구성하는 것도 가능하다.Although the database 170 is shown as a storage device as a sub-component of the identity forgery verification server 100, it is also possible to configure it as a separate server computer.

도 4는 본 발명의 일실시예에 따른 신분 위변조 검증 서버를 이용한 위변조 검증 방법을 설명하는 개략 순서도이며, 도 5는 본 발명의 일실시예에 따른 신분 위변조 검증 서버의 알람 메시지 정보를 활용한 위변조 검증 방법을 설명하는 개략 순서도이다.4 is a schematic flowchart illustrating a forgery verification method using an identity forgery verification server according to an embodiment of the present invention, and FIG. 5 is a forgery verification method using alarm message information of an identity forgery verification server according to an embodiment of the present invention. It is a schematic flow chart explaining the verification method.

도 4를 참조하면 신분 위변조 검증 서버(100)는 데이터 수집부(110)를 통하여 신분증 이미지 정보를 수집하고(S410), 얼굴 이미지 정보를 수집한다(S420).Referring to FIG. 4 , the identity forgery verification server 100 collects ID image information through the data collection unit 110 (S410) and collects face image information (S420).

이미지 처리부(120)는 신분증 이미지 정보로부터 텍스트 및 사진 영역을 추출하고(S412), 사진 영역의 특징점 정보를 추출한다(S414).The image processing unit 120 extracts text and photo areas from the ID image information (S412), and extracts feature point information of the photo area (S414).

텍스트 추출부(130)는 신분증 이미지로부터 추출된 텍스트 영역으로부터 텍스트 정보를 추출한다(S416).The text extraction unit 130 extracts text information from the text area extracted from the ID image (S416).

또한, 이미지 처리부(120)는 얼굴 이미지의 특징점 정보를 추출한다(S422).Also, the image processing unit 120 extracts feature point information of the face image (S422).

신분 검증부(140)는 신분증의 사진 속의 사람과 실제 촬영된 고객이 동일인인지를 판단한다(S430).The identity verification unit 140 determines whether the person in the photo on the ID card and the customer actually photographed are the same person (S430).

단계 S430에서 동일인이 아니라고 판단되면 검증 처리부(160)는 클라이언트 단말기(200)로 검증 실패 메시지를 전송하고(S460), 미리 설정된 거리 이내에 위치하는 다른 클라이언트 단말기에 알람 메시지를 전송한다(S470).If it is determined that the user is not the same person in step S430, the verification processing unit 160 transmits a verification failure message to the client terminal 200 (S460) and transmits an alarm message to other client terminals located within a preset distance (S470).

편의상 S430 단계에서 동일인이 아니라고 판단되어 다른 클라이언트에 전송되는 알람 메시지를 제1 알람 메시지라고 칭한다. For convenience, an alarm message determined to be not the same person in step S430 and transmitted to another client is referred to as a first alarm message.

제1 알람 메시지에는 신분증 이미지 정보 또는 얼굴 이미지 정보가 포함될 수 있다. 제1 알람 메시지를 전송받은 다른 클라이언트 단말기는 수신된 제1 알람 메시지에 포함된 신분증 이미지 정보 또는 얼굴 이미지 정보를 활용하여 위변조 검증에 사용할 수 있다.The first alarm message may include ID image information or face image information. Other client terminals that have received the first alarm message may use ID image information or face image information included in the received first alarm message for forgery verification.

이때, 개인정보보호의 측면상 신분증 이미지 정보 또는 얼굴 이미지 정보는 암호화 처리될 수 있다. 이때, 암호화 처리는 일반적인 복호화 및 암호화 처리에서 사용되는 암호화 개념은 물론, 실질적으로 개인정보가 노출이 되지 않도록 비식별 처리를 하는 광의의 개념이다.At this time, in terms of personal information protection, ID image information or face image information may be encrypted. At this time, the encryption process is a concept of encryption used in general decryption and encryption processes, as well as a broad concept of non-identification processing so that personal information is not substantially exposed.

예를 들어, 신분증상의 이미지 및 촬영된 고객의 이미지 정보를 그대로 다른 클라이언트 단말기에 전송하는 경우에는 해당 클라이언트 단말기의 관리자가 해당 사진을 보고 신원 식별이 가능하므로 개인정보의 노출 위험이 있다.For example, when an image on an ID and image information of a captured customer are transmitted to other client terminals as they are, there is a risk of exposure of personal information because the manager of the corresponding client terminal can identify the identity by looking at the corresponding picture.

따라서, 제1 알람 메시지에 포함되는 신분증 이미지 정보 및 얼굴 이미지 정보는 실제 사진이 클라이언트 단말기에 표시되지 않도록 이진화된 데이터의 형식으로만 전송될 수 있다. 또한, 신분증 이미지 정보 및 얼굴 이미지 정보는 주요 특징점 정보의 이진화된 데이터일 수 있다. Accordingly, the ID image information and the face image information included in the first alarm message may be transmitted only in the form of binary data so that the actual photo is not displayed on the client terminal. Also, the ID image information and the face image information may be binarized data of key feature point information.

하지만 상기는 일실시예일 뿐이며, 필요한 경우 보안상의 목적상 제1 알람 메시지는 기 공지된 다양한 암호화 기법을 이용하여 암호화되어 전송되고 필요시 복호화 처리될 수 있다.However, the above is only an example, and if necessary, for security purposes, the first alarm message may be encrypted and transmitted using various known encryption techniques, and decrypted if necessary.

단계 S430 단계에서 동일인인이라고 판단되면, 신분증 위변조 검증부(150)는 신분증 이미지 정보를 기반으로 신분증이 위변조 되었는지를 판단한다(S440).If it is determined that the ID is the same person in step S430, the ID forgery verification unit 150 determines whether the ID is forged or altered based on the ID image information (S440).

단계 S440에서 신분증이 위변조 되었다고 판단되면, 클라이언트 단말기(200)로 검증 실패 메시지를 전송하고(S460), 미리 설정된 거리 이내에 위치하는 다른 클라이언트 단말기에 알람 메시지를 전송한다(S470).If it is determined in step S440 that the identification card has been forged or altered, a verification failure message is transmitted to the client terminal 200 (S460), and an alarm message is transmitted to other client terminals located within a preset distance (S470).

편의상 S440 단계에서 동일인이 아니라고 판단되어 다른 클라이언트에 전송되는 알람 메시지를 제2 알람 메시지라고 칭한다. For convenience, an alarm message determined to be not the same person in step S440 and transmitted to another client is referred to as a second alarm message.

제2 알람 메시지에는 신분증 이미지 정보가 포함될 수 있다. 제2 알람 메시지를 전송받은 다른 클라이언트 단말기는 수신된 제2 알람 메시지에 포함된 신분증 이미지 정보를 활용하여 위변조 검증에 사용할 수 있다.The second alarm message may include ID image information. Other client terminals that have received the second alarm message can use the ID image information included in the received second alarm message to verify forgery and alteration.

제2 알람 메시지에 포함된 신분증 이미지 정보도 상기 설명한 바와 같이 제1 알람 메시지와 같은 방법으로 암호화 처리될 수 있다.ID image information included in the second alarm message may also be encrypted in the same way as in the first alarm message as described above.

단계 S460에 포함된 검증 실패 메시지에는 제1 알람 메시지인 경우에는 신분증상의 인물과 실제 고객의 촬영 이미지 속의 인물이 다르다는 이유로 신분이 위변조되었다는 정보가 포함되어, 제2 알람 메시지인 경우에는 고객의 신분증 자체가 위변조되었다는 정보가 포함될 수 있다.In the case of the first alarm message, the verification failure message included in step S460 includes information indicating that the identity of the customer has been forged due to the fact that the person on the ID is different from the person in the photographed image of the customer in real life. In the case of the second alarm message, the customer's ID itself may include information that has been forged.

단계 S470의 알람 메시지 전송은 신분 위변조 검증 서버(100)에 의하여 수행되며, 정보를 제공한 클라이언트 단말기(200)의 GPS 정보와 같은 위치 정보에 기반하여 해당 위치로부터 미리 설정된 거리(예를 들어, 2km 등) 내에 존재하는 클라이언트 단말기에 알람 메시지를 전송할 수 있다.The alarm message transmission of step S470 is performed by the identity forgery verification server 100, and a preset distance (eg, 2 km) from the location based on location information such as GPS information of the client terminal 200 that provided the information. etc.) can transmit an alarm message to a client terminal existing in the

즉, 신분 위변조 검증 서버(100)는 신분 또는 신분증 위변조가 감지된 경우 제1 알람 메시지 또는 제2 알람 메시지를 다른 클라이언트 단말기에 해당 정보를 전송하게 되는데 이러한 경우에 알람 메시지를 활용한 위변조 검증 방법을 도 5를 참조하여 설명한다.That is, the identity forgery verification server 100 transmits the first alarm message or the second alarm message to other client terminals when identity or ID forgery is detected. In this case, a forgery verification method using an alarm message is provided. This will be described with reference to FIG. 5 .

도 5는 도 1 내지 도 4의 상황과 달리 신분 위변조 검증 서버(100)가 알람 메시지를 수신한 다른 클라이언트 단말기에 대하여 신분 위변조 검증을 하는 방법을 설명하는 순서도이다.5 is a flowchart illustrating a method in which the identity forgery verification server 100 verifies identity forgery for another client terminal that has received an alarm message, unlike the situations of FIGS. 1 to 4 .

신분 위변조 검증 서버(100)의 검증 처리부(160)는 다른 클라이언트 단말기가 알람 메시지를 수신한 것인지를 판단한다(S510).The verification processing unit 160 of the identity forgery verification server 100 determines whether another client terminal has received an alarm message (S510).

단계 S510에서 알람 메시지를 수신하지 않았다고 판단되면 단계 S530으로 넘어가 동일인인지 여부를 판단한다(S530).If it is determined that the alarm message has not been received in step S510, it is determined whether the same person is transferred to step S530 (S530).

단계 S510에서 알람 메시지를 수신한 경우라고 판단되면 검증 처리부(160)는 수신된 알람 메시지와 다른 클라이언트 단말기에 수신된 고객의 신분증 이미지 정보 및 얼굴 이미지 정보를 비교하여 매칭 정보가 존재하는 지를 판단한다(S520).If it is determined that the alarm message is received in step S510, the verification processing unit 160 compares the received alarm message with the ID image information and face image information of the customer received from other client terminals to determine whether matching information exists ( S520).

이때, 검증 처리부(160)는 알람 메시지에 포함된 신분증 정보와 신분증 이미지 정보와 매칭되거나, 알람 메시지에 포함된 얼굴 정보와 얼굴 이미지 정보와 매칭되는 경우에 매칭된 것으로 판단할 수 있다.In this case, the verification processing unit 160 may determine that the ID information included in the alarm message matches the ID image information or the face information included in the alarm message matches the face image information.

이런 방식으로 신분 위변조 검증 서버(100)가 위변조 검증을 요청한 클라이언트 단말기가 알람 메시지를 수신한 경우에 알람 메시지에 포함된 정보를 기반으로 위변조 검증을 수행함으로써 데이터 처리 시간을 단축할 수 있을 뿐만 아니라 신분증 정보 또는 고객의 얼굴 이미지 만으로 점포에 배치된 클라이언트 단말기에 신속하게 경고 또는 알람 메시지를 전송할 수 있는 장점을 가진다.In this way, when the client terminal for which the identity forgery verification server 100 has requested forgery verification receives an alarm message, not only can the data processing time be shortened by performing forgery verification based on the information included in the alarm message, but also It has the advantage of being able to quickly send a warning or alarm message to a client terminal disposed in a store only with information or a customer's face image.

단계 S520에서 매칭 정보가 존재한 경우로 판단되면 매칭 정보를 호출하고(S560), 매칭 정보에 기반한 검증 실패 메시지를 생성하여 다른 클라이언트 단말기에 해당 메시지를 전송한다(S570).If it is determined in step S520 that matching information exists, matching information is called (S560), a verification failure message is generated based on the matching information, and the corresponding message is transmitted to other client terminals (S570).

단계 S520에서 매칭 정보가 존재하지 않다고 판단되면 검증 처리부(160)는 동일인 여부를 판단하고(S530), 위변조 여부를 판단한다(540). If it is determined that matching information does not exist in step S520, the verification processing unit 160 determines whether the user is the same (S530), and determines whether or not it has been forged or altered (540).

단계 S530에서 동일인으로 판단되고, 단계 S540에서 위변조가 없다고 판단되면 검증 처리부(160)는 다른 클라이언트 단말기에 검증 성공 메시지를 전송한다(S550). 이때, 검증 성공 메시지란 해당 고객이 신분 또는 신분증 위조가 없어서 본인 확인이 정상적으로 되었다는 메시지를 의미한다.If it is determined in step S530 that the user is the same person and there is no forgery or alteration in step S540, the verification processing unit 160 transmits a verification success message to another client terminal (S550). At this time, the verification success message means a message indicating that the identity of the corresponding customer has been successfully verified because there is no identity or ID forgery.

단계 S530에서 동일인이 아니라고 판단되거나, 단계 S540에서 위변조가 존재한다고 판단되면 검증 처리부(160)는 검증 실패 메시지를 전송한다(S570).If it is determined in step S530 that they are not the same person or if it is determined that forgery exists in step S540, the verification processing unit 160 transmits a verification failure message (S570).

이때, 검증 실패 매시지에는 구체적으로 신분 위조가 있는지 아니면 신분증 위조가 있는지 또는 모두에 해당하는지 등 구체적인 정보가 포함될 수 있다.At this time, the verification failure message may include specific information such as whether there is identity forgery, ID forgery, or both.

본 발명의 일실시예에 따른 신분 위변조 검증 서버 및 이를 이용한 신분 위변조 검증 방법에 의하면 상기와 같은 방법으로 신분증의 위조뿐만 아니라 신분증과 신분증 소지자의 신원 정보가 다른 경우도 손쉽게 검증할 수 있어 점포 등에서 미성년자 등의 신원 확인을 신속하고 효율적으로 할 수 있게 한다.According to an identity forgery verification server and an identity forgery verification method using the same according to an embodiment of the present invention, it is possible to easily verify not only forgery of an ID card but also when the identity information of the ID card and the holder of the ID card is different, so that minors in stores, etc. This allows for quick and efficient verification of identity.

또한, 본 발명의 신분 위변조 검증 서버 및 방법은 신분 위조 또는 신분증 위조가 발견된 경우 인근의 클라이언트 단말기에 해당 정보를 공유하여 사전에 사고를 예방할 수 있으며, 서버 측에서도 보다 빠르게 신분 위조 또는 신분증 위조를 판단할 수 있는 장점을 가진다.In addition, the identity forgery verification server and method of the present invention can prevent accidents in advance by sharing the information with nearby client terminals when identity forgery or ID forgery is discovered, and the server side also determines identity forgery or ID forgery more quickly. has the advantage of being able to

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Those skilled in the art to which the present invention pertains will understand that the present invention can be embodied in other specific forms without changing its technical spirit or essential features. Therefore, the embodiments described above should be understood as illustrative in all respects and not limiting. The scope of the present invention is indicated by the following claims rather than the detailed description above, and all changes or modifications derived from the meaning and scope of the claims and equivalent concepts should be interpreted as being included in the scope of the present invention. do.

100: 신분 위변조 검증 서버 110: 데이터 수집부
120: 이미지 처리부 121: 특징점 추출부
123: 눈코입 추출부 125: 윤곽 검출부
130: 텍스트 추출부 140: 신분 검증부
150: 신분증 위변조 검증부 160: 검증 처리부
170: 데이터베이스 200: 클라이언트 단말기100: identity forgery verification server 110: data collection unit
120: image processing unit 121: feature point extraction unit
123: eye nose and mouth extraction unit 125: contour detection unit
130: text extraction unit 140: identity verification unit
150: ID forgery verification unit 160: verification processing unit
170: database 200: client terminal

Claims (10)

클라이언트 단말기로부터 고객의 신분증 이미지 정보 및 얼굴 이미지 정보를 수집하는 데이터 수집부;
상기 신분증 이미지 정보에서 텍스트 영역 및 사진 영역을 추출하고, 상기 사진 영역의 정보 및 상기 얼굴 이미지 정보의 특징점 정보를 추출하는 이미지 처리부;
상기 텍스트 영역의 정보로부터 텍스트 정보를 추출하는 텍스트 추출부;
상기 사진 영역의 정보 및 상기 얼굴 이미지 정보의 특징점 정보를 비교하여 유사도를 기준으로 동일인 여부를 판단하는 신분 검증부;
상기 추출된 텍스트 정보를 상기 신분증 종류에 대응되는 신분증 검증 템플릿과 비교하여 상기 고객의 신분증의 위변조 여부를 판단하는 신분증 위변조 검증부; 및
상기 신분 검증부가 동일인으로 판단하고, 상기 신분증 위변조 검증부가 위변조가 없다고 판단되는 경우에 상기 클라이언트 단말기로 검증 성공 메시지를 전송하는 검증 처리부를 포함하는 신분 위변조 검증 서버.a data collection unit that collects customer ID image information and face image information from the client terminal;
an image processor extracting a text area and a photo area from the ID image information, and extracting information of the photo area and feature point information of the face image information;
a text extraction unit extracting text information from information in the text area;
an identification verification unit comparing information of the photo area and feature point information of the face image information to determine whether or not the person is the same person based on a degree of similarity;
an ID forgery verification unit that compares the extracted text information with an ID verification template corresponding to the ID type to determine whether the customer's ID is forged or altered; and
and a verification processing unit configured to transmit a verification success message to the client terminal when the identity verification unit determines that the ID verification unit is the same person and the identity verification unit determines that there is no forgery. 제1항에 있어서,
상기 검증 처리부는 상기 신분 검증부가 동일인이 아닌 것으로 판단한 경우 상기 클라이언트 단말기 외의 다른 클라이언트 단말기에 상기 신분증 이미지 정보 또는 상기 얼굴 이미지 정보화 함께 제1 알람 메시지를 전송하는 신분 위변조 검증 서버.According to claim 1,
wherein the verification processing unit transmits a first alarm message together with the ID image information or the facial image information to a client terminal other than the client terminal when the identity verification unit determines that the identity verification unit is not the same person. 제2항에 있어서,
상기 검증 처리부는 상기 신분증 위변조 검증부가 위변조가 있다고 판단되는 경우에는 상기 클라이언트 단말기 외의 다른 클라이언트 단말기에 상기 신분증 이미지 정보와 함께 제2 알람 메시지를 전송하는 신분 위변조 검증 서버.According to claim 2,
wherein the verification processing unit transmits a second alarm message together with the ID image information to client terminals other than the client terminal when the ID forgery verification unit determines that there is forgery. 제3항에 있어서,
상기 검증 처리부는 상기 클라이언트 단말기의 위치 정보를 기준으로 미리 설정된 거리 이내에 위치하는 상기 다른 클라이언트 단말기에 상기 제1 알람 메시지 및 상기 제2 알람 메시지를 전송하는 신분 위변조 검증 서버.According to claim 3,
wherein the verification processing unit transmits the first alarm message and the second alarm message to the other client terminal located within a preset distance based on the location information of the client terminal. 제4항에 있어서,
상기 제1 알람 메시지 및 상기 제2 알람 메시지에 포함된 상기 신분증 이미지 정보 및 상기 얼굴 이미지 정보는 개인 정보가 노출되지 않도록 암호화된 것을 특징으로 하는 신분 위변조 검증 서버.According to claim 4,
The ID image information and the face image information included in the first alarm message and the second alarm message are encrypted so that personal information is not exposed. 제3항에 있어서,
상기 검증 처리부는 상기 데이터 수집부에서 수집된 상기 신분증 이미지 정보 또는 상기 얼굴 이미지 정보가 상기 다른 클라이언트 단말기에서 전송된 상기 제1 알람 메시지 또는 상기 제2 알림 메시지 정보에 매칭되는 경우 상기 클라이언트 단말기로 검증 실패 메시지를 전송하는 신분 위변조 검증 서버.According to claim 3,
The verification processing unit fails verification to the client terminal when the ID image information or the face image information collected by the data collection unit matches the first alarm message or the second notification message information transmitted from the other client terminal. Identity forgery verification server that transmits messages. 복수의 클라이언트 단말기와 네트워크로 연결되는 서버를 이용한 신분 위변조 검증 방법에 있어서,
(a) 상기 서버가 상기 클라이언트 단말기로부터 고객의 신분증 이미지 정보 및 얼굴 이미지 정보를 수집하는 단계;
(b) 상기 서버가 상기 신분증 이미지 정보에서 사진 영역을 추출하고, 상기 사진 영역의 정보와 상기 얼굴 이미지 정보를 비교하여 유사도를 기준으로 동일인 여부를 판단하는 단계;
(c) 상기 서버가 상기 이미지 정보에서 텍스트 영역을 추출하고, 상기 텍스트 영역의 정보를 상기 신분증 종류에 대응되는 신분증 검증 템플릿과 비교하여 상기 고객의 신분증의 위변조 여부를 판단하는 단계; 및
(d) 상기 서버는 상기 (b) 단계에서 동일인으로 판단되고, 상기 (c) 단계에서 위변조가 없다고 판단되는 경우에 상기 클라이언트 단말기로 검증 성공 메시지를 전송하는 단계를 포함하는 신분 위변조 검증 방법.In the identity forgery verification method using a server connected to a plurality of client terminals and a network,
(a) collecting, by the server, ID image information and face image information of the customer from the client terminal;
(b) the server extracting a photo area from the ID image information and comparing the photo area information with the face image information to determine whether they are the same based on similarity;
(c) determining, by the server, whether the customer's ID is forged or altered by extracting a text area from the image information and comparing the information in the text area with an ID verification template corresponding to the ID type; and
(d) the server transmitting a verification success message to the client terminal when it is determined that the server is the same person in the step (b) and there is no forgery or alteration in the step (c). 제7항에 있어서,
(e) 상기 서버는 상기 (b) 단계에서 동일인이 아닌 것으로 판단된 경우 상기 클라이언트 단말기 외의 다른 클라이언트 단말기에 상기 신분증 이미지 정보 또는 상기 얼굴 이미지 정보와 함께 제1 알람 메시지를 전송하는 단계를 더 포함하는 신분 위변조 검증 방법.According to claim 7,
(e) the server further comprising the step of transmitting a first alarm message together with the ID image information or the face image information to a client terminal other than the client terminal when it is determined that they are not the same person in step (b) Identity forgery verification method. 제8항에 있어서,
(f) 상기 서버는 상기 (c) 단계에서 위변조가 있다고 판단되는 경우 상기 클라이언트 단말기 외의 다른 클라이언트 단말기에 상기 신분증 이미지 정보와 함께 제2 알람 메시지를 전송하는 단계를 더 포함하는 신분 위변조 검증 방법.According to claim 8,
(f) the server further comprising transmitting, by the server, a second alarm message together with the ID image information to a client terminal other than the client terminal when it is determined that there is forgery or alteration in step (c). 제9항에 있어서,
상기 서버는 상기 클라이언트 단말기의 위치 정보를 기준으로 미리 설정된 거리 이내에 위치하는 상기 다른 클라이언트 단말기에 상기 제1 알람 메시지 및 상기 제2 알람 메시지를 전송하는 것을 특징으로 하는 신분 위변조 검증 방법.According to claim 9,
Wherein the server transmits the first alarm message and the second alarm message to the other client terminal located within a preset distance based on the location information of the client terminal.
KR1020210154645A 2021-11-11 2021-11-11 Identification verification server for detecting forgery and identification verificatio method using the same KR102609220B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210154645A KR102609220B1 (en) 2021-11-11 2021-11-11 Identification verification server for detecting forgery and identification verificatio method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210154645A KR102609220B1 (en) 2021-11-11 2021-11-11 Identification verification server for detecting forgery and identification verificatio method using the same

Publications (2)

Publication Number Publication Date
KR20230068643A true KR20230068643A (en) 2023-05-18
KR102609220B1 KR102609220B1 (en) 2023-12-01

Family

ID=86545323

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210154645A KR102609220B1 (en) 2021-11-11 2021-11-11 Identification verification server for detecting forgery and identification verificatio method using the same

Country Status (1)

Country Link
KR (1) KR102609220B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100455311B1 (en) 2003-02-17 2004-11-06 염용섭 The detection method of a counterfeited identification card
KR20050022564A (en) * 2003-08-20 2005-03-08 주식회사 에스원 System and method for distinguishing forgery/alteration and performing identification of resident registration card using fingerprint image and photo image
KR20100079745A (en) * 2008-12-31 2010-07-08 주식회사 우리은행 System for providing an account open using of false passports information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100455311B1 (en) 2003-02-17 2004-11-06 염용섭 The detection method of a counterfeited identification card
KR20050022564A (en) * 2003-08-20 2005-03-08 주식회사 에스원 System and method for distinguishing forgery/alteration and performing identification of resident registration card using fingerprint image and photo image
KR20100079745A (en) * 2008-12-31 2010-07-08 주식회사 우리은행 System for providing an account open using of false passports information

Also Published As

Publication number Publication date
KR102609220B1 (en) 2023-12-01

Similar Documents

Publication Publication Date Title
US11176545B2 (en) Systems for generating an auditable digital certificate
AU2016214117B2 (en) Systems and methods for generating an auditable digital certificate
US9785793B2 (en) Systems and methods for sharing verified identity documents
US9483629B2 (en) Document authentication based on expected wear
KR101626880B1 (en) Distinguish and recognition system of ID card for real name certification by non-face-to-face and online
CN111428559A (en) Method and device for detecting wearing condition of mask, electronic equipment and storage medium
CN112328999B (en) Double-recording quality inspection method and device, server and storage medium
US20220046012A1 (en) Method and System for Verifying the Identity of a User
WO2019200872A1 (en) Authentication method and apparatus, and electronic device, computer program, and storage medium
EP3807794B1 (en) Age verification
KR102079952B1 (en) Method of managing access using face recognition and apparatus using the same
CN108959884B (en) Human authentication verification device and method
JP2015036918A (en) Information processing device and information processing program
CN105512920A (en) Processing method and server for network ticket booking system
US20180097805A1 (en) Pharmacy Authentication Methods and Systems
KR102609220B1 (en) Identification verification server for detecting forgery and identification verificatio method using the same
KR20050022564A (en) System and method for distinguishing forgery/alteration and performing identification of resident registration card using fingerprint image and photo image
GB2576521A (en) Systems and methods for remotely verifying user identities
KR102529513B1 (en) Identity verification system using smart phone
KR102646405B1 (en) Identification method using face and fingerprint
KR102340414B1 (en) Identification system of driver's license test candidate and its operation method
US20240013574A1 (en) Age verification
Gurusubramani et al. Missing Child Tracking System Using Deep Learning Methodologies
CN109299945B (en) Identity verification method and device based on biological recognition algorithm
Sanh et al. Effective know-your-customer method for secure and trustworthy non-fungible tokens in media assets

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant