KR102609220B1 - Identification verification server for detecting forgery and identification verificatio method using the same - Google Patents

Identification verification server for detecting forgery and identification verificatio method using the same Download PDF

Info

Publication number
KR102609220B1
KR102609220B1 KR1020210154645A KR20210154645A KR102609220B1 KR 102609220 B1 KR102609220 B1 KR 102609220B1 KR 1020210154645 A KR1020210154645 A KR 1020210154645A KR 20210154645 A KR20210154645 A KR 20210154645A KR 102609220 B1 KR102609220 B1 KR 102609220B1
Authority
KR
South Korea
Prior art keywords
verification
forgery
information
image information
client terminal
Prior art date
Application number
KR1020210154645A
Other languages
Korean (ko)
Other versions
KR20230068643A (en
Inventor
조춘호
Original Assignee
조춘호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조춘호 filed Critical 조춘호
Priority to KR1020210154645A priority Critical patent/KR102609220B1/en
Publication of KR20230068643A publication Critical patent/KR20230068643A/en
Application granted granted Critical
Publication of KR102609220B1 publication Critical patent/KR102609220B1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
    • G06V30/1478—Inclination or skew detection or correction of characters or of image to be recognised of characters or characters lines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/23—Reliability checks, e.g. acknowledgments or fault reporting

Abstract

본 발명의 일실시예에 따른 신분 위변조 검증 서버는 클라이언트 단말기로부터 고객의 신분증 이미지 정보 및 얼굴 이미지 정보를 수집하는 데이터 수집부와, 상기 신분증 이미지 정보에서 텍스트 영역 및 사진 영역을 추출하고, 상기 사진 영역의 정보 및 상기 얼굴 이미지 정보의 특징점 정보를 추출하는 이미지 처리부와, 상기 텍스트 영역의 정보로부터 텍스트 정보를 추출하는 텍스트 추출부와, 상기 사진 영역의 정보 및 상기 얼굴 이미지 정보의 특징점 정보를 비교하여 유사도를 기준으로 동일인 여부를 판단하는 신분 검증부와, 상기 추출된 텍스트 정보를 상기 신분증 종류에 대응되는 신분증 검증 템플릿과 비교하여 상기 고객의 신분증의 위변조 여부를 판단하는 신분증 위변조 검증부 및 기 신분 검증부가 동일인으로 판단하고, 상기 신분증 위변조 검증부가 위변조가 없다고 판단되는 경우에 상기 클라이언트 단말기로 검증 성공 메시지를 전송하는 검증 처리부를 포함한다.The identity forgery verification server according to an embodiment of the present invention includes a data collection unit that collects the customer's ID card image information and face image information from the client terminal, extracts a text area and a photo area from the ID card image information, and the photo area. An image processing unit that extracts information and feature point information of the face image information, a text extractor that extracts text information from the information in the text area, and a similarity level by comparing the information in the photo area and the feature point information of the face image information an identity verification unit that determines whether the customer is the same person based on the identity verification unit, an ID forgery verification unit and an existing identity verification unit that determine whether the customer's ID card has been forged or altered by comparing the extracted text information with an ID verification template corresponding to the ID card type. It is determined to be the same person, and includes a verification processing unit that transmits a verification success message to the client terminal when the ID card forgery and forgery verification unit determines that there is no forgery.

Description

신분 위변조 검증 서버 및 이를 이용한 신분 위변조 검증 방법{IDENTIFICATION VERIFICATION SERVER FOR DETECTING FORGERY AND IDENTIFICATION VERIFICATIO METHOD USING THE SAME}Identity forgery verification server and identity forgery verification method using the same {IDENTIFICATION VERIFICATION SERVER FOR DETECTING FORGERY AND IDENTIFICATION VERIFICATIO METHOD USING THE SAME}

본 발명은 신분 위변조 검증 서버 및 방법에 관한 것으로서, 보다 상세하게는 상점 등에서 미성년자 등에 의한 신분 위변조를 쉽게 파악할 수 있는 신분 위변조 검증 서버 및 방법에 관한 것이다.The present invention relates to an identity forgery verification server and method, and more specifically, to an identity forgery verification server and method that can easily detect identity forgery by minors, etc. in stores, etc.

식당이나 편의점 등의 상점에서는 주류 제품을 성인에게만 판매하여야 하며, 미성년자에게 판매하는 경우에는 과태료 부과나 영업 정지 등의 처분이 부과된다. 소상공인의 경우 이러한 리스크를 해소하기 위하여 최대한 신분 확인을 하려고 노력하지만 실질적으로 신분 확인을 완벽하게 하기에는 많은 어려움이 존재한다.Stores such as restaurants and convenience stores must sell alcoholic beverages only to adults, and sales to minors are subject to fines or business suspension. In the case of small business owners, they try to verify identity as much as possible to resolve these risks, but in reality, there are many difficulties in completely verifying identity.

특히, 신분증이 위조되었는지를 판별하기 위한 검사 기기는 고가이기 때문에 소상공인이 도입하기에는 어려운 실정이다. 더욱이 악의적인 영업방해 등의 목적으로 미성년자가 의도적으로 주류를 구입하여 상점이 영업 정지 처분에 의하여 사업에 어려움을 겪는 안타까운 사례도 종종 발생하고 있다.In particular, testing devices to determine if an ID card is forged are expensive, making it difficult for small business owners to introduce them. Moreover, there are often unfortunate cases in which minors intentionally purchase alcohol for purposes such as malicious interference with business, resulting in stores being suspended and experiencing business difficulties.

따라서, 소상공인의 사업장 등에서 신분 확인을 간편하게 수행할 수 있는 기술의 개발이 필요한 실정이다. 한국등록특허 제10-0455311호(이하 '311특허'로 약칭한다)의 경우 카메라, 스캐너 등의 영상입력 장치를 사용하여 획득된 신분증 화상을 DIP의 연산 처리를 적용하여 신분증의 텍스트 이미지 영역과 인물사진 영역을 분석하여 원격지 서버의 원본 데이터와 비교하여 신분증 위변조를 검증하는 방법을 개시하고 있다.Therefore, there is a need to develop technology that can easily perform identity verification at small business establishments. In the case of Korean Patent No. 10-0455311 (hereinafter abbreviated as '311 Patent'), DIP arithmetic processing is applied to the ID card image acquired using an image input device such as a camera or scanner, and the text image area and person of the ID card are used. A method is being disclosed to verify forgery and alteration of ID cards by analyzing the photo area and comparing it with the original data on a remote server.

하지만 상기 311특허의 경우 신분증 자체의 이미지를 분석한 후 해당 분석된 자료를 신분증 원본 데이터 및 신분증 종류에 따른 폼 정보와 비교하여 신분증 위조 여부를 판별하는 구성을 개시하고 있지만, 신분증이 위조되지는 않았지만 신분증 소지자와 신분증 상의 사람이 동일인이 아닌 경우를 판별하지는 못하는 한계가 있었다.However, in the case of the above 311 patent, it discloses a configuration that analyzes the image of the ID card itself and then compares the analyzed data with the original data of the ID card and form information according to the type of ID card to determine whether the ID card is forged. However, although the ID card is not counterfeit, There was a limitation in that it could not determine cases where the ID holder and the person on the ID were not the same person.

또한 상기 311 특허는 신분증 자체의 위조 여부만 판별할 수 있을 뿐 신분증 자체가 위조되었거나 신분증 소지자와 신분증 상의 사람이 동일인이 아닌 경우 다양한 사업장에서 이러한 정보를 이용하여 보다 더 정확하고 간편하게 신분 위변조를 판별하는 기술에 대해서는 개시하고 있지 않다.In addition, the 311 patent can only determine whether the ID card itself is counterfeit, and if the ID card itself is counterfeit or the ID holder and the person on the ID card are not the same person, this information can be used at various workplaces to more accurately and easily determine identity forgery. The technology is not disclosed.

한국등록특허 제10-0455311호(2004.10.22)Korean Patent No. 10-0455311 (2004.10.22)

본 발명은 위와 같은 문제를 해결하기 위한 것으로 신분증 자체의 위조뿐만 아니라 신분증 소지자와 신분증 상의 사람이 동일인이 아닐 경우도 파악할 수 있는 신분 위변조 검증 서버 및 방법을 제공하는 것을 목적으로 한다.The present invention is intended to solve the above problems and aims to provide an identity forgery verification server and method that can detect not only the forgery of the ID card itself but also the case where the ID card holder and the person on the ID card are not the same person.

본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the description below.

상기 과제를 해결하기 위한 본 발명의 일실시예에 따른 위변조 검증 서버는, 클라이언트 단말기로부터 고객의 신분증 이미지 정보 및 얼굴 이미지 정보를 수집하는 데이터 수집부; 상기 신분증 이미지 정보에서 사진 영역을 추출하고, 상기 사진 영역의 정보와 상기 얼굴 이미지 정보를 비교하여 유사도를 기준으로 동일인 여부를 판단하는 신분 검증부; 상기 신분증 이미지 정보에서 텍스트 영역을 추출하고, 상기 텍스트 영역의 정보를 상기 신분증 종류에 대응되는 신분증 검증 템플릿과 비교하여 상기 고객의 신분증의 위변조 여부를 판단하는 신분증 위변조 검증부; 및 상기 신분 검증부가 동일인으로 판단하고, 상기 신분증 위변조 검증부가 위변조가 없다고 판단되는 경우에 상기 클라이언트 단말기로 검증 성공 메시지를 전송하는 검증 처리부를 포함한다.A forgery verification server according to an embodiment of the present invention to solve the above problem includes a data collection unit that collects customer ID image information and face image information from a client terminal; an identity verification unit that extracts a photo area from the ID card image information, compares the photo area information with the face image information, and determines whether they are the same person based on similarity; an ID forgery verification unit that extracts a text area from the ID card image information and compares the information in the text area with an ID verification template corresponding to the ID card type to determine whether the customer's ID card has been forged or altered; And a verification processing unit that transmits a verification success message to the client terminal when the identity verification unit determines that the identity verification unit is the same person and the ID forgery and forgery verification unit determines that there is no forgery.

일실시예에서 상기 검증 처리부는 상기 신분 검증부가 동일인이 아닌 것으로 판단한 경우 상기 클라이언트 단말기 외의 다른 클라이언트 단말기에 상기 신분증 이미지 정보 또는 상기 얼굴 이미지 정보화 함께 제1 알람 메시지를 전송할 수 있다.In one embodiment, the verification processing unit may transmit a first alarm message together with the identification card image information or the face image information to a client terminal other than the client terminal when the identity verification unit determines that the identity verification unit is not the same person.

일실시예에서 상기 검증 처리부는 상기 신분증 위변조 검증부가 위변조가 있다고 판단되는 경우에는 상기 클라이언트 단말기 외의 다른 클라이언트 단말기에 상기 신분증 이미지 정보와 함께 제2 알람 메시지를 전송할 수 있다.In one embodiment, the verification processing unit may transmit a second alarm message along with the identification card image information to a client terminal other than the client terminal when the identification unit forgery and alteration verification unit determines that there has been forgery and alteration.

일실시예에서 상기 검증 처리부는 상기 클라이언트 단말기의 위치 정보를 기준으로 미리 설정된 거리 이내에 위치하는 상기 다른 클라이언트 단말기에 상기 제1 알람 메시지 및 상기 제2 알람 메시지를 전송할 수 있다.In one embodiment, the verification processing unit may transmit the first alarm message and the second alarm message to the other client terminal located within a preset distance based on the location information of the client terminal.

일실시예에서 상기 제1 알람 메시지 및 상기 제2 알람 메시지에 포함된 상기 신분증 이미지 정보 및 상기 얼굴 이미지 정보는 개인 정보가 노출되지 않도록 암호화될 수 있다.In one embodiment, the ID image information and the face image information included in the first alarm message and the second alarm message may be encrypted to prevent personal information from being exposed.

일실시예에서 상기 검증 처리부는 상기 데이터 수집부에서 수집된 상기 신분증 이미지 정보 또는 상기 얼굴 이미지 정보가 상기 다른 클라이언트 단말기에서 전송된 상기 제1 알람 메시지 또는 상기 제2 알림 메시지 정보에 매칭되는 경우 상기 클라이언트 단말기로 검증 실패 메시지를 전송할 수 있다.In one embodiment, the verification processing unit matches the client when the identification card image information or the face image information collected by the data collection unit matches the first alarm message or the second notification message information transmitted from the other client terminal. A verification failure message can be sent to the terminal.

또한 본 발명의 일실시예에 따른 복수의 클라이언트 단말기와 네트워크로 연결되는 서버를 이용한 신분 위변조 검증 방법은, (a) 상기 서버가 상기 클라이언트 단말기로부터 고객의 신분증 이미지 정보 및 얼굴 이미지 정보를 수집하는 단계; (b) 상기 서버가 상기 신분증 이미지 정보에서 사진 영역을 추출하고, 상기 사진 영역의 정보와 상기 얼굴 이미지 정보를 비교하여 유사도를 기준으로 동일인 여부를 판단하는 단계; (c) 상기 서버가 상기 이미지 정보에서 텍스트 영역을 추출하고, 상기 텍스트 영역의 정보를 상기 신분증 종류에 대응되는 신분증 검증 템플릿과 비교하여 상기 고객의 신분증의 위변조 여부를 판단하는 단계; 및 (d) 상기 서버는 상기 (b) 단계에서 동일인으로 판단되고, 상기 (c) 단계에서 위변조가 없다고 판단되는 경우에 상기 클라이언트 단말기로 검증 성공 메시지를 전송하는 단계를 포함할 수 있다.In addition, the identity forgery verification method using a server connected to a plurality of client terminals and a network according to an embodiment of the present invention includes the steps of (a) the server collecting the customer's ID card image information and face image information from the client terminal; ; (b) the server extracting a photo area from the ID card image information, comparing the photo area information with the face image information to determine whether they are the same person based on similarity; (c) the server extracting a text area from the image information and comparing the information in the text area with an identification card verification template corresponding to the type of identification card to determine whether the customer's identification card has been forged or altered; and (d) the server transmitting a verification success message to the client terminal when it is determined that the server is the same person in step (b) and there is no forgery or alteration in step (c).

일실시예에서 본 발명의 신분 위변조 검증 방법은, (e) 상기 서버는 상기 (b) 단계에서 동일인이 아닌 것으로 판단된 경우 상기 클라이언트 단말기 외의 다른 클라이언트 단말기에 상기 신분증 이미지 정보 또는 상기 얼굴 이미지 정보와 함께 제1 알람 메시지를 전송하는 단계를 더 포함할 수 있다.In one embodiment, the identity forgery verification method of the present invention is (e) when the server determines that the server is not the same person in step (b), the ID card image information or the face image information is sent to a client terminal other than the client terminal. It may further include transmitting a first alarm message together.

일실시예에서 본 발명의 신분 위변조 검증 방법은, (f) 상기 서버는 상기 (c) 단계에서 위변조가 있다고 판단되는 경우 상기 클라이언트 단말기 외의 다른 클라이언트 단말기에 상기 신분증 이미지 정보와 함께 제2 알람 메시지를 전송하는 단계를 더 포함할 수 있다.In one embodiment, the identity forgery verification method of the present invention is (f) when the server determines that there is forgery in step (c), it sends a second alarm message along with the ID card image information to a client terminal other than the client terminal. A transmitting step may be further included.

일실시예에서 본 발명의 신분 위변조 검증 방법은, 상기 서버가 상기 클라이언트 단말기의 위치 정보를 기준으로 미리 설정된 거리 이내에 위치하는 상기 다른 클라이언트 단말기에 상기 제1 알람 메시지 및 상기 제2 알람 메시지를 전송하도록 구성될 수 있다.In one embodiment, the identity forgery verification method of the present invention allows the server to transmit the first alarm message and the second alarm message to the other client terminal located within a preset distance based on the location information of the client terminal. It can be configured.

본 발명의 일실시예에 따른 신분 위변조 검증 서버 및 방법은 신분증 자체의 위조뿐만 아니라 신분증 소지자와 신분증 상의 사람이 동일인이 아닐 경우도 파악할 수 있는 효과가 있다.The identity forgery verification server and method according to an embodiment of the present invention is effective in detecting not only forgery of the ID card itself but also cases where the ID card holder and the person on the ID card are not the same person.

또한 본 발명의 일실시예에 따른 신분 위변조 검증 서버 및 방법은 신분 위변조 행위가 발견된 경우 이러한 정보를 활용하여 다양한 사업장에서 보다 더 정확하고 간편한 신분 위변조 검증을 수행할 수 있는 장점이 있다.In addition, the identity forgery verification server and method according to an embodiment of the present invention has the advantage of being able to perform more accurate and simpler identity forgery verification at various workplaces by utilizing this information when an identity forgery act is discovered.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.The effects according to the present invention are not limited to the contents exemplified above, and further various effects are included in the present specification.

도 1은 본 발명의 일실시예에 따른 신분 위변조 검증 서버가 적용된 네트워크를 나타내는 도면이다.
도 2은 도 1의 신분 위변조 검증 서버의 개략 구성도이다.
도 3은 도 2의 이미지 처리부의 개략 구성도이다.
도 4는 본 발명의 일실시예에 따른 신분 위변조 검증 서버를 이용한 위변조 검증 방법을 설명하는 개략 순서도이다.
도 5는 본 발명의 일실시예에 따른 신분 위변조 검증 서버의 알람 메시지 정보를 활용한 위변조 검증 방법을 설명하는 개략 순서도이다.Figure 1 is a diagram showing a network to which an identity forgery verification server according to an embodiment of the present invention is applied.
Figure 2 is a schematic configuration diagram of the identity forgery verification server of Figure 1.
Figure 3 is a schematic configuration diagram of the image processing unit of Figure 2.
Figure 4 is a schematic flowchart explaining a forgery verification method using an identity forgery verification server according to an embodiment of the present invention.
Figure 5 is a schematic flowchart explaining a forgery verification method using alarm message information of an identity forgery verification server according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.The advantages and features of the present invention and methods for achieving them will become clear by referring to the embodiments described in detail below along with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various different forms. The present embodiments are merely provided to ensure that the disclosure of the present invention is complete and to be understood by those skilled in the art. It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.

이하, 본 발명의 실시예들에 따른 신분 위변조 검증 서버 및 방법에 대하여 도면을 참고하여 설명하기로 한다.Hereinafter, the identity forgery verification server and method according to embodiments of the present invention will be described with reference to the drawings.

도 1은 본 발명의 일실시예에 따른 신분 위변조 검증 서버가 적용된 네트워크를 나타내는 도면이다.Figure 1 is a diagram showing a network to which an identity forgery verification server according to an embodiment of the present invention is applied.

본 명세서에서 본 발명의 신분 위변조 검증 방법은 하나 또는 복수의 서버에 의하여 처리될 수 있으며, 이하에서는 하나의 서버로 이루어진 것을 예로 들어 설명한다.In this specification, the identity forgery verification method of the present invention can be processed by one or a plurality of servers, and will be described below using one server as an example.

하지만, 신분 위변조 검증 서버(100)는 하나의 컴퓨터로 이루어지는 것에 한정되는 것은 아니며 하위 구성요소가 별도의 서버로 이루어지는 실시예도 가능하다.However, the identity forgery verification server 100 is not limited to being comprised of a single computer, and an embodiment in which the lower components are comprised of a separate server is also possible.

신분 위변조 검증 서버(100)는 인터넷망을 통하여 클라이언트 단말기(200)에 신분 위변조 검증을 위한 프로그램, 웹사이트 또는 애플리케이션 등을 제공하는 서버 컴퓨터 등을 의미하며, 클라이언트 단말기(200)는 편의점, 음식점 등 사업장 관리자가 사용하는 스마트폰, 태블릿, 노트북, 컴퓨터 등의 단말기를 의미한다.The identity forgery verification server 100 refers to a server computer that provides a program, website, or application for identity forgery verification to the client terminal 200 through the Internet network, and the client terminal 200 is a convenience store, restaurant, etc. This refers to terminals such as smartphones, tablets, laptops, and computers used by workplace managers.

신분 위변조 검증 서버(100)는 네트워크를 통하여 복수의 클라이언트 단말기(210, 220, 230)에 신분 위변조 검증을 위한 프로그램, 웹사이트 또는 애플리케이션을 제공할 수 있다.The identity forgery verification server 100 may provide a program, website, or application for identity forgery verification to a plurality of client terminals 210, 220, and 230 through a network.

신분 위변조 검증 서버(100)는 클라이언트 단말기(200)에 제공하는 프로그램, 웹사이트 또는 애플리케이션은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독가능 매체에 기록될 수 있다. 상기 컴퓨터 판독가능매체는 프로그램 명령, 데이터 파일, 데이터 구조 등이 단독으로 또는 조합으로 구성될 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수 있다.The program, website, or application provided by the identity forgery verification server 100 to the client terminal 200 may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may consist of program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the medium may be those specifically designed and constructed for the present invention or may be known and usable by those skilled in the art of computer software.

도 1을 참조하면 본 발명의 일실시예에 따른 신분 위변조 검증 서버(100)는 데이터 수집부(110), 이미지 처리부(120), 텍스트 추출부(130), 신분 검증부(140), 신분증 위변조 검증부(150), 검증 처리부(160) 및 데이터베이스(170)를 포함하여 구성된다.Referring to FIG. 1, the identity forgery verification server 100 according to an embodiment of the present invention includes a data collection unit 110, an image processing unit 120, a text extraction unit 130, an identity verification unit 140, and an ID forgery and falsification unit. It is comprised of a verification unit 150, a verification processing unit 160, and a database 170.

데이터 수집부(100)는 클라이언트 단말기(200)로부터 고객의 신분증 이미지 정보 및 얼굴 이미지 정보를 수집하는 역할을 한다.The data collection unit 100 serves to collect the customer's identification card image information and face image information from the client terminal 200.

이때, 클라이언트 단말기(200)는 고객의 신분증 및 얼굴을 촬영 또는 스캔함으로써 고객의 신분증 이미지 정보 및 얼굴 이미지 정보를 획득할 수 있다. 이때, 클라이언트 단말기(200)에 의해 구동되는 클라이언트 프로그램과 카메라 기능이 연동하여 이미지 촬영 기능을 수행할 수 있다.At this time, the client terminal 200 may obtain the customer's ID card image information and face image information by photographing or scanning the customer's ID card and face. At this time, the client program driven by the client terminal 200 and the camera function can be linked to perform the image capturing function.

하지만 이는 일실시예일 뿐이며, 클라이언트 단말기(200)가 직접 촬영 또는 스캔하는 것이 아닌 다른 단말기에 의하여 촬영 또는 스캔된 이미지를 수신하는 방법도 가능하다.However, this is only an example, and it is also possible for the client terminal 200 to receive an image captured or scanned by another terminal rather than directly photographed or scanned.

예를 들어, 점포에 클라이언트 단말기(200)외의 별도 촬영용 카메라 또는 스캐너가 존재하는 경우 점포에 방문한 고객은 신분증과 자신의 얼굴을 상기 카메라 또는 스캐너를 통하여 촬영 또는 스캔할 수 있으며, 이렇게 획득된 이미지 데이터가 유무선 네트워크를 통하여 클라이언트 단말기(200)로 전송되는 것이 가능하다.For example, if a store has a separate camera or scanner other than the client terminal 200, a customer visiting the store can photograph or scan his/her ID card and his/her face through the camera or scanner, and the image data obtained in this way can be used. It is possible to be transmitted to the client terminal 200 through a wired or wireless network.

상기와 같은 방법으로 클라이언트 단말기(200)가 고객의 신분증 이미지 정보 및 얼굴 이미지 정보를 수집하면 유무선 네트워크를 통하여 고객의 신분증 이미지 정보 및 얼굴 이미지 정보를 데이터 수집부(100)로 전송한다.When the client terminal 200 collects the customer's ID card image information and face image information in the same manner as above, it transmits the customer's ID card image information and face image information to the data collection unit 100 through a wired or wireless network.

이미지 처리부(120)는 데이터 수집부(100)로부터 상기 신분증 이미지 정보 및 얼굴 이미지 정보를 전달받고, 신분증 이미지 정보에서 텍스트 영역 및 사진 영역을 추출하고, 상기 사진 영역의 정보와 얼굴 이미지 정보의 특징점 정보를 추출하는 역할을 한다.The image processing unit 120 receives the ID card image information and face image information from the data collection unit 100, extracts a text area and a photo area from the ID card image information, and information on the photo area and feature point information of the face image information. It plays a role in extracting.

이미지 처리부(120)는 각종 신분증 종류에 대응되는 최적 이미지 처리 프로세스를 미리 구축하고 있으며, 주민등록증, 운전면허증 등의 신분증에 대하여 텍스트 영역 및 사진 영역으로 데이터를 구분하여 추출한다.The image processing unit 120 has established in advance an optimal image processing process corresponding to various types of identification cards, and extracts data by dividing it into a text area and a photo area for identification cards such as resident registration cards and driver's licenses.

이미지 처리부(120)는 추출된 텍스트 영역의 정보에서는 기 공지된 OCR(Optical Character Recognition) 방식 등을 이용하여 텍스트 정보를 추출할 수 있다.The image processing unit 120 may extract text information from the information in the extracted text area using a known OCR (Optical Character Recognition) method.

이미지 처리부(120)는 추출된 사진 영역의 정보 및 얼굴 이미지 정보로부터 특징점을 추출하는 방법으로 얼굴인식을 수행한다.The image processing unit 120 performs face recognition by extracting feature points from the extracted photo area information and face image information.

구체적으로 도 3을 참조하면 이미지 처리부(120)는 특징점 추출부(120), 눈코입 검출부(123) 및 윤곽 검출부(125)를 포함하여 구성된다.Specifically, referring to FIG. 3 , the image processing unit 120 includes a feature point extraction unit 120, an eye, nose and mouth detection unit 123, and a contour detection unit 125.

특징점 추출부(120)는 상기 설명한 바와 같이 신분증 이미지에서 추출된 사진 영역의 정보와 고객의 실제 얼굴을 촬영한 얼굴 이미지 정보로부터 특징점을 추출하는 역할을 한다. As described above, the feature point extraction unit 120 serves to extract feature points from information on the photo area extracted from the ID card image and facial image information obtained by photographing the actual face of the customer.

이때, 특징점 추출 방법은 공지된 딥러닝 모델 학습 방법을 사용할 수 있으며, SIFT(Scale Invariant Feature Transform) 및 SURF(Speeded Up Robust Feature) 등의 알고리즘이 사용될 수 있다.At this time, the feature point extraction method may use a known deep learning model learning method, and algorithms such as SIFT (Scale Invariant Feature Transform) and SURF (Speeded Up Robust Feature) may be used.

눈코입 검출부(123) 및 윤곽 검출부(125)는 특징점 추출부(120)에서 추출된 특징점들을 기반으로 하여 딥러닝 학습 모델에 기반하여 눈코입을 검출하고 턱선 등의 얼굴 윤곽을 검출하는 역할을 한다.The eye, nose, and mouth detection unit 123 and the outline detection unit 125 serve to detect the eyes, nose, and mouth based on a deep learning model based on the feature points extracted from the feature point extraction unit 120, and detect facial contours such as the jaw line.

이미지 처리부(120)가 사용하는 상기의 딥러닝 학습 모델을 미리 구축된 학습 모델을 포함한 DB에 의하여 수행될 수 있으며, 실시간으로 수집되는 입력 데이터를 기반으로 학습되도록 구성될 수 있다. The deep learning learning model used by the image processing unit 120 may be performed by a DB containing a pre-built learning model, and may be configured to be learned based on input data collected in real time.

신분 검증부(140)는 사진 영역의 정보 및 얼굴 이미지의 특징점 정보 등을 비교하여 유사도를 기준으로 동일인 여부를 판단하는 역할을 한다.The identity verification unit 140 compares information on the photo area and feature point information of the face image and determines whether they are the same person based on similarity.

즉, 고객의 신분증에서 추출된 사진 영역의 특징점들과 고객의 얼굴의 사진에서 추출된 특징점들을 비교하여 유사도 기준으로 동일인 여부를 판단할 수 있다.That is, by comparing the feature points of the photo area extracted from the customer's ID card and the feature points extracted from the photo of the customer's face, it is possible to determine whether they are the same person based on similarity.

이때, 신분 검증부(140)는 신분증의 생성 날짜와 현재 날짜와 미리 설정된 기준 이상으로 차이가 있거나 하는 등의 경우에는 고객의 신분증에서 추출된 얼굴 이미지를 현재 시점에 맞게 변화시키는 작업을 추가로 수행할 수 있다.At this time, the identity verification unit 140 additionally performs the task of changing the facial image extracted from the customer's ID card to match the current time in cases where there is a difference between the creation date of the ID card and the current date by more than a preset standard. can do.

즉, 신분 검증부(140)는 사람의 성별, 나이별, 얼굴 형태별로 구축된 나이별 얼굴 모델 데이터를 기반으로 신분증 상의 얼굴 이미지를 현재 시점의 나이에 맞게 보정하는 작업을 수행할 수 있으며, 이 보정된 데이터와 촬영된 얼굴 데이터를 비교하여 동일인 여부를 판별할 수 있다.In other words, the identity verification unit 140 can perform the task of correcting the face image on the ID card to match the current age based on age-specific face model data constructed for each person's gender, age, and face shape. By comparing the corrected data and the photographed face data, it is possible to determine whether they are the same person.

이때, 신분증 상의 얼굴 이미지를 현재 시점의 나이에 맞게 보정하는 것은 신분 검증부(140)가 외부에 공개된 오픈 소스 프로그램을 호출하여 수행하는 것도 가능하다.At this time, it is also possible for the identity verification unit 140 to correct the facial image on the ID card to match the current age by calling an open source program published to the outside.

신분증 위변조 검증부(150)는 신분증 이미지 정보에서 추출된 텍스트 정보를 신분증 종류에 대응되는 신분증 검증 템플릿과 비교하여 고객의 신분증의 위변조 여부를 판단하는 역할을 한다.The ID card forgery verification unit 150 serves to determine whether the customer's ID card has been forged or altered by comparing the text information extracted from the ID card image information with the ID card verification template corresponding to the ID card type.

이때, 신분증 검증 템플릿은 각각의 신분증 종류에 대응되도록 신분증 번호 생성 규칙이 적용된 템플릿 정보를 의미한다. 만약, 신분증이 위조되어 이러한 규칙에 맞지 않는 번호 등의 텍스트가 포함된 경우 신분증 검증 템플릿에 의하여 위변조 여부가 검출될 수 있다.At this time, the ID verification template refers to template information to which the ID number generation rule has been applied to correspond to each ID type. If the ID card is forged and contains text such as a number that does not meet these rules, the forgery or alteration can be detected by the ID verification template.

신분증 위변조 검증부(150)는 이러한 신분증 검증 템플릿을 외부 기관으로부터 미리 습득하여 미리 구축하고 이를 이용하여 상기 위변조 검출을 수행할 수도 있고, 외부에 공개된 오픈소스 프로그램을 호출하여 이를 수행하도록 할 수도 있다.The ID card forgery verification unit 150 may acquire and build this ID verification template in advance from an external organization and use it to perform the forgery detection, or it may call an open source program published to the outside to perform this. .

검증 처리부(160)는 신분 검증부(140)가 신분증 상의 사진 영역에 표시된 사람과 실제 고객의 촬영된 사진 속의 사람이 동일인이라고 판단되고, 신분증 위변조 검증부(150)가 위변조가 없다고 판단되는 경우에 클라이언트 단말기(200)로 검증 성공 메시지를 전송할 수 있다.The verification processing unit 160 determines that the person displayed in the photo area on the ID card and the person in the actual photograph of the customer are the same person, and the ID verification unit 150 determines that there is no forgery or forgery. A verification success message can be transmitted to the client terminal 200.

검증 처리부(160)는 신분 검증부가(140)가 동일인이 아닌 것으로 판단한 경우 클라이언트 단말기(200) 외의 다른 클라이언트 단말기에 신분증 이미지 정보 또는 얼굴 이미지 정보와 함께 제1 알람 메시지를 전송할 수 있다.If the identity verification unit 140 determines that the person is not the same person, the verification processing unit 160 may transmit a first alarm message along with ID image information or face image information to a client terminal other than the client terminal 200.

또한, 검증 처리부(160)는 신분증 위변조 검증부(150)가 위변조가 있다고 판단되는 경우에는 클라이언트 단말기(200) 외의 다른 클라이언트 단말기에 신분증 이미지 정보와 함께 제2 알람 메시지를 전송할 수 있다.Additionally, if the ID card forgery verification unit 150 determines that there has been forgery or alteration, the verification processing unit 160 may transmit a second alarm message along with the ID card image information to a client terminal other than the client terminal 200.

이때, 검증 처리부(160)는 클라이언트 단말기(200)의 위치 정보를 기준으로 미리 설정된 거리 이내에 위치하는 다른 클라이언트 단말기에 제1 알람 메시지 및 제2 알람 메시지를 전송할 수 있다.At this time, the verification processing unit 160 may transmit the first alarm message and the second alarm message to another client terminal located within a preset distance based on the location information of the client terminal 200.

제1 알람 메시지 및 제2 알람 메시지에 포함된 신분증 이미지 정보 및 얼굴 이미지 정보는 개인 정보가 노출되지 않도록 암호화 처리될 수 있다.ID card image information and face image information included in the first alarm message and the second alarm message may be encrypted to prevent personal information from being exposed.

검증 처리부(160)의 알람 메시지 전송과 관련된 동작은 도 4 및 도 5를 참조하여 뒤에서 상술한다.Operations related to alarm message transmission by the verification processing unit 160 will be described in detail later with reference to FIGS. 4 and 5.

데이터베이스(170)는 신분 위변조 검증 서버(100)의 동작과 관련된 프로그램의 동작을 위하여 미리 학습 모델 등의 데이터를 미리 구축하여 보관하는 역할을 한다. 또한, 데이터베이스(170)는 데이터 수집부(100)에서 수집된 데이터와 이미지 처리부(120) 등의 구성에 의하여 처리된 출력 데이터를 저장하는 역할을 한다.The database 170 serves to build and store data such as a learning model in advance for the operation of programs related to the operation of the identity forgery verification server 100. Additionally, the database 170 serves to store data collected by the data collection unit 100 and output data processed by components such as the image processing unit 120.

데이터베이스(170)는 신분 위변조 검증 서버(100)의 하위 구성요소로 저장 장치인 것으로 도시되어 있으나, 별도의 서버 컴퓨터 등으로 구성하는 것도 가능하다.The database 170 is a sub-component of the identity forgery verification server 100 and is shown as a storage device, but it can also be configured as a separate server computer.

도 4는 본 발명의 일실시예에 따른 신분 위변조 검증 서버를 이용한 위변조 검증 방법을 설명하는 개략 순서도이며, 도 5는 본 발명의 일실시예에 따른 신분 위변조 검증 서버의 알람 메시지 정보를 활용한 위변조 검증 방법을 설명하는 개략 순서도이다.Figure 4 is a schematic flowchart explaining a forgery verification method using an identity forgery verification server according to an embodiment of the present invention, and Figure 5 is a forgery and forgery verification method using alarm message information of an identity forgery verification server according to an embodiment of the present invention. This is a schematic flowchart explaining the verification method.

도 4를 참조하면 신분 위변조 검증 서버(100)는 데이터 수집부(110)를 통하여 신분증 이미지 정보를 수집하고(S410), 얼굴 이미지 정보를 수집한다(S420).Referring to FIG. 4, the identity forgery verification server 100 collects ID card image information through the data collection unit 110 (S410) and collects face image information (S420).

이미지 처리부(120)는 신분증 이미지 정보로부터 텍스트 및 사진 영역을 추출하고(S412), 사진 영역의 특징점 정보를 추출한다(S414).The image processing unit 120 extracts text and photo areas from the ID card image information (S412) and extracts feature point information of the photo area (S414).

텍스트 추출부(130)는 신분증 이미지로부터 추출된 텍스트 영역으로부터 텍스트 정보를 추출한다(S416).The text extraction unit 130 extracts text information from the text area extracted from the ID card image (S416).

또한, 이미지 처리부(120)는 얼굴 이미지의 특징점 정보를 추출한다(S422).Additionally, the image processing unit 120 extracts feature point information of the face image (S422).

신분 검증부(140)는 신분증의 사진 속의 사람과 실제 촬영된 고객이 동일인인지를 판단한다(S430).The identity verification unit 140 determines whether the person in the photo on the ID card and the customer actually photographed are the same person (S430).

단계 S430에서 동일인이 아니라고 판단되면 검증 처리부(160)는 클라이언트 단말기(200)로 검증 실패 메시지를 전송하고(S460), 미리 설정된 거리 이내에 위치하는 다른 클라이언트 단말기에 알람 메시지를 전송한다(S470).If it is determined that the person is not the same person in step S430, the verification processing unit 160 transmits a verification failure message to the client terminal 200 (S460) and sends an alarm message to another client terminal located within a preset distance (S470).

편의상 S430 단계에서 동일인이 아니라고 판단되어 다른 클라이언트에 전송되는 알람 메시지를 제1 알람 메시지라고 칭한다. For convenience, the alarm message that is determined to be not the same person in step S430 and is sent to another client is referred to as the first alarm message.

제1 알람 메시지에는 신분증 이미지 정보 또는 얼굴 이미지 정보가 포함될 수 있다. 제1 알람 메시지를 전송받은 다른 클라이언트 단말기는 수신된 제1 알람 메시지에 포함된 신분증 이미지 정보 또는 얼굴 이미지 정보를 활용하여 위변조 검증에 사용할 수 있다.The first alarm message may include ID card image information or face image information. Another client terminal that has received the first alarm message can use the ID card image information or face image information included in the received first alarm message to verify forgery and alteration.

이때, 개인정보보호의 측면상 신분증 이미지 정보 또는 얼굴 이미지 정보는 암호화 처리될 수 있다. 이때, 암호화 처리는 일반적인 복호화 및 암호화 처리에서 사용되는 암호화 개념은 물론, 실질적으로 개인정보가 노출이 되지 않도록 비식별 처리를 하는 광의의 개념이다.At this time, in terms of personal information protection, ID image information or face image information may be encrypted. At this time, encryption processing is a broad concept of de-identification processing to prevent personal information from being exposed, as well as the encryption concept used in general decryption and encryption processing.

예를 들어, 신분증상의 이미지 및 촬영된 고객의 이미지 정보를 그대로 다른 클라이언트 단말기에 전송하는 경우에는 해당 클라이언트 단말기의 관리자가 해당 사진을 보고 신원 식별이 가능하므로 개인정보의 노출 위험이 있다.For example, if the image on the ID card and the captured customer image information are transmitted to another client terminal, there is a risk of personal information being exposed because the administrator of the client terminal can identify the customer by looking at the photo.

따라서, 제1 알람 메시지에 포함되는 신분증 이미지 정보 및 얼굴 이미지 정보는 실제 사진이 클라이언트 단말기에 표시되지 않도록 이진화된 데이터의 형식으로만 전송될 수 있다. 또한, 신분증 이미지 정보 및 얼굴 이미지 정보는 주요 특징점 정보의 이진화된 데이터일 수 있다. Accordingly, the ID image information and face image information included in the first alarm message may be transmitted only in the form of binary data so that the actual photo is not displayed on the client terminal. Additionally, the ID image information and face image information may be binarized data of key feature point information.

하지만 상기는 일실시예일 뿐이며, 필요한 경우 보안상의 목적상 제1 알람 메시지는 기 공지된 다양한 암호화 기법을 이용하여 암호화되어 전송되고 필요시 복호화 처리될 수 있다.However, the above is only an example, and if necessary, for security purposes, the first alarm message may be encrypted and transmitted using various known encryption techniques and decrypted if necessary.

단계 S430 단계에서 동일인인이라고 판단되면, 신분증 위변조 검증부(150)는 신분증 이미지 정보를 기반으로 신분증이 위변조 되었는지를 판단한다(S440).If it is determined that the person is the same person in step S430, the ID card forgery verification unit 150 determines whether the ID card has been forged or altered based on the ID card image information (S440).

단계 S440에서 신분증이 위변조 되었다고 판단되면, 클라이언트 단말기(200)로 검증 실패 메시지를 전송하고(S460), 미리 설정된 거리 이내에 위치하는 다른 클라이언트 단말기에 알람 메시지를 전송한다(S470).If it is determined that the ID card has been forged in step S440, a verification failure message is transmitted to the client terminal 200 (S460), and an alarm message is transmitted to another client terminal located within a preset distance (S470).

편의상 S440 단계에서 동일인이 아니라고 판단되어 다른 클라이언트에 전송되는 알람 메시지를 제2 알람 메시지라고 칭한다. For convenience, the alarm message that is determined to be not the same person in step S440 and is sent to another client is referred to as a second alarm message.

제2 알람 메시지에는 신분증 이미지 정보가 포함될 수 있다. 제2 알람 메시지를 전송받은 다른 클라이언트 단말기는 수신된 제2 알람 메시지에 포함된 신분증 이미지 정보를 활용하여 위변조 검증에 사용할 수 있다.The second alarm message may include ID image information. Another client terminal that has received the second alarm message can use the ID card image information included in the received second alarm message to verify forgery and alteration.

제2 알람 메시지에 포함된 신분증 이미지 정보도 상기 설명한 바와 같이 제1 알람 메시지와 같은 방법으로 암호화 처리될 수 있다.ID card image information included in the second alarm message may also be encrypted in the same manner as the first alarm message, as described above.

단계 S460에 포함된 검증 실패 메시지에는 제1 알람 메시지인 경우에는 신분증상의 인물과 실제 고객의 촬영 이미지 속의 인물이 다르다는 이유로 신분이 위변조되었다는 정보가 포함되어, 제2 알람 메시지인 경우에는 고객의 신분증 자체가 위변조되었다는 정보가 포함될 수 있다.In the case of the first alarm message, the verification failure message included in step S460 includes information that the identity has been forged due to the fact that the person on the ID card is different from the person in the actual customer's captured image, and in the case of the second alarm message, the customer's ID card itself. Information that has been forged or altered may be included.

단계 S470의 알람 메시지 전송은 신분 위변조 검증 서버(100)에 의하여 수행되며, 정보를 제공한 클라이언트 단말기(200)의 GPS 정보와 같은 위치 정보에 기반하여 해당 위치로부터 미리 설정된 거리(예를 들어, 2km 등) 내에 존재하는 클라이언트 단말기에 알람 메시지를 전송할 수 있다.The alarm message transmission in step S470 is performed by the identity forgery verification server 100, and is transmitted at a preset distance (for example, 2km) from the location based on location information such as GPS information of the client terminal 200 that provided the information. etc.), an alarm message can be sent to a client terminal existing within the terminal.

즉, 신분 위변조 검증 서버(100)는 신분 또는 신분증 위변조가 감지된 경우 제1 알람 메시지 또는 제2 알람 메시지를 다른 클라이언트 단말기에 해당 정보를 전송하게 되는데 이러한 경우에 알람 메시지를 활용한 위변조 검증 방법을 도 5를 참조하여 설명한다.In other words, when identity or ID forgery is detected, the identity forgery verification server 100 transmits the corresponding information to another client terminal through a first alarm message or a second alarm message. In this case, a forgery verification method using the alarm message is used. This will be explained with reference to FIG. 5 .

도 5는 도 1 내지 도 4의 상황과 달리 신분 위변조 검증 서버(100)가 알람 메시지를 수신한 다른 클라이언트 단말기에 대하여 신분 위변조 검증을 하는 방법을 설명하는 순서도이다.FIG. 5 is a flowchart illustrating a method in which the identity forgery verification server 100 performs identity forgery verification on another client terminal that has received an alarm message, unlike the situations in FIGS. 1 to 4 .

신분 위변조 검증 서버(100)의 검증 처리부(160)는 다른 클라이언트 단말기가 알람 메시지를 수신한 것인지를 판단한다(S510).The verification processing unit 160 of the identity forgery verification server 100 determines whether another client terminal has received the alarm message (S510).

단계 S510에서 알람 메시지를 수신하지 않았다고 판단되면 단계 S530으로 넘어가 동일인인지 여부를 판단한다(S530).If it is determined that the alarm message has not been received in step S510, the process proceeds to step S530 to determine whether it is the same person (S530).

단계 S510에서 알람 메시지를 수신한 경우라고 판단되면 검증 처리부(160)는 수신된 알람 메시지와 다른 클라이언트 단말기에 수신된 고객의 신분증 이미지 정보 및 얼굴 이미지 정보를 비교하여 매칭 정보가 존재하는 지를 판단한다(S520).If it is determined that an alarm message has been received in step S510, the verification processing unit 160 determines whether matching information exists by comparing the received alarm message with the customer's identification card image information and face image information received in another client terminal ( S520).

이때, 검증 처리부(160)는 알람 메시지에 포함된 신분증 정보와 신분증 이미지 정보와 매칭되거나, 알람 메시지에 포함된 얼굴 정보와 얼굴 이미지 정보와 매칭되는 경우에 매칭된 것으로 판단할 수 있다.At this time, the verification processing unit 160 may determine that a match is made if the ID information and ID image information included in the alarm message are matched, or if the face information and face image information included in the alarm message are matched.

이런 방식으로 신분 위변조 검증 서버(100)가 위변조 검증을 요청한 클라이언트 단말기가 알람 메시지를 수신한 경우에 알람 메시지에 포함된 정보를 기반으로 위변조 검증을 수행함으로써 데이터 처리 시간을 단축할 수 있을 뿐만 아니라 신분증 정보 또는 고객의 얼굴 이미지 만으로 점포에 배치된 클라이언트 단말기에 신속하게 경고 또는 알람 메시지를 전송할 수 있는 장점을 가진다.In this way, when the client terminal requesting forgery verification receives an alarm message, the identity forgery verification server 100 performs forgery verification based on the information included in the alarm message, thereby not only shortening the data processing time but also verifying the identity card. It has the advantage of being able to quickly send a warning or alarm message to a client terminal placed in a store using only information or an image of the customer's face.

단계 S520에서 매칭 정보가 존재한 경우로 판단되면 매칭 정보를 호출하고(S560), 매칭 정보에 기반한 검증 실패 메시지를 생성하여 다른 클라이언트 단말기에 해당 메시지를 전송한다(S570).If it is determined that matching information exists in step S520, the matching information is called (S560), a verification failure message is generated based on the matching information, and the message is transmitted to another client terminal (S570).

단계 S520에서 매칭 정보가 존재하지 않다고 판단되면 검증 처리부(160)는 동일인 여부를 판단하고(S530), 위변조 여부를 판단한다(540). If it is determined in step S520 that matching information does not exist, the verification processing unit 160 determines whether it is the same person (S530) and determines whether it has been forged or altered (540).

단계 S530에서 동일인으로 판단되고, 단계 S540에서 위변조가 없다고 판단되면 검증 처리부(160)는 다른 클라이언트 단말기에 검증 성공 메시지를 전송한다(S550). 이때, 검증 성공 메시지란 해당 고객이 신분 또는 신분증 위조가 없어서 본인 확인이 정상적으로 되었다는 메시지를 의미한다.If it is determined that they are the same person in step S530 and there is no forgery or alteration in step S540, the verification processing unit 160 transmits a verification success message to another client terminal (S550). At this time, the verification success message means a message that the customer's identity has been successfully verified because there is no forgery of identity or ID card.

단계 S530에서 동일인이 아니라고 판단되거나, 단계 S540에서 위변조가 존재한다고 판단되면 검증 처리부(160)는 검증 실패 메시지를 전송한다(S570).If it is determined in step S530 that the person is not the same person, or if forgery is determined in step S540, the verification processing unit 160 transmits a verification failure message (S570).

이때, 검증 실패 매시지에는 구체적으로 신분 위조가 있는지 아니면 신분증 위조가 있는지 또는 모두에 해당하는지 등 구체적인 정보가 포함될 수 있다.At this time, the verification failure message may include specific information, such as whether there is a falsified identity, a falsified ID, or both.

본 발명의 일실시예에 따른 신분 위변조 검증 서버 및 이를 이용한 신분 위변조 검증 방법에 의하면 상기와 같은 방법으로 신분증의 위조뿐만 아니라 신분증과 신분증 소지자의 신원 정보가 다른 경우도 손쉽게 검증할 수 있어 점포 등에서 미성년자 등의 신원 확인을 신속하고 효율적으로 할 수 있게 한다.According to the identity forgery verification server and the identity forgery verification method using the same according to an embodiment of the present invention, it is possible to easily verify not only the forgery of the ID card but also the case where the identity information of the ID card and the ID card holder are different using the above method, so that minors can be used in stores, etc. It allows for quick and efficient identification.

또한, 본 발명의 신분 위변조 검증 서버 및 방법은 신분 위조 또는 신분증 위조가 발견된 경우 인근의 클라이언트 단말기에 해당 정보를 공유하여 사전에 사고를 예방할 수 있으며, 서버 측에서도 보다 빠르게 신분 위조 또는 신분증 위조를 판단할 수 있는 장점을 가진다.In addition, the identity forgery verification server and method of the present invention can prevent accidents in advance by sharing the information with nearby client terminals when identity forgery or ID forgery is discovered, and the server side can also more quickly determine identity forgery or ID forgery. It has the advantage of being able to do so.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Those skilled in the art to which the present invention pertains will understand that the present invention can be implemented in other specific forms without changing its technical idea or essential features. Therefore, the embodiments described above should be understood in all respects as illustrative and not restrictive. The scope of the present invention is indicated by the claims described below rather than the detailed description above, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention. do.

100: 신분 위변조 검증 서버 110: 데이터 수집부
120: 이미지 처리부 121: 특징점 추출부
123: 눈코입 추출부 125: 윤곽 검출부
130: 텍스트 추출부 140: 신분 검증부
150: 신분증 위변조 검증부 160: 검증 처리부
170: 데이터베이스 200: 클라이언트 단말기100: Identity forgery verification server 110: Data collection unit
120: Image processing unit 121: Feature point extraction unit
123: Eye, nose, and mouth extraction unit 125: Contour detection unit
130: text extraction unit 140: identity verification unit
150: ID forgery verification unit 160: Verification processing unit
170: database 200: client terminal

Claims (10)

클라이언트 단말기로부터 고객의 신분증 이미지 정보 및 얼굴 이미지 정보를 수집하는 데이터 수집부;
상기 신분증 이미지 정보에서 텍스트 영역 및 사진 영역을 추출하고, 상기 사진 영역의 정보 및 상기 얼굴 이미지 정보의 특징점 정보를 추출하는 이미지 처리부;
상기 텍스트 영역의 정보로부터 텍스트 정보를 추출하는 텍스트 추출부;
상기 사진 영역의 정보 및 상기 얼굴 이미지 정보의 특징점 정보를 비교하여 유사도를 기준으로 동일인 여부를 판단하는 신분 검증부;
상기 추출된 텍스트 정보를 신분증 종류에 대응되도록 신분증 번호 생성규칙이 적용된 신분증 검증 템플릿과 비교하여 상기 추출된 텍스트 정보와 상기 신분증 번호 생성규칙과의 일치 여부를 통해 상기 고객의 신분증의 위변조 여부를 판단하는 신분증 위변조 검증부; 및
상기 신분 검증부가 동일인으로 판단하고, 상기 신분증 위변조 검증부가 위변조가 없다고 판단되는 경우에 상기 클라이언트 단말기로 검증 성공 메시지를 전송하는 검증 처리부;를 포함하고,
상기 신분 검증부는,
상기 신분증의 생성 날짜와 현재 날짜가 미리 설정된 기준 이상으로 차이가 있는 경우, 사람의 성별, 나이별 및 얼굴 형태별로 구축된 나이별 얼굴 모델 데이터를 기반으로 상기 신분증 상의 얼굴 이미지를 현재 시점의 나이에 맞게 보정하는 작업을 수행하는 신분 위변조 검증 서버.a data collection unit that collects customer ID image information and face image information from the client terminal;
an image processing unit that extracts a text area and a photo area from the ID card image information, and extracts information on the photo area and feature point information of the face image information;
a text extraction unit that extracts text information from information in the text area;
an identity verification unit that compares information on the photo area and feature point information of the face image information to determine whether they are the same person based on similarity;
Comparing the extracted text information with an ID verification template to which an ID number generation rule is applied to correspond to the type of ID card, and determining whether the customer's ID card has been forged or altered through whether the extracted text information matches the ID number generation rule. ID card forgery verification department; and
A verification processing unit that transmits a verification success message to the client terminal when the identity verification unit determines that the identity verification unit is the same person and the ID forgery and forgery verification unit determines that there is no forgery or forgery,
The identity verification department,
If there is a difference between the creation date of the ID card and the current date by more than a preset standard, the face image on the ID card is changed to the current age based on age-specific face model data constructed for each person's gender, age, and face shape. Identity forgery verification server that performs the corrective action. 제1항에 있어서,
상기 검증 처리부는 상기 신분 검증부가 동일인이 아닌 것으로 판단한 경우 상기 클라이언트 단말기 외의 다른 클라이언트 단말기에 상기 신분증 이미지 정보 또는 상기 얼굴 이미지 정보화 함께 제1 알람 메시지를 전송하는 신분 위변조 검증 서버.According to paragraph 1,
An identity forgery verification server wherein the verification processing unit transmits a first alarm message along with the identification card image information or the face image information to a client terminal other than the client terminal when the identity verification unit determines that the identity verification unit is not the same person. 제2항에 있어서,
상기 검증 처리부는 상기 신분증 위변조 검증부가 위변조가 있다고 판단되는 경우에는 상기 클라이언트 단말기 외의 다른 클라이언트 단말기에 상기 신분증 이미지 정보와 함께 제2 알람 메시지를 전송하는 신분 위변조 검증 서버.According to paragraph 2,
The verification processing unit is an identity forgery verification server that transmits a second alarm message along with the identification card image information to a client terminal other than the client terminal when the ID card forgery and forgery verification unit determines that there is forgery and forgery. 제3항에 있어서,
상기 검증 처리부는 상기 클라이언트 단말기의 위치 정보를 기준으로 미리 설정된 거리 이내에 위치하는 상기 다른 클라이언트 단말기에 상기 제1 알람 메시지 및 상기 제2 알람 메시지를 전송하는 신분 위변조 검증 서버.According to paragraph 3,
The verification processing unit transmits the first alarm message and the second alarm message to the other client terminal located within a preset distance based on the location information of the client terminal. 제4항에 있어서,
상기 제1 알람 메시지 및 상기 제2 알람 메시지에 포함된 상기 신분증 이미지 정보 및 상기 얼굴 이미지 정보는 개인 정보가 노출되지 않도록 암호화된 것을 특징으로 하는 신분 위변조 검증 서버.According to paragraph 4,
Identity forgery verification server, wherein the identification card image information and the face image information included in the first alarm message and the second alarm message are encrypted to prevent personal information from being exposed. 제3항에 있어서,
상기 검증 처리부는 상기 데이터 수집부에서 수집된 상기 신분증 이미지 정보 또는 상기 얼굴 이미지 정보가 상기 다른 클라이언트 단말기에서 전송된 상기 제1 알람 메시지 또는 상기 제2 알람 메시지 정보에 매칭되는 경우 상기 클라이언트 단말기로 검증 실패 메시지를 전송하는 신분 위변조 검증 서버.According to paragraph 3,
The verification processing unit fails verification with the client terminal when the identification card image information or the face image information collected by the data collection unit matches the first alarm message or the second alarm message information transmitted from the other client terminal. Identity forgery verification server that transmits messages. 복수의 클라이언트 단말기와 네트워크로 연결되는 서버를 이용한 신분 위변조 검증 방법에 있어서,
(a) 상기 서버가 상기 클라이언트 단말기로부터 고객의 신분증 이미지 정보 및 얼굴 이미지 정보를 수집하는 단계;
(b) 상기 서버가 상기 신분증 이미지 정보에서 사진 영역을 추출하고, 상기 사진 영역의 정보와 상기 얼굴 이미지 정보를 비교하여 유사도를 기준으로 동일인 여부를 판단하는 단계;
(c) 상기 서버가 상기 이미지 정보에서 텍스트 영역을 추출하고, 상기 텍스트 영역의 정보를 신분증 종류에 대응되도록 신분증 번호 생성규칙이 적용된 신분증 검증 템플릿과 비교하여 상기 추출된 텍스트 정보와 상기 신분증 번호 생성규칙과의 일치 여부를 통해 상기 고객의 신분증의 위변조 여부를 판단하는 단계; 및
(d) 상기 서버는 상기 (b) 단계에서 동일인으로 판단되고, 상기 (c) 단계에서 위변조가 없다고 판단되는 경우에 상기 클라이언트 단말기로 검증 성공 메시지를 전송하는 단계;를 포함하고,
상기 (b)단계는,
상기 신분증의 생성 날짜와 현재 날짜가 미리 설정된 기준 이상으로 차이가 있는 경우, 사람의 성별, 나이별 및 얼굴 형태별로 구축된 나이별 얼굴 모델 데이터를 기반으로 상기 신분증 상의 얼굴 이미지를 현재 시점의 나이에 맞게 보정하는 작업을 수행하는 신분 위변조 검증 방법.In an identity forgery verification method using a server connected to a plurality of client terminals and a network,
(a) the server collecting customer ID image information and face image information from the client terminal;
(b) the server extracting a photo area from the ID card image information, comparing the photo area information with the face image information to determine whether they are the same person based on similarity;
(c) The server extracts a text area from the image information, compares the information in the text area with an ID verification template to which an ID number generation rule is applied to correspond to the ID type, and sets the extracted text information and the ID number generation rule. Determining whether or not the customer's identification card has been forged or altered through whether or not it matches; and
(d) the server transmits a verification success message to the client terminal if it is determined that the person is the same in step (b) and there is no forgery or alteration in step (c),
In step (b),
If there is a difference between the creation date of the ID card and the current date by more than a preset standard, the face image on the ID card is changed to the current age based on age-specific face model data constructed for each person's gender, age, and face shape. Identity forgery verification method that performs the task of correcting it accordingly. 제7항에 있어서,
(e) 상기 서버는 상기 (b) 단계에서 동일인이 아닌 것으로 판단된 경우 상기 클라이언트 단말기 외의 다른 클라이언트 단말기에 상기 신분증 이미지 정보 또는 상기 얼굴 이미지 정보와 함께 제1 알람 메시지를 전송하는 단계를 더 포함하는 신분 위변조 검증 방법.In clause 7,
(e) If the server determines that the person is not the same person in step (b), transmitting a first alarm message together with the identification card image information or the face image information to a client terminal other than the client terminal. How to verify identity forgery. 제8항에 있어서,
(f) 상기 서버는 상기 (c) 단계에서 위변조가 있다고 판단되는 경우 상기 클라이언트 단말기 외의 다른 클라이언트 단말기에 상기 신분증 이미지 정보와 함께 제2 알람 메시지를 전송하는 단계를 더 포함하는 신분 위변조 검증 방법.According to clause 8,
(f) The server transmits a second alarm message along with the ID image information to a client terminal other than the client terminal when it is determined that there has been forgery or alteration in step (c). Identity forgery verification method. 제9항에 있어서,
상기 서버는 상기 클라이언트 단말기의 위치 정보를 기준으로 미리 설정된 거리 이내에 위치하는 상기 다른 클라이언트 단말기에 상기 제1 알람 메시지 및 상기 제2 알람 메시지를 전송하는 것을 특징으로 하는 신분 위변조 검증 방법.According to clause 9,
The server transmits the first alarm message and the second alarm message to the other client terminal located within a preset distance based on the location information of the client terminal.
KR1020210154645A 2021-11-11 2021-11-11 Identification verification server for detecting forgery and identification verificatio method using the same KR102609220B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210154645A KR102609220B1 (en) 2021-11-11 2021-11-11 Identification verification server for detecting forgery and identification verificatio method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210154645A KR102609220B1 (en) 2021-11-11 2021-11-11 Identification verification server for detecting forgery and identification verificatio method using the same

Publications (2)

Publication Number Publication Date
KR20230068643A KR20230068643A (en) 2023-05-18
KR102609220B1 true KR102609220B1 (en) 2023-12-01

Family

ID=86545323

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210154645A KR102609220B1 (en) 2021-11-11 2021-11-11 Identification verification server for detecting forgery and identification verificatio method using the same

Country Status (1)

Country Link
KR (1) KR102609220B1 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100455311B1 (en) 2003-02-17 2004-11-06 염용섭 The detection method of a counterfeited identification card
KR20050022564A (en) * 2003-08-20 2005-03-08 주식회사 에스원 System and method for distinguishing forgery/alteration and performing identification of resident registration card using fingerprint image and photo image
KR20100079745A (en) * 2008-12-31 2010-07-08 주식회사 우리은행 System for providing an account open using of false passports information

Also Published As

Publication number Publication date
KR20230068643A (en) 2023-05-18

Similar Documents

Publication Publication Date Title
Sharma et al. Reliable biometric authentication with privacy protection
US20200293772A1 (en) Storing anonymized identifiers instead of personally identifiable information
CA2925325C (en) Document authentication based on expected wear
US11176545B2 (en) Systems for generating an auditable digital certificate
Scherhag et al. Detecting morphed face images using facial landmarks
AU2016214117B2 (en) Systems and methods for generating an auditable digital certificate
EP3005202B1 (en) System and method for biometric authentication with device attestation
CN111428559A (en) Method and device for detecting wearing condition of mask, electronic equipment and storage medium
KR101626880B1 (en) Distinguish and recognition system of ID card for real name certification by non-face-to-face and online
CN111861240A (en) Suspicious user identification method, device, equipment and readable storage medium
US20220046012A1 (en) Method and System for Verifying the Identity of a User
WO2019200872A1 (en) Authentication method and apparatus, and electronic device, computer program, and storage medium
EP3807794B1 (en) Age verification
US20210351927A1 (en) System, method and computer program product for mitigating customer onboarding risk
US20180097805A1 (en) Pharmacy Authentication Methods and Systems
KR102609220B1 (en) Identification verification server for detecting forgery and identification verificatio method using the same
Bouma et al. Authentication of travel and breeder documents
Zinjurde et al. Credit card fraud detection and prevention by face recognition
Chaubey et al. AutoKYC: Automation of Identity establishment and authentication in KYC process using Text extraction and face recognition
KR20050022564A (en) System and method for distinguishing forgery/alteration and performing identification of resident registration card using fingerprint image and photo image
Aishwarya et al. Detection of impersonation in online examinations using blockchain
KR102646405B1 (en) Identification method using face and fingerprint
KR102629509B1 (en) Identification method using two-dimensional code
GB2576521A (en) Systems and methods for remotely verifying user identities
EP3671503B1 (en) Graphometric document signing method and system

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant