KR20220001191A - Method for performing video call certification - Google Patents

Method for performing video call certification Download PDF

Info

Publication number
KR20220001191A
KR20220001191A KR1020200079226A KR20200079226A KR20220001191A KR 20220001191 A KR20220001191 A KR 20220001191A KR 1020200079226 A KR1020200079226 A KR 1020200079226A KR 20200079226 A KR20200079226 A KR 20200079226A KR 20220001191 A KR20220001191 A KR 20220001191A
Authority
KR
South Korea
Prior art keywords
video call
authentication
terminal
user
user terminal
Prior art date
Application number
KR1020200079226A
Other languages
Korean (ko)
Other versions
KR102384253B1 (en
Inventor
배정호
하태기
조유선
김현승
정기수
이동열
최호열
오지연
Original Assignee
주식회사 카카오뱅크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 카카오뱅크 filed Critical 주식회사 카카오뱅크
Priority to KR1020200079226A priority Critical patent/KR102384253B1/en
Publication of KR20220001191A publication Critical patent/KR20220001191A/en
Application granted granted Critical
Publication of KR102384253B1 publication Critical patent/KR102384253B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0281—Customer communication at a business location, e.g. providing product or service information, consulting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Computer Security & Cryptography (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Game Theory and Decision Science (AREA)
  • Signal Processing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Bioethics (AREA)
  • Technology Law (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Collating Specific Patterns (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

The present invention discloses a method for performing video call certification. Specifically, the method for performing video call certification performed in a financial company server associated with a user terminal and a counselor terminal comprises the steps: receiving an identification image from the user terminal; receiving a video call request from the user terminal and transmitting the video call request to the counselor terminal; receiving a judgment about the authenticity of the received identification image; connecting the user terminal and the counselor terminal to provide a video call service; computing a matching rate between a user's face photographed during a video call and the user's face included in the received identification image; and determining whether to permit certification of the user terminal using different steps according to a range to which the computed matching rate belongs.

Description

영상통화인증 수행 방법{Method for performing video call certification} Method for performing video call certification

본 발명은 영상통화인증 수행 방법에 관한 것이다. 구체적으로, 본 발명은 안면비교 알고리즘을 이용하여 영상통화 상의 사용자 얼굴과 신분증 상의 얼굴 간 매칭률을 도출하고, 도출된 점수에 따라 서로 다른 시나리오를 이용하여 영상통화인증을 수행하는 방법에 관한 것이다.The present invention relates to a method for performing video call authentication. Specifically, the present invention relates to a method of deriving a matching rate between a user's face on a video call and a face on an ID card using a face comparison algorithm, and performing video call authentication using different scenarios according to the derived scores.

온라인 금융 서비스가 발달함에 따라 비대면 실명확인과 관련된 다양한 방식들이 금융권에서 이용되고 있다. 비대면 실명확인 방법에는 실명확인증표(예를 들어, 주민등록증 또는 운전면허증)의 사본을 제출하거나, 영상통화를 이용하거나, 접근매체(예를 들어, 현금카드, 통장, OTP, 보안카드)의 전달과정에서 실명확인증표를 확인하거나, 기존계좌를 활용하거나, 바이오 정보를 활용하는 등 다양한 방식이 이용될 수 있다.With the development of online financial services, various methods related to non-face-to-face real-name verification are being used in the financial sector. For the non-face-to-face real-name verification method, submit a copy of the real-name verification certificate (eg, resident registration card or driver's license), use video call, or deliver an access medium (eg, cash card, bankbook, OTP, security card) In the process, various methods can be used, such as verifying a real-name verification certificate, using an existing account, or using bio information.

이 중 '영상통화를 이용한 인증방식(이하, 영상통화인증)'은, 금융회사 또는 금융회사 직원이 영상통화 등을 통해 실명확인증표 상의 얼굴사진과 영상통화 상의 사용자 얼굴을 비교하여 동일인이 맞는지 확인하는 방법을 의미한다. Among them, in the 'verification method using video call (hereinafter referred to as video call authentication)', a financial company or an employee of a financial company compares the face picture on the real name verification certificate with the user's face on the video call to check whether it is the same person through a video call, etc. means how to

영상통화를 이용한 실명확인 절차로, 영상통화의 접근매체(예를 들어, 스마트폰의 카메라)를 동작시키고, 영상통화를 통해 고객의 실명확인증표를 제시하도록 하며, 금융회사에서 육안 또는 안면인식기술로 얼굴 일치여부를 확인하고, 확인이 완료되는 경우 인증을 허여하는 방법이 이용되고 있다.It is a real name verification procedure using video call, which operates the access medium (eg, smartphone camera) of video call, requires the customer to present the customer's real name verification certificate through video call, and provides visual or facial recognition technology in financial companies A method of confirming whether a face is matched by using a method and granting authentication when the confirmation is completed is used.

다만, 육안으로 얼굴을 비교하는 영상통화인증 방식은 정확도 측면에서 한계를 지니는 문제점이 있었다.However, the video call authentication method that compares faces with the naked eye has a problem in terms of accuracy.

또한, 국내의 주민등록증은 유효기간이 별도로 정해져 있지 않아, 20년 이상 된 신분증을 소지하고 있는 고객들이 다수 존재하며 이는 영상통화인증의 육안 비교를 더욱 어렵게 하는 요인으로 작용하였다.In addition, domestic resident registration cards do not have a separate expiration date, so there are many customers who have ID cards that are more than 20 years old, which acted as a factor that made visual comparison of video call authentication more difficult.

또한, 비대면 환경 특성 상 신분증의 촬영 중에 발생할 수 있는 반사광이나, 빛반사에 의한 홀로그램 발현과 같은 방해요소는 영상통화인증의 육안 비교를 더욱 어렵게 하여 영상통화인증의 정확도를 저해시키는 문제가 있었다.In addition, due to the characteristics of the non-face-to-face environment, interference factors such as reflected light or hologram expression caused by light reflection that may occur during ID photographing make visual comparison of video call authentication more difficult, thereby impairing the accuracy of video call authentication.

본 발명의 목적은, 영상통화 중 얼굴을 실시간으로 추출하고 안면비교 알고리즘을 이용하여 얼굴 매칭률을 점수화하여 제공함으로써, 상담사의 육안 비교에 의한 영상통화인증 판단의 정확성을 향상시킬 수 있는 영상통화인증 수행 방법을 제공하는 것이다.An object of the present invention is to extract a face during a video call in real time and score the face matching rate using a face comparison algorithm to provide a score, thereby improving the accuracy of video call authentication judgment by a counselor's visual comparison. It provides a way to do it.

또한, 본 발명의 목적은, 안면비교 알고리즘을 이용하여 도출된 안면비교점수(즉, 신분증 사진과 영상통화 상 얼굴 간의 매칭률)가 속한 범위에 따라, 추가 인증을 수행할 서로 다른 시나리오를 적용함으로써 영상통화인증의 정확도를 높일 수 있는 영상통화인증 수행 방법을 제공하는 것이다.In addition, it is an object of the present invention, by applying different scenarios to perform additional authentication according to the range to which the facial comparison score derived using the facial comparison algorithm (that is, the matching rate between the ID photo and the face on the video call) belongs. It is to provide a method for performing video call authentication that can increase the accuracy of video call authentication.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention not mentioned may be understood by the following description, and will be more clearly understood by the examples of the present invention. It will also be readily apparent that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the appended claims.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 영상통화인증 수행 방법은, 사용자 단말기로부터 신분증 이미지를 수신하는 단계, 상기 사용자 단말기로부터 영상통화 신청을 수신하고, 상기 상담원 단말기에 영상통화요청을 전달하는 단계, 상기 수신된 신분증 이미지에 대한 진위확인판단을 수신하는 단계, 상기 사용자 단말기와 상기 상담원 단말기를 연결하여, 영상통화 서비스를 제공하는 단계, 상기 영상통화 중에 촬영된 사용자 얼굴과, 상기 수신된 신분증 이미지에 포함된 얼굴 간의 매칭률을 도출하는 단계, 및 상기 도출된 매칭률이 속한 범위에 따라, 서로 다른 단계를 이용하여 상기 사용자 단말기의 인증허용여부를 결정하는 단계를 포함한다.The method for performing video call authentication according to an embodiment of the present invention for achieving the above technical problem includes the steps of receiving an ID image from a user terminal, receiving a video call request from the user terminal, and requesting a video call to the counselor terminal transmitting, receiving a determination of authenticity of the received identification image, connecting the user terminal and the counselor terminal to provide a video call service, the user's face photographed during the video call, and the deriving a matching rate between faces included in the received identification image, and determining whether to allow authentication of the user terminal using different steps according to a range to which the derived matching rate belongs.

또한, 상기 인증허용여부를 결정하는 단계는, 상기 매칭률이 미리 정해진 제1 기준치 이상인 경우, 상기 사용자 단말기를 이용하는 고객의 인증판단등급을 제1 등급으로 판단하고, 상기 매칭률이 상기 제1 기준치 미만이고 상기 제1 기준치 보다 낮은 제2 기준치 이상인 경우, 상기 인증판단등급을 제2 등급으로 판단하고, 상기 매칭률이 상기 제2 기준치 미만인 경우, 상기 인증판단등급을 제3 등급으로 판단하되, 상기 제1 등급과 상기 제2 등급은, 서로 다른 판단 단계를 거쳐 인증허용여부가 결정될 수 있다.In addition, in the step of determining whether to allow the authentication, when the matching rate is equal to or greater than a predetermined first reference value, determining the authentication determination level of the customer using the user terminal as the first level, and the matching rate is the first reference value If less than and equal to or greater than a second reference value lower than the first reference value, the authentication determination level is determined as a second level, and when the matching rate is less than the second reference value, the authorization determination level is determined as a third level, For the first grade and the second grade, whether to allow authentication may be determined through different determination steps.

또한, 상기 인증허용여부를 결정하는 단계는, 상기 인증판단등급이 상기 제1 등급인 경우, 상기 영상통화요청에 포함된 거래목적이 계좌개설인지 여부를 판단하는 단계와, 상기 진위확인판단을 수행한 진위확인기관이 특징점 비교를 이용하여 진위확인을 수행하였는지 여부를 판단하는 단계를 더 포함할 수 있다.In addition, the step of determining whether to allow the authentication includes the steps of determining whether the transaction purpose included in the video call request is to open an account, when the authentication determination level is the first level, and performing the authenticity confirmation determination The method may further include the step of determining whether one authenticity verification agency has performed authenticity verification using feature point comparison.

또한, 상기 인증허용여부를 결정하는 단계는, 상기 거래목적이 계좌개설이고, 상기 진위확인기관이 특징점 비교를 이용하지 않은 경우, 상기 상담원 단말기에 머그샷 인증과 신분증의 정밀재확인을 수행할 것을 알리는 메시지를 전달하는 단계와, 상기 상담원 단말기로부터 이상없음의 답변을 수신하는 경우 영상통화인증을 성공으로 판단하는 단계와, 상기 상담원 단말기로부터 이상있음의 답변을 수신하는 경우, 영상통화인증을 실패로 판단하는 단계와, 상기 거래목적이 계좌개설이 아니거나, 상기 진위확인기관이 특징점 비교를 이용한 경우, 영상통화인증을 성공으로 판단하는 단계를 더 포함할 수 있다.In addition, in the step of determining whether to allow the authentication, when the purpose of the transaction is to open an account and the authenticity verification institution does not use the feature point comparison, informing the counselor terminal to perform mugshot authentication and precise reconfirmation of identification The steps of delivering a message, determining that the video call authentication is successful when receiving an answer of no abnormality from the agent terminal, and determining that the video call authentication is a failure when receiving an answer indicating that there is an abnormality from the agent terminal and determining that the video call authentication is successful when the transaction purpose is not to open an account or the authenticity verification institution uses the feature point comparison.

또한, 상기 인증허용여부를 결정하는 단계는, 상기 인증판단등급이 상기 제2 등급인 경우, 상기 상담원 단말기에 머그샷 인증을 수행할 것을 알리는 메시지를 전달하고, 상기 상담원 단말기로부터 이상유무에 대한 답변을 수신하는 단계와, 상기 사용자 단말기에 질문을 제공하고, 정답수신여부를 판단하는 단계를 더 포함할 수 있다.In addition, in the step of determining whether to allow the authentication, when the authentication determination level is the second level, a message indicating that mugshot authentication is to be performed is transmitted to the counselor terminal, and an answer to whether there is an abnormality from the counselor terminal It may further include the steps of receiving, providing a question to the user terminal, and determining whether a correct answer is received.

또한, 상기 정답수신여부를 판단하는 단계는, 상기 영상통화요청에 포함된 거래목적이 최초계좌개설인 경우, 사용자의 개인정보와 관련된 질문을 제공하고, 상기 영상통화요청에 포함된 거래목적이 최초계좌개설이 아닌 경우, 사용자의 이전 거래내역과 관련된 질문을 제공하는 것을 포함할 수 있다.In addition, in the step of determining whether the correct answer is received, if the transaction purpose included in the video call request is initial account opening, a question related to the user's personal information is provided, and the transaction purpose included in the video call request is the first In the case of not opening an account, it may include providing questions related to the user's previous transaction details.

또한, 상기 인증허용여부를 결정하는 단계는, 상기 인증판단등급이 상기 제3 등급인 경우, 상기 영상통화인증이 거절됨을 안내하고, 다른 인증수단을 제공하는 단계와, 추가분석용 단말기에 상기 영상통화 중에 촬영된 사용자 얼굴과 상기 수신된 신분증 이미지에 포함된 사용자 얼굴을 전송하고, 실시간 알림을 제공하는 단계를 더 포함할 수 있다.In addition, the step of determining whether to allow the authentication includes the steps of notifying that the video call authentication is rejected when the authentication decision level is the third level, and providing another authentication means; The method may further include transmitting the user's face photographed during a call and the user's face included in the received identification image, and providing a real-time notification.

또한, 상기 매칭률을 도출하는 단계는, 딥러닝을 기초로 동작하는 아크페이스(ArcFace) 알고리즘을 이용할 수 있다.In addition, the step of deriving the matching rate may use an ArcFace algorithm operating based on deep learning.

또한, 상기 진위확인판단을 수신하는 단계는, 상기 상담원 단말기로부터 상기 수신된 신분증 이미지의 이상여부와 관련된 답변을 수신하는 단계와, 상기 수신된 신분증 이미지를 진위확인기관의 서버로 전송하고, 상기 진위확인판단에 대한 답변을 수신하는 단계를 포함할 수 있다.In addition, the receiving of the authenticity confirmation determination includes: receiving an answer related to whether the received identification image is abnormal from the counselor terminal; transmitting the received identification image to a server of an authenticity confirmation organization; It may include receiving a response to the confirmation decision.

또한, 상기 진위확인판단을 수신하는 단계는, 상기 상담원 단말기로부터 이상있음의 답변을 수신하는 경우, 영상통화인증을 실패로 판단하는 단계와, 상기 상담원 단말기로부터 이상없음의 답변을 수신하는 경우, 상기 사용자 단말기가 이상거래내역을 포함하는지 여부를 판단하는 단계를 더 포함할 수 있다.In addition, the receiving of the authenticity confirmation determination includes: determining that the video call authentication is a failure when receiving an answer indicating that there is an abnormality from the agent terminal; The method may further include determining whether the user terminal includes abnormal transaction details.

또한, 상기 진위확인기관의 서버는, 상기 신분증 이미지와 미리 저장된 신분증의 얼굴 간의 특징점 일치여부를 기초로 상기 진위확인 판단을 수행하는 제1 기관과, 상기 신분증 이미지와 미리 저장된 신분증 상의 이름, 주민번호, 발급일자, 또는 운전면허번호를 포함하는 개인정보의 일치여부를 기초로 상기 진위확인 판단을 수행하는 제2 기관으로 구분될 수 있다.In addition, the server of the authenticity verification agency includes a first agency that determines the authenticity based on whether the feature points match between the ID image and the face of the ID stored in advance, and the ID image and the name and resident number on the ID stored in advance. , the date of issuance, or the second institution that performs the determination of authenticity based on whether the personal information including the driver's license number matches.

또한, 상기 수신된 신분증 이미지와 미리 입력된 블랙리스트 간의 제1 매칭률을 도출하는 단계와, 상기 도출된 제1 매칭률이 미리 설정된 기준치 이상인 경우, 추가분석용 단말기에 상기 수신된 신분증 이미지를 전송하고, 실시간 알림을 제공하는 단계를 더 포함할 수 있다.In addition, deriving a first matching rate between the received ID image and a blacklist input in advance, and when the derived first matching rate is greater than or equal to a preset reference value, transmitting the received ID image to a terminal for further analysis and providing a real-time notification may be further included.

또한, 상기 영상통화 중에 촬영된 사용자 얼굴과 미리 입력된 블랙리스트 간의 제2 매칭률을 도출하는 단계와, 상기 도출된 제2 매칭률이 미리 설정된 기준치 이상인 경우, 추가분석용 단말기에 상기 영상통화 중에 촬영된 사용자 얼굴과 상기 수신된 신분증 이미지에 포함된 사용자 얼굴을 전송하고, 실시간 알림을 제공하는 단계를 더 포함할 수 있다.In addition, deriving a second matching rate between the user's face photographed during the video call and a blacklist input in advance; The method may further include transmitting the photographed user's face and the user's face included in the received identification image, and providing a real-time notification.

상기 기술적 과제를 달성하기 위한 본 발명의 다른 실시예에 따른 영상통화인증 수행 방법은, 상기 사용자 단말기로부터 신분증 이미지를 수신하는 단계, 상기 사용자 단말기로부터 영상통화 신청을 수신하고, 상기 상담원 단말기에 영상통화요청을 전달하는 단계, 상기 수신된 신분증 이미지에 대한 진위확인판단을 수신하는 단계, 상기 사용자 단말기와 상기 상담원 단말기를 연결하여, 영상통화 서비스를 제공하는 단계, 상기 영상통화 중에 촬영된 사용자 얼굴과, 상기 수신된 신분증 이미지에 포함된 사용자 얼굴 간의 매칭률을 도출하는 단계, 및 상기 도출된 매칭률을 기초로 상기 사용자 단말기의 인증허용여부를 결정하는 단계를 포함한다. A method for performing video call authentication according to another embodiment of the present invention for achieving the above technical problem includes the steps of receiving an ID image from the user terminal, receiving a video call request from the user terminal, and making a video call to the counselor terminal Transmitting a request, receiving a determination of authenticity of the received identification image, connecting the user terminal and the counselor terminal to provide a video call service, a user's face photographed during the video call; and deriving a matching rate between the user faces included in the received identification image, and determining whether to allow authentication of the user terminal based on the derived matching rate.

이상에서 설명한 바와 같이, 본 발명의 영상통화인증 수행 방법은, 안면비교 알고리즘을 이용하여 영상통화를 수행하는 사용자의 얼굴을 실시간으로 추출하고 미리 수신된 신분증 이미지 상의 얼굴과 비교하여 점수화함으로써, 영상통화인증을 수행하는 상담원의 영상통화인증의 편의성, 인증처리속도, 및 인증정확성을 향상시킬 수 있다.As described above, the method for performing video call authentication of the present invention extracts the face of a user performing a video call in real time using a face comparison algorithm and compares it with the face on the previously received ID image to score the video call. It is possible to improve the convenience of video call authentication, authentication processing speed, and authentication accuracy of an agent performing authentication.

또한, 본 발명의 영상통화인증 수행 방법은, 안면비교 알고리즘을 통해 도출된 매칭률에 안면비교점수에 따라 서로 다른 추가인증단계를 수행하는 시나리오를 적용함으로써, 영상통화인증의 정확도를 향상시킬 수 있다.In addition, the video call authentication method of the present invention can improve the accuracy of video call authentication by applying a scenario of performing different additional authentication steps according to the face comparison score to the matching rate derived through the face comparison algorithm. .

이를 통해, 본 발명은 위조 신분증을 이용하거나 타인을 사칭함으로써 발생할 수 있는 금융사고를 예방하고, 비대면 금융거래에 대한 전반적인 사용자의 신뢰도를 향상시킬 수 있다.Through this, the present invention can prevent a financial accident that may occur by using a forged ID card or impersonating another person, and improve the overall user's trust in non-face-to-face financial transactions.

상술한 내용과 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.The specific effects of the present invention in addition to the above will be described together while explaining the specific details for carrying out the invention below.

도 1은 본 발명의 실시예에 따른 영상통화인증 시스템을 설명하기 위한 개략도이다.
도 2는 본 발명의 실시예에 따른 영상통화인증 수행 방법을 개략적으로 설명하기 위한 순서도이다.
도 3은 도 2의 S110 단계에서 사용자 단말기에 표시되는 인터페이스를 설명하기 위한 도면이다.
도 4는 도 2의 S120 단계 및 S130 단계에서 사용자 단말기에 표시되는 인터페이스를 설명하기 위한 도면이다.
도 5는 도 2의 S140 단계 내지 S160 단계에서 사용자 단말기에 표시되는 인터페이스를 설명하기 위한 도면이다.
도 6은 본 발명의 영상통화인증 수행 방법의 안면비교 알고리즘에서 이용하는 비교 대상 이미지를 설명하기 위한 도면이다.
도 7은 도 6의 안면비교 알고리즘을 이용하여 도출된 동일인 이미지에 대한 매칭률과, 타인 이미지에 대한 매칭률의 분포를 나타내는 그래프이다.
도 8은 본 발명의 일 실시예에 따른 영상통화인증 수행 방법을 구체적으로 설명하기 위한 순서도이다.
도 9는 도 8에 따른 영상통화인증 수행 방법에서 도출된 인증판단등급이 제1 등급인 경우에 수행되는 시나리오를 설명하기 위한 순서도이다.
도 10은 도 8에 따른 영상통화인증 수행 방법에서 도출된 인증판단등급이 제2 등급인 경우에 수행되는 시나리오를 설명하기 위한 순서도이다.
도 11은 도 8에 따른 영상통화인증 수행 방법에서 도출된 인증판단등급이 제3 등급인 경우에 수행되는 시나리오를 설명하기 위한 순서도이다.1 is a schematic diagram for explaining a video call authentication system according to an embodiment of the present invention.
2 is a flowchart schematically illustrating a method for performing video call authentication according to an embodiment of the present invention.
FIG. 3 is a diagram for explaining an interface displayed on a user terminal in step S110 of FIG. 2 .
FIG. 4 is a diagram for explaining an interface displayed on a user terminal in steps S120 and S130 of FIG. 2 .
5 is a diagram for explaining an interface displayed on a user terminal in steps S140 to S160 of FIG. 2 .
6 is a diagram for explaining a comparison target image used in a face comparison algorithm of the method for performing video call authentication of the present invention.
7 is a graph showing the distribution of matching rates for images of the same person derived using the facial comparison algorithm of FIG. 6 and matching rates for images of others.
8 is a flowchart for specifically explaining a method for performing video call authentication according to an embodiment of the present invention.
9 is a flowchart for explaining a scenario performed when the authentication determination level derived from the method for performing video call authentication according to FIG. 8 is the first level.
FIG. 10 is a flowchart for explaining a scenario performed when the authentication determination level derived from the method for performing video call authentication according to FIG. 8 is the second level.
11 is a flowchart for explaining a scenario performed when the authentication determination level derived from the method for performing video call authentication according to FIG. 8 is the third level.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in a variety of different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the technical field to which the present invention belongs It is provided to fully inform the possessor of the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.The terminology used herein is for the purpose of describing the embodiments and is not intended to limit the present invention. In this specification, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, "comprises" and/or "comprising" refers to the presence of one or more other components, steps, operations and/or elements mentioned. or addition is not excluded.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used herein may be used with the meaning commonly understood by those of ordinary skill in the art to which the present invention belongs. In addition, terms defined in a commonly used dictionary are not to be interpreted ideally or excessively unless specifically defined explicitly.

이하에서는, 도 1 내지 도 11을 참조하여 본 발명의 실시예에 따른 영상통화인증 시스템 및 영상통화인증 수행 방법에 대해 자세히 설명하도록 한다.Hereinafter, a video call authentication system and a video call authentication method according to an embodiment of the present invention will be described in detail with reference to FIGS. 1 to 11 .

도 1은 본 발명의 실시예에 따른 영상통화인증 시스템을 설명하기 위한 개략도이다.1 is a schematic diagram for explaining a video call authentication system according to an embodiment of the present invention.

도 1을 참조하면, 도 1을 참조하면, 본 발명의 실시예에 따른 영상통화인증 시스템은, 금융사 서버(100), 사용자 단말기(200) 및 상담원 단말기(300)를 포함한다.Referring to FIG. 1 , the video call authentication system according to an embodiment of the present invention includes a financial company server 100 , a user terminal 200 , and a counselor terminal 300 .

금융사 서버(100)(이하, 서버)는 영상통화인증의 수행주체로써 동작할 수 있다.The financial company server 100 (hereinafter, the server) may operate as a subject of video call authentication.

구체적으로, 서버(100)는 사용자 단말기(200)로부터 신분증 이미지를 수신하고, 영상통화요청을 수신할 수 있다. 이어서, 서버(100)는 영상통화를 요청한 사용자 단말기(200)와 상담원 단말기(300)를 연결하여, 상호 간에 영상통화 서비스를 제공할 수 있다.Specifically, the server 100 may receive an ID image from the user terminal 200 and receive a video call request. Subsequently, the server 100 may connect the user terminal 200 that has requested a video call and the counselor terminal 300 to provide a video call service to each other.

영상통화를 진행하는 과정에서, 서버(100)는 사용자 단말기(200)로부터 수신된 사용자의 얼굴과, 수신된 신분증 이미지에 포함된 얼굴을 도출하고, 두 얼굴 간의 유사도(이하, 매칭률)을 계산한다. 이때, 서버(100)는 안면비교 알고리즘을 이용하여 영상통화 상의 사용자의 얼굴과, 신분증 이미지에 포함된 얼굴 사이의 매칭률을 계산한다.In the process of conducting a video call, the server 100 derives the user's face received from the user terminal 200 and the face included in the received ID image, and calculates the similarity (hereinafter, matching rate) between the two faces. do. At this time, the server 100 calculates a matching rate between the user's face on the video call and the face included in the ID image by using a face comparison algorithm.

이어서, 서버(100)는 계산된 매칭률을 기초로 해당 영상통화인증의 허용여부를 결정하되, 계산된 매칭률이 속한 범위에 따라 서로 다른 단계(또는, 시나리오)를 이용하여 사용자 단말기(200)의 영상통화인증의 허용여부를 결정한다. 여기에서, 서버(100)는 계산된 매칭률과 미리 정해진 범위를 비교하여, 사용자의 인증판단등급을 도출할 수 있다.Next, the server 100 determines whether to allow the corresponding video call authentication based on the calculated matching rate, but uses different steps (or scenarios) according to the range to which the calculated matching rate belongs to the user terminal 200 Determines whether to allow video call authentication of Here, the server 100 may derive the user's authentication judgment level by comparing the calculated matching rate with a predetermined range.

이때, 서버(100)는 도출된 인증판단등급에 대응되는 추가적인 인증단계(이하, 추가인증단계)를 수행하도록, 상담원 단말기(300)에 인증수행방법에 대한 알림을 제공할 수 있다. 예를 들어, 서버(100)는 상담원 단말기(300)에 머그샷(Mug shot)을 수행하거나, 제출된 신분증 이미지를 정밀하게 재확인할 것을 요청하거나, 사용자의 개인정보 또는 이전거래내역과 관련된 질의를 통해 정상대답여부를 판단할 것을 요청할 수 있다.In this case, the server 100 may provide a notification about the authentication method to the agent terminal 300 to perform an additional authentication step (hereinafter, additional authentication step) corresponding to the derived authentication determination level. For example, the server 100 performs a mug shot to the agent terminal 300, requests to precisely reconfirm the submitted ID image, or makes a query related to the user's personal information or previous transaction details. You can request to judge whether the answer is normal.

인증판단등급에 따라 상담원 단말기(300)에서 수행하는 추가인증단계는 서로 다르게 구성될 수 있으며, 인증판단등급에 따른 서로 다른 인증허용여부 결정 방법에 대한 자세한 내용은 이하에서 후술하도록 한다.The additional authentication steps performed by the agent terminal 300 may be configured differently according to the authentication judgment grade, and details of different authentication permission determination methods according to the authentication judgment grade will be described below.

이때, 서버(100)와 사용자 단말기(200)는 서버-클라이언트 시스템으로 구현될 수 있다. In this case, the server 100 and the user terminal 200 may be implemented as a server-client system.

구체적으로, 서버(100)는 각 사용자 계정에 대한 개인정보를 분류하여 저장 및 관리할 수 있고, 금융과 관련된 다양한 서비스를 사용자 단말기(200)에 설치된 단말 어플리케이션을 통해 제공할 수 있다.Specifically, the server 100 may classify, store and manage personal information for each user account, and may provide various services related to finance through a terminal application installed in the user terminal 200 .

이때, 단말 어플리케이션은 금융정보를 제공하기 위한 전용 어플리케이션이거나, 금융정보를 웹 페이지를 통해 제공하기 위한 웹 브라우징 어플리케이션일 수 있다. 여기에서, 금융정보를 제공하기 위한 전용 어플리케이션은 사용자 단말기(200)에 내장된 어플리케이션이거나, 어플리케이션 배포 서버로부터 다운로드 되어 사용자 단말기(200)에 설치된 어플리케이션일 수 있다.In this case, the terminal application may be a dedicated application for providing financial information or a web browsing application for providing financial information through a web page. Here, the dedicated application for providing financial information may be an application built into the user terminal 200 or an application downloaded from an application distribution server and installed in the user terminal 200 .

즉, 사용자 단말기(200)는 금융 어플리케이션을 통해 서버(100)에서 제공하는 다양한 금융 서비스를 사용자에게 제공할 수 있다. That is, the user terminal 200 may provide various financial services provided by the server 100 to the user through the financial application.

예를 들어, 금융 어플리케이션은 사용자 단말기(200)에 구비된 카메라와 마이크를 이용하여 비대면 실명확인을 통해 신규계좌를 개설할 수 있는 계좌개설 서비스를 제공할 수 있다. 다만, 이는 설명의 편의를 위한 하나의 예시에 불과하고, 본 발명이 금융 서비스에 한정되거나, 계좌개설 서비스에 국한되어 해석되는 것은 아니다.For example, the financial application may provide an account opening service capable of opening a new account through non-face-to-face real-name verification using a camera and a microphone provided in the user terminal 200 . However, this is merely an example for convenience of description, and the present invention is not limited to financial services or limited to account opening services.

이하에서는, 설명의 편의를 위하여 사용자 단말기(200)가 미리 설치된 금융 어플리케이션을 이용하여 서버(100)로부터 제공받은 인터페이스 및 금융 서비스 정보를 화면에 표시하는 것을 전제로 설명하도록 한다.Hereinafter, for convenience of description, it is assumed that the user terminal 200 displays the interface and financial service information provided from the server 100 on the screen using a pre-installed financial application.

이때, 사용자 단말기(200)는 유무선 통신 환경에서 금융 어플리케이션을 동작시킬 수 있는 통신 단말기를 의미한다. 도 1에서 사용자 단말기(200)는 휴대용 단말기의 일종인 스마트폰(smart phone)으로 도시되었지만, 본 발명이 이에 한정되는 것은 아니며, 상술한 바와 같이 금융 어플리케이션을 동작시킬 수 있는 장치에 제한없이 적용될 수 있다. 예를 들어, 사용자 단말기(200)는 퍼스널 컴퓨터(PC), 노트북, 태블릿, 휴대폰, 스마트폰, 웨어러블 디바이스(예를 들어, 워치형 단말기) 등의 다양한 형태의 전자 장치를 포함할 수 있다.In this case, the user terminal 200 refers to a communication terminal capable of operating a financial application in a wired/wireless communication environment. Although the user terminal 200 is illustrated as a smart phone, which is a type of portable terminal in FIG. 1 , the present invention is not limited thereto, and as described above, it can be applied to a device capable of operating a financial application without limitation. have. For example, the user terminal 200 may include various types of electronic devices, such as a personal computer (PC), a notebook computer, a tablet, a mobile phone, a smart phone, and a wearable device (eg, a watch-type terminal).

또한, 도면 상에는 하나의 사용자 단말기(200)만을 도시하였으나, 본 발명이 이에 한정되는 것은 아니며, 서버(100)는 복수의 사용자 단말기(200)와 연동하여 동작할 수 있다.In addition, although only one user terminal 200 is illustrated in the drawing, the present invention is not limited thereto, and the server 100 may operate in conjunction with a plurality of user terminals 200 .

부가적으로, 사용자 단말기(200)는 사용자의 입력을 수신하는 입력부, 비주얼 정보를 디스플레이 하는 디스플레이부, 외부와 신호를 송수신하는 통신부, 사용자의 얼굴을 촬영하는 카메라부, 사용자의 음성을 디지털 데이터로 변환하는 마이크부, 및 데이터를 프로세싱하고 사용자 단말기(200) 내부의 각 유닛들을 제어하며 유닛들 간의 데이터 송/수신을 제어하는 제어부를 포함할 수 있다. 이하, 사용자의 명령에 따라 제어부가 사용자 단말기(200) 내부에서 수행하는 명령은 사용자 단말기(200)가 수행하는 것으로 통칭한다.Additionally, the user terminal 200 includes an input unit for receiving a user's input, a display unit for displaying visual information, a communication unit for transmitting and receiving signals with the outside, a camera unit for photographing a user's face, and a user's voice as digital data. It may include a microphone unit that converts, and a control unit that processes data, controls each unit inside the user terminal 200, and controls data transmission/reception between the units. Hereinafter, a command performed by the control unit inside the user terminal 200 according to a user's command is collectively referred to as a command performed by the user terminal 200 .

한편, 상담원 단말기(300)는 서버(100)와 상호 연계되어 동작하며, 사용자 단말기(200)와 영상통화를 수행하는 수행주체이다. 도면에 명확하게 도시하지는 않았으나, 서버(100)는 복수의 상담원 단말기(300)와 연계되어 동작하며, 사용자 단말기(200)로부터 영상통화요청이 수신되는 경우, 복수의 상담원 단말기(300) 중 어느 하나를 선택하여 영상통화를 요청한 사용자 단말기(200)와 매칭시킨다.On the other hand, the counselor terminal 300 operates in connection with the server 100 , and is a performing entity performing a video call with the user terminal 200 . Although not clearly shown in the drawing, the server 100 operates in connection with a plurality of agent terminals 300 , and when a video call request is received from the user terminal 200 , any one of the plurality of agent terminals 300 . to match with the user terminal 200 requesting the video call by selecting .

서버(100)는 매칭된 사용자 단말기(200)와 상담원 단말기(300)에 상호 영상통화를 수행할 수 있도록 중계하는 역할을 수행한다. 이때, 서버(100)는 사용자 단말기(200)와 상담원 단말기(300) 간의 영상통화의 내역을 저장 관리하며, 영상통화를 수행하는 중에 상담원 단말기(300)에서 수행해야 할 인증단계를 안내한다. 이러한 안내사항은 상담원 단말기(300)에 설치된 전용 어플리케이션을 통해 제공될 수 있으며, 서버(100)는 인증단계에서 필요한 사용자 정보와 함께, 상담원 단말기(300)에서 판단할 내용을 함께 제공할 수 있다.The server 100 serves as a relay so that the matched user terminal 200 and the counselor terminal 300 can perform a video call with each other. At this time, the server 100 stores and manages the details of the video call between the user terminal 200 and the agent terminal 300 , and guides the authentication step to be performed in the agent terminal 300 during the video call. Such guidance may be provided through a dedicated application installed in the counselor terminal 300 , and the server 100 may provide content to be determined by the counselor terminal 300 together with user information required in the authentication step.

예를 들어, 서버(100)는 상담원 단말기(300)에 수신된 신분증 이미지와 함께 체크해야 할 위변조 신분증 판단방법에 대한 가이드라인을 함께 제공할 수 있다. 또한, 서버(100)는 영상통화 중 사용자의 얼굴과 수신된 신분증 이미지를 기초로 산출된 매칭률과 함께, 상담원 단말기(300)가 추가적으로 수행해야 할 추가인증단계를 안내할 수 있다. 여기에서 추가인증단계는 머그샷 수행 단계, 제출된 신분증 이미지의 정밀 재확인 단계, 사용자 관련 질의에 대한 대답확인 단계를 포함할 수 있다.For example, the server 100 may provide a guideline for a method of determining a forged or forged ID card to be checked together with the ID image received by the counselor terminal 300 . In addition, the server 100 may guide an additional authentication step to be additionally performed by the counselor terminal 300 together with a matching rate calculated based on the user's face and the received ID image during the video call. Here, the additional authentication step may include a mugshot execution step, a precise re-verification step of the submitted ID image, and an answer verification step to a user-related query.

이어서, 서버(100)는 상담원 단말기(300)로부터 각 단계에 대한 답변을 수신할 수 있으며, 이를 기초로 사용자의 영상통화인증 허용여부를 결정할 수 있다.Then, the server 100 may receive an answer to each step from the counselor terminal 300, and may determine whether to allow the user's video call authentication based on this.

추가적으로, 본 발명의 실시예에 따른 영상통화인증 시스템은, 추가분석용 단말기(350)를 더 포함할 수 있다. 추가분석용 단말기(350)는 상담원 단말기(300)와 다른 별도의 단말기로 구성되어, 영상통화인증 허용여부와 관련된 추가인증단계를 수행할 수 있다. Additionally, the video call authentication system according to an embodiment of the present invention may further include a terminal 350 for additional analysis. The terminal for additional analysis 350 is configured as a separate terminal different from the counselor terminal 300, and may perform an additional authentication step related to whether to allow video call authentication.

예를 들어, 추가분석용 단말기(350)는 블랙리스트로 사전에 등록된 얼굴과 신분증 이미지에 포함된 얼굴 또는 영상통화 중인 사용자의 얼굴을 비교하거나, 사용자의 이전거래내역에 이상패턴이 있는지 판단하거나, 사용자가 제출한 신분증 이미지가 위변조 신분증에 해당하는지 여부를 재확인하는 동작을 수행할 수 있다. For example, the terminal 350 for additional analysis compares the face registered in advance as a blacklist with the face included in the ID image or the face of the user during a video call, determines whether there is an abnormal pattern in the user's previous transaction history, or , it is possible to perform an operation of reconfirming whether the ID image submitted by the user corresponds to a forged ID.

서버(100)는 추가분석용 단말기(350)에서 수행한 추가인증단계에 대한 답변을 통하여, 영상통화인증 허용여부에 대한 판단 정확성을 향상시킬 수 있다.The server 100 may improve the accuracy of determining whether to allow video call authentication through an answer to the additional authentication step performed by the terminal 350 for additional analysis.

한편, 통신망(400)은 서버(100), 사용자 단말기(200), 상담원 단말기(300), 및 추가분석용 단말기(350)를 연결하는 역할을 수행한다. 즉, 통신망(400)은 사용자 단말기(200) 또는 상담원 단말기(300)들이 서버(100)에 접속한 후 데이터를 송수신할 수 있도록 접속 경로를 제공하는 통신망을 의미한다. 통신망(400)은 예컨대 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.Meanwhile, the communication network 400 serves to connect the server 100 , the user terminal 200 , the counselor terminal 300 , and the terminal 350 for additional analysis. That is, the communication network 400 refers to a communication network that provides an access path so that the user terminal 200 or the agent terminals 300 can transmit and receive data after accessing the server 100 . The communication network 400 is, for example, a wired network such as LANs (Local Area Networks), WANs (Wide Area Networks), MANs (Metropolitan Area Networks), ISDNs (Integrated Service Digital Networks), wireless LANs, CDMA, Bluetooth, satellite communication, etc. may cover a wireless network, but the scope of the present invention is not limited thereto.

이하에서는, 본 발명의 실시예에 따른 영상통화인증 시스템에서 수행되는 영상통화인증 수행 방법에 대해 구체적으로 살펴보도록 한다.Hereinafter, a method for performing video call authentication performed in a video call authentication system according to an embodiment of the present invention will be described in detail.

도 2는 본 발명의 실시예에 따른 영상통화인증 수행 방법을 개략적으로 설명하기 위한 순서도이다. 도 3은 도 2의 S110 단계에서 사용자 단말기에 표시되는 인터페이스를 설명하기 위한 도면이다. 도 4는 도 2의 S120 단계 및 S130 단계에서 사용자 단말기에 표시되는 인터페이스를 설명하기 위한 도면이다. 도 5는 도 2의 S140 단계 내지 S160 단계에서 사용자 단말기에 표시되는 인터페이스를 설명하기 위한 도면이다. 도 6은 본 발명의 영상통화인증 수행 방법의 안면비교 알고리즘에서 이용하는 비교 대상 이미지를 설명하기 위한 도면이다. 도 7은 도 6의 안면비교 알고리즘을 이용하여 도출된 동일인 이미지에 대한 매칭률과, 타인 이미지에 대한 매칭률의 분포를 나타내는 그래프이다.2 is a flowchart schematically illustrating a method for performing video call authentication according to an embodiment of the present invention. FIG. 3 is a diagram for explaining an interface displayed on a user terminal in step S110 of FIG. 2 . FIG. 4 is a diagram for explaining an interface displayed on a user terminal in steps S120 and S130 of FIG. 2 . 5 is a diagram for explaining an interface displayed on a user terminal in steps S140 to S160 of FIG. 2 . 6 is a diagram for explaining a comparison target image used in a face comparison algorithm of the method for performing video call authentication of the present invention. 7 is a graph showing the distribution of matching rates for images of the same person derived using the facial comparison algorithm of FIG. 6 and matching rates for images of others.

도 2 및 도 3을 참조하면, 본 발명의 실시예에 따른 영상통화인증 수행 방법에서, 서버(100)는 사용자 단말기(200)로부터 신분증 이미지를 수신한다(S110). 2 and 3 , in the method for performing video call authentication according to an embodiment of the present invention, the server 100 receives an identification image from the user terminal 200 (S110).

우선, 사용자는 사용자 단말기(200)에 설치된 금융 어플리케이션을 통해 영상통화를 이용한 본인인증을 신청할 수 있다. 영상통화를 통한 본인인증은 사용자의 신분확인이 필요한 다양한 금융 서비스(예를 들어, 계좌개설, 비밀번호 변경)에서 요구될 수 있다. First, a user may apply for user authentication using a video call through a financial application installed in the user terminal 200 . User authentication through video call may be required in various financial services that require user identification (eg, account opening, password change).

전술한 바와 같이, 사용자의 신분확인은 영상통화인증 외에 다른 인증수단을 통해 이루어질 수 있음은 물론이나, 이하에서는 설명의 편의를 위하여 사용자가 영상통화의 인증수단을 선택한 것을 전제로 설명하도록 한다.As described above, the identification of the user can be performed through other authentication means other than the video call authentication, but hereinafter, for convenience of explanation, it is assumed that the user selects the authentication means of the video call.

이때, 서버(100)는 사용자 단말기(200)의 화면에 영상통화 안내화면인 <a1>을 표시할 수 있다. In this case, the server 100 may display <a1>, which is a video call guide screen, on the screen of the user terminal 200 .

이어서, 사용자가 다음버튼을 누르는 경우, 서버(100)는 신분증 진위확인 단계에 대응되는 <a21> 내지 <a23> 화면을 사용자 단말기(200)의 화면에 표시할 수 있다. 이때, <a21> 내지 <a23> 화면은 사용자의 신분증 이미지를 촬영하여 보내기 위한 단계에 해당한다.Subsequently, when the user presses the next button, the server 100 may display <a21> to <a23> screens corresponding to the step of verifying the authenticity of the ID on the screen of the user terminal 200 . In this case, the <a21> to <a23> screens correspond to the steps for capturing and sending the user's ID image.

신분증 진위확인 단계에서, 서버(100)는 실물 신분증(예를 들어, 주민등록증 또는 운전면허증)을 촬영하기 위해 사용자 단말기(200)의 카메라를 동작시켜 신분증 이미지를 획득하고, 획득된 신분증 이미지와 사용자의 정보를 서버(100)로 전달하도록 안내할 수 있다.In the identification verification step, the server 100 operates the camera of the user terminal 200 to take a real identification card (eg, resident registration card or driver's license) to obtain an identification image, and the obtained identification image and the user's Information may be guided to be transmitted to the server 100 .

이때, 서버(100)는 신분증을 촬영하는 가이드 정보를 사용자 단말기(200)의 화면에 제공할 수 있으며, 촬영된 신분증 이미지의 중요정보(예를 들어, 주민등록번호 뒷자리)에 자동으로 마스킹 처리가 되도록 이미지 후처리를 수행할 수 있다. At this time, the server 100 may provide guide information for photographing the ID card to the screen of the user terminal 200, and automatically masking important information (eg, the back digit of the resident registration number) of the photographed ID image image. Post-processing can be performed.

또한, 촬영된 신분증 이미지의 해상도, 조도, 선명도, 포커스 등이 적합하지 않은 경우, 서버(100)는 해당 신분증을 재촬영할 것을 사용자 단말기(200)에 요청할 수 있다. 또한, 촬영된 신분증 이미지에 위변조 여부가 감지되는 경우에도, 서버(100)는 해당 신분증을 재촬영할 것을 사용자 단말기(200)에 요청할 수 있다. In addition, when the resolution, illuminance, sharpness, focus, etc. of the photographed ID image are not suitable, the server 100 may request the user terminal 200 to re-photograph the ID. Also, even when forgery is detected in the photographed ID image, the server 100 may request the user terminal 200 to re-photograph the ID.

촬영된 신분증 이미지에 위변조 여부를 감지하는 로직은 통상의 기술자가 다양하게 변형하여 실시할 수 있는 기술적 부분이므로, 여기에서 이에 대한 자세한 설명은 생략하도록 한다.Since the logic for detecting whether or not forgery or not in the photographed ID image is a technical part that can be variously modified and implemented by a person skilled in the art, a detailed description thereof will be omitted here.

부가적으로, 서버(100)는 사용자 단말기(200)로부터 미리 촬영된 신분증 이미지 사진을 전달받을 수 있음은 물론이다.Additionally, of course, the server 100 may receive a pre-photographed ID image photo from the user terminal 200 .

이어서, 도 2 및 도 4를 참조하면, 서버(100)는 사용자 단말기(200)로부터 영상통화 신청을 수신한다(S120). Next, referring to FIGS. 2 and 4 , the server 100 receives a video call request from the user terminal 200 ( S120 ).

이때, 서버(100)는 영상통화를 신청할 수 있는 인터페이스인 <b11> 화면을 사용자 단말기(200)에 표시할 수 있으며, 영상통화신청이 수신된 경우, <b12> 화면을 사용자 단말기(200)에 표시할 수 있다.At this time, the server 100 may display the <b11> screen, which is an interface for requesting a video call, on the user terminal 200, and when the video call request is received, the <b12> screen is displayed on the user terminal 200 can be displayed

<b12>의 화면에는 계좌개설 신청완료의 메시지가 포함되어 있으나, 본 발명이 이에 한정되는 것은 아니며, 영상통화인증이 필요한 다양한 금융 서비스의 이름이 대체되어 표시될 수 있다.Although the screen of <b12> includes a message of completion of the account opening application, the present invention is not limited thereto, and the names of various financial services requiring video call authentication may be substituted and displayed.

이어서, 영상통화신청이 정상적으로 접수된 경우, 서버(100)는 수신된 신분증 이미지의 진위확인을 수행한다(S130).Next, when the video call request is normally received, the server 100 checks the authenticity of the received ID image (S130).

이때, 서버(100)는 영상통화신청이 정상적으로 접수된 경우 <b21> 화면을 사용자 단말기(200)에 표시할 수 있다. 이어서, 서버(100)는 수신된 신분증 이미지를 특정 상담원 단말기(300)에 전달하여 진위확인을 수행할 것을 요청하거나, 진위확인기관에 수신된 신분증 이미지를 전달하여 진위확인을 수행할 것을 요청할 수 있다. 또한, 서버(100)는 상담원 단말기(300)의 진위확인과 진위확인기관의 진위확인을 동시에 요청할 수 있다.In this case, the server 100 may display the <b21> screen on the user terminal 200 when the video call request is normally received. Subsequently, the server 100 transmits the received ID image to a specific agent terminal 300 to request authenticity verification, or transmits the received ID image to the authenticity verification agency to request authenticity verification. . In addition, the server 100 may request the confirmation of the authenticity of the counselor terminal 300 and the confirmation of the authenticity of the authenticity confirmation agency at the same time.

여기에서, 진위확인을 수행하는 진위확인기관에는, 수신된 신분증 이미지와 미리 저장된 신분증의 얼굴 간의 특징점 일치여부를 포함하여 진위확인을 수행하는 제1 기관(예를 들어, 금융결제원)과, 특징점 비교를 제외한 사용자의 개인정보(예를 들어, 이름, 주민등록번호, 발급일자, 운전면허번호 등)을 비교하여 진위확인을 수행하는 제2 기관(예를 들어, 정부민원포털, 도로교통공단)이 포함될 수 있다. 이때, 제1 기관도 제2 기관에서 수행하는 사용자의 개인정보를 이용하여 추가적인 진위확인을 수행할 수 있음은 물론이다.Here, in the authenticity checking institution performing the authenticity check, the first institution (eg, the Korea Financial Telecommunications and Clearings Institute) that performs the authenticity check including whether the feature points match between the received ID image and the face of the ID card stored in advance, and the feature point comparison A second institution (eg, government civil petition portal, Road Traffic Authority) that compares the user's personal information (eg, name, resident registration number, issuance date, driver's license number, etc.) have. In this case, of course, the first institution may also perform additional verification of authenticity using the user's personal information performed by the second institution.

또한, 상담원 단말기(300)에서 수행되는 진위확인은, 신분증 상의 개인정보가 잘 식별되는지, 실물 신분증을 촬영하였는지, 촬영된 신분증에 위변조가 없는지 여부를 상담원이 살펴보고 이에 대한 이상여부에 대한 답변을 서버(100)로 전송하는 것을 포함할 수 있다. In addition, in the authenticity check performed in the agent terminal 300, the agent examines whether the personal information on the ID is well identified, whether the real ID is photographed, and whether there is no forgery or falsification in the photographed ID, and answers whether there is an abnormality. It may include transmitting to the server 100 .

참고적으로, 본 발명은 전술한 상담원 단말기(300)에서 수행되는 진위확인 단계와, 진위확인기관에서 수행되는 진위확인 단계를 모두 수행하거나, 둘 중 어느 하나만을 선택하여 수행할 수 있다.For reference, in the present invention, both the authenticity confirmation step performed by the agent terminal 300 and the authenticity confirmation step performed by the authenticity confirmation agency may be performed, or only one of the two may be selected and performed.

이어서, 도 2 및 도 5를 참조하면, 서버(100)는 사용자 단말기(200)와 상담원 단말기(300)를 매칭시켜, 상호 간에 영상통화 서비스를 제공한다(S140).Next, referring to FIGS. 2 and 5 , the server 100 matches the user terminal 200 and the counselor terminal 300 to provide a video call service to each other (S140).

이때, 서버(100)는 상담원 단말기(300)가 진위확인을 마치고 영상통화를 수행할 수 있는 상태인지 여부를 확인한 뒤, 영상통화를 시작할 수 있는 인터페이스인 <c1> 화면을 사용자 단말기(200)에 표시할 수 있다.At this time, the server 100 checks whether the agent terminal 300 is in a state in which the agent terminal 300 can perform the video call after completing the verification, and then displays the <c1> screen, which is an interface for starting the video call, to the user terminal 200. can be displayed

이어서, 사용자 단말기(200)와 상담원 단말기(300)는 영상통화를 진행한다(S210). Next, the user terminal 200 and the counselor terminal 300 conduct a video call (S210).

이어서, 서버(100)는 영상통화 중에 촬영된 사용자의 얼굴과 수신된 신분증 이미지에 포함된 얼굴 간의 매칭률을 도출한다(S150). Next, the server 100 derives a matching rate between the user's face photographed during the video call and the face included in the received ID image (S150).

구체적으로, 도 6을 참조하면, 서버(100)는 수신된 신분증 이미지(<c41>)에 포함된 얼굴영역(FP1)과 영상통화 중에 촬영된 사용자 이미지(<c42>)의 얼굴영역(FP2)을 도출한다. 이어서, 서버(100)는 안면비교 알고리즘을 이용하여 각 얼굴 간 매칭률을 도출할 수 있다. Specifically, referring to FIG. 6 , the server 100 configures the face region FP1 included in the received identification image (<c41>) and the face region FP2 of the user image (<c42>) captured during a video call. to derive Then, the server 100 may derive a matching rate between each face by using a face comparison algorithm.

여기에서, 안면비교 알고리즘은, 딥러닝을 기초로 동작하는 아크페이스(Additive Angular Margin Loss for Deep Face Recognition; 이하, ArcFace) 알고리즘을 포함할 수 있다. 구체적으로, 아크페이스(ArcFace) 알고리즘은 DCNNs(Deep Convolutional Neural Networks)을 이용한 얼굴인식과 관련된 로직을 포함하며, 이에 대한 자세한 내용은 공개된 논문에 자세히 기재되어 있는 바, 여기에서는 자세한 설명을 생략하도록 한다. Here, the face comparison algorithm may include an Additive Angular Margin Loss for Deep Face Recognition (hereinafter, ArcFace) algorithm that operates based on deep learning. Specifically, the ArcFace algorithm includes logic related to face recognition using DCNNs (Deep Convolutional Neural Networks), and details about this are described in the published paper in detail, so detailed descriptions are omitted here. do.

다만, 본 발명의 안면비교 알고리즘이 전술한 아크페이스(ArcFace) 알고리즘에만 한정되는 것은 아니며, 복수의 얼굴 이미지에 대한 매칭률을 산출할 수 있는 다양한 종류의 알고리즘이 적용될 수 있음은 물론이다.However, the facial comparison algorithm of the present invention is not limited to the aforementioned ArcFace algorithm, and various types of algorithms capable of calculating matching rates for a plurality of face images may be applied, of course.

이어서, 서버(100)는 도출된 매칭률이 속한 범위에 따라, 사용자의 인증판단등급을 결정한다. Next, the server 100 determines the user's authentication judgment grade according to the range to which the derived matching rate belongs.

예를 들어, 도출된 매칭률이 미리 정해진 제1 기준치 이상인 경우, 서버(100)는 사용자 단말기(200)를 이용하는 고객의 인증판단등급을 제1 등급(즉, 정상 등급)으로 판단할 수 있다. 또한, 상기 매칭률이 상기 제1 기준치 미만이고 상기 제1 기준치 보다 낮은 제2 기준치 이상인 경우, 서버(100)는 고객의 인증판단등급을 제2 등급(즉, 심각 등급)으로 판단할 수 있다. 또한, 상기 매칭률이 상기 제2 기준치 미만인 경우, 서버(100)는 상기 인증판단등급을 제3 등급(즉, 심각 등급)으로 판단할 수 있다.For example, when the derived matching rate is equal to or greater than a predetermined first reference value, the server 100 may determine the authentication determination level of the customer using the user terminal 200 as the first level (ie, normal level). In addition, when the matching rate is less than the first reference value and equal to or greater than a second reference value lower than the first reference value, the server 100 may determine the customer's authentication determination level as the second level (ie, severity level). In addition, when the matching rate is less than the second reference value, the server 100 may determine the authentication determination level as a third level (ie, severity level).

추가적으로, 도 7을 참조하면, 전술한 제1 내지 제3 등급을 나누는 기준인 제1 기준치(GP1)와 제2 기준치(GP2)는, 동일인(SP)과 타인(DP)에 대해 매칭률을 산출한 복수의 샘플들에 대한 기초로 매칭률의 분포를 조사함으로써 도출될 수 있다. Additionally, referring to FIG. 7 , the first reference value GP1 and the second reference value GP2, which are the criteria for dividing the above-described first to third grades, calculate a matching rate for the same person SP and another person DP. It can be derived by examining the distribution of matching rates on the basis of a plurality of samples.

예를 들어, 서버(100)는 동일인(SP)에 대한 매칭률이 50%이상 포함되고, 타인(DP)에 대한 매칭률의 최고점보다 높은 경계점을 제1 기준치(GP1)로 설정하고, 동일인(SP)에 대한 매칭률의 최저점보다 낮은 경계점을 제2 기준치(GP2)로 설정할 수 있다. 다만, 위에서 설명한 제1 기준치(GP1)와 제2 기준치(GP2)를 설정하는 방법은 하나의 예시에 불과하며, 제1 기준치(GP1)와 제2 기준치(GP2)가 미리 정해진 고정값을 갖거나, 매칭률에 대한 샘플의 개수가 증가됨에 따라 변경되도록 변형되어 실시될 수 있음은 물론이다.For example, the server 100 sets a boundary point higher than the highest point of the matching rate for the other person (DP) as the first reference value (GP1), and the matching rate for the same person (SP) is 50% or more, and the same person ( A boundary point lower than the lowest point of the matching rate with respect to SP) may be set as the second reference value GP2 . However, the method of setting the first reference value GP1 and the second reference value GP2 described above is only an example, and the first reference value GP1 and the second reference value GP2 have predetermined fixed values or Of course, it may be modified and implemented to change as the number of samples for the matching rate increases.

제1 기준치(GP1)와 제2 기준치(GP2)가 설정되는 경우, 서버(100)는 도출된 매칭률이 제1 기준치(GP1)보다 높은 제1 영역(R1)에 포함되는지, 제1 기준치(GP1) 미만이고 제2 기준치(GP2) 이상인 제2 영역(R2)에 포함되는지, 제2 기준치(GP2) 미만인 제3 영역(R3)에 포함되는지 여부를 판단한다.When the first reference value GP1 and the second reference value GP2 are set, the server 100 determines whether the derived matching rate is included in the first region R1 higher than the first reference value GP1, the first reference value ( It is determined whether it is included in the second region R2 that is less than GP1) and is equal to or greater than the second reference value GP2 or is included in the third region R3 that is less than the second reference value GP2.

이어서, 서버(100)는 고객의 매칭률이 속한 영역에 따라, 서로 다른 단계(또는, 시나리오)를 상담원 단말기(300)가 수행함으로써 인증허용여부를 결정하도록 한다(S160). Next, the server 100 determines whether to allow authentication by performing different steps (or scenarios) by the agent terminal 300 according to the area to which the customer's matching rate belongs ( S160 ).

이때, 영상 통화 중에 도출된 매칭률이 포함된 범위에 따라 상담원 단말기(300)가 서로 다른 시나리오를 수행하는 과정에서, 서버(100)는 상담원 단말기(300)로부터 수신된 답변과, 사용자 단말기(200)가 영상통화 신청시 입력한 정보 및 고객의 개인정보를 이용하여 고객의 인증허용여부를 결정할 수 있다.At this time, while the agent terminal 300 performs different scenarios according to the range including the matching rate derived during the video call, the server 100 responds to the answer received from the agent terminal 300 and the user terminal 200 ) can determine whether to allow the customer's authentication by using the information entered when applying for a video call and the customer's personal information.

부가적으로, 본 발명의 다른 실시예에서, 서버(100)는 도출된 매칭률이 도출된 기준치를 넘는지 여부를 기초로 영상통화의 인증허용여부를 결정할 수 있다. 이 경우, 매칭률이 특정 기준치를 초과하는지 여부만 판단하면 되므로, 영상통화 인증여부에 대한 판단의 과정이 빠르게 진행될 수 있다.Additionally, in another embodiment of the present invention, the server 100 may determine whether to allow the authentication of the video call based on whether the derived matching rate exceeds the derived reference value. In this case, since it is only necessary to determine whether the matching rate exceeds a specific reference value, the process of determining whether to authenticate the video call can proceed quickly.

이어서, 다시 도 5를 참조하면, 영상통화를 진행하면서 고객의 인증허용판단에 필요한 각 단계가 완료되는 경우, 상기 영상통화는 사용자 단말기(200) 또는 상담원 단말기(300)에 의해 종료될 수 있다(<c2>).Then, referring back to FIG. 5 , when each step necessary for the customer's authentication permission determination is completed while conducting the video call, the video call may be terminated by the user terminal 200 or the counselor terminal 300 ( <c2>).

이어서, 서버(100)는 영상통화를 이용한 본인확인 결과, 인증이 허용되지 않는 경우 <c31> 화면을 사용자 단말기(200)에 표시하고, 인증이 허용되는 경우 <c32> 화면을 사용자 단말기(200)에 표시할 수 있다.Subsequently, the server 100 displays the <c31> screen on the user terminal 200 when authentication is not permitted as a result of identification using the video call, and displays the <c32> screen on the user terminal 200 when authentication is permitted. can be displayed in

위 과정을 통하여, 본 발명의 영상통화인증 수행 방법은, 안면비교 알고리즘을 이용하여 영상통화를 수행하는 사용자의 얼굴을 실시간으로 추출하고 미리 수신된 신분증 이미지 상의 얼굴과 비교하여 점수화 함으로써, 영상통화인증을 수행하는 상담원의 영상통화인증의 편의성, 인증처리속도, 및 인증정확성을 향상시킬 수 있다.Through the above process, the method for performing video call authentication of the present invention extracts the face of a user performing a video call in real time using a face comparison algorithm and compares it with the face on the previously received ID image to score the video call authentication It is possible to improve the convenience, authentication processing speed, and authentication accuracy of the video call authentication of the agent performing the

이하에서는, 전술한 영상통화인증 시스템에서 수행 가능한, 본 발명의 일 실시예에 따른 영상통화인증 수행 방법에 대해 설명하도록 한다. Hereinafter, a method for performing video call authentication according to an embodiment of the present invention, which can be performed in the above-described video call authentication system, will be described.

다만, 본 발명은 아래 도 8 내지 도 11을 참조하여 설명할 실시예에 한정되는 것은 아니며, 하기 기술할 일 실시예에 포함된 각 단계 중 일부는 생략되거나 당업자가 용이하게 실시할 수 있는 형태로 변형되어 실시될 수 있음은 물론이다. However, the present invention is not limited to the embodiment to be described with reference to FIGS. 8 to 11 below, and some of the steps included in the embodiment to be described below are omitted or can be easily implemented by those skilled in the art. Of course, it may be modified and implemented.

또한, 설명의 편의를 위해 이하에서는 서버(100)를 기준으로 영상통화인증 수행 방법에 대해 설명하도록 한다.In addition, for convenience of explanation, a method of performing video call authentication based on the server 100 will be described below.

도 8은 본 발명의 일 실시예에 따른 영상통화인증 수행 방법을 구체적으로 설명하기 위한 순서도이다.8 is a flowchart for specifically explaining a method for performing video call authentication according to an embodiment of the present invention.

도 8을 참조하면, 본 발명의 일 실시예에 따른 영상통화인증 수행 방법에서, 우선 서버(100)는 사용자 단말기(200)로부터 진위확인용 신분증 이미지를 수신한다(S310). Referring to FIG. 8 , in the method for performing video call authentication according to an embodiment of the present invention, first, the server 100 receives an identification image for authenticity confirmation from the user terminal 200 ( S310 ).

이어서, 서버(100)는 상담원 단말기(300)에 수신된 신분증 이미지를 전달하고, 신분증 이미지에 대한 진위확인 여부에 대한 답변을 수신한다(S320).Next, the server 100 transmits the received ID image to the counselor terminal 300 and receives an answer to whether or not to check the authenticity of the ID image (S320).

이때, 상담원 단말기(300)에서는 신분증 상의 정보(예를 들어, 주민번호 등)가 잘 식별되는지, 반사광이 심하지는 않은지, 실물 신분증을 촬영하였는지, 촬영된 신분증이 위변조 되지 않았는지 여부 등에 대한 진위확인여부의 답변이 입력되고, 상기 답변은 서버(100)에 전달할 수 있다.At this time, in the counselor terminal 300, whether the information on the identification card (eg, resident number, etc.) is well identified, whether the reflected light is not severe, whether the real identification is photographed, whether the photographed identification is not forged, etc. is input, and the answer may be transmitted to the server 100 .

또한, S320 단계에서, 서버(100)는 진위확인기관의 서버로부터 진위확인에 대한 답변을 수신할 수 있다. Also, in step S320 , the server 100 may receive a response to the authenticity confirmation from the server of the authenticity confirmation agency.

여기에서, 진위확인을 수행하는 진위확인기관에는, 수신된 신분증 이미지와 미리 저장된 신분증의 얼굴 간의 특징점 일치여부를 포함하여 진위확인을 수행하는 제1 기관(예를 들어, 금융결제원)과, 특징점 비교를 제외한 사용자의 개인정보(예를 들어, 이름, 주민등록번호, 발급일자, 운전면허번호 등)을 비교하여 진위확인을 수행하는 제2 기관(예를 들어, 정부민원포털, 도로교통공단)이 포함될 수 있다. 이때, 제1 기관에서도 제2 기관에서 수행하는 사용자의 개인정보를 이용하여 진위확인을 수행할 수 있음은 물론이다.Here, in the authenticity checking institution performing the authenticity check, the first institution (eg, the Korea Financial Telecommunications and Clearings Institute) that performs the authenticity check including whether the feature points match between the received ID image and the face of the ID card stored in advance, and the feature point comparison A second institution (eg, government civil petition portal, Road Traffic Authority) that compares the user's personal information (eg, name, resident registration number, issuance date, driver's license number, etc.) have. In this case, it goes without saying that the first institution may also use the user's personal information performed by the second institution to verify the authenticity.

이어서, 서버(100)는 사용자 단말기(200)의 사용자 계정에 이상거래내역이 포함되어 있는지 여부를 판단한다(S330).Next, the server 100 determines whether abnormal transaction details are included in the user account of the user terminal 200 (S330).

예를 들어, 서버(100)는 사용자의 영상통화인증의 목적이 PIN 재설정, 계좌 비밀번호 재설정이고, 미리 정한 기한(예를 들어, 최근 1주일) 이내에 PIN 또는 계좌 비밀번호 사용내역이 있음에도 재설정 요청이 접수되는 경우, 이상거래내역으로 판단할 수 있다.For example, the server 100 receives a reset request even though the purpose of the user's video call authentication is PIN reset or account password reset, and there is a PIN or account password usage history within a predetermined time limit (eg, the last one week). In this case, it can be judged as abnormal transaction details.

만약, 사용자 계정에 이상거래내역이 포함된 경우, 서버(100)는 해당 사용자의 관련 정보를 추가분석용 단말기(350)로 전달하여 추가분석을 수행하도록 할 수 있다(S391).If the user account includes abnormal transaction details, the server 100 may transmit the relevant information of the user to the terminal 350 for additional analysis to perform additional analysis (S391).

이때, 추가분석용 단말기(350)는 수신된 사용자의 이상거래내역을 분석하여 이상패턴의 존재여부를 서버(100)에 전달할 수 있다.At this time, the terminal 350 for additional analysis may analyze the received user's abnormal transaction details and transmit whether an abnormal pattern exists to the server 100 .

이어서, 서버(100)는 추가분석용 단말기(350)로부터 수신한 추가분석답변을 기초로 이상여부에 대한 판단을 수행한다(S393).Next, the server 100 determines whether there is an abnormality based on the additional analysis answer received from the additional analysis terminal 350 (S393).

만약, 사용자가 이상하다고 판단되는 경우, 서버(100)는 인증 실패로 판단하고(CF), 영상통화인증을 거절한다. 반면, 이상이 없다고 판단되는 경우, 후술할 S370 단계를 수행한다.If it is determined that the user is abnormal, the server 100 determines that the authentication has failed (CF) and rejects the video call authentication. On the other hand, if it is determined that there is no abnormality, step S370, which will be described later, is performed.

한편, 사용자에게 이상거래내역이 존재하지 않은 경우, 서버(100)는 안면비교 알고리즘을 이용하여 수신된 신분증 이미지와 미리 입력된 블랙리스트에 포함된 얼굴 간의 제1 매칭률을 도출한다(S340). 여기에서, 블랙리스트는 당행에 피해를 입혔던 피의자의 영상통화 얼굴 또는 신분증 상의 얼굴에 대한 정보를 포함할 수 있다.On the other hand, when the user does not have any abnormal transaction details, the server 100 derives a first matching rate between the received ID image and the face included in the pre-entered blacklist by using a face comparison algorithm (S340). Here, the blacklist may include information about the face of the suspect who caused damage to the bank or the face on the ID.

이어서, 도출된 제1 매칭률이 미리 설정된 기준치 이상인 경우, 서버(100)는 해당 사용자의 관련정보를 추가분석용 단말기(350)로 전달하여 추가분석을 수행하도록 할 수 있다(S391). 또한, 서버(100)는 추가분석 관련 담당자에게 관련 내용에 대한 알림을 실시간으로 전달할 수 있다.Then, when the derived first matching rate is equal to or greater than the preset reference value, the server 100 may transmit the relevant information of the user to the terminal 350 for additional analysis to perform additional analysis ( S391 ). In addition, the server 100 may deliver a notification about the relevant content to the person in charge of additional analysis in real time.

이어서, 추가분석용 단말기(350)에 추가 분석이 필요한 사용자의 관련정보가 수신되면, 추가분석용 단말기(350)는 상기 사용자 단말기(200)와의 영상통화를 통해 사용자 인증을 수행한다. 추가분석용 단말기(350)는 영상통화에 나타난 사용자의 얼굴과 블랙리스트의 얼굴 사진을 육안으로 비교한 뒤, 이에 대한 이상여부 판단을 서버(100)에 전달할 수 있다.Subsequently, when the related information of the user requiring additional analysis is received by the terminal for additional analysis ( 350 ), the terminal for additional analysis ( 350 ) performs user authentication through a video call with the user terminal ( 200 ). The terminal 350 for additional analysis may visually compare the face of the user shown in the video call and the face picture of the blacklist, and then transmit the determination of whether there is an abnormality to the server 100 .

이어서, 서버(100)는 추가분석용 단말기(350)로부터 수신한 추가분석답변을 기초로 이상여부에 대한 판단을 수행한다(S393).Next, the server 100 determines whether there is an abnormality based on the additional analysis answer received from the additional analysis terminal 350 (S393).

만약, 사용자가 이상하다고 판단되는 경우, 서버(100)는 인증 실패로 판단하고(CF), 영상통화인증을 거절한다. 반면, 이상이 없다고 판단되는 경우, 후술할 S370 단계를 수행한다.If it is determined that the user is abnormal, the server 100 determines that the authentication has failed (CF) and rejects the video call authentication. On the other hand, if it is determined that there is no abnormality, step S370, which will be described later, is performed.

한편, 도출된 제1 매칭률이 미리 설정된 기준치 미만인 경우, 서버(100)는 사용자 단말기(200)와 상담원 단말기(300)를 연결하여, 영상통화인증을 수행하도록 한다(S350). 이때, 서버(100)는 영상통화 연결을 위해 사용자 단말기(200)로부터 영상통화요청을 수신하고, 현재 대기중인 상담원 단말기(300)를 선정하여 매칭하는 동작을 선행할 수 있다.On the other hand, when the derived first matching rate is less than the preset reference value, the server 100 connects the user terminal 200 and the counselor terminal 300 to perform video call authentication (S350). In this case, the server 100 may receive a video call request from the user terminal 200 for a video call connection, and may precede the matching operation by selecting the currently waiting agent terminal 300 .

이어서, 영상통화가 시작되는 경우, 서버(100)는 영상통화 중에 촬영된 사용자 얼굴과 미리 입력된 블랙리스트 간의 제2 매칭률을 도출한다(S360). 이때, S345 단계와 S365 단계에서, 제1 매칭률과 제2 매칭률의 비교대상이 되는 각각의 기준치는 서로 다르게 설정될 수 있다.Subsequently, when a video call is started, the server 100 derives a second matching rate between the user's face photographed during the video call and the pre-entered blacklist ( S360 ). In this case, in steps S345 and S365, each reference value to be compared between the first matching rate and the second matching rate may be set differently.

이어서, 도출된 제2 매칭률이 미리 설정된 기준치 이상인 경우, 서버(100)는 해당 사용자의 관련 정보를 추가분석용 단말기(350)로 전달하여 추가분석을 수행하도록 할 수 있다(S391).Subsequently, when the derived second matching rate is equal to or greater than the preset reference value, the server 100 may transmit the relevant information of the user to the terminal 350 for additional analysis to perform additional analysis ( S391 ).

마찬가지로, 추가분석용 단말기(350)에 추가 분석이 필요한 사용자의 관련정보가 수신되면, 추가분석용 단말기(350)는 상기 사용자 단말기(200)와의 영상통화를 통해 사용자 인증을 수행한다. 이때, 추가분석용 단말기(350)는 영상통화에 나타난 사용자의 얼굴과 블랙리스트의 얼굴 사진을 육안으로 비교한 뒤, 이에 대한 이상여부 판단을 서버(100)에 전달할 수 있다.Similarly, when the related information of a user requiring additional analysis is received by the terminal for additional analysis ( 350 ), the terminal for additional analysis ( 350 ) performs user authentication through a video call with the user terminal ( 200 ). In this case, the terminal 350 for additional analysis may visually compare the face of the user shown in the video call with the face photo of the blacklist, and then transmit the determination of whether there is an abnormality thereto to the server 100 .

이어서, 서버(100)는 추가분석용 단말기(350)로부터 수신한 추가분석답변을 기초로 이상여부에 대한 판단을 수행한다(S393).Next, the server 100 determines whether there is an abnormality based on the additional analysis answer received from the additional analysis terminal 350 (S393).

만약, 사용자가 이상하다고 판단되는 경우, 서버(100)는 인증 실패로 판단하고(CF), 영상통화인증을 거절한다.If it is determined that the user is abnormal, the server 100 determines that the authentication has failed (CF) and rejects the video call authentication.

반면, 도출된 제2 매칭률이 미리 설정된 기준치 미만인 경우, 서버(100)는 영상통화 중에 촬영된 사용자의 얼굴과 수신된 신분증 이미지에 포함된 얼굴 간의 제3 매칭률을 도출한다(S370).On the other hand, when the derived second matching rate is less than the preset reference value, the server 100 derives a third matching rate between the user's face photographed during the video call and the face included in the received ID image (S370).

이어서, 서버(100)는 도출된 제3 매칭률을 기초로 사용자의 인증판단등급을 결정한다(S380).Next, the server 100 determines the user's authentication judgment level based on the derived third matching rate (S380).

예를 들어, 제3 매칭률이 미리 정해진 제1 기준치 이상인 경우, 서버(100)는 사용자 단말기(200)를 이용하는 고객의 인증판단등급을 제1 등급으로 판단한다. 또한, 제3 매칭률이 상기 제1 기준치 미만이고 상기 제1 기준치 보다 낮은 제2 기준치 이상인 경우, 서버(100)는 고객의 인증판단등급을 제2 등급으로 판단한다. 또한, 제3 매칭률이 제2 기준치 미만인 경우, 서버(100)는 고객의 인증판단등급을 제3 등급으로 판단한다.For example, when the third matching rate is equal to or greater than the first predetermined reference value, the server 100 determines the authentication determination level of the customer using the user terminal 200 as the first level. In addition, when the third matching rate is less than the first reference value and equal to or greater than the second reference value lower than the first reference value, the server 100 determines the authentication determination level of the customer as the second level. In addition, when the third matching rate is less than the second reference value, the server 100 determines the customer's authentication determination level as the third level.

여기에서, 제1 등급은 정상 상태, 제2 등급은 주의 상태, 제3 등급은 심각 상태를 의미할 수 있다. 이때, 제1 기준치와 제2 기준치에 대한 내용은 도 7을 참조하여 전술하였으므로, 여기에서 자세한 설명은 생략하도록 한다.Here, the first grade may mean a normal state, the second grade may mean an attention state, and the third grade may mean a serious state. In this case, since the contents of the first reference value and the second reference value have been described above with reference to FIG. 7 , a detailed description thereof will be omitted.

서버(100)는 도출된 고객의 인증판단등급에 따라, 서로 다른 판단 단계를 거쳐 인증허용여부를 결정할 수 있다.The server 100 may determine whether to allow authentication through different judgment steps according to the derived customer's authentication judgment grade.

이하에서는 각 등급에 따른 서버(100)의 인증허용여부 수행 방법에 대해 자세히 살펴보도록 한다.Hereinafter, a detailed description will be given of a method of performing whether or not authentication of the server 100 is permitted according to each level.

도 9는 도 8에 따른 영상통화인증 수행 방법에서 도출된 인증판단등급이 제1 등급인 경우에 수행되는 시나리오를 설명하기 위한 순서도이다. 즉, 이하에서는 도출된 인증판단등급이 '정상' 등급인 경우에 수행되는 추가인증단계를 설명하도록 한다.9 is a flowchart for explaining a scenario performed when the authentication determination level derived from the method for performing video call authentication according to FIG. 8 is the first level. That is, the additional authentication step performed when the derived authentication judgment level is 'normal' will be described below.

도 9를 참조하면, 도출된 고객의 인증판단등급이 제1 등급인 경우(T1), 서버(100)는 사용자 단말기(200)의 영상통화요청에 포함된 거래목적이 계좌개설인지 여부를 판단한다(S410).Referring to FIG. 9 , when the derived customer's authentication judgment grade is the first grade (T1), the server 100 determines whether the transaction purpose included in the video call request of the user terminal 200 is to open an account. (S410).

이어서, 서버(100)는 전술한 S320 단계에서 진위확인판단을 수행한 진위확인기관이 특징점 비교를 이용하여 진위확인을 수행하는 제1 기관(예를 들어, 금융결제원)인지 여부를 판단한다(S420).Next, the server 100 determines whether the authenticity confirmation institution that has performed the authenticity confirmation determination in step S320 described above is the first institution (eg, the Korea Financial Telecommunications & Clearings Institute) that performs the authenticity confirmation using the feature point comparison (S420) ).

이어서, 거래목적이 계좌개설이고, 진위확인기관이 특징점 비교를 이용하지 않은 경우, 서버(100)는 상담원 단말기(300)에 머그샷 인증을 수행할 것을 요청한다(S430). 여기에서, 머그샷 인증은 영상통화 중에 사용자가 신분증 실물을 보여주는 인증 방법을 의미한다.Next, when the transaction purpose is to open an account and the authenticity verification agency does not use feature point comparison, the server 100 requests the counselor terminal 300 to perform mugshot authentication (S430). Here, mugshot authentication refers to an authentication method in which a user shows an actual ID card during a video call.

이어서, 서버(100)는 상담원 단말기(300)에 제출된 신분증에 대한 정밀 재확인을 수행할 것을 알리는 메시지를 전달한다(S440). Next, the server 100 transmits a message informing the counselor terminal 300 to perform precise re-verification of the submitted ID (S440).

구체적으로, 거래목적이 계좌개설임에도 불구하고 진위확인기관이 제1 기관이 아니라면, 얼굴의 특징점 비교에 실패하여 제2 기관을 통해 진위확인이 된 것을 의미하기 때문에 추가인증단계를 수행한다. 이때, 제출한 신분증에 홀로그램이나 훼손이 있어서 얼굴 특징점 비교에 실패하였을 수도 있지만, 타인 신분증에 본인의 사진을 붙여 위조하거나, 이미지 편집 프로그램을 이용하여 편집을 거친 신분증일 수 있기에, 서버(100)는 인증 정확도를 높이기 위해 추가인증단계를 수행하도록 상담원 단말기(300)를 가이드한다.Specifically, if the authenticity verification institution is not the first institution even though the purpose of the transaction is to open an account, it means that the comparison of facial features failed and the authenticity was confirmed through the second institution, so an additional authentication step is performed. At this time, there may be a hologram or damage to the submitted ID card, so comparison of facial features may have failed. Guide the agent terminal 300 to perform an additional authentication step in order to increase the authentication accuracy.

이어서, 상담원 단말기(300)는 신분증의 진위여부에 대한 정밀 재확인을 수행한 이후, 서버(100)에 이상여부에 대한 답변을 전송한다(S450). 이때, 상담원 단말기(300)는 수신된 신분증 이미지의 위변조 여부와, 영상통화 과정에서 실물 신분증의 확인 등을 통하여 정밀 재확인을 수행할 수 있다.Next, the counselor terminal 300 transmits an answer as to whether or not there is an abnormality to the server 100 after performing a precise reconfirmation of the authenticity of the ID card (S450). In this case, the counselor terminal 300 may perform precise re-verification by checking whether the received ID image is forged or not, and checking the real ID in the video call process.

이어서, 상담원 단말기(300)로부터 이상없음의 답변을 수신하는 경우, 서버(100)는 영상통화인증을 성공으로 판단한다(CS).Next, when receiving an answer of no abnormality from the counselor terminal 300, the server 100 determines that the video call authentication is successful (CS).

반면, 상담원 단말기(300)로부터 이상있음의 답변을 수신하는 경우, 서버(100)는 영상통화인증을 실패로 판단한다(CF).On the other hand, when receiving an answer that there is an abnormality from the counselor terminal 300, the server 100 determines that the video call authentication has failed (CF).

한편, 거래목적이 계좌개설이 아니거나, 진위확인기관이 특징점 비교를 이용한 경우, 서버(100)는 영상통화인증을 성공으로 판단한다(CS). On the other hand, if the purpose of the transaction is not to open an account, or if the authenticity verification institution uses the feature point comparison, the server 100 determines that the video call authentication is successful (CS).

도 10은 도 8에 따른 영상통화인증 수행 방법에서 도출된 인증판단등급이 제2 등급인 경우에 수행되는 시나리오를 설명하기 위한 순서도이다. 즉, 이하에서는 도출된 인증판단등급이 '주의' 등급인 경우에 수행되는 추가인증단계를 설명하도록 한다. 이하에서는 전술한 내용과 중복되는 내용은 생략하고, 차이점을 위주로 설명하도록 한다.FIG. 10 is a flowchart for explaining a scenario performed when the authentication determination level derived from the method for performing video call authentication according to FIG. 8 is the second level. That is, in the following, an additional authentication step performed when the derived authentication judgment level is a 'caution' level will be described. Hereinafter, content overlapping with the above will be omitted, and differences will be mainly described.

참고로, '주의' 등급은, 안면비교 알고리즘을 통해서도 정확하게 동일인임을 판별할 수 없는 단계로, 촬영 중 방해요소(홀로그램, 반사광, 그림자 등)가 발생하였거나, 혹은 경미한 훼손이 있는 신분증을 촬영한 경우가 포함될 수 있다. 또한, 사용자의 성형, 혹은 신분증 발급시점으로부터 오랜 시간이 경과되어 비교가 어려운 경우가 있을 수 있으며, 닮은 타인의 경우도 포함될 수 있다.For reference, the 'Caution' level is a stage where it is impossible to accurately identify the same person even through a facial comparison algorithm. may be included. In addition, there may be cases where it is difficult to compare because a long time has elapsed from the user's cosmetic surgery or the issuance of the ID card, and the case of others who resemble each other may be included.

도 10을 참조하면, 도출된 고객의 인증판단등급이 제2 등급인 경우(T2), 서버(100)는 상담원 단말기(300)에 머그샷 인증을 수행할 것을 알리는 메시지를 전달한다(S510).Referring to FIG. 10 , when the derived customer's authentication judgment grade is the second grade (T2), the server 100 transmits a message informing the counselor terminal 300 to perform mugshot authentication (S510).

이어서, 서버(100)는 상담원 단말기(300)로부터 이상유무에 대한 답변을 수신한다(S520).Next, the server 100 receives an answer to the presence or absence of an abnormality from the counselor terminal 300 (S520).

이어서, 상담원 단말기(300)로부터 이상있음의 답변을 수신하는 경우, 서버(100)는 영상통화인증을 실패로 판단한다(CF).Next, when receiving an answer that there is an abnormality from the counselor terminal 300, the server 100 determines that the video call authentication has failed (CF).

한편, 상담원 단말기(300)로부터 이상없음의 답변을 수신하는 경우, 서버(100)는 사용자 단말기(200)의 영상통화요청에 포함된 거래목적이 계좌개설인지, 최초의 계좌개설인지 여부를 판단한다(S530, S540).On the other hand, when receiving an answer of no abnormality from the counselor terminal 300, the server 100 determines whether the transaction purpose included in the video call request of the user terminal 200 is to open an account or to open an account for the first time. (S530, S540).

이어서, 사용자 단말기(200)의 거래목적이 계좌개설이고, 최초의 계좌개설에 해당하는 경우, 서버(100)는 상담원 단말기(300)를 통해 고객에게 탐색질문을 제공할 것을 요청한다(S541). 이때, 상담원 단말기(300)는 고객에게 개인정보와 관련된 질문(예를 들어, 생년월일, 주소, 전화번호 등)을 물어보고, 고객으로부터 이에 대한 답변을 수신하여 서버(100)에 전달할 수 있다.Next, when the transaction purpose of the user terminal 200 is to open an account and corresponds to the first account opening, the server 100 requests to provide a search question to the customer through the counselor terminal 300 (S541). In this case, the counselor terminal 300 may ask the customer a question related to personal information (eg, date of birth, address, phone number, etc.), receive an answer from the customer, and transmit it to the server 100 .

만약, 사용자 단말기(200)의 거래목적이 계좌개설이나, 최초의 계좌개설은 아닌 경우, 서버(100)는 상담원 단말기(300)를 통해 고객에게 이전거래내역에 대한 질문을 제공할 것을 요청한다(S543). 이때, 상담원 단말기(300)는 고객에게 이전거래내역와 관련된 질문을 물어보고, 고객으로부터 이에 대한 답변을 수신하여 서버(100)에 전달할 수 있다.If the transaction purpose of the user terminal 200 is to open an account or not to open an account for the first time, the server 100 requests to provide a question about the previous transaction to the customer through the counselor terminal 300 ( S543). In this case, the counselor terminal 300 may ask the customer a question related to the previous transaction details, receive an answer from the customer, and transmit it to the server 100 .

이어서, 서버(100)는 수신된 답변이 정상답변인지 여부를 판단한다(S550).Next, the server 100 determines whether the received answer is a normal answer (S550).

이어서, 수신된 답변이 정상답변인 경우, 서버(100)는 명의도용에 대한 벌칙에 대한 내용을 안내할 것을 상담원 단말기(300)에게 요청하고(S560), 영상통화인증을 성공으로 판단한다(CS). 이는 명의도용을 시도한 경우 받게 되는 패널티를 고객한테 제공함으로써 긴장감을 높여 신분위증행위로 이어지지 않게 하기 위함이다.Next, if the received answer is a normal answer, the server 100 requests the counselor terminal 300 to guide the contents of the penalty for identity theft (S560), and determines that the video call authentication is successful (CS) ). This is to increase tension by providing the customer with a penalty for attempting identity theft so as not to lead to identity perjury.

반면, 수신된 답변이 정상답변이 아닌 경우, 서버(100)는 영상통화인증을 실패로 판단한다(CF).On the other hand, if the received answer is not a normal answer, the server 100 determines that the video call authentication has failed (CF).

한편, 전술한 S530 단계에서, 거래목적이 계좌개설이 아닌 경우, 서버(100)는 영상통화인증을 성공으로 판단한다(CS).Meanwhile, in the aforementioned step S530, if the transaction purpose is not to open an account, the server 100 determines that the video call authentication is successful (CS).

도 11은 도 8에 따른 영상통화인증 수행 방법에서 도출된 인증판단등급이 제3 등급인 경우에 수행되는 시나리오를 설명하기 위한 순서도이다. 즉, 이하에서는 도출된 인증판단등급이 '심각' 등급인 경우에 수행되는 추가인증단계를 설명하도록 한다. 이하에서는 전술한 내용과 중복되는 내용은 생략하고, 차이점을 위주로 설명하도록 한다.11 is a flowchart for explaining a scenario performed when the authentication determination level derived from the method for performing video call authentication according to FIG. 8 is the third level. That is, the additional authentication step performed when the derived authentication judgment level is 'severe' will be described below. Hereinafter, content overlapping with the above will be omitted, and differences will be mainly described.

참고로, '심각' 등급은, 타인이라고 추정되거나 신분증 상의 얼굴과 영상통화 상 얼굴이 매우 다른 단계를 의미한다.For reference, the 'severe' grade refers to a stage where it is estimated that someone is a different person or that the face on the ID is very different from the face on the video call.

도 11을 참조하면, 도출된 고객의 인증판단등급이 제3 등급인 경우(T3), 서버(100)는 영상통화인증이 거절됨을 안내할 것을 상담원 단말기(300)에 요청하고, 사용자 단말기(200)에게 다른 인증수단을 제공한다(S610).Referring to FIG. 11 , if the derived customer's authentication judgment grade is the third grade (T3), the server 100 requests the counselor terminal 300 to inform that the video call authentication is rejected, and the user terminal 200 ) to provide another authentication means (S610).

이어서, 서버(100)는 추가분석용 단말기(350)에 영상통화 중에 촬영된 사용자 얼굴과 수신된 신분증 이미지에 포함된 사용자 얼굴을 전송하고, 실시간 알림을 제공한다(S620). 이 단계에서, 추가분석용 단말기(350)는 영상통화인증 거절의 적정성을 검토하고, 검토결과를 서버(100)로 송부한다. 서버(100)는 추가분석용 단말기(350)에서 검토한 거절 적정성을 기초로, 해당 데이터를 향후 영상통화인증의 정확성을 향상시키기 자료로 이용할 수 있다.Next, the server 100 transmits the user's face captured during the video call and the user's face included in the received ID image to the terminal 350 for additional analysis, and provides a real-time notification (S620). In this step, the terminal 350 for additional analysis examines the adequacy of the video call authentication rejection, and transmits the review result to the server 100 . The server 100 may use the data as data to improve the accuracy of future video call authentication based on the rejection adequacy reviewed by the terminal 350 for additional analysis.

이어서, 서버(100)는 영상통화인증을 실패로 판단한다(CF).Next, the server 100 determines that the video call authentication has failed (CF).

추가적으로, 도면에 명확하게 도시하지는 않았으나, 안면비교 알고리즘을 통해 매칭률이 산정되지 않거나, 프로그램에 오류가 발생한 경우, 또는 신분증이 심하게 훼손된 경우, 서버(100)는 상담원 단말기(300)를 통해 고객에게 영상통화인증을 재신청할 것을 권유하고, 해당 영상통화인증을 실패로 판단할 수 있다.Additionally, although not clearly shown in the drawing, if the matching rate is not calculated through the face comparison algorithm, if an error occurs in the program, or if the ID card is severely damaged, the server 100 provides the customer through the counselor terminal 300. It is recommended to re-apply for video call authentication, and the video call authentication may be judged as a failure.

이를 통해, 본 발명의 영상통화인증 수행 방법은, 안면비교 알고리즘을 통해 도출된 매칭률에 안면비교점수에 따라 서로 다른 추가인증단계를 수행하는 시나리오를 적용함으로써, 영상통화인증의 정확도를 향상시킬 수 있다.Through this, the method of performing video call authentication of the present invention can improve the accuracy of video call authentication by applying a scenario of performing different additional authentication steps according to the face comparison score to the matching rate derived through the face comparison algorithm. have.

이를 통해, 본 발명은 위조 신분증을 이용하거나 타인을 사칭함으로써 발생할 수 있는 금융사고를 예방하고, 비대면 금융거래에 대한 전반적인 사용자의 신뢰도를 향상시킬 수 있다.Through this, the present invention can prevent a financial accident that may occur by using a forged ID card or impersonating another person, and improve the overall user's trust in non-face-to-face financial transactions.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.Although the embodiments of the present invention have been described above with reference to the accompanying drawings, those of ordinary skill in the art to which the present invention pertains can realize that the present invention can be embodied in other specific forms without changing the technical spirit or essential features. you will be able to understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.

Claims (14)

사용자 단말기 및 상담원 단말기와 연계된 금융사 서버에서 수행되는 영상통화인증 수행 방법에 있어서,
상기 사용자 단말기로부터 신분증 이미지를 수신하는 단계;
상기 사용자 단말기로부터 영상통화 신청을 수신하고, 상기 상담원 단말기에 영상통화요청을 전달하는 단계;
상기 수신된 신분증 이미지에 대한 진위확인판단을 수신하는 단계;
상기 사용자 단말기와 상기 상담원 단말기를 연결하여, 영상통화 서비스를 제공하는 단계;
상기 영상통화 중에 촬영된 사용자 얼굴과, 상기 수신된 신분증 이미지에 포함된 얼굴 간의 매칭률을 도출하는 단계; 및
상기 도출된 매칭률이 속한 범위에 따라, 서로 다른 단계를 이용하여 상기 사용자 단말기의 인증허용여부를 결정하는 단계를 포함하는
영상통화인증 수행 방법.
A method for performing video call authentication performed in a financial company server linked to a user terminal and an agent terminal, the method comprising:
receiving an identification image from the user terminal;
receiving a video call request from the user terminal and transmitting the video call request to the counselor terminal;
receiving a verdict of authenticity of the received identification image;
providing a video call service by connecting the user terminal and the counselor terminal;
deriving a matching rate between the user's face photographed during the video call and the face included in the received ID image; and
Determining whether to allow authentication of the user terminal using different steps according to the range to which the derived matching rate belongs
How to perform video call authentication.
 제1 항에 있어서,
상기 인증허용여부를 결정하는 단계는,
상기 매칭률이 미리 정해진 제1 기준치 이상인 경우, 상기 사용자 단말기를 이용하는 고객의 인증판단등급을 제1 등급으로 판단하고,
상기 매칭률이 상기 제1 기준치 미만이고 상기 제1 기준치 보다 낮은 제2 기준치 이상인 경우, 상기 인증판단등급을 제2 등급으로 판단하고,
상기 매칭률이 상기 제2 기준치 미만인 경우, 상기 인증판단등급을 제3 등급으로 판단하되,
상기 제1 등급과 상기 제2 등급은, 서로 다른 판단 단계를 거쳐 인증허용여부가 결정되는
영상통화인증 수행 방법.
According to claim 1,
The step of determining whether to allow the authentication is
If the matching rate is equal to or greater than a predetermined first reference value, determining the authentication determination level of the customer using the user terminal as the first level,
When the matching rate is less than the first reference value and equal to or greater than a second reference value lower than the first reference value, the authentication determination grade is determined as a second grade,
When the matching rate is less than the second reference value, the authentication determination level is determined as the third level,
In the first grade and the second grade, whether to allow authentication is determined through different determination steps
How to perform video call authentication.
 제2 항에 있어서,
상기 인증허용여부를 결정하는 단계는,
상기 인증판단등급이 상기 제1 등급인 경우,
상기 영상통화요청에 포함된 거래목적이 계좌개설인지 여부를 판단하는 단계와,
상기 진위확인판단을 수행한 진위확인기관이 특징점 비교를 이용하여 진위확인을 수행하였는지 여부를 판단하는 단계를 더 포함하는
영상통화인증 수행 방법.
3. The method of claim 2,
The step of determining whether to allow the authentication is
If the certification judgment grade is the first grade,
determining whether the transaction purpose included in the video call request is to open an account;
The method further comprising the step of determining whether the authenticity confirmation agency that has performed the authenticity confirmation judgment has performed the authenticity confirmation using the feature point comparison
How to perform video call authentication.
 제3 항에 있어서,
상기 인증허용여부를 결정하는 단계는,
상기 거래목적이 계좌개설이고, 상기 진위확인기관이 특징점 비교를 이용하지 않은 경우, 상기 상담원 단말기에 머그샷 인증과 신분증의 정밀재확인을 수행할 것을 알리는 메시지를 전달하는 단계와,
상기 상담원 단말기로부터 이상없음의 답변을 수신하는 경우 영상통화인증을 성공으로 판단하는 단계와,
상기 상담원 단말기로부터 이상있음의 답변을 수신하는 경우, 영상통화인증을 실패로 판단하는 단계와,
상기 거래목적이 계좌개설이 아니거나, 상기 진위확인기관이 특징점 비교를 이용한 경우, 영상통화인증을 성공으로 판단하는 단계를 더 포함하는
영상통화인증 수행 방법.
4. The method of claim 3,
The step of determining whether to allow the authentication is
When the purpose of the transaction is to open an account and the authenticity verification agency does not use the feature point comparison, transmitting a message to the counselor terminal informing the agent terminal to perform mugshot authentication and precise reconfirmation of ID;
determining that the video call authentication is successful when receiving an answer of no abnormality from the agent terminal;
determining that the video call authentication is a failure when receiving an answer stating that there is an abnormality from the counselor terminal;
If the transaction purpose is not to open an account, or the authenticity verification institution uses feature point comparison, further comprising the step of determining video call authentication as a success
How to perform video call authentication.
 제2 항에 있어서,
상기 인증허용여부를 결정하는 단계는,
상기 인증판단등급이 상기 제2 등급인 경우,
상기 상담원 단말기에 머그샷 인증을 수행할 것을 알리는 메시지를 전달하고, 상기 상담원 단말기로부터 이상유무에 대한 답변을 수신하는 단계와,
상기 사용자 단말기에 질문을 제공하고, 정답수신여부를 판단하는 단계를 더 포함하는
영상통화인증 수행 방법.
3. The method of claim 2,
The step of determining whether to allow the authentication is
If the certification judgment level is the second level,
transmitting a message informing the counselor terminal to perform mugshot authentication, and receiving an answer as to whether or not there is an abnormality from the counselor terminal;
Providing a question to the user terminal, further comprising the step of determining whether a correct answer is received
How to perform video call authentication.
 제5 항에 있어서,
상기 정답수신여부를 판단하는 단계는,
상기 영상통화요청에 포함된 거래목적이 최초계좌개설인 경우, 사용자의 개인정보와 관련된 질문을 제공하고,
상기 영상통화요청에 포함된 거래목적이 최초계좌개설이 아닌 경우, 사용자의 이전 거래내역과 관련된 질문을 제공하는 것을 포함하는
영상통화인증 수행 방법.
6. The method of claim 5,
The step of determining whether the correct answer is received is
If the transaction purpose included in the video call request is to open an account for the first time, provide a question related to the user's personal information;
When the transaction purpose included in the video call request is not the initial account opening, including providing a question related to the user's previous transaction details
How to perform video call authentication.
 제2 항에 있어서,
상기 인증허용여부를 결정하는 단계는,
상기 인증판단등급이 상기 제3 등급인 경우,
상기 영상통화인증이 거절됨을 안내하고, 다른 인증수단을 제공하는 단계와,
추가분석용 단말기에 상기 영상통화 중에 촬영된 사용자 얼굴과 상기 수신된 신분증 이미지에 포함된 사용자 얼굴을 전송하고, 실시간 알림을 제공하는 단계를 더 포함하는
영상통화인증 수행 방법.
3. The method of claim 2,
The step of determining whether to allow the authentication is
If the certification judgment level is the third level,
Informing that the video call authentication is rejected and providing another authentication means;
Transmitting the user's face photographed during the video call and the user's face included in the received ID image to a terminal for additional analysis, further comprising the step of providing a real-time notification
How to perform video call authentication.
 제1 항에 있어서,
상기 매칭률을 도출하는 단계는, 딥러닝을 기초로 동작하는 아크페이스(ArcFace) 알고리즘을 이용하는
영상통화인증 수행 방법.
According to claim 1,
The step of deriving the matching rate is performed using an ArcFace algorithm operating based on deep learning.
How to perform video call authentication.
 제1 항에 있어서,
상기 진위확인판단을 수신하는 단계는,
상기 상담원 단말기로부터 상기 수신된 신분증 이미지의 이상여부와 관련된 답변을 수신하는 단계와,
상기 수신된 신분증 이미지를 진위확인기관의 서버로 전송하고, 상기 진위확인판단에 대한 답변을 수신하는 단계를 포함하는
영상통화인증 수행 방법.
According to claim 1,
Receiving the authenticity confirmation judgment comprises:
receiving an answer related to whether the received identification image is abnormal from the counselor terminal;
Transmitting the received identification image to a server of an authenticity confirmation agency, and receiving an answer to the authenticity confirmation determination
How to perform video call authentication.
 제9 항에 있어서,
상기 진위확인판단을 수신하는 단계는,
상기 상담원 단말기로부터 이상있음의 답변을 수신하는 경우, 영상통화인증을 실패로 판단하는 단계와,
상기 상담원 단말기로부터 이상없음의 답변을 수신하는 경우, 상기 사용자 단말기가 이상거래내역을 포함하는지 여부를 판단하는 단계를 더 포함하는
영상통화인증 수행 방법.
10. The method of claim 9,
Receiving the authenticity confirmation judgment comprises:
determining that the video call authentication is a failure when receiving an answer stating that there is an abnormality from the counselor terminal;
The method further comprising the step of determining whether the user terminal includes abnormal transaction details when receiving an answer of no abnormality from the counselor terminal
How to perform video call authentication.
 제9 항에 있어서,
상기 진위확인기관의 서버는,
상기 신분증 이미지와 미리 저장된 신분증의 얼굴 간의 특징점 일치여부를 기초로 상기 진위확인 판단을 수행하는 제1 기관과,
상기 신분증 이미지와 미리 저장된 신분증 상의 이름, 주민번호, 발급일자, 또는 운전면허번호를 포함하는 개인정보의 일치여부를 기초로 상기 진위확인 판단을 수행하는 제2 기관으로 구분되는
영상통화인증 수행 방법.
10. The method of claim 9,
The server of the authenticity verification agency,
a first institution that performs the determination of authenticity based on whether the feature points match between the ID image and the face of the ID stored in advance;
It is divided into a second institution that performs the determination of authenticity based on whether the identification image and personal information including the name, resident number, issuance date, or driver's license number on the previously stored identification card match
How to perform video call authentication.
 제1 항에 있어서,
상기 수신된 신분증 이미지와 미리 입력된 블랙리스트 간의 제1 매칭률을 도출하는 단계와,
상기 도출된 제1 매칭률이 미리 설정된 기준치 이상인 경우, 추가분석용 단말기에 상기 수신된 신분증 이미지를 전송하고, 실시간 알림을 제공하는 단계를 더 포함하는
영상통화인증 수행 방법.
According to claim 1,
deriving a first matching rate between the received identification image and a previously input blacklist;
When the derived first matching rate is greater than or equal to a preset reference value, transmitting the received ID image to a terminal for additional analysis, further comprising the step of providing a real-time notification
How to perform video call authentication.
 제1 항에 있어서,
상기 영상통화 중에 촬영된 사용자 얼굴과 미리 입력된 블랙리스트 간의 제2 매칭률을 도출하는 단계와,
상기 도출된 제2 매칭률이 미리 설정된 기준치 이상인 경우, 추가분석용 단말기에 상기 영상통화 중에 촬영된 사용자 얼굴과 상기 수신된 신분증 이미지에 포함된 사용자 얼굴을 전송하고, 실시간 알림을 제공하는 단계를 더 포함하는
영상통화인증 수행 방법.
According to claim 1,
deriving a second matching rate between a user's face photographed during the video call and a pre-entered blacklist;
When the derived second matching rate is equal to or greater than a preset reference value, transmitting the user's face photographed during the video call and the user's face included in the received ID image to a terminal for additional analysis, and providing a real-time notification containing
How to perform video call authentication.
 사용자 단말기 및 상담원 단말기와 연계된 금융사 서버에서 수행되는 영상통화인증 수행 방법에 있어서,
상기 사용자 단말기로부터 신분증 이미지를 수신하는 단계;
상기 사용자 단말기로부터 영상통화 신청을 수신하고, 상기 상담원 단말기에 영상통화요청을 전달하는 단계;
상기 수신된 신분증 이미지에 대한 진위확인판단을 수신하는 단계;
상기 사용자 단말기와 상기 상담원 단말기를 연결하여, 영상통화 서비스를 제공하는 단계;
상기 영상통화 중에 촬영된 사용자 얼굴과, 상기 수신된 신분증 이미지에 포함된 사용자 얼굴 간의 매칭률을 도출하는 단계; 및
상기 도출된 매칭률을 기초로 상기 사용자 단말기의 인증허용여부를 결정하는 단계를 포함하는
영상통화인증 수행 방법.
A method for performing video call authentication performed in a financial company server linked to a user terminal and an agent terminal, the method comprising:
receiving an identification image from the user terminal;
receiving a video call request from the user terminal and transmitting the video call request to the counselor terminal;
receiving a verdict of authenticity of the received identification image;
providing a video call service by connecting the user terminal and the counselor terminal;
deriving a matching rate between the user's face photographed during the video call and the user's face included in the received ID image; and
Determining whether to allow authentication of the user terminal based on the derived matching rate
How to perform video call authentication.
KR1020200079226A 2020-06-29 2020-06-29 Method for performing video call certification KR102384253B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200079226A KR102384253B1 (en) 2020-06-29 2020-06-29 Method for performing video call certification

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200079226A KR102384253B1 (en) 2020-06-29 2020-06-29 Method for performing video call certification

Publications (2)

Publication Number Publication Date
KR20220001191A true KR20220001191A (en) 2022-01-05
KR102384253B1 KR102384253B1 (en) 2022-04-07

Family

ID=79348853

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200079226A KR102384253B1 (en) 2020-06-29 2020-06-29 Method for performing video call certification

Country Status (1)

Country Link
KR (1) KR102384253B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102618105B1 (en) * 2023-04-06 2023-12-27 한국인식산업(주) Identification verification system and service method for non-face-to-face real name verification

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170052126A (en) * 2015-11-04 2017-05-12 주식회사 디오티스 Method for Non-faced Multi-authenticating for Creating Financial Information
KR101792007B1 (en) * 2017-03-16 2017-11-21 주식회사 올아이티탑 Forgery passport inspection method and system using card in checking finger
KR20190085731A (en) * 2018-01-11 2019-07-19 고려대학교 산학협력단 Method for user authentication

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170052126A (en) * 2015-11-04 2017-05-12 주식회사 디오티스 Method for Non-faced Multi-authenticating for Creating Financial Information
KR101792007B1 (en) * 2017-03-16 2017-11-21 주식회사 올아이티탑 Forgery passport inspection method and system using card in checking finger
KR20190085731A (en) * 2018-01-11 2019-07-19 고려대학교 산학협력단 Method for user authentication

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102618105B1 (en) * 2023-04-06 2023-12-27 한국인식산업(주) Identification verification system and service method for non-face-to-face real name verification

Also Published As

Publication number Publication date
KR102384253B1 (en) 2022-04-07

Similar Documents

Publication Publication Date Title
US20200162457A1 (en) System for electronic authentication with live user determination
US11349834B2 (en) Multi-factor secure operation authentication
US9742764B1 (en) Performing biometrics in uncontrolled environments
US10074089B1 (en) Smart authentication and identification via voiceprints
US7725732B1 (en) Object authentication system
CA2636825C (en) Multi-mode credential authentication
US10580243B2 (en) Conditional and situational biometric authentication and enrollment
US20190372968A1 (en) Machine Learning for Document Authentication
US20210089635A1 (en) Biometric identity verification and protection software solution
US10387632B2 (en) System for provisioning and allowing secure access to a virtual credential
CN101911137A (en) The combination of face recognition in cross channel authentication
US11663306B2 (en) System and method for confirming a person&#39;s identity
KR20220136963A (en) System and method for non-face-to-face identification kyc solution having excellent security
KR102384253B1 (en) Method for performing video call certification
KR20170052126A (en) Method for Non-faced Multi-authenticating for Creating Financial Information
US10936706B2 (en) Biometric authentication
EP3891972B1 (en) Method and system for remote interaction between at least one user and at least one operator of the automated type and of the human type
KR102307288B1 (en) Method for managing quality of performing video call certification
JP2018073206A (en) Registration system for voice print data for authentication of service use, registration server for voice print data for authentication of service use, registration system for application for service use, registration method for voice print data for authentication of service use, registration method for application for service use, and program
KR20170077649A (en) Non-contact type financial service system using autograph certification
GB2528040A (en) Authentication method and server
KR20180102242A (en) Non-facing channel user authentication method and system of automated teller machine
CN111681010A (en) Transaction verification method and device
Akinola Kayode et al. Multi-factor authentication model for integrating iris recognition into an automated teller machine
Nakanishi et al. Advancing the state-of-the-art in transportation security identification and verification technologies: Biometric and multibiometric systems

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant