KR102240495B1 - 신분 인증 부정 사용자 차등 관리 방법 및 서버 - Google Patents

신분 인증 부정 사용자 차등 관리 방법 및 서버 Download PDF

Info

Publication number
KR102240495B1
KR102240495B1 KR1020200071007A KR20200071007A KR102240495B1 KR 102240495 B1 KR102240495 B1 KR 102240495B1 KR 1020200071007 A KR1020200071007 A KR 1020200071007A KR 20200071007 A KR20200071007 A KR 20200071007A KR 102240495 B1 KR102240495 B1 KR 102240495B1
Authority
KR
South Korea
Prior art keywords
user
same person
group
facial feature
feature information
Prior art date
Application number
KR1020200071007A
Other languages
English (en)
Inventor
오지연
정기수
Original Assignee
주식회사 카카오뱅크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 카카오뱅크 filed Critical 주식회사 카카오뱅크
Priority to KR1020200071007A priority Critical patent/KR102240495B1/ko
Application granted granted Critical
Publication of KR102240495B1 publication Critical patent/KR102240495B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G06K9/00268—
    • G06K9/00288—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/36—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using electronic wallets or electronic money safes
    • G06Q20/367—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using electronic wallets or electronic money safes involving electronic purses or money safes
    • G06Q20/3674—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using electronic wallets or electronic money safes involving electronic purses or money safes involving authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Finance (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 발명은 신분 인증을 이용하는 서비스의 부정 사용자 차등 관리 방법에 관한 것이다. 본 발명에 따른 부정 사용자 차등 관리 방법은 신분증을 이용한 서비스의 부정 사용이 감지되면 신분증 이미지 또는 사용자 촬영 안면 이미지에 포함된 안면 특징 정보를 신경망으로부터 추출하는 단계; 추출된 안면 특징 정보를 안면 특징 데이터베이스 내 클러스터링된 특징 정보와 비교하여 동일인 그룹을 탐색하는 단계; 및 상기 동일인 그룹의 탐색 결과에 따라 상기 사용자를 분류하는 단계를 포함하고, 상기 안면 특징 데이터베이스는 상기 추출된 안면 특징 정보를 탐색 결과에 따라 클러스터링하여 저장하는 것이 바람직하다.

Description

신분 인증 부정 사용자 차등 관리 방법 및 서버{Method for managing abusing user about identification and authentication, and server for the method}
본 발명은 신분 인증을 이용하는 서비스의 부정 사용자 차등 관리 방법에 관한 것이다.
과거에는 금융 서비스를 받기 위해서는 직접 은행에 방문하여야 했으나 인터넷 통신 기술의 발전으로, 온라인으로 은행에서 각종 금융 서비스를 이용하는 인터넷 뱅킹이 활성화되었다.
최근에는 이동 통신 단말 기술의 발달에 힘입어 모바일 통신을 이용한 프로그램인 어플리케이션을 통해 과거에 오프라인을 통해 수행하던 기능을 더욱 간편하고 편리하게 수행할 수 있게 되었다.
특히, 스마트 폰과 같은 사용자 단말의 진보된 카메라 촬영 기술을 이용하여 사용자의 편의성을 향상시키고자 금융사에서 제공하는 어플리케이션을 통해 비대면으로 사용자의 신분을 확인하고 처리하는 기술이 개발되어 서비스되고 있다.
다만, 비대면 방식의 신분 인증 방식이 확대 적용됨에 따라 온라인 상에서 타 사용자의 신분증을 도용하는 사례가 발생하고 있다.
이에 따른 피해를 방지하기 위해 현재는 신분증 도용이 판단되는 경우, 도용을 시도한 사용자와 도용에 의한 피해자를 구분 없이 일괄하여 부정 사용자로 판단하여 서비스를 제한하고 있다.
따라서, 선의의 피해자가 서비스 이용의 제한을 받는 문제가 발생할 수 있으며 부정 사용자들의 경우 해당 행위의 반복 여부를 판단하여 더욱 강한 제제를 제공할 필요가 있으므로 이러한 부정 사용에 대한 사용자들을 보다 구체적으로 구분할 필요가 있다.
상술한 기술적 과제를 해결하기 위해 본 발명은 금융 서비스를 이용하는 사용자들을 부정 사용 행위에 따라 분류하는 방법을 제안하는 것을 목적으로 한다.
보다 구체적으로, 본 발명은 신분 인증에 이용된 신분증 이미지나 안면 이미지에 포함된 특징 정보를 기초로 사용자를 분류하는 방법을 제안하는 것을 목적으로 한다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 부정 사용자 차등 관리 방법은 신분증을 이용한 서비스의 부정 사용이 감지되면 신분증 이미지 또는 사용자 촬영 안면 이미지에 포함된 안면 특징 정보를 신경망으로부터 추출하는 단계; 추출된 안면 특징 정보를 안면 특징 데이터베이스 내 클러스터링된 특징 정보와 비교하여 동일인 그룹을 탐색하는 단계; 및 상기 동일인 그룹의 탐색 결과에 따라 상기 사용자를 분류하는 단계를 포함하고, 상기 안면 특징 데이터베이스는 상기 추출된 안면 특징 정보를 탐색 결과에 따라 클러스터링하여 저장하는 것이 바람직하다.
상기 사용자를 분류하는 단계는 상기 동일인 그룹이 탐색되지 않는 경우, 상기 사용자를 최초 부정 사용자로 분류하는 것이 바람직하다.
상기 사용자를 분류하는 단계는 상기 동일인 그룹이 탐색되는 경우, 상기 동일인 그룹에 태깅된 태깅 정보를 참고하여 상기 사용자를 반복 부정 사용자로 판단하고, 상기 태깅 정보는 상기 동일인 그룹의 부정 사용 관련 이력을 포함하는 것이 바람직하다.
상기 사용자를 분류하는 단계는 상기 동일인 그룹이 탐색되는 경우, 상기 동일인 그룹에 포함된 안면 특정 정보의 개수에 따라 상기 사용자를 선 분류하는 것이 바람직하다.
상기 탐색하는 단계는 상기 신분증에 대한 진정 소유자의 동일인 그룹을 탐색하고, 상기 사용자를 분류하는 단계는 탐색된 그룹에 대한 사용자를 부정 사용 피해자로 분류하는 것이 바람직하다.
상기 분류 결과에 따라 상기 사용자의 서비스의 사용을 제한하는 단계를 더 포함하는 것을 특징으로 하는 부정 사용자 차등 관리 방법.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 부정 사용자 차등 관리 방법을 수행하는 서비스 제공 서버는 신분증을 이용한 서비스의 부정 사용이 감지되면 신분증 이미지 또는 사용자 촬영 안면 이미지에 포함된 안면 특징 정보를 신경망으로부터 추출하는 안면 특징 추출부; 이전 서비스 사용자들이 인증에 이용한 상기 신분증 이미지 또는 안면 이미지에 대한 안면 특징 정보를 클러스터링하여 저장하는 안면 특징 데이터베이스; 추출된 안면 특징 정보를 상기 안면 특징 데이터베이스 내 클러스터링된 특징 정보와 비교하여 동일인 그룹을 탐색하는 탐색부; 및 상기 동일인 그룹의 탐색 결과에 따라 상기 사용자를 분류하는 사용자 분류부를 포함하고, 상기 안면 특징 데이터베이스는 상기 추출된 안면 특징 정보를 탐색 결과에 따라 클러스터링하여 저장하는 이 바람직하다.
상기 분류 결과에 따라 상기 사용자의 서비스의 사용을 제한하는 사용 제한부를 더 포함할 수 있다.
상술한 본원 발명에 따르면 부정 사용자를 지속적으로 분류 및 관리함으로써, 반복 부정 사용자를 판단할 수 있고 차등적인 서비스 제한을 적용할 수 있는 효과가 있다.
또한, 본원 발명에 따르면, 사용자의 안면 이미지와 신분증 이미지에 기초하여 부정 사용자와 부정 사용 피해자를 분류함으로써, 부정 사용 피해자가 서비스 제한을 받는 문제를 해결할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 신분 인증 기반 금융 서비스를 제공하는 시스템의 구성 나타낸 도이다.
도 2는 본 발명의 일 실시예에 따른 부정 사용자 차등 관리 방법의 흐름을 나타내는 도이다.
도 3은 본 발명의 일 실시예에 따른 신경망을 나타내는 예시도이다.
도 4a 및 4b는 본 발명의 일 실시예에 따른 안면 특징 데이터베이스의 클러스터링을 나타내는 예시도이다.
도 5는 본 발명의 일 실시예에 따른 서비스 제공 서버의 구성을 나타내는 도이다.
이하의 내용은 단지 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시 되지 않았지만 발명의 원리를 구현하고 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세
서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이외같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다.
또한, 발명을 설명함에 있어서 발명과 관련된 공지 기술에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하에는 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예에 대해 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 신분 인증 기반 금융 서비스를 제공하는 시스템의 구성을 나타낸 도이다.
도 1을 참조하면, 본 실시예에 따른 시스템은 신분 인증을 위해 사용자(10)가 이용하는 사용자 단말(1000)과 이에 따른 금융 서비스를 제공하는 서비스 제공 서버(100)로 구성될 수 있다.
서비스 제공 서버(100)는 사용자 단말(1000)을 이용하여 인증을 수행하는 사용자(10)로부터 입력되는 정보를 이용하여 동일인 여부를 판단하여 금융 서비스를 사용자 단말(1000)과 연동하여 제공한다.
사용자(10)는 사용자 단말(1000)을 이용하여 인증을 위해 자신의 신분증을 직접 촬영하여 서비스 제공 서버(100)로 전송하거나, 비대면 기반의 서비스 이용을 위해 추가적으로 영상 통화를 수행할 수 있다.
서비스 제공 서버(100)는 인증에 이용되는 신분증 이미지(20) 또는 영상 통화 상의 안면 이미지(30)를 기반으로 서비스 이용을 제한할 수 있으며 구체적으로 부정 사용의 이력으로 도용 신분증을 통한 인증 시도 횟수 등을 이용하여 단계적인 서비스 이용 제한을 가할 수 있다.
구체적으로 서비스 제공 서버(100)는 수신되는 사용자(10)의 영상 통화 상 안면 이미지(30)와 신분증 이미지(20) 상의 사용자(10) 정보를 비교하여 동일인 여부를 판단하고 이를 통해 신분증 도용 등의 부정 사용 가능성을 판단할 수 있다.
또한, 수신된 신분증 이미지(20)를 공공 기관으로부터 수신된 신분증 정보와 비교하여 도용 여부를 판단하고 이에 따라 부정 사용 감지를 수행하는 것도 가능하다.
인증에 이용되는 신분증 이미지(20)는 사용자(10)가 사용자 단말(1000)의 카메라 장치를 이용하여 촬영한 신분증 내 신분 확인을 위해 인쇄된 증명 사진 등을 포함하는 이미지일 수 있다.
따라서 서비스 제공 서버(100)는 신분증 이미지(20)와 영상 통화를 통해 직접 입력되는 사용자(10)의 안면 이미지(30)를 비교하여 신분증의 소유자가 진정 소유자 인지를 판단할 수 있다.
만약 서비스 제공 서버(100)는 사용자(10)의 안면 이미지(30)와 신분증 이미지(20)가 다른 경우, 신분증의 도용에 따른 부정 사용으로 감지하고 부정 사용에 따른 관리 프로세스를 수행할 수 있다. 또한 부정 사용자(10)의 부정 사용 이력에 따라 사용자(10)를 분류하고 분류에 따라 차등 구분된 서비스 제한을 관리 프로세스로 수행하는 것도 가능하다.
이하, 도 2를 참조하여 서비스 제공 서버(100)의 구체적인 부정 사용자(10) 차등 관리 방법에 대하여 설명한다.
도 2는 본 발명의 일 실시예에 따른 부정 사용자(10) 차등 관리 방법을 나타내는 흐름도이다.
도 2를 참조하면, 서비스 제공 서버(100)는 신분증 도용이 감지되면 사용자(10)가 이용한 신분증 이미지(20) 및 사용자(10)의 안면 이미지(30) 중 적어도 하나에 대한 안면 특징 정보를 추출할 수 있다(S100).
서비스 제공 서버(100)는 부정 사용자(10)의 관리를 위해 이용된 이미지 내의 특징 정보를 추출하며, 구체적으로 사람을 구분하기 위해 이용되는 안면 내 다양한 안면 특징 정보들을 강화하도록 학습된 신경망을 이용할 수 있다.
신경망은 사람의 구분에 이용되는 특징으로써 안면에 포함된 눈, 코, 입 등의 해부학적 요소들에 대한 윤곽이나 패턴 등의 특징들을 강화하도록 학습될 수 있으며, 이를 위해 이미지 내 포함된 특징 벡터들에 대해 합성곱 연산을 수행하는 복수의 레이어로 구성될 수 있다.
안면 특징 정보는 CNN(Convolution Neural Network) 모델로 구현된 신경망에 입력된 신분증 이미지(20) 또는 안면 이미지(30)에 대한 출력은 N 차원의 특징 맵 형태일 수 있다.
도 3을 참조하면, 본 실시예에 따른 신경망은 복수의 합성곱 연산을 수행하는 레이어로 구성된 CNN모델로 구성될 수 있다.
따라서, 신경망 내부의 각 레이어들은 사용자(10)의 안면 이미지(30) 또는 신분증 이미지(20)가 입력되면, 이미지 내에 포함된 특징 요소의 형상이나 색상에 따른 특징 값들을 강조하도록 합성곱 연산을 수행한다.
구체적으로, 본 실시예에서 신경망에 입력된 신분증 이미지(20) 또는 안면 이미지(30) 내 값들은 각각의 합성곱 레이어(Convolution layer)의 커널을 거치면서 새로운 특징 맵의 형태로 생성되며, 반복 연산을 통해 생성된 최종 특징 맵은 평탄화 과정을 통해 출력으로 결정된 N 차원의 안면 특징 정보로서 출력될 수 있다. 또는 합성곱 연산에 의해 생성된 중간 특징 맵 자체를 안면 특징 정보로 이용하는 것도 가능하다.
이상의 과정으로 안면 특징 정보가 추출되면, 서비스 제공 서버(100)는 사용자(10)가 사용한 신분증 이미지(20) 또는 안면 이미지(30)에서 추출된 안면 특징 정보를 이용하여 부정 사용 이력을 판단한다.
구체적으로 서비스 제공 서버(100)는 안면 특징 데이터베이스(140) 상에서 기 저장된 사용자(10)들의 특징 정보와 현재 부정 사용 감지에 의해 추출된 안면 특징 정보 간의 클러스터링(clustering)을 통해 동일인 그룹을 탐색한다(S200).
이를 위해, 안면 특징 데이터베이스(140)에는 서비스 제공 서버(100)로 신분증 이미지(20)를 전송하였거나 영상 통화를 수행한 이력이 있는 사용자(10)들의 정보들이 모두 특징화 되어 저장될 수 있다.
서비스 제공 서버(100)는 추출된 안면 특징 정보를 안면 특징 데이터베이스(140) 상에서 기 저장된 특징 정보들과 클러스터링함으로써 그룹화되는 특징 정보들을 동일인 그룹으로 판단할 수 있다. 서비스 제공 서버(100)는 추출된 안면 특징 정보가 포함되는 그룹의 부정 사용 이력을 추가적으로 참조함으로써 사용자(10)의 부정 사용에 대한 위험도를 판단할 수 있다.
특징 정보 간 클러스터링을 위해 추출된 안면 특징 정보와 기 저장된 특징 정보들의 거리에 따른 유사도를 산출할 수 있는데, 본 실시예에서 서비스 제공 서버(100)는 동일인들에 대한 특징 정보들은 특징 정보들이 정의되는 공간 내에 비슷한 위치에 있음을 가정으로 밀도기반 클러스터링을 수행한다.
구체적으로 특징 정보들의 클러스터링을 위해 DBSCAN(Density-Based Spatial Clustering of Applications with Noise) 알고리즘을 이용할 수 있다.
이와 관련하여, 도 4a 내지 4b를 참조하여 설명한다.
도 4a는 본 발명의 일 실시예에 따른 안면 특징 데이터베이스(140)를 나타낸 예시도이다. 본 실시예에서 DBSCAN을 위한 특징 정보들은 예를 들어 N차원 상의 값으로 매핑될 수 있는데, 신경망을 통해 합성곱 연산된 특징 맵들은 N차원 상의 값으로 축소 또는 확장되어 표현될 수 있다.
구체적으로 도 4a를 참조하면, 안면 특징 데이터베이스(140)에 기 저장된 특징 정보들은 특징 정보의 종류에 따른 값으로 각각 N 차원 상의 특정 좌표를 가질 수 있다. 예를 들어, 안면 특징 데이터베이스(140)의 K개의 특징 정보가 N 차원에 따른 좌표
Figure 112020060241199-pat00001
= [
Figure 112020060241199-pat00002
,
Figure 112020060241199-pat00003
,
Figure 112020060241199-pat00004
…
Figure 112020060241199-pat00005
](i = 1, 2, 3 … , K)갖는 다면, 서로 다른 두개의 특징 정보 간 유클리드 거리(d)는 아래의 수식 1과 같이 계산될 수 있다.
[수학식 1]
Figure 112020060241199-pat00006
즉, 존재하는 각각의 특징 정보에 대하여, 산출된 거리를 이용하여 아래의 수식 2 조건을 만족하는 경우 각각의 특징 정보를 하나의 클러스터로 그룹화 할 수 있다.
[수학식 2]
Figure 112020060241199-pat00007
여기서, ε은 설정된 임계값 반경을 나타낸다. 또한, 하나의 클러스터에 속할 수 있는 안면 특징 정보들의 최소개수(Nmin)를 설정할 수 있다.
이때 DBSCAN은 두 특징 정보의 거리의 임계값 반경(ε)과 함께 동일 클러스터에 속할 수 있는 안면 특징 정보들의 최소 개수(Nmin)를 미리 결정할 수 있다.
따라서, 거리에 대한 임계값 반경과 최소 개수를 만족시키는 경우 하나의 클러스터로 클러스터링 될 수 있다.
나아가, 최소 개수의 적절한 값은 안면 특징 데이터베이스(140) 상의 안면 특징 정보의 개수, 차원 등에 따라 가변적으로 결정될 수 있다. 또는 서비스 제공 서버(100)가 안면 특징 데이터베이스(140)를 관리하고 갱신하는 주기에 따라 결정될 수 있다.
따라서 안면 특징 데이터베이스(140)는 특정 기간 동안 인증에 이용된 정보들을 이용하고 이에 따라 부정 사용자에 대한 차등적인 관리를 수행할 수 있다.
서비스 제공 서버(100)는 결정된 최소개수(Nmin) 및 임계값 반경(ε)에 기초로 추출된 안면 특징 정보와 안면 특징 데이터베이스(140)에 저장된 특징 정보를 비교하여 클러스터링 함으로써 해당 안면 특징 정보가 속하는 클러스터를 탐색할 수 있으며 탐색된 하나의 클러스터는 동일인 그룹을 의미할 수 있다.
또한, 탐색 결과에 따라 추출된 안면 특징 정보는 클러스터링되어 안면 특징 데이터베이스(140)에 추가로 저장될 수 있다.
서비스 제공 서버(100)는 탐색 결과에 따라 사용자(10)를 분류할 수 있다(S300).
구체적으로, 사용자(10)가 사용한 신분증 이미지(20) 또는 안면 이미지(30)에서 추출된 안면 특징 정보가 속하는 동일인 그룹의 탐색여부에 따라 서비스 제공 서버(100)는 해당 사용자(10)를 최초 부정 사용자(10), 반복 부정 사용자(10) 또는 부정 사용 피해자 등으로 판단 및 분류할 수 있다.
예를 들어, 도 4b를 참조하면 사용자(10)의 안면 이미지(30)에서 추출된 안면 특징 정보를 기준으로 동일인 그룹이 탐색되지 않는 경우(42)에는 해당 사용자(10)를 최초 부정 사용자(10)로 분류할 수 있다.
또한, 사용자(10)의 안면 이미지(30)에서 추출된 안면 특징 정보의 동일인 그룹이 탐색되는 경우 서비스 제공 서버(100)는 동일인 그룹에 태깅된 태깅 정보(60)를 참고하여 해당 사용자(10)를 반복 부정 사용자(10)로 분류할 수 있다. 나아가 반복 사용의 횟수나 정도에 따라 더욱 세분화하여 분류하는 것도 가능하다.
태깅 정보(60)는 동일인 그룹의 부정 사용 관련 이력 정보를 포함할 수 있다. 즉, 태깅 정보(60)에는 포함된 동일인 그룹에 안면 특징 정보가 부정 사용된 횟수, 부정 사용된 방식, 부정 사용된 날짜 등이 포함될 수 있다.
사용자(10)의 안면 이미지(30)에서 추출된 안면 특징 정보에 대한 동일인 그룹이 탐색되는 경우(44)에는 해당 동일인 그룹에 태깅된 태깅 정보(60)를 추가로 참고하여 실제 해당 그룹이 부정 사용이력이 있는 지를 판단하고 사용자(10)를 반복 부정 사용자(10)로 판단 및 분류할 수 있다.
또한 사용자(10)가 사용한 신분증 이미지(20)에 대한 진정 소유자를 부정 사용 피해자로 분류할 수 있다.
신분증 이미지(20)에서 추출된 안면 특징 정보에 대하여 동일인 그룹이 탐색되는 경우에는 해당 동일인 그룹 내 신분증 이미지(20)에 대한 진정 소유자를 부정 사용 피해자로 분류할 수 있다.
즉, 일반적인 도용 사례에서 영상 통화를 수행하는 사용자가 타인의 신분증을 도용하거나 위조하여 인증을 시도할 수 있으므로, 사용자의 영상 통화 중 획득된 안면 이미지(30)를 기준으로 부정 사용자를 분류하고 신분증에 대한 진정 소유자의 경우 신분증 이미지(20)를 기준으로 피해자로 분류할 수 있다
또한, 서비스 제공 서버(100)는 동일인 그룹이 탐색되는 경우, 동일인 그룹에 포함된 안면 특정 정보의 개수에 기초하여 부정 사용자(10) 또는 부정 사용 피해자로 선 분류하는 것도 가능하다.
즉, 보다 간소화된 판단을 위해 그룹 내에 저장된 안면 특징 정보의 수치적 특징을 이용하여 선 분류할 수 있다.
예를 들어, 도 4b를 참조하여 탐색된 동일인 그룹에 해당하는 안면 특징 정보가 홀수인 경우(46) 반복 부정 사용자(10)로 선 분류할 수 있다.
정상적으로 신분 인증에 이용되는 신분증 이미지(20)와 영상 통화로 획득되는 안면 이미지(30) 쌍은 동일인으로 유사한 특징 정보를 갖게 되므로 안면 특징 데이터베이스(140) 내에는 짝수의 특징 정보들이 동일 그룹으로 함께 클러스터링 되어 저장되는 것이 일반적이다.
반면 안면 특징 데이터베이스(140) 내에 저장된 특징 정보가 쌍으로 클러스터링 되지 못하고 단독으로 어느 클러스터에도 속하지 않게 되는 경우에는 해당 특징 정보의 사용자(10)는 비동일인에 해당하는 이미지로 인증을 시도한 이력이 있는 것으로 보고, 반복 부정 사용자(10)로 선 판단하는 것도 가능하다.
이상의 판단에 따르면 태깅 정보에 따른 이력을 참조하기 전에 보다 간소화된 방법으로 판단할 수 있으므로 신속한 대응을 가능하게 한다.
따라서, 서비스 제공 서버(100)는 선 분류를 통해 선제적인 대응을 수행하고, 이후 동일인 그룹에 태깅된 태깅 정보에 기초하여 보다 정확한 대응을 수행하는 것도 가능하다.
또는 다른 예로, 서비스 제공 서버(100)는 동일인 그룹에 포함된 안면 특징 정보의 개수가 기준 개수를 초과여부에 따라 사용자(10)를 선 분류하는 것도 가능하다. 즉 주기적으로 관리되는 안면 특징 데이터베이스(140)의 경우 특정 주기 동안 잦은 신분 인증 시도가 수행되는 경우에는 보다 주의 깊은 판단이 필요할 것으로 판단하여 이를 분류에 반영하는 것도 가능하다.
즉, 상술한 바와 같이 서비스 제공 서버(100)는 안면 이미지(30)의 부정 사용자(10)를 최초 부정 사용자(10), 반복 부정 사용자(10)로 분류하고, 부정 사용자(10)가 이용한 신분증의 진정 소유자는 부정 사용 피해자로 분류할 수 있다.
최종적으로 분류 결과에 따라 상기 사용자(10)의 서비스의 사용을 제한하고 부정 사용에 따른 피해를 방지한다.
상술한 본원 발명에 따르면, 사용자(10)의 안면 이미지(30)와 신분증 이미지(20)에 기초하여 부정 사용자(10)와 부정 사용 피해자를 분류함으로써, 부정 사용 피해자가 서비스 제한을 받는 문제를 해결할 수 있다.
또한, 본원 발명에 따르면, 부정 사용자(10)를 지속적으로 분류 및 관리함으로써, 반복 부정 사용자(10)를 판단할 수 있고 차등적인 서비스 제한을 적용할 수 있다.
이어서, 도 5를 참조하여 서비스 제공 서버(100)를 설명한다.
도 5는 본 발명의 일 실시예에 따른 서비스 제공 서버(100)의 구성을 나타낸 블록도이다.
도 5를 참조하면, 서비스 제공 서버(100)는 안면 특징 추출부(110), 탐색부(120) 및 사용자 분류부(130), 안면 특징 데이터베이스(140) 및 사용 제한부(150)로 구성될 수 있다.
안면 특징 추출부(110)는 인증 서버에서 신분증 도용이 감지되면 사용자(10)가 이용한 신분증 이미지(20) 및 사용자(10)의 안면 이미지(30) 중 적어도 하나에 대한 안면 특징 정보를 추출할 수 있다.
구체적으로, 안면 특징 추출부(110)는 신경망을 이용하여 안면 특징 정보를 추출할 수 있다. 여기서, 신경망은 일반적으로 사람의 식별에 이용되는 특징으로써, 안면에 포함된 눈, 코, 입 등의 해부학적 특징 요소들에 대한 패턴 등의 특징 값들을 강화하도록 학습될 수 있으며 CNN모델로 구현될 수 있다.
탐색부(120)는 사용자(10)가 사용한 신분증 이미지(20) 및 안면 이미지(30)에서 추출된 안면 특징 정보를 이용하여 동일인 그룹을 탐색한다. 이전 사용자(10)들의 인증에 이용한 특징 정보들이 저장된 안면 특징 데이터베이스(140)상에서 클러스터링을 수행하여 동일인 그룹을 탐색할 수 있다.
구체적으로, DBSCAN 알고리즘이 사용될 수 있으며 클러스터링 기준으로 임계값 반경(ε) 및 동일 클러스터에 속할 수 있는 안면 특징 정보들의 최소 개수(Nmin)는 미리 결정될 수 있으며, 데이터베이스 갱신 주기 또는 인증 환경에 따라 가변적으로 결정될 수 있다.
예를 들어 인증에 이용되는 사용자 단말(1000)의 기종이나 획득된 이미지의 해상도 등의 정보를 부가적으로 이용하여 클러스터링을 수행할 수 있다.
사용자 분류부(130)는 동일인 그룹의 탐색 여부에 따라 사용자(10)를 분류할 수 있다. 구체적으로, 사용자 분류부(130)는 사용자(10)가 사용한 신분증 이미지(20)나 안면 이미지(30)에서 추출된 안면 특징 정보가 속하는 동일인 그룹이 탐색되는지에 따라, 해당 사용자(10)를 최초 부정 사용자(10), 반복 부정 사용자(10) 또는 부정 사용 피해자 등으로 판단 및 분류할 수 있다.
예를 들어, 도용이 감지된 경우 영상 통화로 획득된 안면 이미지(30)에 대한 동일인 그룹 탐색 결과에 따라 최초 부정 사용자(10) 또는 반복 부정 사용자(10)로 분류할 수 있다. 또한 도용된 신분증의 신분증 이미지(20)를 이용하여 진정 소유자는 부정 사용 피해자로 분류하고 해당 그룹에 대한 태깅 정보에 이를 저장하는 것도 가능하다.
한편, 상술한 바와 같이 최초 부정 사용자(10), 반복 부정 사용자(10) 또는 부정 사용 피해자로 분류된 결과를 기초로 각 사용자(10)마다 서비스를 차등적으로 제공할 수 있다.
따라서 사용 제한부(150)는 분류 결과에 따라 사용자(10)의 서비스의 사용을 제한하는 정보를 사용자 단말(1000)에 송신하고 이를 통해 사용자(10)의 부정 이용을 방지하는 것도 가능하다. 또는 도용된 피해자의 경우 피해자에게 도용 이력 정보를 제공하고 사용에 주의하도록 하는 부가 정보를 제공하는 것도 가능하다.
이상, 여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs(application specific integrated circuits), DSPs (digital signal processors),DSPDs (digital signal processing devices), PLDs (programmable logic devices),FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어 모듈 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 씌여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리 모듈에 저장되고, 제어모듈에 의해 실행될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다.
따라서, 본 발명에 개시된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (14)

  1. 서비스 제공 서버에서 수행되는 부정 사용자 차등 관리 방법에 있어서,
    신분증을 이용한 서비스의 신분증 이미지와 사용자의 촬영 안면 이미지의 비교 결과 신분증 도용에 따른 부정 사용이 감지되면 상기 신분증 이미지 또는 상기 안면 이미지에 포함된 안면 특징 정보를 신경망으로부터 추출하는 단계;
    추출된 안면 특징 정보를 안면 특징 데이터베이스 내 클러스터링된 특징 정보와 비교하여 동일인 그룹을 탐색하는 단계; 및
    상기 동일인 그룹의 탐색 결과에 따라 상기 사용자를 분류하는 단계를 포함하고,
    상기 안면 특징 데이터베이스는 상기 추출된 안면 특징 정보를 탐색 결과에 따라 클러스터링하여 저장하는 것을 특징으로 하는 부정 사용자 차등 관리 방법.
  2. 제 1 항에 있어서,
    상기 사용자를 분류하는 단계는
    상기 동일인 그룹이 탐색되지 않는 경우, 상기 사용자를 최초 부정 사용자로 분류하는 것을 특징으로 하는 부정 사용자 차등 관리 방법.
  3. 제 1 항에 있어서,
    상기 사용자를 분류하는 단계는
    상기 동일인 그룹이 탐색되는 경우, 상기 동일인 그룹에 태깅된 태깅 정보를 참고하여 상기 사용자를 반복 부정 사용자로 판단하고,
    상기 태깅 정보는 상기 동일인 그룹의 부정 사용 관련 이력을 포함하는 것을 특징으로 하는 부정 사용자 차등 관리 방법.
  4. 제 3 항에 있어서,
    상기 사용자를 분류하는 단계는
    상기 동일인 그룹이 탐색되는 경우, 상기 동일인 그룹에 포함된 안면 특정 정보의 개수에 따라 상기 사용자를 선 분류하는 것을 특징으로 하는 부정 사용자 차등 관리 방법.
  5. 제 1 항에 있어서,
    상기 탐색하는 단계는 상기 신분증에 대한 진정 소유자의 동일인 그룹을 탐색하고,
    상기 사용자를 분류하는 단계는 상기 탐색된 진정 소유자의 동일인 그룹 내 사용자를 부정 사용 피해자로 분류하는 것을 특징으로 하는 부정 사용자 차등 관리 방법.
  6. 제 1 항에 있어서,
    상기 분류 결과에 따라 상기 부정 사용이 감지된 사용자가 부정 사용자로 분류되는 경우 서비스의 사용을 제한하는 단계를 더 포함하는 것을 특징으로 하는 부정 사용자 차등 관리 방법.
  7. 신분증을 이용한 서비스의 신분증 이미지와 사용자의 촬영 안면 이미지의 비교 결과 신분증 도용에 따른 부정 사용이 감지되면 상기 신분증 이미지 또는 상기 안면 이미지에 포함된 안면 특징 정보를 신경망으로부터 추출하는 안면 특징 추출부;
    이전 서비스 사용자들이 인증에 이용한 상기 신분증 이미지 또는 안면 이미지에 대한 안면 특징 정보를 클러스터링하여 저장하는 안면 특징 데이터베이스;
    추출된 안면 특징 정보를 상기 안면 특징 데이터베이스 내 클러스터링된 특징 정보와 비교하여 동일인 그룹을 탐색하는 탐색부; 및
    상기 동일인 그룹의 탐색 결과에 따라 상기 사용자를 분류하는 사용자 분류부를 포함하고,
    상기 안면 특징 데이터베이스는 상기 추출된 안면 특징 정보를 탐색 결과에 따라 클러스터링하여 저장하는 것을 특징으로 하는 서비스 제공 서버.
  8. 제 7 항에 있어서,
    상기 사용자 분류부는
    상기 동일인 그룹이 탐색되지 않는 경우, 상기 사용자를 최초 부정 사용자로 판단하는 것을 특징으로 하는 서비스 제공 서버.
  9. 제 7 항에 있어서,
    상기 사용자 분류부는
    상기 동일인 그룹이 탐색되는 경우, 상기 동일인 그룹에 태깅된 태깅 정보를 참고하여 상기 사용자를 반복 부정 사용자로 판단하고,
    상기 태깅 정보는 상기 동일인 그룹의 부정 사용 관련 이력을 포함하는 것을 특징으로 하는 서비스 제공 서버.
  10. 제 9 항에 있어서,
    상기 사용자 분류부는
    상기 동일인 그룹이 탐색되는 경우, 상기 동일인 그룹에 포함된 안면 특정 정보의 개수에 따라 상기 사용자를 선 분류하는 것을 특징으로 하는 서비스 제공 서버.
  11. 제 7 항에 있어서,
    상기 탐색부는 상기 신분증에 대한 진정 소유자의 동일인 그룹을 탐색하고,
    상기 사용자 분류부는 상기 탐색된 진정 소유자의 동일인 그룹 내 사용자를 부정 사용 피해자로 분류하는 것을 특징으로 하는 서비스 제공 서버.
  12. 제 7 항에 있어서,
    상기 분류 결과에 따라 상기 부정 사용이 감지된 사용자가 부정 사용자로 분류되는 경우 서비스의 사용을 제한하는 사용 제한부를 더 포함하는 것을 특징으로 하는 서비스 제공 서버.
  13. 하나 이상의 컴퓨터들에 의해 실행될 때 상기 하나 이상의 컴퓨터들로 하여금 제 1 항 내지 제 6항 중 어느 한 항의 각각의 방법의 동작들을 수행하게 하는 명령어들을 저장하는 하나 이상의 컴퓨터 저장 매체.
  14. 하나 이상의 컴퓨터들에 의해 실행될 때 상기 하나 이상의 컴퓨터들로 하여금 제 1 항 내지 제 6항 중 어느 한 항의 각각의 방법의 동작들을 수행하게 하는 명령어들을 저장하는 하나 이상의 컴퓨터 저장 매체에 저장된 프로그램.
KR1020200071007A 2020-06-11 2020-06-11 신분 인증 부정 사용자 차등 관리 방법 및 서버 KR102240495B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200071007A KR102240495B1 (ko) 2020-06-11 2020-06-11 신분 인증 부정 사용자 차등 관리 방법 및 서버

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200071007A KR102240495B1 (ko) 2020-06-11 2020-06-11 신분 인증 부정 사용자 차등 관리 방법 및 서버

Publications (1)

Publication Number Publication Date
KR102240495B1 true KR102240495B1 (ko) 2021-04-15

Family

ID=75440899

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200071007A KR102240495B1 (ko) 2020-06-11 2020-06-11 신분 인증 부정 사용자 차등 관리 방법 및 서버

Country Status (1)

Country Link
KR (1) KR102240495B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115928A (zh) * 2023-08-29 2023-11-24 北京国旺盛源智能终端科技有限公司 基于多种身份认证的村网共建便民服务终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040076927A (ko) * 2003-02-27 2004-09-04 (주)아이에스엘지 비교에 의한 신분증 위변조 검증 방법
JP2007067783A (ja) * 2005-08-31 2007-03-15 Softbank Mobile Corp 情報通信端末
KR101607402B1 (ko) * 2014-10-31 2016-03-30 에스케이 주식회사 이동통신 서비스 가입자의 부정사용 검출 방법 및 시스템
JP2016224751A (ja) * 2015-06-01 2016-12-28 ナレッジスイート株式会社 顔認証システム及び顔認証プログラム
KR20180085505A (ko) * 2017-01-19 2018-07-27 주식회사 세연테크 얼굴인식을 통한 학습형 실시간 안내 시스템 및 그 안내 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040076927A (ko) * 2003-02-27 2004-09-04 (주)아이에스엘지 비교에 의한 신분증 위변조 검증 방법
JP2007067783A (ja) * 2005-08-31 2007-03-15 Softbank Mobile Corp 情報通信端末
KR101607402B1 (ko) * 2014-10-31 2016-03-30 에스케이 주식회사 이동통신 서비스 가입자의 부정사용 검출 방법 및 시스템
JP2016224751A (ja) * 2015-06-01 2016-12-28 ナレッジスイート株式会社 顔認証システム及び顔認証プログラム
KR20180085505A (ko) * 2017-01-19 2018-07-27 주식회사 세연테크 얼굴인식을 통한 학습형 실시간 안내 시스템 및 그 안내 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115928A (zh) * 2023-08-29 2023-11-24 北京国旺盛源智能终端科技有限公司 基于多种身份认证的村网共建便民服务终端
CN117115928B (zh) * 2023-08-29 2024-03-22 北京国旺盛源智能终端科技有限公司 基于多种身份认证的村网共建便民服务终端

Similar Documents

Publication Publication Date Title
CN109948408B (zh) 活性测试方法和设备
US11594053B2 (en) Deep-learning-based identification card authenticity verification apparatus and method
CN109886697B (zh) 基于表情组别的操作确定方法、装置及电子设备
Elhoseny et al. Multimodal biometric personal identification and verification
Parkavi et al. Multimodal biometrics for user authentication
CN111191568A (zh) 翻拍图像识别方法、装置、设备及介质
CN110287813A (zh) 身份识别方法及系统
CN110276320A (zh) 基于人脸识别的门禁方法、装置、设备和存储介质
KR20230169104A (ko) 기계 학습 및 등록 데이터를 사용한 개인화된 생체인식 안티-스푸핑 보호
KR102215535B1 (ko) 신경망을 이용한 안면 부분 이미지 기반 신분 인증 방법 및 이를 수행하는 시스템
KR101957677B1 (ko) 얼굴인식을 통한 학습형 실시간 안내 시스템 및 그 안내 방법
Kamboj et al. CED-Net: context-aware ear detection network for unconstrained images
CN112800468A (zh) 一种基于隐私保护的数据处理方法、装置及设备
CN109598251A (zh) 人证核验方法、装置、设备和系统及存储介质
KR102197334B1 (ko) 신경망을 이용한 신분증 진위 판단 방법 및 이를 수행하는 서버
CN116342135A (zh) 基于图像背景的防欺诈方法、装置、计算机设备
KR102240495B1 (ko) 신분 인증 부정 사용자 차등 관리 방법 및 서버
KR102580026B1 (ko) 분산 데이터베이스 기반의 신분증 인식을 위한 신경망 학습 방법 및 서버
US20220004652A1 (en) Providing images with privacy label
Yang et al. Consent biometrics
CN117010893A (zh) 基于生物识别的交易风险控制方法、装置和计算机设备
KR102210959B1 (ko) 신분증 이미지 품질 평가 방법 및 서버
Mohite et al. Deep learning based card-less ATM using fingerprint and face recognition techniques
Musthafa et al. Smart Authentication System Using Deep Learning Techniques Based on Face and License Plate Recognition
Ramalingam et al. Fundamentals and advances in 3D face recognition