KR102594998B1 - 비대면 본인인증 고객확인 장치 및 그 방법 - Google Patents
비대면 본인인증 고객확인 장치 및 그 방법 Download PDFInfo
- Publication number
- KR102594998B1 KR102594998B1 KR1020207025650A KR20207025650A KR102594998B1 KR 102594998 B1 KR102594998 B1 KR 102594998B1 KR 1020207025650 A KR1020207025650 A KR 1020207025650A KR 20207025650 A KR20207025650 A KR 20207025650A KR 102594998 B1 KR102594998 B1 KR 102594998B1
- Authority
- KR
- South Korea
- Prior art keywords
- face
- card
- customer
- copy
- selfie
- Prior art date
Links
- 238000012795 verification Methods 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000001815 facial effect Effects 0.000 claims abstract description 48
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 31
- 230000004075 alteration Effects 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 55
- 238000001514 detection method Methods 0.000 claims description 51
- 238000004364 calculation method Methods 0.000 claims description 27
- 230000008859 change Effects 0.000 claims description 25
- 238000009826 distribution Methods 0.000 claims description 24
- 238000012015 optical character recognition Methods 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 31
- 238000005516 engineering process Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000005242 forging Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000000088 lip Anatomy 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 210000000216 zygoma Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Security & Cryptography (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Finance (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Collating Specific Patterns (AREA)
Abstract
실시간 촬영된 신분증 사진 및 셀피를 이용한 인공지능 얼굴 인식 기반의 비대면 본인인증 고객 확인 장치 및 방법이 개시된다. 본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치는: 본인인증 고객 확인이 필요한 고객의 단말기에 신분증 촬영을 위한 신분증 촬영 인터페이스를 제공하는 신분증 촬영 제어부; 본인인증 고객 확인이 필요한 고객의 단말기에 얼굴 촬영을 위한 셀피 촬영 인터페이스를 제공하는 셀피 촬영 제어부; 및 상기 셀피 촬영 인터페이스를 통해 고객이 단말기를 이용하여 얼굴을 촬영하여 셀피가 생성되면, 인공 지능에 의해 상기 셀피와 신분증 사본의 얼굴 이미지를 비교하여 일치도를 산출하고, 산출된 일치도를 기반으로 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본의 위,변조를 판단하고, 인공 지능에 의해 산출된 일치도 및 신분증 사본의 위,변조 판정 결과에 따라 본인 인증을 수행하는 인증부를 포함한다.
Description
본 발명은 비대면 본인인증 고객확인 장치 및 그 방법에 관한 것으로, 보다 상세하게는 실시간 촬영된 신분증 사진 및 실시간 촬영된 셀피를 이용하여 인공지능의 얼굴 인식을 기반으로 비대면 본인인증 고객확인 서비스를 제공하는 비대면 본인인증 고객 확인 장치 및 그 방법에 관한 것이다.
일반적으로, 은행, 증권사, 보험사, 핀테크 관련 업체 등의 금융 관련 업체에서는 금융서비스를 요청한 고객의 신원 확인을 위해 대면 방식의 본인인증을 수행하고 있다. 그러나 이러한 대면 방식의 본인인증 방식은 고객이 금융 관련 업체에 방문해야 하는 불편함이 있으며, 해당 금융 관련 업체의 영업 시간이 아닌 경우에는 금융서비스 절차를 이용하지 못하는 문제가 있다.
또한, 대면 방식의 본인인증 방식은 금융 관련 업체의 고객 확인 업무 부담을 가중시키는 문제가 있다. 뿐만 아니라, 대면 방식의 본인인증 방식은 바이러스 등의 감염 질병이 유행하는 경우 감염 질병을 확산시키는 요인이 되며, 이로 인해 고객이 방문을 꺼리게 되는 한계가 있다.
이에 최근에 비대면 방식의 본인인증 방식이 각광받고 있다. 도 1 및 도 2는 종래의 비대면 본인인증 방법을 나타낸 개념도이다. 종래의 비대면 본인인증 방법은 1) 실명확인증표 사본 또는 신분증 사본 촬영, 2) 고객과 영상 통화를 통해 신분증표와 사진 대조, 3) 접근 매체 전달시 확인(현금카드, 보안카드, OTP 전달), 4) 기존 계좌 활용(1원 인증), 5) 타기관 인증서 기타 이에 준하는 방법을 포함하는 다양한 인증 요건 중 2 이상의 인증 요건을 통해 고객의 신원을 확인하고 있다.
이러한 종래의 비대면 본인인증 방법은 고객과 영상 통화를 하거나, 현금카드, 보안카드 또는 OTP 전달을 해야 하거나, 기존 계좌에 입금 내역을 확인하고 비밀번호를 입력하여 1원 인증을 수행하거나, 타기관 인증서를 준비해야 하는 등 고객의 계좌 개설을 위한 절차가 복잡하며, 금융 관련 업체에서 1원 인증을 위한 비용이 소요되는 단점이 있었다.
또한, 종래의 비대면 본인인증 방식은 대면 방식에 비해 신원 확인의 검증 정확도가 낮은 문제가 있으며, 신원 확인을 위해 필요한 정보 이상의 불필요한 개인 정보 노출을 꺼리는 고객이 주민번호 뒷자리를 메모지 등으로 가려야 하는 번거로움이 있다. 또한, 종래의 비대면 본인인증 방식은 고객이 제출한 사진의 실시간성 확보가 어렵고, 고객이 신분증을 위,변조하여 금융 서비스를 부당하게 이용하려는 경우 대면 방식에 비해 이를 적발하기 어려운 문제가 있다.
본 발명은 광학 글자 인식 기술(OCR), 모션 탐지(Motion Detection), 인공지능을 활용한 얼굴 인식(Face Recognition) 및 얼굴 매칭(Face Matching) 기술을 기반으로 고객이 실시간으로 신분증을 촬영한 사진과 얼굴을 촬영한 셀피를 기반으로 간편하고 정확하게 본인 인증을 수행할 수 있는 비대면 본인인증 고객확인 장치 및 그 방법을 제공하기 위한 것이다.
또한, 본 발명은 타인의 사진이나 동영상을 이용하여 허위로 본인인증을 하는 것을 방지할 수 있고, 고객의 비대면 계좌 개설 단계를 간소화할 수 있으며, 영상 통화 인증 수단을 대체하여 24시간 서비스 이용이 가능하여 고객 편의를 증대할 수 있고, 1원 인증에 사용되는 서비스 비용을 절감할 수 있으며, 계좌가 없는 외국인, 청소년 등의 간편한 본인 인증 또한 가능한 비대면 본인인증 고객확인 장치 및 그 방법을 제공하기 위한 것이다.
또한, 본 발명은 악의적인 사용자가 타인의 신분증을 입수하여 해당 신분증의 사진을 자신의 사진으로 변조하고 인증을 진행하거나, 악의적인 사용자가 자신의 신분증 정보를 타인의 정보로 변조하여 인증을 진행하는 등 다양한 유형의 신분증 위,변조 행위를 판단하여 부정한 인증 행위를 방지할 수 있는 비대면 본인인증 고객확인 장치 및 그 방법을 제공하기 위한 것이다.
본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치는: 본인인증 고객 확인이 필요한 고객의 단말기에 신분증 촬영을 위한 신분증 촬영 인터페이스를 제공하는 신분증 촬영 제어부; 본인인증 고객 확인이 필요한 고객의 단말기에 얼굴 촬영을 위한 셀피 촬영 인터페이스를 제공하는 셀피 촬영 제어부; 및 상기 셀피 촬영 인터페이스를 통해 고객이 단말기를 이용하여 얼굴을 촬영하여 셀피가 생성되면, 인공 지능에 의해 상기 셀피와 신분증 사본의 얼굴 이미지를 비교하여 일치도를 산출하고, 산출된 일치도를 기반으로 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본의 위,변조를 판단하고, 인공 지능에 의해 산출된 일치도 및 신분증 사본의 위,변조 판정 결과에 따라 본인 인증을 수행하는 인증부를 포함한다.
상기 신분증 촬영 제어부는: 신분증 촬영 모드에서 고객 단말기의 화면의 영상에 고객이 선택한 신분증에 해당하는 사각 형태로 신분증 가이드 오브젝트를 표시하고, 상기 신분증이 상기 신분증 가이드 오브젝트와 일치된 상태에서 고객이 촬영 버튼을 조작하여 신분증을 촬영하는지를 판단하여 신분증 사본 이미지를 생성할 수 있다.
본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치는: 초해상도(Super Resolution) 처리를 수행하여 신분증 사본 이미지의 해상도를 조절하고, 초해상도 처리된 신분증 사본을 광학 글자 인식 처리하여 개인 정보를 확인하고, 신분증 별로 설정된 하나 이상의 개인 정보 항목을 가려 개인 정보 보호된 신분증 사본을 생성하고 고객사 서버에 저장하는 신분증 위변조 판단부를 더 포함할 수 있다.
상기 셀피 촬영 제어부는 고객의 얼굴에 해당하는 얼굴 가이드 오브젝트를 제공하고, 고객의 얼굴이 상기 얼굴 가이드 오브젝트 내에 위치하는 상태에서 촬영 버튼이 조작되는지를 판단하여 고객의 셀피를 획득할 수 있다.
상기 인증부는 인공 지능 모델에 의해 상기 셀피와 상기 신분증 사본의 얼굴 이미지에서 각각 특징점들을 추출하고, 대응되는 특징점들을 비교하여 신분증의 사진과 고객의 셀피의 얼굴 일치도를 산출할 수 있다.
상기 인증부는: 상기 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본의 얼굴 이미지로부터 제1 특징점들을 추출하고, 금융 데이터베이스에 저장된 고객의 신분증 사본의 얼굴 이미지로부터 추출된 제2 특징점들을 금융 데이터베이스로부터 전송받고, 고객이 실시간 촬영한 신분증 사본의 얼굴 이미지로부터 추출된 제1 특징점들과, 금융 데이터베이스로부터 전송받은 제2 특징점들의 매칭율을 기반으로 제1 일치도를 산출하는 제1 일치도 산출부; 상기 셀피 촬영 인터페이스를 통해 고객이 실시간 촬영한 셀피의 얼굴 이미지로부터 제3 특징점들을 추출하고, 고객이 실시간 촬영한 신분증 사본의 얼굴 이미지로부터 추출된 제1 특징점들과, 고객이 실시간 촬영한 셀피의 얼굴 이미지로부터 추출된 제3 특징점들의 매칭율을 기반으로 제2 일치도를 산출하는 제2 일치도 산출부; 상기 제1 일치도와 상기 제2 일치도를 비교하는 일치도 비교부; 및 상기 제1 일치도와 상기 제2 일치도의 비교 결과를 기반으로 신분증의 위,변조를 판정하는 위변조 판정부를 포함할 수 있다.
상기 위변조 판정부는: 상기 제1 일치도가 상기 제2 일치도 이상이면 상기 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본이 위,변조되지 않은 정상 신분증 사본인 것으로 판단하고; 그리고 상기 제1 일치도가 상기 제2 일치도 미만이면 상기 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본이 위,변조된 비정상 신분증 사본인 것으로 판단할 수 있다.
본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치는: 고객에 의해 고객의 얼굴 정면에 대해 셀피가 촬영된 제1 시점과, 고객의 얼굴 측면에 대해 셀피가 촬영된 제2 시점 사이에 고객의 얼굴 움직임을 탐지하고, 고객의 얼굴 움직임이 탐지되면 상기 셀피가 미리 준비된 사진이나 동영상이 아닌 실제 고객에 의해 촬영된 것으로 판단하는 모션 탐지부를 더 포함할 수 있다.
상기 모션 탐지부는: 고객이 얼굴을 움직이는 모션을 하는 동안 고객 단말기에서 발생되는 광의 출력을 제1 광 출력 상태에서 제2 광 출력 상태로 변화시키는 광 출력 조절 처리를 실행하는 광 출력 조절부; 상기 제1 광 출력 상태에서 촬영된 제1 셀피의 얼굴 영역 별로 제1 밝기를 산출하여 제1 밝기 분포를 산출하는 제1 밝기 분포 산출부; 상기 제2 광 출력 상태에서 촬영된 제2 셀피의 얼굴 영역 별로 제2 밝기를 산출하여 제2 밝기 분포를 산출하는 제2 밝기 분포 산출부; 상기 제1 밝기 분포 및 상기 제2 밝기 분포를 기반으로 고객의 얼굴 영역 별로 밝기 변화를 분석하는 밝기 변화 분석부; 및 상기 고객의 얼굴 영역 별로 분석된 밝기 변화를 기반으로, 사용자가 다른 단말기를 통해 동영상을 실행하여 모션 탐지 인증을 통과하려고 하는 부정 행위를 판단하는 부정 행위 판단부를 포함할 수 있다.
상기 신분증 위변조 판단부는: 실시간 촬영된 신분증 사본의 얼굴 이미지 영역에 해당하는 제1 영역에 대해 제1 선명도 패턴을 검출하는 제1 선명도 패턴 검출부; 실시간 촬영된 신분증 사본의 얼굴 이미지 영역에 해당하지 않는 제2 영역에 대해 제2 선명도 패턴을 검출하는 제2 선명도 패턴 검출부; 및 상기 제1 선명도 패턴과 상기 제2 선명도 패턴을 비교하여 실시간 촬영된 신분증 사본의 사진 위조 여부를 판정하는 위조사진 판정부를 포함할 수 있다.
상기 신분증 위변조 판단부는: 실시간 촬영된 신분증 사본의 얼굴 이미지 중 홀로그램에 해당하는 홀로그램 영역을 검출하는 홀로그램 영역 검출부; 실시간 촬영된 신분증 사본의 얼굴 이미지 중 빛 반사에 의해 발생된 빛반사 영역을 검출하는 빛반사 영역 검출부; 상기 홀로그램 영역 및 상기 빛반사 영역에 대해 상기 홀로그램에 해당하는 홀로그램 정보 및 상기 빛 반사에 해당하는 빛반사 정보를 경감하기 위한 제1 이미지 처리를 수행하는 제1 이미지 처리부; 및 상기 제1 이미지 처리가 수행된 상기 신분증 사본의 얼굴 이미지에 대해 초해상도(Super Resolution) 처리에 해당하는 제2 이미지 처리를 수행하는 제2 이미지 처리부를 포함할 수 있다.
본 발명의 실시예에 따른 비대면 본인인증 고객확인 방법은: 신분증 촬영 제어부에 의해, 본인인증 고객 확인이 필요한 고객의 단말기에 신분증 촬영을 위한 신분증 촬영 인터페이스를 제공하는 단계; 셀피 촬영 제어부에 의해, 본인인증 고객 확인이 필요한 고객의 단말기에 얼굴 촬영을 위한 셀피 촬영 인터페이스를 제공하는 단계; 인증부에 의해, 인공 지능에 의해 상기 셀피와 신분증 사본의 얼굴 이미지를 비교하여 일치도를 산출하는 단계; 상기 인증부에 의해, 상기 일치도를 기반으로 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본의 위,변조를 판단하는 단계; 및 상기 인증부에 의해, 상기 인공 지능에 의해 산출된 일치도 및 신분증 사본의 위,변조 판정 결과에 따라 본인 인증을 수행하는 단계를 포함한다.
상기 신분증 사본의 위,변조를 판단하는 단계는: 제1 일치도 산출부에 의해, 상기 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본의 얼굴 이미지로부터 제1 특징점들을 추출하고, 금융 데이터베이스에 저장된 고객의 신분증 사본의 얼굴 이미지로부터 추출된 제2 특징점들을 금융 데이터베이스로부터 전송받고, 고객이 실시간 촬영한 신분증 사본의 얼굴 이미지로부터 추출된 제1 특징점들과, 금융 데이터베이스로부터 전송받은 제2 특징점들의 매칭율을 기반으로 제1 일치도를 산출하는 단계; 제2 일치도 산출부에 의해, 상기 셀피 촬영 인터페이스를 통해 고객이 실시간 촬영한 셀피의 얼굴 이미지로부터 제3 특징점들을 추출하고, 고객이 실시간 촬영한 신분증 사본의 얼굴 이미지로부터 추출된 제1 특징점들과, 고객이 실시간 촬영한 셀피의 얼굴 이미지로부터 추출된 제3 특징점들의 매칭율을 기반으로 제2 일치도를 산출하는 단계; 일치도 비교부에 의해, 상기 제1 일치도와 상기 제2 일치도를 비교하는 단계; 및 위변조 판정부에 의해, 상기 제1 일치도와 상기 제2 일치도의 비교 결과를 기반으로 신분증의 위,변조를 판정하는 단계를 포함할 수 있다.
본 발명의 실시예에 따른 비대면 본인인증 고객확인 방법은: 모션 탐지부에 의해, 고객에 의해 고객의 얼굴 정면에 대해 셀피가 촬영된 제1 시점과, 고객의 얼굴 측면에 대해 셀피가 촬영된 제2 시점 사이에 고객의 얼굴 움직임을 탐지하고, 고객의 얼굴 움직임이 탐지되면 상기 셀피가 미리 준비된 사진이나 동영상이 아닌 실제 고객에 의해 촬영된 것으로 판단하는 단계를 더 포함할 수 있다.
상기 신분증 사본의 위,변조를 판단하는 단계는: 제1 선명도 패턴 검출부에 의해, 실시간 촬영된 신분증 사본의 얼굴 이미지 영역에 해당하는 제1 영역에 대해 제1 선명도 패턴을 검출하는 단계; 제2 선명도 패턴 검출부에 의해, 실시간 촬영된 신분증 사본의 얼굴 이미지 영역에 해당하지 않는 제2 영역에 대해 제2 선명도 패턴을 검출하는 단계; 및 위조사진 판정부에 의해, 상기 제1 선명도 패턴과 상기 제2 선명도 패턴을 비교하여 실시간 촬영된 신분증 사본의 사진 위조 여부를 판정하는 단계를 포함할 수 있다.
상기 신분증 사본의 위,변조를 판단하는 단계는: 홀로그램 영역 검출부에 의해, 실시간 촬영된 신분증 사본의 얼굴 이미지 중 홀로그램에 해당하는 홀로그램 영역을 검출하는 단계; 빛반사 영역 검출부에 의해, 실시간 촬영된 신분증 사본의 얼굴 이미지 중 빛 반사에 의해 발생된 빛반사 영역을 검출하는 단계; 제1 이미지 처리부에 의해, 상기 홀로그램 영역 및 상기 빛반사 영역에 대해 상기 홀로그램에 해당하는 홀로그램 정보 및 상기 빛 반사에 해당하는 빛반사 정보를 경감하기 위한 제1 이미지 처리를 수행하는 단계; 및 제2 이미지 처리부에 의해, 상기 제1 이미지 처리가 수행된 상기 신분증 사본의 얼굴 이미지에 대해 초해상도(Super Resolution) 처리에 해당하는 제2 이미지 처리를 수행하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 비대면 본인인증 고객확인 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체가 제공된다.
본 발명의 실시예에 의하면, 광학 글자 인식 기술(OCR), 모션 탐지(Motion Detection), 인공지능을 활용한 얼굴 인식(Face Recognition) 및 얼굴 매칭(Face Matching) 기술을 기반으로 고객이 실시간으로 신분증을 촬영한 사진과 얼굴을 촬영한 셀피를 기반으로 간편하고 정확하게 본인 인증을 수행할 수 있는 비대면 본인인증 고객확인 장치 및 방법이 제공된다.
또한, 본 발명의 실시예에 의하면, 타인의 사진이나 동영상을 이용하여 허위로 본인인증을 하는 것을 방지할 수 있고, 고객의 비대면 계좌 개설 단계를 간소화할 수 있으며, 영상 통화 인증 수단을 대체하여 24시간 서비스 이용이 가능하여 고객 편의를 증대할 수 있고, 1원 인증에 사용되는 서비스 비용을 절감할 수 있으며, 계좌가 없는 외국인, 청소년 등의 간편한 본인 인증 또한 가능한 비대면 본인인증 고객확인 장치 및 그 방법이 제공된다.
또한, 본 발명의 실시예에 의하면, 악의적인 사용자가 타인의 신분증을 입수하여 해당 신분증의 사진을 자신의 사진으로 변조하고 인증을 진행하거나, 악의적인 사용자가 자신의 신분증 정보를 타인의 정보로 변조하여 인증을 진행하는 등 다양한 유형의 신분증 위,변조 행위를 판단하여 부정한 인증 행위를 방지할 수 있는 비대면 본인인증 고객확인 장치 및 그 방법이 제공된다.
도 1 및 도 2는 종래의 비대면 본인인증 방법을 나타낸 개념도이다.
도 3 및 도 4는 본 발명의 다양한 응용예에 따른 비대면 본인인증 고객확인 시스템의 구성도이다.
도 5는 본 발명의 실시예에 따른 비대면 본인인증 고객확인 방법에 따라 비대면 본인인증을 수행하는 과정을 나타낸 순서도이다.
도 6은 본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치의 구성도이다.
도 7은 본 발명의 실시예에 따른 비대면 본인인증 고객확인 방법의 순서도이다.
도 8 내지 도 11은 도 7의 단계 S110에 따라 고객의 단말기에 신분증 촬영을 위한 신분증 촬영 인터페이스를 제공하는 방법을 설명하기 위한 고객 단말기의 화면 예시도이다.
도 12는 도 7의 단계 S140을 설명하기 위한 예시도이다.
도 13은 도 7의 단계 S180을 설명하기 위한 예시도이다.
도 14 및 도 15는 도 7의 단계 S150을 설명하기 위한 예시도이다.
도 16은 본 발명의 실시예에 따라 비대면 본인인증 고객확인 정보를 관리하는 관리자 단말기의 관리자 화면 예시도이다.
도 17은 본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치를 구성하는 인증부의 구성도이다.
도 18은 도 7의 단계 S160 및 단계 S170의 예시적인 순서도이다.
도 19는 본 발명의 일 실시예에 따른 비대면 본인인증 고객확인 장치를 구성하는 신분증 위변조 판단부의 구성도이다.
도 20은 도 7의 단계 S120의 일 예에 따른 순서도이다.
도 21은 도 20의 실시예를 설명하기 위한 예시도이다.
도 22는 정상 신분증의 사진 경계 부분의 화소값 변화를 나타낸 예시도이다.
도 23은 위조 사진을 붙인 신분증의 사진 경계 부분의 화소값 변화를 나타낸 예시도이다.
도 24는 본 발명의 다른 실시예에 따른 비대면 본인인증 고객확인 장치를 구성하는 신분증 위변조 판단부의 구성도이다.
도 25는 도 7의 단계 S120의 다른 예에 따른 순서도이다.
도 26 및 도 27은 도 25의 실시예를 설명하기 위한 예시도이다.
도 28은 본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치를 구성하는 모션 탐지부의 구성도이다.
도 29는 도 7의 단계 S150의 예시적인 순서도이다.
도 30은 도 29에 따른 실시예를 설명하기 위한 예시도이다.
도 3 및 도 4는 본 발명의 다양한 응용예에 따른 비대면 본인인증 고객확인 시스템의 구성도이다.
도 5는 본 발명의 실시예에 따른 비대면 본인인증 고객확인 방법에 따라 비대면 본인인증을 수행하는 과정을 나타낸 순서도이다.
도 6은 본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치의 구성도이다.
도 7은 본 발명의 실시예에 따른 비대면 본인인증 고객확인 방법의 순서도이다.
도 8 내지 도 11은 도 7의 단계 S110에 따라 고객의 단말기에 신분증 촬영을 위한 신분증 촬영 인터페이스를 제공하는 방법을 설명하기 위한 고객 단말기의 화면 예시도이다.
도 12는 도 7의 단계 S140을 설명하기 위한 예시도이다.
도 13은 도 7의 단계 S180을 설명하기 위한 예시도이다.
도 14 및 도 15는 도 7의 단계 S150을 설명하기 위한 예시도이다.
도 16은 본 발명의 실시예에 따라 비대면 본인인증 고객확인 정보를 관리하는 관리자 단말기의 관리자 화면 예시도이다.
도 17은 본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치를 구성하는 인증부의 구성도이다.
도 18은 도 7의 단계 S160 및 단계 S170의 예시적인 순서도이다.
도 19는 본 발명의 일 실시예에 따른 비대면 본인인증 고객확인 장치를 구성하는 신분증 위변조 판단부의 구성도이다.
도 20은 도 7의 단계 S120의 일 예에 따른 순서도이다.
도 21은 도 20의 실시예를 설명하기 위한 예시도이다.
도 22는 정상 신분증의 사진 경계 부분의 화소값 변화를 나타낸 예시도이다.
도 23은 위조 사진을 붙인 신분증의 사진 경계 부분의 화소값 변화를 나타낸 예시도이다.
도 24는 본 발명의 다른 실시예에 따른 비대면 본인인증 고객확인 장치를 구성하는 신분증 위변조 판단부의 구성도이다.
도 25는 도 7의 단계 S120의 다른 예에 따른 순서도이다.
도 26 및 도 27은 도 25의 실시예를 설명하기 위한 예시도이다.
도 28은 본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치를 구성하는 모션 탐지부의 구성도이다.
도 29는 도 7의 단계 S150의 예시적인 순서도이다.
도 30은 도 29에 따른 실시예를 설명하기 위한 예시도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 명세서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 본 명세서에서 사용되는 '~부, ~모듈'은 적어도 하나의 기능이나 동작을 처리하는 단위로서, 예를 들어 소프트웨어, FPGA 또는 하드웨어 구성요소를 의미할 수 있다. '~부, ~모듈'에서 제공하는 기능은 복수의 구성요소에 의해 분리되어 수행되거나, 다른 추가적인 구성요소와 통합될 수도 있다. 본 명세서의 '~부, ~모듈'은 반드시 소프트웨어 또는 하드웨어에 한정되지 않으며, 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 이하에서는 도면을 참조하여 본 발명의 실시예에 대해서 구체적으로 설명하기로 한다.
본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치 및 방법은 예를 들어 금융 서비스를 위한 비대면 본인인증 고객확인(KYC; Know Your Customer) 솔루션에 활용될 수 있다. 본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치 및 방법은 광학 글자 인식 기술(OCR), 모션 탐지(Motion Detection), 인공 지능을 활용한 얼굴 인식(Face Recognition) 및 얼굴 매칭(Face Matching) 기술을 기반으로 고객이 실시간으로 신분증을 촬영한 사진과 얼굴을 촬영한 셀피를 기반으로 간편하고 정확하게 본인 인증을 수행하여, 실시간 촬영된 신분증 사진 및 셀피를 기반으로 비대면 본인인증 고객확인 솔루션을 제공할 수 있다.
본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치 및 방법은 예를 들어, 핀테크 업체의 앱 서비스 이용, 블록체인 거래소의 전자지갑 개설, 은행의 온라인 뱅킹 계좌 개설, 증권사의 증권 거래 앱 계좌 개설, 보험사에 관한 온라인 보험 신청 등의 금융 서비스를 위한 비대면 본인인증 고객확인을 위해 활용될 수 있다.
도 3 및 도 4는 본 발명의 다양한 응용예에 따른 비대면 본인인증 고객확인 시스템의 구성도이다. 도 3, 및 도 4를 참조하면, 본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치 및 방법은 예를 들어 비대면 본인인증 고객확인 서비스를 제공하는 API(Application Program Interface) 서버(10)에 의해 수행될 수 있다.
본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치 및 방법은 도 3에 도시된 바와 같이, 인증 앱(20)을 통한 API 형태 서비스로 제공되거나, 도 4에 도시된 바와 같이, 고객사 앱(40)에 통합된 인증 모듈(20')을 기반으로 고객사 내부 솔루션 형태 서비스로 제공될 수 있다.
비대면 본인인증 고객 확인 후, 고객이 본인인증을 위해 촬영한 신분증 및 고객 얼굴 사진(셀피)은 고객사 서버(30)를 통해 고객사 DB(50)에 저장되며, API 서버(10)는 고객이 촬영한 신분증 사진 자료 및 얼굴 사진(셀피)을 폐기할 수 있다. 따라서 고객의 개인 정보가 고객사 DB(50) 외의 API 서버(10)에 저장되지 않으므로, 고객의 개인 정보 유출을 방지할 수 있다.
도 5는 본 발명의 실시예에 따른 비대면 본인인증 고객확인 방법에 따라 비대면 본인인증을 수행하는 과정을 나타낸 순서도이다. 도 6은 본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치의 구성도이다. 도 7은 본 발명의 실시예에 따른 비대면 본인인증 고객확인 방법의 순서도이다.
도 5 내지 도 7을 참조하면, 본 발명의 실시예에 따른 비대면 본인인증 고객확인 방법은 고객이 신분증 사본을 실시간 촬영하는 단계(S10), 고객이 실시간 얼굴을 촬영하여 셀피를 생성하는 단계(S20), 실시간 촬영된 신분증 사본과 셀피를 이용한 간단한 비대면 본인인증 고객확인을 통해 계좌 개설 등의 금융 서비스를 제공하는 단계(S30)를 포함할 수 있다.
본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치(100)는 신분증 촬영 제어부(110), 신분증 위변조 판단부(120), 셀피 촬영 제어부(130), 모션 탐지부(140), 인증부(150) 및 인증 결과 제공부(160)를 포함할 수 있다.
신분증 촬영 제어부(110)는 본인인증 고객 확인이 필요한 고객의 단말기에 신분증 촬영을 위한 신분증 촬영 인터페이스를 제공한다(S110). 신분증 촬영 제어부(110)는 신분증 촬영 모드에서 고객 단말기의 화면의 영상에 고객이 선택한 신분증에 해당하는 사각 형태로 신분증 가이드 오브젝트를 표시할 수 있다. 신분증 촬영 제어부(110)는 신분증이 신분증 가이드 오브젝트와 일치된 상태에서 고객이 촬영 버튼을 조작하여 신분증을 촬영하는지를 판단하여 신분증 사본 이미지를 생성할 수 있다.
도 8 내지 도 11은 도 7의 단계 S110에 따라 고객의 단말기에 신분증 촬영을 위한 신분증 촬영 인터페이스를 제공하는 방법을 설명하기 위한 고객 단말기의 화면 예시도이다. 신분증 촬영 제어부(110)는 자동으로 신분증 부분만 촬영하는 크롭핑(Cropping) 기능, 광학 문자 인식 기술(OCR), 민감한 개인 정보를 자동으로 가리는 기능, 신분증 진위 여부를 확인하는 기능을 구비할 수 있다.
사용자는 신분증 촬영 제어부의 기능을 이용하여 간편 신분증 사본 제출 앱 서비스를 통해 주민등록증, 운전면허증, 여권(외국인) 등의 신분증을 휴대폰으로 촬영만 하면 신분증 관련 정보를 자동으로 입력할 수 있다. 금융서비스를 이용하기 위해 고객이 고객 단말기의 앱을 실행하면, 도 8에 도시된 바와 같이 고객 단말기의 화면에 고객이 비대면 인증을 위해 주민등록증 또는 운전면허증과 같은 신분증을 준비하도록 안내 화면이 생성될 수 있다.
신분증 촬영 인터페이스는 안내 화면과 함께 고객이 신분증(예를 들어, 주민등록증, 운전면허증, 여권 등)을 선택할 수 있는 선택 항목과, 고객이 선택한 신분증이 준비된 후 고객 단말기의 카메라에 의해 신분증을 실시간 촬영하도록 하는 촬영 개시 항목을 포함할 수 있다. 예를 들어, 고객이 도 8에 도시된 단말기 화면에서 "신분증 촬영"을 선택(예를 들어, 터치 입력)하면, 고객 단말기의 카메라가 활성화되고, 도 9에 도시된 바와 같이, 신분증을 촬영할 수 있는 신분증 촬영 모드로 자동 전환된다.
신분증 촬영 모드에서 고객 단말기의 화면의 영상에는 고객이 선택한 신분증에 해당하는 사각 형태로 신분증 가이드 오브젝트(G01)가 표시된다. 고객이 신분증 가이드 오브젝트(G01)에 일치되도록 고객 단말기의 카메라와 신분증 간의 거리 및 카메라 방향 등을 조정하여 신분증이 신분증 가이드 오브젝트(G01)와 일치된 상태에서 고객이 촬영 버튼을 조작하여 신분증을 촬영하면, 신분증 사본 이미지가 생성된다.
신분증 촬영 인터페이스를 통해 고객이 단말기를 이용하여 신분증을 촬영하면, 초해상도(Super Resolution) 처리를 통해 신분증 사본 이미지의 해상도를 높인 후, 초해상도 처리된 신분증 사본을 OCR(광학 글자 인식) 처리하여 개인 정보를 확인하는 단계(S120)가 수행될 수 있다.
신분증 위변조 판단부(120)는 초해상도(Super Resolution) 처리를 수행하여 신분증 사본 이미지의 해상도를 조절하고, 초해상도 처리된 신분증 사본을 광학 글자 인식 처리하여 개인 정보를 확인할 수 있다. 신분증 위변조 판단부(120)는 촬영된 신분증 사본 중 신분증(예를 들어, 주민등록증, 운전면허증) 별로 설정된 하나 이상의 개인 정보 항목(예를 들어, 주민번호 뒷자리 6개 숫자)을 가려 개인 정보 보호된 신분증 사본을 생성하고, 이를 고객사 서버를 통해 고객사 DB에 저장할 수 있다(S130).
도 10은 본 발명의 실시예에 따라 신분증 사본 이미지를 OCR 처리하여 고객의 개인 정보를 추출한 것을 나타낸 예시도이다. 고객은 신분증 사본에서 추출한 문자정보가 실제 신분증 정보와 일치하지 않을 경우 재촬영 버튼을 조작하여 신분증을 재촬영할 수도 있다. 신분증 사본에서 추출된 문자정보가 실제 신분증 정보와 일치하여 고객이 확인 버튼을 조작하면, 추출된 문자정보와 신분증 사본 이미지를 기반으로 본인인증이 수행된다.
도 11은 촬영된 신분증 사본 중 설정된 개인 정보 항목을 가려 개인 정보 보호된 신분증 사본을 생성하고 고객사 서버에 저장하는 단계를 설명하기 위한 고객 단말기 화면의 예시도이다. 도 11에 도시된 바와 같이, 신분증이 신분증 가이드 오브젝트(GO1)와 일치된 상태에서 신분증을 촬영하면, 해당 신분증 별로 설정된 하나 이상의 개인 정보 항목(예를 들어, 주민번호 뒷자리)에 대해 개인 정보 항목을 가려 개인 정보 보호된 신분증 사본을 생성할 수 있다. 따라서 고객이 메모지 등을 이용하여 주민번호 뒷자리를 가리는 등의 수고를 하지 않아도 되므로 고객의 불편함 없이 본인 인증에 필요하지 않은 불필요한 개인 정보의 유출을 방지할 수 있다.
도 12는 도 7의 단계 S140을 설명하기 위한 예시도이다. 도 6, 도 7 및 도 12를 참조하면, 셀피 촬영 제어부(130)는 본인인증 고객 확인이 필요한 고객의 단말기에 얼굴 촬영을 위한 셀피 촬영 인터페이스를 제공한다(S140). 셀피 촬영 인터페이스는 고객 단말기의 카메라를 실행하여 고객이 자신의 얼굴을 실시간 촬영하도록 하는 인터페이스를 제공할 수 있다.
셀피 촬영 제어부(130)는 고객의 얼굴에 해당하는 얼굴 가이드 오브젝트(GO2)를 제공할 수 있다. 얼굴 가이드 오브젝트(GO2)는 고객의 얼굴에 해당하는 크기를 가지는 사각 또는 원, 타원 등의 형상으로 제공될 수 있다. 셀피 촬영 제어부(130)는 고객의 얼굴이 얼굴 가이드 오브젝트(GO2) 내에 위치하는 상태에서 촬영 버튼이 조작되는지를 판단하여 고객의 셀피를 획득할 수 있다. 즉, 고객이 자신의 얼굴을 얼굴 가이드 오브젝트(GO2) 내에 위치하도록 고객 단말기의 카메라 위치 및 방향을 조정한 상태에서 촬영 버튼을 조작하면, 본인인증을 위한 고객의 실시간 셀피가 획득될 수 있다.
모션 탐지부(140)는 셀피 촬영 인터페이스를 통해 생성된 셀피가 실제 고객이 촬영한 사진인지 허위 사진인지 판단할 수 있다(S150). 모션 탐지부(140)는 고객에 의해 고객의 얼굴 정면에 대해 셀피가 촬영된 제1 시점과, 고객의 얼굴 측면에 대해 셀피가 촬영된 제2 시점 사이에 고객의 얼굴 움직임을 탐지하고, 고객의 얼굴 움직임이 탐지되면 셀피가 미리 준비된 사진이나 동영상이 아닌 실제 고객에 의해 촬영된 것으로 판단할 수 있다.
인증부(150)는 셀피 촬영 인터페이스를 통해 고객이 단말기를 이용하여 얼굴을 촬영하여 셀피가 생성되면, 신분증 사진과 셀피 대조를 통한 인증 서비스를 제공하는 인공 지능에 의해 셀피와 신분증 사본의 얼굴 이미지를 비교하여 일치도를 산출한다(S160).
인증부(150)는 인공 지능 모델에 의해 셀피와 신분증 사본의 얼굴 이미지에서 각각 특징점들을 추출하고, 대응되는 특징점들을 비교하여 신분증의 사진과 고객의 셀피의 얼굴 일치도를 산출할 수 있다. 즉, 인증부(150)는 AI 안면인식(Face Recognition)을 통해 고객이 제출한 신분증과 실제 소지자의 얼굴을 비교하여 고객확인을 수행할 수 있다.
인공 지능 모델은 실시간 셀피와 실시간 신분증 사본의 얼굴 이미지에서 각각 특징점들을 추출하고, 대응되는 특징점들을 비교하여 신분증의 사진과 고객의 셀피의 얼굴 일치도를 산출할 수 있다. 인증부(150)는 산출된 일치도를 기반으로 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본의 위,변조를 판단하고, 인공 지능에 의해 산출된 일치도 및 신분증 사본의 위,변조 판정 결과에 따라 본인 인증을 수행할 수 있다(S170, S180).
인증부(150)는 예를 들어, 인공 지능에 의해 산출된 일치도를 설정되거나 산출된 기준 일치도(예를 들어, 90% 등의 설정된 기준 일치도 또는, 실시간 촬영된 신분증 사진과 금융 DB 상의 신분증 사진 간의 일치율에 따라 산출되는 기준 일치도)와 비교하여 본인 인증을 수행할 수 있다.
도 13은 도 7의 단계 S180을 설명하기 위한 예시도이다. 인증 결과 제공부(160)는 인증부(150)에 의해 신분증 사본(102)의 얼굴 이미지와 셀피(104)의 얼굴 이미지를 비교하여 수행된 본인 인증 결과(106)를 제공할 수 있다. 본 발명의 실시예에 의하면 사진 파일이나 동영상이 아닌 앱상에서 찍은 사진으로 인증이 가능하며, 사진 실시간성 확보를 통해 사진 위,변조를 방지할 수 있다. 신분증 사본 이미지는 초해상도(Super Resolution) 처리를 통해 이미지 복원된 상태이므로, 고객 단말기의 고해상도 촬영 장치에 의해 획득된 셀피와의 비교를 통해 얼굴 일치도를 정확하게 판정할 수 있다.
인공 지능에 의해 얼굴 일치도를 산출하는 단계에 앞서, 셀피 촬영 인터페이스를 통해 생성된 셀피가 실제 고객이 촬영한 사진인지 허위 사진인지 판단하는 단계(S150)가 수행될 수 있다. 도 14 및 도 15는 도 7의 단계 S150을 설명하기 위한 예시도이다.
모션 탐지부(140)는 고객에 의해 고객의 얼굴 정면에 대해 셀피가 촬영된 제1 시점과, 고객의 얼굴 측면에 대해 셀피가 촬영된 제2 시점 사이에 고객의 얼굴 움직임을 탐지하고, 고객의 얼굴 움직임이 탐지되면 상기 셀피가 미리 준비된 사진이나 동영상이 아닌 실제 고객에 의해 촬영된 것으로 판단할 수 있다. 따라서 실제 고객이 얼굴을 움직였는지를 판단하여 인증을 함으로써, 고객이 타인의 얼굴 정면 사진과 얼굴 측면 사진을 이용하여 허위로 인증을 하는 행위를 방지할 수 있다.
모션 탐지부(140)는 고객이 얼굴 정면을 촬영하도록 안내 문구를 표시하거나 음성 등으로 출력하고, 이후 고객이 얼굴 정면을 촬영한 후 고객으로 하여금 얼굴을 정해진 방향(예를 들어, 왼쪽 또는 오른쪽 방향)으로 움직이도록 요청하는 안내 문구를 표시하거나 음성 등으로 출력할 수 있다. 이후 고객이 안내 문구에 따라 얼굴을 움직이면 고객의 얼굴 측면을 촬영할 수 있다.
모션 탐지부(140)는 임의의 방향으로 랜덤으로 얼굴 이동 방향을 지시하는 안내 문구를 생성하고, 이후 고객이 랜덤으로 지시된 얼굴 이동 방향에 따라 얼굴을 움직이는 모션이 탐지되면 고객이 실제로 얼굴을 움직인 행위인 것으로 판단할 수 있다. 이에 따라 얼굴을 움직이는 행위를 하는 타인의 동영상을 미리 준비하여 단말기로 디스플레이하여 해당 타인의 움직임인 것으로 속여 본인 인증을 하는 것을 보다 효과적으로 방지할 수 있다.
도 16은 본 발명의 실시예에 따라 비대면 본인인증 고객확인 정보를 관리하는 관리자 단말기의 관리자 화면 예시도이다. 고객의 얼굴 움직임이 탐지되면, 해당 셀피는 사진이나 다른 단말기의 동영상이 아닌, 실제 고객에 의해 촬영된 것으로 판단될 수 있으며, 이후 셀피와 신분증 사진의 비교를 통해 인공 지능에 의해 도 16에 도시된 바와 같이 신분증 사본의 특징점들(FP1)과 셀피의 특징점들(FP2) 간의 매칭율을 기반으로 얼굴 일치도가 산출될 수 있다.
인공 지능에 의해 얼굴 일치도가 산출되면, 얼굴 일치도에 따라 선택적으로 관리자에 의해 수동 검증이 수행될 수 있다. 예를 들어, 셀피와 신분증 이미지의 얼굴 일치도가 90% 혹은 그 이하의 값으로 산출되면, 관리자에 수동 검증을 요청할 수 있다. 이와 달리 셀피와 신분증 이미지의 얼굴 일치도가 90% 또는 그 이상의 높은 값으로 산출되면, 관리자에 의한 수동 검증을 생략할 수도 있다.
도 17은 본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치를 구성하는 인증부의 구성도이다. 도 18은 도 7의 단계 S160 및 단계 S170의 예시적인 순서도이다. 도 17 및 도 18을 참조하면, 인증부(150)는 제1 일치도 산출부(152), 제2 일치도 산출부(154), 일치도 비교부(156) 및 위변조 판정부(158)를 포함할 수 있다.
제1 일치도 산출부(152)는 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본의 얼굴 이미지로부터 제1 특징점들을 추출할 수 있다(S162). 제1 일치도 산출부(152)는 금융 데이터베이스(60)에 저장된 고객의 신분증 사본의 얼굴 이미지로부터 추출된 제2 특징점들을 금융 데이터베이스(60)로부터 전송받을 수 있다(S164).
금융 데이터베이스(60)는 예를 들어 공인된 금융 기관 또는 개인 정보 관리 기관 등에서 운용하는 데이터베이스일 수 있다. 인증부(150)는 금융 데이터베이스(60)로부터 신분증 사진을 직접 전송받지 않고 신분증 사진으로부터 추출된 제2 특징점들을 전송받기 때문에 신분증 사진이 금융 데이터베이스(60) 외부로 전송되어 활용되는 것을 방지할 수 있다.
제1 일치도 산출부(152)는 고객이 실시간 촬영한 신분증 사본의 얼굴 이미지로부터 추출된 제1 특징점들과, 금융 데이터베이스(60)로부터 전송받은 제2 특징점들의 매칭율을 기반으로 제1 일치도를 산출할 수 있다(S166).
제2 일치도 산출부(154)는 셀피 촬영 인터페이스를 통해 고객이 실시간 촬영한 셀피의 얼굴 이미지로부터 제3 특징점들을 추출할 수 있다. 제2 일치도 산출부(154)는 고객이 실시간 촬영한 신분증 사본의 얼굴 이미지로부터 추출된 제1 특징점들과, 고객이 실시간 촬영한 셀피의 얼굴 이미지로부터 추출된 제3 특징점들의 매칭율을 기반으로 제2 일치도를 산출할 수 있다(S168).
일치도 비교부(156)는 제1 일치도 산출부(152)에 의해 산출된 제1 일치도와 제2 일치도 산출부(154)에 의해 산출된 제2 일치도를 비교할 수 있다(S172). 위변조 판정부(158)는 제1 일치도(고객이 실시간 촬영한 신분증의 얼굴 이미지와 금융 데이터베이스에 저장된 신분증의 얼굴 이미지 간의 특징 유사도)와 제2 일치도(고객이 실시간 촬영한 신분증의 얼굴 이미지와 고객이 실시간 촬영한 셀피 간의 특징 유사도)의 비교 결과를 기반으로 신분증의 위,변조를 판정할 수 있다(S174, S176).
위변조 판정부(158)는 제1 일치도가 제2 일치도 이상이면 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본이 위,변조되지 않은 정상 신분증 사본인 것으로 판단할 수 있다(S174). 위변조 판정부(158)는 제1 일치도가 제2 일치도 미만이면 상기 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본이 위,변조된 비정상 신분증 사본인 것으로 판단할 수 있다(S176).
제1 일치도 및/또는 제2 일치도를 각각 설정된 기준 값과 비교하여 판단하는 경우 기준 값의 설정에 따라 신분증의 위,변조 판정 정확도가 좌우될 수 있으나, 제1 일치도와 제2 일치도 상호 간의 비교 결과에 따라 신분증의 위,변조를 판정함으로써 신분증의 위,변조 판정 정확도를 높일 수 있다.
예를 들어, 신분증의 사진을 위,변조한 경우 제1 일치도(예를 들어, 0~40% 일치율)가 낮아져 신분증이 위,변조된 것으로 판정할 수 있다. 또한, 신분증 위,변조시 제2 일치도가 실시간 촬영된 신분증과 금융 DB에 저장된 신분증 간의 제1 일치도 보다 높게 나오게 되어 비정상인 것으로 판정하고 신분증 위,변조 행위를 한 것으로 판단할 수 있다.
도 17 및 도 18의 실시예에 의하면, 악의적인 사용자가 타인의 신분증을 입수하여 해당 신분증의 사진을 자신의 사진으로 변조하고 인증을 진행하거나, 악의적인 사용자가 자신의 신분증 정보를 타인의 정보로 변조하여 인증을 진행하는 등 다양한 유형의 신분증 위,변조 행위를 판단하여 부정한 인증 행위를 방지할 수 있다.
도 19는 본 발명의 일 실시예에 따른 비대면 본인인증 고객확인 장치를 구성하는 신분증 위변조 판단부의 구성도이다. 도 20은 도 7의 단계 S120의 일 예에 따른 순서도이다. 도 21은 도 20의 실시예를 설명하기 위한 예시도이다. 도 19 내지 도 21을 참조하면, 신분증 위변조 판단부(120)는 제1 선명도 패턴 검출부(111), 제2 선명도 패턴 검출부(112) 및 위조사진 판정부(113)를 포함할 수 있다.
제1 선명도 패턴 검출부(111)는 실시간 촬영된 신분증 사본의 얼굴 이미지 영역(AR0)에 해당하는 제1 영역(AR1)에 대해 제1 선명도 패턴을 검출할 수 있다(S121). 제1 선명도 패턴은 고객의 신분증 사용 습관이나 소지 습관 등에 의해 신분증의 얼굴 이미지 영역(AR0)에 해당하는 제1 영역(AR1)에 나타나는 손상, 노후 패턴에 관한 정보를 포함할 수 있다.
제2 선명도 패턴 검출부(112)는 실시간 촬영된 신분증 사본의 얼굴 이미지 영역(AR0)에 해당하지 않는 제2 영역(AR2)에 대해 제2 선명도 패턴을 검출할 수 있다(S122). 제2 선명도 패턴은 고객의 신분증 사용 습관이나 소지 습관 등에 의해 신분증의 얼굴 이미지 영역(AR0)에 해당하지 않는 제2 영역(AR2)에 나타나는 손상, 노후 패턴에 관한 정보를 포함할 수 있다.
위조사진 판정부(113)는 제1 선명도 패턴과 제2 선명도 패턴을 비교하여 실시간 촬영된 신분증 사본의 사진 위조 여부를 판정할 수 있다(S123). 위조사진 판정부(113)는 선명도 패턴 비교부(1132)와, 사진 위조확률 산출부(1134)를 포함할 수 있다. 선명도 패턴 비교부(1132)는 제1 선명도 패턴과 제2 선명도 패턴을 비교할 수 있다. 사진 위조확률 산출부(1134)는 제1 선명도 패턴과 제2 선명도 패턴의 비교 결과에 따라 실시간 촬영된 신분증 사본의 사진 위조 여부를 판정할 수 있다. 실시예에서, 사진 위조된 신분증의 사진 경계 주위 영역의 화소값들의 패턴을 기반으로 선명도 패턴 변화를 인공 지능에 의해 학습하여 인공 지능 모델을 생성할 수 있으며, 학습된 인공 지능 모델을 이용하여 제1 및 제2 선명도 패턴을 기반으로 사진 위조 여부를 판정할 수 있다.
도 22는 정상 신분증의 사진 경계 부분의 화소값 변화를 나타낸 예시도이다. 도 23은 위조 사진을 붙인 신분증의 사진 경계 부분의 화소값 변화를 나타낸 예시도이다. 정상 신분증의 경우 도 22에 도시된 바와 같이, 신분증 사진 경계 부분에서 선명도 패턴의 변화가 크지 않게 나타나지만, 위조 사진을 붙인 신분증의 경우 신분증 사진 경계 부분에서 선명도 패턴의 변화가 크게 나타날 수 있다.
즉, 사용자가 타인의 신분증 사진을 사용자 본인의 사진으로 교체하여 신분증을 위,변조하는 경우, 신분증의 사진 영역의 제1 선명도 패턴은 신분증의 사진 영역이 아닌 영역의 제2 선명도 패턴과 상이한 패턴을 가지게 된다. 따라서 제1 선명도 패턴과 제2 선명도 패턴이 상이한 경우, 사용자가 신분증 사진을 위,변조한 것으로 판단할 수 있다.
제1 선명도 패턴이 추출된 제1 영역과 제2 선명도 패턴이 추출된 제2 영역이 근접할수록, 제1 선명도 패턴과 제2 선명도 패턴 간의 비교 결과에 따른 신분증 사진의 위,변조 판정 정확도를 높일 수 있다. 따라서 제1 영역은 신분증 사진의 모서리 영역으로 설정되고, 제2 영역은 신분증 사진의 모서리 영역을 둘러싸는 영역으로 설정될 수 있다.
도 24는 본 발명의 다른 실시예에 따른 비대면 본인인증 고객확인 장치를 구성하는 신분증 위변조 판단부의 구성도이다. 도 25는 도 7의 단계 S120의 다른 예에 따른 순서도이다. 도 26 및 도 27은 도 25의 실시예를 설명하기 위한 예시도이다. 도 24 내지 도 27을 참조하면, 신분증 위변조 판단부(120)는 홀로그램 영역 검출부(124), 빛반사 영역 검출부(124'), 제1 이미지 처리부(125) 및 제2 이미지 처리부(126)를 포함할 수 있다.
홀로그램 영역 검출부(124)는 실시간 촬영된 신분증 사본의 얼굴 이미지 중 홀로그램에 해당하는 홀로그램 영역을 검출할 수 있다(S124). 빛반사 영역 검출부(124')는 실시간 촬영된 신분증 사본의 얼굴 이미지 중 빛 반사에 의해 발생된 빛반사 영역을 검출할 수 있다(S124).
빛반사 영역은 예를 들어, 실내/외의 조명광과 같은 인공광 혹은 태양광이 신분증에 반사되어 카메라로 입사됨에 따라 발생될 수 있다. 실시예에서, 신분증 사본 이미지의 홀로그램 영역과 빛반사 영역은 인공 지능에 의해 홀로그램 영역과 빛반사 영역에서 각각 나타나는 화소값들의 패턴을 학습하여 생성된 인공 지능 모델을 기반으로 검출될 수 있다.
제1 이미지 처리부(125)는 홀로그램 영역에 대해 제1 이미지 처리를 수행할 수 있다(S125). 제1 이미지 처리는 홀로그램 영역에 포함된 홀로그램 정보 및/또는 빛반사 영역에 포함된 빛반사 정보를 제거하거나 경감하기 위한 이미지 처리일 수 있다. 제1 이미지 처리부(125)는 신분증 사본의 얼굴 이미지 중 홀로그램에 해당하는 홀로그램 영역 및/또는 빛반사 영역의 화소들 중 화소값 증가량이 기준값을 초과하는 영역(HG1, HG2)에 대해 평활화 처리를 함으로써 홀로그램 정보가 제거 또는 경감된 화소 정보(HG3, HG4)로 변환된 제1 이미지 데이터(D1)를 생성할 수 있다.
제2 이미지 처리부(126)는 홀로그램 정보 및/또는 빛반사 정보가 제거 또는 경감된 제1 이미지 데이터(D1)로부터 신분증 사본의 얼굴 이미지에 대해 제2 이미지 처리를 수행하여 제1 이미지 데이터(D1) 보다 높은 해상도를 가지는 제2 이미지 데이터(D2)를 생성할 수 있다(S126). 제2 이미지 처리는 초해상도(Super Resolution) 알고리즘에 의해 신분증 사본의 얼굴 이미지의 해상도를 향상시키는 이미지 처리일 수 있다.
도 28은 본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치를 구성하는 모션 탐지부의 구성도이다. 도 29는 도 7의 단계 S150의 예시적인 순서도이다. 도 30은 도 29에 따른 실시예를 설명하기 위한 예시도이다. 도 28 내지 도 30을 참조하면, 모션 탐지부(140)는 광 출력 조절부(142), 밝기 분포 산출부(144), 밝기 변화 분석부(146) 및 부정 행위 판단부(148)를 포함할 수 있다.
광 출력 조절부(142)는 고객이 얼굴을 움직이는 모션을 하는 동안 고객 단말기에서 발생되는 광의 출력을 제1 광 출력 상태에서 제2 광 출력 상태로 변화시키는 광 출력 조절 처리를 실행할 수 있다(S151). 광 출력 조절부(142)는 예를 들어 고객이 얼굴을 움직이는 모션을 하는 동안 고객 단말기에서 발생되는 조명을 변화시키거나 플래시를 발생시키는 등의 광 출력 조절 처리를 실행할 수 있다.
밝기 분포 산출부(144)는 제1 밝기 분포 산출부(1442) 및 제2 밝기 분포 산출부(1444)를 포함할 수 있다. 제1 밝기 분포 산출부(1442)는 제1 광 출력 상태(예를 들어, 낮은 광 출력 모드)에서 촬영된 제1 셀피의 얼굴 영역(P1~P5) 별로 제1 밝기를 산출하여 제1 밝기 분포를 산출할 수 있다(S152). 제2 밝기 분포 산출부(1444)는 제2 광 출력 상태(예를 들어, 높은 광 출력 모드)에서 촬영된 제2 셀피의 얼굴 영역(P1~P5) 별로 제2 밝기를 산출하여 제2 밝기 분포를 산출할 수 있다(S153).
밝기 변화 분석부(146)는 제1 밝기 분포 및 제2 밝기 분포를 기반으로 고객의 얼굴 영역(P1~P5) 별로 밝기 변화를 분석할 수 있다(S154). 부정 행위 판단부(148)는 고객의 얼굴 영역 별로 분석된 밝기 변화를 기반으로, 사용자가 다른 단말기를 통해 동영상을 실행하여 모션 탐지 인증을 통과하려고 하는 부정 행위를 판단할 수 있다(S155).
즉, 인증부(150)는 얼굴 영역(P1~P5) 별로 상기 제1 밝기 분포를 상기 제2 밝기 분포와 비교한 결과를 기반으로, 실제 사용자가 얼굴을 움직이는 행위를 하는 것인지, 사용자가 다른 단말기를 통해 동영상을 실행하여 모션 탐지 인증을 통과하려고 하는 것인지를 구별할 수 있다.
실제 사용자가 얼굴을 움직이는 행위를 하는 경우, 광 출력 밝기에 따라 사용자의 얼굴 영역 별 굴곡(경사)에 따라 밝기 변화가 다르게 나타나지만, 동영상을 실행하여 모션 탐지 인증을 통과하려는 경우 동영상에 비춰지는 빛의 변화가 얼굴 전체에 균일하게 작용하여 얼굴 영역 별로 밝기 변화가 비교적 일정하게 나타나게 된다.
따라서 사용자의 얼굴 부위(예를 들어, 코끝, 미간, 입술, 광대뼈 등)에 따라 제1 셀피와 제2 셀피 간의 빛의 변화 비율이 다르게 나타나는 것으로 판단되는 경우, 실제 사용자의 정상적 모션인 것으로 판단하고, 제1 셀피와 제2 셀피 간의 빛의 변화 비율이 얼굴 부위 별로 비교적 일정하게 나타나는 것으로 판단되는 경우, 단말기에 동영상을 실행하여 모션 탐지 인증을 부정한 방법으로 통과하는 것으로 판정할 수 있다. 따라서 도 28 및 도 29의 실시예에 의하면, 제3자가 타인의 얼굴 움직임을 촬영한 동영상을 다른 단말기를 통해 실행하는 부정한 방법으로 모션 탐지 인증을 통과하는 행위를 방지할 수 있다.
상술한 바와 같이, 본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치 및 방법에 의하면, 광학 글자 인식 기술(OCR), 모션 탐지(Motion Detection), 인공지능을 활용한 얼굴 인식(Face Recognition) 및 얼굴 매칭(Face Matching) 기술을 기반으로 고객이 실시간으로 신분증을 촬영한 사진과 얼굴을 촬영한 셀피를 기반으로 간편하고 정확하게 본인 인증을 수행하는 실시간 촬영된 신분증 사진 및 셀피를 이용한 인공지능 얼굴 인식 기반의 비대면 본인인증 고객확인 장치 및 방법이 제공된다.
또한 본 발명의 실시예에 의하면, 타인의 사진이나 동영상을 이용하여 허위로 본인인증을 하는 것을 방지할 수 있다. 또한, 고객의 비대면 계좌 개설 단계를 간소화할 수 있고 영상 통화 인증 수단을 대체하여 24시간 서비스 이용이 가능하여 고객 편의를 증대할 수 있고, 1원 인증에 사용되는 서비스사 비용을 절감할 수 있다. 또한, 계좌가 없는 외국인, 청소년 등의 간편한 본인 인증 또한 가능하다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/ 또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(Digital Signal Processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(Programmable Logic Unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.
처리 장치는 운영 체제 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술 분야에서 통상의 지식을 가진 자는 처리 장치가 복수 개의 처리 요소(Processing Element) 및/또는 복수 유형의 처리요소를 포함할 수 있음을 이해할 것이다.
예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(Parallel Processor) 와 같은, 다른 처리 구성(Processing configuration)도 가능하다. 소프트웨어는 컴퓨터 프로그램(Computer Program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어 및/ 또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody) 될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
Claims (17)
- 본인인증 고객 확인이 필요한 고객의 단말기에 신분증 촬영을 위한 신분증 촬영 인터페이스를 제공하는 신분증 촬영 제어부;
본인인증 고객 확인이 필요한 고객의 단말기에 얼굴 촬영을 위한 셀피 촬영 인터페이스를 제공하는 셀피 촬영 제어부; 및
상기 셀피 촬영 인터페이스를 통해 고객이 단말기를 이용하여 얼굴을 촬영하여 셀피가 생성되면, 인공 지능에 의해 상기 셀피와 신분증 사본의 얼굴 이미지를 비교하여 일치도를 산출하고, 산출된 일치도를 기반으로 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본의 위,변조를 판단하고, 상기 인공 지능에 의해 산출된 일치도 및 신분증 사본의 위,변조 판정 결과에 따라 본인 인증을 수행하는 인증부를 포함하고,
상기 인증부는:
상기 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본의 얼굴 이미지로부터 제1 특징점들을 추출하고, 금융 데이터베이스에 저장된 고객의 신분증 사본의 얼굴 이미지로부터 추출된 제2 특징점들을 금융 데이터베이스로부터 전송받고, 고객이 실시간 촬영한 신분증 사본의 얼굴 이미지로부터 추출된 제1 특징점들과, 금융 데이터베이스로부터 전송받은 제2 특징점들의 매칭율을 기반으로 제1 일치도를 산출하는 제1 일치도 산출부;
상기 셀피 촬영 인터페이스를 통해 고객이 실시간 촬영한 셀피의 얼굴 이미지로부터 제3 특징점들을 추출하고, 고객이 실시간 촬영한 신분증 사본의 얼굴 이미지로부터 추출된 제1 특징점들과, 고객이 실시간 촬영한 셀피의 얼굴 이미지로부터 추출된 제3 특징점들의 매칭율을 기반으로 제2 일치도를 산출하는 제2 일치도 산출부;
상기 제1 일치도와 상기 제2 일치도를 비교하는 일치도 비교부; 및
상기 제1 일치도와 상기 제2 일치도의 비교 결과를 기반으로 신분증의 위,변조를 판정하는 위변조 판정부를 포함하고,
상기 위변조 판정부는:
상기 제1 일치도가 상기 제2 일치도 이상이면 상기 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본이 위,변조되지 않은 정상 신분증 사본인 것으로 판단하고; 그리고
상기 제1 일치도가 상기 제2 일치도 미만이면 상기 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본이 위,변조된 비정상 신분증 사본인 것으로 판단하는, 비대면 본인인증 고객확인 장치. - 제1항에 있어서,
상기 신분증 촬영 제어부는:
신분증 촬영 모드에서 고객 단말기의 화면의 영상에 고객이 선택한 신분증에 해당하는 사각 형태로 신분증 가이드 오브젝트를 표시하고, 상기 신분증이 상기 신분증 가이드 오브젝트와 일치된 상태에서 고객이 촬영 버튼을 조작하여 신분증을 촬영하는지를 판단하여 신분증 사본 이미지를 생성하는, 비대면 본인인증 고객확인 장치. - 제1항에 있어서,
초해상도(Super Resolution) 처리를 수행하여 신분증 사본 이미지의 해상도를 조절하고, 초해상도 처리된 신분증 사본을 광학 글자 인식 처리하여 개인 정보를 확인하고, 신분증 별로 설정된 하나 이상의 개인 정보 항목을 가려 개인 정보 보호된 신분증 사본을 생성하고 고객사 서버에 저장하는 신분증 위변조 판단부를 더 포함하는, 비대면 본인인증 고객확인 장치. - 제1항에 있어서,
상기 셀피 촬영 제어부는: 고객의 얼굴에 해당하는 얼굴 가이드 오브젝트를 제공하고, 고객의 얼굴이 상기 얼굴 가이드 오브젝트 내에 위치하는 상태에서 촬영 버튼이 조작되는지를 판단하여 고객의 셀피를 획득하는, 비대면 본인인증 고객확인 장치. - 제1항에 있어서,
상기 인증부는: 인공 지능 모델에 의해 상기 셀피와 상기 신분증 사본의 얼굴 이미지에서 각각 특징점들을 추출하고, 대응되는 특징점들을 비교하여 신분증의 사진과 고객의 셀피의 얼굴 일치도를 산출하는, 비대면 본인인증 고객확인 장치. - 삭제
- 삭제
- 제1항에 있어서,
고객에 의해 고객의 얼굴 정면에 대해 셀피가 촬영된 제1 시점과, 고객의 얼굴 측면에 대해 셀피가 촬영된 제2 시점 사이에 고객의 얼굴 움직임을 탐지하고, 고객의 얼굴 움직임이 탐지되면 상기 셀피가 미리 준비된 사진이나 동영상이 아닌 실제 고객에 의해 촬영된 것으로 판단하는 모션 탐지부를 더 포함하는, 비대면 본인인증 고객확인 장치. - 제8항에 있어서,
상기 모션 탐지부는:
고객이 얼굴을 움직이는 모션을 하는 동안 고객 단말기에서 발생되는 광의 출력을 제1 광 출력 상태에서 제2 광 출력 상태로 변화시키는 광 출력 조절 처리를 실행하는 광 출력 조절부;
상기 제1 광 출력 상태에서 촬영된 제1 셀피의 얼굴 영역 별로 제1 밝기를 산출하여 제1 밝기 분포를 산출하는 제1 밝기 분포 산출부;
상기 제2 광 출력 상태에서 촬영된 제2 셀피의 얼굴 영역 별로 제2 밝기를 산출하여 제2 밝기 분포를 산출하는 제2 밝기 분포 산출부;
상기 제1 밝기 분포 및 상기 제2 밝기 분포를 기반으로 고객의 얼굴 영역 별로 밝기 변화를 분석하는 밝기 변화 분석부; 및
상기 고객의 얼굴 영역 별로 분석된 밝기 변화를 기반으로, 사용자가 다른 단말기를 통해 동영상을 실행하여 모션 탐지 인증을 통과하려고 하는 부정 행위를 판단하는 부정 행위 판단부를 포함하는, 비대면 본인인증 고객확인 장치. - 제1항에 있어서,
신분증 위변조 판단부를 더 포함하고,
상기 신분증 위변조 판단부는:
실시간 촬영된 신분증 사본의 얼굴 이미지 영역에 해당하는 제1 영역에 대해 제1 선명도 패턴을 검출하는 제1 선명도 패턴 검출부;
실시간 촬영된 신분증 사본의 얼굴 이미지 영역에 해당하지 않는 제2 영역에 대해 제2 선명도 패턴을 검출하는 제2 선명도 패턴 검출부; 및
상기 제1 선명도 패턴과 상기 제2 선명도 패턴을 비교하여 실시간 촬영된 신분증 사본의 사진 위조 여부를 판정하는 위조사진 판정부를 포함하는, 비대면 본인인증 고객확인 장치. - 제1항에 있어서,
상기 신분증 위변조 판단부는:
실시간 촬영된 신분증 사본의 얼굴 이미지 중 홀로그램에 해당하는 홀로그램 영역을 검출하는 홀로그램 영역 검출부;
실시간 촬영된 신분증 사본의 얼굴 이미지 중 빛 반사에 의해 발생된 빛반사 영역을 검출하는 빛반사 영역 검출부;
상기 홀로그램 영역 및 상기 빛반사 영역에 대해 상기 홀로그램에 해당하는 홀로그램 정보 및 상기 빛 반사에 해당하는 빛반사 정보를 경감하기 위한 제1 이미지 처리를 수행하는 제1 이미지 처리부; 및
상기 제1 이미지 처리가 수행된 상기 신분증 사본의 얼굴 이미지에 대해 초해상도(Super Resolution) 처리에 해당하는 제2 이미지 처리를 수행하는 제2 이미지 처리부를 포함하는, 비대면 본인인증 고객확인 장치. - 신분증 촬영 제어부에 의해, 본인인증 고객 확인이 필요한 고객의 단말기에 신분증 촬영을 위한 신분증 촬영 인터페이스를 제공하는 단계;
셀피 촬영 제어부에 의해, 본인인증 고객 확인이 필요한 고객의 단말기에 얼굴 촬영을 위한 셀피 촬영 인터페이스를 제공하는 단계;
인증부에 의해, 상기 셀피 촬영 인터페이스를 통해 고객이 단말기를 이용하여 얼굴을 촬영하여 생성된 셀피와 신분증 사본의 얼굴 이미지를 인공 지능에 의해 비교하여 일치도를 산출하는 단계;
상기 인증부에 의해, 상기 일치도를 기반으로 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본의 위,변조를 판단하는 단계; 및
상기 인증부에 의해, 상기 인공 지능에 의해 산출된 일치도 및 신분증 사본의 위,변조 판정 결과에 따라 본인 인증을 수행하는 단계를 포함하고,
상기 신분증 사본의 위,변조를 판단하는 단계는:
제1 일치도 산출부에 의해, 상기 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본의 얼굴 이미지로부터 제1 특징점들을 추출하고, 금융 데이터베이스에 저장된 고객의 신분증 사본의 얼굴 이미지로부터 추출된 제2 특징점들을 금융 데이터베이스로부터 전송받고, 고객이 실시간 촬영한 신분증 사본의 얼굴 이미지로부터 추출된 제1 특징점들과, 금융 데이터베이스로부터 전송받은 제2 특징점들의 매칭율을 기반으로 제1 일치도를 산출하는 단계;
제2 일치도 산출부에 의해, 상기 셀피 촬영 인터페이스를 통해 고객이 실시간 촬영한 셀피의 얼굴 이미지로부터 제3 특징점들을 추출하고, 고객이 실시간 촬영한 신분증 사본의 얼굴 이미지로부터 추출된 제1 특징점들과, 고객이 실시간 촬영한 셀피의 얼굴 이미지로부터 추출된 제3 특징점들의 매칭율을 기반으로 제2 일치도를 산출하는 단계;
일치도 비교부에 의해, 상기 제1 일치도와 상기 제2 일치도를 비교하는 단계; 및
위변조 판정부에 의해, 상기 제1 일치도와 상기 제2 일치도의 비교 결과를 기반으로, 상기 제1 일치도가 상기 제2 일치도 이상이면 상기 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본이 위,변조되지 않은 정상 신분증 사본인 것으로 판단하고, 상기 제1 일치도가 상기 제2 일치도 미만이면 상기 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본이 위,변조된 비정상 신분증 사본인 것으로 판단함으로써 신분증의 위,변조를 판정하는 단계를 포함하는, 비대면 본인인증 고객확인 방법. - 삭제
- 제12항에 있어서,
모션 탐지부에 의해, 고객에 의해 고객의 얼굴 정면에 대해 셀피가 촬영된 제1 시점과, 고객의 얼굴 측면에 대해 셀피가 촬영된 제2 시점 사이에 고객의 얼굴 움직임을 탐지하고, 고객의 얼굴 움직임이 탐지되면 상기 셀피가 미리 준비된 사진이나 동영상이 아닌 실제 고객에 의해 촬영된 것으로 판단하는 단계를 더 포함하는, 비대면 본인인증 고객확인 방법. - 제12항에 있어서,
상기 신분증 사본의 위,변조를 판단하는 단계는:
제1 선명도 패턴 검출부에 의해, 실시간 촬영된 신분증 사본의 얼굴 이미지 영역에 해당하는 제1 영역에 대해 제1 선명도 패턴을 검출하는 단계;
제2 선명도 패턴 검출부에 의해, 실시간 촬영된 신분증 사본의 얼굴 이미지 영역에 해당하지 않는 제2 영역에 대해 제2 선명도 패턴을 검출하는 단계; 및
위조사진 판정부에 의해, 상기 제1 선명도 패턴과 상기 제2 선명도 패턴을 비교하여 실시간 촬영된 신분증 사본의 사진 위조 여부를 판정하는 단계를 포함하는, 비대면 본인인증 고객확인 방법. - 제12항에 있어서,
상기 신분증 사본의 위,변조를 판단하는 단계는:
홀로그램 영역 검출부에 의해, 실시간 촬영된 신분증 사본의 얼굴 이미지 중 홀로그램에 해당하는 홀로그램 영역을 검출하는 단계;
빛반사 영역 검출부에 의해, 실시간 촬영된 신분증 사본의 얼굴 이미지 중 빛 반사에 의해 발생된 빛반사 영역을 검출하는 단계;
제1 이미지 처리부에 의해, 상기 홀로그램 영역 및 상기 빛반사 영역에 대해 상기 홀로그램에 해당하는 홀로그램 정보 및 상기 빛 반사에 해당하는 빛반사 정보를 경감하기 위한 제1 이미지 처리를 수행하는 단계; 및
제2 이미지 처리부에 의해, 상기 제1 이미지 처리가 수행된 상기 신분증 사본의 얼굴 이미지에 대해 초해상도(Super Resolution) 처리에 해당하는 제2 이미지 처리를 수행하는 단계를 포함하는, 비대면 본인인증 고객확인 방법. - 제12항의 비대면 본인인증 고객확인 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200082806 | 2020-07-06 | ||
| KR20200082806 | 2020-07-06 | ||
| PCT/KR2020/010159 WO2022010022A1 (ko) | 2020-07-06 | 2020-07-31 | 비대면 본인인증 고객확인 장치 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220006995A KR20220006995A (ko) | 2022-01-18 |
| KR102594998B1 true KR102594998B1 (ko) | 2023-10-27 |
Family
ID=79553286
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207025650A KR102594998B1 (ko) | 2020-07-06 | 2020-07-31 | 비대면 본인인증 고객확인 장치 및 그 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102594998B1 (ko) |
| WO (1) | WO2022010022A1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102125379B1 (ko) * | 2020-02-14 | 2020-06-22 | 주식회사 카카오뱅크 | 딥러닝 기반의 신분증 진위판단장치 및 신분증 진위판단방법 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030091345A (ko) * | 2002-05-27 | 2003-12-03 | (주)워치비젼 | 살아있는 얼굴의 진위 여부 검사 시스템 및 그 방법 |
| KR100473600B1 (ko) * | 2002-12-04 | 2005-03-10 | 삼성전자주식회사 | 얼굴 인식 시스템에서의 사진 판별 장치 및 방법 |
| KR20050061256A (ko) * | 2003-12-18 | 2005-06-22 | (주)엘리트 커뮤니케이션즈 | 금융 업무에 있어서의 본인 인증 시스템 |
| KR101421704B1 (ko) * | 2006-06-29 | 2014-07-22 | 구글 인코포레이티드 | 이미지의 텍스트 인식 |
| KR101123834B1 (ko) * | 2009-05-22 | 2012-03-15 | 한국인식산업(주) | 적외선 가변조명을 이용한 사진위조 판별방법 및 카메라 장치 |
| KR101831158B1 (ko) * | 2015-10-29 | 2018-04-04 | 한국정보통신주식회사 | 금융 서비스 제공을 위한 단말기 및 그 동작 방법, 금융 서비스를 제공하는 서버 및 그 동작 방법 |
| KR102050590B1 (ko) * | 2015-12-24 | 2019-12-03 | 주식회사 씽크풀 | 디지털 이미지 판단시스템 및 그 방법, 이를 위한 애플리케이션 시스템 |
| KR102042129B1 (ko) * | 2017-02-10 | 2019-11-27 | 주식회사 코스콤 | 본인 인증 방법 및 그 장치 |
| KR102539533B1 (ko) * | 2017-09-04 | 2023-06-05 | 한국전자통신연구원 | 타인의 신분증 불법 촬영을 방지하기 위한 인증 방법 및 장치 |
-
2020
- 2020-07-31 KR KR1020207025650A patent/KR102594998B1/ko active IP Right Grant
- 2020-07-31 WO PCT/KR2020/010159 patent/WO2022010022A1/ko active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102125379B1 (ko) * | 2020-02-14 | 2020-06-22 | 주식회사 카카오뱅크 | 딥러닝 기반의 신분증 진위판단장치 및 신분증 진위판단방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220006995A (ko) | 2022-01-18 |
| WO2022010022A1 (ko) | 2022-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102324706B1 (ko) | 얼굴인식 잠금해제 방법 및 장치, 기기, 매체 | |
| JP7165746B2 (ja) | Ｉｄ認証方法および装置、電子機器並びに記憶媒体 | |
| AU2016214117B2 (en) | Systems and methods for generating an auditable digital certificate | |
| US10282612B2 (en) | Enhanced user authentication | |
| Kraetzer et al. | Modeling attacks on photo-ID documents and applying media forensics for the detection of facial morphing | |
| KR101309889B1 (ko) | 바이오메트릭 인증을 위한 텍스처 특징 | |
| WO2019114376A1 (zh) | 证件的验证方法、装置、电子设备和存储介质 | |
| US10810451B2 (en) | ATM with biometric security | |
| CN105513221A (zh) | 一种基于三维人脸识别的atm机防欺诈装置及系统 | |
| KR102594999B1 (ko) | 보안성이 우수한 비대면 본인인증 시스템 및 그 방법 | |
| KR102502685B1 (ko) | 안면 인식 및 라이브니스를 이용하여 비대면 본인 인증을 수행하는 전자 장치 및 서버를 포함하는 시스템의 제어 방법 | |
| CN113177480A (zh) | 基于人脸识别的金融业务处理方法、装置、设备及介质 | |
| EP4141830A1 (en) | Method for detecting a forgery of an identity document | |
| TWI687872B (zh) | 基於臉部辨識進行驗證的交易系統及其方法 | |
| KR102594998B1 (ko) | 비대면 본인인증 고객확인 장치 및 그 방법 | |
| KR101372365B1 (ko) | 현금 인출기용 부정 금융 거래 시도 판단 장치 | |
| TWM636086U (zh) | 無卡式金融交易系統及主機伺服器 | |
| US11527087B1 (en) | Mobile application for automatic identification enrollment using information synthesis and biometric liveness detection | |
| KR101742064B1 (ko) | 금융 서비스 제공을 위한 단말기 및 그 동작 방법, 금융 서비스를 제공하는 서버 및 그 동작 방법 | |
| CN112434727A (zh) | 身份证明文件认证方法和系统 | |
| KR102579610B1 (ko) | Atm 이상행동감지 장치 및 그 장치의 구동방법 | |
| TWI796853B (zh) | 認證系統、認證方法、及程式產品 | |
| TWI819765B (zh) | 無卡式金融交易系統及主機伺服器 | |
| KR101860227B1 (ko) | 숨김 정보 및 사용자 인증 정보를 결합하여 사용자 인증을 수행하는 방법 및 장치 | |
| JP2024031607A (ja) | 情報処理装置、情報処理システム、情報処理方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |