KR102480503B1 - 신분증 이미지의 검증을 위한 서비스 제공 장치 및 방법 - Google Patents

신분증 이미지의 검증을 위한 서비스 제공 장치 및 방법 Download PDF

Info

Publication number
KR102480503B1
KR102480503B1 KR1020200119144A KR20200119144A KR102480503B1 KR 102480503 B1 KR102480503 B1 KR 102480503B1 KR 1020200119144 A KR1020200119144 A KR 1020200119144A KR 20200119144 A KR20200119144 A KR 20200119144A KR 102480503 B1 KR102480503 B1 KR 102480503B1
Authority
KR
South Korea
Prior art keywords
image
card
information
divided
photographing
Prior art date
Application number
KR1020200119144A
Other languages
English (en)
Other versions
KR20220036660A (ko
Inventor
이민현
강충훈
송형규
김진우
Original Assignee
중소기업은행
주식회사 마인즈랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중소기업은행, 주식회사 마인즈랩 filed Critical 중소기업은행
Priority to KR1020200119144A priority Critical patent/KR102480503B1/ko
Publication of KR20220036660A publication Critical patent/KR20220036660A/ko
Application granted granted Critical
Publication of KR102480503B1 publication Critical patent/KR102480503B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/82—Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction
    • H04N23/83—Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction specially adapted for colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 신분증 이미지의 검증을 위한 서비스 제공 장치 및 방법에 관한 것으로서, 더욱 상세히는 신분증을 촬영하여 생성된 신분증 이미지의 촬영 대상이 유효 대상인 신분증 원본이 아닌 인쇄물이거나 화면에 표시된 사본 이미지와 같은 무효 대상을 촬영하여 생성된 신분증 이미지를 검출하여 신분증 위변조와 도용을 방지할 수 있도록 지원하는 신분증 이미지의 검증을 위한 서비스 제공 장치 및 방법에 관한 것이다. 본 발명은 금융 서비스의 업무 처리에 필요한 신분증 이미지를 수신하여, 신분증으로서 효력이 있는 신분증 원본이 아닌 신분증으로서 효력이 없는 신분증을 인쇄한 인쇄물 또는 화면에 표시된 신분증 관련 사본 이미지를 촬영하여 생성된 신분증 이미지를 신분증으로서 효력이 있는 신분증 원본을 촬영하여 생성된 원본 이미지와 용이하게 구분하여 검출할 수 있으며, 이를 통해 신분증 위변조 및 도용이 용이한 인쇄물 또는 사본 이미지를 기반으로 생성된 신분증 이미지를 용이하게 검출하여 인쇄물이나 사본 이미지를 기반으로 생성한 신분증 이미지의 효력을 정지시킬 수 있도록 지원함으로써, 신분증의 위변조 및 도용을 방지하고 금융 서비스의 보안과 신뢰성을 높일 수 있도록 지원하는 효과가 있다.

Description

신분증 이미지의 검증을 위한 서비스 제공 장치 및 방법{Service providing apparatus and method for verification of identification card image}
본 발명은 신분증 이미지의 검증을 위한 서비스 제공 장치 및 방법에 관한 것으로서, 더욱 상세히는 신분증을 촬영하여 생성된 신분증 이미지의 촬영 대상이 유효 대상인 신분증 원본이 아닌 인쇄물이거나 화면에 표시된 사본 이미지와 같은 무효 대상을 촬영하여 생성된 신분증 이미지를 검출하여 신분증 위변조와 도용을 방지할 수 있도록 지원하는 신분증 이미지의 검증을 위한 서비스 제공 장치 및 방법에 관한 것이다.
최근 금융 서비스와 관련하여 비대면 서비스가 활성화되고 있으며, 이러한 비대면 서비스는 사용자가 자신의 단말기를 통해 금융 서비스에 대한 가입, 신청 또는 해지 등과 같은 금융 업무에 필요한 신분증의 원본을 촬영하여 생성한 신분증 이미지를 온라인(online)으로 전송하여 금융 서비스에 가입하거나 신청할 수 있도록 지원함으로써 사용자의 편의성을 크게 높이고 있다.
또한, 이러한 비대면 서비스는 금융 업무를 수행하는 직원의 개입 없이도 비대면 서비스를 통해 수신된 신분증 이미지에서 용이하게 사용자와 관련된 개인 정보를 추출하여 금융 업무 관련 절차를 자동 진행할 수 있어, 금융 서비스의 효율 향상과 더불어 비용 절감 효과를 동시에 제공하고 있으며, 이러한 비대면 서비스를 채택하는 금융사가 점점 증가하고 있는 추세이다.
그러나, 비대면 서비스는 직원과 고객 사이의 대면을 생략하므로 신분증과 고객을 대조할 수 없어, 신분증을 촬영하여 생성된 신분증 이미지가 신분증으로 유효한 신분증 원본이 아닌 신분증을 인쇄하여 생성된 인쇄물이나 화면에 표시된 신분증 관련 사본 이미지와 같은 신분증으로서 효력이 없는 무효 대상을 촬영하여 생성된 이미지인 경우까지 유효한 신분증으로 인정되는 문제를 발생시킬 수 있으며, 이러한 문제는 신분증 도용을 야기시키면서 금융 서비스의 보안 위협 요소로 작용될 수 있는 문제가 있다.
한국공개특허 제10-2017-0001924호
본 발명은 신분증 원본이 아닌 신분증으로서 효력이 없는 신분증을 인쇄한 인쇄물 또는 화면에 표시된 신분증 관련 사본 이미지를 촬영하여 생성된 신분증 이미지를 신분증으로서 효력이 있는 신분증 원본을 촬영하여 생성된 원본 이미지와 용이하게 구분하여 검출할 수 있도록 지원하여 신분증 위변조 및 도용을 방지하고 금융 서비스의 보안을 높일 수 있도록 지원하는데 그 목적이 있다.
본 발명의 실시예에 따른 신분증 이미지의 검증을 위한 서비스 제공 장치는, 신분증 이미지를 수신하는 통신부와, 상기 신분증 이미지를 미리 설정된 복수의 분할 영역으로 분할하는 분할부와, 상기 복수의 분할 영역 각각에 대해 감마 왜곡을 적용하여 복수의 분할 이미지를 생성하는 왜곡부와, 신분증 원본과 상기 신분증 원본을 인쇄한 인쇄물 및 상기 신분증 원본의 사본 이미지 각각을 촬영하여 생성되며 상기 감마 왜곡이 적용된 복수의 이미지를 학습하여 입력 이미지에 대해 상기 신분증 원본과 상기 인쇄물 및 상기 사본 이미지를 포함하는 복수의 촬영 대상 종류별로 유사도를 산출하도록 미리 학습된 상태의 학습 모델에 상기 복수의 분할 이미지를 각각 적용하여 상기 복수의 분할 이미지별로 상기 촬영 대상 종류별 유사도에 대한 유사도 정보를 산출하는 학습부와, 상기 복수의 분할 이미지 각각의 유사도 정보를 기초로 상기 복수의 분할 이미지별로 가장 유사한 촬영 대상 종류를 식별하여 식별 정보를 생성하고, 상기 복수의 분할 이미지별 식별정보를 기초로 투표를 수행하여 상기 신분증 이미지에 대한 투표 결과를 생성하는 보팅부 및 상기 신분증 이미지에 대해 상기 투표 결과를 기초로 상기 복수의 촬영 대상 종류 중 가장 유사도가 높은 최종 촬영 대상 종류를 포함하는 검증 결과 정보를 생성하는 판정부를 포함할 수 있다.
본 발명과 관련된 일 예로서, 상기 왜곡부는 비선형 전달 함수를 이용한 빛의 세기(Light Intensity) 및 색상 지도(color map)의 보정을 통해 감마값이 선형성을 가지도록 감마 왜곡을 상기 분할 영역별로 적용하여 상기 복수의 분할 이미지를 생성하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서,
상기 왜곡부는
Figure 112020098366020-pat00001
를 통해 상기 분할 이미지를 생성하며,
상기 Rmax는 이미지에서 나타낼 수 있는 가장 큰 값이고, 상기 Runcorrected는 감마 보정이 일어나기 전 각 이미지 픽셀의 값이며, 상기 Rcorrected는 감마 보정을 거치고 난 뒤의 각 이미지 픽셀의 값이고, 상기 gamma(γ)는 감마 값인 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 보팅부는 상기 분할 이미지별 식별 정보를 기초로 상기 복수의 촬영 대상 종류별로 식별횟수를 집계하여 상기 복수의 촬영 대상 종류별 식별횟수를 포함하는 투표 결과를 생성하거나 상기 유사도 정보를 점수로 환산하여 상기 식별 정보에 포함시킨 후 상기 분할 이미지별 식별정보에 따라 상기 복수의 촬영 대상 종류별 획득점수를 집계한 투표 결과를 생성하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 판정부는 상기 투표 결과를 기초로 상기 식별횟수 또는 획득 점수가 가장 높은 촬영 대상 종류를 상기 최종 촬영 대상 종류로 결정하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 통신부는 상기 신분증 이미지의 개인 정보가 블라인드 처리된 상기 신분증 이미지를 수신하고, 상기 보팅부는 상기 복수의 분할 이미지를 대상으로 블라인드 영역의 존재 여부에 따라 상기 복수의 분할 이미지별 식별 정보에 가중치를 상이하게 설정하여 상기 가중치가 반영된 상기 복수의 촬영 대상 종류별 식별 횟수 또는 상기 획득 점수를 집계하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 보팅부는 상기 블라인드 영역이 존재하는 분할 이미지의 식별 정보보다 블라인드 영역이 존재하지 않는 분할 이미지의 식별 정보에 높은 가중치를 설정하고, 상기 식별 횟수 또는 획득 점수에 상기 식별 정보에 따라 누적되는 횟수 또는 점수를 상기 설정된 가중치에 따라 증감하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 유사도 정보는 상기 분할 이미지가 상기 신분증 이미지에서 위치하는 분할 영역에 대한 영역 정보를 포함하고, 서로 다른 분할 이미지의 유사도 정보 상호 간 서로 다른 영역 정보를 포함하며, 상기 보팅부는 상기 신분증 이미지에 대한 상기 블라인드 영역의 배치 패턴에 따라 상기 신분증 이미지의 신분증 종류를 식별하고, 상기 식별된 신분증 종류에 대응되어 블라인드 영역이 존재하는 하나 이상의 분할 영역별 영역 식별 정보가 미리 설정된 설정 정보 및 상기 분할 이미지별 유사도 정보에 포함된 영역 정보를 기초로 상기 블라인드 영역이 존재하는 하나 이상의 분할 이미지를 식별하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 판정부는 상기 통신부를 통해 상기 신분증 이미지를 전송하는 외부 장치와 통신하여 상기 외부 장치로부터 상기 신분증 이미지를 포함하는 위변조 판별 요청에 대한 요청 정보를 수신하고, 상기 요청 정보에 대응되어 상기 검증 결과 정보를 생성하여 상기 외부 장치에 전송하는 것을 특징으로 할 수 있다.
본 발명의 실시예에 따른 신분증 이미지의 검증을 위한 서비스 제공 장치의 서비스 제공 방법은, 신분증 이미지를 수신하는 단계와, 상기 신분증 이미지를 미리 설정된 복수의 분할 영역으로 분할하고, 상기 복수의 분할 영역 각각에 대해 감마 왜곡을 적용하여 상기 복수의 분할 영역과 각각 대응되는 복수의 분할 이미지를 생성하는 단계와, 신분증 원본과 상기 신분증 원본을 인쇄한 인쇄물 및 상기 신분증 원본의 사본 이미지 각각을 촬영하여 생성되며 상기 감마 왜곡이 적용된 복수의 이미지를 학습하여 입력 이미지에 대해 상기 신분증 원본과 상기 인쇄물 및 상기 사본 이미지를 포함하는 복수의 촬영 대상 종류별로 유사도를 산출하도록 미리 학습된 상태의 학습 모델에 상기 복수의 분할 이미지를 각각 적용하여 상기 복수의 분할 이미지별로 상기 촬영 대상 종류별 유사도에 대한 유사도 정보를 산출하는 단계와, 상기 복수의 분할 이미지 각각의 유사도 정보를 기초로 상기 복수의 분할 이미지별로 가장 유사한 촬영 대상 종류를 식별하여 식별 정보를 생성하고, 상기 복수의 분할 이미지별 식별정보를 기초로 투표를 수행하여 상기 신분증 이미지에 대한 투표 결과를 생성하는 단계 및 상기 신분증 이미지에 대해 상기 투표 결과를 기초로 상기 복수의 촬영 대상 종류 중 가장 유사도가 높은 최종 촬영 대상 종류를 포함하는 검증 결과 정보를 생성하는 단계를 포함할 수 있다.
본 발명은 금융 서비스의 업무 처리에 필요한 신분증 이미지를 수신하여, 신분증으로서 효력이 있는 신분증 원본이 아닌 신분증으로서 효력이 없는 신분증을 인쇄한 인쇄물 또는 화면에 표시된 신분증 관련 사본 이미지를 촬영하여 생성된 신분증 이미지를 신분증으로서 효력이 있는 신분증 원본을 촬영하여 생성된 원본 이미지와 용이하게 구분하여 검출할 수 있으며, 이를 통해 신분증 위변조 및 도용이 용이한 인쇄물 또는 사본 이미지를 기반으로 생성된 신분증 이미지를 용이하게 검출하여 인쇄물이나 사본 이미지를 기반으로 생성한 신분증 이미지의 효력을 정지시킬 수 있도록 지원함으로써, 신분증의 위변조 및 도용을 방지하고 금융 서비스의 보안과 신뢰성을 높일 수 있도록 지원하는 효과가 있다.
도 1은 본 발명의 실시예에 따른 신분증 이미지의 검증을 위한 서비스 제공 장치의 구성 환경도.
도 2는 본 발명의 실시예에 따른 신분증 이미지의 검증을 위한 서비스 제공 장치의 상세 구성도.
도 3 내지 도 5는 본 발명의 실시예에 따른 신분증 이미지의 검증을 위한 서비스 제공 장치의 동작 예시도.
도 6은 본 발명의 실시예에 따른 신분증 이미지의 검증을 위한 서비스 제공 방법에 대한 순서도.
이하, 도면을 참고하여 본 발명의 상세 실시예를 설명한다.
도 1은 본 발명의 실시예에 따른 신분증 이미지의 검증을 위한 서비스 제공 장치의 구성 환경도이다.
도시된 바와 같이, 상기 신분증 이미지의 검증을 위한 서비스 제공 장치(100)(이하, 서비스 제공 장치(100))는 금융 서비스를 제공하는 금융 서비스 서버와 통신망을 통해 통신할 수 있다.
이때, 본 발명에서 설명하는 통신망은 유/무선 통신망을 포함할 수 있으며, 이러한 무선 통신망의 일례로 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS), 5G 이동통신 서비스, 블루투스(Bluetooth), LoRa(Long Range), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신망으로는 유선 LAN(Local Area Network), 유선 WAN(Wide Area Network), 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.
또한, 상기 금융 서비스 서버는 통신망을 통해 사용자 단말과 통신하여 금융 서비스의 가입, 신청, 해지 등과 같은 금융 업무 관련 비대면 서비스를 제공할 수 있으며, 상기 금융 업무 관련 금융 업무 정보를 상기 사용자 단말로 전송할 수 있다.
또한, 상기 금융 서비스 서버는 상기 사용자 단말로부터 금융 업무 처리에 대한 요청 수신시 상기 금융 업무의 처리를 위한 신분증 이미지를 상기 사용자 단말에 요청할 수 있으며, 상기 신분증 이미지의 요청에 따라 사용자 단말로부터 신분증 이미지를 수신하고 상기 신분증 이미지로부터 미리 설정된 영상 분석 알고리즘을 통해 사용자의 개인 정보를 추출할 수 있다.
또한, 상기 금융 서비스 서버는 상기 개인 정보를 기초로 사용자에 대한 인증을 수행할 수 있으며, 인증 성공시 상기 사용자의 신분증 이미지와 개인 정보 등을 포함하는 업무 처리 정보를 생성하여 기간계 DB에 저장할 수 있다.
상술한 구성에서, 상기 사용자 단말은 스마트폰(Smartphone)과 같은 단말로 구성되어 상기 금융 서비스 서버로부터 신분증 이미지에 대한 요청 수신시 상기 사용자 단말에 구성된 카메라부를 통해 신분증을 촬영하여 생성한 신분증 이미지를 상기 금융 서비스 서버에 전송하게 되는데, 상기 사용자 단말에서 신분증으로 효력이 있는 신분증 원본이 아닌 신분증으로서 효력이 없는 신분증을 인쇄한 인쇄물이나 신분증을 이미지 형태로 PC(Personal computer)와 같은 단말기에 저장한 후 해당 단말기의 모니터 화면(또는 디스플레이 수단)을 통해 표시되는(출력되는) 신분증의 사본 이미지를 촬영하여 신분증 이미지를 생성한 후 전송하는 경우가 발생할 수 있다.
이때, 신분증 원본은 신분증을 발급하는 공신력 있는 기관에서 발급된 물리적인 신분증 카드(ID card)를 의미할 수 있으며, 이러한 신분증 원본으로서 주민등록증, 운전면허증, 여권 등과 같은 다양한 신분증을 포함할 수 있다.
이러한, 신분증 원본이 아닌 신분증으로서 효력이 없는 인쇄물이나 화면에 표시된 신분증의 사본 이미지를 촬영 대상으로 촬영하여 생성한 신분증 이미지는 위변조 및 도용 가능성이 높아 위변조되거나 도용된 신분증일 수 있는 우려가 있으며, 이에 따라 인쇄물이나 사본 이미지를 촬영하여 생성한 신분증 이미지는 신분증으로서의 효력이 없는 것으로서 무효 처리되도록 하는 것이 필요하다.
따라서, 상기 금융 서비스 서버는 상기 신분증 이미지로부터 개인 정보를 추출을 통한 업무 처리를 수행하기 이전에 인쇄물이나 사본 이미지를 촬영 대상으로 하여 생성한 신분증 이미지를 검출하기 위해 상기 신분증 이미지에 대한 검증 요청을 상기 서비스 제공 장치(100)에 요청할 수 있다.
이를 위해, 상기 금융 서비스 서버는 상기 신분증 이미지를 포함하는 검증 요청 정보를 생성하여 상기 서비스 제공 장치(100)에 전송할 수 있다.
한편, 상기 서비스 제공 장치(100)는 상기 금융 서비스 서버로부터 상기 검증 요청 정보를 수신할 수 있다.
이때, 상기 서비스 제공 장치(100)는 금융 서비스 서버에 포함되어 구성되거나 별도의 서비스 서버로 구성될 수도 있다.
또한, 상기 서비스 제공 장치(100)는 상기 검증 요청 정보 수신시 상기 검증 요청 정보에 포함된 신분증 이미지를 대상으로 신분증 이미지의 생성시 이용된 촬영 대상에 대한 촬영 대상 종류를 신분증 이미지의 분석을 통해 판정하고, 이러한 판정에 대한 결과를 상기 금융 서비스 서버에 제공하여, 상기 금융 서비스 서버에서 신분증 원본이 아닌 인쇄물이나 모니터에 표시된 사본 이미지를 촬영 대상으로 하여 생성된 신분증 이미지가 무효 처리되도록 지원할 수 있는데, 이를 이하 도면을 참고하여 상세히 설명한다.
도 2는 본 발명의 실시예에 따른 서비스 제공 장치(100)의 구성도로서, 도시된 바와 같이, 서비스 제공 장치(100)는 통신부(110), 분할부(120), 왜곡부(130), 학습부(140), 보팅(voting)부(150) 및 판정부(160)를 포함하여 구성될 수 있다.
이때, 상기 서비스 제공 장치(100)는 상기 서비스 제공 장치(100)의 전반적인 제어 기능을 수행하는 제어부를 포함하여 구성될 수 있으며, 상기 서비스 제공 장치(100)를 구성하는 구성부인 통신부(110), 분할부(120), 왜곡부(130), 학습부(140), 보팅부(150) 및 판정부(160) 중 어느 하나가 제어부로 구성될 수 있다.
또한, 상기 서비스 제공 장치(100)를 구성하는 구성부 중 적어도 하나가 상기 서비스 제공 장치(100)의 다른 구성부에 포함되어 구성될 수 있다.
또한, 서비스 제공 장치(100)는 서비스 제공 장치(100)의 동작에 필요한 각종 데이터를 저장하는 저장부를 포함하여 구성될 수 있으며, 상기 제어부는 서비스 제공 장치(100)에 구성되는 상기 저장부에 저장된 프로그램 및 데이터를 이용하여 상기 서비스 제공 장치(100)의 전반적인 제어 기능을 실행할 수 있다. 또한, 상기 제어부는 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다.
상술한 구성을 토대로, 도 3 내지 도 6을 참고하여 서비스 제공 장치(100)의 상세 동작 구성을 설명한다.
우선, 도 3에 도시된 바와 같이, 상기 통신부(110)는 외부 장치로부터 신분증을 촬영한 신분증 이미지를 수신할 수 있다.
이때, 상기 외부 장치는 상기 금융 서비스 서버이거나 사용자 단말일 수도 있으며, 상기 통신부(110)는 통신망을 통해 상기 신분증 이미지를 수신할 수 있다.
또한, 상기 신분증 이미지는 상술한 바와 같이 신분증 원본을 촬영 대상으로 사용자 단말을 통해 촬영하여 생성된 이미지이거나, 상기 신분증 원본을 프린터나 복사기를 통해 인쇄한 인쇄물을 촬영 대상으로 사용자 단말을 통해 촬영하여 생성된 이미지이거나, 상기 신분증 원본을 촬영 대상으로 촬영하여 생성된 사본 이미지를 모니터와 같은 화면에 출력한 상태에서 상기 사본 이미지를 촬영 대상으로 사용자 단말을 통해 촬영하여 생성된 이미지일 수 있다.
즉, 상기 신분증 이미지는 상기 신분증 원본, 인쇄물 및 사본 이미지 중 어느 하나를 사용자 단말에서 촬영하여 생성한 이미지일 수 있으며, 상기 금융 서비스 서버는 상기 사용자 단말로부터 수신한 신분증 이미지를 상기 신분증 이미지의 검증 요청을 위한 요청 정보에 포함시켜 상기 서비스 제공 장치(100)의 통신부(110)로 전송할 수 있다.
이에 따라, 상기 통신부(110)는 상기 신분증 이미지가 포함된 요청 정보를 수신할 수도 있다.
또한, 상기 분할부(120)는 상기 통신부(110)를 통해 수신된 신분증 이미지를 미리 설정된 복수의 분할 영역으로 분할할 수 있다.
또한, 상기 왜곡부(130)는 상기 복수의 분할 영역 각각에 대해 감마 왜곡(Gamma Distortion)을 적용하여 복수의 분할 이미지를 생성할 수 있다.
일례로, 도 4에 도시된 바와 같이, 상기 왜곡부(130)는 비선형 전달 함수(nonlinear transfer function)를 이용한 빛의 세기(Light Intensity) 및 색상 지도(color map)의 보정을 통해 감마값이 선형성을 가지도록 감마 왜곡을 상기 분할 영역별로 적용하여 분할 이미지를 생성할 수 있다.
또한, 상기 왜곡부(130)는 하기 수학식 1에 상기 복수의 분할 영역 각각을 적용하여, 상기 분할 이미지를 생성할 수 있다.
Figure 112020098366020-pat00002
이때, 상기 Rmax(R_max)는 이미지에서 나타낼 수 있는 가장 큰 값(일례로, unit8 포맷의 이미지의 경우, 255를 나타냄)이고, 상기 Runcorrected(R_uncorrected)는 감마 보정이 일어나기 전 각 이미지 픽셀(pixel)의 값이며, 상기 Rcorrected(R_corrected)는 감마 보정을 거치고 난 뒤의 각 이미지 픽셀의 값이고, 상기 gamma(γ)는 감마(gamma) 값이다.
여기서, Rmax, Runcorrected, Rcorrected에 정의된 상기 이미지 또는 이미지 픽셀은 상기 각 분할 영역에 대응되는 이미지 또는 이미지 픽셀을 의미할 수 있다.
또한, 상기 감마 값으로 비선형성을 부여하여 감마 보정시 비선형적으로 대응하는 인간의 시각에 대응하도록 할 수 있으며, 상기 감마 값의 범위는 0 이상의 실수일 수 있다.
상기 수학식 1은 감마 보정(Gamma Correction)에 대한 식을 기반으로 한 감마 왜곡(Gamma Distortion)에 대한 식으로, 실제 이미지 픽셀 값들을 비선형적으로 교정할 수 있음을 나타낸 식이다.
본 발명에서 언급하는 감마 왜곡(Gamma Distortion)은 감마 값을 활용한 비선형 함수를 통해 진행하는 감마 보정의 아이디어에서 착안하여, 학습 모델의 학습 과정에서 이미지를 식별하기에 가장 용이한 감마 값을 자동적으로 찾을 수 있도록 할 수 있다. 더 나아가 감마 보정의 형태에서 사용하는 비선형 함수로 표현할 수 없는 더욱 복잡한 형태의 비선형 함수를 학습 모델이 추종하도록 하여, 이미지의 색상을 모델의 Task에 맞게 변환시키는 과정을 별도의 개입 없이 End-to-End 모델 학습을 통해 자동으로 찾을 수 있다.
즉, 상기 왜곡부(130)는 사본 이미지나 인쇄물을 촬영 대상으로 하여 생성한 이미지에 감마 왜곡을 적용하여 상기 사본 이미지나 인쇄물에서 밝기가 왜곡되거나 색상 편차가 감소되는 특성이 나타나도록 함으로써, 이러한 특성이 신분증으로서 효력이 있는 신분증 원본을 촬영 대상으로 하여 생성되어 감마 왜곡이 적용된 원본 이미지와 구분되는 특징으로 용이하게 검출되도록 할 수 있으며, 후속 처리 과정에서도 이러한 특성이 이용되도록 할 수 있다.
한편, 도 3 및 도 5에 도시된 바와 같이, 상기 학습부(140)는 상기 신분증 원본과 상기 신분증 원본을 인쇄한 인쇄물 및 상기 신분증 원본의 사본 이미지 각각을 촬영하여 생성되며 감마 왜곡이 적용된 상태의 복수의 이미지를 학습하는 학습 모델을 포함하여 구성될 수 있으며, 상기 학습 모델은 입력 이미지에 대해 상기 신분증 원본과 상기 인쇄물 및 상기 사본 이미지를 포함하는 복수의 촬영 대상 종류별로 유사도를 산출하도록 미리 학습된 상태로 상기 학습부(140)에 설정될 수 있다.
이때, 상기 신분증 원본과 상기 인쇄물 및 상기 사본 이미지는 서로 다른 촬영 대상 종류로서 상기 학습부(140)에 학습되어 설정될 수 있으며, 상기 입력 이미지는 감마 왜곡이 적용된 상태의 이미지일 수 있다.
또한, 상기 학습 모델은 딥러닝 알고리즘으로 구성될 수 있으며, 상기 딥러닝 알고리즘은 하나 이상의 신경망 모델로 구성될 수 있다.
또한, 본 발명에서 설명하는 신경망 모델(또는 신경망)은 입력층(Input Layer), 하나 이상의 은닉층(Hidden Layers) 및 출력층(Output Layer)으로 구성될 수 있으며, 상기 신경망 모델에는 DNN(Deep Neural Network), RNN(Recurrent Neural Network), CNN(Convolutional Neural Network), SVM(Support Vector Machine) 등과 같은 다양한 종류의 신경망이 적용될 수 있다.
이에 따라, 상기 학습부(140)는 상기 왜곡부(130)에 의해 신분증 이미지를 구성하는 복수의 분할 영역 각각을 감마 왜곡 처리하여 생성된 복수의 분할 이미지 각각을 상기 왜곡부(130)로부터 수신할 수 있다.
또한, 상기 학습부(140)는 상기 복수의 분할 이미지 각각을 상기 학습 모델에 적용하여 상기 복수의 분할 이미지별로 상기 촬영 대상 종류별 유사도에 대한 유사도 정보를 산출할 수 있다.
즉, 상기 학습부(140)는 특정 분할 이미지를 상기 학습 모델에 적용하여 상기 학습 모델을 통해 상기 특정 분할 이미지의 특징과 복수의 촬영 대상 종류별로 학습된 이미지의 특징(또는 특징 패턴)을 비교할 수 있으며, 이에 따라 상기 특정 분할 이미지의 특징과 촬영 대상 종류별로 학습된 특징(특징 패턴) 사이의 유사도에 따른 특정 분할 이미지에 대한 촬영 대상 종류별 유사도에 대한 유사도 정보를 상기 학습 모델을 통해 산출할 수 있다.
다시 말해, 상기 학습부(140)는 상기 학습 모델을 통해 특정 분할 이미지에 대응되는 촬영 대상 종류의 특징을 상기 특정 분할 이미지로부터 검출하고, 상기 복수의 촬영 대상 종류별로 학습된 이미지의 특징별로 상기 검출된 특정 분할 이미지의 특징과의 유사도가 산출된 유사도 정보를 생성하여, 상기 특정 분할 이미지에 대응되는 촬영 대상 종류와 가장 유사도가 높은 촬영 대상 종류를 식별할 수 있는 유사도 정보를 산출할 수 있다.
상술한 구성에 따라, 상기 학습부(140)는 상기 신분증 이미지를 구성하는 복수의 분할 이미지 각각을 상기 학습 모델에 적용하여 상기 복수의 분할 이미지 각각에 대해 상기 유사도 정보를 산출할 수 있다.
한편, 상기 보팅부(150)는 상기 학습부(140)를 통해 산출된 상기 복수의 분할 이미지 각각의 유사도 정보를 기초로 상기 복수의 분할 이미지별로 가장 유사한 촬영 대상 종류를 식별하여 식별 정보를 생성하고, 상기 복수의 분할 이미지별 식별정보를 기초로 투표를 수행하여 상기 신분증 이미지에 대한 투표 결과를 생성할 수 있다.
이에 대한 일례로 도 5 및 도 6에 도시된 바와 같이, 상기 보팅부(150)는 상기 분할 이미지별 식별 정보를 기초로 상기 복수의 촬영 대상 종류별로 식별횟수를 집계하여 상기 복수의 촬영 대상 종류별 식별횟수를 포함하는 투표 결과를 생성하거나 상기 유사도 정보를 미리 설정된 점수 환산 방식에 따라 점수로 환산하여 상기 식별 정보에 포함시킨 후 상기 분할 이미지별 식별정보에 따라 상기 복수의 촬영 대상 종류별 획득점수를 집계한 투표 결과를 생성할 수 있다.
즉, 상기 보팅부(150)는 상기 신분증 이미지가 제 1 내지 제 12 분할 영역으로 분할되어 상기 제 1 내지 제 12 분할 영역과 각각 대응되는 제 1 내지 제 12 분할 이미지별 유사도 정보를 수신한 경우, 상기 제 1 분할 이미지의 유사도 정보를 기초로 가장 유사도가 높은 촬영 대상 종류인 신분증 원본을 상기 제 1 분할 이미지의 촬영 대상 종류로 식별하고, 상기 제 2 분할 이미지의 유사도 정보를 기초로 가장 유사도가 높은 촬영 대상 종류인 신분증 원본을 상기 제 2 분할 이미지의 촬영 대상 종류로 식별할 수 있으며, 상기 제 6 분할 이미지의 유사도 정보를 기초로 가장 유사도가 높은 촬영 대상 종류인 인쇄물을 상기 제 6 분할 이미지의 촬영 대상 종류로 식별할 수 있다.
상술한 방식으로, 상기 보팅부(150)는 상기 제 1 내지 제 12 분할 이미지 각각에 대해 촬영 대상 종류를 식별하고, 분할 이미지별로 복수의 촬영 대상 종류 중 어느 하나가 식별될 때마다 식별되는 촬영 대상 종류의 횟수를 누적 카운트하여 촬영 대상 종류별 식별 횟수를 집계할 수 있으며, 상기 신분증 이미지에 대하여 신분증 원본에 대해 식별된 식별 횟수가 10회, 상기 인쇄물에 대해 식별된 식별 횟수가 1회, 상기 사본 이미지에 대해 식별된 식별 횟수가 1회인 투표 결과를 생성할 수 있다.
이때, 상기 식별 횟수는 촬영 대상 종류별로 상기 신분증 이미지를 구성하는 복수의 영역과 각각 대응되는 복수의 분할 이미지 중 촬영 대상 종류에 대응되어 식별된 분할 이미지(또는 분할 영역)의 개수일 수도 있다.
한편, 개인 정보 보호를 위해 상기 금융 서비스 서버는 상기 신분증 이미지를 상기 서비스 제공 장치(100)에 전송하기 이전에 상기 신분증 이미지에서 개인정보에 해당하는 분할 영역을 블라인드 처리할 수 있다.
또한, 상기 개인 정보는, 성명, 주민번호, 등록번호 등을 포함할 수 있다.
이에 따라, 상기 통신부(110)는 상기 신분증 이미지의 개인 정보가 블라인드 처리된 상기 신분증 이미지를 수신하거나 상기 개인 정보가 블라인드 처리된 신분증 이미지를 포함하는 요청 정보를 수신할 수 있다.
이에 따라, 상기 보팅부(150)는 상기 복수의 분할 이미지를 대상으로 블라인드 영역의 존재 여부에 따라 상기 복수의 분할 이미지별 식별 정보에 가중치를 상이하게 설정하여 상기 가중치가 반영된 상기 복수의 촬영 대상 종류별 식별 횟수 또는 상기 획득 점수를 집계할 수 있다.
이때, 상기 보팅부(150)에는 상기 블라인드 영역의 존재 여부에 따른 가중치 설정값에 대한 규칙정보가 미리 설정될 수 있으며, 상기 규칙 정보를 기초로 상기 블라인드 영역이 존재하는 분할 이미지에 부여되는 가중치와 상기 블라인드 영역이 존재하지 않는 분할 이미지에 부여되는 가중치를 서로 상이하게 부여할 수 있다.
일례로, 상기 보팅부(150)는 상기 블라인드 영역이 존재하는 분할 이미지의 식별 정보보다 블라인드 영역이 존재하지 않는 분할 이미지의 식별 정보에 더 높은 가중치를 설정하고, 상기 식별 횟수 또는 획득 점수에 상기 식별 정보에 따라 누적되는 횟수 또는 점수를 상기 설정된 가중치에 따라 증감할 수 있다.
이때, 상기 유사도 정보는 상기 분할 이미지가 상기 신분증 이미지에서 위치하는 분할 영역에 대한 영역 정보를 포함하고, 서로 다른 분할 이미지의 유사도 정보 상호 간 서로 다른 영역 정보를 포함할 수 있다.
이를 위해, 상기 학습부(140)는 상기 왜곡부(130) 및 분할부(120)와 연동하여 상기 유사도 정보에 포함될 영역 정보를 생성하여 유사도 정보에 포함시킬 수 있다.
이에 따라, 상기 보팅부(150)는 블라인드 영역의 배치 패턴에 따라 상기 신분증 이미지의 신분증 종류를 식별하고, 상기 신분증 종류에 대응되어 블라인드 영역이 설정된 하나 이상의 분할 영역에 대해 영역 식별 정보가 미리 설정된 설정 정보 및 상기 영역 정보를 기초로 블라인드 영역이 존재하는 하나 이상의 분할 이미지를 식별할 수 있다.
일례로, 상기 보팅부(150)에는 주민등록증, 운전 면허증, 여권 등과 같은 미리 설정된 복수의 서로 다른 신분증 종류별로 상기 블라인드 영역의 배치 패턴 및 블라인드 영역이 존재하는 분할 영역별 영역 식별 정보에 대한 설정정보가 미리 설정될 수 있으며, 상기 통신부(110)를 통해 상기 신분증 이미지를 수신하여 상기 신분증 이미지에 포함된 블라인드 영역의 배치 패턴과 상기 설정정보를 비교하여 상기 신분증 이미지의 신분증 종류를 식별할 수 있다.
또한, 상기 보팅부(150)는 상기 신분증 이미지 및 설정정보를 기초로 식별된 신분증 이미지의 신분증 종류에 대응되어 블라인드 영역이 존재하는(포함되는) 하나 이상의 분할 영역을 상기 설정 정보에 포함된 상기 식별된 신분증 종류에 대응되는 분할 영역별 영역 식별 정보를 기초로 식별할 수 있으며, 상기 식별된 블라인드 영역이 존재하는 하나 이상의 분할 영역과 각각 대응되는 하나 이상의 분할 이미지를 상기 학습부(140)로부터 수신된 분할 이미지별 유사도 정보 각각에 포함된 영역 정보를 기초로 식별할 수 있다.
이에 따라, 상기 보팅부(150)는 상기 블라인드 영역이 존재하는 하나 이상의 분할 이미지를 식별하고, 상기 블라인드 영역이 존재하는 하나 이상의 분할 이미지 각각에 대해 블라인드 영역이 존재하지 않는 하나 이상의 분할 이미지에 적용되는 가중치와 상이한 가중치를 적용할 수 있다.
상술한 바에 따른 일례로서, 상기 보팅부(150)는 상기 신분증 이미지에 대하여 상술한 바에 따라 신분증 원본에 대해 식별된 식별 횟수(또는 식별 개수)가 5회(또는 5개), 상기 인쇄물에 대해 식별된 식별 횟수(또는 식별 개수)가 3회(또는 3개), 상기 사본 이미지에 대해 식별된 식별 횟수(또는 식별 개수)가 2회(또는 2개)이며, 상기 신분증 원본으로 식별된 5개의 분할 이미지 중에서 블라인드 영역이 존재하는 분할 이미지가 5개이고 인쇄물 및 사본 이미지로 식별된 5개의 분할 이미지 중에서 블라인드 영역이 존재하는 분할 이미지가 없는 경우, 상기 블라인드 영역이 존재하는 분할 이미지에 대해 0.5의 가중치를 적용하고 블라인드 영역이 존재하지 않는 분할 이미지에 대해 1의 가중치를 적용하여, 상기 신분증 원본에 대해 식별된 식별횟수를 5회에 상기 가중치 0.5를 적용하여 2.5회로 변경하고, 상기 인쇄물 및 사본 이미지에 대해 식별된 식별 횟수에 각각 1의 가중치를 적용하여 식별 횟수를 각각 3회 및 2회로 산출할 수 있다.
이에 따라, 상기 보팅부(150)는 상기 가중치 적용에 따라 상기 신분증 이미지에 대해 상기 인쇄물에 대한 식별횟수가 가장 높게 나타난 투표 결과를 생성할 수 있다.
한편, 상기 판정부(160)는 상기 신분증 이미지에 대해 상기 투표 결과를 기초로 상기 복수의 촬영 대상 종류 중 가장 유사도가 높은 최종 촬영 대상 종류를 포함하는 검증 결과 정보를 생성할 수 있다.
이때, 상기 판정부(160)는 상기 투표 결과를 기초로 상기 식별횟수가 또는 획득 점수가 가장 높은 촬영 대상 종류를 상기 최종 촬영 대상 종류로 결정할 수 있다.
또한, 상기 판정부(160)는 상기 통신부(110)를 통해 상기 신분증 이미지를 전송하는 외부 장치와 통신하여 상기 외부 장치로부터 상기 신분증 이미지를 포함하는 신분증 이미지의 촬영 대상 종류 관련 검증 요청에 대한 요청 정보를 수신하고, 상기 요청 정보에 대응되어 상기 서비스 제공 장치(100)의 각 구성부를 제어하여 상기 검증 결과 정보를 생성한 후 상기 통신부(110)를 통해 상기 검증 결과 정보를 상기 외부 장치에 전송할 수 있다.
이때, 상기 외부 장치는 상기 금융 서비스 서버일 수 있다.
이를 통해, 상기 검증 결과 정보를 수신한 금융 서비스 서버 또는 외부 장치는 상기 검증 결과 정보를 기초로 신분증 이미지를 생성하는데 이용한 촬영 대상의 촬영 대상 종류를 식별할 수 있으며, 해당 신분증 이미지가 신분증으로서 효력이 없는 인쇄물이나 사본 이미지를 이용하여 생성된 것인 경우 해당 신분증 이미지를 무효 처리할 수 있다.
또한, 금융 서비스 서버 또는 외부 장치는 검증 결과 정보를 기초로 해당 신분증 이미지가 신분증으로서 효력이 있는 신분증 원본을 촬영하여 생성된 것인 경우 유효한 신분증 이미지로 확인하여 해당 신분증 이미지를 이용한 후속 업무 처리를 수행할 수 있다.
상술한 바와 같이, 본 발명은 금융 서비스의 업무 처리에 필요한 신분증 이미지를 수신하여, 신분증으로서 효력이 있는 신분증 원본이 아닌 신분증으로서 효력이 없는 신분증을 인쇄한 인쇄물 또는 화면에 표시된 신분증 관련 사본 이미지를 촬영하여 생성된 신분증 이미지를 신분증으로서 효력이 있는 신분증 원본을 촬영하여 생성된 원본 이미지와 용이하게 구분하여 검출할 수 있으며, 이를 통해 신분증 위변조 및 도용이 용이한 인쇄물 또는 사본 이미지를 기반으로 생성된 신분증 이미지를 용이하게 검출하여 인쇄물이나 사본 이미지를 기반으로 생성한 신분증 이미지의 효력을 정지시킬 수 있도록 지원함으로써, 신분증의 위변조 및 도용을 방지하고 금융 서비스의 보안과 신뢰성을 높일 수 있도록 지원할 수 있다.
도 7은 본 발명의 실시예에 따른 신분증 이미지의 검증을 위한 서비스 제공 장치(100)의 서비스 제공 방법에 대한 순서도이다.
도시된 바와 같이, 서비스 제공 장치(100)는 외부 장치로부터 통신망을 통해 신분증 이미지를 수신할 수 있다(S1).
다음, 서비스 제공 장치(100)는, 상기 신분증 이미지를 미리 설정된 복수의 분할 영역으로 분할하고, 상기 복수의 분할 영역 각각에 대해 감마 왜곡을 적용하여 상기 복수의 분할 영역과 각각 대응되는 복수의 분할 이미지를 생성할 수 있다(S2).
또한, 서비스 제공 장치(100)는, 신분증 원본과 상기 신분증 원본을 인쇄한 인쇄물 및 상기 신분증 원본의 사본 이미지 각각을 촬영하여 생성되며 감마 왜곡이 적용된 복수의 이미지를 학습하여 입력 이미지에 대해 상기 신분증 원본과 상기 인쇄물 및 상기 사본 이미지를 포함하는 복수의 촬영 대상 종류별로 유사도를 산출하도록 미리 학습된 상태의 학습 모델에 상기 복수의 분할 이미지를 각각 적용하여 상기 복수의 분할 이미지별로 상기 촬영 대상 종류별 유사도에 대한 유사도 정보를 산출할 수 있다(S3).
또한, 서비스 제공 장치(100)는, 상기 복수의 분할 이미지 각각의 유사도 정보를 기초로 상기 복수의 분할 이미지별로 가장 유사한 촬영 대상 종류를 식별하여 식별 정보를 생성하고(S4), 상기 복수의 분할 이미지별 식별정보를 기초로 투표를 수행하여 상기 신분증 이미지에 대한 투표 결과를 생성할 수 있다(S5).
이후, 서비스 제공 장치(100)는, 상기 신분증 이미지에 대해 상기 투표 결과를 기초로 상기 복수의 촬영 대상 종류 중 가장 유사도가 높은 최종 촬영 대상 종류를 포함하는 검증 결과 정보를 생성할 수 있다(S6).
본 명세서에 기술된 다양한 장치 및 구성부는 하드웨어 회로(예를 들어, CMOS 기반 로직 회로), 펌웨어, 소프트웨어 또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 전기적 구조의 형태로 트랜지스터, 로직게이트 및 전자회로를 활용하여 구현될 수 있다.
전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 서비스 제공 장치 110: 통신부
120: 분할부 130: 왜곡부
140: 학습부 150: 보팅부
160: 판정부

Claims (10)

  1. 신분증 이미지를 수신하는 통신부;
    상기 신분증 이미지를 미리 설정된 복수의 분할 영역으로 분할하는 분할부;
    상기 복수의 분할 영역 각각에 대해 감마 왜곡을 적용하여 복수의 분할 이미지를 생성하는 왜곡부;
    신분증 원본과 상기 신분증 원본을 인쇄한 인쇄물 및 상기 신분증 원본의 사본 이미지 각각을 촬영하여 생성되며 상기 감마 왜곡이 적용된 복수의 이미지를 학습하여 입력 이미지에 대해 상기 신분증 원본과 상기 인쇄물 및 상기 사본 이미지를 포함하는 복수의 촬영 대상 종류별로 유사도를 산출하도록 미리 학습된 상태의 학습 모델에 상기 복수의 분할 이미지를 각각 적용하여 상기 복수의 분할 이미지별로 상기 촬영 대상 종류별 유사도에 대한 유사도 정보를 산출하는 학습부;
    상기 복수의 분할 이미지 각각의 유사도 정보를 기초로 상기 복수의 분할 이미지별로 가장 유사한 촬영 대상 종류를 식별하여 식별 정보를 생성하고, 상기 복수의 분할 이미지별 식별정보를 기초로 투표를 수행하여 상기 신분증 이미지에 대한 투표 결과를 생성하는 보팅부; 및
    상기 신분증 이미지에 대해 상기 투표 결과를 기초로 상기 복수의 촬영 대상 종류 중 가장 유사도가 높은 최종 촬영 대상 종류를 포함하는 검증 결과 정보를 생성하는 판정부
    를 포함하며,
    상기 왜곡부는 비선형 전달 함수를 이용한 빛의 세기(Light Intensity) 및 색상 지도(color map)의 보정을 통해 감마값이 선형성을 가지도록 감마 왜곡을 상기 분할 영역별로 적용하여 상기 복수의 분할 이미지를 생성하는 것을 특징으로 하는 신분증 이미지의 검증을 위한 서비스 제공 장치.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 왜곡부는
    Figure 112020098366020-pat00003

    를 통해 상기 분할 이미지를 생성하며,
    상기 Rmax는 이미지에서 나타낼 수 있는 가장 큰 값이고, 상기 Runcorrected는 감마 보정이 일어나기 전 각 이미지 픽셀의 값이며, 상기 Rcorrected는 감마 보정을 거치고 난 뒤의 각 이미지 픽셀의 값이고, 상기 gamma(γ)는 감마 값인 것을 특징으로 하는 신분증 이미지의 검증을 위한 서비스 제공 장치.
  4. 청구항 1에 있어서,
    상기 보팅부는 상기 분할 이미지별 식별 정보를 기초로 상기 복수의 촬영 대상 종류별로 식별횟수를 집계하여 상기 복수의 촬영 대상 종류별 식별횟수를 포함하는 투표 결과를 생성하거나 상기 유사도 정보를 점수로 환산하여 상기 식별 정보에 포함시킨 후 상기 분할 이미지별 식별정보에 따라 상기 복수의 촬영 대상 종류별 획득점수를 집계한 투표 결과를 생성하는 것을 특징으로 하는 신분증 이미지의 검증을 위한 서비스 제공 장치.
  5. 청구항 4에 있어서,
    상기 판정부는 상기 투표 결과를 기초로 상기 식별횟수 또는 획득 점수가 가장 높은 촬영 대상 종류를 상기 최종 촬영 대상 종류로 결정하는 것을 특징으로 하는 신분증 이미지의 검증을 위한 서비스 제공 장치.
  6. 청구항 4에 있어서,
    상기 통신부는 상기 신분증 이미지의 개인 정보가 블라인드 처리된 상기 신분증 이미지를 수신하고,
    상기 보팅부는 상기 복수의 분할 이미지를 대상으로 블라인드 영역의 존재 여부에 따라 상기 복수의 분할 이미지별 식별 정보에 가중치를 상이하게 설정하여 상기 가중치가 반영된 상기 복수의 촬영 대상 종류별 식별 횟수 또는 상기 획득 점수를 집계하는 것을 특징으로 하는 신분증 이미지의 검증을 위한 서비스 제공 장치.
  7. 청구항 6에 있어서,
    상기 보팅부는 상기 블라인드 영역이 존재하는 분할 이미지의 식별 정보보다 블라인드 영역이 존재하지 않는 분할 이미지의 식별 정보에 높은 가중치를 설정하고, 상기 식별 횟수 또는 획득 점수에 상기 식별 정보에 따라 누적되는 횟수 또는 점수를 상기 설정된 가중치에 따라 증감하는 것을 특징으로 하는 신분증 이미지의 검증을 위한 서비스 제공 장치.
  8. 삭제
  9. 청구항 1에 있어서,
    상기 판정부는 상기 통신부를 통해 상기 신분증 이미지를 전송하는 외부 장치와 통신하여 상기 외부 장치로부터 상기 신분증 이미지를 포함하는 위변조 판별 요청에 대한 요청 정보를 수신하고, 상기 요청 정보에 대응되어 상기 검증 결과 정보를 생성하여 상기 외부 장치에 전송하는 것을 특징으로 하는 신분증 이미지의 검증을 위한 서비스 제공 장치.
  10. 신분증 이미지의 검증을 위한 서비스 제공 장치의 서비스 제공 방법에 있어서,
    신분증 이미지를 수신하는 단계;
    상기 신분증 이미지를 미리 설정된 복수의 분할 영역으로 분할하고, 상기 복수의 분할 영역 각각에 대해 감마 왜곡을 적용하여 상기 복수의 분할 영역과 각각 대응되는 복수의 분할 이미지를 생성하는 단계;
    신분증 원본과 상기 신분증 원본을 인쇄한 인쇄물 및 상기 신분증 원본의 사본 이미지 각각을 촬영하여 생성되며 상기 감마 왜곡이 적용된 복수의 이미지를 학습하여 입력 이미지에 대해 상기 신분증 원본과 상기 인쇄물 및 상기 사본 이미지를 포함하는 복수의 촬영 대상 종류별로 유사도를 산출하도록 미리 학습된 상태의 학습 모델에 상기 복수의 분할 이미지를 각각 적용하여 상기 복수의 분할 이미지별로 상기 촬영 대상 종류별 유사도에 대한 유사도 정보를 산출하는 단계;
    상기 복수의 분할 이미지 각각의 유사도 정보를 기초로 상기 복수의 분할 이미지별로 가장 유사한 촬영 대상 종류를 식별하여 식별 정보를 생성하고, 상기 복수의 분할 이미지별 식별정보를 기초로 투표를 수행하여 상기 신분증 이미지에 대한 투표 결과를 생성하는 단계; 및
    상기 신분증 이미지에 대해 상기 투표 결과를 기초로 상기 복수의 촬영 대상 종류 중 가장 유사도가 높은 최종 촬영 대상 종류를 포함하는 검증 결과 정보를 생성하는 단계
    를 포함하며,
    상기 복수의 분할 이미지를 생성하는 단계는,
    비선형 전달 함수를 이용한 빛의 세기(Light Intensity) 및 색상 지도(color map)의 보정을 통해 감마값이 선형성을 가지도록 감마 왜곡을 상기 분할 영역별로 적용하여 상기 복수의 분할 이미지를 생성하는 것을 특징으로 하는 신분증 이미지의 검증을 위한 서비스 제공 방법.
KR1020200119144A 2020-09-16 2020-09-16 신분증 이미지의 검증을 위한 서비스 제공 장치 및 방법 KR102480503B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200119144A KR102480503B1 (ko) 2020-09-16 2020-09-16 신분증 이미지의 검증을 위한 서비스 제공 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200119144A KR102480503B1 (ko) 2020-09-16 2020-09-16 신분증 이미지의 검증을 위한 서비스 제공 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220036660A KR20220036660A (ko) 2022-03-23
KR102480503B1 true KR102480503B1 (ko) 2022-12-22

Family

ID=80963661

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200119144A KR102480503B1 (ko) 2020-09-16 2020-09-16 신분증 이미지의 검증을 위한 서비스 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102480503B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102523598B1 (ko) * 2022-10-07 2023-04-20 (주)디지탈센스 출입자 신원 무인 인증시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003242491A (ja) 2002-02-14 2003-08-29 Omron Corp 画像判別装置、および個人認証装置
WO2019017080A1 (ja) * 2017-07-20 2019-01-24 パナソニックＩｐマネジメント株式会社 照合装置及び照合方法
JP2019536120A (ja) 2017-06-30 2019-12-12 ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド Ｉｄ写真の真正性を検証するためのシステムおよび方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170001924A (ko) 2015-06-26 2017-01-05 주식회사 씽크풀 휴대단말에서 촬영된 디지털 이미지의 유효성 검증 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003242491A (ja) 2002-02-14 2003-08-29 Omron Corp 画像判別装置、および個人認証装置
JP2019536120A (ja) 2017-06-30 2019-12-12 ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド Ｉｄ写真の真正性を検証するためのシステムおよび方法
WO2019017080A1 (ja) * 2017-07-20 2019-01-24 パナソニックＩｐマネジメント株式会社 照合装置及び照合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Image Recapture Detection with Convolutional and Recurrent Neural Network", Electronic Imaging, Media Watermarking, Security, and Forensics, 2017.01.*

Also Published As

Publication number Publication date
KR20220036660A (ko) 2022-03-23

Similar Documents

Publication Publication Date Title
US20200184059A1 (en) Face unlocking method and apparatus, and storage medium
US20210019519A1 (en) Detection of fraudulently generated and photocopied credential documents
EP3719694A1 (en) Neural network model-based human face living body detection
WO2019152983A2 (en) System and apparatus for face anti-spoofing via auxiliary supervision
WO2015192669A1 (zh) 一种二维码扫描定位提示方法及系统
CN111652223A (zh) 证件识别方法及装置
CN113361604A (zh) 一种面向目标检测的物理攻击对抗补丁的生成方法及系统
WO2013053111A1 (en) Detecting counterfeit print material with camera-equipped computing device
CN109902475B (zh) 验证码图像生成方法、装置和电子设备
US20240012891A1 (en) Information acquisition system, information acquisition method, and storage medium
CN110532746B (zh) 人脸校验方法、装置、服务器及可读存储介质
KR102480503B1 (ko) 신분증 이미지의 검증을 위한 서비스 제공 장치 및 방법
CN111066023A (zh) 检测系统、检测设备及其方法
Kim et al. Learning deep features for source color laser printer identification based on cascaded learning
US10867170B2 (en) System and method of identifying an image containing an identification document
WO2021101290A1 (ko) 도트 난반사 특성을 이용한 진위여부 판별장치 및 그 장치의 구동방법
US11514723B2 (en) Method and apparatus for determining liveness
CN112101296B (zh) 人脸注册方法、人脸验证方法、装置及系统
CN113642639A (zh) 活体检测方法、装置、设备和存储介质
CN110263708B (zh) 图像来源识别方法、设备及计算机可读存储介质
Wu et al. Image-format-independent tampered image detection based on overlapping concurrent directional patterns and neural networks
KR102604009B1 (ko) 차량번호판 위조 대응 시스템 및 방법
CN109429044A (zh) 用于检测图像的部分的方法和图像处理设备
KR102106468B1 (ko) 영상 처리 장치 및 방법
CN113158893A (zh) 一种目标识别的方法和系统

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant