KR20240080801A - 신분증 진위 판별 장치 및 이를 포함한 신분증 진위 판별 시스템 - Google Patents

신분증 진위 판별 장치 및 이를 포함한 신분증 진위 판별 시스템 Download PDF

Info

Publication number
KR20240080801A
KR20240080801A KR1020220164466A KR20220164466A KR20240080801A KR 20240080801 A KR20240080801 A KR 20240080801A KR 1020220164466 A KR1020220164466 A KR 1020220164466A KR 20220164466 A KR20220164466 A KR 20220164466A KR 20240080801 A KR20240080801 A KR 20240080801A
Authority
KR
South Korea
Prior art keywords
card
equation
frame
frames
authenticity determination
Prior art date
Application number
KR1020220164466A
Other languages
English (en)
Inventor
강현수
박재혁
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020220164466A priority Critical patent/KR20240080801A/ko
Publication of KR20240080801A publication Critical patent/KR20240080801A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/95—Pattern authentication; Markers therefor; Forgery detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B42—BOOKBINDING; ALBUMS; FILES; SPECIAL PRINTED MATTER
    • B42D—BOOKS; BOOK COVERS; LOOSE LEAVES; PRINTED MATTER CHARACTERISED BY IDENTIFICATION OR SECURITY FEATURES; PRINTED MATTER OF SPECIAL FORMAT OR STYLE NOT OTHERWISE PROVIDED FOR; DEVICES FOR USE THEREWITH AND NOT OTHERWISE PROVIDED FOR; MOVABLE-STRIP WRITING OR READING APPARATUS
    • B42D25/00—Information-bearing cards or sheet-like structures characterised by identification or security features; Manufacture thereof
    • B42D25/20—Information-bearing cards or sheet-like structures characterised by identification or security features; Manufacture thereof characterised by a particular use or purpose
    • B42D25/23—Identity cards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B42—BOOKBINDING; ALBUMS; FILES; SPECIAL PRINTED MATTER
    • B42D—BOOKS; BOOK COVERS; LOOSE LEAVES; PRINTED MATTER CHARACTERISED BY IDENTIFICATION OR SECURITY FEATURES; PRINTED MATTER OF SPECIAL FORMAT OR STYLE NOT OTHERWISE PROVIDED FOR; DEVICES FOR USE THEREWITH AND NOT OTHERWISE PROVIDED FOR; MOVABLE-STRIP WRITING OR READING APPARATUS
    • B42D25/00—Information-bearing cards or sheet-like structures characterised by identification or security features; Manufacture thereof
    • B42D25/30—Identification or security features, e.g. for preventing forgery
    • B42D25/328—Diffraction gratings; Holograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 신분증 진위 판별 장치 및 이를 포함한 신분증 진위 판별 시스템에 관한 것으로 더욱 상세하게는 신분증의 촬영 방향을 변경시키면서 촬영한 동영상 촬영 정보를 기초로 평균 프레임과 표준 편차 프레임을 생성한 후 딥러닝 판별부에 입력함에 따라 홀로그램과 같은 식별 마크의 변화 여부에 따른 신분증 진위 판별이 가능해지는 신분증 진위 판별 장치 및 이를 포함한 신분증 진위 판별 시스템에 관한 것이다.
이를 위해 본 발명은 신분증의 진본과 사본을 판별하는 신분증 진위 판별 장치에 있어서, 수신한 신분증 동영상 정보를 프레임 단위로 분할하고, 분할하여 획득된 전체 프레임 중 N 개의 프레임을 선택하여 N 개의 각 프레임 내 신분증 이미지가 사전에 설정된 직사각형 영역으로 위치되도록 워핑(warping)을 수행하는 이미지 워핑부; 상기 이미지 워핑부로부터 워핑이 수행된 N 개의 프레임을 기초로 이들의 평균 프레임 및 표준 편차 프레임 중 적어도 하나를 생성하는 전처리부; 및 수신한 상기 평균 프레임 및 표준 편차 프레임 중 적어도 하나를 입력 데이터로 하고, 신분증 진위 여부에 대한 판단 결과를 출력 데이터로 하여 신분증 진위를 판별하는 딥러닝 판별부;를 포함한다.

Description

신분증 진위 판별 장치 및 이를 포함한 신분증 진위 판별 시스템{Identification card authenticity determination device and ID authenticity determination system including the same}
본 발명은 신분증 진위 판별 장치 및 이를 포함한 신분증 진위 판별 시스템에 관한 것으로 더욱 상세하게는 신분증의 촬영 방향을 변경시키면서 촬영한 동영상 촬영 정보를 기초로 평균 프레임과 표준 편차 프레임을 생성한 후 딥러닝 판별부에 입력함에 따라 홀로그램과 같은 식별 마크의 변화 여부에 따른 신분증 진위 판별이 가능해지는 신분증 진위 판별 장치 및 이를 포함한 신분증 진위 판별 시스템에 관한 것이다.
신분증은 개인의 신상 또는 신원 정보를 증명할 수 있는 것으로, 대표적인 신분증은 주민등록증, 운전면허증, 여권, 학생증, 청소년증, 장애인증 등이 있으며, 이러한 신분증은 공항, 시험장 및 은행에서 본인 인증의 용도로 사용될 수 있다.
그러나 최근 신분증을 위조하는 기술의 발달로 인해, 위조 신분증의 제조가 쉬워지고, 위조 신분증으로 타인을 사칭할 위험이 증가하고 있다. 이에 대응하기 위해, 신분증 발급 기관은 신분증 내에 위조가 아닌 정상 신분증임을 입증할 수 있도록 홀로그램과 같은 여러가지 식별 마크를 새기고 있다.
이러한 식별 마크는 위조 기술로도 생성할 수 없어, 신분증 위조 여부를 판단할 수 있는 표지가 된다.
하지만 비대면 거래의 증가로 인해 신분증을 촬영하거나 스캔하여 제출하는 경우에도 홀로그램과 같은 식별 마크를 복사한 이미지 정보를 제출할 수 있어 단순히 홀로그램과 같은 식별 마크의 존재 여부로 신분증 진본을 판단하는 것은 한계가 있다.
한국특허등록 제10-2125379호(등록일: 2020. 06. 16)
본 발명은 상기의 문제점을 해결하기 위해 안출된 것으로서 신분증의 촬영 방향을 변경시키면서 촬영한 동영상 촬영 정보를 기초로 평균 프레임과 표준 편차 프레임을 생성한 후 딥러닝 판별부에 입력함에 따라 홀로그램과 같은 식별 마크의 변화 여부에 따른 신분증 진위 판별이 가능해지는 신분증 진위 판별 장치 및 이를 포함한 신분증 진위 판별 시스템을 제공함에 그 목적이 있다.
본 발명은 상기의 과제를 해결하기 위해 아래와 같은 특징을 갖는다.
본 발명은 신분증의 진본과 사본을 판별하는 신분증 진위 판별 장치에 있어서, 수신한 신분증 동영상 정보를 프레임 단위로 분할하고, 분할하여 획득된 전체 프레임 중 N 개의 프레임을 선택하여 N 개의 각 프레임 내 신분증 이미지가 사전에 설정된 직사각형 영역으로 위치되도록 워핑(warping)을 수행하는 이미지 워핑부; 상기 이미지 워핑부로부터 워핑이 수행된 N 개의 프레임을 기초로 이들의 평균 프레임 및 표준 편차 프레임 중 적어도 하나를 생성하는 전처리부; 및 수신한 상기 평균 프레임 및 표준 편차 프레임 중 적어도 하나를 입력 데이터로 하고, 신분증 진위 여부에 대한 판단 결과를 출력 데이터로 하여 신분증 진위를 판별하는 딥러닝 판별부;를 포함한다.
여기서 상기 신분증 동영상 정보는, 상기 신분증의 촬영 방향을 변화시키면서 촬영한 3채널을 갖는 컬러 동영상 정보이다.
또한 상기 이미지 워핑부는, N 개의 프레임을 선택할 때, 시간 순서를 기준으로 서로 이웃하지 않는 N 개의 프레임을 선택한다.
아울러 상기 이미지 워핑부는, 하기 식(1)에 의한 호모그래피 변환(homography transform)을 통해 워핑을 수행한다.
식(1)
Figure pat00001
또한 상기 이미지 워핑부로부터 워핑된 N 개의 프레임의 컬러 형식을 RGB 3채널에서 HSV 3채널 및 XYZ 3채널 중 어느 하나로 변환하여 상기 전처리부로 제공하는 컬러형식 변환부;를 더 포함한다.
아울러 상기 전처리부는, 상기 평균 프레임(
Figure pat00002
) 생성 시 하기 식(2)를 통해 생성한다.
식(2)
Figure pat00003
(여기서, 상기 fi는 i번째 프레임, 상기 (x, y)는 각 픽셀의 위치 좌표, 상기 c는 채널)
또한 상기 전처리부는, 상기 표준 편차 프레임(
Figure pat00004
) 생성 시 하기 식(3) 또는 식(4)를 통해 생성한다.
식(3)
Figure pat00005
식(4)
Figure pat00006
아울러 상기 딥러닝 판별부는, 상기 평균 프레임의 3채널 및 표준 편차 프레임의 3채널을 입력 데이터로 하는 특징 추출 모델 및 마지막 레이어인 FCN(fully connected network)을 포함한다.
한편 본 발명의 일실시예에 따른 신분증 진위 판별 시스템은 신분증 진위 판별 장치; 및 상기 신분증 진위 판별 장치로 신분증 동영상 정보를 제공하는 컬러 촬영 장치;를 포함하고, 상기 신분증 동영상 정보는, 신분증의 촬영 방향을 변화시키면서 촬영한 3채널 컬러 동영상 정보이다.
여기서 상기 이미지 워핑부는, 하기 식(1)에 의한 호모그래피 변환(homography transform)을 통해 워핑을 수행한다.
식(1)
Figure pat00007
또한 상기 전처리부는, 상기 평균 프레임(
Figure pat00008
) 생성 시 하기 식(2)를 통해 생성하고, 상기 표준 편차 프레임(
Figure pat00009
) 생성 시 하기 식(3) 또는 식(4)를 통해 생성한다.
식(2)
Figure pat00010
식(3)
Figure pat00011
식(4)
Figure pat00012
본 발명에 따르면 다양한 촬영 각도에 따라 신분증의 홀로그램 무늬의 변화를 감지할 수 있어 단순히 홀로그램을 복사한 신분증의 사본 판단이 가능한 효과가 있다.
또한 딥러닝 판별부가 홀로그램 무늬의 변화를 잘 감지하도록 선택된 N 개의 프레임의 컬러 형식 변환을 수행하고, 이들의 평균 프레임과 표준 편차 프레임 생성을 통해 진위 판별도를 증대시키는 효과가 있다.
도 1은 본 발명의 일실시예에 따른 신분증 진위 판별 장치의 내부 구성을 나타내는 블럭도이다.
도 2는 본 발명의 일실시예에 따른 이미지 워핑부의 워핑 과정을 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 전처리부의 평균 프레임 및 표준 편차 프레임을 생성 과정을 나타내는 도면이다.
도 4는 도 3의 N 개의 프레임의 구조를 나타내는 도면이다.
도 5는 5개소의 3채널 프레임(A, B, C, D, E)의 평균 프레임을 생성하는 과정을 나타내는 도면이다.
도 6은 5개소의 3채널 프레임(A, B, C, D, E)의 표준 편차 프레임을 생성하는 과정을 나타내는 도면이다.
도 7은 본 발명의 일실시예에 따른 딥러닝 판별부의 결과 데이터를 산출 과정을 나타내는 도면이다.
도 8은 본 발명의 일실시예에 따라 신분증의 진위 여부를 판별하는 과정을 나타내는 순서도이다.
도 9는 본 발명의 일실시예에 따른 신분증 진위 판별 시스템의 내부 구성을 나타내는 도면이다.
첨부한 도면을 참고로 하여 본 발명의 실시예에 대해 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 도면부호가 사용되었다. 또한 널리 알려져 있는 공지기술의 경우 그 구체적인 설명은 생략한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 신분증 진위 판별 장치의 내부 구성을 나타내는 블럭도이며, 도 2는 본 발명의 일실시예에 따른 이미지 워핑부의 워핑 과정을 나타내는 도면이고, 도 3은 본 발명의 일실시예에 따른 전처리부의 평균 프레임 및 표준 편차 프레임을 생성 과정을 나타내는 도면이다.
또한 도 4는 도 3의 N 개의 프레임의 구조를 나타내는 도면이고, 도 5는 5개소의 3채널 프레임(A, B, C, D, E)의 평균 프레임을 생성하는 과정을 나타내는 도면이며, 도 6은 5개소의 3채널 프레임(A, B, C, D, E)의 표준 편차 프레임을 생성하는 과정을 나타내는 도면이고, 도 7은 본 발명의 일실시예에 따른 딥러닝 판별부의 결과 데이터를 산출 과정을 나타내는 도면이다.
도면을 참조하면, 본 발명의 일실시예에 따른 신분증 진위 판별 장치(1000)는 크게 수신한 신분증 동영상 정보를 프레임 단위로 분할하고, 분할하여 획득된 전체 프레임 중 N 개의 프레임을 선택하여 N 개의 각 프레임 내 신분증 이미지가 사전에 설정된 직사각형 영역으로 위치되도록 워핑(warping)을 수행하는 이미지 워핑부(100)와, 이미지 워핑부(100)로부터 워핑된 N 개의 프레임의 컬러 형식을 RGB 3채널에서 HSV 3채널, XYZ 3채널, LAB 3채널 및 YUV 3채널 중 어느 하나로 변환하여 전처리부(200)로 제공하는 컬러형식 변환부(400)와, 컬러형식 변환부(400)로부터 수신한 N 개의 프레임을 기초로 이들의 평균 프레임(AF) 및 표준 편차 프레임(SF) 중 적어도 하나를 생성하는 전처리부(200) 및 수신한 평균 프레임 및 표준 편차 프레임 중 적어도 하나를 입력 데이터로 하고, 신분증 진위 여부에 대한 판단 결과를 출력 데이터로 하여 신분증 진위를 판별하는 딥러닝 판별부(300)으로 구성된다.
여기서 이미지 워핑부(100)는 수신한 신분증 동영상 정보 중 N 개의 선택된 프레임을 무작위 선택하고, 선택된 프레임 내에 신분증 이미지가 사전에 설정된 직사각형 영역으로 위치되도록 워핑시키도록 구비되는데, 이때 수신되는 신분증 동영상 정보는 촬영 방향을 계속하여 변화시키면서 촬영한 3채널 컬러 동영상 정보이다.
즉, 본 발명에 따른 신분증 진위 판별 장치(1000)의 가장 큰 특징은 기존 홀로그램과 식별 마크 또한 그 이미지를 사본에 합성하는 방식으로 위조가 이루어지는 점에 착안하여 신분증 진위 여부를 판단하기 위한 신분증 동영상 정보를 촬영할 때 촬영 방향을 다양하게 변경시키면서 촬영하게 되면, 홀로그램과 같은 식별 마크의 이미지 또한 다양하게 형성되게 되고, 이에 대한 평균 프레임 및 표준 편차 프레임을 통해 딥러닝 판별부(300)가 식별 마크의 변화 여부를 판별하여 진위 여부를 판단할 수 있게 되는 것이다.
한편 이미지 워핑부(100)는 N 개의 프레임을 선택할 때, 시간 순서를 기준으로 서로 이웃하지 않는 N 개의 프레임을 선택하게 되는데, 이는 이웃하는 프레임이 선택될 경우, 전술한 바와 같이 프레임 내 식별 마크의 변화량이 거의 없기 때문에 진위 여부 판단의 정확도가 저하될 수 있기 때문이다.
또한 이미지 워핑부(100)는, N 개의 각 프레임 내 신분증 이미지가 사전에 설정된 직사각형 영역으로 위치되도록 워핑(warping)을 수행하는데, 이러한 이미지 워핑은 본 발명의 일실시예에 따라 호모그래피 변환(homography transform)을 통해 수행되며, 이는 하기 식(1)을 통해 수행될 수 있다.
식(1)
Figure pat00013
이에 따라 워핑이 완료된 N 개의 프레임은 컬러형식 변환부(400)로 전달되어 프레임의 컬러 형식이 변환되게 되는데, 수신한 신분증 동영상 정보는 R, G, B의 3채널로 이루어진다.
본 발명의 일실시예에 따라 이러한 RGB 3채널로 구성되는 N 개의 프레임을 컬러형식 변환부(400)가 HSV 3채널, XYZ 3채널, LAB 3채널 및 YUV 3채널 중 어느 하나로 변환할 수 있다.
이와 같이 HSV 3채널, XYZ 3채널, LAB 3채널 및 YUV 3채널로 컬러 형식을 변환하는 이유는 RGB 3채널로 딥러닝 판별부(300)에서 진위 판별할 때보다 컬러 형식을 변환한 경우가 보다 더 진위 판별 성능이 향상되기 때문이다.
물론 필요에 따라 전술한 HSV 3채널, XYZ 3채널, LAB 3채널 및 YUV 3채널 이외의 다른 컬러 형식으로 변환될 수 있으며, 컬러형식 변환부(400)를 생략하여 이미지 워핑부(100)에서 이미지 워핑된 N 개의 프레임의 RGB 3채널을 그대로 전처리부(200)로 전달할 수도 있다.
한편 전처리부(200)는 도 4 내지 도 6에 도시된 바와 같이 컬러형식 변환부(400)로부터 N 개의 프레임을 전달받아 이들의 평균 프레임(AF)과 표준 편차 프레임(SF)을 생성하는데, 이러한 평균 프레임(
Figure pat00014
) 및 표준 편차 프레임(
Figure pat00015
)은 각각 하기 식(2) 및 식(3)을 통해 산출된다.
식(2)
Figure pat00016
식(3)
Figure pat00017
이때, 상기 fi는 i번째 프레임을 의미하고, 상기 (x, y)는 각 픽셀의 위치 좌표를 의미하며, 상기 c는 채널을 나타낸다.
도 4 내지 도 6에서는 N 개의 프레임이 총 5개소의 프레임으로 선택되고, 컬러형식은 RGB 3채널로 하여 평균 프레임 및 표준 편차 프레임을 생성하는 과정을 예를 들어 도시하고 있다.
여기서 평균 프레임(AF)은 도 5에 도시된 바와 같이 식(2)를 통해 RGB 각 채널별로 동일(x,y) 좌표에 위치한 픽셀값(A, B, C, D, E)을 평균을 산출하여 RGB 각 채널의 평균을 생성한다. 본 발명에서는 이러한 R채널 평균, G채널 평균, B채널 평균을 하나로 묶어 평균 프레임이라 정의한다.
아울러 표준 편차 프레임(SF)은 도 6에 도시된 바와 같이 식(3)을 통해 RGB 각 채널별로 동일 (x, y) 좌표에 위치한 픽셀값(A, B, C, D, E)과 식(2)에서 얻은 평균과의 차를 계산함으로써 RGB 각 채널의 표준 편차를 생성한다. 본 발명에서는 이러한 R채널 표준편차, G채널 표준편차, B채널 표준편차를 하나로 묶어 표준 편차 프레임이라 정의한다.
이때 표준 편차 프레임은 평균값을 기준으로 픽셀값의 변화 정도를 감지하기 위한 목적이므로, 픽셀값의 변화를 감지할 수 있는 것이라면 식(3)을 통해 획득되는 표준 편차 프레임 이외에도 다른 측정자(measure) 또한 적용가능하다.
일예로, 식(2)에서 얻은 평균과의 차의 절대치의 평균 또한 픽셀값의 변화 정도를 감지할 수 있는 측정자이므로, 전처리부(200)는 표준 편차 프레임 생성 시 하기 식(4)를 통해 표준 편차 프레임(SF)을 생성할 수 있다.
식(4)
Figure pat00018
이에 따라 생성된 평균 프레임(AF) 및 표준 편차 프레임(SF)은 딥러닝 판별부(300)로 입력되어 결과 데이터로 진위 여부에 대한 판단 결과가 출력되게 되는데, 이러한 딥러닝 판별부(300)는 다양한 딥러닝 네트워크가 적용될 수 있으나, 본 발명의 일실시예에 따라 평균 프레임(AF)과 표준 편차 프레임(SF)의 총 6채널의 데이터를 입력 데이터로 하는 특징 추출 모델 및 마지막 레이어로서 FCN(fully connected network)을 적용하여 진본과 사본을 판별한다.
여기서 특징 추출 모델로는 특징 추출을 위해 성능이 우수한 것으로 알려진 resnet50v2 모델이 적용될 수 있고, 이외에도 특징 추출 모델로 MobileNet, VGG16, DenseNet, EfficientNet, Xception 등이 본 발명에 적용될 수 있음은 물론이다 .
도 8은 본 발명의 일실시예에 따라 신분증의 진위 여부를 판별하는 과정을 나타내는 순서도이다.
도면을 참조하여 본 발명의 일실시예에 따른 신분증 진위 판별 장치(1000)의 판별 과정을 살펴보면, 우선 이미지 워핑부(100)가 신분증 동영상 정보를 수신하는데(S100), 이때 신분증 동영상 정보는 전술한 바와 같이 신분증의 촬영 방향을 변화시키면서 촬영한 3채널 컬러 동영상 정보이다.
이에 따라 이미지 워핑부(100)는 수신한 신분증 동영상 정보의 전체 프레임을 프레임 단위로 분할을 수행하고(S200), 분할된 전체 프레임 중 무작위로 N 개의 프레임을 선택한다(S300).
이때 무작위로 선택된 N 개의 프레임은 시간 순을 기준으로 서로 이웃하지 않도록 선택함은 물론이다.
아울러 선택된 N 개의 프레임에 대해 이미지 워핑부(100)는 사전에 설정된 직사각형 영역으로 해당 프레임 내 신분증 이미지를 워핑시키는데(S400), 워핑을 수행하기 위해 본 발명에서는 일예에 따라 호모그래피 변환을 통해 수행한다.
아울러 이미지 워핑이 완료되면, 컬러형식 변환부(400)에서 워핑이 완료된 N개의 프레임에 대해 컬러 형식을 변환시키는데(S500), 기존 N 개의 프레임은 RGB 3채널로 구성되나, 컬러형식 변환부(400)에서 이를 HSV 3채널, XYZ 3채널, LAB 3채널 및 YUV 3채널 중 어느 하나로 변환하게 된다.
한편 전처리부(200)는 컬러형식 변환부(400)로부터 N 개의 프레임을 전달받아 이들의 평균 프레임(AF) 및 표준 편차 프레임(SF)을 생성하는데(S600), 이러한 생성 방법은 전술한 식(2) 및 식(3)을 통해 생성할 수 있다.
이에 따라 생성된 평균 프레임(AF) 및 표준 편차 프레임(SF)는 딥러닝 판별부(300)로 전달되고, 딥러닝 판별부(300)에서는 평균 프레임(AF) 및 표준 편차 프레임(SF)의 총 6채널을 입력 데이터로 하여 신분증의 진위 여부에 대한 결과 데이터를 출력하게 된다(S700).
이러한 딥러닝 판별부(300)는 전술한 바와 같이 평균 프레임의 3채널 및 표준 편차 프레임의 3채널을 입력 데이터로 하는 resnet50v2 모델 등과 같은 특징 추출 모델 및 마지막 레이어인 FCN(fully connected network)을 포함하여 구성될 수 있다.
도 9는 본 발명의 일실시예에 따른 신분증 진위 판별 시스템의 내부 구성을 나타내는 도면이다.
도면을 참조하면, 본 발명의 일실시예에 따른 신분증 진위 판별 시스템(2000)은 전술한 실시예에서의 신분증 진위 판별 장치(1000) 및 신분증 진위 판별 장치(1000)로 신분증 동영상 정보를 제공하는 컬러 촬영 장치(1100)를 포함하여 구성된다.
여기서 컬러 촬영 장치(1100)가 제공하는 신분증 동영상 정보는 전술한 바와 같이 신분증의 촬영 방향을 변화시키면서 촬영하고, R, G, B의 3채널로 구성되는 컬러 동영상 정보이다.
물론 본 발명에서는 컬러 촬영 장치(1100)가 직접 신분증 진위 판별 장치(1000)로 신분증 동영상 정보를 제공하는 것으로 설명하고 있으나, 설정에 따라 컬러 촬영 장치(1100)로부터 신분증 동영상 정보를 제공받는 관리 서버가 구비되고, 해당 관리 서버가 이를 신분증 진위 판별 장치(1000)로 수신받은 신분증 동영상 정보를 제공하도록 구성될 수 있다.
이와 같이 구성될 경우, 사용자가 소지하는 휴대용 단말기로 신분증을 촬영하되 촬영 방향을 변경시키면서 촬영한 신분증 동영상 정보를 관리 서버로 보내면 관리 서버와 연결된 신분증 진위 판별 장치(1000)에서 이를 전달받아 신분증 진위 여부에 대한 결과 데이터를 관리 서버로 전송하도록 구성함으로써, 원격지에서 사용자 또는 제 3 자가 사용자가 촬영한 신분증 동영상 정보가 진본인지 사본인지 확인할 수 있게 된다.
한편 전술한 바와 같이 신분증 진위 판별 장치(1000)는 수신한 신분증 동영상 정보를 프레임 단위로 분할하고, 분할하여 획득된 전체 프레임 중 N 개의 프레임을 선택하여 N 개의 각 프레임 내 신분증 이미지가 사전에 설정된 직사각형 영역으로 위치되도록 워핑(warping)을 수행하는 이미지 워핑부(100)와, 이미지 워핑부(100)로부터 워핑된 N 개의 프레임의 컬러 형식을 RGB 3채널에서 HSV 3채널, XYZ 3채널, LAB 3채널 및 YUV 3채널 중 어느 하나로 변환하여 전처리부(200)로 제공하는 컬러형식 변환부(400)와, 컬러형식 변환부(400)로부터 수신한 N 개의 프레임을 기초로 이들의 평균 프레임(AF) 및 표준 편차 프레임(SF) 중 적어도 하나를 생성하는 전처리부(200) 및 수신한 평균 프레임 및 표준 편차 프레임 중 적어도 하나를 입력 데이터로 하고, 신분증 진위 여부에 대한 판단 결과를 출력 데이터로 하여 신분증 진위를 판별하는 딥러닝 판별부(300)으로 구성된다.
아울러 이미지 워핑부(100)는, 이미지 워핑을 수행할 때 호모그래피 변환(homography transform)을 통해 워핑을 수행하는데, 이는 하기 식(1)에 의해 수행될 수 있다.
식(1)
Figure pat00019
또한 전처리부(200)는, 전술한 바와 같이 평균 프레임(
Figure pat00020
) 생성 시 하기 식(2)를 통해 생성하고, 표준 편차 프레임(
Figure pat00021
) 생성 시 하기 식(3) 또는 식(4)를 통해 생성할 수 있다 .
식(2)
Figure pat00022
식(3)
Figure pat00023
식(4)
Figure pat00024
이상에서 본 발명의 바람직한 실시 예에 대하여 설명하였으나, 본 발명은 상술한 특정의 실시 예에 한정되지 아니한다. 즉, 본 발명이 속하는 기술분야에서 통상의 지식을 가지는 자라면 첨부된 특허청구범위의 사상 및 범주를 일탈함이 없이 본 발명에 대한 다수의 변경 및 수정이 가능하며, 그러한 모든 적절한 변경 및 수정은 균등물들로 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
100 : 이미지 워핑부
200 : 전처리부
300 : 딥러닝 판별부
400 : 컬러형식 변환부
1000 : 신분증 진위 판별 장치
1100 : 컬러 촬영 장치
2000 : 신분증 진위 판별 시스템
AF : 평균 프레임
SF : 표준 편차 프레임

Claims (12)

  1. 신분증의 진본과 사본을 판별하는 신분증 진위 판별 장치에 있어서,
    수신한 신분증 동영상 정보를 프레임 단위로 분할하고, 분할하여 획득된 전체 프레임 중 N 개의 프레임을 선택하여 N 개의 각 프레임 내 신분증 이미지가 사전에 설정된 직사각형 영역으로 위치되도록 워핑(warping)을 수행하는 이미지 워핑부;
    상기 이미지 워핑부로부터 워핑이 수행된 N 개의 프레임을 기초로 이들의 평균 프레임 및 표준 편차 프레임 중 적어도 하나를 생성하는 전처리부; 및
    수신한 상기 평균 프레임 및 표준 편차 프레임 중 적어도 하나를 입력 데이터로 하고, 신분증 진위 여부에 대한 판단 결과를 출력 데이터로 하여 신분증 진위를 판별하는 딥러닝 판별부;를 포함하는,
    신분증 진위 판별 장치.
  2. 제1항에 있어서,
    상기 신분증 동영상 정보는,
    상기 신분증의 촬영 방향을 변화시키면서 촬영한 3채널을 갖는 컬러 동영상 정보인,
    신분증 진위 판별 장치.
  3. 제2항에 있어서,
    상기 이미지 워핑부는,
    N 개의 프레임을 선택할 때,
    시간 순서를 기준으로 서로 이웃하지 않는 N 개의 프레임을 선택하는,
    신분증 진위 판별 장치.
  4. 제2항에 있어서,
    상기 이미지 워핑부는,
    하기 식(1)에 의한 호모그래피 변환(homography transform)을 통해 워핑을 수행하는,
    신분증 진위 판별 장치.
    식(1)
    Figure pat00025

  5. 제4항에 있어서,
    상기 이미지 워핑부로부터 워핑된 N 개의 프레임의 컬러 형식을 RGB 3채널에서 HSV 3채널 및 XYZ 3채널 중 어느 하나로 변환하여 상기 전처리부로 제공하는 컬러형식 변환부;를 더 포함하는,
    신분증 진위 판별 장치.
  6. 제4항에 있어서,
    상기 전처리부는,
    상기 평균 프레임(
    Figure pat00026
    ) 생성 시 하기 식(2)를 통해 생성하는,
    신분증 진위 판별 장치.
    식(2)
    Figure pat00027

    (여기서, 상기 fi는 i번째 프레임, 상기 (x, y)는 각 픽셀의 위치 좌표, 상기 c는 채널)
  7. 제6항에 있어서,
    상기 전처리부는,
    상기 표준 편차 프레임(
    Figure pat00028
    ) 생성 시 하기 식(3)을 통해 생성하는,
    신분증 진위 판별 장치.
    식(3)
    Figure pat00029

  8. 제6항에 있어서,
    상기 전처리부는,
    상기 표준 편차 프레임() 생성 시 하기 식(4)를 통해 생성하는,
    신분증 진위 판별 장치.
    식(4)
    Figure pat00031

  9. 제7항 또는 제8항에 있어서,
    상기 딥러닝 판별부는,
    상기 평균 프레임의 3채널 및 표준 편차 프레임의 3채널을 입력 데이터로 하는 특징 추출 모델 및 마지막 레이어인 FCN(fully connected network)을 포함하는,
    신분증 진위 판별 장치.
  10. 제1항의 특징을 갖는 신분증 진위 판별 장치; 및
    상기 신분증 진위 판별 장치로 신분증 동영상 정보를 제공하는 컬러 촬영 장치;를 포함하고,
    상기 신분증 동영상 정보는,
    신분증의 촬영 방향을 변화시키면서 촬영한 3채널 컬러 동영상 정보인,
    신분증 진위 판별 시스템.
  11. 제10항에 있어서,
    상기 이미지 워핑부는,
    하기 식(1)에 의한 호모그래피 변환(homography transform)을 통해 워핑을 수행하는,
    신분증 진위 판별 시스템.
    식(1)
    Figure pat00032

  12. 제11항에 있어서,
    상기 전처리부는,
    상기 평균 프레임(
    Figure pat00033
    ) 생성 시 하기 식(2)를 통해 생성하고, 상기 표준 편차 프레임(
    Figure pat00034
    ) 생성 시 하기 식(3) 또는 식(4)를 통해 생성하는,
    신분증 진위 판별 시스템.
    식(2)
    Figure pat00035

    식(3)
    Figure pat00036

    식(4)
    Figure pat00037

    (여기서, 상기 fi는 i번째 프레임, 상기 (x, y)는 각 픽셀의 위치 좌표, 상기 c는 채널)
KR1020220164466A 2022-11-30 2022-11-30 신분증 진위 판별 장치 및 이를 포함한 신분증 진위 판별 시스템 KR20240080801A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220164466A KR20240080801A (ko) 2022-11-30 2022-11-30 신분증 진위 판별 장치 및 이를 포함한 신분증 진위 판별 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220164466A KR20240080801A (ko) 2022-11-30 2022-11-30 신분증 진위 판별 장치 및 이를 포함한 신분증 진위 판별 시스템

Publications (1)

Publication Number Publication Date
KR20240080801A true KR20240080801A (ko) 2024-06-07

Family

ID=91480019

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220164466A KR20240080801A (ko) 2022-11-30 2022-11-30 신분증 진위 판별 장치 및 이를 포함한 신분증 진위 판별 시스템

Country Status (1)

Country Link
KR (1) KR20240080801A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102125379B1 (ko) 2020-02-14 2020-06-22 주식회사 카카오뱅크 딥러닝 기반의 신분증 진위판단장치 및 신분증 진위판단방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102125379B1 (ko) 2020-02-14 2020-06-22 주식회사 카카오뱅크 딥러닝 기반의 신분증 진위판단장치 및 신분증 진위판단방법

Similar Documents

Publication Publication Date Title
CN107729847B (zh) 一种证件验证、身份验证方法和装置
CN110598699B (zh) 一种基于多光谱图像的防伪票据鉴伪系统和方法
CN107944339B (zh) 一种证件验证、身份验证方法和装置
US11023708B2 (en) Within document face verification
Swaminathan et al. Digital image forensics via intrinsic fingerprints
JP3753722B2 (ja) 歯牙映像からの歯牙領域の抽出方法及び歯牙映像を利用した身元確認方法及び装置
JP3867512B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
RU2658272C2 (ru) Определение подлинности защищенных документов и мобильное устройство для определения подлинности
WO2022206319A1 (zh) 图像处理方法、装置、设备、存储介质计算机程序产品
US11314966B2 (en) Facial anti-spoofing method using variances in image properties
KR20200118842A (ko) 신원 인증 방법 및 장치, 전자 기기 및 저장 매체
CN101925905A (zh) 根据特征图像流程识别和验证未知文档
CN111898520A (zh) 证件真伪识别方法、装置、计算机可读介质及电子设备
KR102145132B1 (ko) 딥러닝을 이용한 대리 면접 예방 방법
Sharma et al. Comprehensive analyses of image forgery detection methods from traditional to deep learning approaches: an evaluation
CN113642639B (zh) 活体检测方法、装置、设备和存储介质
JPWO2009004916A1 (ja) なりすまし検知システム、なりすまし検知方法およびなりすまし検知用プログラム
JP2017215739A (ja) 判定装置及びプログラム
WO2021189850A1 (zh) 证件鉴伪方法、装置、设备及可读存储介质
JP2021529336A (ja) ２次元バーコードの生成方法、認証方法、サーバ、及び２次元バーコード
WO2021166289A1 (ja) データ登録装置、生体認証装置、および記録媒体
KR20240080801A (ko) 신분증 진위 판별 장치 및 이를 포함한 신분증 진위 판별 시스템
CN112200075A (zh) 一种基于异常检测的人脸防伪方法
WO2020213166A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6878826B2 (ja) 撮影装置