KR102386918B1 - Ａｉ 기반의 모바일 사용자 인증 장치 및 방법 - Google Patents

Ａｉ 기반의 모바일 사용자 인증 장치 및 방법 Download PDF

Info

Publication number
KR102386918B1
KR102386918B1 KR1020200139462A KR20200139462A KR102386918B1 KR 102386918 B1 KR102386918 B1 KR 102386918B1 KR 1020200139462 A KR1020200139462 A KR 1020200139462A KR 20200139462 A KR20200139462 A KR 20200139462A KR 102386918 B1 KR102386918 B1 KR 102386918B1
Authority
KR
South Korea
Prior art keywords
mobile terminal
authentication
face
user
movement
Prior art date
Application number
KR1020200139462A
Other languages
English (en)
Inventor
이종민
장창은
Original Assignee
주식회사 에이직랜드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이직랜드 filed Critical 주식회사 에이직랜드
Priority to KR1020200139462A priority Critical patent/KR102386918B1/ko
Application granted granted Critical
Publication of KR102386918B1 publication Critical patent/KR102386918B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H04N5/23245—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2101—Auditing as a secondary aspect

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Collating Specific Patterns (AREA)

Abstract

AI 기반의 모바일 사용자 인증 장치 및 방법이 개시된다.
본 발명의 일 실시예에 따른 AI 기반의 모바일 사용자 인증 장치는, 인증 절차가 개시된 후, 모바일 단말이 사용자의 얼굴 주위에서 이동되는 이동 동작 중에 상기 모바일 단말의 동작 인식 센서를 통해 상기 모바일 단말의 이동 궤적을 추적하여 이동 궤적 정보를 생성하는 이동 궤적 추적부; 상기 이동 동작 중에 상기 모바일 단말의 카메라를 통해 연속 촬영을 수행하여 상기 사용자의 얼굴을 각각 다른 각도로 촬영한 얼굴 이미지들을 획득하는 얼굴 이미지 획득부; 상기 이동 궤적 정보와 미리 정해진 기준 궤적 정보를 비교하여 제1차 인증을 수행하는 제1 인증부; 및 상기 제1차 인증이 성공하면, 상기 얼굴 이미지 획득부에 의해 획득된 얼굴 이미지들 중 특정 각도로 촬영된 적어도 하나의 얼굴 이미지를 선택하고, 선택된 얼굴 이미지를 얼굴 인식용 신경망 모델에 입력하여 사전에 등록된 얼굴 이미지와의 유사도를 산출하고, 산출된 유사도를 미리 정해진 임계값과 비교하여 제2차 인증을 수행하는 제2 인증부를 포함한다.

Description

ＡＩ 기반의 모바일 사용자 인증 장치 및 방법{Device and method for authenticating mobile user based on Artificial Intelligence}
본 발명은 AI 기반의 모바일 사용자 인증 장치 및 방법에 관한 것으로서, 더 상세하게는, 카메라 및 동작 인식 센서를 구비한 모바일 단말을 이용하여 해당 모바일 단말의 사용자를 인증하는 AI 기반의 모바일 사용자 인증 장치 및 방법에 관한 것이다.
일반적으로, 모바일 단말을 통해 수행되는 사용자 인증 방식으로는 아이디, 패스워드 등과 같은 사용자의 비밀정보를 입력하는 방식, 지문센서를 통해 사용자의 지문을 인식하는 방식, 카메라를 통해 사용자의 홍채나 얼굴을 인식하는 방식 등이 사용되고 있다. 최근, 휴대폰이나 스마트폰과 같이 카메라를 탑재한 모바일 단말이 널리 보급됨에 따라, 얼굴 인식(face recognition)을 통해 모바일 단말의 사용자를 인증하는 기술에 대한 관심과 요청이 증가하고 있다.
그러나, 단순히 모바일 단말의 카메라로 사용자의 얼굴을 촬영하여 사용자를 인증하는 기존 기술은, 사용자의 얼굴이 나타난 얼굴 사진, 영상, 입체 마스크 등을 해당 사용자로 오인시키는 소위 스푸핑(spoofing) 공격에 취약한 문제점이 있다.
또한, 한국 등록특허공보 제10-0790223호에 개시된 바와 같이, 모바일 단말의 일면에 복수의 거리 센서를 분산시켜 설치하고 이러한 거리 센서들을 통해 사용자의 얼굴이 평면이 아닌 입체임을 확인하여 스푸핑 공격을 방지하는 기존 기술은, 거리 센서들이 설치되어 있지 않은 기존의 모바일 단말에는 적용할 수 없다는 문제점이 있다.
또한, 한국 등록특허공보 제10-1053253호에 개시된 바와 같이, 양안(two eyes) 구조로 설치되는 두 대의 카메라를 이용하여 3차원 정보를 생성하고, 이러한 3차원 정보를 통해 얼굴 인식을 수행하는 기존 기술은, 일면에 하나의 카메라만을 구비한 기존의 모바일 단말에 적용될 수 없음은 물론, 모바일 단말의 제조 비용을 증가시키고, 3D 정보를 구성하는 과정에서 많은 시간과 전력이 소비되는 문제점이 있다.
본 발명이 해결하고자 하는 기술적 과제는, 모바일 단말에 다수의 카메라나 거리 센서 등과 같은 별도의 센서를 마련하지 않고도 사진이나 영상 등을 이용한 스푸핑 공격을 방지하고 사용자 인증의 정확성과 신뢰성을 개선하면서도 인증 시간과 소비 전력을 감소시키는 AI 기반의 모바일 사용자 인증 장치 및 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 AI(Artificial Intelligence) 기반의 모바일 사용자 인증 장치는, 카메라 및 동작 인식 센서를 구비한 모바일 단말과 연동하여 상기 모바일 단말의 사용자를 인증하는 장치로서, 인증 절차가 개시된 후, 상기 모바일 단말이 상기 사용자의 얼굴 주위에서 이동되는 이동 동작 중에 상기 동작 인식 센서를 통해 상기 모바일 단말의 이동 궤적을 추적하여 이동 궤적 정보를 생성하는 이동 궤적 추적부; 상기 이동 동작 중에 상기 카메라를 통해 연속 촬영을 수행하여 상기 사용자의 얼굴을 각각 다른 각도로 촬영한 얼굴 이미지들을 획득하는 얼굴 이미지 획득부; 상기 이동 궤적 정보와 미리 정해진 기준 궤적 정보를 비교하여 제1차 인증을 수행하는 제1 인증부; 및 상기 제1차 인증이 성공하면, 상기 얼굴 이미지 획득부에 의해 획득된 얼굴 이미지들 중 특정 각도로 촬영된 적어도 하나의 얼굴 이미지를 선택하고, 선택된 얼굴 이미지를 얼굴 인식용 신경망 모델에 입력하여 사전에 등록된 얼굴 이미지와의 유사도를 산출하고, 산출된 유사도를 미리 정해진 임계값과 비교하여 제2차 인증을 수행하는 제2 인증부를 포함한다.
일 실시예에 있어서, 상기 모바일 사용자 인증 장치는, 상기 인증 절차의 개시 전, 상기 모바일 단말의 트리거 동작을 설정하도록 요청하는 메시지를 상기 모바일 단말을 통해 출력하고, 해당 메시지의 출력 후 일정 설정시간 내에 발생한 상기 모바일 단말의 움직임을 상기 트리거 동작으로 등록하는 인증 정보 등록부; 및 상기 인증 절차가 개시되면 상기 동작 인식 센서를 통해 상기 모바일 단말의 움직임을 센싱하여 상기 트리거 동작을 감지하는 트리거 동작 감지부를 더 포함하고, 상기 이동 궤적 추적부는, 상기 트리거 동작 감지부에 의해 상기 트리거 동작이 감지되면 상기 모바일 단말의 이동 궤적을 추적하도록 구성된다.
일 실시예에 있어서, 상기 얼굴 이미지 획득부는, 상기 트리거 동작 감지부에 의해 상기 트리거 동작이 감지되면 상기 연속 촬영을 수행하도록 구성된다.
일 실시예에 있어서, 상기 모바일 사용자 인증 장치는, 상기 인증 절차의 개시 전, 상기 사용자의 얼굴을 여러 각도로 촬영하기 위한 상기 모바일 단말의 이동 궤적을 설정하도록 요청하는 메시지를 상기 모바일 단말을 통해 출력하고, 해당 메시지의 출력 후 일정 설정시간 내에 이동된 상기 모바일 단말의 이동 궤적에 따라 상기 기준 궤적 정보를 생성하여 등록하는 인증 정보 등록부를 더 포함한다.
일 실시예에 있어서, 상기 제2 인증부는, 상기 제1차 인증이 성공하면, 상기 획득된 얼굴 이미지들 중 특정 각도로 촬영되되 서로 다른 각도로 촬영된 복수의 얼굴 이미지를 선택하는 얼굴 이미지 선택 모듈; 선택된 복수의 얼굴 이미지를 각각 상기 신경망 모델에 입력하여 사전에 등록된 얼굴 이미지와의 촬영 각도별 유사도를 산출하는 유사도 산출 모듈; 및 상기 촬영 각도별 유사도를 상기 임계값과 비교하여, 상기 촬영 각도별 유사도가 모두 상기 임계값 이상이거나 상기 촬영 각도별 유사도의 평균값이 상기 임계값 이상이면, 상기 제2차 인증에 성공한 것으로 결정하는 인증 결정 모듈을 포함한다.
본 발명의 일 실시예에 따른 AI 기반의 모바일 사용자 인증 방법은, 카메라 및 동작 인식 센서를 구비한 모바일 단말이 해당 모바일 단말의 사용자를 인증하는 방법으로서, 인증 절차가 개시된 후, 상기 모바일 단말이 상기 사용자의 얼굴 주위에서 이동되는 이동 동작 중에 상기 동작 인식 센서를 통해 상기 모바일 단말의 이동 궤적을 추적하여 이동 궤적 정보를 생성하는 (a) 단계; 상기 모바일 단말이 상기 이동 동작 중에 상기 카메라를 통해 연속 촬영을 수행하여 상기 사용자의 얼굴을 각각 다른 각도로 촬영한 얼굴 이미지들을 획득하는 (b) 단계; 상기 모바일 단말이 상기 이동 궤적 정보와 미리 정해진 기준 궤적 정보를 비교하여 제1차 인증을 수행하는 (c) 단계; 및 상기 제1차 인증이 성공하면, 상기 모바일 단말이 상기 (b) 단계에서 획득된 얼굴 이미지들 중 특정 각도로 촬영된 적어도 하나의 얼굴 이미지를 선택하고, 선택된 얼굴 이미지를 얼굴 인식용 신경망 모델에 입력하여 사전에 등록된 얼굴 이미지와의 유사도를 산출하고, 산출된 유사도를 미리 정해진 임계값과 비교하여 제2차 인증을 수행하는 (d) 단계를 포함한다.
일 실시예에 있어서, 상기 방법은, 상기 (a) 단계에서 상기 인증 절차가 개시되기 전, 상기 모바일 단말이 상기 모바일 단말의 트리거 동작을 설정하도록 요청하는 메시지를 출력하고, 해당 메시지의 출력 후 일정 설정시간 내에 발생한 상기 모바일 단말의 움직임을 상기 트리거 동작으로 등록하는 단계를 더 포함하고, 상기 (a) 단계는, 상기 인증 절차의 개시 후, 상기 모바일 단말이 상기 동작 인식 센서를 통해 상기 모바일 단말의 움직임을 센싱하여 상기 트리거 동작을 감지하는 (a1) 단계; 및 상기 (a1) 단계에서 상기 트리거 동작이 감지되면, 상기 모바일 단말이 상기 사용자의 얼굴 주위에서 이동되는 상기 이동 동작 중에 상기 모바일 단말의 이동 궤적을 추적하여 상기 이동 궤적 정보를 생성하는 (a2) 단계를 포함한다.
일 실시예에 있어서, 상기 (b) 단계는, 상기 (a1) 단계에서 상기 트리거 동작이 감지되면 상기 모바일 단말이 상기 이동 동작 중에 상기 연속 촬영을 수행하여 상기 사용자의 얼굴을 각각 다른 각도로 촬영한 상기 얼굴 이미지들을 획득하는 단계를 포함한다.
일 실시예에 있어서, 상기 방법은, 상기 (a) 단계에서 상기 인증 절차가 개시되기 전, 상기 모바일 단말이 상기 사용자의 얼굴을 여러 각도로 촬영하기 위한 상기 모바일 단말의 이동 궤적을 설정하도록 요청하는 메시지를 출력하고, 해당 메시지의 출력 후 일정 설정시간 내에 이동된 상기 모바일 단말의 이동 궤적에 따라 상기 기준 궤적 정보를 생성하여 등록하는 단계를 더 포함한다.
일 실시예에 있어서, 상기 (d) 단계는, 상기 제1차 인증이 성공하면, 상기 모바일 단말이 상기 (b) 단계에서 획득된 얼굴 이미지들 중 특정 각도로 촬영되되 서로 다른 각도로 촬영된 복수의 얼굴 이미지를 선택하는 (d1) 단계; 상기 모바일 단말이 상기 (d1) 단계에서 선택된 복수의 얼굴 이미지를 각각 상기 신경망 모델에 입력하여 사전에 등록된 얼굴 이미지와의 촬영 각도별 유사도를 산출하는 (d2) 단계; 및 상기 모바일 단말이 상기 촬영 각도별 유사도를 상기 임계값과 비교하여, 상기 촬영 각도별 유사도가 모두 상기 임계값 이상이거나 상기 촬영 각도별 유사도의 평균값이 상기 임계값 이상이면 상기 제2차 인증에 성공한 것으로 결정하는 (d3) 단계를 포함한다.
본 발명에 따른 실시예들은, 상술한 동작 또는 방법을 컴퓨터 시스템을 통해 실행하는 컴퓨터 프로그램으로서 기록매체에 기록되는 컴퓨터 프로그램을 이용하여 구현될 수 있다.
본 발명에 따르면, 사용자의 얼굴을 여러 각도로 촬영하기 위해 해당 사용자가 모바일 단말을 자신의 얼굴 주위에서 이동시키는 이동 동작의 이동 궤적과, 미리 정해진 기준 궤적을 비교하여 상기 사용자에 대한 제1차 인증을 수행하고, 이러한 제1차 인증이 성공한 경우에 상기 이동 동작 중에 획득된 상기 사용자의 얼굴 이미지들을 이용하여 상기 사용자에 대한 제2차 인증을 수행함으로써, 모바일 단말에 다수의 카메라나 거리 센서 등과 같은 별도의 센서를 마련하지 않고도 사진이나 영상 등을 이용한 스푸핑 공격을 방지할 수 있으며, 모바일 단말의 제조 비용을 절감할 수 있다.
또한, 복수의 카메라를 통해 3D 이미지를 구성하는 방식을 사용하지 않고, 단일의 카메라를 통해 연속 촬영된 얼굴 이미지들 중 서로 다른 특정 각도로 촬영된 복수의 얼굴 이미지를 선택하고, 선택된 복수의 얼굴 이미지를 각각 사전 등록된 얼굴 이미지와 비교하여 촬영 각도별 유사도를 산출하고, 촬영 각도별로 산출된 복수의 유사도를 모두 고려하여 해당 사용자의 인증 여부를 결정함으로써, 사용자 인증의 정확성과 신뢰성을 개선하면서도 인증 시간과 소비 전력을 감소시킬 수 있다.
또한, 사용자에 의해 사전 설정된 모바일 단말의 트리거 동작이 인증 절차의 개시 후 발생한 경우에만 사용자 인증을 위한 후속 절차가 수행되도록 함으로써, 사용자 인증의 정확성과 신뢰성을 더욱 개선하고 모바일 단말의 보안성을 강화할 수 있다.
나아가, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자라면, 본 발명에 따른 다양한 실시예들이 상기 언급되지 않은 여러 기술적 과제들을 해결할 수 있음을 이하의 설명으로부터 자명하게 이해할 수 있을 것이다.
도 1은 얼굴 인식을 통해 모바일 단말의 사용자를 인증하는 방식을 나타낸 도면이다.
도 2는 본 발명이 적용되는 모바일 단말의 일례를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 AI 기반의 모바일 사용자 인증 장치를 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 모바일 사용자 인증 방법의 인증 정보 등록 프로세스를 나타낸 흐름도이다.
도 5는 사용자의 얼굴을 여러 각도로 촬영하기 위한 모바일 단말의 이동 궤적을 예시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 모바일 사용자 인증 방법의 사용자 인증 프로세스를 나타낸 흐름도이다.
도 7은 모바일 단말의 이동 동작 중 연속 촬영된 사용자의 얼굴 이미지들을 예시한 도면이다.
이하, 본 발명의 기술적 과제에 대한 해결 방안을 명확화하기 위해 첨부도면을 참조하여 본 발명의 실시예들을 상세하게 설명한다. 다만, 본 발명을 설명함에 있어서 관련 공지기술에 관한 설명이 오히려 본 발명의 요지를 불명료하게 하는 경우 그에 관한 설명은 생략하기로 한다. 또한, 본 명세서에서 사용되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이들은 설계자, 제조자 등의 의도 또는 관례 등에 따라 달라질 수 있을 것이다. 그러므로 후술되는 용어들의 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1에는 얼굴 인식을 통해 모바일 단말의 사용자를 인증하는 방식이 도시되어 있다.
도 1에 도시된 바와 같이, 얼굴 인식(face recognition)을 통한 사용자 인증 방식이 모바일 단말(10)에 적용된 경우, 사용자(U)는 모바일 단말(10)의 카메라(12)로 자신의 얼굴을 촬영하고, 모바일 단말(10)은 촬영된 얼굴 이미지에서 특징 정보를 추출하여 얼굴 인식을 수행하게 된다. 이 경우, 모바일 단말(10)의 디스플레이(14)에는 카메라(12)를 통해 촬영되는 이미지가 실시간으로 표시될 수 있다.
이와 같이, 2D 이미지를 기반으로 얼굴 인식이 수행되는 경우, 모바일 단말(10)은 사전에 입력된 사용자의 얼굴 이미지에서 특징 정보를 추출하여 데이터베이스에 저장한 후, 사용자 인증 시 촬영된 사용자의 얼굴 이미지에서 특징 정보를 추출하고, 추출된 특징 정보와 데이터베이스에 저장된 특징 정보 간의 유사성을 확인하여 사용자 인증 여부를 결정하게 된다.
그러나, 일반적인 2D 이미지 기반의 얼굴 인식 기술은 사용자의 얼굴이 나타난 사진, 영상, 3D 마스크 등을 해당 사용자로 오인시키는 스푸핑(spoofing) 공격에 취약하다. 따라서, 본 발명은 사용자 인증 시 사용자에 의해 수행되는 모바일 단말의 고유한 이동 동작과, 해당 이동 동작 중에 모바일 단말의 카메라를 통해 촬영된 사용자의 얼굴 이미지들을 모두 사용자 본인 확인을 위한 인증 정보로 활용함으로써, 스푸핑 공격을 방지한다.
도 2에는 본 발명이 적용되는 모바일 단말의 일례가 도시되어 있다.
도 2에 도시된 바와 같이, 본 발명이 적용되는 모바일 단말(10)은 데이터 통신 또는 음성 통신을 수행하는 통신부(11), 촬영을 수행하여 디지털 이미지를 생성하는 카메라(12), 모바일 단말(10)의 움직임이나 위치를 인식하는 동작 인식 센서(motion recognition sensor)(13), 시각 정보를 출력하는 디스플레이(14), 음향을 출력하는 스피커(15), 데이터를 저장하는 메모리(16) 등을 포함할 수 있다. 이 경우, 상기 모바일 단말(10)의 동작 인식 센서(13)는 자이로, 가속도 센서, 지자기 센서, 고도계 중 2 이상을 선택적으로 포함한 복합 센서로 구성될 수 있다.
본 발명에 따른 AI(Artificial Intelligence) 기반의 모바일 사용자 인증 장치(100)는, 이러한 모바일 단말(10)에 설치되어 모바일 단말(10)와 연동하며 모바일 단말(10)의 사용자를 인증하도록 구성된다.
이를 위해, 상기 모바일 사용자 인증 장치(100)는 모바일 단말(10)에 내장되는 SoC(System on Chip) 형태로 구현되거나, 모바일 단말(10)의 프로세서와 해당 프로세서를 통해 실행되는 애플리케이션 프로그램으로 구현될 수 있다. 또한, 상기 모바일 사용자 인증 장치(100)는 모바일 단말(10)의 입력 단자에 연결되는 동글(dongle) 형태로 구현될 수도 있다.
도 3에는 본 발명의 일 실시예에 따른 AI 기반의 모바일 사용자 인증 장치(100)가 블록도로 도시되어 있다.
도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 AI 기반의 모바일 사용자 인증 장치(100)는 인증 정보 등록부(110), 트리거 동작 감지부(120), 이동 궤적 추적부(130), 얼굴 이미지 획득부(140), 제1 인증부(150) 및 제2 인증부(160)를 포함할 수 있다.
상기 인증 정보 등록부(110)는 사용자 인증 절차가 개시되기 전 인증 정보 등록 단계에서 사용자 본인 확인을 위한 고유의 인증 정보를 저장하여 등록하도록 구성된다. 이 경우, 상기 인증 정보는 사용자 본인 확인을 위해 수행되어야 하는 모바일 단말의 트리거 동작 및 이동 동작에 관한 정보와, 해당 사용자의 얼굴을 각각 특정 각도로 촬영한 얼굴 이미지들을 포함할 수 있다.
예컨대, 상기 인증 정보 등록부(110)는 사용자 인증 절차의 개시 전 인증 정보 등록 단계에서, 인증 절차의 특정 프로세스를 진행시키기 위한 모바일 단말의 트리거 동작을 설정하도록 요청하는 제1 메시지를, 모바일 단말(10)의 디스플레이(14)나 스피커(15)를 통해 출력하고, 상기 제1 메시지의 출력 후 일정 설정시간 내에 사용자에 의해 발생한 모바일 단말(10)의 움직임을 상기 트리거 동작으로 등록하도록 구성될 수 있다. 이 경우, 상기 트리거 동작은 모바일 단말(10)의 동작 인식 센서(13)를 통해 감지될 수 있는 다양한 동작을 포함할 수 있다. 예컨대, 상기 트리거 동작은 사용자에 의해 모바일 단말(10)이 특정 방향과 횟수로 쉐이킹(shaking)되는 동작, 공중에서 직선, 곡선, 삼각형, 사각형 또는 원을 그리며 이동되는 동작, 또는 일정 각도로 기울여지는 동작 등을 포함할 수 있다.
또한, 상기 인증 정보 등록부(110)는 상기 인증 정보 등록 단계에서, 사용자의 얼굴을 여러 각도로 촬영하기 위한 모바일 단말의 이동 궤적을 설정하도록 요청하는 제2 메시지를, 모바일 단말(10)의 디스플레이(14)나 스피커(15)를 통해 출력하고, 상기 제2 메시지의 출력 후 일정 설정시간 내에 사용자에 의해 이동된 모바일 단말(10)의 이동 궤적에 따라 기준 궤적 정보를 생성하여 등록하도록 구성될 수 있다. 이 경우, 상기 이동 궤적은 모바일 단말(10)의 동작 인식 센서(13)를 통해 감지될 수 있는 다양한 방향과 형태의 궤적을 포함할 수 있다. 예컨대, 상기 이동 궤적은 모바일 단말(10)이 사용자의 얼굴을 중심으로 사용자 얼굴의 일 측면에서 정면을 거쳐 타 측면까지 반원이나 아크를 그리며 이동하는 궤적을 포함할 수 있다. 상기 제2 메시지의 출력 후, 일정 설정시간 내에 모바일 단말(10)이 사용자에 의해 해당 사용자의 얼굴 주위에서 이동되면, 상기 인증 정보 등록부(110)는 모바일 단말(10)의 동작 인식 센서(13)를 통해 모바일 단말(10)의 시간별 위치, 이동 방향, 이동 속도 등을 감지하여 모바일 단말(10)의 이동 궤적을 산출하고, 산출된 이동 궤적에 따라 기준 궤적 정보를 생성하여 등록할 수 있다.
또한, 상기 인증 정보 등록부(110)는 상기 인증 정보 등록 단계에서, 사용자의 얼굴을 각각 특정 각도로 촬영한 얼굴 이미지들 또는 해당 얼굴 이미지들의 특징 정보를 저장하여 등록하도록 구성될 수 있다. 이 경우, 인증 정보 등록부(110)는 모바일 단말(10)이 사용자에 의해 설정된 이동 궤적에 따라 이동되면서 연속 촬영한 사용자의 얼굴 이미지들 중 특정 각도로 촬영되되 각각 다른 각도로 촬영된 복수의 얼굴 이미지를 선택하여 등록할 수 있다. 예컨대, 인증 정보 등록부(110)는 상기 연속 촬영된 얼굴 이미지들 중 해당 사용자의 얼굴을 정면에서 바라보는 각도로 촬영된 얼굴 정면 이미지와, 해당 사용자의 얼굴을 얼굴 좌측 또는 얼굴 우측에서 바라보는 각도로 촬영된 적어도 하나의 얼굴 측면 이미지를 선택하여 등록할 수 있다.
한편, 상기 트리거 동작 감지부(120)는 사용자 인증 절차가 개시되면, 모바일 단말(10)의 동작 인식 센서(13)를 통해 모바일 단말(10)의 움직임을 센싱하여 상기 트리거 동작을 감지하도록 구성된다.
상기 이동 궤적 추적부(130)는 사용자 인증 절차가 개시된 후, 모바일 단말(10)이 사용자의 얼굴 주위에서 이동되는 이동 동작 중에 모바일 단말(10)의 동작 인식 센서(13)를 통해 모바일 단말(10)의 이동 궤적을 추적하여 이동 궤적 정보를 생성하도록 구성된다. 이 경우, 이동 궤적 추적부(130)는 상기 트리거 동작 감지부(120)부에 의해 모바일 단말(10)의 트리거 동작이 감지되면 상기와 같이 모바일 단말(10)의 이동 궤적을 추적하도록 구성될 수 있다.
상기 얼굴 이미지 획득부(140)는 사용자 인증 절차가 개시된 후 모바일 단말(10)의 상기 이동 동작 중에, 모바일 단말(10)의 카메라(12)를 통해 연속 촬영을 수행하여 상기 사용자의 얼굴을 각각 다른 각도로 촬영한 다수의 얼굴 이미지들을 획득하도록 구성된다. 이 경우, 얼굴 이미지 획득부(140)는 상기 트리거 동작 감지부(120)에 의해 상기 트리거 동작이 감지되면 상기와 같이 연속 촬영을 수행하도록 구성될 수 있다.
일 실시예에 있어서, 상기 얼굴 이미지 획득부(140)는 얼굴 이미지 검출용 딥러닝 모델을 이용하여 카메라(12)를 통해 촬영된 이미지에서 얼굴 이미지를 획득하도록 구성될 수 있다. 이 경우, 상기 얼굴 이미지 검출용 딥러닝 모델은 얼굴 이미지를 포함하고 있는 많은 수의 이미지를 이용하여 얼굴 이미지를 검출하도록 학습된 CNN(Convolutional Neural Network)을 포함할 수 있다. 전체 이미지에서 검출되는 얼굴 이미지는 전체 이미지를 기준으로 결정되는 상대적 좌표 (X, Y)와 신뢰도 값으로 정의될 수 있다. 상기 신뢰도는 일종의 확률 값으로서 0에서 1까지의 범위를 가지나, 실험적 또는 이론적으로 결정된 임계값(threshold)을 기준으로 그 이상의 신뢰도를 갖는 이미지 부분만이 얼굴 이미지로 검출될 수 있다.
상기 제1 인증부(150)는 상기 이동 궤적 추적부(130)에 의해 생성된 이동 궤적 정보와 상기 인증 정보 등록부(110)에 의해 등록된 기준 궤적 정보를 비교하여 제1차 인증을 수행하도록 구성된다. 이 경우, 제1 인증부(150)는 상기 이동 궤적 정보를 통해 확인되는 모바일 단말(10)의 이동 궤적과 상기 기준 궤적 정보에 따른 이동 궤적 간에 동일성이 인정되면 상기 제1차 인증에 성공한 것으로 판단할 수 있다.
상기 제2 인증부(160)는 상기 제1차 인증이 성공하면, 상기 얼굴 이미지 획득부(140)에 의해 획득된 얼굴 이미지들을 이용하여 제2차 인증을 수행하도록 구성된다. 이를 위해, 상기 제2 인증부(160)는 얼굴 이미지 선택 모듈(172), 유사도 산출 모듈(174) 및 인증 결정 모듈(176)을 포함할 수 있다.
상기 얼굴 이미지 선택 모듈(172)은 얼굴 이미지 획득부(140)에 의해 획득된 얼굴 이미지들 중 특정 각도로 촬영된 적어도 하나의 얼굴 이미지를 선택하도록 구성된다. 이 경우, 얼굴 이미지 선택 모듈(172)은 각각의 얼굴 이미지에 나타난 얼굴 영역의 형태, 얼굴 영역에서 얼굴의 특징을 이루는 랜드마크(landmark)의 위치, 랜드마크들 간의 상대적 배치 관계 등을 기준으로 해당 얼굴 이미지의 촬영 각도를 식별할 수 있다. 또한, 얼굴 이미지 선택 모듈(172)에 의해 선택되는 얼굴 이미지는, 상기 인증 정보 등록부(110)에 의해 등록된 얼굴 이미지와 대응하는 각도로 촬영된 얼굴 이미지일 수 있다.
일 실시예에 있어서, 상기 얼굴 이미지 선택 모듈(172)은 상기 제1 인증부(150)에 의한 제1차 인증이 성공하면, 상기 획득된 얼굴 이미지들 중 특정 각도로 촬영되되 서로 다른 각도로 촬영된 복수의 얼굴 이미지를 선택하도록 구성될 수 있다. 예컨대, 상술한 인증 정보 등록 단계에서, 사용자 얼굴의 정면, 우측 45도 및 좌측 45도 각도로 각각 촬영된 얼굴 이미지들이 등록된 경우, 상기 얼굴 이미지 선택 모듈(172)은 등록된 얼굴 이미지들에 각각 대응하는 각도로 촬영된 얼굴 이미지들을 선택할 수 있다.
상기 유사도 산출 모듈(174)은 얼굴 이미지 선택 모듈(172)에 의해 선택된 얼굴 이미지를 미리 학습된 얼굴 인식용 신경망 모델(neural network model)에 입력하여 사전에 등록된 얼굴 이미지와의 유사도를 산출하도록 구성된다. 이 경우, 상기 얼굴 인식용 신경망 모델은 입력된 얼굴 이미지로부터 특징 벡터를 추출하고, 미리 등록된 얼굴 이미지의 특징 벡터와 추출된 특징 벡터를 비교하여 유사도를 산출할 수 있다. 미리 등록된 얼굴 이미지의 특징 벡터와 입력된 얼굴 이미지의 특징 벡터 간의 유사도는 cosine-similarity와 같은 비교 방법을 사용하여 산출될 수 있다.
상기 얼굴 이미지 선택 모듈(172)에 의해 각각 서로 다른 각도로 촬영된 복수의 얼굴 이미지가 선택된 경우, 상기 유사도 산출 모듈(174)은 선택된 복수의 얼굴 이미지를 각각 상기 신경망 모델에 입력하여 사전에 등록된 얼굴 이미지와의 촬영 각도별 유사도를 산출하도록 구성될 수 있다.
상기 인증 결정 모듈(176)은, 상기 유사도 산출 모듈(174)에 의해 산출된 유사도를 미리 정해진 임계값과 비교하여 제2차 인증의 성공 여부를 결정하도록 구성된다. 즉, 상기 인증 결정 모듈(176)은 상기 산출된 유사도가 해당 임계값 이상이면 상기 제2차 인증에 성공한 것으로 결정하고, 그렇지 않으면 상기 제2차 인증에 실패한 것으로 결정할 수 있다.
또한, 상기 유사도 산출 모듈(174)에 의해 촬영 각도별 유사도가 산출된 경우, 상기 인증 결정 모듈(176)은 상기 촬영 각도별 유사도를 각각 대응 임계값과 비교하여 상기 촬영 각도별 유사도가 모두 대응 임계값 이상이거나, 상기 촬영 각도별 유사도의 평균값이 대응 임계값 이상이면, 상기 제2차 인증이 성공한 것으로 결정할 수 있다.
이와 같이 해당 사용자에 대한 인증 여부가 결정되면, 상기 제2 인증부(160)는 해당 인증 결과를 모바일 단말(10)의 디스플레이(14)나 스피커(15)를 통해 출력할 수 있다.
도 4에는 본 발명의 일 실시예에 따른 모바일 사용자 인증 방법의 인증 정보 등록 프로세스가 흐름도로 도시되어 있다. 상술한 모바일 사용자 인증 장치(100)가 적용된 모바일 단말(10)의 세부 동작들을 도 4를 참조하여 시계열적으로 설명한다.
도 4에 도시된 바와 같이, 상기 모바일 단말(10)은 사용자 인증 절차의 개시 전 인증 정보 등록 단계에서, 사용자 본인 확인을 위한 고유의 인증 정보를 저장하여 등록할 수 있다. 인증 정보 등록 단계에서 등록되는 인증 정보는 사용자 본인 확인을 위해 수행되어야 하는 모바일 단말의 트리거 동작 및 이동 동작에 관한 정보와, 해당 사용자의 얼굴을 각각 특정 각도로 촬영한 얼굴 이미지들을 포함할 수 있다.
즉, 상기 인증 정보 등록 단계에서, 상기 모바일 단말(10)은 인증 절차의 특정 프로세스를 진행시키기 위한 모바일 단말의 트리거 동작을 설정하도록 요청하는 제1 메시지를, 모바일 단말(10)의 디스플레이(14)나 스피커(15)를 통해 출력할 수 있다(S400).
상기 제1 메시지의 출력 후, 일정 설정시간 내에 사용자에 의한 모바일 단말(10)의 움직임이 발생하면, 상기 모바일 단말(10)은 동작 인식 센서(13)를 통해 해당 움직임을 감지하고, 감지된 움직임을 상기 트리거 동작으로 등록할 수 있다(S410). 앞서 언급한 바와 같이, 모바일 단말(10)의 트리거 동작은 동작 인식 센서(13)를 통해 감지될 수 있는 다양한 동작을 포함할 수 있다. 예컨대, 상기 트리거 동작은 사용자에 의해 모바일 단말(10)이 특정 방향과 횟수로 쉐이킹(shaking)되는 동작, 공중에서 직선, 곡선, 삼각형, 사각형 또는 원을 그리며 이동되는 동작, 또는 일정 각도로 기울여지는 동작 등을 포함할 수 있다.
그 다음, 상기 모바일 단말(10)은 사용자의 얼굴을 여러 각도로 촬영하기 위한 모바일 단말의 이동 궤적을 설정하도록 요청하는 제2 메시지를, 모바일 단말(10)의 디스플레이(14)나 스피커(15)를 통해 출력할 수 있다(S420).
상기 제2 메시지의 출력 후, 일정 설정시간 내에 모바일 단말(10)이 사용자에 의해 사용자의 얼굴 주위에서 이동되면, 상기 모바일 단말(10)은 동작 인식 센서(13)를 통해 모바일 단말(10)의 시간별 위치, 이동 방향, 이동 속도 등을 감지하여 모바일 단말(10)의 이동 궤적을 산출하고, 산출된 이동 궤적에 따라 기준 궤적 정보를 생성하여 등록할 수 있다(S430).
그 다음, 상기 모바일 단말(10)은 사용자의 얼굴을 각각 특정 각도로 촬영한 얼굴 이미지들 또는 해당 얼굴 이미지들의 특징 정보를 촬영 각도별로 저장하여 등록할 수 있다(S440). 이 경우, 모바일 단말(10)은 사용자에 의해 설정된 이동 궤적에 따라 이동되면서 연속 촬영한 해당 사용자의 얼굴 이미지들 중 특정 각도로 촬영되되 각각 다른 각도로 촬영된 복수의 얼굴 이미지를 선택하여 등록할 수 있다. 예컨대, 모바일 단말(10)은 상기 연속 촬영된 얼굴 이미지들 중 해당 사용자의 얼굴을 정면으로 바라보는 각도로 촬영된 얼굴 정면 이미지와, 해당 사용자의 얼굴을 얼굴 좌측 또는 얼굴 우측에서 사선으로 바라보는 각도로 촬영된 적어도 하나의 얼굴 측면 이미지를 선택하여 등록할 수 있다.
도 5에는 사용자의 얼굴을 여러 각도로 촬영하기 위한 모바일 단말의 이동 궤적이 예시되어 있다.
도 5에 도시된 바와 같이, 모바일 단말(10)의 카메라(12)를 통해 사용자(U)의 얼굴을 여로 각도로 촬영하기 위한 모바일 단말(10)의 이동 궤적으로서, 해당 단말이 사용자(U)의 얼굴 우측면에서 정면을 거쳐 좌측면까지 사용자(U)의 얼굴을 중심으로 반원이나 아크를 그리며 이동하는 궤적으로 설정될 수 있다.상기 모바일 단말(10)의 동작 인식 센서(13)를 통해 감지될 수 있는 다양한 방향과 형태의 궤적으로 설정될 수 있다.
도 6은 본 발명의 일 실시예에 따른 모바일 사용자 인증 방법의 사용자 인증 프로세스가 흐름도로 도시되어 있다.
도 6에 도시된 바와 같이, 상기 모바일 단말(10)을 통해 인증을 받고자 하는 사용자는 우선 상기 모바일 단말(10)을 조작하여 사용자 인증 절차를 개시할 수 있다(S600). 인증 절차가 개시되면, 사용자는 모바일 단말(10)을 파지하여 사전에 설정한 트리거 동작을 수행한 다음, 사전에 설정한 이동 궤적을 따라 모바일 단말(10)을 자신의 얼굴 주위에서 이동시킨다.
즉, 인증 절차가 개시되면, 상기 모바일 단말(10)은 동작 인식 센서(13)를 통해 모바일 단말(10)의 움직임을 센싱하여 상기 트리거 동작을 감지한다(S610).
미리 설정된 대기시간 이내에 상기 트리거 동작이 감지되지 않으면(S612), 상기 모바일 단말(10)은 디스플레이(14)나 스피커(15)를 통해 인증 실패 메시지를 출력할 수 있다(S672).
반면, 미리 설정된 대기시간 이내에 상기 트리거 동작이 감지되면, 상기 모바일 단말(10)은 사용자에 의해 사용자의 얼굴 주위에서 이동되는 동안 동작 인식 센서(13)를 통해 모바일 단말(10)의 이동 궤적을 추적하여 이동 궤적 정보를 생성할 수 있다. 또한, 모바일 단말(10)은 상기와 같이 사용자의 얼굴 주위에서 이동되는 동안 카메라(12)를 통해 연속 촬영을 수행하여 여러 각도로 촬영된 사용자의 얼굴 이미지들을 획득할 수 있다(S620).
그 다음, 모바일 단말(10)은 생성된 이동 궤적 정보와 상기 인증 정보 등록 단계에서 등록된 기준 궤적 정보를 비교하여 제1차 인증을 수행한다. 이 경우, 상기 모바일 단말(10)은 상기 이동 궤적 정보를 통해 확인되는 이동 궤적과 상기 기준 궤적 정보에 따른 이동 궤적 간에 동일성이 인정되면, 상기 모바일 단말(10)이 미리 등록된 기준 궤적을 따라 이동된 것으로 보고, 상기 제1차 인증에 성공한 것으로 판단한다(S630). 반면, 상기 모바일 단말(10)이 미리 등록된 기준 궤적을 따라 이동되지 않은 것으로 보이면, 상기 모바일 단말(10)은 상기 제1차 인증에 실패한 것으로 판단하고 인증 실패 메시지를 출력할 수 있다(S672).
상기 제1차 인증이 성공하면, 상기 모바일 단말(10)은 사용자의 얼굴 주위에서 이동되는 동안 획득된 얼굴 이미지들을 이용하여 제2차 인증을 수행할 수 있다.
즉, 상기 모바일 단말(10)은 획득된 얼굴 이미지들 중 특정 각도로 촬영된 적어도 하나의 얼굴 이미지를 선택할 수 있다. 앞서 언급한 바와 같이, 상기 모바일 단말(10)은 각각의 얼굴 이미지에 나타난 얼굴 영역의 형태, 얼굴 영역에서 얼굴의 특징을 이루는 랜드마크의 위치, 랜드마크들 간의 상대적 배치 관계 등을 기준으로 해당 얼굴 이미지의 촬영 각도를 식별할 수 있다. 또한, 상기 모바일 단말(10)에 의해 선택되는 얼굴 이미지들은, 상기 인증 정보 등록 단계에서 등록된 얼굴 이미지들과 각각 대응하는 각도로 촬영된 얼굴 이미지들일 수 있다.
도 7에는 모바일 단말의 이동 동작 중 연속 촬영된 사용자의 얼굴 이미지들이 예시되어 있다.
도 7에 도시된 바와 같이, 상기 모바일 단말(10)은 사용자의 얼굴 주위에서 이동되는 동안, 카메라(12)를 통해 일정 주기로 연속 촬영을 수행하여 사용자의 얼굴을 서로 다른 각도로 촬영한 얼굴 이미지들을 획득할 수 있다.
예컨대, 상기 모바일 단말(10)이 사용자 얼굴의 우측면에서 정면을 거쳐 좌측면까지 사용자 얼굴을 중심으로 반원 또는 아크 형태의 궤적을 그리며 이동된 경우, 상기 모바일 단말(10)은 사용자 얼굴의 정면 방향을 기준으로 사용자 얼굴의 우측 90도 각도로 촬영된 얼굴 이미지(F1)에서 사용자 얼굴의 좌측 90도 각도로 촬영된 얼굴 이미지(F5)까지 다양한 각도로 촬영된 얼굴 이미지들을 획득할 수 있다.
그리고 상기 제1차 인증이 성공하면, 상기 모바일 단말(10)은 획득된 얼굴 이미지들 중 특정 각도로 촬영되되 서로 다른 각도로 촬영된 복수의 얼굴 이미지를 얼굴 인식을 위한 입력 이미지로 선택할 수 있다. 예컨대, 상기 인증 정보 등록 단계에서, 사용자 얼굴의 정면, 우측 45도 및 좌측 45도 각도로 각각 촬영된 얼굴 이미지들이 등록된 경우, 상기 모바일 단말(10)은 상기 획득된 얼굴 이미지들 중 사용자 얼굴의 정면에서 촬영된 얼굴 이미지(F3), 사용자 얼굴의 우측 45도 각도로 촬영된 얼굴 이미지(F2), 및 사용자 얼굴의 좌측 45도 각도로 촬영된 얼굴 이미지(F4)를 얼굴 인식을 위한 입력 이미지로 선택할 수 있다.
다시 도 6을 참조하면, 상기 모바일 단말(10)은 상기와 같이 선택된 얼굴 이미지를 미리 학습된 얼굴 인식용 신경망 모델에 입력하여 사전에 등록된 얼굴 이미지와의 유사도를 산출할 수 있다(S650).
각각 서로 다른 각도로 촬영된 복수의 얼굴 이미지가 얼굴 인식을 위한 입력 이미지로 선택된 경우, 상기 모바일 단말(10)은 선택된 복수의 얼굴 이미지를 각각 상기 신경망 모델에 입력하여 사전에 등록된 얼굴 이미지와의 촬영 각도별 유사도를 산출할 수 있다.
이 경우, 상기 신경망 모델은 입력된 얼굴 이미지와 사전 등록된 얼굴 이미지를 촬영 각도별로 비교하여 양자 간의 유사도를 산출하도록 구성될 수도 있다. 예컨대, 상기 신경망 모델은 사용자 얼굴의 좌측 45도 각도로 촬영된 얼굴 이미지가 입력되면, 사전 등록된 얼굴 이미지들 중 동일 각도로 촬영된 얼굴 이미지의 특징 벡터를 상기 입력된 얼굴 이미지의 특징 벡터와 비교하여, 해당 촬영 각도(좌측 45도)에 대응하는 유사도를 산출할 수 있다.
그 다음, 상기 모바일 단말(10)은 산출된 유사도를 미리 정해진 임계값과 비교하여 제2차 인증의 성공 여부를 결정할 수 있다(S660).
예컨대, 상기와 같이 촬영 각도별 유사도가 산출된 경우, 상기 모바일 단말(10)은 상기 촬영 각도별 유사도를 각각 대응 임계값과 비교하여 상기 촬영 각도별 유사도가 모두 대응 임계값 이상이거나, 상기 촬영 각도별 유사도의 평균값이 대응 임계값 이상이면, 상기 제2차 인증에 성공한 것으로 결정할 수 있다. 그 결과, 상기 모바일 단말(10)은 디스플레이(14)나 스피커(15)를 통해 인증 성공 메시지를 출력할 수 있다(S670). 반면, 상기 촬영 각도별 유사도 중 어느 하나가 대응 임계값 미만이거나, 상기 촬영 각도별 유사도의 평균값이 대응 임계값 미만이면, 상기 모바일 단말(10)은 상기 제2차 인증에 실패한 것으로 결정할 수 있다. 그 결과, 상기 모바일 단말(10)은 디스플레이(14)나 스피커(15)를 통해 인증 실패 메시지를 출력할 수 있다(S672).
한편, 본 발명에 따른 실시예들은 컴퓨터 시스템과 이러한 컴퓨터 시스템을 구동하는 컴퓨터 프로그램으로 구현될 수 있다. 본 발명의 실시예들이 컴퓨터 프로그램으로 구현되는 경우, 본 발명의 구성요소들은 해당 컴퓨터 시스템을 통해 해당 동작이나 작업을 실행하는 프로그램 세그먼트들이다. 이러한 컴퓨터 프로그램 내지 프로그램 세그먼트들은 컴퓨터로 판독 가능한 다양한 기록매체에 저장될 수 있다. 컴퓨터로 판독 가능한 기록매체에는 컴퓨터 시스템이 읽어들일 수 있는 데이터를 기록하는 모든 종류의 매체가 포함된다. 예컨대, 컴퓨터로 판독 가능한 기록매체에는 ROM, RAM, EEPROM, 레지스터, 플래시 메모리, CD-ROM, 자기 테이프, 하드 디스크, 플로피디스크, 또는 광 데이터 기록장치 등이 포함될 수 있다. 또한, 이러한 기록매체는 다양한 네트워크로 연결된 컴퓨터 시스템들에 분산 배치되어 프로그램 코드들을 분산 방식으로 저장하거나 실행시킬 수 있다.
상술한 바와 같이, 본 발명에 따르면, 사용자의 얼굴을 여러 각도로 촬영하기 위해 해당 사용자가 모바일 단말을 자신의 얼굴 주위에서 이동시키는 이동 동작의 이동 궤적과, 미리 정해진 기준 궤적을 비교하여 상기 사용자에 대한 제1차 인증을 수행하고, 이러한 제1차 인증이 성공한 경우에 상기 이동 동작 중에 획득된 상기 사용자의 얼굴 이미지들을 이용하여 상기 사용자에 대한 제2차 인증을 수행함으로써, 모바일 단말에 다수의 카메라나 거리 센서 등과 같은 별도의 센서를 마련하지 않고도 사진이나 영상 등을 이용한 스푸핑 공격을 방지할 수 있으며, 모바일 단말의 제조 비용을 절감할 수 있다.
또한, 복수의 카메라를 통해 3D 이미지를 구성하는 방식을 사용하지 않고, 단일의 카메라를 통해 연속 촬영된 얼굴 이미지들 중 서로 다른 특정 각도로 촬영된 복수의 얼굴 이미지를 선택하고, 선택된 복수의 얼굴 이미지를 각각 사전 등록된 얼굴 이미지와 비교하여 촬영 각도별 유사도를 산출하고, 촬영 각도별로 산출된 복수의 유사도를 모두 고려하여 해당 사용자의 인증 여부를 결정함으로써, 사용자 인증의 정확성과 신뢰성을 개선하면서도 인증 시간과 소비 전력을 감소시킬 수 있다.
또한, 사용자에 의해 사전 설정된 모바일 단말의 트리거 동작이 인증 절차의 개시 후 발생한 경우에만 사용자 인증을 위한 후속 절차가 수행되도록 함으로써, 사용자 인증의 정확성과 신뢰성을 더욱 개선하고 모바일 단말의 보안성을 강화할 수 있다.
나아가, 본 발명에 따른 실시예들은, 당해 기술 분야는 물론 관련 기술 분야에서 본 명세서에 언급된 내용 이외의 다른 여러 기술적 과제들을 해결할 수 있음은 물론이다.
지금까지 본 발명에 대해 구체적인 실시예들을 참고하여 설명하였다. 그러나 당업자라면 본 발명의 기술적 범위에서 다양한 변형 실시예들이 구현될 수 있음을 명확하게 이해할 수 있을 것이다. 그러므로 앞서 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 할 것이다. 즉, 본 발명의 진정한 기술적 사상의 범위는 청구범위에 나타나 있으며, 그와 균등범위 내에 있는 모든 차이점은 본 발명에 포함되는 것으로 해석되어야 할 것이다.
100 : 모바일 사용자 인증 장치 110 : 인증 정보 등록부
120 : 트리거 동작 감지부 130 : 이동 궤적 추적부
140 : 얼굴 이미지 획득부 150 : 제1 인증부
160 : 제2 인증부

Claims (11)

  1. 카메라 및 동작 인식 센서를 구비한 모바일 단말과 연동하여 상기 모바일 단말의 사용자를 인증하는 AI 기반의 모바일 사용자 인증 장치로서,
    인증 절차가 개시된 후, 상기 모바일 단말이 상기 사용자의 얼굴 주위에서 이동되는 이동 동작 중에 상기 동작 인식 센서를 통해 상기 모바일 단말의 이동 궤적을 추적하여 이동 궤적 정보를 생성하는 이동 궤적 추적부;
    상기 이동 동작 중에 상기 카메라를 통해 연속 촬영을 수행하여 상기 사용자의 얼굴을 각각 다른 각도로 촬영한 얼굴 이미지들을 획득하는 얼굴 이미지 획득부;
    상기 이동 궤적 정보와 미리 정해진 기준 궤적 정보를 비교하여 제1차 인증을 수행하는 제1 인증부; 및
    상기 제1차 인증이 성공하면, 상기 얼굴 이미지 획득부에 의해 획득된 얼굴 이미지들 중 특정 각도로 촬영된 적어도 하나의 얼굴 이미지를 선택하고, 선택된 얼굴 이미지를 얼굴 인식용 신경망 모델에 입력하여 사전에 등록된 얼굴 이미지와의 유사도를 산출하고, 산출된 유사도를 미리 정해진 임계값과 비교하여 제2차 인증을 수행하는 제2 인증부를 포함하고,
    상기 인증 절차의 개시 전, 상기 모바일 단말의 트리거 동작을 설정하도록 요청하는 메시지를 상기 모바일 단말을 통해 출력하고, 해당 메시지의 출력 후 일정 설정시간 내에 발생한 상기 모바일 단말의 움직임을 상기 트리거 동작으로 등록하는 인증 정보 등록부; 및
    상기 인증 절차가 개시되면 상기 동작 인식 센서를 통해 상기 모바일 단말의 움직임을 센싱하여 상기 트리거 동작을 감지하는 트리거 동작 감지부를 더 포함하고,
    상기 이동 궤적 추적부는, 상기 트리거 동작 감지부에 의해 상기 트리거 동작이 감지되면 상기 모바일 단말의 이동 궤적을 추적하도록 구성되고,
    상기 제2 인증부는,
    상기 제1차 인증이 성공하면, 상기 획득된 얼굴 이미지들 중 특정 각도로 촬영되되 서로 다른 각도로 촬영된 복수의 얼굴 이미지를 선택하는 얼굴 이미지 선택 모듈;
    선택된 복수의 얼굴 이미지를 각각 상기 신경망 모델에 입력하여 사전에 등록된 얼굴 이미지와의 촬영 각도별 유사도를 산출하는 유사도 산출 모듈; 및
    상기 촬영 각도별 유사도를 상기 임계값과 비교하여, 상기 촬영 각도별 유사도가 모두 상기 임계값 이상이거나 상기 촬영 각도별 유사도의 평균값이 상기 임계값 이상이면, 상기 제2차 인증에 성공한 것으로 결정하는 인증 결정 모듈을 포함하는 AI 기반의 모바일 사용자 인증 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 얼굴 이미지 획득부는, 상기 트리거 동작 감지부에 의해 상기 트리거 동작이 감지되면 상기 연속 촬영을 수행하도록 구성된 것을 특징으로 AI 기반의 모바일 사용자 인증 장치.
  4. 제1항에 있어서,
    상기 인증 절차의 개시 전, 상기 사용자의 얼굴을 여러 각도로 촬영하기 위한 상기 모바일 단말의 이동 궤적을 설정하도록 요청하는 메시지를 상기 모바일 단말을 통해 출력하고, 해당 메시지의 출력 후 일정 설정시간 내에 이동된 상기 모바일 단말의 이동 궤적에 따라 상기 기준 궤적 정보를 생성하여 등록하는 인증 정보 등록부를 더 포함하는 것을 특징으로 하는 AI 기반의 모바일 사용자 인증 장치.
  5. 삭제
  6. 카메라 및 동작 인식 센서를 구비한 모바일 단말이 해당 모바일 단말의 사용자를 인증하는 AI 기반의 모바일 사용자 인증 방법으로서,
    인증 절차가 개시된 후, 상기 모바일 단말이 상기 사용자의 얼굴 주위에서 이동되는 이동 동작 중에 상기 동작 인식 센서를 통해 상기 모바일 단말의 이동 궤적을 추적하여 이동 궤적 정보를 생성하는 (a) 단계;
    상기 모바일 단말이 상기 이동 동작 중에 상기 카메라를 통해 연속 촬영을 수행하여 상기 사용자의 얼굴을 각각 다른 각도로 촬영한 얼굴 이미지들을 획득하는 (b) 단계;
    상기 모바일 단말이 상기 이동 궤적 정보와 미리 정해진 기준 궤적 정보를 비교하여 제1차 인증을 수행하는 (c) 단계; 및
    상기 제1차 인증이 성공하면, 상기 모바일 단말이 상기 (b) 단계에서 획득된 얼굴 이미지들 중 특정 각도로 촬영된 적어도 하나의 얼굴 이미지를 선택하고, 선택된 얼굴 이미지를 얼굴 인식용 신경망 모델에 입력하여 사전에 등록된 얼굴 이미지와의 유사도를 산출하고, 산출된 유사도를 미리 정해진 임계값과 비교하여 제2차 인증을 수행하는 (d) 단계를 포함하고,
    상기 (a) 단계에서 상기 인증 절차가 개시되기 전, 상기 모바일 단말이 상기 모바일 단말의 트리거 동작을 설정하도록 요청하는 메시지를 출력하고, 해당 메시지의 출력 후 일정 설정시간 내에 발생한 상기 모바일 단말의 움직임을 상기 트리거 동작으로 등록하는 단계를 더 포함하고,
    상기 (a) 단계는,
    상기 인증 절차의 개시 후, 상기 모바일 단말이 상기 동작 인식 센서를 통해 상기 모바일 단말의 움직임을 센싱하여 상기 트리거 동작을 감지하는 (a1) 단계; 및
    상기 (a1) 단계에서 상기 트리거 동작이 감지되면, 상기 모바일 단말이 상기 사용자의 얼굴 주위에서 이동되는 상기 이동 동작 중에 상기 모바일 단말의 이동 궤적을 추적하여 상기 이동 궤적 정보를 생성하는 (a2) 단계를 포함하고,
    상기 (d) 단계는,
    상기 제1차 인증이 성공하면, 상기 모바일 단말이 상기 (b) 단계에서 획득된 얼굴 이미지들 중 특정 각도로 촬영되되 서로 다른 각도로 촬영된 복수의 얼굴 이미지를 선택하는 (d1) 단계;
    상기 모바일 단말이 상기 (d1) 단계에서 선택된 복수의 얼굴 이미지를 각각 상기 신경망 모델에 입력하여 사전에 등록된 얼굴 이미지와의 촬영 각도별 유사도를 산출하는 (d2) 단계; 및
    상기 모바일 단말이 상기 촬영 각도별 유사도를 상기 임계값과 비교하여, 상기 촬영 각도별 유사도가 모두 상기 임계값 이상이거나 상기 촬영 각도별 유사도의 평균값이 상기 임계값 이상이면 상기 제2차 인증에 성공한 것으로 결정하는 (d3) 단계를 포함하는 AI 기반의 모바일 사용자 인증 방법.
  7. 삭제
  8. 제6항에 있어서,
    상기 (b) 단계는, 상기 (a1) 단계에서 상기 트리거 동작이 감지되면 상기 모바일 단말이 상기 이동 동작 중에 상기 연속 촬영을 수행하여 상기 사용자의 얼굴을 각각 다른 각도로 촬영한 상기 얼굴 이미지들을 획득하는 단계를 포함하는 것을 특징으로 AI 기반의 모바일 사용자 인증 방법.
  9. 제6항에 있어서,
    상기 (a) 단계에서 상기 인증 절차가 개시되기 전, 상기 모바일 단말이 상기 사용자의 얼굴을 여러 각도로 촬영하기 위한 상기 모바일 단말의 이동 궤적을 설정하도록 요청하는 메시지를 출력하고, 해당 메시지의 출력 후 일정 설정시간 내에 이동된 상기 모바일 단말의 이동 궤적에 따라 상기 기준 궤적 정보를 생성하여 등록하는 단계를 더 포함하는 것을 특징으로 하는 AI 기반의 모바일 사용자 인증 방법.
  10. 삭제
  11. 제6항, 제8항 또는 제9항 중 어느 한 항에 따른 방법을 컴퓨터를 통해 실행하는 컴퓨터 프로그램으로서 컴퓨터로 판독 가능한 기록매체에 기록된 컴퓨터 프로그램.
KR1020200139462A 2020-10-26 2020-10-26 Ａｉ 기반의 모바일 사용자 인증 장치 및 방법 KR102386918B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200139462A KR102386918B1 (ko) 2020-10-26 2020-10-26 Ａｉ 기반의 모바일 사용자 인증 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200139462A KR102386918B1 (ko) 2020-10-26 2020-10-26 Ａｉ 기반의 모바일 사용자 인증 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102386918B1 true KR102386918B1 (ko) 2022-04-14

Family

ID=81211146

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200139462A KR102386918B1 (ko) 2020-10-26 2020-10-26 Ａｉ 기반의 모바일 사용자 인증 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102386918B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015151196A1 (ja) * 2014-03-31 2015-10-08 楽天株式会社 認証システム、認証方法、および認証プログラム
KR20170006355A (ko) * 2015-07-08 2017-01-18 주식회사 케이티 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
KR102137981B1 (ko) * 2014-04-07 2020-07-27 아이베리파이 인크. 사용자 인증을 위한 바이오 리쉬

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015151196A1 (ja) * 2014-03-31 2015-10-08 楽天株式会社 認証システム、認証方法、および認証プログラム
KR102137981B1 (ko) * 2014-04-07 2020-07-27 아이베리파이 인크. 사용자 인증을 위한 바이오 리쉬
KR20170006355A (ko) * 2015-07-08 2017-01-18 주식회사 케이티 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치

Similar Documents

Publication Publication Date Title
US10339402B2 (en) Method and apparatus for liveness detection
US12014571B2 (en) Method and apparatus with liveness verification
JP6610906B2 (ja) 活動検出方法及びデバイス、並びに本人認証方法及びデバイス
US20190012450A1 (en) Biometric-based authentication method, apparatus and system
US11790494B2 (en) Facial verification method and apparatus based on three-dimensional (3D) image
KR101700595B1 (ko) 얼굴 인식 장치 및 그 방법
CN105868677B (zh) 一种活体人脸检测方法及装置
JP2018160237A (ja) 顔認証方法及び装置
WO2013159686A1 (en) Three-dimensional face recognition for mobile devices
KR101724971B1 (ko) 광각 카메라를 이용한 얼굴 인식 시스템 및 그를 이용한 얼굴 인식 방법
US10885171B2 (en) Authentication verification using soft biometric traits
KR20170046448A (ko) 복합 인증 장치 및 방법
JP2020086922A (ja) 照合システム、照合方法及び照合プログラム
JP2015138449A (ja) 個人認証装置、個人認証方法及びプログラム
JP4899552B2 (ja) 認証装置、認証方法、認証プログラム、これを記録したコンピュータ読み取り可能な記録媒体
KR101362597B1 (ko) 사용자 인증기능을 갖는 이동통신단말기 및 그 사용자인증방법
KR102386918B1 (ko) Ａｉ 기반의 모바일 사용자 인증 장치 및 방법
JP5861530B2 (ja) 利用者検知装置、方法、及びプログラム
JP2006277146A (ja) 照合方法および照合装置
KR20230094062A (ko) 얼굴 인식 시스템 및 얼굴 인식 시스템을 위한 제어 방법
KR102301785B1 (ko) 얼굴 연속 인증을 위한 방법 및 장치
JPWO2020185948A5 (ko)
KR101718244B1 (ko) 얼굴 인식을 위한 광각 영상 처리 장치 및 방법
KR102135959B1 (ko) 지문 인증을 위한 탬플릿 선택 우선순위를 이용하는 빠른 지문 인증 방법 및 그 장치
KR102483647B1 (ko) 라이브니스 검증 방법 및 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant