KR102158320B1 - 사용자 인증 방법, 사용자 인증 장치, 그리고 사용자 인증 프로그램 - Google Patents

사용자 인증 방법, 사용자 인증 장치, 그리고 사용자 인증 프로그램 Download PDF

Info

Publication number
KR102158320B1
KR102158320B1 KR1020160115267A KR20160115267A KR102158320B1 KR 102158320 B1 KR102158320 B1 KR 102158320B1 KR 1020160115267 A KR1020160115267 A KR 1020160115267A KR 20160115267 A KR20160115267 A KR 20160115267A KR 102158320 B1 KR102158320 B1 KR 102158320B1
Authority
KR
South Korea
Prior art keywords
user
authentication
image
feature information
facial feature
Prior art date
Application number
KR1020160115267A
Other languages
English (en)
Other versions
KR20180027957A (ko
Inventor
김병민
권재철
문일현
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020160115267A priority Critical patent/KR102158320B1/ko
Publication of KR20180027957A publication Critical patent/KR20180027957A/ko
Application granted granted Critical
Publication of KR102158320B1 publication Critical patent/KR102158320B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3226—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN
    • H04L9/3231—Biological data, e.g. fingerprint, voice or retina
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3226—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 발명은 인증 장치가 사용자를 인증하기 위한 방법으로서, 복수의 구획된 영역을 포함하는 화면을 표시하는 단계, 상기 복수의 구획된 영역 중 하나의 영역을 순차적으로 응시하는 상기 사용자를 촬영한 인증 영상을 수신하는 단계, 상기 인증 영상으로부터 상기 사용자 시선이 향하는 각 시선 위치를 기술하는 특징 정보 들을 추출하고, 상기 특징 정보들과 미리 저장된 사용자의 시선 위치를 촬영한 등록 영상에서 추출한 사용자 시선이 향하는 각 위치를 기술하는 등록 특징 정보들과의 유사도를 산출하는 단계, 그리고 상기 사용자 시선 위치를 기술하는 특징 정보들과 상기 등록 특징 정보들의 유사도가 일정 기준치 이상이면 인증을 완료하는 단계를 포함한다.

Description

사용자 인증 방법, 사용자 인증 장치, 그리고 사용자 인증 프로그램{METHOD FOR AUTHENTICATING A USER AND TERMINAL PROVIDING PROGRAM FOR AUTHENTICATING A USER}
본 발명은 사용자 인증 방법, 사용자 인증 장치, 그리고 사용자 인증 프로그램에 관한 것이다.
사용자 인증 기술은 전자 결제 시스템과 같은 보안 분야에서 핵심적인 기술이다. 최근 전자 은행 시대를 맞아 다양한 결제 및 뱅킹 수단이 개발되고 있으며, 그에 따라 사용자 인증 방법 제공 필요성이 요구되고 있다.
전통적인 비밀 번호를 이용하는 키 입력 형태의 인증 방법은 비밀 번호를 입력하는 과정에서 비밀 번호가 유출되어 도용될 가능성이 있는 문제점이 있다.
이러한 문제점을 해결하기 위하여 얼굴 인식 기반 사용자 인증 방법이 제안되고 있다. 얼굴 인식 기반 사용자 인증 방법은 비접촉식 생체 인식 기술로 기존의 전통적인 비밀 번호 기반의 인증 수단의 문제점을 보완할 수 있다. 그러나 사진을 이용한 위조 얼굴을 이용하여 부정한 방법으로 인증을 시도할 경우 이를 구분하기 어렵다는 문제점이 있다.
이러한 문제점을 해결하기 위하여 적외선 카메라와 같은 열 영상 카메라 또는 거리 카메라 등의 특수한 용도의 카메라를 이용하여 위조 얼굴을 분별하는 방법이 제안되고 있지만, 일반적인 단말은 고가의 특수 용도 카메라를 장착하기 어렵다는 문제가 있다.
본 발명이 해결하고자 하는 과제는 안전하고 신뢰성 높은 사용자 인증 방법, 사용자 인증 장치, 그리고 사용자 인증 프로그램을 제공하는 것이다
본 발명의 한 실시예에 따른 사용자 인증 장치가 사용자를 인증하기 위한 방법은 다수의 분할 영역을 포함하는 등록 화면을 표시하고, 상기 사용자가 상기 분할 영역 중 적어도 두 개 이상의 특정 영역을 순차적으로 응시하는 등록 영상을 촬영하고, 상기 등록 영상을 저장하는 단계, 상기 분할 구역을 포함하는 인증 화면을 표시하고, 상기 사용자가 상기 분할 구역 중 적어도 두 개 이상의 특정 영역을 순차적으로 응시하는 인증 영상을 촬영하는 단계, 그리고 상기 등록 영상에서 상기 사용자가 순차적으로 응시하는 시선 위치들과 상기 인증 영상에서 상기 사용자가 순차적으로 응시하는 시선 위치들이 일치하면 상기 사용자를 인증하는 단계를 포함한다.
상기 사용자를 인증하는 단계는 상기 등록 영상에서 상기 사용자가 응시하는 시선 위치를 기술하는 시선 위치 특징 정보를 추출하는 단계, 상기 인증 영상에서 상기 사용자가 응시하는 시선 위치를 기술하는 시선 위치 특징 정보를 추출하는 단계, 상기 등록 영상의 시선 위치 특징 정보와 상기 인증 영상의 시선 위치 특징 정보의 유사도를 계산하는 단계, 그리고 상기 유사도가 기준치 이상이면 상기 사용자가 응시하는 시선 위치가 일치한 것으로 판단하는 단계를 더 포함할 수 있다.
상기 등록 영상에서 상기 사용자가 응시하는 시선 위치를 기술하는 특징 정보를 추출하는 단계, 그리고 상기 인증 영상에서 상기 사용자가 응시하는 시선 위치를 기술하는 특징 정보를 추출하는 단계는 상기 사용자의 눈꺼풀의 닫힘 정도, 눈동자의 상대적 위치, 그리고 눈동자의 모양을 표현하는 특징점 중 적어도 하나 이상의 특징점을 이용하여 상기 시선 위치를 기술하는 특징 정보를 추출할 수 있다.
상기 사용자를 인증하는 단계는 상기 등록 영상에서 상기 사용자의 얼굴과 상기 인증 영상에서 상기 사용자의 얼굴이 일치하면 상기 사용자를 인증할 수 있다.
상기 사용자를 인증하는 단계는 상기 등록 영상에서 상기 사용자의 얼굴 특징을 기술하는 얼굴 특징 정보를 추출하는 단계, 상기 인증 영상에서 상기 사용자의 얼굴 특징을 기술하는 얼굴 특징 정보를 추출하는 단계, 상기 등록 영상의 얼굴 특징 정보와 상기 인증 영상의 얼굴 특징 정보의 유사도를 계산하는 단계, 그리고 상기 얼굴 유사도가 기준치 이상이면 상기 사용자의 얼굴이 일치한 것으로 판단하는 단계를 더 포함할 수 있다.
본 발명의 한 실시예에 따른 사용자 인증 장치가 사용자를 인증하는 방법은 상기 사용자로부터 입력된 문자 또는 기호의 조합으로 구성되는 등록 코드를 저장하는 단계, 상기 문자 또는 상기 기호에 대응되는 복수의 분할 영역이 배열된 캘리브레이션 화면을 표시하고, 상기 사용자가 상기 각 분할 영역을 응시하는 복수의 캘리브레이션 영상을 촬영하고, 상기 문자 또는 상기 기호, 그리고 상기 문자 또는 상기 기호에 대응되는 상기 복수의 캘리브레이션 영상을 저장하는 단계, 상기 복수의 분할 영역이 배열된 인증 화면을 표시하고, 상기 사용자가 상기 분할 영역 중 적어도 두 개 이상의 특정 영역을 순차적으로 응시하는 인증 영상을 촬영하는 단계, 상기 인증 영상에서 상기 사용자가 순차적으로 응시하는 시선 위치들과 일치하는 시선 위치를 응시하는 상기 사용자를 촬영한 캘리브레이션 영상들을 추출하는 단계, 그리고 상기 캘리브레이션 영상들과 대응하는 상기 문자 또는 상기 기호들이 상기 등록 코드와 일치하면 상기 사용자를 인증하는 단계를 포함한다.
상기 캘리브레이션 영상을 추출하는 단계는 상기 인증 영상에서 상기 사용자가 상기 특정 영역을 응시하는 시선 위치를 기술하는 시선 위치 특징 정보를 추출하는 단계, 그리고 상기 복수의 캘리브레이션 영상에서 상기 사용자가 상기 각 분할 영역을 응시하는 시선 위치를 기술하는 복수의 시선 위치 특징 정보를 추출하는 단계를 포함하고, 상기 인증 영상의 시선 위치 특징 정보와 가장 유사한 시선 위치 특징 정보를 갖는 상기 캘리브레이션 영상을 추출할 수 있다.
상기 시선 위치 특징 정보를 추출하는 단계는 상기 사용자의 눈꺼풀의 닫힘 정도, 눈동자의 상대적 위치, 그리고 눈동자의 모양을 표현하는 특징점 중 적어도 하나 이상의 특징점을 이용하여 상기 시선 위치를 기술하는 특징 정보를 추출할 수 있다.
본 발명의 한 실시예에 따른 적어도 하나 이상의 프로세서에 의해 동작하는 사용자 인증 장치는 다수의 분할 영역을 포함하는 화면을 표시하는 디스플레이, 상기 사용자가 상기 분할 영역 중 적어도 두 개 이상의 특정 영역을 순차적으로 응시하는 등록 영상, 그리고 인증 영상을 촬영하는 카메라, 상기 등록 영상을 저장하고, 상기 인증 영상을 분석하여 상기 사용자를 인증하기 위한 프로그램을 저장하는 메모리, 상기 디스플레이, 상기 카메라, 그리고 상기 메모리와 연동하여 상기 프로그램에 구현된 동작을 실행하는 프로세서를 포함하고, 상기 프로그램은 상기 메모리에 저장된 상기 등록 영상에서 상기 사용자가 순차적으로 응시하는 시선 위치들과 상기 인증 영상에서 상기 사용자가 순차적으로 응시하는 시선 위치들이 일치하면 상기 사용자를 인증하는 명령어를 포함한다.
상기 프로그램은 상기 등록 영상에서 상기 사용자가 응시하는 시선 위치를 기술하는 시선 위치 특징 정보를 추출하고, 상기 인증 영상에서 상기 사용자가 응시하는 시선 위치를 기술하는 시선 위치 특징 정보를 추출하고, 상기 등록 영상의 시선 위치 특징 정보와 상기 인증 영상의 시선 위치 특징 정보의 유사도를 계산하며, 상기 유사도가 기준치 이상이면 상기 사용자가 응시하는 시선 위치가 일치한 것으로 판단하는 명령어를 더 포함할 수 있다.
상기 프로그램은 상기 사용자의 눈꺼풀의 닫힘 정도, 눈동자의 상대적 위치, 그리고 눈동자의 모양을 표현하는 특징점 중 적어도 하나 이상의 특징점을 이용하여 상기 시선 위치를 기술하는 특징 정보를 추출하는 명령어를 포함할 수 있다.
상기 프로그램은 상기 등록 영상에서 상기 사용자의 얼굴과 상기 인증 영상에서 상기 사용자의 얼굴이 일치하면 상기 사용자를 인증하는 명령어를 더 포함할 수 있다.
상기 프로그램은 상기 등록 영상에서 상기 사용자의 얼굴 특징을 기술하는 얼굴 특징 정보를 추출하고, 상기 인증 영상에서 상기 사용자의 얼굴 특징을 기술하는 얼굴 특징 정보를 추출하고, 상기 등록 영상의 얼굴 특징 정보와 상기 인증 영상의 얼굴 특징 정보의 유사도를 계산하며, 상기 얼굴 유사도가 기준치 이상이면 상기 사용자의 얼굴이 일치한 것으로 판단하는 명령어를 더 포함할 수 있다.
본 발명의 한 실시예에 따른 사용자 단말의 프로세서에 의해 동작하기 위해 컴퓨터 판독 가능한 저장 매체에 저장된 프로그램은 다수의 분할 영역을 포함하는 등록 화면을 표시하는 단계, 상기 사용자가 상기 분할 영역 중 적어도 두 개 이상의 특정 영역을 순차적으로 응시하는 등록 영상을 촬영하는 단계, 상기 등록 영상을 저장하는 단계, 상기 분할 구역을 포함하는 인증 화면을 표시하는 단계, 상기 사용자가 상기 분할 구역 중 적어도 두 개 이상의 특정 영역을 순차적으로 응시하는 인증 영상을 촬영하는 단계, 그리고 상기 등록 영상에서 상기 사용자가 순차적으로 응시하는 시선 위치들과 상기 인증 영상에서 상기 사용자가 순차적으로 응시하는 시선 위치들이 일치하면 상기 사용자를 인증하는 단계를 실행하는 명령어들을 포함한다.
상기 사용자를 인증하는 단계는 상기 등록 영상에서 상기 사용자가 응시하는 시선 위치를 기술하는 시선 위치 특징 정보를 추출하는 단계, 상기 인증 영상에서 상기 사용자가 응시하는 시선 위치를 기술하는 시선 위치 특징 정보를 추출하는 단계, 상기 등록 영상의 시선 위치 특징 정보와 상기 인증 영상의 시선 위치 특징 정보의 유사도를 계산하는 단계, 그리고 상기 유사도가 기준치 이상이면 상기 사용자가 응시하는 시선 위치가 일치한 것으로 판단하는 단계를 실행하는 명령어들을 더 포함할 수 있다.
상기 등록 영상에서 상기 사용자가 응시하는 시선 위치를 기술하는 특징 정보를 추출하는 단계, 그리고 상기 인증 영상에서 상기 사용자가 응시하는 시선 위치를 기술하는 특징 정보를 추출하는 단계는 상기 사용자의 눈꺼풀의 닫힘 정도, 눈동자의 상대적 위치, 그리고 눈동자의 모양을 표현하는 특징점 중 적어도 하나 이상의 특징점을 이용하여 상기 시선 위치를 기술하는 특징 정보를 추출하는 명령어를 포함할 수 있다.
상기 사용자를 인증하는 단계는 상기 등록 영상에서 상기 사용자의 얼굴과 상기 인증 영상에서 상기 사용자의 얼굴이 일치하면 상기 사용자를 인증하는 명령어를 더 포함할 수 있다.
상기 사용자를 인증하는 단계는 상기 등록 영상에서 상기 사용자의 얼굴 특징을 기술하는 얼굴 특징 정보를 추출하는 단계, 상기 인증 영상에서 상기 사용자의 얼굴 특징을 기술하는 얼굴 특징 정보를 추출하는 단계, 상기 등록 영상의 얼굴 특징 정보와 상기 인증 영상의 얼굴 특징 정보의 유사도를 계산하는 단계, 그리고 상기 얼굴 유사도가 기준치 이상이면 상기 사용자의 얼굴이 일치한 것으로 판단하는 단계를 실행하는 명령어를 더 포함할 수 있다.
본 발명의 실시예에 따른 사용자 인증 방법, 사용자 인증 장치, 그리고 사용자 인증 프로그램은 인증 정보를 입력하는 과정에서도 인증 정보의 유출을 방지하여 안전한 인증 방법을 제공할 수 있다.
본 발명의 실시예에 따른 사용자 인증 방법, 사용자 인증 장치, 그리고 사용자 인증 프로그램은 고가의 장치를 이용하지 않고도 사용자의 시선 위치를 인식할 수 있으며, 선택적으로 얼굴 인식을 이용한 추가적인 인증 과정을 더함으로써 보다 보안을 강화할 수 있다.
도 1은 본 발명의 한 실시예에 따른 사용자 인증 장치의 예시적 구성도이다.
도 2 는 본 발명의 한 실시예에 따른 사용자 인증 장치가 사용자를 인증하는 방법의 흐름도이다.
도 3은 본 발명의 다른 실시예에 따른 사용자 인증 장치가 사용자를 인증하는 방법의 흐름도이다.
도 4는 본 발명의 또 다른 실시예에 따른 사용자 인증 장치의 예시적 구성도이다.
도 5는 본 발명의 또 다른 실시예에 따른 사용자 인증 장치의 디스플레이가 표시하는 예시적 화면이다.
도 6은 본 발명의 다른 실시예에 따른 사용자 인증 장치가 사용자를 인증하기 위한 방법을 설명하기 위한 동작 흐름도이다.
도 7은 본 발명의 한 실시예에 따른 사용자 인증 장치가 기준 특징 정보를 추출하는 방법의 예시적 흐름도이다.
도 8은 본 발명의 또 다른 실시예에 따른 사용자 인증 장치가 사용자를 인증하는 방법의 예시적 흐름도이다.
도 9는 본 발명의 한 실시예에 따른 사용자 인증 장치가 영상으로부터 사용자의 시선이 향하는 방향을 추출하는 방법의 예시적 흐름도이다.
도 10은 본 발명의 다른 실시예에 따른 사용자 인증 장치가 사용자 인증 영상으로부터 사용자의 얼굴을 추출하여 사용자를 인증하는 방법의 예시적 흐름도이다.
도 11은 본 발명의 한 실시예에 따른 사용자 인증 장치의 하드웨어 블록도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하, 도면을 참조로하여 본 발명의 실시예에 따른 사용자 인증 장치, 그리고 이를 이용한 사용자 인증 방법에 대해 설명한다.
도 1은 본 발명의 한 실시예에 따른 사용자 인증 장치의 예시적 구성도이다.
사용자 인증 장치(100)는 스마트 폰 또는 태블릿 PC 등의 단말 장치일 수 있으며, 단말 장치 내에 사용자를 인증하기 위한 어플리케이션이 미리 저장되어 있을 수도 있고, 어플리케이션 제공 서버에 접속하여 사용자 인증 어플리케이션을 제공받을 수도 있다.
본 발명의 한 실시예에서 사용자 인증 장치(100)는 사용자가 정당한 이용자인지 인증하기 위하여 순차적으로 특정한 위치를 응시하는 사용자를 촬영한 영상 데이터를 이용할 수 있다.
복수의 특정 위치들을 순차적으로 응시하는 사용자를 촬영한 영상을 등록 영상으로 내부에 저장하고, 이후 사용자 인증 장치(100)는 사용자가 인증을 요청하면 사용자가 복수의 특징 위치들을 순차적으로 응시하는 인증 영상을 촬영할 수 있다. 그리고 사용자 인증 장치(100)는 등록 영상과 인증 영상을 비교하여 사용자가 순차적으로 응시하는 복수의 특정 위치가 일치하면 사용자가 정당한 이용자인 것으로 인증할 수 있다.
도 1을 참고하면, 사용자 인증 장치(100)는 디스플레이(110), 촬영부(120), 저장부(130), 그리고 제어부(150)를 포함할 수 있다.
디스플레이(110)는 다수의 분할 영역을 포함하는 등록 화면, 그리고 인증 화면 중 어느 하나 이상의 화면을 표시하고, 사용자로 하여금 분할 영역 중 하나 이상의 영역을 순차적으로 응시할 수 있도록 한다.
촬영부(120)는 사용자가 디스플레이(110)의 분할 영역 중 적어도 두 개 이상의 특정 영역들을 순차적으로 응시하는 사용자의 얼굴 영상을 촬영한 등록 영상, 그리고 인증 영상 중 어느 하나 이상의 영상을 촬영할 수 있다.
저장부(130)는 사용자 인증 어플리케이션을 저장할 수 있고, 사용자가 사용자 인증 장치에 등록되어 있는 정당한 이용자인지 구분하기 위한 각종 등록 정보들을 저장할 수 있다.
본 발명의 한 실시예에 따른 등록 정보는 촬영부(120)에서 촬영한 사용자가 디스플레이(110)에 표시된 분할 영역 중 두 개 이상의 영역을 순차적으로 응시하는 등록 영상일 수 있다.
본 발명의 다른 실시예에서 등록 정보는 등록 영상으로부터 추출한 사용자가 응시하는 특정 시선 위치를 기술하는 특징 정보를 더 포함할 수 도 있다.
저장부(130)는 플래시 메모리 타입(flash memory type), 하드 디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬(EEPROM 등) 중 적어도 하나의 타입의 물리적 저장 매체를 포함할 수 있다.
제어부(150)는 촬영부(120)에서 촬영한 인증 영상과 저장부(130)에 저장된 등록 영상을 비교하여 사용자가 사용자 인증 장치(100)의 정당한 이용자인지 인증하기 위한 전반적인 동작을 제어할 수 있다.
본 발명의 한 실시예에 따른 제어부(150)는 등록 영상에서 사용자가 순차적으로 응시하는 시선 위치들과 인증 영상에서 사용자가 순차적으로 응시하는 시선 위치들이 일치하면 사용자가 정당한 이용자인 것으로 인증할 수 있다.
제어부(150)는 등록 영상에서 사용자가 응시하는 시선 위치들을 기술하는 특징 정보를 추출하고, 인증 영상에서 사용자가 응시하는 시선 위치들을 기술하는 특징 정보를 추출하여, 양 특징 정보의 유사도가 일정 기준 값 이상이면 사용자가 응시하는 시선 위치가 일치하는 것으로 판단할 수 있다.
한편, 본 발명의 다른 실시예에 따르면 제어부(150)는 시선 기반 인증에 더하여 얼굴 인식 기반 인증 단계를 더 수행할 수도 있다.
즉, 제어부(150)는 등록 영상의 사용자 얼굴과 인증 영상의 사용자 얼굴이 일치 여부를 추가로 판단하고, 등록 영상의 사용자 얼굴과 인증 영상의 사용자 얼굴이 일치하면 사용자가 정당한 이용자인 것으로 사용자 인증을 완료할 수도 있다.
이때, 제어부(150)는 등록 영상에서 사용자의 얼굴 특징을 기술하는 특징 정보를 추출하고, 인증 영상에서 사용자의 얼굴 특징을 기술하는 특징 정보를 추출하여 양 특징 정보의 유사도가 일정 기준 값 이상이면 사용자의 인증을 완료할 수도 있다.
이와 같이 본 발명의 한 실시예에 따른 사용자 인증 장치는 사용자가 응시하는 시선 위치의 조합으로 구성된 인증 정보를 이용하여 사용자가 사용자 인증 장치의 정당한 이용자인지 인증할 수 있어 인증 과정에서 인증 정보의 유출을 방지할 수 있어 안전한 사용자 인증 장치를 제공할 수 있다.
또한, 본 발명의 한 실시예에 따른 사용자 인증 장치는 사용자의 얼굴 특징 및 사용자가 응시하는 시선 위치의 조합으로 구성된 인증 정보를 이용하여 사용자인지 인증할 수 있어, 위조 사진을 이용한 부정한 인증을 방지할 수 있어 신뢰성이 높은 사용자 인증 장치를 제공할 수 있다.
도 2 는 본 발명의 한 실시예에 따른 사용자 인증 장치가 사용자를 인증하는 방법의 흐름도이다.
도 2를 참고하면 사용자 인증 장치(100)는 사용자가 사용자 인증 장치(100)의 등록을 요청하면 디스플레이(110)를 통하여 다수의 분할 영역을 포함하는 등록 화면을 표시한다(S110).
디스플레이(110)는 좌상, 좌하, 우상, 그리고 우하의 4개의 분할 영역을 포함하는 등록 화면을 표시하거나 좌상, 좌중, 좌하, 중상, 중중, 중하, 우상, 우중, 그리고 우하의 9개 분할 영역을 포함하는 등록 화면을 표시할 수 있다.
사용자 인증 장치(100)는 표시된 등록 화면의 분할 영역 중 적어도 두 개 이상의 영역을 순차적으로 응시하는 사용자 등록을 위한 등록 영상을 촬영하고, 내부 저장부(130)에 저장한다(S120).
사용자 인증 장치(100)는 신뢰성 높은 등록 영상을 수집할 수 있도록 사용자가 특정 영역을 순차적으로 응시하는 영상을 여러 번 촬영할 수 있다.
그리고 사용자 인증 장치(100)는 사용자가 사용자 인증 장치(100)의 인증을 요청하면 디스플레이(110)를 통하여 다수의 분할 영역을 포함하는 인증 화면을 표시한다(S130).
다음, 사용자 인증 장치(100)는 표시된 인증 화면의 분할 영역 중 적어도 두 개 이상의 영역을 순차적으로 응시하는 사용자 인증을 위한 인증 영상을 촬영한다(S140).
사용자 인증 장치(100)는 저장부(130)에 저장된 등록 영상에서 사용자가 응시하는 시선 위치들과 촬영부(120)에서 촬영한 인증 영상에서 사용자가 응시하는 시선 위치들을 비교한다(S150).
이때, 사용자 인증 장치(100)는 등록 영상에서 사용자가 응시하는 시선 위치를 기술하는 특징 정보를 추출하고, 인증 영상에서 사용자가 응시하는 시선 위치를 기술하는 특징 정보를 추출한 다음, 양 특징 정보의 유사도를 계산하여 사용자가 응시하는 시선 위치를 비교할 수 있다.
한편, 본 발명의 한 실시예에 따른 사용자 인증 장치(100)가 인증 영상 및 등록 영상으로부터 사용자가 응시하는 특정 시선 위치를 기술하는 특징 정보를 추출하는 방법은 추후, 도 9 에서 자세히 설명하도록 한다.
그리고 사용자 인증 장치(100)는 등록 영상에서 사용자가 응시하는 시선 위치들과 인증 영상에서 사용자가 응시하는 시선 위치들이 일치하는지 판단한다(S160).
사용자 인증 장치(100)는 등록 영상에서 사용자가 응시하는 시선 위치들과 인증 영상에서 사용자가 응시하는 시선 위치들이 일치하면, 사용자가 사용자 인증 장치(100)를 정당하게 이용할 수 있는 사용자로 인증한다(S170).
만약 등록 영상에서 사용자가 응시하는 시선 위치들과 인증 영상에서 사용자가 응시하는 시선 위치들이 일치하지 않으면 사용자 인증 장치(100)는 사용자가 사용자 인증 장치(100)를 정당하게 이용할 수 있는 사용자가 아닌 인증 실패로 판단한다(S180).
이때, 사용자 인증 장치(100)는 사용자 인증에 실패하면 디스플레이(110)를 통해 인증 화면을 재표시하도록 제어하고, 촬영부(120)를 통해 사용자를 촬영한 인증 영상을 재촬영 하도록 제어할 수 있다.
도 3은 본 발명의 다른 실시예에 따른 사용자 인증 장치가 사용자를 인증하는 방법의 흐름도이다.
본 발명의 다른 실시예에 따른 사용자 인증 장치가 사용자를 인증하는 방법의 S210 단계 내지 S260 단계는 도 2를 참조로 설명한 사용자 인증 장치가 사용자를 인증하는 방법의 S110 단계 내지 S160 단계와 동일하므로, 본 실시예에서는 이에 대한 설명은 생략한다.
본 발명의 다른 실시예에 따른 사용자 인증 장치(100)는 S160 단계에서 등록 영상에서 사용자가 응시하는 시선 위치들과 인증 영상에서 사용자가 응시하는 시선 위치들이 일치하는 것으로 판단하면, 등록 영상에서의 사용자 얼굴 특징과 인증 영상에서의 사용자 얼굴 특징을 비교한다(S270).
즉, 본 실시예에 따른 사용자 인증 방법은 S210 단계 내지 S260 단계에 따른 사용자의 시선 기반 인증에 더하여 얼굴 인식 기반 인증 단계를 더 포함할 수 있다.
이때, 사용자 인증 장치(100)는 등록 영상에서 추출한 사용자의 얼굴 특징을 기술하는 특징 정보, 그리고 인증 영상에서 추출한 사용자의 얼굴 특징을 기술하는 특징 정보를 이용하여 사용자의 얼굴 특징을 비교할 수 있다.
한편, 본 발명의 다른 실시예에 따른 사용자 인증 장치(100)가 인증 영상 및 등록 영상으로부터 사용자의 얼굴 특징을 기술하는 특징 정보를 추출하는 방법은 추후 도 10 에서 자세히 설명하도록 한다.
사용자 인증 장치(100)는 등록 영상의 사용자 얼굴 특징과 인증 영상의 사용자 얼굴 특징이 일치하는지 판단한다(S280).
사용자 인증 장치(100)는 등록 영상의 사용자 얼굴 특징과 인증 영상의 사용자 얼굴 특징이 일치하면, 사용자가 사용자 인증 장치(100)를 정당하게 이용할 수 있는 사용자로 인증한다(S290).
만약 등록 영상의 사용자 얼굴 특징과 인증 영상의 사용자 얼굴 특징이 일치하지 않으면 사용자 인증 장치(100)는 사용자가 사용자 인증 장치(100)를 정당하게 이용할 수 있는 사용자가 아닌 인증 실패로 판단한다(S292).
이때, 사용자 인증 장치(100)는 사용자 인증에 실패하면 디스플레이(110)를 통해 인증 화면을 재표시하도록 제어하고, 촬영부(120)를 통해 사용자를 촬영한 인증 영상을 재촬영 하도록 제어할 수 있다.
도 4는 본 발명의 또 다른 실시예에 따른 사용자 인증 장치의 예시적 구성도이고, 도 5는 본 발명의 또 다른 실시예에 따른 사용자 인증 장치의 디스플레이가 표시하는 예시적 화면이다.
사용자 인증 장치(100)는 스마트 폰 또는 태블릿 PC 등의 단말 장치일 수 있으며, 단말 장치 내에 사용자를 인증하기 위한 어플리케이션이 미리 저장되어 있을 수도 있고, 어플리케이션 제공 서버에 접속하여 사용자 인증 어플리케이션을 제공받을 수도 있다.
본 발명의 또 다른 실시예에서 사용자 인증 장치(100)는 사용자가 정당한 이용자인지 인증하기 위하여 순차적으로 특정한 위치를 응시하는 사용자를 촬영한 영상 데이터를 이용할 수 있다.
본 실시예에서 사용자 인증 장치(100)는 사용자로부터 입력된 기호의 조합으로 구성되는 등록 코드를 내부에 저장하고, 이후 사용자 인증 장치(100)는 사용자가 인증을 요청하면 기호에 대응하는 복수의 분할 영역이 배열된 인증 화면을 표시하고, 사용자가 분할 영역 중 적어도 두 개 이상의 영역을 순차적으로 응시하는 인증 영상을 촬영할 수 있다. 그리고 사용자 인증 장치(100)는 인증 영상에서 사용자가 응시하는 시선 위치와 대응하는 기호와 등록 코드를 비교하여 사용자가 순차적으로 응시하는 복수의 특정 위치에 대응하는 기호와 등록 코드가 일치하면 사용자가 정당한 이용자인 것으로 인증할 수 있다.
이때, 본 실시예에서 사용자 인증 장치(100)는 인증 영상 내에서 사용자가 응시하는 시선 위치와 대응하는 기호를 판단하기 위하여 각 분할 영역을 응시하는 사용자를 촬영한 캘리브레이션 영상을 촬영하고, 캘리브레이션 영상을 저장할 수 있다.
도 4를 참고하면, 본 발명의 또 다른 실시예에 따른 사용자 인증 장치(100)는 디스플레이(110), 촬영부(120), 저장부(130), 입력부(140), 그리고 제어부(150)를 포함할 수 있다.
디스플레이(110)는 기호와 대응하는 복수의 분할 영역을 포함하는 캘리브레이션 화면, 그리고 인증 화면 중 어느 하나 이상의 화면을 표시하고, 사용자로 하여금 분할 영역 중 하나 이상의 영역을 순차적으로 응시할 수 있도록 한다.
기호는 숫자, 문자, 그리고 특수 문자 중 어느 하나 이상일 수 있다.
도 5를 참고하면, 본 발명의 또 다른 실시예에 따른 디스플레이(110)는 1 내지 8로 구성된 기호에 대응하는 복수의 분할 영역이 배열된 화면을 표시할 수 있다.
촬영부(120)는 디스플레이(110)의 분할 영역들을 순차적으로 응시하는 사용자의 얼굴 영상을 촬영한 캘리브레이션 영상, 그리고 디스플레이(110)의 분할 영역 중 적어도 두 개 이상의 특정 영역들을 순차적으로 응시하는 사용자의 얼굴 영상을 촬영한 인증 영상 중 어느 하나 이상의 영상을 촬영할 수 있다.
저장부(130)는 사용자 인증 어플리케이션을 저장할 수 있고, 사용자가 사용자 인증 장치(100)에 등록되어 있는 정당한 이용자인지 구분하기 위한 각종 등록 정보들을 저장할 수 있다.
본 실시예에 따른 등록 정보는 입력부(140)를 통해 사용자가 입력한 기호의 조합으로 구성된 등록 코드일 수 있다.
이때, 본 실시예에서 저장부(130)는 인증 영상에서 사용자가 응시하는 특정 위치에 대응하는 기호를 추출하기 위하여 촬영부(120)에서 촬영한 캘리브레이션 영상 또는 캘리브레이션 영상으로부터 추출한 기준 특징 정보를 저장할 수도 있다.
본 발명에서 캘리브레이션 영상은 복수의 코드에 대응하는 복수의 분할 영역을 순차적으로 응시하는 사용자를 촬영한 영상을 의미하고, 기준 특징 정보는 사용자가 각 분할 영역을 순차적으로 응시하는 영상의 특징 정보를 의미한다.
입력부(140)는 사용자가 사용자를 인증하기 위해 입력하는 등록 코드를 수신한다. 한 실시예에서 입력부(140)는 디스플레이(110)에 부착되어 사용자의 선택을 터치에 의해 입력받는 터치 입력부일 수 있다.
제어부(150)는 저장부(130)에 저장된 등록 코드와 촬영부(120)에서 촬영한 인증 영상을 이용하여 사용자가 사용자 인증 장치(100)의 정당한 이용자인지 인증하기 위한 전반적인 동작을 제어할 수 있다.
본 실시예에 따른 제어부(150)는 인증 영상에서 사용자가 순차적으로 응시하는 시선 위치들에 대응하는 기호들이 등록 코드와 일치하면 사용자가 정당한 이용자인 것으로 인증할 수 있다.
제어부(150)는 인증 영상에서 사용자가 응시하는 시선 위치들을 추출하고, 사용자가 응시하는 시선 위치에 대응하는 기호들을 추출한다. 그리고 제어부(150)는 추출한 기호들이 등록 코드와 동일하면 사용자가 정당한 이용자인 것으로 인증할 수 있다.
이때 제어부(150)는 저장부(130)에 저장된 캘리브레이션 영상, 또는 기준 특징 정보를 이용하여 인증 영상에서 사용자가 응시하는 시선 위치를 추출할 수 있다.
제어부(150)는 인증 영상에서 사용자가 특정 영역을 응시하는 시선 위치를 기술하는 특징 정보를 추출하고, 캘리브레이션 영상 중에서 사용자가 각 분할 영역을 응시하는 시선 위치를 기술하는 복수의 특징 정보를 추출한다.
그리고 제어부(150)는 인증 영상의 특징 정보와 가장 유사한 특징 정보를 갖는 캘리브레이션 영상을 추출하고, 추출한 캘리브레이션 영상에 대응하여 저장된 사용자가 응시하는 분할 영역 정보를 이용하여 사용자가 응시하는 시선 위치를 추출할 수 있다.
이와 같이 본 발명의 한 실시예에 따른 사용자 인증 장치는 사용자가 응시하는 시선 위치의 조합으로 구성된 인증 정보를 이용하여 사용자가 사용자 인증 장치의 정당한 이용자인지 인증할 수 있어 인증 과정에서 인증 정보의 유출을 방지할 수 있다.
도 6은 본 발명의 다른 실시예에 따른 사용자 인증 장치가 사용자를 인증하기 위한 방법을 설명하기 위한 동작 흐름도이다.
도 6을 참고하면, 사용자 인증 장치(100)는 사용자가 사용자 인증 장치(100)의 등록을 요청하면 입력부(140)를 통하여 사용자로부터 등록 코드를 입력받고, 입력받은 등록 코드를 저장부(130)에 저장한다(S310).
등록 코드는 사용자가 사용자를 인증하기 위해 입력하는 패스워드의 일종으로 적어도 두 개 이상의 기호의 조합으로 구성될 수 있다. 본 실시예에서 입력부(140)는 디스플레이(110)에 부착되어 사용자의 선택을 터치에 의해 입력받을 수 있다.
도 5를 참고하면, 디스플레이(110)는 복수의 기호와 대응하는 복수의 구획된 영역을 포함하는 화면을 표시한다. 본 실시예에서 복수의 기호는 좌측 상부부터 우측 하부까지 1 에서 8까지의 숫자일 수 있다.
사용자가 등록 코드로 3287이라는 숫자 열을 이용하는 경우 입력부(140)를 통해 3,2,8,7을 순차적으로 입력한 등록 코드를 입력받는다. 이때, 인증 정보로 이용되는 기호의 종류와 개수는 경우에 따라 다를 수 있다.
그리고 사용자 인증 장치(100)는 사용자가 사용자 인증 장치(100)의 조정 영상 촬영을 요청하면 복수의 기호와 대응하는 복수의 분할 영역이 배열된 캘리브레이션 화면을 표시한다(S320).
사용자 인증 장치(100)는 사용자가 각 분할 영역을 응시하는 캘리브레이션 영상을 촬영하고, 촬영한 캘리브레이션 영상을 저장한다(S330).
캘리브레이션 영상은 추후 인증 과정에서 촬영한 인증 영상 내에 포함된 사용자의 시선 위치 정보를 추출하기 위하여 저장하는 영상이다. 사용자 인증 장치(100)는 복수의 분할 영역, 그리고 분할 영역에 대응하는 기호와 함께 각 캘리브레이션 영상을 저장할 수 있다.
즉, 도 5를 참고하면, 사용자는 1 내지 8과 대응하는 분할 영역을 순차적으로 응시하고 사용자 인증 장치(100)는 각 영역을 응시하는 사용자를 촬영한 캘리브레이션 영상을 각 기호 정보와 함께 저장할 수 있다.
그리고 사용자 인증 장치(100)는 사용자가 사용자 인증 장치(100)의 인증을 요청하면 복수의 분할 영역을 포함하는 인증 화면을 표시한다(S340).
사용자 인증 장치(100)는 사용자가 적어도 두 개 이상의 특정 영역을 순차적으로 응시하는 인증 영상을 촬영한다(S350).
사용자가 등록 코드로 3287이라는 숫자 열을 이용하는 경우 사용자의 시선 위치는 화면상에서 3,2,8,7이 각각 표시된 사각 영역 내에서 순차적으로 머물러야 한다.
사용자 인증 장치(100)는 인증 영상에서 사용자가 응시하는 시선 위치들과 일치하는 시선 위치를 응시하는 사용자를 촬영한 캘리브레이션 영상을 추출한다(S360).
이때, 사용자 인증 장치(100)는 인증 영상으로부터 사용자가 응시하는 시선 위치를 기술하는 특징 정보와 각 캘리브레이션 영상으로부터 사용자가 응시하는 시선 위치들을 기술하는 특징 정보들을 추출한다.
그리고 사용자 인증 장치(100)는 인증 영상의 특징 정보와 가장 유사한 특징 정보를 갖는 캘리브레이션 영상을 추출하고, 캘리브레이션 영상과 대응하는 기호 정보를 추출할 수 있다.
사용자 인증 장치(100)는 캘리브레이션 영상과 대응하는 기호들과 등록 코드를 비교(S370)하고, 사용자 인증 장치(100)는 캘리브레이션 영상과 대응하는 기호가 등록 코드와 같은지 판단한다(S380).
사용자 인증 장치(100)는 캘리브레이션 영상과 대응하는 기호가 등록 코드와 같으면, 사용자가 사용자 인증 장치(100)를 정당하게 이용할 수 있는 사용자로 인증한다(S390).
만약 캘리브레이션 영상과 대응하는 기호가 등록 코드와 같지 않으면 사용자 인증 장치(100)는 사용자가 사용자 인증 장치(100)를 정당하게 이용할 수 있는 사용자가 아닌 인증 실패로 판단한다(S392).
도 7은 본 발명의 한 실시예에 따른 사용자 인증 장치가 기준 특징 정보를 추출하는 방법의 예시적 흐름도이다.
본 실시예에서 사용자 인증 장치(100)는 디스플레이(110)에 표시된 N×M개의 분할 영역을 이용하여 인증 정보를 구성하는 것으로 가정하여 설명한다.
도 6을 참고하면, 먼저 사용자 인증 장치(100)는 N×M개의 분할 영역 중 제 i 번째 분할 영역을 응시하도록 디스플레이(110)에 표시한다(S410).
사용자는 표시된 제 i 번째 분할 영역을 응시할 수 있고, 사용자 인증 장치(100)는 일정 프레임 수의 사용자를 촬영한 캘리브레이션 영상을 수신한다(S420).
그리고 사용자 인증 장치(100)는 수집한 캘리브레이션 영상의 각 프레임마다 제i 번째 분할 영역을 응시하는 영상 특징을 기술하는 특징 정보를 추출한다 (S430).
이때, 본 실시예에 따른 사용자 인증 장치(100)는 캘리브레이션 영상으로부터 눈꺼풀의 닫힘 정도, 눈동자의 치우침 정도, 그리고 눈동자의 모양을 기술하는 특징 점의 조합을 이용하여 사용자의 시선이 향하고 있는 위치를 기술하는 특징 정보를 추출할 수 있다.
그 다음, 사용자 인증 장치(100)는 각 프레임에서 추출한 복수의 특징 정보 간의 차이가 기준치 이하인지 판단한다(S440). 본 실시예에 따른 사용자 인증 장치(100)는 특징 정보들 사이의 차이를 측정하기 위하여 각 특징 정보의 원소에 가중치를 적용하여 두 벡터간의 유클리드 거리(Euclidean distance)를 계산할 수도 있다.
본 발명의 다른 실시예에 따른 사용자 인증 장치(100)는 특징 정보 간의 상관관계(correlation), 카이제곱(chi-square), 그리고 바타차야 거리(bhattacharyya distance) 중 어느 하나의 방법을 이용하여 특징 정보들 사이의 차이를 산출할 수도 있다.
만약 특징 정보들 사이의 차이가 기준치 이하이면, 복수의 특징 정보들로부터 제 i 번째 분할 영역과 대응하는 기준 특징 정보를 산출한다(S450).
반대로, 특징 정보들 사이의 차이가 기준치 초과이면 신뢰성 있는 데이터가 아닐 수 있으므로 일정 프레임 수의 사용자 영상을 다시 수신(S420)하도록 제어하여 각 프레임의 특징 정보를 산출한다.
그리고 사용자 인증 장치(100)는 제 i 번째 분할 영역이 M 번째 분할 영역 인지 판단한다(S460).
제 i 번째 분할 영역이 M 번째 분할 영역이 아니면 i+1 번째 분할 영역에 대응하는 기준 특징 정보를 산출할 수 있도록 i에 i+1을 대입(S470)하고, i 번째 분할 영역에 대응하는 기준 특징 정보를 산출한다.
반대로, 제 i 번째 분할 영역이 M 번째 분할 영역이면, 각 분할 영역에 따른 기준 특징 정보 산출 과정을 종료한다(S480). 이때, 선형 보간 방법(Linear interpolation), 또는 머신 러닝(machine learning)을 이용하여 사용자에게 입력받은 기준 특징 정보로부터 입력받지 않은 기준 특징 정보를 추정할 수 있다.
즉, N×M 개의 분할 영역 중 하나의 행에 대한 기준 특징 정보를 입력받고, 나머지 분할 영역은 M 개의 영역으로부터 선형 보간 방법, 또는 학습된 속성을 기반으로 예측하여 판단할 수 있다.
분할 영역이 상대적으로 많을 경우 모든 분할 영역에 대해서 사용자에게 입력을 요청할 수 없기 때문에, 본 발명의 한 실시예에 따른 사용자 인증 장치는 예를 들어, 분할 영역이 4x4로 16개인 경우, (1,1), (1,2), (1,3), 그리고 (1,4)의 4개의 영역에 대해서만 사용자 입력을 받고, 나머지 영역은 입력받은 4개의 기준 특징 정보로부터 추정하여 산출할 수 있다.
본 발명의 다른 실시예에서 사용자 인증 장치는 (1,1), (1,4), (4,1), 그리고 (4,4)로 선택된 가장자리의 영역에 대해서 사용자 입력을 받을 수도 있다.
이때, 기준 특징 정보의 정확성을 향상할 수 있도록 각 분할 영역에 따른 기준 특징 정보를 산출하는 S420 단계에서 S450 단계는 복수 회 반복될 수 있다.
도 8은 본 발명의 또 다른 실시예에 따른 사용자 인증 장치가 사용자를 인증하는 방법의 예시적 흐름도이다.
본 실시예에 따른 사용자 인증 장치(100)는 디스플레이(110)에 표시된 M개의 분할 영역을 이용하여 N 번의 시선 위치 변경으로 구성된 인증 정보를 이용하는 것으로 가정하여 설명한다.
도 8을 참고하면, 사용자 인증 장치(100)는 제 j 번째 시선 위치 입력 대기 상태 화면을 디스플레이(110)에 표시한다(S510). 사용자는 사용자 인증 장치(100)에 표시된 제 j 번째 시선 위치 입력 대기 상태 화면에서 제 j 번째 인증 정보에 대응하는 지점의 화면을 응시할 수 있다.
사용자 인증 장치(100)는 디스플레이(110)를 응시하는 사용자를 촬영한 일정 프레임 수를 포함하는 인증 영상을 수신한다(S520). 이때, 본 실시예에서 사용자 인증 장치(100)는 촬영부(120)를 구동하고, 사용자의 얼굴 영상을 촬영한 인증 영상을 수집할 수 있다.
사용자 인증 장치(100)는 각 프레임의 사용자 인증 영상으로부터 사용자의 시선이 향하는 방향과 대응하는 복수의 특징 정보를 추출한다(S530).
이때, 본 실시예에 따른 사용자 인증 장치(100)는 사용자 영상으로부터 눈꺼풀의 닫힘 정도, 그리고 눈동자의 치우침 정도를 이용하여 사용자의 시선이 향하고 있는 방향과 대응하는 특징 정보를 추출할 수 있다.
그 다음, 사용자 인증 장치(100)는 각 프레임에서 추출한 복수의 특징 정보 간의 차이가 기준치 이하인지 판단한다(S540). 본 실시예에 따른 사용자 인증 장치(100)는 특징 정보들 사이의 차이를 측정하기 위하여 각 특징 정보의 원소에 가중치를 적용하여 두 벡터간의 유클리드 거리(Euclidean distance)를 계산할 수도 있다.
본 발명의 다른 실시예에 따른 사용자 인증 장치(100)는 특징 정보 간의 상관관계(correlation), 카이제곱(chi-square), 그리고 바타차야 거리(bhattacharyya distance) 중 어느 하나의 방법을 이용하여 특징 정보들 사이의 차이를 산출할 수도 있다.
만약 특징 정보들 사이의 차이가 기준치 이하이면, 복수의 특징 정보들로부터 제 j 번째 인증 정보와 대응하는 특징 정보를 산출한다(S550). 이때, 사용자 인증 장치(100)는 복수의 특징 정보의 평균, 중간 값 또는 프레임 순서에 따라 가중치를 적용하여 보강된 평균 정보를 이용하여 하나의 특징 정보로 합산할 수 있다.
그리고 사용자 인증 장치(100)는 선형 보간 방법(Linear interpolation), 머신 러닝(machine learning)을 적용하여 각 프레임의 특징 정보로부터 제 j 번째 시선 위치와 대응하는 특징 정보를 추출할 수 있다.
반대로, 특징 정보들 사이의 차이가 기준치 초과이면 신뢰성 있는 데이터가 아닐 수 있으므로 일정 프레임 수의 사용자 영상을 다시 수신(S520)하도록 제어하여 각 프레임의 특징 정보를 산출할 수 있다.
그리고 사용자 인증 장치(100)는 캘리브레이션 단계를 통해 미리 저장된 M 개의 기준 특징 정보 중에서 제 j 번째 시선 위치와 대응하는 특징 정보와의 거리가 최소인 기준 특징 정보를 산출한다(S560).
다음 사용자 인증 장치(100)는 산출된 기준 특징 정보에 대응하는 기호가 저장부(130)에 등록된 등록 코드의 제 j 번째 코드와 동일한지 판단한다(S570).
사용자 인증 장치(100)는 사용자 인증 영상으로부터 산출된 기준 특징 정보와 대응하는 기호가 등록 코드의 제 j 번째 코드와 동일하면, 제 j 번째 인증 정보가 N 번째 인증 정보인지 판단한다(S580).
제 j 번째 인증 정보가 N 번째 인증 정보가 아니면 j+1 번째 인증 정보를 수집하도록 j+1을 j에 대입한다(S590).
반대로, 제 j 번째 인증 정보가 N 번째 인증 정보이면, 사용자 인증 과정을 종료한다.
도 9는 본 발명의 한 실시예에 따른 사용자 인증 장치가 영상으로부터 사용자의 시선이 향하는 방향을 추출하는 방법의 예시적 흐름도이다.
본 실시예에서 사용자 인증 장치는 사용자가 응시하는 시선의 방향에 따라 달라지는 사용자의 눈꺼풀 닫힘 정도와 눈동자의 상대적 위치를 포함하는 시선 위치에 대응하는 특징 정보를 추출하는 것을 그 예로 설명한다.
도 9를 참고하면, 먼저 사용자 인증 장치(100)는 수집한 사용자 인증 영상으로부터 얼굴 및 눈 영역을 검출한다(S610). 사용자 인증 장치(100)는 사용자 인증 영상에 얼굴 이외의 이미지가 포함되어 있는 경우, 지식 기반 방법, 특징 기반 방법 그리고 템플릿 매칭 방법 중 어느 하나 이상을 이용하여 얼굴 영역을 추출할 수 있다.
그리고 사용자 인증 장치(100)는 검출한 눈 영역으로부터 눈꺼풀 및 눈동자 주변 영역에서 랜드마크를 검출(S620)하고, 검출한 랜드마크를 기준으로 눈 영상을 정규화(S630)한다.
이때 사용자 인증 장치(100)는 먼저 눈 영역에서 눈을 구성하는 경계 지점을 랜드마크로 하여 검출하고, 해당 랜드마크를 기준으로 눈 영상을 정규화하여 눈의 크기와 방향을 균일하게 맞출 수 있다.
다음 사용자 인증 장치(100)는 눈 영역에서 눈꺼풀의 닫힘 정도를 산출한다(S640). 사용자 인증 장치(100)는 S630 단계에서 정규화한 눈 영상으로부터 상부 눈꺼풀에 해당하는 랜드마크 그리고 하부 눈꺼풀에 해당하는 랜드마크 간의 거리를 바탕으로 눈꺼풀의 닫힘 정도를 산출할 수 있다.
사용자 인증 장치(100)는 눈 영역에서 눈동자의 상대적 위치를 산출한다(S650). 이때, 사용자 인증 장치(100)는 눈동자에 해당하는 복수의 랜드마크의 좌우 치우침 정도를 계산하고, 랜드마크를 통해 눈동자의 상대적 위치를 산출할 수 있다.
그리고 사용자 인증 장치(100)는 사용자의 인증 영상에서 추출한 눈꺼풀 닫힘 정도와 눈동자의 상대적 위치에 대응하는 특징점을 기초로 사용자의 시선이 향하는 방향에 대응하는 특징 정보를 추출할 수 있다(S660).
도 10은 본 발명의 다른 실시예에 따른 사용자 인증 장치가 사용자 인증 영상으로부터 사용자의 얼굴을 추출하여 사용자를 인증하는 방법의 예시적 흐름도이다.
도 10을 참고하면, 먼저 사용자 인증 장치(100)는 수집한 사용자 인증 영상으로부터 얼굴 영역, 눈 영역, 그리고 랜드마크 검출한다(S710). 사용자 인증 장치(100)는 사용자 인증 영상에 얼굴 이외의 이미지가 포함되어 있는 경우, 지식 기반 방법, 특징 기반 방법 그리고 템플릿 매칭 방법 중 어느 하나 이상을 이용하여 얼굴 영역을 추출할 수 있다.
그리고 사용자 인증 장치(100)는 검출한 랜드마크에 기초하여 양쪽 눈, 코, 양쪽 입꼬리를 기준으로 얼굴 영상을 정규화한다(S720).
다음, 정규화된 얼굴 이미지를 포함하여 다단계로 스케일된 피라미드 이미지를 생성한다(S730).
각 랜드마크를 기준으로 특정 크기의 이미지 패치를 생성하고, 각 이미지 패치로부터 사용자 인증을 위한 특징 정보를 검출한다(S740). 사용자 인증 장치(100)는 각 이미지 패치로부터 로컬 바이너리 패턴(Local Binary Pattern, LBP)에 기반한 적어도 하나 이상의 특징 정보를 추출할 수 있다. 그리고 사용자 인증 장치(100)는 사용자 인증 영상으로부터 추출한 복수의 특징 정보를 결합하고, 주성분 분석(Principal component analysis; PCA)을 통하여 고차원의 특징 정보를 저차원의 특징 정보로 환원하여 최종 얼굴 특징 정보를 추출할 수 있다.
사용자 인증 장치(100)는 추출한 최종 얼굴 특징 정보와 미리 저장된 사용자의 특징 정보를 매칭하여 유사도를 산출한다(S750).
사용자 인증 장치(100)는 추출한 최종 얼굴 특징 정보와 미리 저장된 사용자의 특징 정보의 유사도 정도에 따라 인증 성공 여부를 판단하도록 제어한다(S760). 즉, 사용자 인증 장치(100)는 유사도가 일정 값 이상이면 사용자 인증 장치(100)의 인증이 성공한 것으로 판단하고, 잠금을 해제하도록 제어할 수 있다.
도 11은 본 발명의 한 실시예에 따른 사용자 인증 장치의 하드웨어 블록도이다.
도 11을 참고하면, 본 발명의 한 실시예에 따른 사용자 인증 장치(100)는 프로세서(101), 메모리 장치(102), 저장 장치(103), 통신 장치(104), 디스플레이(105), 그리고 카메라(106)를 포함하는 하드웨어로 구성되고, 지정된 장소에 하드웨어와 결합 되어 실행되는 프로그램이 저장된다.
프로세서(101)는 메모리 장치(102), 통신 장치(104), 디스플레이(105), 그리고 카메라(106)와 통신하고, 이들을 제어한다. 프로세서(101)는 메모리 장치(102)에 저장된 프로그램을 로드하여 사용자를 인증하기 위한 화면을 디스플레이(105)에 표시하고, 카메라(106)로부터 사용자의 인증 영상을 수집하여 사용자 인증을 수행할 수 있다.
이때, 프로세서(101)는 사용자 인증 영상으로부터 사용자를 인증하기 위한 동작 수행에 필요한 데이터를 저장 장치(103)에 읽고 쓰면서 사용자 인증을 수행할 수 있다.
메모리 장치(102)는 프로세서(101)의 동작에 필요한 각종 정보를 저장하는 하드웨어이다. 메모리 장치(102)는 프로세서(101)의 구동을 위한 운영체제(OS), 그리고 본 발명에서 설명하는 사용자 인증 장치(100)의 각종 동작을 위한 프로그램을 저장할 수 있다.
통신 장치(104)는 외부 장치와의 물리적 연결을 위한 하드웨어이다. 본 실시예에서 통신 장치(104)는 사용자 인증 영상을 제공하기 위한 제3 단말과의 접속을 위한 유/무선 통신 인터페이스를 포함할 수 있다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (18)

  1. 사용자 인증 장치가 사용자를 인증하기 위한 방법으로서,
    다수의 분할 영역을 포함하는 등록 화면을 표시하고, 상기 사용자가 상기 분할 영역 중 적어도 두 개 이상의 특정 영역들을 순차적으로 응시하는 등록 영상을 촬영하는 단계,
    상기 등록 영상에 포함된 눈 영역에서 랜드마크를 검출하여 정규화하고, 상기 사용자의 눈꺼풀의 움직임 또는 눈동자의 상대적 위치의 순차적인 변화를 이용하여 기준 정보를 추출하는 단계,
    상기 분할 영역을 포함하는 인증 화면을 표시하고, 상기 사용자가 상기 분할 영역 중 적어도 두 개 이상의 특정 영역들을 순차적으로 응시하는 인증 영상을 촬영하는 단계,
    상기 인증 영상에 포함된 눈 영역에서 랜드마크를 검출하여 정규화하고, 상기 사용자의 눈꺼풀의 움직임 또는 눈동자의 상대적 위치의 순차적인 변화를 이용하여 인증용 정보를 추출하는 단계, 그리고
    상기 기준 정보와 상기 인증용 정보의 유사도를 계산하고, 상기 유사도가 기준값 이상인 경우, 상기 등록 영상에서 상기 사용자가 응시하는 특정 영역들의 순서와 상기 인증 영상에서 상기 사용자가 응시하는 특정 영역들의 순서가 일치하는 것으로 판단하고 상기 사용자를 인증하는 단계
    를 포함하는 사용자 인증 방법.
  2. 삭제
  3. 제1항에서,
    상기 기준 정보를 추출하는 단계는
    상기 사용자의 눈꺼풀의 닫힘 정도와 눈동자의 모양을 표현하는 특징점 중 적어도 하나 이상의 특징점을 이용하여 상기 기준 정보를 추출하는 사용자 인증 방법.
  4. 제1항에서,
    상기 사용자를 인증하는 단계는
    상기 등록 영상에서 상기 사용자의 얼굴과 상기 인증 영상에서 상기 사용자의 얼굴이 일치하면 상기 사용자를 인증하는 사용자 인증 방법.
  5. 제4항에서,
    상기 사용자를 인증하는 단계는
    상기 등록 영상에서 상기 사용자의 얼굴 특징을 기술하는 얼굴 특징 정보를 추출하는 단계,
    상기 인증 영상에서 상기 사용자의 얼굴 특징을 기술하는 얼굴 특징 정보를 추출하는 단계,
    상기 등록 영상의 얼굴 특징 정보와 상기 인증 영상의 얼굴 특징 정보의 유사도를 계산하는 단계, 그리고
    상기 얼굴 특징 정보의 유사도가 기준치 이상이면 상기 사용자의 얼굴이 일치한 것으로 판단하는 단계를 더 포함하는 사용자 인증 방법.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 적어도 하나 이상의 프로세서에 의해 동작하는 사용자 인증 장치로서,
    다수의 분할 영역을 포함하는 화면을 표시하는 디스플레이,
    상기 사용자가 상기 분할 영역 중 적어도 두 개 이상의 특정 영역들을 순차적으로 응시하는 등록 영상, 그리고 인증 영상을 촬영하는 카메라,
    상기 등록 영상을 저장하고, 상기 인증 영상을 분석하여 상기 사용자를 인증하기 위한 프로그램을 저장하는 메모리,
    상기 디스플레이, 상기 카메라, 그리고 상기 메모리와 연동하여 상기 프로그램에 구현된 동작을 실행하는 프로세서를 포함하고,
    상기 프로그램은 상기 메모리에 저장된 상기 등록 영상에서 눈 영역에 해당하는 랜드마크를 검출하여 정규화하고, 상기 사용자의 눈꺼풀의 움직임 또는 눈동자의 상대적 위치의 순차적인 변화를 이용하여 기준 정보를 추출하고, 상기 인증 영상에서 눈 영역에서 해당하는 랜드마크를 검출하여 정규화하고, 상기 사용자의 눈꺼풀의 움직임 또는 눈동자의 상대적 위치의 순차적인 변화를 이용하여 인증용 정보를 추출하고, 상기 기준 정보와 상기 인증용 정보의 유사도가 기준값 이상인 경우, 상기 사용자를 인증하는 명령어를 포함하는 사용자 인증 장치.
  10. 삭제
  11. 제9항에서,
    상기 프로그램은
    상기 사용자의 눈꺼풀의 닫힘 정도와 눈동자의 모양을 표현하는 특징점 중 적어도 하나 이상의 특징점을 이용하여 상기 기준 정보와 상기 인증용 정보를 추출하는 명령어를 포함하는 사용자 인증 장치.
  12. 제9항에서,
    상기 프로그램은
    상기 등록 영상에서 상기 사용자의 얼굴과 상기 인증 영상에서 상기 사용자의 얼굴이 일치하면 상기 사용자를 인증하는 명령어를 더 포함하는 사용자 인증 장치.
  13. 제12항에서,
    상기 프로그램은
    상기 등록 영상에서 상기 사용자의 얼굴 특징을 기술하는 얼굴 특징 정보를 추출하고, 상기 인증 영상에서 상기 사용자의 얼굴 특징을 기술하는 얼굴 특징 정보를 추출하고, 상기 등록 영상의 얼굴 특징 정보와 상기 인증 영상의 얼굴 특징 정보의 유사도를 계산하며, 상기 얼굴 특징 정보의 유사도가 기준치 이상이면 상기 사용자의 얼굴이 일치한 것으로 판단하는 명령어를 더 포함하는 사용자 인증 장치.
  14. 사용자 단말의 프로세서에 의해 동작하기 위해 컴퓨터 판독 가능한 저장 매체에 저장된 프로그램으로서,
    다수의 분할 영역을 포함하는 등록 화면을 표시하는 단계,
    상기 사용자가 상기 분할 영역 중 적어도 두 개 이상의 특정 영역들을 순차적으로 응시하는 등록 영상을 촬영하는 단계,
    상기 등록 영상을 저장하는 단계,
    상기 분할 영역을 포함하는 인증 화면을 표시하는 단계,
    상기 사용자가 상기 분할 영역 중 적어도 두 개 이상의 특정 영역들을 순차적으로 응시하는 인증 영상을 촬영하는 단계,
    상기 등록 영상에서 눈 영역에 해당하는 랜드마크를 검출하여 정규화하고, 상기 사용자의 눈꺼풀의 움직임 또는 눈동자의 상대적 위치의 순차적인 변화를 이용하여 기준 정보를 추출하고, 상기 인증 영상에서 눈 영역에서 해당하는 랜드마크를 검출하여 정규화하고, 상기 사용자의 눈꺼풀의 움직임 또는 눈동자의 상대적 위치의 순차적인 변화를 이용하여 인증용 정보를 추출하는 단계, 그리고
    상기 기준 정보와 상기 인증용 정보의 유사도가 기준값 이상인 경우, 상기 사용자를 인증하는 단계를 실행하는 명령어들을 포함하는 컴퓨터 판독 가능한 저장 매체에 저장된 프로그램.
  15. 삭제
  16. 제14항에서,
    상기 사용자를 인증하는 단계는
    상기 사용자의 눈꺼풀의 닫힘 정도와 눈동자의 모양을 표현하는 특징점 중 적어도 하나 이상의 특징점을 이용하여 상기 기준 정보와 상기 인증용 정보를 추출하는 명령어를 포함하는 컴퓨터 판독 가능한 저장 매체에 저장된 프로그램.
  17. 제14항에서,
    상기 사용자를 인증하는 단계는
    상기 등록 영상에서 상기 사용자의 얼굴과 상기 인증 영상에서 상기 사용자의 얼굴이 일치하면 상기 사용자를 인증하는 명령어를 더 포함하는 컴퓨터 판독 가능한 저장 매체에 저장된 프로그램.
  18. 제17항에서,
    상기 사용자를 인증하는 단계는
    상기 등록 영상에서 상기 사용자의 얼굴 특징을 기술하는 얼굴 특징 정보를 추출하는 단계,
    상기 인증 영상에서 상기 사용자의 얼굴 특징을 기술하는 얼굴 특징 정보를 추출하는 단계,
    상기 등록 영상의 얼굴 특징 정보와 상기 인증 영상의 얼굴 특징 정보의 유사도를 계산하는 단계, 그리고
    상기 얼굴 특징 정보의 유사도가 기준치 이상이면 상기 사용자의 얼굴이 일치한 것으로 판단하는 단계를 실행하는 명령어를 더 포함하는 컴퓨터 판독 가능한 저장 매체에 저장된 프로그램.
KR1020160115267A 2016-09-07 2016-09-07 사용자 인증 방법, 사용자 인증 장치, 그리고 사용자 인증 프로그램 KR102158320B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160115267A KR102158320B1 (ko) 2016-09-07 2016-09-07 사용자 인증 방법, 사용자 인증 장치, 그리고 사용자 인증 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160115267A KR102158320B1 (ko) 2016-09-07 2016-09-07 사용자 인증 방법, 사용자 인증 장치, 그리고 사용자 인증 프로그램

Publications (2)

Publication Number Publication Date
KR20180027957A KR20180027957A (ko) 2018-03-15
KR102158320B1 true KR102158320B1 (ko) 2020-10-23

Family

ID=61659968

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160115267A KR102158320B1 (ko) 2016-09-07 2016-09-07 사용자 인증 방법, 사용자 인증 장치, 그리고 사용자 인증 프로그램

Country Status (1)

Country Link
KR (1) KR102158320B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100601963B1 (ko) 2004-08-23 2006-07-14 삼성전자주식회사 시선을 이용한 인증 장치 및 그 방법
US7986816B1 (en) 2006-09-27 2011-07-26 University Of Alaska Methods and systems for multiple factor authentication using gaze tracking and iris scanning
EP2503479B1 (en) 2011-03-21 2015-08-05 BlackBerry Limited Login method based on direction of gaze

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101057719B1 (ko) * 2008-12-24 2011-08-18 주식회사 미래인식 얼굴 인식을 이용한 사용자 인증 시스템 및 얼굴 인식을 이용한 사용자 인증 방법
KR102224934B1 (ko) * 2014-03-06 2021-03-08 에스케이플래닛 주식회사 눈동자 위치 및 정지 시간에 기반한 잠금 해제를 수행하는 사용자 장치, 눈동자 위치 및 정지 시간에 기반한 사용자 장치의 잠금 해제 방법 및 컴퓨터 프로그램이 기록된 기록매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100601963B1 (ko) 2004-08-23 2006-07-14 삼성전자주식회사 시선을 이용한 인증 장치 및 그 방법
US7986816B1 (en) 2006-09-27 2011-07-26 University Of Alaska Methods and systems for multiple factor authentication using gaze tracking and iris scanning
EP2503479B1 (en) 2011-03-21 2015-08-05 BlackBerry Limited Login method based on direction of gaze

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Haibin Cai, elt al. Robust Gaze Estimation via Normalized Iris Center-Eye Corner Vector(2016)

Also Published As

Publication number Publication date
KR20180027957A (ko) 2018-03-15

Similar Documents

Publication Publication Date Title
JP6934564B2 (ja) 偽装防止の検出方法および装置、電子機器、記憶媒体
US9864756B2 (en) Method, apparatus for providing a notification on a face recognition environment, and computer-readable recording medium for executing the method
US7986816B1 (en) Methods and systems for multiple factor authentication using gaze tracking and iris scanning
Niinuma et al. Soft biometric traits for continuous user authentication
CN107995979B (zh) 用于对用户进行认证的系统、方法和机器可读介质
Tian et al. KinWrite: Handwriting-Based Authentication Using Kinect.
US20140250523A1 (en) Continuous Authentication, and Methods, Systems, and Software Therefor
CN105740688B (zh) 解锁的方法和装置
EP3528158B1 (en) Method and apparatus for selective combined authentication
JP4760049B2 (ja) 顔認証装置、その顔認証方法、その顔認証装置を組み込んだ電子機器およびその顔認証プログラムを記録した記録媒体
US10885171B2 (en) Authentication verification using soft biometric traits
US20120320181A1 (en) Apparatus and method for security using authentication of face
US10217009B2 (en) Methods and systems for enhancing user liveness detection
EP2701096A2 (en) Image processing device and image processing method
US20230306792A1 (en) Spoof Detection Based on Challenge Response Analysis
Fenu et al. Controlling user access to cloud-connected mobile applications by means of biometrics
KR100825689B1 (ko) 얼굴 위장 판별 방법
US20170185825A1 (en) Biometric identification
Srinivasa et al. Continuous multimodal user authentication: coupling hard and soft biometrics with support vector machines to attenuate noise
KR102158320B1 (ko) 사용자 인증 방법, 사용자 인증 장치, 그리고 사용자 인증 프로그램
US11507646B1 (en) User authentication using video analysis
Pravinthraja et al. Multimodal biometrics for improving automatic teller machine security
KR20070118806A (ko) 임베디드 시스템용 안면 검출방법
Orekondy et al. Application of support vector machine in Continuous Authentication
KR102474577B1 (ko) 입력 패턴을 이용한 안면 인증 방법 및 인증 서버

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant