KR102059520B1 - 저해상도 눈동자 반응을 이용한 사용자 인증시스템 - Google Patents

저해상도 눈동자 반응을 이용한 사용자 인증시스템 Download PDF

Info

Publication number
KR102059520B1
KR102059520B1 KR1020180081212A KR20180081212A KR102059520B1 KR 102059520 B1 KR102059520 B1 KR 102059520B1 KR 1020180081212 A KR1020180081212 A KR 1020180081212A KR 20180081212 A KR20180081212 A KR 20180081212A KR 102059520 B1 KR102059520 B1 KR 102059520B1
Authority
KR
South Korea
Prior art keywords
user
pupil
resolution
response
gaze
Prior art date
Application number
KR1020180081212A
Other languages
English (en)
Other versions
KR20190130436A (ko
Inventor
이수영
정은수
이동건
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of KR20190130436A publication Critical patent/KR20190130436A/ko
Application granted granted Critical
Publication of KR102059520B1 publication Critical patent/KR102059520B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G06K9/00597
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3226Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN
    • H04L9/3231Biological data, e.g. fingerprint, voice or retina

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Collating Specific Patterns (AREA)

Abstract

눈동자 반응을 이용한 사용자 인증 시스템 및 방법이 개시된다. 눈동자 반응을 이용한 사용자 인증 시스템은 눈동자 반응 데이터를 포함하는 사용자 정보를 저장하는 저장부, 시각 자극에 따른 상기 사용자의 눈동자 반응 및 상기 사용자 정보를 이용하여 사용자를 예측하는 제어부, 상기 시각 자극에 따른 상기 사용자의 눈동자 반응을 획득하는 반응 획득부, 상기 제어부는 상기 획득한 눈동자 반응을 기초로 추출된 사용자 특징을 상기 저장부에 저장된 상기 사용자 정보와 비교하여 사용자 ID의 일치 확률을 판단하는 사용자 판단부 및 상기 사용자 ID의 일치 확률에 따른 인증 및 접근 여부를 결정하는 인증부;를 포함하고, 상기 반응 획득부는 상기 사용자의 눈동자 반응의 해상도를 조정하는 구성을 개시한다.

Description

저해상도 눈동자 반응을 이용한 사용자 인증시스템{USER AUTHENTICATION SYSTEM USING LOW-RESOLUTION PUPIL REACTION}
본 발명은 저해상도 눈동자 반응을 이용한 사용자 인증 시스템 및 방법에 관한 것이다. 보다 상세하게, 본 발명의 일 실시예는 시각자극에 대한 사용자의 무의식적인 시선 움직임 반응을 인증에 사용하는 눈동자 반응을 이용한 사용자 인증 시스템 및 방법에 관한 것이다.
사람의 두뇌는 눈에 보이는 영상 중 익숙하거나 익숙하지 않거나, 또는 관심의 유무에 따라 다른 뇌파와 시선 움직임을 무의식 중에 생성한다고 알려져 있다(이를 '뇌지문(brain fingerprinting)' 라고 함). 사람마다 과거의 경험과 지식, 관심사가 다르므로 같은 영상에 대해서도 서로 다른 반응을 보이고, 이는 무의식 중에 일어나서 스스로 제어할 수 없으므로 남들이 복제하기는 더욱 불가능하여, 사용자인증에 사용되기 매우 좋은 생체신호이다.
한편, 현재의 사용자 인증 시스템은 지문이나 홍채인식 등 최신 기술조차도 유출의 위험이 존재하여 안전성이 보장되지 못하고 있다. 보다 구체적으로, 비교적 보안성이 높다고 알려진 지문이나 홍채인식 등 생체인식조차도 특수소재나 카메라 등으로 복제가 가능하고, 최근 생체인식 기술표준(FIDO)에서 고려되는 생동감 감지(liveness detection)조차도 카메라로 복제된 비디오를 이용하여 피해갈 수 있다.
또한, 가장 기본적인 암호나 기기(OTP, 휴대폰 등) 등은 잃어버릴 수도 있어 이를 보완하기 위해 편의성을 희생하게 된다.
특히, 고령화 사회에서 디지털 기기에 익숙하지 못한 고령인구가 은행거래나 사회망(SNS) 가입 등 다양한 인터넷 상의 서비스를 이용하기에는 안전성과 편의성이 대폭 강화된 사용자인증 시스템이 필요하다.
컴퓨터 및 인터넷 서비스에서 절대적으로 안전하면서도 편의성이 보장되는 사용자 인증 시스템을 개발할 필요성이 요구된다.
본 발명이 이루고자 하는 기술적 과제는 눈동자 반응을 이용한 사용자 인증 시스템 및 방법을 제공하는데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는 시각자극에 대한 사용자의 무의식적인 시선 움직임 반응을 인증에 사용하는 더 정확도 높고 시스템의 부하가 적은 눈동자 반응을 이용한 사용자 인증 시스템 및 방법을 제공하는데 있다.
상기한 문제를 해결하기 위한 본 발명의 일 실시 예에 따른 눈동자 반응을 이용한 연속 인증 시스템은 눈동자 반응 데이터를 포함하는 사용자 정보를 저장하는 저장부, 시각 자극에 따른 상기 사용자의 눈동자 반응 및 상기 사용자 정보를 이용하여 사용자를 예측하는 제어부, 상기 시각 자극에 따른 상기 사용자의 눈동자 반응을 획득하는 반응 획득부, 상기 제어부는 상기 획득한 눈동자 반응을 기초로 추출된 사용자 특징을 상기 저장부에 저장된 상기 사용자 정보와 비교하여 사용자 ID의 일치 확률을 판단하는 사용자 판단부 및 상기 사용자 ID의 일치 확률에 따른 인증 및 접근 여부를 결정하고, 상기 사용자의 접근 허용 후 반복적으로 사용자 재인증을 수행하는 인증부를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 저장부는 사용자 등록 시에 입력한 상기 사용자의 눈동자 반응, 상기 사용자 개인 정보, 상기 사용자의 일상 정보 수집을 통해 획득한 데이터, 상기 사용자의 눈동자 반응에 대한 과거 인증 과정 또는 결과 중 적어도 하나를 저장할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 시각 자극은 사용중인 디바이스에 제시되고 있는 화면의 전체 또는 일부, 사용중인 디바이스에 제시되고 있는 화면의 정지 영상 또는 동영상, 사용자의 동작에 따른 화면의 변화 중 어느 하나로 구성될 수 있다.
본 발명의 일 실시 예에 따르면, 상기 제어부는 사용자가 접근하고자 하는 영역에 따라 서로 다른 인증 임계치 및 거부 임계치를 부여할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 인증부는 상기 사용자 ID일치 확률이 인증 임계치 이상인 경우 사용자의 접근을 허용한 상태에서 지속적으로 인증을 수행할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 인증부는 상기 사용자 ID일치 확률이 거부 임계치 이하인 경우 사용자를 차단할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 인증부는 상기 사용자 ID일치 확률이 인증 임계치 이하이며 거부 임계치 이상인 경우 다른 방식의 추가 인증을 요구하여 접근의 허용 혹은 거절을 결정할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 반응 획득부는 상기 사용자의 눈동자 반응을 디바이스에 장착되거나 디바이스에 연결된 카메라를 이용하여 획득할 수 있다.
본 발명의 일 실시 예에 따르면, 상기의 카메라는 디바이스에 장착되거나 연결된 가시광선 카메라, 적외선 광원과 카메라, 근적외선 광원과 카메라 중 어느 하나로 구성될 수 있다.
본 발명의 일 실시 예에 따르면, 상기 반응 획득부는 상기 사용자의 눈동자 반응을 시간 저해상도로 획득할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 반응 획득부는, 상기 사용자의 눈동자 반응을 공간 저해상도로 획득할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 인증부는 기 설정된 시간 간격으로 재인증을 수행할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 눈동자 반응은 시선 위치, 단속성 운동, 동공 크기, 눈 깜박임 중 적어도 하나 이상으로부터 파생된 신호일 수 있다.
본 발명에 따른 눈동자 반응을 이용한 사용자 인증 시스템 및 방법에 의하면, 시각자극에 대한 사용자의 무의식적인 시선 움직임 반응을 인증에 사용하여 사용자가 특별히 암호를 기억하거나 별도의 기기를 휴대할 필요 없이 편리하게 사용자를 인증할 수 있다. 또한, 사용자 두뇌의 무의식 반응이기에 다른 사람이 이를 복사하거나 모방할 수도 없는 안정성을 가질 수 있다. 또한, 기존 PC와 카메라를 이용하여 소프트웨어만으로 시선추적이 가능하여 시선움직임을 이용한 사용자 인증을 보편화시킬 수 있다.
본 발명에 따른 눈동자 반응을 이용한 사용자 인증 시스템 및 방법에 의하면, 눈동자 반응을 이용한 사용자 인증의 정확성을 높일 수 있다.
또한, 해상도를 낮추 사용자의 눈동자 반응을 이용하여 시스템의 부하가 적어 기존의 간단한 시스템으로도 구현이 가능하다.
또한, 반복적 재인증을 통해 착오 또는 모방에 의해 접근한 사용자를 금지할 수 있다.
도 1은 본 발명의 일 실시예에 따른 눈동자 반응을 이용한 사용자 인증 시스템을 나타내는 모식도이다.
도 2는 본 발명의 일 실시예에 따른 눈동자 반응을 이용한 사용자 인증 방법의 알고리즘을 도시한 것이다.
도3은 본 발명의 일 실시예에 따른 눈동자 반응을 이용한 사용자 인증 방법의 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 눈동자 반응을 이용한 사용자 인증 시스템의 블록도이다.
도 5는 본 발명의 일 실시예에 따른 눈동자 반응을 이용한 사용자 인증 시스템에 사용되는 디스플레이부를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 3명의 사용자에 대한 시선추적을 예시로 나타내는 도면이다.
도 7는 본 발명의 일 실시예에 따른 눈동자 반응을 이용한 사용자 인증 시스템과 기존의 눈동자 반응을 이용한 사용자 인증 시스템의 시험별 정확도를 비교한 도면이다.
도 8은 본 발명의 일 실시예에 따른 눈동자 반응을 이용한 사용자 인증 시스템과 기존의 눈동자 반응을 이용한 사용자 인증 시스템의 세션별 정확도를 비교한 도면이다.
도 9은 본 발명의 일 실시예에 따른 눈동자 반응을 이용한 사용자 인증 시스템의 성능을 도시한 도면이다.
도 10은 사용자의 응시 시간에 따른 대상의 선택 확률을 도시한 것이다.
도 11는 사용자의 응시 시간에 따른 평균 선호도 정확도 그래프이다.
도 12은 단일 특징의 사용자 인식 결과를 도시한 표이다.
도 13는 각 단일 특징에 의한 사용자 인식의 정확도를 도시한 그래프이다.
도 14는 각 단일 특징에 의한 사용자 인식의 성능을 도시한 표다.
도 15은 복수의 특징에 의한 사용자 인식의 성능을 도시한 그래프이다.
도 16은 복수의 특징에 의한 사용자 인식의 성능을 도시한 표다.
도 17은 단일 또는 복수의 특징에 의한 사용자 인식의 성능을 도시한 표다.
도 18는 본 발명의 일 실시예에 따른 눈동자 반응을 이용한 사용자 인증 시스템의 사용자 인증 성능을 도시한 그래프다.
도 19은 동일한 사용자 및 각 특징에 대한 상이한 사용자로부터의 비유사도의 정규화된 분포를 나타낸다.
도 20은 시간 및 공간 해상도에 따른 사용자 인증 성능을 나타낸 것이다.
도 21는 2x2 및 4x4의 공간 해상도에서 사용자 내 및 사용자 간 스캔 경로 비유사성의 정규화 된 분포를 나타낸다.
도 22은 샘플 레벨에 따른 비유사성은 분포를 도시한 것이다.
도 23는 본 발명의 일 실시 예에 따른 눈동자 반응을 이용한 사용자 인증 시스템의 반복 인증 알고리즘도이다.
도 24는 본 발명의 일 실시 예에 따른 눈동자 반응을 이용한 사용자 인증 시스템의 반복 인증 시스템의 일 예시이다.
이하 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명할 수 있다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 할 수 있다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 특징에 대한 구체적인 설명이 당업자에게 자명하거나 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
본 시스템은 눈동자 반응을 이용한 연속 인증 시스템이다.
본 시스템은 눈동자 반응을 획득하는 부분, 사용자의 인증정보를 저장하는 부분, 사용자의 인증여부를 결정하는 부분, 시각 자극 제시를 결정하는 부분으로 이루어져 있다.
본 시스템은 다음의 특징을 가진다.
1) 모바일 기기의 전면부 카메라를 통해 얻은 눈동자 반응을 이용한 사용자 인증
2) 사용자가 일상업무를 수행하는동안 이루어지는 사용자 인증
3) 수행하는 업무에 따라 다른 보안수준을 요구하는 사용자 인증
먼저 눈동자 반응을 획득하는 부분에서는 모바일 기기의 전면부 카메라를 이용하여 사용자의 눈동자 반응 정보를 획득한다. 눈동자 반응 정보란 안구의 움직임, 홍채의 모양, 동공의 크기 등의 정보를 포함한다.
사용자의 인증정보를 저장하는 부분에서는 수행하는 업무, 사용자의 눈동자 반응 정보, 인증의 성공여부, 인증의 신뢰도 정보 등의 정보를 지속적으로 저장하고 업데이트한다.
사용자의 인증여부를 결정하는 부분에서는 현재 수행하는 업무에서 요구하는 보안 수준을 고려하여 사용자의 눈동자 반응 정보와 시스템에 저장된 사용자의 정보로부터 사용자의 인증여부를 결정한다. 여기서 사용자의 인증여부란 수락, 거부, 추가 인증요구 등에 대한 결정이다.
시각자극을 제시하는 부분은 사용자의 인증여부를 결정하는 부분에서 추가로 인증이 요구할 시 어떠한 시각자극을 사용자에게 제시할지를 결정한다.
사람의 두뇌는 눈에 보이는 영상 중 익숙하거나 익숙하지 않거나, 또는 관심의 유무에 따라 다른 뇌파와 시선 움직임을 무의식 중에 생성한다고 알려져 있다. 사람마다 과거의 경험과 지식, 관심사가 다르므로 같은 영상에 대해서도 서로 다른 반응을 보이고, 이는 무의식 중에 일어나서 스스로 제어할 수 없으므로 남들이 복제하기는 더욱 불가능하여, 사용자인증에 사용되기 매우 좋은 생체신호이다.
따라서, 시선 움직임을 이용하여 사용자 인증을 하여 절대적으로 안전하면서도 편의성이 보장되는 사용자 인증 시스템을 개발할 필요성에 의하여 본 발명을 제안한다.
본 발명에서 제시하는 시각 자극은 사용자 인증을 위해 별도로 제시되는 것일 수도 있고, 시스템의 구동이나 프로그램의 실행에 있어서 자연스럼게 디스플레이되는 것일 수 있다. 상기 시각자극은 사용중인 디바이스에 제시되고 있는 화면의 전체 또는 일부, 사용중인 디바이스에 제시되고 있는 화면의 정지 영상 또는 동영상, 사용자의 동작에 따른 화면의 변화 중 어느 하나로 구성될 수 있다.
본 발명에서 사용자 반응은 상기 시각 자극에 의한 사용자의 반응으로 의식적 반응 및 무의식적 반응을 포함할 수 있다.
도 1은 본 발명의 일 실시예에 따른 눈동자 반응을 이용한 사용자 인증 시스템을 나타내는 모식도이다.
도 1을 참조하면, 시각자극(Visual Stimuli)에 대해 사용자의 눈동자는 반응하며, 이러한 사용자 눈동자 반응은 데이터 베이스에 저장된 정보와 비교된다. 이와 같이, 비교된 결과를 이용하여 본 발명에 따른 사용자 인증 시스템은 사용자를 예측하고, 사용자를 입증하거나, 사용자의 신원을 확인할 수 있다. 또한, 시각자극(Visual Stimuli)에 대한 사용자 눈동자 반응과 데이터 베이스에 저장된 정보를 비교함으로써, 디스플레이되는 시각 자극을 제어할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 눈동자 반응을 이용한 사용자 인증 방법의 알고리즘을 도시한 것이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 눈동자 반응을 이용한 사용자 인증 방법은 사용자 인증을 위한 시험(trial)을 시작할 수 있다. 상기 시험을 시작하기 위해 상기 사용자는 자신의 ID를 제시할 수 있다. 상기 시험을 시작하면 상기 ID와 상기 사용자가 일치하는지 여부를 판단할 수 있다. 상기 ID와 상기 사용자의 일치 여부를 판단하기 위해 상기 사용자에 시각 자극을 제시할 수 있다. 상기 시각 자극에 따른 상기 사용자의 눈동자 반응을 획득해 상기 ID와 상기 사용자의 일치 여부를 판단할 수 있다.
상기 시험을 시작해 상기 ID와 상기 사용자의 일치 여부를 판단해 상기 일치 확률을 판단 또는 획득할 수 있다. 상기 시험을 통해 판단한 일치 확률을 업데이트하고, 상기 일치 확률에 따라 상기 사용자와 ID의 일치 여부를 판단할 수 있다.
상기 일치 확률이 제1 임계 값 이상인 경우 상기 사용자를 상기 ID와 일치하는 정당한 사용자로 인증하고 접근을 허용할 수 있다.
상기 일치 확률이 제2 임계 값 이하인 경우 상기 사용자가 상기 ID와 불일치하는 권한 없는 사용자로 결정하고 접근을 차단할 수 있다.
상기 제1 임계 값은 상기 제2 임계 값보다 큰 값일 수 있다.
상기 일치 확률이 상기 제1 임계 값과 상기 제2 임계 값의 사이 값을 가지는 경우 상기 사용자와 ID의 일치 여부 판단을 보류하고 추가적인 시험 또는 세션을 진행할 수 있다.
상기 시험 시작에서 사용자의 ID 입력 없이 상기 사용자의 눈동자 반응에 따른 시스템에 저장된 사용 권한 있는 복수의 ID들과의 일치 확률을 판단할 수 있다.
상기 일치 확률이 특정 ID와 일치할 확률이 제1 임계 값 이상인 경우 상기 사용자를 상기 ID와 일치하는 정당한 사용자로 인증하고 접근을 허용할 수 있다.
상기 일치 확률이 특정 ID와 일치할 확률이 제2 임계 값 이하인 경우 상기 사용자가 상기 ID와 불일치하는 권한 없는 사용자로 결정하고 접근을 차단할 수 있다.
상기 일치 확률이 특정 ID와 상기 제1 임계 값과 상기 제2 임계 값의 사이 값을 가지는 경우 상기 사용자와 ID의 일치 여부 판단을 보류하고 추가적인 시험 또는 세션을 진행할 수 있다.
상기 일치 확률이 특정 ID와 확률이 제1 임계 값 이상인 경우 정당한 사용자로 인증하고 세션 및 시험을 종료할 수 있다. 상기 복수의 ID와 일치 확률이 모두 제1 임계 값 이하인 경우 제2 임계 값 이상의 확률을 가지는 ID들과의 일치 여부에 대해서 재인증을 위한 시험 또는 세션을 추가적으로 진행할 수 있다.
도3은 본 발명의 일 실시예에 따른 눈동자 반응을 이용한 사용자 인증 방법의 흐름도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 눈동자 반응을 이용한 사용자 인증 방법은 ID 인증을 시작하는 단계(S110)를 포함할 수 있다.
상기 S110 단계에서, 눈동자 반응을 이용한 사용자 인증 시스템은 사용자의 ID 인증을 시작할 수 있다. 상기 ID는 정당한 사용자의 신원을 인증하기 위한 정보일 수 있다. 상기 ID는 상기 눈동자 반응을 이용한 사용자 인증 시스템에 기 저장되어 있을 수 있다. 상기 ID는 복수로 저장되어 있을 수 있다. 상기 ID의 정당상 사용자는 시스템에 접근할 수 있는 권한을 가질 수 있다.
본 발명의 일 실시 예에 따르면, 상기 ID 인증을 시작하기 위해 사용자가 인증할 ID를 입력할 수 있다. 본 발명의 일 실시 예에 따르면, 사용자의 ID 입력 없이 상기 사용자의 권한 유무를 판단하기 위해 눈동자 반응을 이용한 사용자 인증 시스템에 저장된 모든 ID와 상기 사용자의 일치 여부를 판단하기 위해 인증을 시작할 수 있다.
본 발명의 일 실시예에 따른 눈동자 반응을 이용한 사용자 인증 방법은 사용자에 시각 자극을 제공하는 단계(S120)를 포함할 수 있다.
S120 단계에서, 눈동자 반응을 이용한 사용자 인증 시스템은 상기 사용자에게 시각자극을 제시할 수 있다. 상기 시각 자극은 상기 사용자가 시각적으로 인식할 수 있는 것으로, 이미지, 문자, 영상 등을 포함할 수 있다. 상기 시각 자극을 제공함에 있어 상기 눈동자 반응을 이용한 사용자 인증 시스템은 사용자의 시선을 정렬하거나 특정 위치에 집중시킬 수 있다. 상기 시각 자극의 제공에 앞서 사용자의 시선을 정렬하거나 특정 위치에 집중시켜 시선의 위치를 초기화하여 사용자의 반응을 관찰 또는 획득하도록 할 수 있다. 상기 시각 자극에 제시되는 데이터는 눈동자 반응을 이용한 사용자 인증 시스템에 기저장된 데이터를 이용할 수 있다. 상기 시각 자극에 제시되는 데이터는 눈동자 반응을 이용한 사용자 인증 시스템이 외부로부터 입력 받아 저장할 수 있다. 상기 시각 자극에 제시되는 데이터는 눈동자 반응을 이용한 사용자 인증 시스템이 사용자의 지시 또는 정해진 기간 단위로 업데이트 할 수 있다.
상기 시각 자극은 복수의 이미지가 한 화면에 배치되어 제공될 수 있다. 상기 시각 자극은 특정 주제에 따라 분류되고 정렬되어 제공될 수 있다. 상기 시각 자극은 카테고리에 따라 적어도 하나 이상의 시각 자극 데이터를 포함하도록 분류될 수 있고, 상기 카테고리에 따라 제공될 수 있다.
본 발명의 일 실시 예에 따르면 전체 359 개의 이미지가 인터넷, 얼굴 인식 기술 (FERET) 데이터베이스 및 ImageNet 데이터베이스에서 수집될 수 있다. 또한, 각기 다른 세 가지 셀피가 수집될 수 있다.
본 발명의 일 실시 예에 따르면, 각 시각자극에 대해 상기 시각 자극의 카테고리를 식별하는 데 중요한 부분은 250x250 픽셀보다 클 수 있다. 모든 시각자극의 중요한 부분을 잘라 내고 350x350 픽셀로 크기가 조정될 수 있다. 그들은 컬러 시각 자극에서 그레이 스케일 시각자극으로 변경될 수 있다. 또한 조명이 표준화될 수 있다. 사용자의 상향식 관심에 영향을 주는 돌출 효과를 줄일 수 있다.
복수의 시각자극 중 하나의 시각 자극 세트를 구성하기 위해 무작위로 4 개의 시각자극이 선택될 수 있다. 일부 시각 자극 세트는 동일한 카테고리의 시각 자극으로 구성되고 다른 시각 자극 세트는 다른 카테고리의 시각 자극으로 구성된다. 각 시각 자극 세트의 크기는 800 x 800 픽셀일 수 있다. 본 발명의 일 실시 예에 따르면, 각 시각 자극은 화면의 각 구석에 배치될 수 있다. 배경은 검은 색일 수 있고 중앙에 노란색 십자가가 표시되어있어 시각 자극이 제시되기 전에 사용자의 시선을 집중시키는 등 상기 사용자의 시각 반응을 초기화 할 수 있다.
사용자는 세션이 진행되는 동안 각 시각 자극 세트를 자유롭게 관찰할 수 있다. 상기 사용자는 세션 중에 설정된 각 시각 자극을 관찰 한 후 선호하는 시각 자극을 선택할 수 있다. 본 발명의 일 실시 예에 있으면, 세션간에 휴식 시간을 짧게 설정할 수 있다. 각 세션에서 시각 자극 세트를 제시하는 순서는 무작위일 수 있다. 화면 중앙의 십자가는 0.5 초 동안 표시될 수 있고 상기 시각 자극은 2 초로 표시될 수 있다. 각 시도 후에 짧은 간격이 있었고, 사용자는 각 간격을 조절할 수 있다.
본 발명의 일 실시예에 따른 눈동자 반응을 이용한 사용자 인증 방법은 사용자 반응을 획득하는 단계(S130)를 포함할 수 있다.
S130 단계에서, 눈동자 반응을 이용한 사용자 인증 시스템은 상기 사용자에게 제시한 시각 자극에 대해 상기 사용자가 나타내는 반응을 획득할 수 있다. 상기 반응은 상기 사용자의 시선, 응시 시간, 스캔 경로 등을 포함하는 눈동자 반응을 포함할 수 있다. 상기 반응은 상기 사용자의 선호도를 포함할 수 있다. 상기 눈동자 반응을 이용한 사용자 인증 시스템은 시선 추적기를 통해 상기 사용자의 눈동자 반응을 획득할 수 있고, 상기 사용자가 입력한 데이터 또는 상기 눈동자 반응을 이용하여 선호도를 획득할 수 있다.
S130 단계에서, 상기 눈동자 반응은 해상도를 낮춰 획득할 수 있다. 상기 해상도는 공간 해상도 및 시간 해상도를 포함할 수 있다. 상기 공간 해상도는 상기 눈동자 반응의 위치 변화를 측정하는 지점의 수를 의미할 수 있다. 상기 공간 해상도는 n X n으로 표시될 수 있고, 상기 n에 해당하는 숫자가 작을수록 공간 해상도가 낮을 수 있다. 본 발명의 일 실시 예에 따르면, 상기 공간 해상도는 4 X 4이상일 수 있다. 상기 공간 해상도가 2 X 2 이하인 경우 사용자 인증의 성능이 떨어질 수 있다.
상기 시간 해상도는 상기 눈동자 반응의 변화를 측정하는 시간당 횟수를 의미할 수 있다. 상기 시간 해상도는 샘플링 주파수의 Hz 단위로 표시될 수 있다. 상기 시간 해상도가 낮을수록 측정 간격이 길고 측정되는 횟수가 적다. 본 발명의 일 실시 예에 따르면, 상기 시간 해상도는 10 Hz 이상일 수 있다. 상기 시간 해상도가 10 Hz보다 적은 경우 사용자 인증의 성능이 떨어질 수 있다.
본 발명의 일 실시예에 따른 눈동자 반응을 이용한 사용자 인증 방법은 ID와 사용자의 일치 확률을 판단하는 단계(S140)를 포함할 수 있다.
S140 단계에서, 상기 S130 단계에서 획득한 사용자 반응을 이용해 상기 ID와 사용자의 일치 확률을 판단할 수 있다. 상기 일치 확률은 각 시험마다 판단될 수 있다. 상기 일치 확률은 각 시험마다 판단되어 복수의 시험이 포함되는 세션 전체로서 일치 확률을 계산 또는 판단할 수 있다. 상기 일치 확률은 상기 사용자가 S110 단계에서 입력한 ID와 상기 사용자의 일치 확률일 수 있다. 상기 일치 확률은 상기 눈동자 반응을 이용한 사용자 인증 시스템에 저장된 모든 ID와 사용자의 일치 확률을 판단한 것일 수 있다. 상기 일치 확률의 판단은 상기 사용자 반응이 상기 ID와의 유사성에 따라 판단할 수 있다.
본 발명의 일 실시예에 따른 눈동자 반응을 이용한 사용자 인증 방법은 상기 일치 확률에 따른 액세스(Access) 여부를 판단하는 단계(S150)를 포함할 수 있다.
S150 단계에서, 상기 일치 확률에 따라 상기 사용자의 액세스 허용 여부를 판단 또는 결정할 수 있다. 상기 일치 확률이 제 1 임계값 이상인 경우 상기 사용자가 상기 ID와 일치하는 사용자로 판단하고, 액세스를 허용할 수 있다. 상기 일치 확률이 제2 임계값 이하인 경우 상기 사용자가 상기 ID와 불일치하는 권한 없는 사용자로 판단하고, 액세스를 제한 또는 거부할 수 있다. 상기 일치 확률이 상기 제1 임계값과 상기 제2 임계값 사이의 값을 가지는 경우 추가적인 시험 또는 세션을 진행하여 사용자 인증을 진행할 수 있다. 즉, 상기 일치 확률이 상기 제1 임계값과 상기 제2 임계값 사이의 값을 가지는 경우 눈동자 반응을 이용한 사용자 인증 시스템은 상기 S120 단계로 돌아가 새로운 시각 자극을 제공할 수 있다.
상기 눈동자 반응을 이용한 사용자 인증 시스템에 기저장된 모든 ID와 일치 확률을 판단한 경우 복수의 상기 일치 확률 중 제1 임계값 이상의 값을 가지는 ID가 있으면, 가장 일치 확률의 값이 큰 ID의 정당한 사용자로 상기 사용자를 인증하고, 액세스를 허용할 수 있다.
상기 눈동자 반응을 이용한 사용자 인증 시스템에 기저장된 모든 ID와 일치 확률을 판단한 경우 복수의 상기 일치 확률 중 제1 임계값 이상의 값을 가지는 ID가 없으면, 복수의 상기 일치 확률 중 제2 임계값 이상인 값이 있는지 판단할 수 있다. 복수의 상기 일치 확률 중 제2 임계값 이상인 값이 있으면 추가적인 시험 또는 세션을 진행해 사용자 재인증을 수행하도록 할 수 있다. 재인증을 위해 S120 단계로 돌아가 시각 자극을 제시할 수 있다. 바람직하게는 상기 재인증은 상기 일치 확률이 상기 제2 임계값 이상인 ID들에 대해서만 수행될 수 있다.
상기 눈동자 반응을 이용한 사용자 인증 시스템에 기저장된 모든 ID와 일치 확률을 판단한 경우 복수의 상기 일치 확률 중 제2 임계값 이상의 값을 가지는 ID가 없으면, 상기 사용자는 정당한 권한 없는 사용자로 판단하고, 액세스를 차단 또는 거부할 수 있다.
본 발명의 일 실시예에 따른 눈동자 반응을 이용한 사용자 인증 방법은 반복 ID 인증을 통한 액세스(Access) 여부를 판단하는 단계(S160)를 포함할 수 있다.
S160 단계에서, 눈동자 반응을 이용한 사용자 인증 시스템은 액세스가 허용된 사용자가에게 반복적으로 재인증을 수행할 수 있다. 상기 재인증을 위해 S120 단계로 돌아가 시각 자극을 제공할 수 있다. 상기 재인증은 기설정된 시간 단위로 수행될 수 있다. 상기 재인증 결과 정당한 권한 없는 사용자로 판단되는 경우 액세스를 해제하고, 액세스를 차단 또는 거부할 수 있다. 상기 재인증 결과 정당한 권한이 있는 사용자인 경우 액세스를 지속하게할 수 있다.
S160 단계에서, 기존의 컴퓨터 시스템은 초기 로그인 세션에서만 사용자를 인증하므로 심각한 보안 결함의 원인이 될 수 있다. 즉, 사용자의 시선의 움직임을 추적하여 사용자를 인증하는 것은 높은 정확도를 보여줄 수 있으나 정당한 사용자의 시선 움직임을 모방한 타인이 정당한 사용자로 인증받을 가능성을 무시할 수 없다. 따라서 시스템이 사용자의 생체 인식 특성에 따라 사용자를 지속적으로 모니터하고 인증하는 지속적인 사용자 인증할 수 있다.
본 발명의 일 실시 예에서 프로그램을 실행할 때 시스템이 해당 프로그램의 사용을 준비하는 데 로딩 시간이 필요할 수 있고, 로딩하는 동안 로고 이미지가 화면 중앙에 나타날 수 있다.
본 발명의 일 실시 예에 따르면 눈동자 반응을 이용한 사용자 인증 시스템은 일회적인 사용자 인증이 아닌 지속적인 사용자 인증을 통해 사용자 인증의 보안성을 높일 수 있다.
도 4는 본 발명의 일 실시예에 따른 눈동자 반응을 이용한 사용자 인증 시스템의 블록도이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 눈동자 반응을 이용한 사용자 인증 시스템은 반응 획득부(100), 제어부(200), 인증무(300) 및 저장부(400)를 포함할 수 있다.
상기 반응 획득부(100)는 사용자의 반응을 획득할 수 있다. 상기 획득한 사용자 반응을 상기 제어부(200)에 전달할 수 있다. 상기 반응 획득부(100)는 상기 사용자에게 제시한 시각 자극에 대해 상기 사용자가 나타내는 반응을 획득할 수 있다. 상기 반응은 상기 사용자의 시선, 응시 시간, 스캔 경로 등을 포함하는 눈동자 반응을 포함할 수 있다. 상기 반응은 상기 사용자의 선호도를 포함할 수 있다. 상기 눈동자 반응을 이용한 사용자 인증 시스템은 시선 추적기를 통해 상기 사용자의 눈동자 반응을 획득할 수 있고, 상기 사용자가 입력한 데이터 또는 상기 눈동자 반응을 이용하여 선호도를 획득할 수 있다.
상기 반응 획득부는 상기 사용자의 눈동자 반응을 디바이스에 장착되거나 디바이스에 연결된 카메라를 이용하여 획득할 수 있다.
상기 반응 획득부(100)는 카메라를 포함할 수 있고, 상기의 카메라는 디바이스에 장착되거나 연결된 가시광선 카메라, 적외선 광원과 카메라, 근적외선 광원과 카메라 중 어느 하나로 구성될 수 있다.
상기 반응 획득부(100)는 상기 눈동자 반응은 해상도를 낮춰 획득할 수 있다. 상기 해상도는 공간 해상도 및 시간 해상도를 포함할 수 있다. 상기 공간 해상도는 상기 눈동자 반응의 위치 변화를 측정하는 지점의 수를 의미할 수 있다. 상기 공간 해상도는 n X n으로 표시될 수 있고, 상기 n에 해당하는 숫자가 작을수록 공간 해상도가 낮을 수 있다. 본 발명의 일 실시 예에 따르면, 상기 공간 해상도는 4 X 4이상일 수 있다. 상기 공간 해상도가 2 X 2 이하인 경우 사용자 인증의 성능이 떨어질 수 있다.
상기 시간 해상도는 상기 눈동자 반응의 변화를 측정하는 시간당 횟수를 의미할 수 있다. 상기 시간 해상도는 Hz 단위로 표시될 수 있다. 상기 시간 해상도가 낮을수록 측정 간격이 길고 측정되는 횟수가 적다. 본 발명의 일 실시 예에 따르면, 상기 시간 해상도는 10 Hz 이상일 수 있다. 상기 시간 해상도가 10 Hz보다 적은 경우 사용자 인증의 성능이 떨어질 수 있다.
상기 반응 획득부(100) 또는 상기 제어부(200)는 하기 실시예와 같이 시간 및 공간 해상도를 변경할 수 있다.
상기 반응 획득부(100)는 측정시 해상도를 변경해 측정할 수 있고, 상기 제어부(200)는 획득된 데이터의 해상도를 변경할 수 있다.
1) 시간 해상도
원시 데이터의 샘플링 주파수는 원래 120 Hz 였고 60, 30, 20, 10 및 5 Hz로 감소되었다. 시간적 다운 샘플링은 MATLAB (The MathWorks, Inc., Natick, MA, USA)의 재 샘플 기능을 사용하여 수행되었다.
리샘플 기능은 목표 샘플링 주파수에 따라 원시 데이터에서 샘플을 제거하고 저역 필터링을 통해 앤티 앨리어싱을 수행한다.
2) 공간 해상도
양자화는 스캔 경로(scanpath)의 공간 해상도를 줄이기 위해 사용된다. 스캔 경로 양자화 방법에는 반경 기반과 그리드 기반 두 가지가 있다. 본 발명의 일 실시 예에서는 반경 기반 양자화를 사용하여 공간 해상도를 변경할 수 있다. 시선 위치에 균일하게 분산된 오차를 더했다. 대조적으로 격자 기반 양자화는 시각적 자극에 고정 격자를 겹치게 하고 시선 위치 값을 이산화시킬 수 있다. 실험에서 2 Х 2 레이아웃으로 이미지를 제시 했으므로 그리드 기반 양자화를 사용한다.
그리드 기반 양자화를 구현하기 위해 x와 y 좌표의 시선 위치에 중립화(mid-riser)를 사용하여 균일 양자화를 적용한다. 상기한 방법을 사용하여 시선 위치가 시선이 속한 영역의 중심 위치로 양자화된다. 목표 해상도가 r Х r (r은 양자화 레벨의 수) 일 때, 양자화 스텝 사이즈
Figure 112018068890813-pat00001
와 x 좌표 에서의 양자화된 시선 위치는 각각 다음 수학식 1 및 수학식 2와 같이 표현 될 수 있다.
[수학식 1]
Figure 112018068890813-pat00002
[수학식 2]
Figure 112018068890813-pat00003
여기서 는 화면의 가로 크기이고, 는 x 좌표의 원시 시선 위치다. 화면의 가로 및 세로 크기가 동일하므로 y 좌표의 양자화는 x 좌표와 동일하다. 원시 데이터의 원래 공간 해상도는 800 Х 800이었고 256 Х 256, 64 Х 64, 16 Х 16, 4 Х 4 및 2 Х 2로 축소되었다.
스캔 경로 비교
1) 유클리드 거리
유클리드 거리 (Euclidean distance)는 패어와이즈(pairwise) 비교를 통해 두 시퀀스 간의 비유사성을 나타낼 수 있다. 동일한 사용자의 스캔 경로는 유사 할 수 있지만, 다른 사용자의 스캔 경로와는 유사하지 않을 수 있다. 두 개의 스캔 경로 사이의 유클리드 거리 는 다음 수학식 3과 같이 계산된다.
[수학식3]
Figure 112018068890813-pat00004
여기서 1 ()과 2 ()는 x 좌표에서의 1 차 및 2 차 스캔 경로의 시선 위치이며, 1 ()과 2 ()는 y 좌표의 시선 위치이다. 한편, 는 샘플 인덱스를 나타내고, 는 스캔 경로 내의 총 샘플 수이다.
2) 동적 시간 왜곡(Dynamic Time Warping)
동적 시간 왜곡 (DTW)은 두 시간 순서를 다른 속도와 비교하는 데 사용되는 알고리즘이다. 자동 음성 인식을 위해 다른 속도로 음성 시퀀스를 비교하는 것이 제안되었다. 유클리드 거리와 비교할 때, DTW는 시간 영역에서의 이동에 견고(robust)하다. DTW 알고리즘에서, 비용 매트릭스는 각 시퀀스를 구성하는 샘플 쌍에 대한 거리를 계산함으로써 먼저 얻어진다. 그런 다음 동적 프로그래밍을 사용하여 비용 매트릭스에서 최적의 워핑 경로를 찾아 경로상의 거리 값 합계를 최소화한다. 최소 비용은 두 시퀀스의 DTW 점수라고 한다.
사용자 식별
가장 가까운 이웃 방법을 사용하여, 각각의 시도에서 식별이 수행된다. 평가 데이터가 주어지면, 27 명의 사용자의 개발 데이터에 대한 차이를 계산하고 평가 된 사용자의 신원과 가장 낮은 비유사성을 갖는 지수를 할당한다. 식별된 사용자가 평가된 사용자와 일치하면 식별이 성공한 것이다. 식별 프로세스는 다음 수학식 4 및 수학식 5와 같이 표현된다.
[수학식 4]
Figure 112018068890813-pat00005
[수학식 5]
Figure 112018068890813-pat00006
여기서 와 는 개발 및 평가 데이터의 신원(ID)이다. 식별 성능은 110 번 시도의 평균 Rank-1 식별 속도로 측정되었다.
상기 반응 획득부(100)는 상기 사용자가 리모컨 버튼 등으로 특정 시각 자극을 선택하면 선택된 시각 자극의 선호도 정보를 획득할 수 있다. 상기 반응 획득부(100)는 상기 사용자가 선호도 선택을 할 수 있도록 상기 시각 자극 별로 번호를 표시할 수 있다.
상기 반응 획득부(100)는 시험 또는 세션 내에서, 선호도와 시선이 밀접하게 관련되어있는 시간대와 그렇지 않은 경우의 시간대가 있을 수 있다. 예를 들어, 각 시험 또는 세션의 시작은 화면 중앙의 고정 점에서 항목으로 시선을 움직이는 과정이므로 이 간격 동안의 시선은 선호도와 관련성이 적을 수 있다. 시험 또는 세션을 여러 시간 구간으로 나누어 최종 시선 색인과 시선 바이어스를 계산 할 수 있다. 세그먼트의 길이는 시험의 1/4, 1/2 및 3/4이었으며 각 세그먼트의 시작점은 시험의 시작, 1/4, 1/2 및 3/4 지점일 수 있다. 시선 특성의 선호도 예측 결과를 비교하고 선호도 예측 결과가 우수한 특징을 사용자 인증 및 인식에 사용 할 수 있다.
선호도 인덱스(색인)
상기 반응 획득부(100)가 획득하는 색인은 사용자가 세션에서 시험을 본 후에 키보드 버튼을 통해 입력 한 이미지의 색인일 수 있다. 예를 들어, 4 개의 이미지의 선호 인덱스의 인덱싱은 저해상도의 스캔 경로 데이터의 인덱싱과 동일할 수 있다. 사용자가 버튼을 누르지 않은 시험은 분석에서 제외될 수 있다. 시험에 두 개 이상의 색인이 입력 된 경우 마지막으로 누른 색인이 선호도 색인으로 간주될 수 있다.
상기 제어부(200)는 사용자에 시각 자극을 제시하고 사용자 반응을 이용해 상기 사용자와 ID의 일치 확률을 판단할 수 있다. 상기 ID는 상기 저장부(400)에 기저장되어 있을 수 있다. 상기 ID는 권한 있는 사용자의 정보를 포함하고 있을 수 있다. 상기 ID와 사용자가 일치할 확률을 상기 제어부(200)가 판단할 수 있다.
각 사용자는 제시된 후보들에 대해 다양한 선호를 가지고 있고, 선호도 선택시 눈동자 반응에는 선호도 및 주체 신원에 대한 정보가 포함될 수 있다. 사용자는 명시적 선호도, 암시적 시선 정보, 스캔 경로 또는 이들의 조합을 통해 인증되거나 인식 될 수 있다.
본 발명의 일 실시 예에 따르면 상기 제어부(200)는 각각 4 개의 시각 자극이 결합 된 시험을 설정하고 서로 다르게 구성된 시험을 연속적으로 사용자에게 제시한다. 시각 자극은 여러 범주에서 수집될 수 있고, 동일한 범주로 구성된 시험과 다른 범주로 구성된 시험을 제공할 수 있다. 다양한 시험은 사용자에 대한 다양한 선호 옵션을 제공할 수 있다.
본 발명의 일 실시 예에 따르면 키보드 버튼 또는 눈 움직임 데이터로부터 선호도 특징을 추출할 수 있다. 상기 제어부(200)는 선호도 (시선 바이어스, 초기 및 최종 시선 인덱스)와 관련이 있는 것으로 알려진 몇 가지 시선 특징을 추출할 수 있다. 선호도는 암시적으로 표현 되기 때문에, 버튼 누름으로 표현된 명시적 선호도와 대조된다. 상기 반응 획득부(100)는 대상 사용자를 나타내는 특징으로 시간과 공간 영역에서 눈동자 반응의 궤도인 스캔 경로(scanpath)를 추출할 수 있다. 스캔경로는 사용자가 시각적 인 자극을 보는 방법에 대한 시공간 정보를 포함한다. 사용자가 후보 중 하나를 선택해야 하는 상황에서 결정을 내리는 과정은 사람마다 다르며 과정은 스캔 경로에 의해 표시될 수 잇다. 또한, 하나의 이미지를 관찰하기 위한 스캔 경로는 사람마다 다르며, 다수의 이미지를 관찰하기 위한 스캔 경로 (scanpath)도 마찬가지이다. 따라서 눈 움직임 패턴에서 이미지 선호도뿐만 아니라 스캔 경로도 추출 할 수 있다.
상기 제어부(200) 또는 상기 인증부(300)는 명시적 선호도, 암묵적 선호도, 스캔 경로 및 이들의 융합을 통해 사용자를 인증하고 인식할 수 있다. 선호도 및 스캔 경로에는 사용자의 신원에 대한 정보가 포함될 것으로 예상되므로 클래식 생체 인식 평가 (Rank-1 식별 속도 및 동일한 오류율)를 사용하여 인증 및 인식 결과를 얻을 수 있다. 미지의 사용자의 경우 인증 결과는 그 사람이 진정한 권한 있는 사용자인지 여부를 나타내며 인식 결과는 사용자의 정체성을 나타낼 수 있다. 성능은 다양한 양식이나 다른 특성을 가진 정보에서 얻은 정보를 사용하여 향상될 수 있다. 상기 제어부(200)는 키보드를 통해 얻어진 눈의 움직임과 명시적인 선호도로부터 얻은 암시적인 선호도에 대해 '선호 융합'을 수행할 수 있고, 선호도 정보와 스캔 경로 정보의 조합에 대해 '선호도와 스캔 경로 융합'을 수행할 수 있다.
상기 제어부(200)는 눈동자 반응 데이터로부터 스캔 경로, 시선 인덱스, 시선 바이어스 등의 특징을 추출하고, 버튼 누름 데이터로부터 선호 지수를 추출 할 수 있다.
1) 스캔 경로 - 고해상도와 저해상도
스캔 경로는 시험 내에서 사용자의 시선 점의 시간 순서를 나타낼 수 있다. 상기 제어부(200)는 공간 좌표의 해상도에 따라 두 가지 유형의 스캔 경로를 얻을 수 있다. 고해상도 스캔 경로는 사용자의 시선 위치의 x, y 픽셀 좌표 시퀀스이며, 저해상도 스캔 경로는 사용자 시선 위치를 사분면 번호로 대체하여 얻은 일련의 AOI (관심 영역)일 수 있다.
상기 제어부(200)는 원시 시선 포인트(he raw gaze points)를 보간 및 평활화하여 고해상도 스캔 경로를 얻을 수 있다. 상기 반응 획득부(100)로부터 수집 된 원시 시선 포인트는 사용자가 각 시점을 보고있는 화면상의 위치에 관한 2 차원 좌표를 포함할 수 있다. 화면의 중심이 원점이었고 x와 y 좌표의 범위는 -480에서 480까지일 수 있다. 각 시도에 대해 120Hz의 샘플링 빈도로 2 초 동안 시선 궤도가 기록될 수 있다. 상기 제어부(200)는 장치 또는 사용자에 의해 오염된 결함을 처리하기 위해 샘플의 20 % 이상을 누락한 시험을 추가 분석을 위해 거부할 수 있다. 상기 제어부(200)는 누락 율이 20 % 미만인 경우 데이터가 누락된 섹션의 샘플을 선형 보간법을 통해 생성하고 평활화를 적용하여 기존 데이터와 생성 된 데이터의 차이를 줄일 수 있다.
상기 제어부(200)는 저해상도 스캔 경로 데이터는 고해상도 스캔 경로 데이터를 양자화하여 생성할 수 있다. 상기 저해상도 스캔 경로 데이터에서 사용자의 시선 위치를 원점으로 나눈 네 사분면 중 하나로 분류하고 사분면에 해당하는 값을 할당할 수 있다. 값 1은 왼쪽 위 이미지에, 2는 오른쪽 상단, 3은 왼쪽 하단, 4는 오른쪽 아래 이미지에 지정될 수 있다.
2) 시선 특징 - 초기 / 최종 시선 인덱스 및 시선 바이어스
상기 제어부(200)는 사용자가 각 시점에서 보고있던4 개의 이미지 중 어떤 이미지를 보고 있었는지 나타내기 위해 시선 특징, 특정 시간 세그먼트 (시선 바이어스) 또는 특정 시점 (시선 인덱스)에서 사용자가 보았던 이미지 중에 사용자가 가장 많이 본 이미지의 인덱스가 저해상도 스캔 경로에서 추출될 수 있다.
상기 시선 인덱스는 특정 시점에서 사용자의 시선이 떨어지는 이미지의 인덱스일 수 있다. 상기 제어부(200)는 초기 시선 색인과 최종 시선 색인을 추출 할 수 있다. 상기 제어부(200)에서 시각적 자극 제시 후 첫 번째 반응은 기호와 관련 될 수 있고, 최종 시선 색인은 개인의 최종 시선이 선호하는 항목으로 가는 것을 보여주기 위해 추출 되었기 때문에 사용자가 처음으로 바라본 지점을 나타내는 색인이 추출될 수 있다.
시선 바이어스는 사용자가 시험을 수행할 때 네 장의 시각 자극 중에서 가장 긴 시간 동안 본 시각 자극의 인덱스다. 시선 캐스케이드 모델은 사람들이 선호하는 항목에 더 관심을 갖는 경향이 있을 수 있다. 따라서, 시선 편향은 선호와 밀접한 관련이 있을 수 있다. 1, 2, 3, 4의 각 이미지에 사용자의 시선이 머물러있는 샘플의 수를 계산하고, 가장 많은 수의 이미지의 인덱스를 시험의 시선 편향으로 결정할 수 있다.
상기 제어부(200)는 상기 선호도 정보 및 상기 눈동자 반응을 이용해 비유사도 계산할 수 있다.
상기 제어부(200)는 사용자를 인증하고 인식하기 위해서는 주사용자 반응 데이터와 기저장된 ID 간의 유사성 또는 비유사성을 비교할 수 있다. 상기 제어부(200)는 평가 및 개발 세션에 대한 데이터를 수집하고, 각 시험에 대해 비유사도를 계산하고 두 세션 간의 비유사도를 합산하여 계산할 수 있다. 상기 제어부(200)의 비유사도 계산 방법은 시험 단계에서의 계산이며 사용 된 데이터의 특성에 따라 하기하는 다른 계산 방법이 적용될 수 있다.
1) 유클리드 거리 - 고해상도 스캔 경로
시공간 영역에서 두 개의 시선 시퀀스 간의 차이를 조사하기 위해 시선 위치의 두 시간 순서의 유클리드 거리가 계산될 수 있다. 동일한 사용자에서 생성 된 두 시퀀스 간의 유클리드 거리가 다른 사용자의 거리보다 상대적으로 작고 시선 패턴의 유사성이 높을 수 있다.
개발 세션과 평가 세션이 주어지면 k 번째 시험의 유클리드 거리는 다음과 같이 계산될 수 있다. 전개 데이터의 i 번째 샘플과 평가 데이터 사이의 유클리드 거리가 2 차원 평면상에서 계산되고, 이 계산이 k 번째 시험을 구성하는 모든 샘플에 대해 수행되고, 시험의 유클리드 거리를 계산하기 위해 거리 값이 합산될 수 있다. k 번째 시험의 비유사도 는 다음 수학식 6과 같이 설명 할 수 있다.
[수학식 6]
Figure 112018068890813-pat00007
여기서 i는 k 번째 시험에 속한 샘플의 인덱스이고, 는 k 번째 시도의 샘플 수다. 기호
Figure 112018068890813-pat00008
Figure 112018068890813-pat00009
는 개발 세션에서 k 번째 시도의 i 번째 샘플의 x 및 y 좌표에서 시선 위치를 나타낸다. 유사하게,
Figure 112018068890813-pat00010
Figure 112018068890813-pat00011
는 평가 세션의 시선 위치를 나타낸다.
2) 해밍 거리 - 저해상도 스캔 경로, 시선 특성 및 선호 지수
동일한 사용자가 다른 세션에서 동일한 선호 지수 또는 시선 특징을 가질 수 있다. 측정을 위해 해밍 거리 (Hamming distance)가 사용되될 수 있다. 해밍 거리는 비교할 두 개의 샘플이 같으면 이진 값을 0으로, 서로 다르면 이진 값을 1로 지정한다. k 번째 시도에서의 해밍 거리 는 다음 수학식 7와 같이 계산될 수 있다.
[수학식 7]
Figure 112018068890813-pat00012
여기서
Figure 112018068890813-pat00013
Figure 112018068890813-pat00014
는 각각 개발 세션과 평가 세션의 k 번째 시험에서 시선 특징 또는 선호 지수다. 모든 시험에 대한 해밍 거리의 합계는 두 세션에서 선호 지수가 일치하지 않는 시도 횟수를 나타낸다.
해밍 거리를 통한 두 개의 저해상도 스캔 경로 비교는 사용자가 각 시점에서 동일한 사분면에서 응시했는지 여부를 확인하고 모든 시간 지점에 대해 결과를 결합하는 것으로 구성된다. 샘플 쌍의 경우, 시선 위치가 동일한 사분면에 있으면 개발 및 평가 데이터 간의 해밍 거리는 0으로 계산되고 다른 사분면에 있으면 해밍 거리가 1로 계산된다. 이 계산은 시험을 구성하는 모든 샘플에 대해 수행된다. 합계 후에, 사분면 수가 다른 샘플의 수는 거리 값으로 표시된다. k 번째 시도에서의 해밍 거리 는 다음 수학식 8과 같이 계산된다.
[수학식 8]
Figure 112018068890813-pat00015
여기서 ,k는 k 번째 시도에서의 i 번째 샘플에서의 해밍 거리, i는 샘플의 지수, 는 시험에서의 샘플 수,
Figure 112018068890813-pat00016
Figure 112018068890813-pat00017
는 각각 개발 세션 및 평가 세션에서 k 번째 시험의 저해상도 스캔 경로 지수, 고해상도 스캔 경로 지수를 각각 보여준다.
3) 융합 규칙
인증 및 인식 성능을 향상시키기 위해 다양한 특징으로 계산된 비유사도가 융합된다. 두 가지 주요 유형의 융합이 수행될 수 있다:'선호 융합'과 '선호 및 스캔 경로 융합'. 선호 융합은 명시적 선호도와 암시적 선호도의 융합이며, 사용자는 선호 지수 및 시선 특성으로부터 계산된 비유사도 성질의 융합에 의해 인증되고 인식될 수 있다. 선호도와 스캔 경로 융합에서 명시적 선호도 또는 암시적 선호도의 비유사도는 스캔 경로 비유사도와 결합될 수 있다.
2 개의 비유사도가 결합 될 때, 각각의 특징의 비유사도는 먼저 2 개의 비유사도의 스케일에 적합하도록 정규화될 수 있다. 두 가중치의 합계가 1 인 두 가지 비유사도의 가중치 합계는 융합 거리를 산출할 수 있다. 예를 들어, 스캔 경로의 비유사도와 시선 편향의 비유사도 간의 융합의 경우 융합을 통해 계산 된 거리는 다음 수학식 9와 같다.
[수학식 9]
Figure 112018068890813-pat00018
는 스캔 경로의 비유사도이며, 는 시선 편향의 비유사도이며, w는 스캔 경로 비유사도에 곱한 가중치다. w의 값은 0에서 1까지의 0.1 간격으로 다양하다.
사용자 인식 방법
상기 제어부(200)는 사용자 인식에서, 미지의 사용자에 대한 평가 데이터는 시스템 내 개발 데이터 중에서 가장 유사한 사용자의 ID로 식별될 수 있다. 한 세션에서 얻은 데이터와 한 세션의 데이터가 110 번의 시험으로 구성될 수 있고, 각 시험에 대한 비유사도를 계산하고 세션의 비유사도는 평균으로 계산할 수 있다. 개발 데이터에서 모든 사용자 중 평가 데이터와 관련하여 평균 세션 불일치가 가장 낮은 사용자로 인증될 수 있다. 인식 결과가 평가 데이터의 사용자 ID가 일치하면 인식에 성공한 것이다. 그렇지 않으면 실패로 간주될 수 있다. 인식 과정은 다음 수학식 10 및 수학식 11과 같이 표현 될 수 있다.
[수학식 10]
Figure 112018068890813-pat00019
[수학식 11]
Figure 112018068890813-pat00020
여기서 와 는 개발 및 평가 세션의 정체성(identity)이며, k는 세션의 시험 지수이며 는 세션의 시행 횟수다. 값
Figure 112018068890813-pat00021
는 평가 세션과 J 번째 사용자 데이터 사이의 k 번째 시험에 대해 계산 된 비유사도다.
인식 성능은 Rank-1 식별 속도로 측정될 수 있다. 각 세션 조합에 대한 테스트 데이터가 주어지면 식별 속도는 모든 경우에서 인식이 성공한 경우의 비율로 계산할 수 있다.
사용자 인증 방법
상기 인증부(300)는 사용자 인식과 달리 사용자 인증 결과는 측정된 평가 데이터, 시스템에 저장된 진정한 사용자의 개발 데이터 및 시스템 임계값을 통해 얻을 수 있다.
낯선 사용자의 평가 데이터가 주어지면 개발 데이터와의 차이점을 각 시험에 대해 계산한 다음 평균 세션 차이를 계산할 수 있다. 본 실시 예의 인증 방법은 평균 세션 비유사도가 임계 값보다 높은 사용자 또는 일치 확률이 제2 임계값보다 낮은 사용자를 거부할 수 있다. 인증 프로세스는 다음 수학식 12 및 수학식 13과 같이 표현 될 수 있다.
[수학식 12]
Figure 112018068890813-pat00022
[수학식 13]
Figure 112018068890813-pat00023
여기서 는 평가 세션과 개발 세션 사이의 k 번째 시험에서 계산된 비유사도다.
상기 인증부(300)는 상기 일치 확률에 따라 상기 사용자의 액세스 허용 여부를 판단 또는 결정할 수 있다. 상기 일치 확률이 제 1 임계값 이상인 경우 상기 사용자가 상기 ID와 일치하는 사용자로 판단하고, 액세스를 허용할 수 있다. 상기 일치 확률이 제2 임계값 이하인 경우 상기 사용자가 상기 ID와 불일치하는 권한 없는 사용자로 판단하고, 액세스를 제한 또는 거부할 수 있다. 상기 일치 확률이 상기 제1 임계값과 상기 제2 임계값 사이의 값을 가지는 경우 추가적인 시험 또는 세션을 진행하여 사용자 인증을 진행할 수 있다. 즉, 상기 일치 확률이 상기 제1 임계값과 상기 제2 임계값 사이의 값을 가지는 경우 눈동자 반응을 이용한 사용자 인증 시스템은 상기 제어부(200)가 새로운 시각 자극을 제공하게 할 수 있다.
상기 인증부(300)는 상기 일치 확률이 상기 눈동자 반응을 이용한 사용자 인증 시스템의 상기 저장부(400)에 기저장된 모든 ID와 일치 확률을 판단한 경우 복수의 상기 일치 확률 중 제1 임계값 이상의 값을 가지는 ID가 있으면, 가장 일치 확률의 값이 큰 ID의 정당한 사용자로 상기 사용자를 인증하고, 액세스를 허용할 수 있다.
상기 인증부(300)는 상기 눈동자 반응을 이용한 사용자 인증 시스템의 상기 저장부(400)에 기저장된 모든 ID와 일치 확률을 판단한 경우 복수의 상기 일치 확률 중 제1 임계값 이상의 값을 가지는 ID가 없으면, 복수의 상기 일치 확률 중 제2 임계값 이상인 값이 있는지 판단할 수 있다. 복수의 상기 일치 확률 중 제2 임계값 이상인 값이 있으면 추가적인 시험 또는 세션을 진행해 사용자 재인증을 수행하도록 할 수 있다. 재인증을 위해 상기 제어부(200)가 상기 사용자에 시각 자극을 제시하도록 할 수 있다. 바람직하게는 상기 재인증은 상기 일치 확률이 상기 제2 임계값 이상인 ID들에 대해서만 수행될 수 있다.
상기 인증부(300)는 상기 눈동자 반응을 이용한 사용자 인증 시스템의 저장부(400)에 기저장된 모든 ID와 일치 확률을 판단한 경우 복수의 상기 일치 확률 중 제2 임계값 이상의 값을 가지는 ID가 없으면, 상기 사용자는 정당한 권한 없는 사용자로 판단하고, 액세스를 차단 또는 거부할 수 있다.
상기 인증부(300)는 눈동자 반응을 이용한 사용자 인증 시스템은 액세스가 허용된 사용자가에게 반복적으로 재인증을 수행할 수 있다. 상기 재인증을 위해 상기 제어부(200)가 상기 사용자에게 시각 자극을 제공하게 할 수 있다. 상기 재인증은 기설정된 시간 단위로 수행될 수 있다. 상기 재인증 결과 정당한 권한 없는 사용자로 판단되는 경우 액세스를 해제하고, 액세스를 차단 또는 거부할 수 있다. 상기 재인증 결과 정당한 권한이 있는 사용자인 경우 액세스를 지속하게할 수 있다.
상기 인증부(300)는 사용자의 생체 인식 특성에 따라 사용자를 지속적으로 모니터하고 인증하는 지속적인 사용자 인증할 수 있다.
본 발명의 일 실시 예에서 프로그램을 실행할 때 시스템이 해당 프로그램의 사용을 준비하는 데 로딩 시간이 필요할 수 있고, 로딩하는 동안 로고 이미지가 화면 중앙에 나타날 수 있다.
본 발명의 일 실시 예에 따르면 눈동자 반응을 이용한 사용자 인증 시스템은 일회적인 사용자 인증이 아닌 지속적인 사용자 인증을 통해 사용자 인증의 보안성을 높일 수 있다.
도 5는 본 발명의 일 실시예에 따른 눈동자 반응을 이용한 사용자 인증 시스템에 사용되는 디스플레이부를 나타내는 도면이다.
도 5를 참조하면, 전방 카메라 및 눈동자 반응을 이용한 사용자 인증 시스템을 가동하면, 화면에는 시선고정(fixation) 및 특정 시각 자극이 순차적으로 디스플레이되고, 상기 디스플레이된 화면을 본 사용자마다 다르게 반응하는 시선추적 정보를 이용하여 사용자를 인증함을 알 수 있다. 이 때, 두 번째 및 세 번째 자극 사진의 녹색 및 적색 원과 선은 실제 자극에서는 없는 것으로 이해를 위해 측정된 시선추적 정보를 중첩해서 그린 것이다.
또한, 화면은 시선고정 없이 시각 자극만이 순차적으로 디스플레이될 수 있고, 제시되는 시각 자극의 개수는 다양하게 설정될 수 있다.
이와 같이, 눈동자 반응을 이용한 사용자 인증 시스템은 사람마다 다르게 반응하는 시선 움직임을 통해 사용자를 인증 할 수 있다.
보다 구체적으로, 본 발명에 따른 사용자를 인증할 수 있는 눈동자 반응을 이용한 사용자 인증 시스템은 시각 자극에 대한 사용자의 시선 움직임을 측정하여 데이터 베이스(database)에 구축된 사용자 및 다수의 다른 사람들과의 시선 움직임을 비교하여 사용자를 "인증" 또는 "거부"하는 시스템일 수 있다.
사람의 시선 움직임은 기억이나 관심, 하고자 하는 일 등에 따라 달라지지만, (예로 관심있는 얼굴에 많은 시선이 감), 같은 사람이라도 기억이나 관심이 시간에 따라 변할 수 있으므로, 도 5와 같이 여러 개의 영상을 순차적으로 보여주며, 그에 따른 시선움직임을 이용하여 적정한 인증 신뢰도가 확보한다.
즉, 한 개의 영상이 하나의 질문이고, 이에 대한 반응이 하나의 답이 되어 사용자에 대한 인증(Accept)/거부(Reject)의 신뢰도가 특정값에 도달할 때까지 질의응답을 계속하게 된다. 한 개 답을 "옳다"와 "그르다"로 이진화(binarization)하는 경우, N개의 영상질문으로부터의 답은 N-bit 암호에 해당한다. 즉, 영상질문을 많이 할수록 신뢰도를 높일 수 있다.
예를 들면, 한 개의 시각 자극을 2x2 위치에 4개의 독립된 영상으로 구성하여 2x2 급의 초저해상도 시선추적기로도 시선의 차이를 파악할 수 있다.
또한, 상기 자극영상은 매번 변별력이 높은 영상으로 선택할 수 있다. 예를 들면, 현재까지 사용자일 확률이 70%이지만, 다른 사람 중 A일 확률이 두 번째로 높아 20%라면, 사용자와 A를 변별하는데 기여도가 큰 시각 자극을 선별하여 사용하게 된다.
도 6은 본 발명의 일 실시예에 따른 3명의 사용자에 대한 시선추적을 예시로 나타내는 도면이다.
도 6을 참조하면, 3명의 사용자에 대한 시선추적의 예로써, 원의 크기는 머무른 시간에 비례하고, 원 속의 숫자는 시선이 간 순서를 나타낸다. 실선은 시선을 순서대로 연결한 것을 나타낸다. 동일 영상에 대해 사람마다 확연히 다른 반응이 무의식적으로 나온 것을 알 수 있다.
보다 구체적으로, 컴퓨터 화면에 특정 영상을 보여주고 시선추적을 하여, 같은 영상에 대해서도 여러 개의 국부적 주의가 형성되고, 사람마다 다른 시선패턴이 순차적으로 형성되는 것을 확인할 수 있다. 이 때, 영상으로는 얼굴, 건물 및 동물 사진 등을 사용할 수 있다.
일반적인 시선추적시스템에서는 한 개의 복잡한 영상을 보여 주는 것에 반해, 본 발명에서는 궁극적으로 저해상도(2x2) 시선추적시스템을 인증에 사용하기 위하여 화면의 4 모서리에 각각 다른 영상을 제시하고, 이들에 대한 시선 움직임을 측정하였다. 좋아하는 영상에 보다 자주 많은 시간 시선이 머물 것이며, 그 결과, 도 6과 같이, 같은 영상에 대해서도 사람마다 다른 시선의 움직임이 관측되고, 이를 이용하여 사용자 인증이 가능하다.
도 7는 본 발명의 일 실시예에 따른 눈동자 반응을 이용한 사용자 인증 시스템과 기존의 눈동자 반응을 이용한 사용자 인증 시스템의 시험별 정확도를 비교한 도면이다.
도 7을 참조하면, 먼저, 한 시각자극에 대한 안구 데이터 각각의 사용자 인식을 시도했다. 사용자 마다 하나의 개발 세션과 다른 하나의 평가 세션이 사용될 수 있다. 본 실시 예에서는 평가 데이터 1 개와 유효한 개발 데이터 전체 사이의 유클리드 거리가 각 시점에서 계산될 수 있다. 가장 거리가 가까운 신원(id)이 실제 신원으로 비교될 수 있다. 동일하면 올바른 것으로 간주될 수 있다. 서로 다르다면 잘못된 것으로 간주될 수 있다. 절차는 전체 유효 평가 데이터를 반복할 수 있다. 도 7은 각각의 시간 간격에서 시험 식별의 정확도를 나타낸다. 30M 간격으로 작업 세션의 정확도는 약 17 %였다. 그것은 우연한 수준 (약 3.7 %)보다 좋은 수치다.
도 8은 본 발명의 일 실시예에 따른 눈동자 반응을 이용한 사용자 인증 시스템과 기존의 눈동자 반응을 이용한 사용자 인증 시스템의 세션별 정확도를 비교한 도면이다.
도 8을 참조하면, 신원 확인 시험에서 성능은 우연 수준보다 좋다. 그러나 실제 생활에서는 여전히 충분하지 않을 수 있다. 본 발명의 일 실시 예에서 각 세션에서 사용자를 확인하려고 했다. 각 시험에서 가장 작은 거리의 ID가 계산되었다. 그 결과 다수결 투표를 수행할 수 있다. 가장 큰 표를 가진 ID와 실제 ID를 비교할 수 있다. 가장 큰 표가 복수 인 경우 투표를 위한 시험에서의 거리 비율이 누적될 수 있다. 가장 적은 누적을 가진 ID가 최종적으로 선택될 수 있다. 그것들이 동일하다면, 그것은 옳은 것으로 간주될 수 있다. 서로 다르다면 잘못된 것으로 간주될 수 있다. 도 8은 세션 식별의 정확도이다. 30M 간격으로 작업 세션의 정확도는 약 84 %였다.
도 9은 본 발명의 일 실시예에 따른 눈동자 반응을 이용한 사용자 인증 시스템의 성능을 도시한 도면이다.
도 9를 참조하면, 시험 데이터 한 세션을 실험에 참여한 모든 신분에 대해 인증했다. 먼저, 기준 성능으로 시험 데이터 한 세션의 모든 시선 데이터를 사용한 인증 결과를 사용했다. 사용자가 각각의 시각 자극을 보는 동의 안구 데이터를 시스템에 저장되어 있다고 가정한 개발 데이터와 비교하여 가장 가까운 ID를 찾고 110개의 모든 시선데이터에 대한 결과에서 주장하는 신분이 허가된 횟수가 임계치를 넘으면 최종적으로 그 시험 세션을 옳은 신분으로 인증하였다. 임계치를 변화시켜가며 확인한 결과가 도 17이다. 도 17은이 ROC 곡선이다. 본 발명의 일 실시 예에서 허위 수용율(far) 3.0 %, 허위 거부율(frr 6.2 %) 정도를 획득했고, 이를 성능의 기준선으로 간주했다.
본 결과는 총 220 건의 시험을 토대로 한 것이다. 약 2 초 동안 한 번의 시험이 있었다. 따라서 총 220 회의 시도가 사용 된 경우 한 번의 인증에 440 초가 필요했다. 본 실시예는 시각자극 선택을 추가했다. 인증에 도움이 되는 시각 자극부터 선택하여 제시하면 속도와 성능이 향상 될 수 있다. 이를 위해 인증 방법을 변경했다. 과반수 투표가 유지된다면 약간의 속도 향상 만이 예상된다. 예를 들어, 임계 값은 10이지만 올바른 시도는 8일 수 있다. 이 경우 성능과 속도는 변경되지 않았다
개발 데이터는 w1t1 / w2t1이고 평가 데이터는 w1t2인 경우, 각 플롯(plot)은 각 사용자에 관한 것일 수 있다. 이 경우 청구 된 ID와 실제 ID가 동일한 경우로, 시험 데이터의 진짜 신분의 확률은 증가되어야 한다. 이러한 경우 실제 신원 확률은 거의 대부분 증가한다. 본 실시예에서 제안하는 방법으로 인증 속도와 성능이 향상되었다. 필요한 시험 횟수가 임계 값에 의해 변경될 수 있다.
도 10은 사용자의 응시 시간에 따른 대상의 선택 확률을 도시한 것이다.
도 10을 참조하면, 시험을 보는 동안 사람의 시선이 선호도와 어떻게 관련되는지 알아보기 위해 시선 위치의 시간 경과를 관찰한 결과이다. 시선 순서 데이터와 임상 시험의 선호도 선택을 통해 본 발명은 이원 값 시퀀스를 사용하여 각 시간대 (선호하는 항목을 보았을 때 1, 그렇지 않은 경우 0)에서 주체가 선호 항목을 보았는지 여부를 나타낼 수 있다. 도 10은 모든 사용자 세션의 모든 시련에 대한 평균 시간 경과를 보여준다. 커브는 시선 캐스케이드 모델의 결과와 유사하다. 결정 시간이 가까울수록 사용자는 자신이 선택한 항목을 볼 확률이 높다. 4 개의 이미지가 대상에게 제시 되었기 때문에 시선이 우연히 선호하는 항목으로 향할 확률은 1/4이다. 시선이 선호 항목에 놓일 확률이 1/4보다 크면 시선은 실수로 항목으로 향하는 것이 아니라 의도적으로 시선으로 보았다. 대략 자극 발병 0.5초후 확률이 1/4을 초과한다. 임상 시험 처음의 1/4은 선호도와 밀접한 관련이 없다.
도 11는 사용자의 응시 시간에 따른 평균 선호도 정확도 그래프이다.
도 11를 참조하면, 선호도와 시선 간의 관계를 조사하기 위해 시선 데이터로부터 추출한 특징을 이용하여 선호도를 분류 하였다. 여기에서 버튼 누름 결과는 기호의 지상 진실(Ground Truth) 레이블로 간주되고 시선 특징은 예상 레이블로 간주된다. 시선 특징은 초기 시선 색인, 최종 시선 색인, 시범에 대한 시선 편견, 그리고 시범의 다양한 시간 영역 내에서 최종 시선 색인과 시선 편견이었다. 다양한 시간 세그먼트를 얻기 위해 세그먼트의 길이와 시작점을 다르게 사용했다. 3 개의 구간 길이, 각 시험의 1/4, 1/2, 3/4이 있었으며, 각 시험의 첫 번째, 4 분의 1, 2 분의 3 및 3 분의 1 지점에 대해 4 개의 시작점이 있었다.
그 결과, 초기 시선 색인의 분류 정확도는 25.9 % 였고 최종 시선 색인은 47.6 % 였으므로 시험의 뒷부분은 선호도와 관련이 있었다. 또한 시간 섹션의 길이가 길수록 선호도 분류 정확도가 높다. 그러나 시선 바이어스의 일치율은 0 ~ 2 초와 0.5 ~ 2 초 사이에 유의한 차이가 없었다. 이 결과는 0.5 초까지의 시선 데이터가 선호도와 관련이 없으며 결과가 시선 시간 경과 관찰 결과와 일치 함을 나타낸다. 따라서 0.5 ~ 2 초의 데이터로부터 추출한 시선 바이어스를 시선 특성으로 사용하여 사용자를 인증하고 인지하였다.
도 12은 단일 특징의 사용자 인식 결과를 도시한 표이고, 도 13는 각 단일 특징에 의한 사용자 인식의 정확도를 도시한 그래프이며, 도 14는 각 단일 특징에 의한 사용자 인식의 성능을 도시한 표다.
단일 특징 대 다중 특징의 융합
눈동자 반응 데이터로부터 추출 된 특징은 고해상도 및 저해상도 스캔 경로 및 시선 편향이며, 버튼 누름 데이터로부터 추출 된 특징은 선호 지수일 수 있다. 상기 특징의 융합 효과를 보기 위해 단일 특징과 특징의 융합을 사용하여 사용자 인식 및 인증 결과를 비교했다. 인증 및 인식 결과는 개발 및 평가 세션의 모든 조합에 대해 획득되었다. 결과는 개발 세션과 평가 세션 사이의 시간 간격 (30 분, 1 주 및 2 주)에 따라 평균화되었다.
도 12을 참조하면, 단일 특징의 사용자 인식 결과를 확인할 수 있다. 선호 지수는 최상의 성능을 보였다. 눈동자 반응 특징의 경우 최고 성능은 고해상도 스캔 경로, 저해상도 스캔 경로 및 시선 바이어스 순서로 나타났다. 시선 바이어스를 이용한 수행 능력은 다른 특징보다 낮지만 1.75 %의 확률보다 유의하게 높았다. 시간 간격이 증가함에 따라 눈 운동 데이터로부터 추출 된 특징의 인식 성능은 감소 하였지만, 버튼을 누르는 것으로 추출 된 특징은 시간 간격에 관계없이 안정된 성능을 보였다. 도 13와 도 14를 참조하면, 인식 결과와 유사한 각 단일 특징의 인증 결과를 확인할 수 있다. 선호 지수로 인증하여 얻은 EER, FAR @ 1/10 FRR, FAR @ 1/20 FRR의 값은 다른 특징보다 작았다. 저해상도 스캔 경로는 고해상도 스캔 경로와 비교하여 제한된 정보 만 저장하지만 고해상도 및 저해상도 스캔 경로 사이의 인식 또는 인증 성능에는 별다른 차이가 없다.
FAR에 대한 FRR의 비율이 증가함에 따라 고해상도 및 저해상도 스캔 경로 간의 인증 성능 차이가 줄어들었다. 저해상도 스캔 경로는 덮개 관찰에 대한 보호 특징을 제공하는 잘 수행되는 특징이다.
도 15은 복수의 특징에 의한 사용자 인식의 성능을 도시한 그래프이다.
도 15 (a)를 참조하면, 융합을 통해 인식 성능이 향상되었다. 모든 융합과 시간 간격의 경우 융합이 없는 경우보다 성능이 더 좋다. 융합은 사용자 확인율을 1.8 % ~ 10.5 % 향상 시켰으며 평균 5.8 %였다. 융합을 통한 수행 능력의 증가는 우선권 융합보다 선호도와 스캔 경로 융합이 더 컸다. 선호 지수와 고해상도 스캔 경로를 함께 사용했을 때 30 분 간격으로 최대 성능은 96.5 %였다. 시선 편향과 고해상도 스캔 경로의 융합에서 최상의 성능 결과는 30 분 간격으로 86.8 %, 선호 지수 및 고해상도 스캔 경로 융합 결과보다 9.6 % 작았다.
융합 된 대상 인증 결과는 그림 16 (b)에 설명되어 있다. 인식 결과와 마찬가지로 융합은 모든 경우에서 인증 성능을 향상 시켰다. 평균적으로 EER은 1.33 %, FAR @ 1/10 FRR 0.38 %, FAR @ 1/20 FRR 0.22 % 개선되었다. 선호 지수와 고해상도 스캔 경로의 융합으로 30 분 간격으로 최고 성능은 2.6 % EER이었다. 시선 바이어스와 고해상도 스캔 패스가 융합되었을 때 EER은 5.4 %로 선호 지수와 고해상도 스캔 경로 융합 결과보다 2.8 % 높았다.
대부분의 경우, 사용자 인식 및 인증 결과 모두에서 단일 특징에 더 많은 가중치가 주어지면 성능이 향상되었다. 저해상도 스캔 경로와 고해상도 스캔 경로 간의 성능 차이는 선호도와 스캔 경로의 융합보다 시선 바이어스와 스캔 경로의 융합에서 더 컸다. 눈동자 반응 데이터 만 명시 적으로 밝혀진 선호도 정보 없이 사용 되더라도 허용 가능한 인식 및 인증 성능을 얻을 수 있다.
도 16은 복수의 특징에 의한 사용자 인식의 성능을 도시한 표이고, 도 17은 단일 또는 복수의 특징에 의한 사용자 인식의 성능을 도시한 표다.
사용자 인증 및 인식 성능의 시간적 강인성
제안된 방법은 시간이 지남에 따라 신뢰할 수 있는 성능을 보장해야 한다. 영속성은 생체 인식이 인증 시스템에 적합한 지 판단하는 수단 중 하나이다. 개발 및 평가 세션 간의 시간 간격이 1 년인 경우 인증 및 인식 성능을 검증했다. 두 해 모두 참여한 사용자에 대한 데이터를 분석에 사용했다. 도 16 및 도 17을 참조하면, 단일 특징으로 인증 및 인식 한 결과와 특징을 융합 한 결과를 확인할 수 있다. 특징 융합의 결과는 다른 가중치를 사용하여 결과간에 최상의 성능을 보인다.
1 년 간격으로, 시선 편견을 제외한 대부분의 단일 특징에서 인증 및 인식 성능이 감소했다. 2 주 간격과 1 년 간격 사이의 식별 속도의 감소는 30 분 간격과 1 주 간격과 1 주 간격과 2 주 간격 사이의 식별 속도보다 더 컸다. 1 년 간격으로 성능이 저하되었지만 30 분 간격으로 성능의 30 % 이내로 유지되었다. 이 결과는 제안 된 방법이 등록 후 1 년 후에도 효과가 있음을 나타낸다. 또한 특징 융합에서 성능 저하는 단일 특징의 감소보다 훨씬 작았다. 30 분 간격으로 성능 저하가 10 % 이내였다. 이 결과는 시간이 지남에 따라 성능 저하가 융합 특징으로 인해 감소 될 수 있음을 나타낸다.
도 18는 본 발명의 일 실시예에 따른 눈동자 반응을 이용한 사용자 인증 시스템의 사용자 인증 성능을 도시한 그래프다.
표시되는 시험 수 줄이기
도 18를 참조하면, 각각의 경우에 대한 인식 성능을 평가함에 따라, 부분 집합을 구성하는 시도 횟수를 5에서 110까지 5만큼 증가시킨 결과를 확인할 수 있다. 상기 나열된 결과는 대상에게 제시된 전체 세션에 대한 눈동자 반응 및 버튼 누르기 응답을 사용하여 계산되었다. 그러나 사용자가 세션의 모든 시험을 보는 데는 시간이 걸리고 각 시험의 버튼을 누르는 것이 번거로울 수 있다. 시험이 진행됨에 따라 더 많은 데이터를 얻을 수 있기 때문에 성능이 향상되지만 현장에서 사용하기 위해 인증과 인식을 신속하게 수행해야 한다. 따라서 본 발명의 일 실시 예에서는 세션에서 일부 실험 만 보았을 때, 즉 시험 횟수가 감소했을 때 인식 성능이 어떻게 변하는 지 관찰했다.
110 번의 시도로 구성된 세션을 k 번의 시도로 무작위로 나눔으로써 110/102 개의 하위 집합을 구성 할 수 있다. 각 하위 집합에 해당하는 시험에서 기록 된 데이터를 사용하여 사용자를 인식하고 결과를 모든 하위 집합에 대해 평균을 냈다. 이 결과는 하위 집합을 나누는 방법에 의해 영향을 받을 수 있으므로 이 과정을 여러 번 반복하여 임의의 하위 집합을 만든다. 선호 지수, 시선 편견, 이 두 특징의 융합이 특징으로 사용되었다.
도시된 바와 같이, 하위 세트를 구성하는 시도 횟수가 증가함에 따라 사용자 인식률은 증가한다. 성능 향상은 하위 집합에서는 상대적으로 빠르지 만 하위 집합에서는 더 느리다. 융합, 선호 지수, 시선 편향의 순서로 수행이 더 높았으며 시련 횟수가 다양하더라도 이 순서는 동일하게 유지되었다. 110 건의 시련을 사용한 결과는 91.4 % 였고, 55 건의 시련을 사용한 결과는 87.1 % 였고, 25 건의 시련을 사용한 결과는 75.4 %였다. 심지어 시행 횟수가 50 % 감소해도 성능 저하는 5 %에 불과했다. 시험 횟수가 75 % 인 경우 성능 저하는 16.8 %였다. 이 결과는 시험 횟수가 현재 패러다임에서 반으로 줄어들고 3/4로 줄어들더라도 성능이 보장됨을 보여 주며 짧은 시간 내에 사용자 인식이 가능하다는 것을 보여준다.
도 19은 동일한 사용자 및 각 특징에 대한 상이한 사용자로부터의 비유사도의 정규화된 분포를 나타낸다.
단일 피처의 피고 식별력
도 19을 참조하면, 단일 특징은 사용자 인식 및 인증에서 서로 다른 성능을 보여주었다. 선호도 지수, 고해상도 스캔 경로, 저해상도 스캔 경로 및 시선 바이어스 순으로 성능이 우수하다. 주체 인식 및 인증의 높은 성능은 동일한 주체와 다른 주체로 계산된 비유사도 간의 차별 때문이다. 더 높은 성능을 가진 특징의 경우, 두 개의 분배가보다 명확하게 구분될 수 있다.
각 피처의 사용자 식별성을 평가하기 위해, 사용자 내 및 사용자 간의 비평 분포 간의 Kullback-Leibler (KL) 발산을 계산했다. 사용자 내 분포에서 사용자 간 분포에 대한 KL 발산은 선호 지수의 경우 0.243, 시선 바이어스의 경우 0.189, 고해상도 스캔 경로의 경우 0.153, 저해상도 스캔 경로의 경우 0.208이었다. 유사하게, 사용자 간 분포에서 사용자 내 분포에 대한 KL 발산은 선호 지수의 경우 0.207, 시선 바이어스의 경우 0.075, 고해상도 스캔 경로의 경우 0.171 및 저해상도 스캔 경로의 경우 0.082였다. 우리가 KL 발산을 사용자 내에서 사용자 내 분산으로 그리고 사용자 간에서 사용자 간 분산으로 평균을 낸다면, 평균 KL 발산의 순위는 성능의 순위와 동일하다.
시간이 지남에 따라 환경 설정 변경
선호도는 여러 개인 경험으로 인해 바뀔 수 있으며 의사 결정 프로세스 자체가 선호도를 바꿀 수 있다. 이러한 점은 환경 설정이 시간이 지남에 따라 사용자 인증을 제공할 만큼 충분히 안정적인지 여부에 대한 의문을 제기할 수 있다. 본 실시 예의 결과는 등록 후 1 주, 2 주 및 1 년 후에도 인증 및 인식 성능이 보장됨을 확인했다.
제안된 방법에서, 여러 실험을 사용자에게 제시하는 아이디어는 시간이 지남에 따라 안정성을 보장하는 것이었다. 여러 카테고리의 이미지가 포함 된 여러 번의 시험을 사용하는 경우 일부 시험에 환경 설정이 변경 되더라도 다른 시험에서는 환경 설정이 유지된다. 인증에 성공하면 사용자 기본 설정 정보를 지속적으로 업데이트하도록 시스템을 구성 할 수 있다.
시험을 구성 할 때 시간 변경의 영향을 덜 받는 이미지를 선택하면 시스템의 시간적 견고성을 향상시킬 수 있다. 자신, 친숙한 얼굴 또는 과거 경험과 같이 사용자에 직접 관련된 이미지는 사용자와 관련이 없는 이미지보다 더 높은 선호도를 가진다. 따라서 자가 진단 이미지를 사용하여 시험을 구성하면 시간이 지남에 따라 선호도가 더 안정적으로 유지된다.
스캔 경로 해상도
본 발명은 두 가지 유형의 스캔 경로 데이터, 즉 고해상도 스캔 경로와 저해상도 스캔 경로를 생성했다. 고해상도 스캔 경로는 화면의 x 및 y 좌표에서 시선 위치를 나타내고 저해상도 스캔 경로는 사용자가 제시 한 네 개의 이미지 중 어느 이미지를 보았는지에 대한 정보를 나타낸다.
저해상도 스캔 경로 데이터를 사용하는 인증 및 인식 결과가 고해상도 스캔 경로를 사용하는 결과보다 낮은 경우에도 저해상도 스캔 경로 데이터가 의미가 있다. 본 발명의 실험에서 높은 공간 정확도를 가진 눈 추적 장치를 사용하여 사용자의 시선을 추적했지만, 일상 생활에서 그러한 값 비싼 장비를 사용하는 것은 어렵다. 덜 비싸고 간단한 안구 운동 기록 시스템이 개발되고 있지만, 지금까지 이러한 시스템의 정확도는 상대적으로 낮다. 저해상도 스캔 경로를 사용하는 인증 및 인식 결과는 보안 시스템이 제한된 공간 정확도를 갖는 장치에서 작동되는 경우에도 제안 된 방법이 허용 가능한 수준의 성능을 나타냄을 의미한다.
스캔 경로를 모방한 침입자 테스트
침입자가 스캠 경로의 정보를 도용하고 해당 정보로 연습 할 때 시스템이 안전한지와 관련해 안구 운동 속도는 사람과 사람이 다른 안구 운동 장치의 고유 한 특성에 의해 결정되기 때문에 시간과 공간 영역 모두에서 시선 순서를 따라 가기가 어렵다. 이 시나리오를 테스트하기 위해 두 명의 침입자를 모집했다. 시험에서 침입자는 먼저 순 사용자의 시선 시퀀스 비디오를 보고, 가능한 한 많이 모방해야 한다. 2 명의 침입자가 20 개의 시도에 대해 모방 작업을 수행했지만, 1 ~ 3 회의 유사한 스캔 경로 모양을 생성하는 데 성공했다. 그들이 모방에 성공한 시험에 대해, 진정한 사용자와 침입자 사이의 시선 이동에 시간 지연이 있었다. 침입자가 스캔 경로의 메모리를 회수하는 데 시간이 걸리므로 이 리콜 프로세스로 인해 시간이 지연된다. 이러한 이유로 침입자는 실제 사용자의 안구 운동 정보를 훔쳐 갔지만 스캔 경로를 복사하는 것은 불가능하다.
본 실시 예에서는 선호도와 안구 운동 데이터를 이용하여 사용자를 인증하고 인식하고 성능을 평가하는 시스템을 제안한다. 선호도는 사람마다 다르므로 메모리 기반 인증의 단점을 극복하기 위한 수단으로 제안되었다. 본 발명의 실시 예에서, 본 발명은 사용자에 대한 일련의 시험을 보여 주었고, 각각의 시험에서 선호 선발 과제를 수행했다. 키보드로 선호도를 입력하고 이미지 관찰 중 눈동자를 기록했다. 인증 및 인식을 위한 특징으로 버튼 누름 (명시적 선호도), 눈 움직임 (암시적 선호도)에서 유추 된 선호도 및 스캔 경로 정보를 함께 사용하는 환경 설정이 함께 사용되었다.
도 20은 시간 및 공간 해상도에 따른 사용자 인증 성능을 나타낸 것이다.
도 20을 참조하면, 상기 내용과 같이 식별 성능은 공간 해상도가 높아짐에 따라 증가한다. 평균 식별 결과는 각각의 공간적 및 시간적 해상도에 대해 얻어졌다. 개발 데이터와 평가 데이터 간의 시간 간격 또한 성능에 영향을 미치므로 식별 결과는 시간 간격에 따라 그룹화되고 평균화된다. 식별 속도의 증가는 공간 해상도가 2x2에서 4x4로 증가 할 때 가장 컸다. 이러한 성능의 증가는 한 쌍으로 된 t-테스트 (p <0.005)로 테스트했을 때 통계적으로 유의했다.
도 21는 2x2 및 4x4의 공간 해상도에서 사용자 내 및 사용자 간 스캔 경로 비유사성의 정규화 된 분포를 나타낸다.
도 21를 참조하면, 본 실시예는 또한 KL (Kullback-Leibler) 발산을 사용하여 사용자 내에서의 사용자간 스캔 경로 차이가 사용자의 판단력을 정량적으로 평가할 수 있다는 점을 보여준다. KL 발산은 한 분포의 상대 엔트로피를 다른 엔트로피와 비교하여 계산함으로써 두 분포 사이의 차이를 계산할 수 있다. 사용자 내 분포에서 사용자 간 분포에 대한 KL 발산은 2 Х 2에 대해 0.199이고 4 Х 4에 대해 0.290으로 증가했다. 유사하게, 사용자 간 분포에서 사용자 내 분포까지의 KL 발산은 2 Х 2에 대해 0.163이었고 4 Х 4에 대해 0.215로 증가했다. 공간 해상도가 4 Х 4보다 높을 때, KL 발산은 증가하지 않았으므로 식별 성능은 증가하지 않았다. 도 10은 2x2 및 4x4에 대한 사용자 내 및 사용자 간 스캔 경로 비유사성의 정규화 된 분포를 나타낸다.
도 22은 샘플 레벨에 따른 비유사성은 분포를 도시한 것이다.
도 22을 참조하면, 스캔 경로 비유사성은 샘플-레벨 비유사성의 합으로부터 얻어지므로, 상이한 공간 해상도에 따른 사용자 내 및 사용자 간 스캔 경로 비유사성의 차이는 샘플 레벨에서의 비유사성 계산으로부터 얻을 수 있다. 본 실시 예는 서로 다른 공간 해상도에 대한 샘플-레벨 내 사용자 스캔 경로 비유사성의 분포를 분석했다. 공간 해상도가 16 Х 16과 4 Х 4로 감소 할 때, 도 22에서 보듯이, 샘플-레벨 스캔 경로 비유사성의 전체 분포는 원 데이터의 전체 분포와 유사하지만, 2 Х 2에서, 샘플-레벨 비유사성의 분포는 원래 분포를 반영하기에는 너무 희박했다. 2 Х 2 해상도에서의 분포에서, 단지 3 개의 비 유사 값이 존재하기 때문에, 계산된 비유사성을 사용하여 사용자를 구별하는 능력은 제한적이었다. 4x4보다 높은 공간 해상도는 사용자를 더 잘 구분할 수 있는 보다 다양한 샘플 레벨 스캔 경로 차이를 산출 할 수 있다.
시간 해상도의 경우 샘플링 빈도가 원래 해상도의 1/12 인 10 Hz로 감소되면 식별 성능이 유지된다. 샘플링 주파수가 10 Hz에서 5 Hz로 감소되면 식별이 크게 감소된다. 상기 결과는 샘플링 주파수가 10Hz보다 클 경우 사용자 식별 성능이 보장됨을 보여준다.
또한 개발 및 평가 데이터 간의 시간 간격이 길어질수록 식별율은 감소합니다. 그러나 공간적 또는 시간적 해상도와 식별 결과 간의 추세는 서로 다른 시간 간격에 대해 비슷했습니다.
불일치 측정의 효과
유클리드 거리와 DTW 점수로부터 얻은 식별 결과는 각각의 공간적 및 시간적 해상도에 대해 비교되었다. 동일한 사람이 동일한 이미지를 반복적으로 관찰하더라도 검색 경로는 동일하지 않다. DTW는 시간 영역에서 약간의 차이를 고려하여 스캔 경로 차이를 계산하므로 DTW 점수가 유클리드 거리보다 우월할 것으로 예상했다. 도 20에서, DTW 스코어의 식별 성능은 대부분의 경우 예상대로 유클리드 거리의 식별 성능보다 높았다. 그러나 공간 해상도가 2 Х 2 인 경우, DTW 점수의 성능은 유클리드 거리의 성능보다 나빠졌다.
2 Х 2 해상도의 경우, 시선 위치는 4인덱스로 인코딩되며, 이는 2 Х 2 레이아웃의 디스플레이 이미지에 해당한다. 응시한 아이템 지수(gazed item index)의 순서는 눈 운동의 개별적인 특성을 나타내기에는 너무 간단하다. 4 Х 4 해상도에서 2 Х 2 해상도로의 현저한 성능 저하와 2 Х 2 해상도에서의 샘플-레벨 스캔 경로 불일치 분포의 희박성이 이러한 분석을 뒷받침한다. 따라서, 4 Х 4는 눈 움직임의 개별 특성이 표현되는 최소 해상도이며, 비유사성 측정은 피험체를 구별 할 수 있다.
눈 운동 데이터는 다양한 공간적 및 시간적 해상도를 갖는 다양한 장치를 사용하여 획득 될 수 있다. 그러나, 안구 운동 기반의 사용자 식별 시스템을 위한 최적의 사양은 아직 조사되지 않았다. 본 발명은 스캔 경로 기반의 사용자 식별 시스템을 구현하고 시력 데이터의 다양한 공간적 및 시간적 해상도에서 성능을 평가했다. 결과는 공간 해상도의 효과가 크다는 것을 보여 주었지만 시간 해상도의 효과는 상대적으로 낮다. 자극이 2x2 레이아웃으로 표시되면 4x4의 공간 분해능과 10Hz의 샘플링 주파수를 사용하면 사용자 식별이 보장된다. 이러한 결과는 최적의 공간적 및 시간적 해상도가 자극 표현과 비평가 알고리즘을 고려하여 결정되어야 함을 의미한다. 개발과 평가 간의 시간 간격의 영향은 모든 경우에 중요했기 때문에 성능을 보장하기 위해 개발 데이터를 정기적으로 업데이트해야 한다. 본 발명은 시선 기반 입력 시스템을 구축 할 때 안구 추적 장치의 사양을 선택하는 데 도움이 될 수 있다.
도 23는 본 발명의 일 실시 예에 따른 눈동자 반응을 이용한 사용자 인증 시스템의 반복 인증 알고리즘도이다.
도 23를 참조하면, 상기 사용자 인증 시스템은 사용자가 시선, 지문, 얼굴 인식, 비밀 번호 등의 인증 시스템을 통해 로그인 한 뒤에도 지속적이고 반복적으로 인증을 수행해 현재 사용자가 정당한 사용자인지 여부를 판단할 수 있다. 상기 사용자 인증 시스템은 정당하지 않은 사용자가 정당한 사용자의 시선 움직임을 모방하여 인증을 받았거나 오류 또는 우연의 일치로 인증된 경우 지속적인 재인증을 통해 상기 정당하지 않은 사용자를 배제할 수 있다.
상기 사용자 인증 시스템은 보안 레벨에 따라 상이한 인증 프로그램을 포함할 수 있다. 상기 사용자 인증 시스템의 상기 보안 레벨은 복수의 보안 레벨로 구분될 수 있다. 상기 보안 레벨은 2개 이상의 보안레벨을 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 낮은 보안 레벨은 생체 인증 시스템, 움직임, 비밀번호, 얼굴, 움직임 등을 포함하는 정보를 이용해 사용자 인증을 수행할 수 있다.
본 발명의 일 실시 예에 따르면, 높은 보안 레벨은 핀(PIN), 얼굴, 지문, 목소리 등을 포함하는 정보를 이용해 사용자 인증을 수행할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 사용자 인증 시스템은 상기 보안 레벨에 따른 인증 프로그램을 구동할 수 있고, 상기 프로그램에 따른 사용자 시선 움직임 데이터를 수집해 사용자 인증을 수행할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 사용자 인증 시스템은 상기 보안 레벨에 따라 사용자의 시선 움직임 데이터를 수집해 반복적으로 사용자 인증을 수행할 수 있다. 상기 사용자 인증의 반복은 보안 레벨에 따라 간격 및 인증 방식이 정해질 수 있다.
본 발명의 일 실시 예에 따르면, 상기 사용자 인증 시스템은 사용자의 신뢰도 수준에 대한 정보를 지속적으로 저장하고 이를 업데이트할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 사용자 인증 시스템은 반복적 인증으로 현재 사용자가 정당한 사용자가 아니라고 판단된 경우 현재 사용자의 접근을 거부할 수 있다.
도 24는 본 발명의 일 실시 예에 따른 눈동자 반응을 이용한 사용자 인증 시스템의 반복 인증 시스템의 일 예시이다.
도 24를 참조하면, 눈동자 반응 기반의 지속적인 사용자 인증 (로고 포함)
1) 서로 다른 프로그램은 서로 다른 로고를 가지고 있을 수 있다. 상기 프로그램은 보안 레벨에 따라 사용될 수 있다.
2) 로딩 시간 동안, 사람들은 그것이 준비 될 때까지 기다리며 시선 움직임을 나타내고 이를 획득하여 사용자 인증에 사용할 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

Claims (9)

  1. 눈동자 반응 데이터를 포함하는 사용자 정보를 저장하는 저장부;
    시각 자극에 따른 상기 사용자의 눈동자 반응 및 상기 사용자 정보를 이용하여 사용자를 예측하는 제어부;
    상기 시각 자극에 따른 상기 사용자의 눈동자 반응을 획득하는 반응 획득부;
    상기 제어부는,
    상기 획득한 눈동자 반응을 기초로 추출된 사용자 특징을 상기 저장부에 저장된 상기 사용자 정보와 비교하여 사용자 ID의 일치 확률을 판단하는 사용자 판단부; 및
    상기 사용자 ID의 일치 확률에 따른 인증 및 접근 여부를 결정하는 인증부;를 포함하고,
    상기 반응 획득부는,
    상기 사용자의 눈동자 반응의 해상도를 조정하는 눈동자 반응을 이용한 사용자 인증 시스템.
  2. 제1항에 있어서,
    상기 해상도는,
    시간 해상도 및 공간 해상도 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 눈동자 반응을 이용한 사용자 인증 시스템.
  3. 제 1항에 있어서,
    상기 반응 획득부는,
    눈동자 반응 데이터의 시간 해상도 및 공간 해상도 중 적어도 어느 하나를 감소하거나 증가하는 것을 특징으로 하는 눈동자 반응을 이용한 사용자 인증 시스템
  4. 제2항에 있어서,
    상기 공간 해상도는,
    2X2 이상으로 설정되는 것을 특징으로 하는 눈동자 반응을 이용한 사용자 인증 시스템.
  5. 제2항에 있어서,
    상기 시간 해상도는,
    샘플링 주파수가 5Hz 이상으로 설정되는 것을 특징으로 하는 눈동자 반응을 이용한 사용자 인증 시스템.
  6. 제1항에 있어서,
    상기 저장부는,
    상기 사용자 정보의 해상도를 낮춰 저장하는 것을 특징으로 하는 눈동자 반응을 이용한 사용자 인증 시스템.
  7. 제6항에 있어서,
    상기 해상도는,
    시간 해상도 및 공간 해상도 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 눈동자 반응을 이용한 사용자 인증 시스템.
  8. 제7항에 있어서,
    상기 공간 해상도는,
    2X2 이상으로 설정되는 것을 특징으로 하는 눈동자 반응을 이용한 사용자 인증 시스템.
  9. 제7항에 있어서,
    상기 시간 해상도는,
    샘플링 주파수가 5Hz 이상으로 설정되는 것을 특징으로 하는 눈동자 반응을 이용한 사용자 인증 시스템.


KR1020180081212A 2018-05-14 2018-07-12 저해상도 눈동자 반응을 이용한 사용자 인증시스템 KR102059520B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180055032 2018-05-14
KR1020180055032 2018-05-14

Publications (2)

Publication Number Publication Date
KR20190130436A KR20190130436A (ko) 2019-11-22
KR102059520B1 true KR102059520B1 (ko) 2019-12-26

Family

ID=68730864

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180081212A KR102059520B1 (ko) 2018-05-14 2018-07-12 저해상도 눈동자 반응을 이용한 사용자 인증시스템

Country Status (1)

Country Link
KR (1) KR102059520B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220080520A (ko) * 2020-12-07 2022-06-14 한국항공대학교산학협력단 시계열 데이터의 유사도 측정을 위한 고속으로 제한적인 동적 시간 워핑 방법, 이를 실행하는 프로그램을 읽을 수 있는 기록매체 및 이를 포함하는 연산장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101729959B1 (ko) 2016-01-15 2017-05-12 한국과학기술원 눈동자 반응을 이용한 사용자 인증 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101729959B1 (ko) 2016-01-15 2017-05-12 한국과학기술원 눈동자 반응을 이용한 사용자 인증 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220080520A (ko) * 2020-12-07 2022-06-14 한국항공대학교산학협력단 시계열 데이터의 유사도 측정을 위한 고속으로 제한적인 동적 시간 워핑 방법, 이를 실행하는 프로그램을 읽을 수 있는 기록매체 및 이를 포함하는 연산장치
KR102433568B1 (ko) 2020-12-07 2022-08-19 한국항공대학교산학협력단 시계열 데이터의 유사도 측정을 위한 고속으로 제약적인 동적 시간 워핑 방법, 이를 실행하는 프로그램을 읽을 수 있는 기록매체 및 이를 포함하는 연산장치

Also Published As

Publication number Publication date
KR20190130436A (ko) 2019-11-22

Similar Documents

Publication Publication Date Title
Dasgupta et al. Advances in user authentication
US9672335B2 (en) Cognitive-based logon process for computing device
US10740465B2 (en) Detection of print-based spoofing attacks
US9811730B2 (en) Person identification using ocular biometrics with liveness detection
Vacca Biometric technologies and verification systems
JP2019522278A (ja) 身分認証方法および装置
KR101729959B1 (ko) 눈동자 반응을 이용한 사용자 인증 시스템
US20170147806A1 (en) Personal familiarity authentication
US11494474B2 (en) Brain activity-based authentication
Cherifi et al. Performance evaluation of behavioral biometric systems
Nichols et al. Psychophysical evaluation of human performance in detecting digital face image manipulations
JP3590285B2 (ja) 生体情報認識装置およびその方法
KR102059520B1 (ko) 저해상도 눈동자 반응을 이용한 사용자 인증시스템
KR102059511B1 (ko) 눈동자 반응과 사용자의 정보를 이용한 사용자 인증 시스템
Banirostam et al. Functional control of users by biometric behavior features in cloud computing
KR102059544B1 (ko) 눈동자 반응을 이용한 연속 인증 시스템
KR102059517B1 (ko) 시각자극에 의해 유도된 사용자 눈동자 반응을 이용한 인증 시스템
Ojo et al. Survey of biometric authentication for e-assessment
Ketab E-invigilation of e-assessments
Westeyn et al. Biometric identification using song-based blink patterns
Boonkrong et al. Biometric Authentication
Al Abdulwahid Federated authentication using the cloud (Cloud Aura)
Piugie Performance and security evaluation of behavioral biometric systems
Tait Behavioural biometrics authentication tested using eyewriter technology
Ibrahim et al. Development of a fingerprint biometric authentication scheme in electronic examination

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant