KR102483648B1 - 인증을 수행하는 방법 및 장치 - Google Patents

인증을 수행하는 방법 및 장치 Download PDF

Info

Publication number
KR102483648B1
KR102483648B1 KR1020180025558A KR20180025558A KR102483648B1 KR 102483648 B1 KR102483648 B1 KR 102483648B1 KR 1020180025558 A KR1020180025558 A KR 1020180025558A KR 20180025558 A KR20180025558 A KR 20180025558A KR 102483648 B1 KR102483648 B1 KR 102483648B1
Authority
KR
South Korea
Prior art keywords
score
authentication
condition
filtered
modality
Prior art date
Application number
KR1020180025558A
Other languages
English (en)
Other versions
KR20190098657A (ko
Inventor
김지혜
한승주
한재준
최창규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US16/250,276 priority Critical patent/US11048785B2/en
Publication of KR20190098657A publication Critical patent/KR20190098657A/ko
Priority to US17/359,968 priority patent/US11720658B2/en
Application granted granted Critical
Publication of KR102483648B1 publication Critical patent/KR102483648B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Collating Specific Patterns (AREA)

Abstract

일 실시예에 따른 인증을 수행하는 방법 및 장치는 생체 인증을 위한 제1 모달리티에 기초하여 제1 스코어를 산출하고, 제1 스코어를 필터링하며, 필터링된 제1 스코어가, 제1 모달리티의 단독 인증을 위한 제1 조건과 상이한, 제1 모달리티의 단독 인증 진입을 위한 제2 조건을 만족하는지 여부에 기초하여, 제1 모달리티에 의한 인증을 수행한다.

Description

인증을 수행하는 방법 및 장치{METHOD AND APPARATUS OF PERFORMING AUTHENTICATION}
아래 실시예들은 인증을 수행하는 방법 및 장치에 관한 것이다.
스마트 폰을 포함하는 다양한 모바일 기기, 및 웨어러블 기기 등과 같은 사용자기기의 발전과 함께 보안 인증에 대한 중요성이 증대되고 있으며, 이에 따라, 생체 인증에 대한 관심 또한 급증하고 있다. 생체 인증은 사용자 기기에 대한 보안을 더욱 강화하고, 모바일 결제 등과 같은 각종 응용 프로그램을 좀 더 안전하게 사용할 수 있게 한다. 생체 인증은 높은 인증률을 보이며 활용성이 넓어지고 있다.
일 실시예에 따르면, 인증을 수행하는 방법은 생체 인증을 위한 제1 모달리티에 기초하여 제1 스코어(score)를 산출하는 단계; 상기 제1 스코어를 필터링(filtering)하는 단계; 및 상기 필터링된 제1 스코어가, 상기 제1 모달리티의 단독 인증을 위한 제1 조건과 상이한, 상기 제1 모달리티의 단독 인증 진입을 위한 제2 조건을 만족하는지 여부에 기초하여, 상기 제1 모달리티에 의한 인증을 수행하는 단계를 포함한다.
상기 제1 스코어는 상기 제1 모달리티에 대응하는 복수의 프레임들을 포함하는 시퀀스 중 제1 프레임의 스코어이고, 상기 제1 스코어를 필터링하는 단계는 상기 제1 프레임에 인접한 프레임들의 스코어들에 기초하여, 상기 제1 스코어를 필터링하는 단계를 포함할 수 있다.
상기 제1 스코어는 상기 제1 모달리티의 복수의 특징들의 조합에 대응하는 스코어를 포함할 수 있다.
상기 제1 모달리티에 의한 인증을 수행하는 단계는 상기 필터링된 제1 스코어가 상기 제2 조건을 만족하는 경우, 필터링되지 않은 상기 제1 스코어가 상기 제1 조건을 만족하는지 여부를 결정하는 단계; 및 상기 필터링되지 않은 제1 스코어가 상기 제1 조건을 만족하는 경우, 상기 인증을 수락하는 단계를 포함할 수 있다.
일 실시예에 따르면, 인증을 수행하는 방법은 생체 인증을 위한 모달리티들 중 제1 모달리티에 기초한 제1 스코어(score)를 산출하는 단계; 상기 제1 스코어를 필터링(filtering)하는 단계; 및 상기 필터링된 제1 스코어가 상기 제1 모달리티의 인증을 위한 제1 조건과 상이한, 상기 모달리티들의 복합 인증 진입을 위한 제2 조건을 만족하는지 여부에 기초하여, 상기 모달리티들의 조합에 의한 인증을 수행하는 단계를 포함한다.
상기 제1 스코어는 상기 제1 모달리티에 대응하는 복수의 프레임들을 포함하는 시퀀스 중 제1 프레임의 스코어이고, 상기 제1 스코어를 필터링하는 단계는 상기 제1 프레임에 인접한 프레임들의 스코어들에 기초하여, 상기 제1 스코어를 필터링하는 단계를 포함할 수 있다.
상기 제1 스코어는 상기 제1 모달리티의 복수의 특징들의 조합에 대응하는 스코어를 포함할 수 있다.
상기 제1 스코어를 필터링하는 단계는 상기 제1 스코어를 이용하여 단독 인증을 수행하는 단계; 및 상기 단독 인증이 실패한 경우, 상기 제1 스코어를 필터링하는 단계를 포함할 수 있다.
상기 모달리티들의 조합은 상기 제1 모달리티 및 상기 제1 모달리티와 상이한 제2 모달리티를 포함하고, 상기 인증을 수행하는 방법은 상기 제2 모달리티에 기초한 제2 스코어를 산출하는 단계를 더 포함할 수 있다.
상기 모달리티들의 조합에 의한 인증을 수행하는 단계는 필터링되지 않은 상기 제1 스코어 및 필터링되지 않은 상기 제2 스코어를 퓨전(fusion)함으로써 제3 스코어를 산출하는 단계; 및 상기 제3 스코어가 복합 인증을 위한 제3 조건을 만족하는지 여부에 기초하여 복합 인증을 수행하는 단계를 포함할 수 있다.
상기 모달리티들의 조합에 의한 인증을 수행하는 단계는 상기 필터링된 제1 스코어가 상기 제2 조건을 만족하는 경우, 필터링되지 않은 상기 제1 스코어와 필터링되지 않은 상기 제2 스코어 중 적어도 하나가 상기 제1 조건을 만족하는지 여부에 기초하여, 상기 인증을 수행하는 단계를 포함할 수 있다.
상기 모달리티들의 조합에 의한 인증을 수행하는 단계는 상기 필터링된 제1 스코어가 상기 제2 조건을 만족하는 경우, 상기 필터링된 제1 스코어와 필터링되지 않은 상기 제2 스코어 중 적어도 하나가 상기 제1 조건을 만족하는지 여부에 기초하여, 상기 인증을 수행하는 단계를 포함할 수 있다.
상기 인증을 수행하는 방법은 상기 제2 스코어를 필터링하는 단계를 더 포함하고, 상기 모달리티들의 조합에 의한 인증을 수행하는 단계는 상기 필터링된 제1 스코어가 상기 제2 조건을 만족하는 경우, 필터링되지 않은 상기 제1 스코어와 상기 필터링된 제2 스코어 중 적어도 하나가 상기 제1 조건을 만족하는지 여부에 기초하여, 상기 인증을 수행하는 단계를 포함할 수 있다.
상기 인증을 수행하는 방법은 상기 제2 스코어를 필터링하는 단계를 더 포함하고, 상기 모달리티들의 조합에 의한 인증을 수행하는 단계는 상기 필터링된 제1 스코어가 상기 제2 조건을 만족하는 경우, 상기 필터링된 제1 스코어와 상기 필터링된 제2 스코어 중 적어도 하나가 상기 제1 조건을 만족하는지 여부에 기초하여, 상기 인증을 수행하는 단계를 포함할 수 있다.
상기 인증을 수행하는 방법은 상기 상기 제2 스코어를 필터링하는 단계를 더 포함하고, 상기 모달리티들의 조합에 의한 인증을 수행하는 단계는 상기 필터링된 제1 스코어와 상기 필터링된 제2 스코어의 조합이 상기 제2 조건을 만족하는지 여부를 기초로, 또는 상기 필터링된 제2 스코어가 상기 제2 조건을 만족하는지 여부를 기초로, 상기 인증을 수행하는 단계를 포함할 수 있다.
상기 인증을 수행하는 단계는 상기 필터링된 제1 스코어와 상기 필터링된 제2 스코어의 조합이 상기 제2 조건을 만족하거나, 또는 상기 필터링된 제2 스코어가 상기 제2 조건을 만족하는 경우, 필터링되지 않은 상기 제1 스코어 및 필터링되지 않은 상기 제2 스코어가 상기 제1 조건을 만족하는지 여부에 기초하여 상기 인증을 수행하는 단계를 포함할 수 있다.
상기 인증을 수행하는 단계는 상기 필터링된 제1 스코어와 상기 필터링된 제2 스코어의 조합이 상기 제2 조건을 만족하거나, 또는 상기 필터링된 제2 스코어가 상기 제2 조건을 만족하는 경우, 상기 필터링된 제1 스코어와 필터링되지 않은 상기 제2 스코어가 상기 제1 조건을 만족하는지 여부에 기초하여, 상기 인증을 수행하는 단계를 포함할 수 있다.
상기 인증을 수행하는 단계는 상기 필터링된 제1 스코어와 상기 필터링된 제2 스코어의 조합이 상기 제2 조건을 만족하거나, 또는 상기 필터링된 제2 스코어가 상기 제2 조건을 만족하는 경우, 필터링되지 않은 상기 제1 스코어 및 상기 필터링된 제2 스코어가 상기 제1 조건을 만족하는지 여부에 기초하여 상기 인증을 수행하는 단계를 포함할 수 있다.
상기 인증을 수행하는 단계는 상기 필터링된 제1 스코어와 상기 필터링된 제2 스코어의 조합이 상기 제2 조건을 만족하거나, 또는 상기 필터링된 제2 스코어가 상기 제2 조건을 만족하는 경우, 상기 필터링된 제1 스코어 및 상기 필터링된 제2 스코어가 상기 제1 조건을 만족하는지 여부에 기초하여 상기 인증을 수행하는 단계를 포함할 수 있다.
상기 모달리티들은 사용자의 얼굴 영상, 지문 영상, 홍채 영상, 정맥 영상, 손금 영상, 사인(sign), 음성, 보행(gait), 디엔에이(DNA) 구조 중 어느 하나 또는 이들의 조합을 포함할 수 있다.
일 실시예에 따르면, 인증을 수행하는 장치는 생체 인증을 위한 제1 모달리티에 기초하여 제1 스코어를 산출하고, 상기 제1 스코어를 필터링하며, 상기 필터링된 제1 스코어가 상기 제1 모달리티의 단독 인증을 위한 제1 조건과 상이한, 상기 제1 모달리티의 단독 인증 진입을 위한 제2 조건을 만족하는지 여부에 기초하여, 상기 제1 모달리티에 의한 인증을 수행하는 프로세서를 포함한다.
일 실시예에 따르면, 인증을 수행하는 장치는 생체 인증을 위한 모달리티들 중 제1 모달리티에 기초한 제1 스코어를 산출하고, 상기 제1 스코어를 필터링하며, 상기 필터링된 제1 스코어가 상기 제1 모달리티의 단독 인증을 위한 제1 조건과 상이한, 상기 모달리티들의 복합 인증 진입을 위한 제2 조건을 만족하는지 여부에 기초하여, 상기 모달리티들의 조합에 의한 인증을 수행하는 프로세서를 포함한다.
도 1은 일 실시예에 따른 인증을 수행하는 상황을 설명하기 위한 도면.
도 2는 일 실시예에 따른 인증을 수행하는 방법을 설명하기 위한 도면.
도 3 내지 도 4는 실시예들에 따른 인증을 수행하는 방법을 나타낸 흐름도.
도 5는 일 실시예에 따른 제1 조건 및 제2 조건을 설명하기 위한 도면.
도 6 내지 도 11은 실시예들에 따라 단독 인증 또는 복합 인증을 수행하는 방법들을 나타낸 흐름도.
도 12는 일 실시예에 따른 인증을 수행하는 장치의 블록도.
본 명세서에 개시되어 있는 특정한 구조적 또는 기능적 설명들은 단지 기술적 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것이다. 개시된 실시예들은 다양한 다른 형태로 변경되어 실시될 수 있으며 본 명세서의 범위는 개시된 실시예들에 한정되지 않는다.
제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다. 예를 들어, 실시예들은 스마트 폰, 모바일 기기, 스마트 홈 시스템, 지능형 자동차, ATM 기기 등에서의 사용자 인증에 적용될 수 있다. 또한, 실시예들은 사용자를 인증하여 자동으로 시동을 거는 지능형 자동차 시스템 등에도 적용될 수 있다. 이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 인증을 수행하는 상황을 설명하기 위한 도면이다. 도 1을 참조하면, 사용자(50)가 모바일 기기(100)의 적외선 센서(110), 이미지 센서(120), 및/또는 지문 센서(130)를 이용하여 생체 인식 및/또는 인증을 수행하는 상황이 도시된다.
일 실시예에 따르면, 얼굴, 홍채, 지문, 및 정맥 등과 같은 다양한 생체 정보에 기반한 복수의 모달리티들을 사용하여 생체 인식 또는 인증이 수행될 수 있다. '모달리티(modality)'는 예를 들어, 사용자(50)의 얼굴, 지문, 홍채, 정맥, 손금, 사인(sign), 음성(voice), 보행(gait), 디엔에이(DNA) 구조 등과 같이 사용자(50) 고유의 생체 정보 또는 사용자(50)를 인식 및/또는 인증할 수 있는 고유의 정보가 표현되는 다양한 양상들에 해당할 수 있다. 아래에서 상세하게 설명하겠으나, 실시예들은 단일 모달리티를 이용하여 단일 인증을 수행하거나, 복수의 모달리티들을 이용하여 복합 인증을 수행할 수 있다.
다양한 생체 정보를 사용하는 데에 있어서, 각 모달리티 별로 생체 인증의 보안성 레벨이 상이할 수 있다. 예를 들어, 홍채 모달리티는 천만 분의 일의 오인식률(False Acceptance Rate; FAR)을 가지고, 지문 모달리티 및 얼굴 모달리티는 백만 분의 일의 오인식률을 가질 수 있다. '오인식률'은 타인의 생체 정보를 본인의 생체 정보로 잘못 인식할 수 있는 비율에 해당할 수 있다. 생체 정보의 오인식률이 낮을수록 보안성이 높은, 다시 말해 보안성의 레벨이 높은 모달리티에 해당할 수 있다.
다양한 생체 정보는 예를 들어, 적외선(IR) 센서(110) 및/또는 이미지 센서(120) 등에 의해 획득될 수 있다. 적외선 센서(110)는 적외선 엘이디(LED) 조명(미도시)의 발광에 의해 다양한 생체 정보를 촬영할 수 있다. 또한, 이미지 센서(120)는 2D 영상을 촬영할 수도 있고, 3D 영상을 촬영할 수도 있다. 예를 들어, 이미지 센서(120)는 컬러 영상 또는 흑백 영상을 촬영할 수도 있고, 깊이 영상을 촬영할 수도 있다.
적외선 센서(110) 및/또는 이미지 센서(120)는 프레임 단위로 영상들을 촬영할 수 있다. 일 예로 사용자(50)가 잠금 해제(Unlock)를 시도하는 경우에 사용자(50)의 편의성 제고를 위해, 모바일 기기(100)는 짧은 시간 내에 프레임 단위로 여러 장의 연속적인 영상 정보를 획득할 수 있다. 프레임 단위로 영상 정보가 획득되는 경우, 예를 들어, 조명, 눈 깜빡임, 사용자(50)의 움직임, 및 눈 크기 등 사용자(50)가 처한 다양한 촬영 환경에 따라 영상 정보의 품질이 영향을 받을 수 있다. 따라서, 보다 정확한 인증을 위해서는 인증 여부를 결정짓는 적절한 판단 기준(예를 들어, 임계치)이 요구된다.
예를 들어, 프레임들의 스코어(예를 들어, 매칭 스코어(matching score) 또는 매칭 스코어와 반비례하는 디스턴스 스코어(distance score))에 의해 본인과 타인을 구분하는 인증 수락 여부를 판단하고자 할 때에 모바일 기기(100)는 임계치를 기준으로 인증 여부를 판단할 수 있다. 이때, 매칭 스코어는 등록 프레임과 입력 프레임이 유사한 정도, 다시 말해 프레임들 간의 유사도를 나타내는 스코어에 해당할 수 있다. 매칭 스코어가 낮다는 것은 프레임들 간의 유사도가 낮다는 것을 의미하고, 매칭 스코어가 높다는 것은 프레임들 간의 유사도 높다는 것을 의미한다. 모바일 기기(100)는 매칭 스코어가 높을수록 사용자(50)의 인증을 수락할 확률이 높다. 또한, 디스턴스 스코어는 등록 프레임과 입력 프레임 간의 특징 거리(예를 들어, 유클리디언 거리(Euclidean Distance))를 나타내는 스코어에 해당할 수 있다. 디스턴스 스코어가 낮다는 것은 특징 벡터 공간에서 프레임들 간의 특징 거리가 가깝다는 것을 의미하고, 디스턴스 스코어가 높다는 것은 프레임들 간의 특징 거리가 멀다는 것을 의미한다. 모바일 기기(100)는 디스턴스 스코어가 낮을수록 사용자(50)의 인증을 수락할 확률이 높다.
실시예들에 의하면, 인증 여부를 판단하기 위한 스코어를 필터링(filtering)하고, 필터링된 스코어에 대응하여 임계치를 적절한 값으로 설정할 수 있다. 실시예들은 필터링을 통하여 아웃라이어(outlier)에 의한 오인증을 방지하고 다른 사람 또는 사물에 대해서는 최대한 접근을 차단하여 보안성을 유지할 수 있다. 이와 동시에, 실시예들은 적절하게 설정된 임계치를 통하여 본인 또는 인증을 수락하고자 하는 대상에 대해서는 접근을 최대한 허용하여 사용자(50)의 편의성을 보장할 수 있다. 모바일 기기(100)는 예를 들어, 매칭 스코어의 하위 기준 값 또는 디스턴스 스코어의 상위 기준 값을 임계치로 결정할 수 있다.
일 실시예에서는 프레임 단위로 데이터를 입력받는 인식 또는 인증 시스템에서, 인접 프레임들의 스코어들을 이용하여 거짓 객체(false object) 또는 오인증 시도자의 진입 시도를 최대한 방지하는 한편, 진실된 인증 시도자의 접근 편의성을 제고할 수 있다. 모바일 기기(100)는 인접 프레임들의 필터링된 스코어를 이용하여 인증을 수행하거나, 인증 여부를 판단하기에 앞서 인증 진입 여부를 판단하는 데에 필터링된 스코어를 이용함으로써 스코어의 급격한 변동(fluctuation)으로 인한 타인의 오인증 수락 가능성을 배제할 수 있다.
필터링된 스코어는 인증 및/또는 인식에 직접적으로 사용될 수도 있고, 아웃라이어를 제거하는 용도로, 다시 말해, 인증 및/또는 인식 여부의 판단을 위한 인증 진입 조건으로 사용될 수도 있다.
일 실시예에 따라 필터링된 스코어는 인증 및/또는 인식을 위한 임계치를 완화시켜 본인의 기기 접근을 원활하게 함으로써 사용자의 편의성을 제고하는 한편, 아웃라이어 제거를 통해 타인의 기기 접근을 효과적으로 차단함으로써 보안성을 유지할 수 있다.
이하에서는 설명의 편의를 위하여 모달리티의 일 예인 홍채를 이용하여 홍채 인증을 수행하는 상황을 예로 들어 설명하지만, 모달리티가 반드시 이에 한정되는 것이 아니며, 이 밖의 다양한 모달리티들이 단독 또는 조합의 형태로 인식 및/또는 인증에 이용될 수 있다.
홍채 인증을 위해서는 우선, 홍채 인증을 필요로 하는 기기(예를 들어, 모바일 기기(100) 또는 시스템)에 홍채 데이터의 등록이 필요하다. 사용자(50)는 정면을 바라본 상태에서 모바일 기기(100)와의 일정 범위의 거리를 유지하며 홍채 영상(들)을 촬영할 수 있다. 촬영된 홍채 영상(들)은 변환 과정을 거쳐 컴퓨터 판독이 가능한 특징 정보(예를 들어, 특징 벡터)의 형태로 모바일 기기(100) 내부 또는 외부에 저장될 수 있다. 홍채 영상(들)은 적외선 센서(110)를 이용하여 촬영된 것일 수 있다. 홍채 영상(들)은 모바일 기기(100)에 의해 직접 촬영될 수도 있고, 모바일 기기(100)의 외부로부터 수신한 것일 수도 있다.
사용자(50)가 모바일 기기(100)의 잠금 해제를 시도하는 경우, 모바일 기기(100)는 메모리(예를 들어, 도 12에 도시된 메모리(1230)에 해당함)에 저장된 등록 특징 벡터와 촬영된 홍채 영상들을 변환한 특징 벡터 간의 비교 과정을 거쳐 사용자(50)를 인증 및/또는 인식할 수 있다.
전술한 스코어 및/또는 필터링된 스코어에 의한 인증 방식은 어느 하나의 모달리티에 의한 단독 인증 이외에 복수의 모달리티들에 의한 복합 인증에도 동일하게 적용될 수 있다.
실시예에 따라서, 모바일 기기(100)는 여러 장의 영상 정보 및/또는 음성 정보 등을 획득할 수 있다. 이때, 영상 정보는 홍채 영상 및/또는 얼굴 영상 등과 같은 다양한 생체 영상을 포함할 수 있다. 이와 같이 다양한 모달리티들을 조합하여 인증을 수행하는 복합 인증을 수행하는 경우, 각 모달리티의 장점을 활용하여 보안성을 향상시킬 수 있다. 실시예들에 의하면 모달리티들의 조합을 통한 복합 인증에 의해 다양한 상황들에 맞는 인증 성능을 보장할 수 있다.
예를 들어, 적외선 센서(110)를 이용하여 촬영한 홍채 영상 및 이미지 센서(120)로 촬영한 얼굴 영상을 이용하여 사용자(50)를 인증한다고 하자.
홍채 영상은 실외의 강한 자외선이 존재할 경우 영상의 성능이 저하될 수 있다. 이러한 경우, 홍채 영상과 얼굴 영상을 복합적으로 이용하여 인증을 수행할 수 있다. 또한, 얼굴 영상은 홍채 영상과 달리, 외부 조명의 종류 변화 또는 낮은 조도 상황, 얼굴의 포즈 변화 등에 취약할 수 있다. 이러한 경우에도 마찬가지로, 얼굴 영상과 홍채 영상을 함께 사용함으로써 실외, 저조도, 그 외 다양한 조명 변화에 강인하게 사용자(50)를 인증할 수 있다. 일 실시예에서는 모달리티들의 조합을 통한 복합 인증에 의해 다양한 상황들에 맞는 인증 성능을 보장할 수 있다.
일 실시예에서는 모달리티들의 조합에 의한 복합 인증을 통해 사용자(50)의 기기 접근 편의성을 향상시키는 동시에, 모달리티들 중 보안성이 상대적으로 좋은 모달리티를 기반으로 인증 여부를 결정함으로써 높은 보안성을 보장할 수 있다.
보다 구체적으로 일 실시예에서는 복합 인증을 수행함에 있어 보안성이 강한 모달리티에 의해 복합 인증으로의 진입 제한을 가함으로써, 단독 모달리티의 위조로 인한 보안성 침해를 방지하는 한편, 타인의 인증 수락 가능성을 배제시킬 수 있다. 또한, 일 실시예에서는 다양한 모달리티들을 사용함으로써 다양한 환경에서의 사용자(50) 인식 및 인증 성능이 유지되도록 함으로써 사용자(50)의 편의성을 향상시킬 수 있다.
도 2는 일 실시예에 따른 인증을 수행하는 방법을 설명하기 위한 도면이다. 도 2를 참조하면, 타인이 복수의 프레임들을 포함하는 시퀀스(예를 들어, 30개 프레임들)에 의해 홍채 인증을 시도한 경우에 프레임 별 홍채 스코어(Iris score)의 변화가 도시된다. 도 2에서 스코어(210)는 필터링(filtering)되지 않은 오리지널 스코어(original score, o)를 나타내고, 스코어(230)는 필터링된 스코어(filtered score, f)를 나타낸다. 스코어(210) 및 스코어(230)는 예를 들어, 디스턴스 스코어로서, '1'에 가까울수록 타인에 해당하고, '0'에 가까울수록 본인에 해당할 수 있다.
스코어(210)는 예를 들어, 홍채의 해밍 디스턴스(hamming distance) 뿐 아니라, 홍채 영상의 품질을 나타내는 다양한 스코어들의 조합으로 생성된 피셔 스코어(fisher score)일 수 있다.
프레임 변화에 따라, 예를 들어, 6번 프레임과 같이 인접 프레임(들)의 스코어(score)와 일관성이 없이 스코어가 급격하게 변하는 변동(fluctuation)이 발생할 수 있다. 이때, 6번 프레임의 스코어와 같이 급격하게 변하는 스코어는 일종의 잡음(noise) 또는 아웃라이어(outlier)에 해당할 수 있다. 여기서, '아웃라이어'는 인증에는 성공하였지만 실제로는 본인이 아닌 타인에 해당하는 프레임(또는 영상)으로 이해될 수 있다.
6번 프레임의 스코어와 같은 아웃라이어를 차단할 수 있도록 임계치를 설정하는 경우, 본인을 인증하기 위한 임계치는 예를 들어, 0.9988 이하의 낮은 스코어로 결정될 수 있다. 이러한 낮은 스코어의 임계치는 결과적으로 본인에게도 엄격한 인증 기준으로 작용할 수 있어 결과적으로 본인의 기기 접근성 또한 낮추게 된다.
일 실시예에서는 프레임 단위의 스코어들을 예를 들어, 시간(temporal) 순으로 필터링 함으로써 타인의 6번 프레임과 같은 아웃라이어가 임계치 설정에 미치는 영향을 줄일 수 있다. 예를 들어, 6번 프레임의 오리지널 스코어는 0.9988이고, 필터링된 스코어는 0.999이므로 필터링을 통해 인증을 위한 임계치를 기존 임계치 대비 완화시킬 수 있음을 확인할 수 있다.
일 실시예에서는 타인의 기기 접근을 효과적으로 차단하여 보안성을 유지함과 동시에, 본인에 대한 인증 및/또는 인식 성능이 향상시켜 본인의 기기 접근을 원활하게 하여 사용자 편의성을 확보할 수 있다.
필터링된 스코어는 인증 및/또는 인식에 직접적으로 사용되거나, 아웃라이어를 제거하는 용도, 다시 말해, 인증 및/또는 인식 시스템의 진입 여부를 결정하는 데 사용될 수 있다. 스코어 또는 인증에 사용되는 값들을 필터링하는 데에는 다양한 기법들이 적용될 수 있다. 예를 들어, 시간 순으로 순차적으로 입력되는 프레임들의 평균값을 산출하는 심플 무빙 에버리지(Simple Moving Average; SMA) 기법, 프레임들 중 최근에 입력된 프레임에 높은 가중치를 주어 프레임들의 평균값을 산출하는 웨이티드 무빙 에버리지(weighted moving average) 기법, 프레임에 대한 가중치를 지수 함수에 의해 부여하는 익스포넨셜 스무딩(exponential smoothing) 기법, 또는 프레임들을 평균하는 심플 에버리지(simple average) 기법이 이용될 수 있다. 이외에도 최대값, 최소값 등의 다양한 통계적 계산 방법을 이용할 수 있다. 인증 장치는 필터링 방법에 따라 현재 프레임의 스코어 이외에도 이전 프레임의 스코어(들)을 저장할 수도 있다.
도 3은 일 실시예에 따른 인증을 수행하는 방법을 나타낸 흐름도이다. 도 3을 참조하면, 일 실시예에 따른 인증 장치가 단독 인증을 수행하는 과정이 도시된다.
인증 장치는 생체 인증을 위한 제1 모달리티에 기초한 제1 스코어를 산출한다(310). 제1 스코어는 제1 모달리티에 대응하는 복수의 프레임들을 포함하는 시퀀스 중 제1 프레임(예를 들어, 현재 프레임 또는 해당 프레임)의 스코어일 수 있다. 또는 제1 스코어는 제1 모달리티의 복수의 특징들의 조합에 대응하는 스코어를 포함할 수 있다. 예를 들어, 제1 모달리티가 홍채 모달리티인 경우, 복수의 특징들은 홍채 코드 비트 수, 홍채 대 동공의 비율, 동공 크기, 홍채 크기 등의 특징 벡터에 해당하고, 제1 모달리티가 얼굴 모달리티인 경우, 복수의 특징들은 전체 얼굴 또는 부분 얼굴의 특징 벡터 혹은 스코어에 해당할 수 있다.
인증 장치는 제1 스코어를 필터링(filtering)한다(320). 인증 장치는 제1 프레임에 인접한 인접 프레임들의 스코어들에 기초하여, 제1 스코어를 필터링할 수 있다. 인증 장치는 제1 프레임 및 인접 프레임들의 스코어들에, 심플 무빙 에버리지 기법, 웨이티드 무빙 에버리지 기법, 익스포넨셜 스무딩 기법, 및 심플 에버리지 기법 등을 적용함으로써 제1 스코어를 필터링할 수 있다.
예를 들어, 제1 프레임은 t 시간 프레임이고, 인접 프레임들은 t-1 시간 프레임 및 t-2 시간 프레임이라고 하자. 또한, t 시간 프레임의 스코어는 0.23이고, t-1 시간 프레임의 스코어는 0.4이며, t-2 시간 프레임의 스코어는 0.4라고 하자.
인증 장치는 3개의 프레임들의 스코어들(0.23, 0.4, 및 0.4)을 심플 에버리지 기법에 의해 (0.23 + 0.4 + 0.4) / 3 = 1.03/3 = 0.343과 같이 필터링할 수 있다. 일 예에서 스코어는 디스턴스 스코어일 수 있다.
인증 장치는 필터링된 제1 스코어가 제1 모달리티의 단독 인증을 위한 제1 조건과 상이한, 제1 모달리티의 단독 인증 진입을 위한 제2 조건을 만족하는지 여부에 기초하여, 제1 모달리티에 의한 인증을 수행한다(330).
실시예들에서, '제1 조건'은 예를 들어, 필터링되지 않은 스코어를 이용하여 인증을 수행하기 위한 임계치에 해당할 수 있다. 제1 조건은 필터링되지 않은 스코어를 위한 인증 조건이라고도 부를 수 있다. 또한, '제2 조건'은 예를 들어, 필터링된 스코어를 이용하여 인증(또는 인증 진입)을 수행하기 위한 임계치에 해당할 수 있다. 제2 조건은 필터링된 스코어를 위한 인증 조건(또는 인증 진입 조건)이라고도 부를 수 있다. 제1 조건은 예를 들어, 0.25의 임계치에 해당하고, 제2 조건은 예를 들어, 0.30의 임계치에 해당할 수 있다.
인증 장치는 단계(320)에서 필터링된 제1 스코어(0.343)가 제2 조건(0.30보다 작은지 여부)을 만족하는지 여부에 기초하여 제1 모달리티에 의한 인증을 수행할 수 있다. 인증 장치는 필터링된 제1 스코어(0.343)가 인증 진입 조건인 제2 조건(0.30보다 작은지 여부)을 만족하지 못하므로 인증을 위한 진입에 실패한 것으로 판단하여 제1 모달리티에 의한 인증을 수행하지 않는다.
만약, 단계(320)에서 필터링된 제1 스코어가 제2 조건을 만족하는 경우를 가정하면, 제1 모달리티에 의한 인증은 필터링되지 않은 제1 스코어(예를 들어, 제1 프레임의 필터링되지 않은 스코어인 0.23)를 이용하여 수행될 수 있다.
일 실시예에서는 필터링된 제1 스코어가 제2 조건을 만족하는지 여부를 판단함으로써 본인의 기기 접근을 원활하게 하여 사용자 편의성을 확보하는 한편, 제2 조건의 만족 여부를 판단함으로써 타인의 기기 접근을 효과적으로 차단하여 보안성을 유지할 수 있다.
도 3을 통해 전술한 인증을 수행하는 방법은 복합 인증에서도 동일하게 적용될 수 있다. 이하, 도 4를 참조하여 모달리티들의 조합에 의해 복합 인증을 수행하는 방법을 설명한다.
도 4는 일 실시예에 따른 인증을 수행하는 방법을 나타낸 흐름도이다. 도 4를 참조하면, 일 실시예에 따른 인증 장치가 복합 인증을 수행하는 과정이 도시된다.
인증 장치는 생체 인증을 위한 모달리티들 중 제1 모달리티에 기초한 제1 스코어를 산출한다(410). 제1 스코어는 제1 모달리티에 대응하는 복수의 프레임들을 포함하는 시퀀스 중 제1 프레임(예를 들어, 현재 프레임 또는 해당 프레임)의 스코어일 수 있다. 또는 제1 스코어는 제1 모달리티의 복수의 특징들의 조합에 대응하는 스코어를 포함할 수 있다. 예를 들어, 제1 모달리티가 홍채 모달리티인 경우, 복수의 특징들은 홍채 코드 비트 수, 홍채 대 동공의 비율, 동공 크기, 홍채 크기 등의 특징 벡터에 해당하고, 제1 모달리티가 얼굴 모달리티인 경우, 복수의 특징들은 전체 얼굴 또는 부분 얼굴의 특징 벡터 혹은 스코어에 해당할 수 있다.
인증 장치는 제1 스코어를 필터링 한다(420). 인증 장치는 제1 프레임에 인접한 인접 프레임들의 스코어들에 기초하여, 제1 스코어를 필터링할 수 있다.
인증 장치는 필터링된 제1 스코어가 제1 모달리티의 인증을 위한 제1 조건과 상이한, 모달리티들의 복합 인증 진입을 위한 제2 조건을 만족하는지 여부에 기초하여, 모달리티들의 조합에 의한 인증을 수행한다(430). 모달리티들의 조합은 예를 들어, 제1 모달리티 및 제1 모달리티와 상이한 제2 모달리티를 포함할 수 있다. 제1 조건과 제2 조건에 대하여는 아래의 도 5를 참조하여 구체적으로 설명한다.
도 5는 일 실시예에 따른 제1 조건 및 제2 조건을 설명하기 위한 도면이다. 전술한 바와 같이, 제1 조건은 예를 들어, 필터링되지 않은 스코어를 이용하여 인증을 수행하기 위한 임계치에 해당하고, 제2 조건은 예를 들어, 필터링된 스코어를 이용하여 인증을 수행하거나 인증 수행 여부를 판단하기 위한 임계치에 해당할 수 있다. 임계치는 예를 들어, 인식률(Verification Rate; VR), 오인식률(FAR), 오거부율(False Reject Rate; FRR), 또는 이들의 조합에 의해 결정될 수 있다. 이하에서는 설명의 편의를 위하여, 오인식률(FAR)을 기초로 제1 조건 및 제2 조건을 결정하는 방법을 설명하지만, 제1 조건 및 제2 조건을 결정하는 방법이 반드시 이에 한정되는 것은 아니며, 다양한 성능 지표에 의해 결정될 수 있다.
도 5의 그래프에서 X 축은 제1 모달리티의 특징에 의한 특징 거리를 나타내고, Y 축은 해당 특징 거리에 대응하는 샘플들(프레임들)의 개수를 나타낼 수 있다.
도 5(a)를 참조하면, 필터링되지 않은 스코어 분포에서 제1 조건을 나타낸 그래프가 도시된다. 분포 히스토그램(510)은 사용자 본인의 제1 모달리티(예를 들어, 홍채 모달리티)에 의한 특징 거리의 분포를 나타나고, 분포 히스토그램(520)은 타인의 제1 모달리티(예를 들어, 홍채 모달리티)에 의한 특징 거리의 분포를 나타난다고 하자. 여기서, 특징 거리는 입력 영상과 등록 영상 간의 유클리디언 거리에 해당할 수 있다. 특징 거리는 영상들 간의 유사도가 높아질수록 작은 값을 가지고, 영상들 간의 유사도가 낮아질수록 큰 값을 가질 수 있다.
인증 장치는 분포 히스토그램(520)의 전체 면적 중 홍채 모달리티에서 인증을 허락하는 수준(예를 들어, 하위 천만분의 일)의 면적을 구분하는 경계선(530)의 특징 거리를 제1 조건으로 설정할 수 있다. 홍채 모달리티의 특징 거리가 특정 오인식률(예를 들어, 천만분의 일의 오인식률) 또는 홍채 모달리티의 스코어가 특정 오인식률(예를 들어, 천만분의 일의 오인식률)에 해당하는 디스턴스 스코어 0.25를 만족하지 못하는 경우, 사용자에 대한 단독 인증은 실패할 수 있다. 제1 조건은 필터링되지 않은 스코어를 위한 인증 조건에 해당할 수 있다.
도 5(b)를 참조하면, 필터링된 스코어 분포에서 제2 조건을 나타낸 그래프가 도시된다. 분포 히스토그램(550)은 사용자 본인의 제1 모달리티(예를 들어, 홍채 모달리티)의 제1 특징에 의한 특징 거리의 분포를 나타나고, 분포 히스토그램(560)은 타인의 제1 모달리티(예를 들어, 홍채 모달리티)의 제1 특징에 의한 특징 거리를 나타낸다고 하자.
인증 장치는 분포 히스토그램(560)의 전체 면적 중 홍채 모달리티의 필터링된 스코어에 대한 인증 여부를 판단하기 위해 사전 진입을 허락하는 수준(예를 들어, 하위 이천분의 일)의 면적을 구분하는 경계선(570)의 특징 거리를 제2 조건으로 설정할 수 있다. 홍채 모달리티의 특징 거리가 특정 오인식률(제 1조건에 비해 상대적으로 낮은 레벨의 오인식률, 예를 들어, 이천분의 일의 오인식률) 또는 홍채 모달리티의 필터링된 스코어가 특정 오인식률(예를 들어, 이천분의 일의 오인식률)에 해당하는 디스턴스 스코어 0.3을 만족하지 못하는 경우, 인증 장치는 인증 여부를 판단하기에 앞서 인증 진입 조건을 만족하지 못하는 것으로 판단하여 인증을 수행하지 않을 수 있다. 제2 조건은 필터링된 스코어를 위한 인증 진입 조건에 해당할 수 있다.
예를 들어, 제1 조건이 천만 분의 일의 오인식률에 해당하는 스코어 0.25이고, 제2 조건이 이천분의 일의 오인식률에 해당하는 스코어 0.3이라고 하자. 또한, 타인이 t-2 시점의 프레임(스코어: 0.4), t-1 시점의 프레임(스코어: 0.23) 및 t 시점의 프레임(스코어: 0.4)에 의해 얼굴 기반 인증을 시도하고, t-1 시점의 프레임은 아웃라이어라고 하자.
t-1 시점의 프레임에 대하여 제1 조건(인증 조건)만을 적용하는 경우, 아래의 [표 1]에 도시된 것과 같이 타인임에도 불구하고 t-1 시점의 프레임의 스코어(0.23)가 제1 조건(0.25보다 작은지 여부)을 만족하므로 인증이 성공한 것으로 잘못 판단하는 경우가 발생할 수 있다.
Figure 112018021767545-pat00001
반면, 제2 조건(인증 진입 조건)을 먼저 판단한 후, 제1 조건(인증 조건)을 판단하는 경우, t-1 시점의 프레임에 대한 필터링된 스코어(0.31)가 제2 조건(0.3보다 작은지 여부)을 만족하지 못한다. 이 경우, 인증 장치는 진입 실패로 판단하여 제1 조건을 적용(판단)하지 않음으로써 아웃라이어를 인증에 앞서, 미리 차단할 수 있다.
실시예에 따라서, 인증 장치는 특징 거리 이외에도 예를 들어, 특징 벡터들 간의 정규화된 상호 연관성(Normalized Cross Correlation; NCC), 매칭 스코어(matching score), 등과 같은 다양한 성능 지표에 의해 제1 조건 및 제2 조건을 결정할 수도 있다.
실시예에 따라서, 제1 조건 및/또는 제2 조건은 어플리케이션의 보안성과 편의성 중 어느 것을 강조할 것인지에 따라 달리 결정될 수도 있다.
예를 들어, 사용자가 은행, 또는 증권 업무 등과 같이 금융 기관 관련 어플리케이션을 수행하고자 하는 경우, 인증 장치는 보안성을 강조하여 엄격한 인증이 수행되도록 제1 조건 및/또는 제2 조건을 결정할 수 있다. 또는 사용자가 카메라, 또는 메모장 등과 같은 모바일 기기의 단순 기능을 수행하기 위해 잠금 해제를 수행하고자 하는 경우, 인증 장치는 편의성을 강조하여 인증을 생략하거나, 또는 완화된 인증이 수행되도록 제1 조건 및/또는 제2 조건을 결정할 수 있다.
전술한 예시에서 제2 조건은 단일 인증의 수행 여부를 결정하는 임계치로 활용되었으나, 실시예에 따라서 제2 조건은 복합 인증의 수행 여부를 결정하는 임계치로 활용될 수도 있다.
예를 들어, 홍채 모달리티는 자외선이 강한 실외 환경에서 잘 동작하지 않을 수 있으나, 일 실시예에서는 홍채 모달리티에 의한 인증에 실패했다고 하더라도 홍채 모달리티가 일정 조건을 만족하는 경우에는 실외 환경에서 잘 동작할 수 있는 얼굴 모달리티를 홍채 모달리티와 함께 이용하여, 복합 인증을 수행할 수 있다. 인증 장치는 홍채 모달리티가 경계선(530)의 특징 거리보다 완화된 경계선(570)의 특징 거리를 만족하는 경우, 홍채 모달리티와 얼굴 모달리티의 조합에 의한 복합 인증을 수행하도록 결정할 수 있다.
일 실시예에서는 특정 촬영 환경 조건의 제약으로, 홍채 모달리티가 단독 인증에 실패한 경우라도 제2 조건을 만족하는 경우, 복합 인증의 요소, 다시 말해 모달리티들의 조합으로 본인의 접근을 용이하게 허용할 수 있게 한다. 여기서, '복합 인증'이란 예를 들어, (지문, 홍채, 얼굴)과 같은 복수의 모달리티들 중 (지문, 홍채), (지문, 얼굴), (홍채, 얼굴), (지문, 홍채, 얼굴) 등과 같이 모달리티들의 다양한 조합에 의해 인증을 수행하는 것으로 이해될 수 있다.
도 6은 다른 실시예에 따른 인증을 수행하는 방법을 나타낸 흐름도이다. 도 6을 참조하면, 일 실시예에 따른 인증 장치가 제1 모달리티에 기초한 제1 스코어에 의해 단독 인증을 수행하는 과정이 도시된다.
인증 장치는 제1 모달리티에 기초한 제1 스코어를 산출하고(610), 제1 스코어를 필터링한다(620).
인증 장치는 필터링된 제1 스코어가 제1 모달리티의 단독 인증 진입을 위한 제2 조건을 만족하는지 여부를 결정할 수 있다(630). 단계(630)에서 필터링된 제1 스코어가 제2 조건을 만족하지 못하는 경우, 인증 장치는 현재 프레임(예를 들어, t 번째 프레임)이 사전에 설정한 프레임들의 임계 개수(예를 들어, 30개)(t TH)에 해당하는지 여부를 판단할 수 있다(660). 단계(660)에서 현재 프레임이 사전에 설정한 프레임들 중 마지막 프레임(예를 들어, 30번째 프레임)에 해당하는 것으로 판단되면, 인증 장치는 인증 실패를 출력할 수 있다(670).
단계(660)에서 현재 프레임이 사전에 설정한 프레임들 중 마지막 프레임에 해당하지 않는 것으로 판단되면, 인증 장치는 다음 번 프레임을 수신(680)하고, 다음 번 프레임에 대하여 단계(610) 및 이후의 과정을 수행할 수 있다.
예를 들어, 사전에 설정한 프레임의 임계 개수가 30개라고 하자. 이 경우, 인증 장치는 30개의 프레임들에 대하여 인증 여부를 판단하고, 30개의 프레임들 전부에 대해 인증이 수락되지 않은 경우에 최종적으로 사용자 단말의 화면에 "인증 실패"라는 결과를 표시할 수 있다. 만약, 17번째의 프레임이 인증에 성공한 경우, 인증 장치는 나머지 13개의 프레임들에 대한 인증을 수행할 필요없이 인증 성공으로 판단하여 인증을 수락할 수 있다. 또는 실시예에 따라서, 인증 장치는 보다 확인한 인증을 위하여 어느 하나의 프레임이 인증에 성공했더라도 바로 인증을 수락하지 않고, 사전에 설정한 프레임의 개수(예를 들어, 2개 또는 3개) 이상 연속으로 인증에 성공한 경우에 최종적으로 인증 성공으로 판단하여 인증을 수락할 수도 있다.
다시 말해, 인증 장치는 해당 프레임이 인증에 성공한 경우를 제외하고는, 매 프레임마다의 인증 실패 여부를 출력하지 않으며, 미리 설정한 임계 개수의 프레임들에 대한 인증 여부를 모두 판단한 후에 최종적으로 인증 결과를 출력할 수 있다.
또는 실시예에 따라서, 인증 장치는 단계(660)에서 사전에 설정한 프레임들의 임계 개수를 대신하여 사전에 설정한 시간이 초과하였는지 여부를 판단함으로써 인증 실패 여부를 결정할 수도 있다. 예를 들어, 사전에 설정한 시간(t_TH=2sec(2초))이 경과한 경우, 인증 장치는 인증 실패를 출력할 수 있다. 인증 장치는 현재 시간(예를 들어, t = 1 sec)이 사전에 설정한 시간이 경과하지 않는 경우, 다음 번 시간(예를 들어, t = 1.5 sec)에 대응하는 t+1 번째 프레임에 대하여 단계(610) 및 이후의 과정을 수행할 수 있다.
단계(630)에서 필터링된 제1 스코어가 제2 조건을 만족하는 경우, 인증 장치는 필터링되지 않은 제1 스코어가 제1 조건을 만족하는지 여부를 결정할 수 있다(640). 단계(640)에서 필터링되지 않은 제1 스코어가 제1 조건을 만족하지 못하는 경우, 인증 장치는 마찬가지로 전술한 단계(660)의 판단을 거쳐 인증 실패를 출력할 수 있다(670).
단계(640)에서 필터링되지 않은 제1 스코어가 제1 조건을 만족하는 경우, 인증 장치는 인증을 수락할 수 있다(650).
실시예에 따라서, 인증 장치는 단계(630)에서 필터링된 제1 스코어가 제1 조건을 만족하는지 여부를 판단하고, 제1 조건을 만족하는 경우에 인증을 수락할 수도 있다.
도 7은 다른 실시예에 따른 인증을 수행하는 방법을 나타낸 흐름도이다. 도 7을 참조하면, 일 실시예에 따른 인증 장치가 복합 인증을 수행하는 과정이 도시된다. 인증 장치는 모달리티들 중 제1 모달리티에 기초한 제1 스코어를 산출하고(710), 제1 스코어를 이용하여 단독 인증을 수행할 수 있다. 인증 장치는 제1 스코어가 단독 인증을 위한 제1 조건을 만족하는 여부를 판단함으로써 단독 인증을 수행할 수 있다(720). 단계(720)에서 제1 스코어가 제1 조건을 만족하는 경우, 인증 장치는 단독 인증을 수락할 수 있다(760).
단계(720)에서 제1 스코어가 제1 조건을 만족하지 못하는 경우, 인증 장치는 제1 스코어를 필터링할 수 있다(730).
인증 장치는 필터링된 제1 스코어가 제2 조건을 만족하는지 여부를 판단할 수 있다(740). 단계(740)에서 필터링된 제1 스코어가 제2 조건을 만족하지 못하는 경우, 인증 장치는 다음 프레임에 대해 같은 동작을 수행하거나, 해당 프레임이 설정된 마지막 프레임일 경우, 동작을 종료하거나, 또는 인증 실패를 출력할 수 있다.
단계(740)에서 필터링된 제1 스코어가 제2 조건을 만족하지 못하는 경우, 인증 장치는 현재 프레임(예를 들어, t 번째 프레임)이 사전에 설정한 프레임들의 임계 개수(예를 들어, 30개)(t TH)에 해당하는지 여부를 판단할 수 있다(770). 단계(770)에서 현재 프레임이 사전에 설정한 프레임들 중 마지막 프레임(예를 들어, 30번째 프레임)에 해당하는 것으로 판단되면, 인증 장치는 인증 실패를 출력할 수 있다(780).
단계(770)에서 현재 프레임이 사전에 설정한 프레임들 중 마지막 프레임에 해당하지 않는 것으로 판단되면, 인증 장치는 다음 번 프레임을 수신(790)하고, 다음 번 프레임에 대하여 단계(710) 및 이후의 과정을 수행할 수 있다.
보다 구체적으로, 단계(740)에서 필터링된 제1 스코어가 제2 조건을 만족하는 경우, 인증 장치는 모달리티들의 조합에 의한 복합 인증을 수행할 수 있다. 단계(740)에서 필터링된 제1 스코어가 제2 조건을 만족하는 경우, 인증 장치는 모달리티들의 조합에 의한 퓨전 스코어가 복합 인증을 위한 제3 조건을 만족하는지 여부를 판단할 수 있다(750). 단계(750)에서, 인증 장치는 예를 들어, 모달리티들 각각의 필터링된또는 필터링되지 않은 스코어들을 퓨전함으로써 퓨전 스코어를 산출할 수 있다. 단계(750)에서 퓨전 스코어가 복합 인증을 위한 제3 조건을 만족하지 않는 것으로 판단되면, 인증 장치는 단계(770)를 수행할 수 있다.
단계(750)에서 퓨전 스코어가 복합 인증을 위한 제3 조건을 만족하는 것으로 판단되면, 인증 장치는 (복합) 인증을 수락할 수 있다(755).
도 8은 다른 실시예에 따른 인증을 수행하는 방법을 나타낸 흐름도이다. 도 8을 참조하면, 일 실시예에 따른 인증 장치가 복합 인증을 수행하는 과정이 도시된다. 인증 장치는 모달리티들 중 제1 모달리티에 기초한 제1 스코어를 산출하고(810), 제2 모달리티에 기초한 제2 스코어를 산출할 수 있다(815).
인증 장치는 제1 스코어를 필터링하고(820), 제2 스코어를 필터링할 수 있다(825). 이때, 인증 장치는 제1 스코어와 제2 스코어를 모두 필터링할 수도 있고, 제1 스코어를 필터링하고, 제2 스코어는 필요에 따라서 필터링하지 않을 수도 있다.
인증 장치는 필터링된 제1 스코어가 제2 조건을 만족하는지 여부를 판단할 수 있다(830). 단계(830)에서, 필터링된 제1 스코어가 제2 조건을 만족하지 못하는 경우, 인증 장치는 해당 프레임이 설정된 마지막 프레임인지(t ≥ tTH)를 판단할 수 있다(845). 단계(845)에서, 해당 프레임이 설정된 마지막 프레임이라고 판단되면, 인증 장치는 인증 실패를 출력할 수 있다(855).
단계(830)에서 필터링된 제1 스코어가 제2 조건을 만족하는 경우, 인증 장치는 모달리티들의 조합에 의한 인증을 수행할 수 있다. 인증 장치는 필터링된(또는 필터링되지 않은) 스코어들의 다양한 조합들에 의해 인증을 수행할 수 있다. 단계(830)에서 필터링된 제1 스코어가 제2 조건을 만족하는 경우, 인증 장치는 제1 스코어 및 제2 스코어를 퓨전(fusion)하여 퓨전 스코어를 산출할 수 있다(835). 단계(835)에서, 인증 장치는 예를 들어, 필터링되지 않은 제1 스코어 및 필터링되지 않은 제2 스코어를 퓨전하여 퓨전 스코어를 산출할 수 있다. 또는 실시예에 따라서, 인증 장치는 필터링된 제1 스코어와 필터링된 제2 스코어를 퓨전할 수도 있고, 필터링된 제1 스코어와 필터링되지 않은 제2 스코어를 퓨전할 수도 있으며, 필터링되지 않은 제1 스코어와 필터링된 제2 스코어를 퓨전할 수도 있다.
인증 장치는 단계(835)에서 산출된 퓨전 스코어가 복합 인증을 위한 제3 조건을 만족하는지 여부를 판단할 수 있다(840). 인증 장치는 퓨전 스코어가 복합 인증을 위한 제3 조건을 만족하는지 여부에 기초하여 복합 인증을 수행할 수 있다. 실시예에 따라서, 제3 조건은 제1 조건 및/또는 제2 조건과 동일할 수도 있고, 상이할 수도 있다. 인증 장치는 예를 들어, 미리 학습된 분류기(classifier)를 이용하여 복합 인증을 수행할 수 있다. 이때, 분류기에 학습되는 파라미터는 예를 들어, 인증 장치가 목표로 하는 오인식률의 수준에 따라 결정될 수 있다.
단계(840)에서 퓨전 스코어가 제3 조건을 만족하지 않는 경우, 인증 장치는 해당 프레임이 사전에 설정된 개수에 해당하는 마지막 프레임인지(t ≥ tTH)를 판단할 수 있다(845). 단계(845)에서 해당 프레임이 미리 설정된 개수에 해당하는 마지막 프레임이라고 판단되면, 인증 장치는 인증 실패를 출력할 수 있다(855). 단계(845)에서 해당 프레임(t 번째 프레임)이 설정된 마지막 프레임이 아니라고 판단되면, 인증 장치는 다음 번 프레임(t+1 번째 프레임)을 수신(850)하고, 다음 번 프레임에 대하여 단계(810) 및 이후의 과정을 수행할 수 있다.
단계(840)에서 퓨전 스코어가 제3 조건을 만족하는 경우, 인증 장치는 인증을 수락할 수 있다(860).
도 9는 다른 실시예에 따른 인증을 수행하는 방법을 나타낸 흐름도이다. 도 9를 참조하면, 일 실시예에 따른 인증 장치가 제1 모달리티에 의해 단독 인증을 수행하는 과정이 도시된다.
인증 장치는 제1 모달리티의 입력 영상(예를 들어, t 번째 프레임)이 수신되면(910), 입력 영상으로부터 제1 모달리티에 기초한 제1 스코어를 산출할 수 있다(920). 단계(920)에서, 인증 장치는 입력 영상으로부터 제1 모달리티에 대한 특징 벡터를 추출하고(923), 추출된 특징 벡터들과 등록 데이터베이스(905)에 저장된 모달리티 별 등록 특징 벡터들을 매칭(926)시켜 제1 스코어(o)를 산출할 수 있다.
인증 장치는 제1 스코어를 필터링하고(930), 필터링된 제1 스코어(f)가 제1 모달리티의 단독 인증 수행 진입을 위한 제2 조건을 만족하는지 여부를 판단(940)함으로써 보안 레벨 기준의 인증 수행 여부를 결정할 수 있다. 단계(940)에서 필터링된 제1 스코어(f)가 제2 조건을 만족하지 못하는 경우, 인증 장치는 t번째 프레임이 사전에 설정된 개수에 해당하는 마지막 프레임인지(t ≥ tTH)를 판단하고(970), 마지막 프레임이라고 판단되면, 인증 장치는 인증 실패를 출력할 수 있다(980). 단계(970)에서 t 번째 프레임이 마지막 프레임이 아니라고 판단되면, 인증 장치는 제1 모달리티의 새로운 입력 영상(예를 들어, t+1 번째 프레임)을 수신할 수 있다(910).
실시예에 따라, 인증 장치는 단계(970)에서 미리 설정된 프레임 수에 해당하는 조건 대신 미리 설정된 시간에 해당하는 조건을 판단할 수도 있다. 예를 들어, "인증 실패"를 결정하기까지 미리 설정된 시간이 t_TH=2sec(2초)인 경우, 인증 장치는 시간 t에 대응하는 제1 모달리티의 입력부터, 시간 t+2sec 에 대응하는 제1 모달리티의 입력까지 확인할 수 있다.
단계(940)에서 필터링된 제1 스코어가 제2 조건을 만족하는 경우, 인증 장치는 단계(920)에서 산출된, 필터링되지 않은 제1 스코어(o)가 제1 조건을 만족하는지 여부를 판단할 수 있다(950). 단계(950)에서 필터링되지 않은 제1 스코어(o)가 제1 조건을 만족하지 못하는 경우, 인증 장치는 마찬가지로 t번째 프레임이 사전에 설정된 개수에 해당하는 마지막 프레임인지를 판단하고(970), 마지막 프레임이라고 판단되면, 인증 장치는 인증 실패를 출력할 수 있다(980). 단계(970)에서 t 번째 프레임이 마지막 프레임이 아니라고 판단되면, 인증 장치는 제1 모달리티의 새로운 입력 영상(예를 들어, t+1번째 프레임)을 수신할 수 있다(910).
단계(950)에서 필터링되지 않은 제1 스코어(o)가 제1 조건을 만족하는 경우, 인증 장치는 인증을 수락할 수 있다(960).
도 10은 다른 실시예에 따른 인증을 수행하는 방법을 나타낸 흐름도이다. 도 10을 참조하면, 제1 모달리티인 홍채 및 제2 모달리티인 얼굴에 대한 복합 인증을 수행하는 과정이 도시된다.
일 실시예에 따른 인증 장치는 홍채 영상 및 얼굴 영상을 수신할 수 있다(1010). 이때, 홍채 영상은 제1 모달리티인 홍채의 데이터를 포함하고, 얼굴 영상은 제2 모달리티인 얼굴의 데이터를 포함할 수 있다. 홍채 영상을 예를 들어, 적외선 영상이고, 얼굴 영상은 컬러 영상, 흑백 영상 또는 깊이 영상일 수 있다. 얼굴 영상은 2D 영상일 수도 있고, 3D 영상일 수도 있다. 홍채 영상 및 얼굴 영상은 예를 들어, t번째 프레임에 해당할 수 있다.
인증 장치는 홍채 영상 및 얼굴 영상 각각에 대응하는 스코어들을 산출할 수 있다(1020). 단계(1020)에서, 인증 장치는 홍채 영상으로부터 제1 모달리티에 대응하는 특징 벡터들을 추출하고, 얼굴 영상으로부터 제2 모달리티에 대응하는 특징 벡터들을 추출할 수 있다(1023).
단계(1020)에서, 인증 장치는 제1 모달리티에 대응하는 특징 벡터들과 제2 모달리티에 대응하는 특징 벡터들을 등록 데이터베이스(1005)에 저장된 모달리티 별 등록 특징 벡터들과 매칭시킴으로써 제1 모달리티에 기초한 제1 스코어(예를 들어, 홍채 스코어) 및 제2 모달리티에 기초한 제2 스코어(예를 들어, 얼굴 스코어)를 산출할 수 있다(1026). 실시예에 따라서, 인증 장치는 제1 스코어를 산출한 후, 필요에 따라서, 제2 스코어를 산출할 수도 있고, 제1 스코어와 제2 스코어를 한번에 산출할 수도 있다.
단계(1020)에서, 인증 장치는 각 모달리티의 복수의 특징들(예를 들어, 홍채 모달리티의 홍채 코드 비트 수, 홍채 대 동공의 비율, 동공 크기, 홍채 크기 등) 별로 스코어들을 산출할 수 있다.
인증 장치는 홍채 스코어가 홍채 인증 조건(제1 조건)을 만족하는지 여부를 판단할 수 있다(1030). 단계(1030)에서 홍채 스코어가 홍채 인증 조건을 만족하는 경우, 인증 장치는 인증을 수락할 수 있다(1070).
단계(1030)에서 홍채 스코어가 홍채 (단독) 인증 조건을 만족하지 못하는 경우, 인증 장치는 홍채 스코어를 필터링할 수 있다(1040). 인증 장치는 예를 들어, t 번째, t-1번째, t-2번째 홍채 영상(프레임)에 대응하는 홍채 스코어들을 평균한 값으로 홍채 스코어를 필터링할 수 있다. 실시예에 따라서, 인증 장치는 단계(1040)에서, 홍채 스코어와 더불어, 얼굴 스코어 또한 필터링할 수도 있다.
인증 장치는 (필터링된 홍채 스코어, 얼굴 스코어)가 제2 조건을 만족하는지 여부를 판단할 수 있다(1050). 여기서, '(필터링된 홍채 스코어, 얼굴 스코어)가 제2 조건을 만족하는지 여부'는 필터링된 홍채 스코어가 단독으로 제2 조건을 만족하는지 여부, (필터링 안된) 얼굴 스코어가 단독으로 제2 조건을 만족하는지 여부, 및 필터링된 홍채 스코어 및 (필터링 안된) 얼굴 스코어 모두가 제2 조건을 만족하는지 여부를 포함하는 것으로 이해될 수 있다.
단계(1050)에서, (필터링된 홍채 스코어, 얼굴 스코어)가 제2 조건을 만족하지 못하는 경우, 인증 장치는 t번째 프레임이 사전에 설정된 개수에 해당하는 마지막 프레임인지(t ≥ tTH)를 판단할 수 있다(1080). 단계(1080)에서 마지막 프레임이라고 판단되면, 인증 장치는 인증 실패를 출력할 수 있다(1085). 단계(1080)에서 t 번째 프레임이 마지막 프레임이 아니라고 판단되면, 인증 장치는 t+1번째 홍채 영상(프레임) 및 얼굴 영상(프레임)을 수신할 수 있다(1090).
단계(1050)에서, (필터링된 홍채 스코어, 얼굴 스코어)가 제2 조건을 만족하는 경우, 인증 장치는 (필터링 안된 홍채 스코어, 얼굴 스코어)에 기반한 퓨전 스코어가 복합 인증 조건을 만족하는지 여부를 판단할 수 있다(1060). 마찬가지로, '(필터링 안된 홍채 스코어, 얼굴 스코어)에 기반한 퓨전 스코어가 복합 인증 조건을 만족하는지 여부'는 필터링 안된 홍채 스코어 단독, 필터링 안된 얼굴 스코어 단독, 및 필터링 안된 홍채 스코어 및 필터링 안된 얼굴 스코어 모두에 기반한 퓨전 스코어가 복합 인증 조건을 만족하는지 여부를 포함하는 것으로 이해될 수 있다. 단계(1060)에서 퓨전 스코어가 복합 인증 조건을 만족하지 못하는 경우, 인증 장치는 t번째 프레임이 사전에 설정된 개수에 해당하는 마지막 프레임인지(t ≥ tTH)를 판단할 수 있다(1080). 단계(1080)에서 마지막 프레임이라고 판단되면, 인증 장치는 인증 실패를 출력할 수 있다(1085). 단계(1080)에서 t 번째 프레임이 마지막 프레임이 아니라고 판단되면, 인증 장치는 t+1번째 홍채 영상(프레임) 및 얼굴 영상(프레임)을 수신할 수 있다(1090).
도 11은 다른 실시예에 따른 인증을 수행하는 방법을 나타낸 흐름도이다. 도 11에서 단계(1110) 내지 단계(1120)는 도 10의 단계(1010) 내지 단계(1020)과 동일하고, 단계(1170) 내지 단계(1190)은 도 10의 단계(1080) 내지 단계(1090)과 동일하므로 해당 부분의 설명을 참고하기로 하고, 이하에서는 도 10과 상이한 부분에 대하여 설명한다.
단계(1120)에서, 인증 장치는 각 모달리티의 복수의 특징들 별로 스코어들(s1, s2, .. , sN)을 산출할 수 있다. 모달리티의 복수의 특징들에는 예를 들어, 홍채 모달리티의 홍채 코드 비트 수, 홍채 대 동공의 비율, 동공 크기, 및 홍채 크기 또는 얼굴 모달리티의 전체 얼굴, 부분 얼굴 스코어 등이 해당될 수 있다.
인증 장치는 각 모달리티의 복수의 특징들 별 스코어들(s1, s2, .. , sN)을 필터링할 수 있다(1130). 실시예에 따라서, 단계(1130)에서, 인증 장치는 모달리티의 복수의 특징들 별 스코어들 각각을 필터링할 수 있다.
인증 장치는 단계(1130)에서 필터링된 스코어(f)가 인증 조건을 만족하는지 여부를 판단할 수 있다(1140). 여기서, 인증 조건은 제1 조건일 수도 있고, 제2 조건일 수도 있다. 단계(1140)에서, 인증 장치는 필터링된 복수의 특징들 별 스코어들 각각이 인증 조건을 만족하는지 여부를 판단할 수도 있고, 또는 필터링된 복수의 특징들 별 스코어들 중 어느 하나 또는 이들 중 일부 스코어가 인증 조건을 만족하는지 여부를 판단할 수도 있다. 단계(1140)에서 필터링된 스코어(f)가 인증 조건을 만족하지 못하는 경우, 인증 장치는 t번째 프레임이 사전에 설정된 개수에 해당하는 마지막 프레임인지 여부에 따라 단계(1170) 내지 단계(1190)을 수행하여 인증 실패를 출력하거나, 또는 t+1번째 프레임(들)을 수신할 수 있다.
단계(1140)에서 필터링된 스코어(f)가 인증 조건을 만족하는 경우, 인증 장치는 함수 F에 의해 퓨전된 퓨전 스코어를 산출하고, 퓨전 스코어가 복합 인증을 위한 제3 조건을 만족하는지 여부를 판단할 수 있다(1150). 단계(1150)에서, 인증 장치는 예를 들어, 필터링된 복수의 특징들 별 스코어들 전부를 함수 F에 의해 퓨전하여 퓨전 스코어를 산출할 수도 있고, 필터링된 복수의 특징들 별 스코어들 중 어느 하나 또는 일부를 퓨전하여 퓨전 스코어를 산출할 수도 있다. 단계(1150)에서, 퓨전 스코어가 복합 인증을 위한 조건을 만족하는 경우, 인증 장치는 인증(복합 인증)을 수락할 수 있다(1160). 단계(1150)에서, 퓨전 스코어가 복합 인증을 위한 조건을 만족하지 못하는 경우, 단계(1140)에서와 마찬가지로, 인증 장치는 t번째 프레임이 사전에 설정된 개수에 해당하는 마지막 프레임인지 여부에 따라 단계(1170) 내지 단계(1190)을 수행하여 인증 실패를 출력하거나, 또는 t+1번째 프레임(들)을 수신할 수 있다.
도 3 내지 도 11을 통해 설명한 다양한 인증을 수행하는 방법들에 대한 조건 판단은 모달리티들의 조합 별로 다양하게 추가 또는 생략할 수 있다.
도 12는 일 실시예에 따른 인증을 수행하는 장치의 블록도이다. 도 12를 참조하면, 일 실시예에 따른 인증 장치(1200)는 프로세서(1210)를 포함한다. 인증 장치(1200)는 메모리(1230), 통신 인터페이스(1250), 및 센서들(1270)을 더 포함할 수 있다. 프로세서(1210), 메모리(1230), 통신 인터페이스(1250), 및 센서들(1270)은 통신 버스(1205)를 통해 서로 통신할 수 있다.
프로세서(1210)는 생체 인증을 위한 제1 모달리티에 기초하여 제1 스코어를 산출한다. 프로세서(1210)는 제1 스코어를 필터링한다. 프로세서(1210)는 필터링된 제1 스코어가 상기 제1 모달리티의 단독 인증 진입을 위한 제2 조건을 만족하는지 여부에 기초하여, 상기 제1 모달리티에 의한 인증을 수행한다. 이때, 제2 조건은 제1 모달리티의 단독 인증을 위한 제1 조건과 상이하다.
또는, 프로세서(1210)는 생체 인증을 위한 모달리티들 중 제1 모달리티에 기초한 제1 스코어를 산출한다. 프로세서(1210)는 제1 스코어를 필터링한다. 프로세서(1210)는 필터링된 제1 스코어가 제1 모달리티의 단독 인증 진입을 위한 제2 조건을 만족하는지 여부에 기초하여, 모달리티들의 조합에 의한 인증을 수행한다.
메모리(1230)는 모달리티 별 특징 벡터들을 포함하는 등록 데이터베이스를 포함할 수 있다. 메모리(1230)는 휘발성 메모리 또는 비 휘발성 메모리일 수 있다.
통신 인터페이스(1250)는 단독 인증 결과 및/또는 복합 인증의 결과를 인증 장치(1200)의 디스플레이 장치(1290) 또는 인증 장치(1200)의 외부로 출력할 수 있다. 통신 인터페이스(1250)는 인증 장치(1200)의 외부로부터 적어도 하나의 모달리티를 수신하거나, 또는 사용자로부터 모달리티가 수집된 환경에 대한 정보를 수신할 수 있다.
센서들(1270)은 예를 들어, 이미지 센서, 적외선 센서, 지문 인식 센서, 음성 인식 센서 등을 포함할 수 있다. 센서들은 다양한 모달리티들을 수집할 수 있다.
이 밖에도, 프로세서(1210)는 도 1 내지 도 11을 통해 전술한 적어도 하나의 방법 또는 적어도 하나의 방법에 대응되는 알고리즘을 수행할 수 있다. 프로세서(1210)는 프로그램을 실행하고, 인증 장치(1200)를 제어할 수 있다. 프로세서(1210)에 의하여 실행되는 프로그램 코드는 메모리(1230)에 저장될 수 있다. 인증 장치(1200)는 입출력 장치(미도시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다. 인증 장치(1200)는 스마트 텔레비전, 스마트 폰, 스마트 자동차 및 등 다양한 전자 시스템들을 포함할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (23)

  1. 생체 인증을 위한 제1 모달리티에 기초하여 제1 스코어(score)를 산출하는 단계;
    상기 제1 스코어를 필터링(filtering)하는 단계; 및
    상기 필터링된 제1 스코어가, 상기 제1 모달리티의 단독 인증을 위한 제1 조건과 상이한, 상기 제1 모달리티의 단독 인증 진입을 위한 제2 조건을 만족하는지 여부에 기초하여, 상기 제1 모달리티에 의한 인증을 수행하는 단계
    를 포함하고,
    상기 제1 조건은 필터링되지 않은 제2 스코어를 이용하여 상기 단독 인증을 수행하기 위한 임계치이고,
    상기 제2 조건은 상기 필터링된 제1 스코어를 이용하여 상기 단독 인증을 수행하거나, 또는 상기 단독 인증 수행 여부를 판단하는 상기 단독 인증 진입을 위한 임계치인, 인증을 수행하는 방법.
  2. 제1항에 있어서,
    상기 제1 스코어는 상기 제1 모달리티에 대응하는 복수의 프레임들을 포함하는 시퀀스 중 제1 프레임의 스코어이고,
    상기 제1 스코어를 필터링하는 단계는
    상기 제1 프레임에 인접한 프레임들의 스코어들에 기초하여, 상기 제1 스코어를 필터링하는 단계
    를 포함하는, 인증을 수행하는 방법.
  3. 제1항에 있어서,
    상기 제1 스코어는
    상기 제1 모달리티의 복수의 특징들의 조합에 대응하는 스코어를 포함하는, 인증을 수행하는 방법.
  4. 제1항에 있어서,
    상기 제1 모달리티에 의한 인증을 수행하는 단계는
    상기 필터링된 제1 스코어가 상기 제2 조건을 만족하는 경우, 필터링되지 않은 상기 제1 스코어가 상기 제1 조건을 만족하는지 여부를 결정하는 단계; 및
    상기 필터링되지 않은 제1 스코어가 상기 제1 조건을 만족하는 경우, 상기 인증을 수락하는 단계
    를 포함하는, 인증을 수행하는 방법.
  5. 생체 인증을 위한 모달리티들 중 제1 모달리티에 기초한 제1 스코어(score)를 산출하는 단계;
    상기 제1 스코어를 필터링(filtering)하는 단계; 및
    상기 필터링된 제1 스코어가 상기 제1 모달리티의 인증을 위한 제1 조건과 상이한, 상기 모달리티들의 복합 인증 진입을 위한 제2 조건을 만족하는지 여부에 기초하여, 상기 모달리티들의 조합에 의한 인증을 수행하는 단계
    를 포함하고,
    상기 제1 조건은 필터링되지 않은 제2 스코어를 이용하여 상기 제1 모달리티의 인증을 수행하기 위한 임계치이고,
    상기 제2 조건은 상기 필터링된 제1 스코어를 이용하여 상기 제1 모달리티의 인증을 수행하거나, 또는 상기 모달리티들의 복합 인증 진입을 위한 임계치인, 인증을 수행하는 방법.
  6. 제5항에 있어서,
    상기 제1 스코어는 상기 제1 모달리티에 대응하는 복수의 프레임들을 포함하는 시퀀스 중 제1 프레임의 스코어이고,
    상기 제1 스코어를 필터링하는 단계는
    상기 제1 프레임에 인접한 프레임들의 스코어들에 기초하여, 상기 제1 스코어를 필터링하는 단계
    를 포함하는, 인증을 수행하는 방법.
  7. 제5항에 있어서,
    상기 제1 스코어는
    상기 제1 모달리티의 복수의 특징들의 조합에 대응하는 스코어를 포함하는, 인증을 수행하는 방법.
  8. 제5항에 있어서,
    상기 제1 스코어를 필터링하는 단계는
    상기 제1 스코어를 이용하여 단독 인증을 수행하는 단계; 및
    상기 단독 인증이 실패한 경우, 상기 제1 스코어를 필터링하는 단계
    를 포함하는, 인증을 수행하는 방법.
  9. 제5항에 있어서,
    상기 모달리티들의 조합은
    상기 제1 모달리티 및 상기 제1 모달리티와 상이한 제2 모달리티를 포함하고,
    상기 제2 모달리티에 기초한 제2 스코어를 산출하는 단계
    를 더 포함하는, 인증을 수행하는 방법.
  10. 제9항에 있어서,
    상기 모달리티들의 조합에 의한 인증을 수행하는 단계는
    필터링되지 않은 상기 제1 스코어 및 필터링되지 않은 상기 제2 스코어를 퓨전(fusion)함으로써 제3 스코어를 산출하는 단계; 및
    상기 제3 스코어가 복합 인증을 위한 제3 조건을 만족하는지 여부에 기초하여 복합 인증을 수행하는 단계
    를 포함하는, 인증을 수행하는 방법.
  11. 제9항에 있어서,
    상기 모달리티들의 조합에 의한 인증을 수행하는 단계는
    상기 필터링된 제1 스코어가 상기 제2 조건을 만족하는 경우, 필터링되지 않은 상기 제1 스코어와 필터링되지 않은 상기 제2 스코어 중 적어도 하나가 상기 제1 조건을 만족하는지 여부에 기초하여, 상기 인증을 수행하는 단계
    를 포함하는, 인증을 수행하는 방법.
  12. 제9항에 있어서,
    상기 모달리티들의 조합에 의한 인증을 수행하는 단계는
    상기 필터링된 제1 스코어가 상기 제2 조건을 만족하는 경우, 상기 필터링된 제1 스코어와 필터링되지 않은 상기 제2 스코어 중 적어도 하나가 상기 제1 조건을 만족하는지 여부에 기초하여, 상기 인증을 수행하는 단계
    를 포함하는, 인증을 수행하는 방법.
  13. 제9항에 있어서,
    상기 제2 스코어를 필터링하는 단계
    를 더 포함하고,
    상기 모달리티들의 조합에 의한 인증을 수행하는 단계는
    상기 필터링된 제1 스코어가 상기 제2 조건을 만족하는 경우, 필터링되지 않은 상기 제1 스코어와 상기 필터링된 제2 스코어 중 적어도 하나가 상기 제1 조건을 만족하는지 여부에 기초하여, 상기 인증을 수행하는 단계
    를 포함하는, 인증을 수행하는 방법.
  14. 제9항에 있어서,
    상기 제2 스코어를 필터링하는 단계
    를 더 포함하고,
    상기 모달리티들의 조합에 의한 인증을 수행하는 단계는
    상기 필터링된 제1 스코어가 상기 제2 조건을 만족하는 경우, 상기 필터링된 제1 스코어와 상기 필터링된 제2 스코어 중 적어도 하나가 상기 제1 조건을 만족하는지 여부에 기초하여, 상기 인증을 수행하는 단계
    를 포함하는, 인증을 수행하는 방법.
  15. 제9항에 있어서,
    상기 제2 스코어를 필터링하는 단계
    를 더 포함하고,
    상기 모달리티들의 조합에 의한 인증을 수행하는 단계는
    상기 필터링된 제1 스코어와 상기 필터링된 제2 스코어의 조합이 상기 제2 조건을 만족하는지 여부를 기초로, 또는 상기 필터링된 제2 스코어가 상기 제2 조건을 만족하는지 여부를 기초로, 상기 인증을 수행하는 단계
    를 포함하는, 인증을 수행하는 방법.
  16. 제15항에 있어서,
    상기 인증을 수행하는 단계는
    상기 필터링된 제1 스코어와 상기 필터링된 제2 스코어의 조합이 상기 제2 조건을 만족하거나, 또는 상기 필터링된 제2 스코어가 상기 제2 조건을 만족하는 경우,
    필터링되지 않은 상기 제1 스코어 및 필터링되지 않은 상기 제2 스코어가 상기 제1 조건을 만족하는지 여부에 기초하여 상기 인증을 수행하는 단계
    를 포함하는, 인증을 수행하는 방법.
  17. 제15항에 있어서,
    상기 인증을 수행하는 단계는
    상기 필터링된 제1 스코어와 상기 필터링된 제2 스코어의 조합이 상기 제2 조건을 만족하거나, 또는 상기 필터링된 제2 스코어가 상기 제2 조건을 만족하는 경우,
    상기 필터링된 제1 스코어와 필터링되지 않은 상기 제2 스코어가 상기 제1 조건을 만족하는지 여부에 기초하여, 상기 인증을 수행하는 단계
    를 포함하는, 인증을 수행하는 방법.
  18. 제15항에 있어서,
    상기 인증을 수행하는 단계는
    상기 필터링된 제1 스코어와 상기 필터링된 제2 스코어의 조합이 상기 제2 조건을 만족하거나, 또는 상기 필터링된 제2 스코어가 상기 제2 조건을 만족하는 경우,
    필터링되지 않은 상기 제1 스코어 및 상기 필터링된 제2 스코어가 상기 제1 조건을 만족하는지 여부에 기초하여 상기 인증을 수행하는 단계
    를 포함하는, 인증을 수행하는 방법.
  19. 제15항에 있어서,
    상기 인증을 수행하는 단계는
    상기 필터링된 제1 스코어와 상기 필터링된 제2 스코어의 조합이 상기 제2 조건을 만족하거나, 또는 상기 필터링된 제2 스코어가 상기 제2 조건을 만족하는 경우,
    상기 필터링된 제1 스코어 및 상기 필터링된 제2 스코어가 상기 제1 조건을 만족하는지 여부에 기초하여 상기 인증을 수행하는 단계
    를 포함하는, 인증을 수행하는 방법.
  20. 제5항에 있어서,
    상기 모달리티들은
    사용자의 얼굴 영상, 지문 영상, 홍채 영상, 정맥 영상, 손금 영상, 사인(sign), 음성, 보행(gait), 디엔에이(DNA) 구조 중 어느 하나 또는 이들의 조합을 포함하는, 인증을 수행하는 방법.
  21. 하드웨어와 결합되어 제1항 내지 제20항 중 어느 하나의 항의 방법을 실행시키기 위하여 컴퓨터 판독가능 매체에 저장된 컴퓨터 프로그램.
  22. 생체 인증을 위한 제1 모달리티에 기초하여 제1 스코어를 산출하고, 상기 제1 스코어를 필터링하며, 상기 필터링된 제1 스코어가 상기 제1 모달리티의 단독 인증을 위한 제1 조건과 상이한, 상기 제1 모달리티의 단독 인증 진입을 위한 제2 조건을 만족하는지 여부에 기초하여, 상기 제1 모달리티에 의한 인증을 수행하는 프로세서
    를 포함하고,
    상기 제1 조건은 필터링되지 않은 제2 스코어를 이용하여 상기 단독 인증을 수행하기 위한 임계치이고,
    상기 제2 조건은 상기 필터링된 제1 스코어를 이용하여 상기 단독 인증을 수행하거나, 또는 상기 단독 인증 수행 여부를 판단하는 상기 단독 인증 진입을 위한 임계치인, 인증을 수행하는 장치.
  23. 생체 인증을 위한 모달리티들 중 제1 모달리티에 기초한 제1 스코어를 산출하고, 상기 제1 스코어를 필터링하며, 상기 필터링된 제1 스코어가 상기 제1 모달리티의 단독 인증을 위한 제1 조건과 상이한, 상기 모달리티들의 복합 인증 진입을 위한 제2 조건을 만족하는지 여부에 기초하여, 상기 모달리티들의 조합에 의한 인증을 수행하는 프로세서
    를 포함하고,
    상기 제1 조건은 필터링되지 않은 제2 스코어를 이용하여 상기 제1 모달리티의 인증을 수행하기 위한 임계치이고,
    상기 제2 조건은 상기 필터링된 제1 스코어를 이용하여 상기 제1 모달리티의 인증을 수행하거나, 또는 상기 모달리티들의 복합 인증 진입을 위한 임계치인, 인증을 수행하는 장치.
KR1020180025558A 2018-02-14 2018-03-05 인증을 수행하는 방법 및 장치 KR102483648B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/250,276 US11048785B2 (en) 2018-02-14 2019-01-17 Method and apparatus of performing authentication
US17/359,968 US11720658B2 (en) 2018-02-14 2021-06-28 Method and apparatus of performing authentication

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180018226 2018-02-14
KR1020180018226 2018-02-14

Publications (2)

Publication Number Publication Date
KR20190098657A KR20190098657A (ko) 2019-08-22
KR102483648B1 true KR102483648B1 (ko) 2023-01-03

Family

ID=67767035

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180025558A KR102483648B1 (ko) 2018-02-14 2018-03-05 인증을 수행하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102483648B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006178651A (ja) * 2004-12-21 2006-07-06 Toshiba Corp 人物認識装置、人物認識方法および通行制御装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160045371A (ko) * 2014-10-17 2016-04-27 에이원커뮤니케이션즈코리아㈜ 생체 정보를 이용한 사용자 인증 방법
KR102439938B1 (ko) * 2015-08-03 2022-09-05 삼성전자주식회사 사용자 인증을 위한 멀티-모달 퓨전 방법 및 사용자 인증 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006178651A (ja) * 2004-12-21 2006-07-06 Toshiba Corp 人物認識装置、人物認識方法および通行制御装置

Also Published As

Publication number Publication date
KR20190098657A (ko) 2019-08-22

Similar Documents

Publication Publication Date Title
KR102370063B1 (ko) 얼굴 인증 방법 및 장치
KR102324468B1 (ko) 얼굴 인증을 위한 장치 및 방법
KR102359558B1 (ko) 얼굴 인증 방법 및 장치
JP6802039B2 (ja) ユーザ認証のための登録データベースの適応的更新方法及び装置
KR102455633B1 (ko) 라이브니스 검사 방법 및 장치
CN111133433B (zh) 使用面部识别用于访问控制的自动认证
KR102655949B1 (ko) 3d 영상 기반의 얼굴 인증 방법 및 장치
KR101241625B1 (ko) 얼굴 인식 환경 통지 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
US8422746B2 (en) Face authentication system and authentication method thereof
EP3528158B1 (en) Method and apparatus for selective combined authentication
JP2008146539A (ja) 顔認証装置
KR102476756B1 (ko) 사용자 인증을 위한 등록 데이터베이스의 적응적 갱신 방법 및 장치
KR20210062381A (ko) 라이브니스 검사 방법 및 장치, 생체 인증 방법 및 장치
KR102427853B1 (ko) 사용자 인증을 위한 등록 데이터베이스의 적응적 갱신 방법 및 장치
CN110612530A (zh) 用于选择脸部处理中使用的帧的方法
CN111382666A (zh) 具有用户验证的设备和方法
US10740637B2 (en) Anti-spoofing
WO2020065954A1 (ja) 認証装置、認証方法および記憶媒体
WO2020065851A1 (ja) 虹彩認証装置、虹彩認証方法および記憶媒体
US11720658B2 (en) Method and apparatus of performing authentication
WO2014132570A1 (ja) 認証装置、認証方法およびプログラム記憶媒体
KR102483648B1 (ko) 인증을 수행하는 방법 및 장치
KR102495360B1 (ko) 복합 인증을 수행하는 방법 및 장치
WO2022000334A1 (zh) 生物特征识别方法、装置、设备及存储介质
KR20210050226A (ko) 모바일 기기의 컴파운드 인증 수행 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant