KR20210050226A - 모바일 기기의 컴파운드 인증 수행 방법 - Google Patents

모바일 기기의 컴파운드 인증 수행 방법 Download PDF

Info

Publication number
KR20210050226A
KR20210050226A KR1020190134579A KR20190134579A KR20210050226A KR 20210050226 A KR20210050226 A KR 20210050226A KR 1020190134579 A KR1020190134579 A KR 1020190134579A KR 20190134579 A KR20190134579 A KR 20190134579A KR 20210050226 A KR20210050226 A KR 20210050226A
Authority
KR
South Korea
Prior art keywords
authentication
condition
madality
compound
combination
Prior art date
Application number
KR1020190134579A
Other languages
English (en)
Inventor
강용현
김두현
Original Assignee
에이비엑스지 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이비엑스지 주식회사 filed Critical 에이비엑스지 주식회사
Priority to KR1020190134579A priority Critical patent/KR20210050226A/ko
Publication of KR20210050226A publication Critical patent/KR20210050226A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2113—Multi-level security, e.g. mandatory access control

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Collating Specific Patterns (AREA)

Abstract

일 실시예에 따른 컴파운드 인증을 수행하는 방법 및 장치는 마댈러티들 중 제1 마댈러티에 기초하여 단독 인증을 수행하고, 단독 인증이 실패한 경우 마댈러티들의 컴비네이션에 의한 컴파운드 인증을 수행할지 여부를 결정하며, 수행 여부의 결정에 따라 컴파운드 인증을 수행한다.

Description

모바일 기기의 컴파운드 인증 수행 방법{METHOD OF PERFORMING COMBINED AUTHENTICATION OF MOBILE DEVICE}
아래 실시예들은 컴파운드 인증을 수행하는 방법 및 장치에 관한 것이다.
스마트 폰을 포함하는 다양한 모바일 기기, 및 웨어러블 기기 등과 같은 유저기기의 발전과 함께 보안 인증에 대한 중요성이 증대되고 있으며, 이에 따라, 생체 인식에 대한 관심 또한 급증하고 있다. 생체 인식은 유저 기기에 대한 보안을 더욱 강화하고, 모바일 결제 등과 같은 각종 응용 프로그램을 좀 더 안전하게 사용할 수 있게 한다. 생체 인식은 높은 인증률을 보이며 활용성이 넓어지고 있다.
일 실시예에 따르면, 컴파운드 인증을 수행하는 방법은 제1 마댈러티의 제1 양상 및 제2 마댈러티의 제2 양상 중 적어도 하나에 기초하여, 컴파운드 인증의 수행 여부를 결정하는 단계; 상기 컴파운드 인증의 수행 여부에 따라, 상기 제1 양상 및 상기 제2 양상에 기초하여, 컴파운드 인증을 수행하는 단계를 포함한다.
상기 컴파운드 인증을 수행하는 단계는 상기 제1 양상 및 상기 제2 양상을 복합함으로써 제3 양상을 생성하는 단계; 및 상기 제3 양상에 기초하여, 상기 컴파운드 인증을 수행하는 단계를 포함할 수 있다.
상기 컴파운드 인증의 수행 여부를 결정하는 단계는 상기 제1 양상, 상기 제2 양상, 또는 상기 제1 양상 및 상기 제2 양상의 컴비네이션이 단독 인증을 위한 제1 컨디션과 다른 제2 컨디션을 만족하는지 여부를 결정하는 단계; 및 상기 제2 컨디션을 만족하는 경우, 상기 제1 마댈러티 및 상기 제2 마댈러티들의 컴비네이션에 의한 컴파운드 인증을 수행하기로 결정하는 단계를 포함할 수 있다.
상기 제2 컨디션은 상기 제1 마댈러티의 제1 오인식률(FAR), 상기 제2 마댈러티의 제2 오인식률, 또는 상기 제1 오인식률 및 상기 제2 오인식률의 컴비네이션에 기초하여 결정될 수 있다.
상기 컴파운드 인증을 수행하는 단계는 상기 제3 양상이 상기 컴파운드 인증을 위한 제3 컨디션을 만족하는지 여부를 판단하는 단계를 포함할 수 있다.
일 실시예에 따르면, 컴파운드 인증을 수행하는 방법은 마댈러티들의 제1 컴비네이션에 대응하는 제1 진입 컨디션의 만족 여부를 판단하는 단계; 상기 제1 진입 컨디션의 만족 여부에 따라, 상기 제1 컴비네이션에 의한 인증을 수행하는 단계; 상기 제1 컴비네이션에 의한 인증이 실패한 경우, 상기 마댈러티들의 제2 컴비네이션에 대응하는 제2 진입 컨디션의 만족 여부를 판단하는 단계; 및 상기 제2 진입 컨디션의 만족 여부에 따라, 상기 제2 컴비네이션에 의한 인증을 수행하는 단계를 포함한다.
상기 제1 진입 컨디션과 상기 제2 진입 컨디션은 상기 마댈러티들의 컴비네이션 별로 상이하게 결정될 수 있다.
상기 제1 진입 컨디션의 만족 여부를 판단하는 단계는 상기 마댈러티들의 제1 컴비네이션이 단독 인증을 위한 제1 컨디션과 다른 제2 컨디션을 만족하는지 여부에 기초하여 제1 진입 컨디션의 만족 여부를 판단하는 단계를 포함할 수 있다.
상기 마댈러티의 제1 컴비네이션은 제1 마댈러티 및 상기 제1 마댈러티와 상이한 제2 마댈러티를 포함하고, 상기 제1 진입 컨디션의 만족 여부를 판단하는 단계는 상기 제1 마댈러티의 제1 양상 및 상기 제2 마댈러티의 제2 양상 중 적어도 하나가 상기 제2 컨디션을 만족하는지 여부를 결정하는 단계; 및 상기 제2 컨디션을 만족하는 경우, 상기 제1 진입 컨디션을 만족하는 것으로 판단하는 단계를 포함할 수 있다.
일 실시예에 따르면, 컴파운드 인증을 수행하는 방법은 마댈러티들 중 제1 마댈러티에 기초하여 단독 인증을 수행하는 단계; 및 상기 단독 인증이 실패한 경우, 상기 마댈러티들의 컴비네이션에 의한 컴파운드 인증을 수행하는 단계를 포함한다.
상기 컴파운드 인증을 수행하는 방법은 상기 단독 인증이 실패한 경우, 상기 컴파운드 인증을 수행하기에 앞서, 상기 마댈러티들 중 제2 마댈러티에 기초하여 단독 인증을 수행하는 단계를 더 포함할 수 있다.
상기 컴파운드 인증을 수행하는 단계는 상기 제1 마댈러티의 제1 양상, 및 상기 마댈러티들 중 제2 마댈러티의 제2 양상을 복합함으로써 제3 양상을 생성하는 단계; 및 상기 제3 양상에 기초하여 상기 컴파운드 인증을 수행하는 단계를 포함할 수 있다.
도 1은 일 실시예에 따른 컴파운드 인증을 수행하는 방법을 설명하기 위한 도면.
도 2는 일 실시예에 따른 컴파운드 인증을 수행하는 방법을 나타낸 흐름도.
도 3a 및 도 3b는 일 실시예에 따른 제1 컨디션 및 제2 컨디션을 설명하기 위한 도면들.
도 4는 일 실시예에 따라 컴파운드 인증을 수행하는 장치의 블록도.
도 5는 일 실시예에 따른 컴파운드 인증을 수행하는 분류기의 동작을 설명하기 위한 도면.
도 6a, 도 6b, 및 도 7 내지 도 11은 실시예들에 따른 컴파운드 인증을 수행하는 방법을 나타낸 흐름도.
도 12는 일 실시예에 따른 유저 인터페이스를 설명하는 도면.
도 13a와 도 13b는 일 실시예에 따른 생체 정보 등록 과정을 설명하는 도면들.
도 14는 일 실시예에 따른 서로 다른 마댈러티 간 상관 관계를 활용하여 컴파운드 인증을 수행하는 동작을 설명하는 도면.
도 15는 일 실시예에 따른 컴파운드 인증을 수행하는 장치의 블록도.
도 16은 일 실시예에 따른 컴파운드 인증에 사용되는 누름 감지 장치를 간략히 도시한다.
도 17은 일 실시예에 따른 컴파운드 인증이 실시되는 화면을 표시하는 도면.
본 명세서에 개시되어 있는 특정한 구조적 또는 기능적 설명들은 단지 기술적 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것이다. 개시된 실시예들은 다양한 다른 형태로 변경되어 실시될 수 있으며 본 명세서의 범위는 개시된 실시예들에 한정되지 않는다.
제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 양상, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 컴비네이션한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 양상들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 컴비네이션한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다. 예를 들어, 실시예들은 스마트 폰, 모바일 기기, 스마트 홈 시스템, 지능형 자동차, ATM 기기 등에서의 유저 인증에 적용될 수 있다. 이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 컴파운드 인증을 수행하는 방법을 설명하기 위한 도면이다. 도 1을 참조하면, 유저(50)가 모바일 기기(100)의 이미지 센서(110), 적외선 센서(120), 또는 지문 센서(130)를 이용하여 생체 인식 또는 인증을 수행하는 상황이 도시된다.
일 실시예에 따르면, 얼굴, 홍채, 지문, 및 정맥 등과 같은 다양한 생체 정보에 기반한 복수의 마댈러티들을 사용하여 생체 인식 또는 인증이 수행될 수 있다. '마댈러티(modality)'는 예를 들어, 유저의 얼굴, 지문, 홍채, 정맥, 손금, 사인(sign), 음성(voice), 보행(gait), 디엔에이(DNA) 구조 등과 같이 유저 고유의 생체 정보 또는 유저를 인식 또는 인증할 수 있는 고유의 정보가 표현되는 다양한 양상들에 해당할 수 있다.
다양한 생체 정보를 사용하는 데에 있어서, 각 마댈러티 별로 생체 인증의 보안성 레벨이 상이할 수 있다. 예를 들어, 홍채 마댈러티는 천만 분의 일의 오인식률(False Acceptance Rate; FAR)을 가지고, 지문 마댈러티 및 얼굴 마댈러티는 백만 분의 일의 오인식률을 가질 수 있다. '오인식률'은 타인의 생체 정보를 본인의 생체 정보로 잘못 인식할 수 있는 비율에 해당할 수 있다. 생체 정보의 오인식률이 낮을수록 보안성이 높은, 다시 말해 보안성의 레벨이 높은 마댈러티에 해당할 수 있다.
다양한 마댈러티들을 컴비네이션하여 인증을 수행하는 컴파운드 인증을 이용하는 경우, 각 마댈러티의 장점을 활용하여 보안성이 향상될 수 있다. 실시예들에 의하면 마댈러티들의 컴비네이션을 통한 컴파운드 인증에 의해 다양한 상황들에 맞는 인증 성능을 보장할 수 있다.
일 예로, 홍채 영상 및 얼굴 영상을 이용하여 유저를 인증한다고 하자. 홍채 영상 및 얼굴 영상은 각각 적외선(IR) 카메라, 칼라 카메라, 흑백 카메라, 또는 3D 카메라를 통하여 촬영될 수 있다. 3D 카메라는 ToF(Time-of-Flight) 방식의 카메라, 스트럭쳐드 라이트(Structured Light) 방식의 카메라 등 다양한 방식으로 구현될 수 있고, 전술한 방식들은 예시적인 사항에 불과하며 실시예에 따른 3D 카메라는 전술한 방식들에 제한되지 않는다. 실시예에 따라 홍채 영상은 적외선 카메라를 통하여 촬영되고, 얼굴 영상은 칼라 카메라 혹은 3D 카메라를 통하여 촬영되는 등 다양한 컴비네이션으로 홍채 영상과 얼굴 영상이 촬영될 수 있다.
홍채 마댈러티는 얼굴 마댈러티에 비하여 높은 보안성을 가진다. 유저 A와 유저 B가 쌍둥이인 경우를 가정하자. 홍채 마댈러티에서 유저 A와 유저 B는 타인 수준으로 상이한 양상 벡터를 가지지만, 얼굴 마댈러티에서 유저 A와 유저 B는 동일인 수준으로 유사한 양상 벡터를 가질 수 있다. 따라서, 쌍둥이는 얼굴 마댈러티에 기초하여 서로 구분되기 어려우나, 홍채 마댈러티에 기초하여 서로 잘 구분될 수 있다.
하지만, 촬영 환경 등에 따라 홍채 마댈러티의 성능이 얼굴 마댈러티의 성능에 비하여 저하될 수 있다. 홍채 영상은 예를 들어, 모바일 기기에 포함된 적외선 엘이디(LED) 조명의 발광 후, 적외선 센서를 이용하여 촬영된 것일 수 있다. 홍채 영상은 실외의 강한 빛이 존재할 경우 등 영상의 품질이 저하될 수 있다. 영상의 품질이 저하되면 인식 성능이 저하되므로, 홍채 마댈러티만을 이용하는 경우 실외의 강한 빛이 존재하는 상황 등 특정한 환경에서 인식 성능이 저하될 수 있다.
얼굴 영상은 실외의 강한 빛이 존재하더라도 영상의 품질이 저하되지 않으므로, 홍채 마댈러티의 인식 성능이 저하되는 상황에서도 얼굴 마댈러티의 인식 성능은 저하되지 않을 수 있다. 다만, 얼굴 영상은 홍채 영상과 달리, 외부 조명의 종류 변화 또는 낮은 조도 상황, 얼굴의 포즈 변화 등에 취약할 수 있다.
따라서, 홍채 영상과 얼굴 영상을 복합적으로 이용함으로써 다양한 상황에서 인식 성능이 유지될 수 있다.
아래에서 설명할 실시예들은 마댈러티들의 컴비네이션에 의한 컴파운드 인증을 수행함에 있어 보안성뿐만 아니라, 유저의 편의성 또한 함께 고려할 수 있다. 예를 들어, 실시예들은 보안성을 유지하면서 유저의 편의성을 향상시키는 기술을 제공하거나, 유저의 편의성을 유지하면서 보안성을 향상시키는 기술을 제공할 수 있다.
실시예들은 단일 인증을 우선적으로 수행한 뒤 컴파운드 인증을 수행할 수 있다.
일 예로, 결제 어플리케이션에서 보안성이 중요하게 고려되어야 하며, 보안성이 유지되는 선에서 유저의 편의성이 향상되도록 단일 인증과 컴파운드 인증의 수행 시나리오가 설정될 수 있다. 실시예들은 보안성이 강한 마댈러티(예를 들어, 홍채 마댈러티)를 이용하여 1차적으로 단일 인증을 수행한 뒤, 1차 인증에 실패한 경우 복수의 마댈러티들(예를 들어, 홍채 마댈러티와 얼굴 마댈러티)을 컴비네이션하여 컴파운드 인증을 수행할 수 있다.
다른 예로, 스마트 폰의 잠금해제(unlock)에서 유저의 편의성이 중요하게 고려되어야 하며, 유저의 편의성이 유지되는 선에서 보안성이 향상되도록 단일 인증과 컴파운드 인증의 수행 시나리오가 설정될 수 있다. 실시예들은 유저의 편의성이 강한 마댈러티(예를 들어, 얼굴 마댈러티)를 이용하여 1차적으로 단일 인증을 수행하고, 1차 인증에 실패한 경우 1차 인증에 이용된 마댈러티와 구별되는 특성의 마댈러티(예를 들어, 홍채 마댈러티)를 이용하여 2차적으로 단일 인증을 수행할 수 있다. 실시예들은 2차 인증에도 실패한 경우 복수의 마댈러티들(예를 들어, 얼굴 마댈러티와 홍채 마댈러티)을 컴비네이션하여 컴파운드 인증을 수행할 수 있다.
실시예들은 컴파운드 인증을 수행하기에 앞서 컴파운드 인증을 수행할지 여부를 결정하는 진입 컨디션을 판단함으로써, 보안성과 유저의 편의성을 함께 만족시키는 기술을 제공한다. 진입 컨디션은 컴파운드 인증을 위한 마댈러티들의 컴비네이션이나 컴파운드 인증이 적용되는 어플리케이션의 유형 등에 따라 미리 결정될 수 있다.
컴파운드 인증을 수행할지 여부를 결정하는 진입 컨디션은 컴파운드 인증을 위한 마댈러티들 중 적어도 하나의 마댈러티에 관한 컨디션일 수 있다. 예를 들어, 진입 컨디션은 얼굴 마댈러티에 관한 제1 컨디션, 홍채 마댈러티에 관한 제2 컨디션, 혹은 제1 컨디션과 제2 컨디션의 컴비네이션을 포함할 수 있다. 진입 컨디션은 개별 마댈러티를 이용한 단독 인증의 성공 여부를 판단하는 기준 컨디션과 구별되는 컨디션일 수 있다.
일 실시예에 따르면, 진입 컨디션은 개별 마댈러티를 이용한 단독 인증의 성공 여부를 판단하는 기준 컨디션과 다른 컨디션일 수 있다. 예를 들어, 진입 컨디션이 홍채 마댈러티에 관한 제2 컨디션을 포함하는 경우, 제2 컨디션은 홍채 마댈러티를 이용한 단독 인증의 오인식률에 비하여 완화된 오인식률을 요구하는 컨디션일 수 있다.
일 예로, 결제 어플리케이션에 컴파운드 인증이 적용될 수 있다. 이 경우, 보안성을 중시하되, 유저의 편의성이 향상되는 진입 컨디션이 설정될 수 있다. 실시예들은 보안성이 강한 마댈러티(예를 들어, 홍채 마댈러티)를 이용하여 컴파운드 인증의 수행여부를 결정하는 진입 컨디션을 판단한 뒤, 복수의 마댈러티들(예를 들어, 홍채 마댈러티와 얼굴 마댈러티)을 컴비네이션하여 컴파운드 인증을 수행할 수 있다.
다른 예로, 스마트 폰의 잠금해제(unlock)에 컴파운드 인증이 적용될 수 있다. 이 경우, 유저의 편의성을 중시하되, 보안성이 향상되는 진입 컨디션이 설정될 수 있다. 실시예들은 단일 마댈러티(예를 들어, 홍채 마댈러티, 얼굴 마댈러티 혹은 지문 마댈러티)를 이용하여 컴파운드 인증의 수행여부를 결정하는 진입 컨디션을 판단한 뒤, 복수의 마댈러티들(예를 들어, 얼굴 마댈러티, 지문 마댈러티, 및 홍채 마댈러티)을 컴비네이션하여 컴파운드 인증을 수행할 수 있다.
아래에서 상세하게 설명하겠으나, 진입 컨디션은 단일 마댈러티만 이용하도록 설정되는 대신, 단일 마댈러티들의 컴비네이션을 이용하도록 설정될 수 있다. 또한, 컴파운드 인증을 수행할 때, 복수의 마댈러티들을 컴비네이션하는 방식도 다양하게 설정될 수 있다.
각 마댈러티의 스코어는 예를 들어, 매칭 스코어(matching score) 또는 디스턴스 스코어(distance score) 등의 형태로 결정될 수 있다. 매칭 스코어는 등록 프레임과 입력 프레임이 유사한 정도, 다시 말해 프레임들 간의 유사도를 나타내는 스코어에 해당할 수 있다. 매칭 스코어가 낮다는 것은 프레임들 간의 유사도가 낮다는 것을 의미하고, 매칭 스코어가 높다는 것은 프레임들 간의 유사도 높다는 것을 의미한다. 모바일 기기(100)는 매칭 스코어가 높을수록 유저(50)의 인증을 수락할 확률이 높다. 또한, 디스턴스 스코어는 등록 프레임과 입력 프레임 간의 양상 거리(예를 들어, 유클리디언 거리(Euclidean Distance))를 나타내는 스코어에 해당할 수 있다. 디스턴스 스코어가 낮다는 것은 양상 벡터 공간에서 프레임들 간의 양상 거리가 가깝다는 것을 의미하고, 디스턴스 스코어가 높다는 것은 프레임들 간의 양상 거리가 멀다는 것을 의미한다. 모바일 기기(100)는 디스턴스 스코어가 낮을수록 유저(50)의 인증을 수락할 확률이 높다.
전술한 것과 같이, 실시예들은 단독 마댈러티를 사용하는 유저 인증에 대비하여, 마댈러티들의 컴비네이션에 의한 컴파운드 인증을 통해 유저의 기기 접근 편의성을 향상시키는 동시에, 높은 보안성을 보장할 수 있다. 또한, 실시예들은 다양한 마댈러티들을 사용함으로써 다양한 환경에서의 유저 인식 및 인증 성능이 유지되도록 함으로써 유저의 편의성을 향상시킬 수 있다.
도 2는 일 실시예에 따른 컴파운드 인증을 수행하는 방법을 나타낸 흐름도이다. 도 2를 참조하면, 일 실시예에 따른 컴파운드 인증을 수행하는 장치(이하, '인증 장치')는 마댈러티들 중 제1 마댈러티에 기초하여 단독 인증을 수행한다(210). 인증 장치는 개별 마댈러티의 단독 인증을 수행하고, 단독 인증에 실패한 경우, 컴파운드 인증을 수행할 수 있다. 보다 구체적으로, 인증 장치는 제1 마댈러티의 제1 양상이 제1 컨디션을 만족하는지 여부를 판단함으로써, 단독 인증을 수행할 수 있다. 제1 양상은 예를 들어, 제1 마댈러티로부터 추출된 양상 벡터들에 기초하여 결정된 유클리디언 거리(Euclidean Distance) 또는 유사도 스코어에 해당할 수 있다. 또한. 제1 컨디션은 예를 들어, 단독 인증을 위한 임계 거리 또는 단독 인증을 위한 임계 스코어에 해당할 수 있다. 단독 인증을 위한 제1 컨디션은 마댈러티의 유형에 따라 달리 결정될 수 있다. 단계(210)에서 단독 인증이 수락(accept)된 경우, 인증 장치는 인증 성공으로 판단할 수 있다(240).
단계(210)에서 단독 인증이 실패(fail)한 경우, 인증 장치는 단독 인증을 위한 제1 컨디션과 다른 제2 컨디션에 기초하여, 마댈러티들의 컴비네이션에 의한 컴파운드 인증을 수행할지 여부를 결정하는 진입컨디션의 만족 여부를 판단한다(220). 여기서, '컴파운드 인증'이란 예를 들어, (지문, 홍채, 얼굴)과 같은 복수의 마댈러티들 중 (지문, 홍채), (지문, 얼굴), (홍채, 얼굴), (지문, 홍채, 얼굴) 등과 같이 마댈러티들의 다양한 컴비네이션에 의해 인증을 수행하는 것으로 이해될 수 있다.
단계(220)에서, 인증 장치는 마댈러티들의 컴비네이션에 대하여 해당 컴비네이션에 의한 컴파운드 인증을 수행할 지 여부를 결정할 수 있다. 인증 장치는 마댈러티들의 컴비네이션이 제2 컨디션을 만족하는지 여부에 기초하여, 마댈러티들의 컴비네이션에 의한 컴파운드 인증을 수행할지 여부를 결정할 수 있다. 이때, 제2 컨디션은 마댈러티들의 컴비네이션 별로 상이하게 결정될 수 있다.
제2 컨디션은 예를 들어, 마댈러티들의 컴비네이션에서 보안성이 가장 높은 마댈러티의 오인식률에 기초하여 결정될 수 있다. 예를 들어, 마댈러티들의 컴비네이션이 홍채 및 얼굴을 포함하는 경우, 얼굴에 비해 보안성이 높은 홍채의 오인식률인 천만분의 일에 기초하여 제2 컨디션이 결정될 수 있다. 제2 컨디션은 천만분의 일의 오인식률과 다른 오인식률을 요구할 수 있다. 또는 마댈러티들의 컴비네이션이 얼굴 및 지문을 포함하는 경우, 얼굴에 비해 보안성이 높은 지문의 오인식률인 백만분의 일에 기초하여 제2 컨디션이 결정될 수 있다. 제2 컨디션은 백만분의 일의 오인식률에 비하여 완화된 오인식률을 요구할 수 있다.
또는 제2 컨디션은 예를 들어, 마댈러티들의 컴비네이션에서 편의성이 가장 높은 마댈러티의 오인식률에 기초하여 결정될 수 있다. 예를 들어, 마댈러티들의 컴비네이션이 얼굴 및 사인을 포함하는 경우, 사인에 비해 편의성이 높은 얼굴의 오인식률인 이천분의 일에 기초하여 제2 컨디션이 결정될 수 있다. 제2 컨디션은 이천분의 일의 오인식률과 다른 오인식률을 요구할 수 있다. 인증 장치가 제1 컨디션 및 제2 컨디션을 결정하는 방법은 아래의 도 3a 및 도 3b를 참조하여 구체적으로 설명한다.
마댈러티들의 컴비네이션은 예를 들어, 제1 마댈러티 및 제1 마댈러티와 상이한 제2 마댈러티를 포함할 수 있다. 실시예에 따라서, 마댈러티들의 컴비네이션은 예를 들어, 제1 마댈러티, 제2 마댈러티 및 제3 마댈러티와 같이 3가지 마댈러티들을 포함하거나, 또는 그 이상의 마댈러티들을 포함할 수도 있다. 마댈러티들의 컴비네이션에 포함되는 마댈러티들의 개수는 예를 들어, 컴파운드 인증의 보안성 또는 컴파운드 인증의 편의성에 기초하여 결정될 수 있다.
단계(220)에서, 인증 장치는 제1 마댈러티의 제1 양상 및 제2 마댈러티의 제2 양상 중 적어도 하나가 제2 컨디션을 만족하는지 여부를 결정할 수 있다. 제2 컨디션을 만족(accept)하는 경우, 인증 장치는 마댈러티들의 컴비네이션에 의한 컴파운드 인증을 수행하기로 결정할 수 있다. 단계(220)에서 제2 컨디션을 만족하지 못한(fail) 경우, 인증 장치는 인증 실패로 결정할 수 있다(250).
인증 장치는 단계(220)에서의 컴파운드 인증 수행 결정에 따라, 컴파운드 인증을 수행한다(230). 단계(230)에서, 인증 장치는 제1 양상에 기초한 스코어와 제2 양상에 기초한 스코어의 결합된 컨디션을 판단함으로써, 컴파운드 인증을 수행할 수 있다. 예를 들어, 인증 장치는 제1 양상에 기초한 스코어에 대한 컨디션 및 제2 양상에 기초한 스코어에 대한 컨디션이 논리 연산을 통하여 결합된 제3 컨디션의 만족 여부를 판단할 수 있다.
또는, 인증 장치는 제1 양상 및 제2 양상을 퓨전(fusion) 함으로써 제3 양상을 생성하고, 제3 양상에 기초하여 컴파운드 인증을 수행할 수 있다. 인증 장치는 예를 들어, 제3 양상이 컴파운드 인증을 위한 제3 컨디션을 만족하는지 여부에 기초하여 컴파운드 인증을 수행할 수 있다. 제3 컨디션은 컴파운드 인증을 위해 목표로 하는 오인식률에 따라 결정될 수 있다.
단계(230)에서, 인증 장치는 예를 들어, 미리 학습된 분류기를 이용하여 제1 양상 및 제2 양상의 컴비네이션, 혹은 제3 양상이 제3 컨디션을 만족하는지를 결정할 수 있다. 인증 장치가 제3 양상에 기초하여 컴파운드 인증을 수행하는 방법은 아래의 도 5를 참조하여 구체적으로 설명한다.
도 3a 및 도 3b는 일 실시예에 따른 제1 컨디션 및 제2 컨디션을 결정하는 방법을 설명하기 위한 도면들이다. 제1 컨디션은 예를 들어, 단독 인증을 수행하기 위한 임계 거리에 해당하고, 제2 컨디션은 예를 들어, 컴파운드 인증의 수행 여부를 결정하는 데에 이용되는 임계 거리에 해당할 수 있다. 임계 거리는 예를 들어, 인식률(Verification Rate; VR), 오인식률(FAR), 오거부율(False Reject Rate; FRR), 또는 이들의 컴비네이션에 의해 결정될 수 있다.
이하에서는 설명의 편의를 위하여, 오인식률(FAR)을 이용하여 제1 컨디션 및 제2 컨디션을 결정하는 방법을 설명하지만, 제1 컨디션 및 제2 컨디션을 결정하는 방법이 반드시 이에 한정되는 것은 아니며, 다양한 성능 지표에 의해 결정될 수 있다. 또한, 제1 컨디션 및 제2 컨디션을 결정하기 위한 성능 지표는 동일하더라도, 제1 컨디션 및 제2 컨디션 각각에 대응하는 임계치를 결정하기 위한 대상 스코어는 서로 달라질 수 있다. 예를 들어, 제1 컨디션에 대응하여, 로우 스코어(RAW score)를 대상으로 일정 오인식률(FAR)을 만족하는 임계치가 결정될 수 있다. 제2 컨디션에 대응하여, 로우 스코어(Raw score)에 대해 추가 프로세싱(예를 들어, 필터링)이 적용된 스코어를 대상으로, 일정 오인식률(FAR)을 만족하는 임계치가 결정될 수 있다.
도 3a를 참조하면, 유저 본인(동일인)에 해당하는 데이터들 사이에서 제1 마댈러티의 제1 양상에 의한 양상 거리를 히스토그램(310)으로 표시할 수 있다. 또한, 유저 본인에 해당하는 데이터와 타인에 해당하는 데이터 사이에서 제1 마댈러티의 제1 양상에 의한 양상 거리를 나타낸 히스토그램(330)이 도시된다. 여기서, 양상 거리는 본인의 얼굴 영상과 타인의 얼굴 영상 간의 상이한 정도를 나타내는 유클리디언 거리에 해당할 수 있다. 양상 거리는 비교 대상 데이터들 사이의 유사도가 높아질수록 작은 값을 가지고, 비교 대상 데이터들 사이의 유사도가 낮아질수록 큰 값을 가질 수 있다.
실시예에 따라서, 인증 장치는 양상 거리 이외에도 예를 들어, 양상 벡터들 간의 정규화된 상호 연관성(Normalized Cross Correlation; NCC), 매칭 스코어(matching score), 또는 유사도 스코어 등과 같은 다양한 성능 지표에 의해 제1 컨디션 및 제2 컨디션을 결정할 수도 있다.
도 3a의 그래프에서 X 축은 제1 마댈러티의 양상에 의한 양상 거리를 나타내고, Y 축은 해당 양상 거리에 대응하는 샘플들의 개수를 나타낼 수 있다.
일 실시예에 따른 인증 장치는 어플리케이션의 보안성을 강조할 것인지 또는 편의성을 강조할 것인지에 따라 제1 컨디션을 결정할 수 있다. 예를 들어, 유저가 은행, 또는 증권 업무 등과 같이 금융 기관 관련 어플리케이션을 수행하고자 하는 경우, 인증 장치는 보안성을 강조하여 엄격한 인증이 수행되도록 제1 컨디션을 결정할 수 있다. 또는 유저가 카메라, 또는 메모장 등과 같은 모바일 기기의 단순 기능을 수행하기 위해 잠금해제를 수행하고자 하는 경우, 인증 장치는 편의성을 강조하여 인증을 생략하거나, 또는 기준이 변경된 인증이 수행되도록 제1 컨디션을 결정할 수 있다.
예를 들어, 보안성을 강조하고자 하는 경우, 인증 장치는 타인의 홍채 마댈러티의 제1 양상에 의한 양상 거리를 나타낸 히스토그램(330)의 전체 면적 중 홍채 마댈러티에서 오인식을 허락하는 수준(예를 들어, 하위 천만분의 일)의 면적을 구분하는 경계선(350)의 양상 거리를 제1 컨디션으로 설정할 수 있다. 이 경우, 홍채 마댈러티의 양상 거리가 천만분의 일의 오인식률은 만족하지 못하는 경우, 유저에 대한 단독 인증을 실패하게 된다.
하지만, 홍채 마댈러티는 자외선이 강한 야외 환경 상황에서 잘 동작하지 않으므로, 유저의 불편함을 해소하고자, 일 실시예에서는 홍채 마댈러티에 의한 인증에 실패했다고 하더라도 홍채 마댈러티가 미리 정해진 컨디션을 만족하는 경우에는 야외 환경에서도 잘 동작하는 얼굴 마댈러티와 함께 컴파운드 인증을 수행할 수 있다. 인증 장치는 홍채 마댈러티가 단독 인증을 위한 경계선(350)의 양상 거리 임계치를 만족하지 못하지만, 이와 다른 경계선(370)의 양상 거리 임계치를 만족하는 경우, 홍채 마댈러티와 얼굴 마댈러티의 컴비네이션에 의한 컴파운드 인증을 수행하도록 결정할 수 있다. 홍채 마댈러티가 양상 거리 임계치를 만족한다는 것은 홍채 마댈러티에 의한 양상 거리가 양상 거리 임계치 이하(또는 미만)인 것을 의미할 수 있다.
이 때, 제1 컨디션을 위한 경계선과 제2 컨디션을 위한 경계선은 각기 다른 스코어 히스토그램에서 결정될 수 있다. 예를 들어, 도 3b를 참조하면, 제 1 컨디션을 위한 경계선(350)은 원래의 마댈러티 스코어-예를 들어, 히스토그램(310)과 히스토그램(330)-를 기준으로 설정되고, 제2 컨디션을 위한 경계선(370)은 해당 스코어에 추가 프로세싱(예를 들어, 필터링)을 가한 스코어-예를 들어, 히스토그램(320)과 히스토그램(340)-를 기준으로 설정될 수 있다.
일 실시예에서는 홍채 마댈러티가 단독 인증에 실패한 경우라도 제2 컨디션을 만족하는 경우, 컴파운드 인증의 요소, 다시 말해 마댈러티들의 컴비네이션으로 구성되도록 함으로써 보안성을 유지하면서 유저의 편의성을 향상시킬 수 있다. 보다 구체적으로, 단독 인증이 실패한 경우, 바로 컴파운드 인증을 수행하는 것이 아니라, 진입 컨디션(예를 들어, 제2 컨디션)을 설정함으로써 타인을 본인으로 오인식하는 비율이 감소될 수 있다. 다시 말해, 진입 컨디션(예를 들어, 제2 컨디션)을 통과한 경우에 한해서만 컴파운드 인증을 수행함으로써, 진입 컨디션(예를 들어, 제2 컨디션)을 사용하지 않는 경우에 비하여 높은 보안성을 유지할 수 있다. 또한, 제1 컨디션만을 이용하는 경우에 비하여 본인을 타인으로 오배제하는 비율이 낮아지므로 유저의 편의성이 향상된다.
도 4는 일 실시예에 따라 컴파운드 인증을 수행하는 장치의 블록도이다. 도 4를 참조하면, 일 실시예에 따른 인증 장치는 등록 데이터베이스(DB)(410), 매칭부(420), 진입 컨디션 판단부(430), 및 인증부(440)를 포함할 수 있다. 매칭부(420), 진입 컨디션 판단부(430), 및 인증부(440)의 동작은 예를 들어, 후술하는 도 15의 프로세서(1510)에 의해 수행될 수 있다.
등록 데이터베이스(410)는 마댈러티들 별 등록 양상 벡터들을 포함할 수 있다. 등록 데이터베이스(410)는 예를 들어, 마댈러티들 각각에 대응하여 마련될 수도 있고, 마댈러티들을 모두 포함하는 통합된 하나의 데이터베이스로 마련될 수도 있다.
매칭부(420)는 입력되는 제1 마댈러티(input 1) 및/또는 제2 마댈러티(input 2) 각각에 대응하는 마댈러티의 등록 양상 벡터를 등록 데이터베이스(410)로부터 실시간으로 호출할 수 있다.
매칭부(420)는 제1 마댈러티 및/또는 제2 마댈러티의 양상 벡터를 추출하고, 제1 마댈러티의 양상 벡터 및/또는 제2 마댈러티의 양상 벡터와 등록 데이터베이스(410)에 저장된 마댈러티들의 등록 양상 벡터들을 매칭시켜 양상 거리 또는 유사도 스코어를 산출할 수 있다. 매칭부(420)는 제1 마댈러티와 제2 마댈러티의 양상 벡터를 한번에 추출하지 않고, 인증부(440)에서의 인증 상황에 따라 제1 마댈러티의 양상 벡터를 추출한 후, 필요한 경우에 제2 마댈러티의 양상 벡터를 추출할 수 있다.
매칭부(420)는 매칭 결과에 따른 양상 거리 또는 유사도 스코어를 진입 컨디션 판단부(430) 및 인증부(440)로 전송할 수 있다.
예를 들어, 매칭부(420)로부터 수신한, 제1 마댈러티의 양상 벡터와 등록 양상 벡터 간의 양상 거리가 제1 컨디션을 만족하는 경우, 인증부(440)는 단독 인증이 성공한 것으로 판단하여 단독 인증 성공을 출력할 수 있다. 단독 인증이 성공하면, 인증 장치는 인증 성공(accept)를 출력할 수 있다. 제1 마댈러티의 양상 벡터와 등록 양상 벡터 간의 양상 거리가 제1 컨디션을 만족하지 않는 경우, 인증부(440)는 단독 인증이 실패한 것으로 판단하여 단독 인증 실패를 출력할 수 있다. 인증부(440)는 인증 결과를 진입 컨디션 판단부(430)로 전송할 수 있다.
진입 컨디션 판단부(430)는 매칭부(420)로부터 수신한 매칭 결과(예를 들어, 단독 인증 성공 또는 단독 인증 실패)를 기초로, 컴파운드 인증을 위한 진입 컨디션이 만족되었는지 여부를 판단할 수 있다. 매칭부(420)로부터 단독 인증 실패가 전송된 경우, 진입 컨디션 판단부(430)는 컴파운드 인증을 위한 진입 컨디션이 만족하는지 여부를 판단할 수 있다.
진입 컨디션 판단부(430)는 예를 들어, 단독 인증을 위한 제1 컨디션과 다른 제2 컨디션에 기초하여, 마댈러티들의 컴비네이션에 의한 컴파운드 인증을 수행할지 여부를 결정할 수 있다. 예를 들어, 매칭부(420)로부터 제1 마댈러티의 제1 양상 벡터 및 제2 마댈러티의 제2 양상 벡터 중 적어도 하나와 데이터베이스에 저장된 마댈러티들의 등록 양상 벡터 간의 양상 거리가 제2 컨디션을 만족함을 알리는 정보를 수신한 경우, 진입 컨디션 판단부(430)는 컴파운드 인증을 위한 진입 컨디션이 만족된 것으로 판단할 수 있다. 컴파운드 인증을 위한 진입 컨디션이 만족되는 것으로 판단되면, 진입 컨디션 판단부(430)는 인증부(440)에게 마댈러티들의 컴비네이션에 의한 컴파운드 인증을 수행하도록 요청할 수 있다. 컴파운드 인증을 위한 진입 컨디션이 만족되지 않은 것으로 판단되면, 인증 장치는 인증 실패(deny)를 출력할 수 있다.
인증부(440)는 제1 양상에 기초한 스코어 및 제2 양상에 기초한 스코어가 결합된 컨디션에 기초하여, 컴파운드 인증을 수행할 수 있다. 또는, 인증부(440)는 제1 양상 및 제2 양상을 퓨전(fusion)함으로써 제3 양상을 생성하고, 제3 양상에 기초하여, 컴파운드 인증을 수행할 수 있다. 인증부(440)는 컴파운드 인증의 수행 결과(예를 들어, 컴파운드 인증 성공 또는 컴파운드 인증 실패)를 출력할 수 있다. 인증 장치는, 컴파운드 인증이 성공하면 인증 성공을, 컴파운드 인증이 실패하면 인증 실패를 출력할 수 있다. 인증부(440)는 예를 들어, 도 5를 통해 후술하는 분류기(classifier)(500)에 의해 컴파운드 인증을 수행할 수 있다. 인증부(440)가 제3 양상을 이용하여 컴파운드 인증을 수행하는 과정은 아래의 도 5를 참조하여 구체적으로 설명한다.
도 5는 일 실시예에 따른 컴파운드 인증을 수행하는 분류기의 동작을 설명하기 위한 도면이다. 도 5를 참조하면, 제1 마댈러티의 제1 양상과 제2 마댈러티의 제2 양상을 퓨전한 제3 양상에 의해 컴파운드 인증을 수행하는 분류기(500)가 도시된다.
예를 들어, 홍채 영상의 16차원의 양상 벡터들과 얼굴 영상의 3차원의 양상 벡터들이 분류기(500)로 입력된다고 하자.
분류기(500)는 홍채 마댈러티의 16차원의 양상 벡터들과 얼굴 마댈러티의 3차원의 양상 벡터들을 퓨전하여 19차원의 양상 벡터를 생성할 수 있다. 이때, 홍채 마댈러티의 16차원의 양상 벡터들은 예를 들어, 홍채의 해밍 디스턴스(Hamming distance), 홍채의 비트 카운트(Bit count), 홍채의 반경(radius), 홍채의 모양과 색, 망막 모세 혈관의 형태소 등과 같은 양상들에 대응하는 양상 벡터일 수 있다. 또한, 얼굴 마댈러티의 3차원의 양상 벡터는 예를 들어, 전체 얼굴, 부분 얼굴과 같은 양상들에 대응하는 양상 벡터일 수 있다.
분류기(500)는 19차원의 양상 벡터들을 본인 또는 타인으로 구분되는 경계선(또는 기준값)과 비교함으로써 컴파운드 인증의 수락 또는 실패를 결정할 수 있다.
도 5의 좌측 아래에는 분류기(500)의 학습 페이즈(phase)를 나타낸 도면이 도시된다. 학습 페이즈를 나타낸 도면에 X 축은 홍채 영상의 16차원의 양상 공간을 나타내고, Y축은 얼굴 영상의 3차원의 양상 공간을 나타낸다. 설명의 편의를 위하여 3차원 양상 공간을 예를 들어 설명하였으나, 실시예에 따라 양상 공간은 각 차원 별로 개별적인 축이 존재하는 20차원의 양상 공간으로 확장될 수 있다.
학습 페이즈에 표시된 점들은 16차원의 양상 벡터들과 3차원의 양상 벡터들이 퓨전되어 생성된 19차원의 벡터들에 해당할 수 있다. 경계선(510)은 분류기(500)가 19차원의 벡터들에 의한 컴파운드 인증의 수락(accept) 또는 실패(fail)를 구분하도록 학습되는 파라미터에 해당할 수 있다. 분류기(500)는 예를 들어, 서포트 벡터 머신(Support Vector Machine; SVM)을 이용하여 양상 벡터들에 대한 파라미터(또는 가중치)를 학습할 수 있다. 이때, 분류기(500)에 학습되는 파라미터는 예를 들어, 인증 장치가 목표로 하는 오인식률의 수준에 따라 결정될 수 있다.
도 5의 우측 아래에는 분류기(500)의 인증 페이즈(phase)를 나타낸 도면이 도시된다. 인증 페이즈에서 경계선(530)은 분류기(500)의 파라미터에 해당할 수 있다. 라인(530)은 19차원의 양상 벡터를 2차원으로 간략화 하여 표현한 것에 해당할 수 있다. 퓨전된 19차원의 양상 벡터가 생성되면, 인증 장치는 경계선(530)을 기준으로 19차원의 입력들에 대한 컴파운드 인증을 수행할 수 있다. 인증 장치는 예를 들어, 경계선(530)을 기준으로 좌측에 위치하는 제1 입력(I1, F1)은 인증 수락으로, 또는 경계선(530)을 기준으로 우측에 위치하는 제2 입력(I2, F2)은 인증 실패로 결정할 수 있다.
*
도 6a는 일 실시예에 따른 컴파운드 인증을 수행하는 방법을 나타낸 흐름도이다. 도 6a를 참조하면, 제1 마댈러티인 홍채 데이터 및 제2 마댈러티인 얼굴 데이터에 대한 컴파운드 인증을 수행하는 과정이 도시된다.
일 실시예에 따른 인증 장치는 마댈러티의 양상 정보를 추출하는 단계(610), 및 단계(650)를 통해 컴파운드 인증을 수행할 수 있다. 또한, 인증 장치는 보안성 레벨을 기준으로 컴파운드 인증 수행 여부를 결정하는 단계(630)를 더 수행할 수 있다. 단계(630) 및 단계(650)는 실시예에 따라서, 순차적으로 수행될 수도 있고, 비순차적으로 수행될 수도 있다.
단계(610)에서, 홍채 데이터 및 얼굴 데이터가 입력되면, 인증 장치는 마댈러티들 각각에 대한 양상 벡터를 추출할 수 있다. 인증 장치는 추출된 양상 벡터들과 등록 데이터베이스(605)에 저장된 마댈러티 별 등록 양상 벡터들을 매칭시켜 홍채 스코어 또는 얼굴 스코어를 산출할 수 있다. 이때, 홍채 스코어 또는 얼굴 스코어는 마댈러티들 각각으로부터 추출된 양상 벡터와 등록 양상 벡터 간의 양상 거리 혹은 유사도 점수에 해당할 수 있다.
단계(650)에서, 인증 장치는 홍채 스코어 또는 얼굴 스코어가 단독 인증 컨디션을 만족하는지 여부를 판단할 수 있다. 단독 인증 컨디션을 만족하는 경우, 인증 장치는 인증을 수락할 수 있다.
인증 장치는 홍채 스코어 또는 얼굴 스코어가 단독 인증 컨디션을 만족하지 못하는 경우, 단계(630)에서 보안성 레벨을 기준으로 얼굴 스코어 또는/및 홍채 스코어가 미리 정해진 오인식률을 만족하는지 여부를 결정할 수 있다. 구체적으로, 얼굴 스코어가 단독으로 미리 정해진 오인식률을 만족하는지 여부, 홍채 스코어가 단독으로 미리 정해진 오인식률을 만족하는지 여부, 또는 얼굴 스코어와 홍채 스코어 모두가 미리 정해진 오인식률을 만족하는지 여부가 미리 정해진 오인식률을 만족하는지 판단하는데 이용될 수 있다.
미리 정해진 오인식률은 보안성 레벨에 따라서, 예를 들어, 얼굴 데이터의 인증을 위한 오인식률, 또는 홍채 데이터의 인증을 위한 오인식률로 결정될 수 있다. 단계(630)에서 (얼굴 스코어, 홍채 스코어)가 미리 정해진 오인식률을 만족하지 못하는 경우, 인증 장치는 새로운 홍채 데이터 및/또는 얼굴 데이터를 획득하여 도 6a에 도시된 컴파운드 인증 과정을 다시 수행할 수 있다.
단계(630)에서 (얼굴 스코어, 홍채 스코어)가 미리 정해진 오인식률을 만족하는 경우, 인증 장치는 단계(650)에서 홍채 스코어와 얼굴 스코어의 컴비네이션, 혹은 홍채 스코어와 얼굴 스코어를 퓨전한 퓨전 스코어가 컴파운드 인증 컨디션을 만족하는지 여부를 결정할 수 있다. 컴파운드 인증 컨디션이 만족되는 경우, 인증 장치는 인증을 수락할 수 있다.
컴파운드 인증 컨디션이 만족하지 못하는 경우, 인증 장치는 새로운 홍채 데이터 및 얼굴 데이터를 획득하여 도 6a에 도시된 컴파운드 인증 과정을 다시 수행할 수 있다.
도면에 도시하지 않았으나, 인증 장치는 단계(630) 또는 단계(650)에서 컨디션에 부합하지 않는 경우, 미리 정해진 횟수 또는 미리 정해진 시간을 카운트하여 인증에 실패하였다고 판단할 수 있다. 예를 들어, 인증 장치는 단계(630) 또는 단계(650)에서 컨디션에 부합하지 않는 경우, 인증에 실패한 횟수를 누적하여 저장한 뒤 컴파운드 인증 과정을 다시 수행할 수 있다. 인증 장치는 누적된 실패 횟수가 미리 정해진 임계치를 초과하는 경우 인증에 실패하였다고 판단할 수 있다. 또는, 인증 장치는 컴파운드 인증 과정에 소요되는 시간을 누적하여 저장한 뒤, 누적된 시간이 미리 정해진 임계치를 초과하는 경우 인증에 실패하였다고 판단할 수 있다. 인증 장치는 단계(630) 또는 단계(650)에서 컨디션에 부합하지 않는 경우, 누적된 시간이 미리 정해진 임계치를 초과하였는지 여부를 판단할 수 있다. 인증 장치는 인증에 실패하였다는 판단에 따라, 유저에게 인증 실패를 지시하는 피드백을 제공할 수 있다.
도 6b는 일 실시예에 따른 컴파운드 인증을 수행하는 방법을 나타낸 흐름도이다. 도 6b를 참조하면, 인증 장치는 단계(610)에서 마댈러티의 양상 정보를 추출한다. 인증 장치는 단계(690)에서 단독 인증과 컴파운드 인증을 순차적으로 수행한다. 예를 들어, 인증 장치는 얼굴 단독 인증을 1차적으로 수행하고, 홍채 단독 인증을 2차적으로 수행하며, 얼굴과 홍채의 컴파운드 인증을 3차적으로 수행한다. 인증 장치는 각 단계에서 단독 인증 혹은 컴파운드 인증에 성공하는 경우, 후순위 인증은 수행하지 않고 최종적으로 인증에 성공하였다고 판단한다.
인증 장치는 얼굴 단독 인증과 홍채 단독 인증에 실패하는 경우, 컴파운드 인증을 수행하기에 앞서 컴파운드 인증을 수행할지 여부에 대한 진입 컨디션을 판단할 수 있다.
인증 장치는 진입 컨디션 혹은 컴파운드 인증을 위한 컨디션이 만족되지 않는 경우 새로운 입력 데이터에 기초하여 전술한 인증 과정을 반복할 수 있다. 인증 장치는 미리 정해진 횟수 또는 미리 정해진 시간이 경과할 때까지 인증에 성공하지 못하는 경우, 최종적으로 인증에 실패하였다고 판단할 수 있다.
도 7은 일 실시예에 따른 컴파운드 인증을 수행하는 방법을 나타낸 흐름도이다. 도 7을 참조하면, 유저의 편의성을 향상시키는 동시에 보안성을 강화할 수 있는 컴파운드 인증 과정이 도시된다.
도 6a의 단계(610) 내지 단계(650)가 마댈러티들의 어느 하나의 컴비네이션(예를 들어, 얼굴 마댈러티와 홍채 마댈러티의 컴비네이션)에 대응하는 양상들(또는 양상 벡터들)이 컴파운드 인증으로의 진입을 위한 컨디션을 만족하는지 여부 및 퓨전된 양상 벡터들의 컴파운드 인증(의 수락)을 위한 컨디션을 만족하는지 여부를 판단하는 것과 달리, 도 7에서 도시된 단계(710) 내지 단계(750)의 과정은 마댈러티들의 다양한 컴비네이션들에 대하여 combi 컨디션 및 f(combi) 컨디션의 만족 여부를 판단한다는 점에 차이가 있다. 이하 설명의 편의를 위하여, 컴파운드 인증으로의 진입을 위한 컨디션은 'combi 컨디션'으로, 퓨전된 양상 벡터들의 컴파운드 인증(의 수락)을 위한 컨디션은 'f(combi) 컨디션'으로 표기하기로 한다. combi 컨디션 및/또는 f(combi) 컨디션은 해당 마댈러티들의 컴비네이션 별로 상이하게 결정될 수 있다.
도 7에서 마댈러티들의 각 컴비네이션을 통한 컴파운드 인증의 보안성 레벨이 매우 높거나, 또는 컴파운드 인증에서 요구하는 보안성 레벨이 높지 않을 경우, 다양한 인증 방법들에 대한 컨디션 판단은 마댈러티들의 컴비네이션 별로 추가 또는 생략할 수 있다.
여러 마댈러티들의 데이터들이 입력되는 경우, 인증 장치는 마댈러티들의 다양한 컴비네이션들에 의해 인증을 수행할 수 있다. 인증 장치는 예를 들어, N개의 마댈러티들 중 1개 이상의 마댈러티 컴비네이션으로 구성된 M개의 인증 방법을 통해 컴파운드 인증을 수행할 수 있다. M은 단독 인증 또는 컴파운드 인증에 의한 인증 방법의 가지 수를 나타낼 수 있다.
다만, 각 마댈러티 컴비네이션에 의한 컴파운드 인증을 수행하기에 앞서, 인증 장치는 컴파운드 인증을 수행할지 여부를 각 마댈러티 별 스코어(s 1 , s 2 , ??, s N)가 f(combi) 컨디션 및/또는 combi 컨디션을 만족하는지 여부를 통해 결정할 수 있다. f(combi) 컨디션 및/또는 combi 컨디션은 예를 들어, 미리 정해진 스코어 이상, 이하, 미만, 초과 또는 그들의 컴비네이션의 형태일 수 있다. 이때, 각 마댈러티 별 스코어(s 1 , s 2 , ??, s N)는 각 마댈러티에 대응하는 양상 벡터와 등록 데이터베이스(705)에 저장된 마댈러티 별 등록 양상 벡터들 간의 양상 거리 또는 유사도 스코어에 해당할 수 있다. 이러한 마댈러티 별 스코어에 대한 컨디션은 컴파운드 인증으로의 진입 여부를 판단하는 진입 컨디션으로 사용될 수 있다.
인증 장치는 컴파운드 인증을 위한 N 개의 마댈러티 별 스코어들이 모두 입력이 완료되었을 때 인증을 수행하는 것이 아니라, 마댈러티 별 스코어 각각이 입력됨에 따라 해당 마댈러티 컴비네이션 별로 컴파운드 인증을 수행할 수 있다. 인증 장치는 이러한 컴파운드 인증으로의 진입 여부를 결정 짓는 기준을 보안성이 좋은 마댈러티에 의해 결정할 수 있다.
인증 장치는 단계(750)에서 각 마댈러티 별 스코어(s 1 , s 2 , ??, s N)를 기초로, 제1 번째 마댈러티들의 컴비네이션의 퓨전된 스코어가 f1(combi1) 컨디션을 만족하는지 여부를 판단할 수 있다. 이때 제1 번째 마댈러티들의 컴비네이션은 하나의 마댈러티에 해당할 수도 있고, 둘 이상의 마댈러티들의 컴비네이션에 해당할 수도 있다. 또한, f1(combi1) 컨디션은 제1 번째 마댈러티들의 컴비네이션이 하나의 마댈러티로 구성된 경우, 단독 인증 컨디션에 해당하고, 제1 번째 마댈러티들의 컴비네이션이 둘 이상의 마댈러티들의 컴비네이션으로 구성된 경우, 컴파운드 인증 컨디션에 해당할 수 있다.
인증 장치는 제1 번째 마댈러티들 컴비네이션의 퓨전된 스코어가 f1(combi1) 컨디션을 만족하지 않는 경우, 제2 번째 마댈러티들의 컴비네이션에 대응하는 스코어들이 combi2 컨디션을 만족하는지 여부 및/또는 제2 번째 마댈러티들의 컴비네이션에 대응하는 퓨전된 양상 벡터들이 f2(combi2) 컨디션을 만족하는지 여부를 판단할 수 있다. 전술한 바와 같이, 컴파운드 인증의 보안성 레벨에 따라 다양한 인증 방법들에 대하여 combi 컨디션 및 f(combi) 컨디션을 판단하는 과정은 마댈러티들의 컴비네이션 별로 추가될 수 있다. 또한, 컴파운드 인증의 보안성 레벨이 낮거나 또는 편의성에 대한 요구가 높은 경우에도, 다양한 인증 방법들에 대하여 combi 컨디션 및 f(combi) 컨디션을 판단하는 과정은 마댈러티들의 컴비네이션 별로 추가되거나 생략될 수 있다.
도 8은 일 실시예에 따른 컴파운드 인증을 수행하는 방법을 나타낸 흐름도이다. 도 8을 참조하면, 일 실시예에 따른 인증 장치는 제1 마댈러티의 제1 양상 및 제2 마댈러티의 제2 양상 중 적어도 하나에 기초하여, 컴파운드 인증의 수행 여부를 결정한다(810). 인증 장치는 예를 들어, 제1 양상이 단독 인증을 위한 제1 컨디션을 만족하는지 판단할 수 있다. 제1 양상이 제1 컨디션을 만족하지 않는 경우, 인증 장치는 제1 양상 및 제2 양상 중 적어도 하나가 제1 컨디션과 다른 제2 컨디션을 만족하는지 여부를 결정할 수 있다. 제2 컨디션을 만족하는 경우, 인증 장치는 제1 마댈러티 및 제2 마댈러티들의 컴비네이션에 의한 컴파운드 인증을 수행하기로 결정할 수 있다. 제2 컨디션은 예를 들어, 제1 마댈러티 또는 제2 마댈러티의 오인식률(FAR)에 기초하여 결정될 수 있다.
인증 장치는 컴파운드 인증의 수행 여부에 따라, 제1 양상 및 제2 양상을 복합함으로써 제3 양상을 생성한다(820).
인증 장치는 제3 양상에 기초하여, 컴파운드 인증을 수행한다(830). 제3 양상이 컴파운드 인증을 위한 제3 컨디션을 만족하는 경우, 인증 장치는 컴파운드 인증을 수행할 수 있다.
도 9는 일 실시예에 따른 컴파운드 인증을 수행하는 방법을 나타낸 흐름도이다. 도 9를 참조하면, 일 실시예에 따른 인증 장치는 마댈러티들의 제1 컴비네이션에 대응하는 제1 진입 컨디션의 만족 여부를 판단한다(910). 인증 장치는 예를 들어, 마댈러티들의 제1 컴비네이션이 단독 인증을 위한 제1 컨디션과 다른 제2 컨디션을 만족하는지 여부에 기초하여 제1 진입 컨디션의 만족 여부를 판단할 수 있다. 마댈러티의 제1 컴비네이션은 제1 마댈러티 및 제1 마댈러티와 상이한 제2 마댈러티를 포함할 수 있다. 인증 장치는 제1 마댈러티의 제1 양상 및 제2 마댈러티의 제2 양상 중 적어도 하나가 제2 컨디션을 만족하는지 여부를 결정할 수 있다. 제1 양상 및 제2 양상 중 적어도 하나가 제2 컨디션을 만족하는 경우, 인증 장치는 제1 진입 컨디션을 만족하는 것으로 판단할 수 있다.
인증 장치는 제1 진입 컨디션의 만족 여부에 따라, 제1 컴비네이션에 의한 인증을 수행한다(920).
인증 장치는 제1 컴비네이션에 의한 인증이 실패한 경우, 마댈러티들의 제2 컴비네이션에 대응하는 제2 진입 컨디션의 만족 여부를 판단한다(930). 이때, 제1 진입 컨디션과 제2 진입 컨디션은 마댈러티들의 컴비네이션 별로 상이하게 결정될 수 있다.
인증 장치는 제2 진입 컨디션의 만족 여부에 따라, 제2 컴비네이션에 의한 인증을 수행한다(940).
도 10은 일 실시예에 따른 컴파운드 인증을 수행하는 방법을 나타낸 흐름도이다. 도 10을 참조하면, 일 실시예에 따른 컴파운드 인증 과정이 도시된다. 도 10의 단계(1010) 내지 단계(1050)는 도 7의 단계(710) 내지 단계(750)와 유사하므로 이하에서는 도 7과 상이한 동작에 대하여만 설명한다.
여러 마댈러티들의 데이터가 입력되는 경우, 인증 장치는 도 7과 달리, 단계(1030)에서 각 마댈러티 별 스코어들(s 1 , s 2 , ?? , s N)을 기초로, 제1 번째 마댈러티들의 컴비네이션이 combi1 컨디션을 만족하는지 여부를 결정할 수 있다. 제1 번째 마댈러티들의 컴비네이션이 combi1 컨디션을 만족하지 못하는 경우, 인증 장치는 제2 번째 마댈러티들의 컴비네이션이 combi2 컨디션을 만족하는지 여부를 판단할 수 있다. 마댈러티들의 컴비네이션들 각각이 combi 컨디션을 만족하지 못하는 경우, 인증 장치는 combi 컨디션을 만족할 때까지 새로운 마댈러티들의 컴비네이션과 combi 컨디션과의 비교를 진행할 수 있다.
예를 들어, 단계(1030)에서 combiI 컨디션 = (M1, M2, M3)인 경우, combiI 컴비네이션에 대응하는 진입 컨디션은 예를 들어, M1 컨디션, M2컨디션, M3 컨디션, 또는 이들의 다양한 컴비네이션에 의해 결정될 수 있다.
제1 번째 마댈러티들의 컴비네이션이 combi1 컨디션을 만족하는 경우, 인증 장치는 단계(1050)에서 제1 번째 마댈러티들의 컴비네이션의 퓨전된 스코어가 f(combi1) 컨디션을 만족하는지를 판단할 수 있다. 이때, 마댈러티 별 스코어는 컴파운드 인증으로의 진입 여부를 판단하는 데에 이용될 수 있다. 제1 번째 마댈러티들의 컴비네이션의 퓨전된 스코어가 f(combi1) 컨디션을 만족하지 못하는 경우, 인증 장치는 제2 번째 마댈러티들의 컴비네이션이 combi2 컨디션을 만족하는지 여부를 판단할 수 있다. 제1 번째 마댈러티들의 컴비네이션의 퓨전된 스코어가 f(combi1) 컨디션을 만족하는 경우, 인증 장치는 컴파운드 인증을 수락할 수 있다.
도 11은 일 실시예에 따른 컴파운드 인증을 수행하는 방법을 나타낸 흐름도이다. 도 11을 참조하면, 적외선 영상과 칼라 얼굴 영상이 입력된 경우에 이를 이용하여 컴파운드 인증을 수행하는 과정이 도시된다. 설명의 편의를 위하여 칼라 영상을 이용하는 어플리케이션을 설명하지만, 실시예들은 이러한 시나리오에 한정되지 않으며 흑백 영상이나 깊이 영상(또는, 3D 영상)을 이용하는 어플리케이션 등에도 실질적으로 동일하게 적용될 수 있다.
일 실시예에 따른 인증 장치는 단계(1110)에서의 양상 추출 과정을 통해 적외선 영상을 통해 획득되는 홍채 마댈러티의 복수의 양상들(양상 벡터들) 및 칼라 얼굴 영상을 통해 획득되는 얼굴 마댈러티에 대응하는 복수의 양상들(양상 벡터들)과 등록 데이터베이스에 등록된 마댈러티 별 등록 양상 벡터와의 매칭을 수행할 수 있다. 인증 장치는 단계(1110)를 통해 홍채 마댈러티의 복수의 양상들에 대응하는 스코어들(i1, i2, .. , iN)과 얼굴 마댈러티의 복수의 양상에 대응하는 스코어들(f1, f2, .. , fO)을 산출할 수 있다. 이때, 홍채 마댈러티의 복수의 양상들은 예를 들어, 홍채의 해밍 디스턴스(Hamming distance), 홍채의 비트 카운트(Bit count), 홍채의 반경(radius), 홍채의 모양과 색, 망막 모세 혈관의 형태소 등을 포함할 수 있다. 또한, 얼굴 마댈러티에 대응하는 복수의 양상들은 부분 얼굴, 전체 얼굴 등을 포함할 수 있다.
단계(1130)에서 인증 장치는 각 마댈러티 별 스코어들(i1, i2, .. , iN, f1, f2, .. , fO)을 기초로, 제1 번째 마댈러티들의 컴비네이션이 combi1 컨디션을 만족하는지 여부를 결정할 수 있다. 제1 번째 마댈러티들의 컴비네이션은 예를 들어, 홍채의 해밍 디스턴스와 부분 얼굴의 컴비네이션일 수 있다. 제1 번째 마댈러티들의 컴비네이션이 combi1 컨디션을 만족하지 못하는 경우, 인증 장치는 새로운 제2 번째 마댈러티들의 컴비네이션이 combi2 컨디션을 만족하는지 여부를 판단할 수 있다. 제2 번째 마댈러티들의 컴비네이션은 예를 들어, 망막 모세 혈관의 형태소와 전체 얼굴의 컴비네이션일 수 있다.
제2 번째 마댈러티들의 컴비네이션이 combi2 컨디션을 만족하는 경우, 인증 장치는 제2 번째 마댈러티들의 컴비네이션의 퓨전된 스코어가 f2(combi2) 컨디션을 만족하는지를 판단할 수 있다. 제2 번째 마댈러티들의 컴비네이션의 퓨전된 스코어가 f2(combi2) 컨디션을 만족하는 경우, 인증 장치는 제2 번째 마댈러티들의 컴비네이션에 의한 컴파운드 인증을 수락할 수 있다.
실시예에 따라서, 인증 장치는 combi 컨디션이 항상 true가 되도록 구성하거나 false가 되도록 구성할 수도 있다. 예를 들어, 인증 장치는 얼굴 마댈러티에 대응하는 스코어들 중 얼굴 스코어 f1에 해당하는 combi1 컨디션이 항상 true가 되도록 구성함으로써 combi1 컨디션의 만족 여부와는 무관하게 항상 얼굴 스코어의 단독 인증이 수행되도록 할 수 있다. 또는, 실시예에 따라 인증 장치는 얼굴 스코어 f1에 해당하는 combi1 컨디션이 항상 false가 되도록 구성함으로써 combi1 컨디션의 만족 여부와는 무관하게 항상 얼굴 스코어의 단독 인증은 스킵(skip)되도록 할 수도 있다.
또한, 일 실시예에 따른 인증 장치는 이상 전술한 실시예들 이외에도 combi 컨디션 및 f(combi) 컨디션을 다양하게 컴비네이션함으로써 유저의 편의성과 보안성을 함께 고려하는 인증을 수행할 수 있다. 예를 들어, f(combi) 컨디션들은 개별 양상에 기반한 단독 인증(들) 및 복수의 양상들을 컴비네이션한 컴파운드 인증(들)을 미리 정해진 순서에 따라 수행하도록 설정될 수 있다. 각 f(combi) 컨디션에 대응하는 combi 컨디션은 f(combi) 컨디션을 위하여 이용되는 단독 인증 컨디션과 다른 컨디션에 기초하여 설정될 수 있으며, 경우에 따라 combi 컨디션은 항상 true 또는 false가 되도록 구성될 수도 있다.
도 12는 일 실시예에 따른 유저 인터페이스를 설명하는 도면이다. 도 12를 참조하면, 유저가 생체 인증을 이용하는 경우에 스마트 폰의 잠금 화면에서 잠금해제를 위하여 사용되는 마댈러티의 유형이 표시될 수 있다. 예를 들어, 잠금해제를 위하여 사용되는 마댈러티가 얼굴 마댈러티인 경우, 제1 화면(1210)과 같이 얼굴 아이콘이 잠금 화면에 표시될 수 있다. 또는, 잠금해제를 위하여 사용되는 마댈러티가 홍채 마댈러티인 경우, 제2 화면(1230)과 같이 홍채 아이콘이 잠금 화면에 표시될 수 있다. 또는, 잠금해제를 위하여 사용되는 마댈러티가 얼굴 마댈러티와 홍채 마댈러티의 컴비네이션인 경우, 제1 화면(1210)의 얼굴 아이콘과 제2 화면(1230)의 홍채 아이콘이 교대로 잠금 화면에 표시될 수 있다.
일 실시예에 따르면, 얼굴 영상의 입력을 위한 제1 프리뷰 화면과 홍채 영상의 입력을 위한 제2 프리뷰 화면이 선택적으로 더 표시될 수 있다. 제1 프리뷰 화면의 표시 여부와 제2 프리뷰 화면의 표시 여부는 다양하게 설정될 수 있다. 예를 들어, 얼굴 마댈러티의 단독 인증을 사용하는 경우 제1 프리뷰 화면은 표시되지 않으나, 홍채 마댈러티의 단독 인증을 사용하는 경우 제2 프리뷰 화면은 표시될 수 있다. 또한, 얼굴 마댈러티와 홍채 마댈러티의 컴파운드 인증을 사용하는 경우, 제1 프리뷰 화면과 제2 프리뷰 화면은 모두 표시되지 않을 수 있다.
도 12에서 얼굴 마댈러티와 홍채 마댈러티를 예를 들어 설명하였으나, 실시예들은 지문 마댈러티 등 다른 마댈러티를 이용하는 경우로 변형되거나 확장될 수 있다
도 13a와 도 13b는 일 실시예에 따른 생체 정보 등록 과정을 설명하는 도면들이다. 도 13a를 참조하면, 유저는 스마트 폰에 부착된 이미지 센서를 이용하여 얼굴 영상을 등록할 수 있다(1310). 또한, 유저는 스마트 폰에 부착된 적외선 센서를 이용하여 홍채 영상을 등록할 수 있다(1330). 안경을 쓴 유저는 홍채 영상 등록을 위하여 안경을 벗을 수 있다.
일 실시예에 따르면, 특정 어플리케이션이나 기능을 위한 인증에 사용되는 마댈러티의 유형을 유저로부터 선택 받을 수 있다. 예를 들어, 유저는 스마트 폰의 설정에서 잠금해제를 위하여 사용되는 마댈러티의 유형을 변경할 수 있다.
도 13b를 참조하면, 생체 정보를 통한 인증 시 이용되는 마댈러티의 유형을 선택하는 화면이 도시된다. 예를 들어, 선택 옵션들은 얼굴 마댈러티를 이용한 단독 인증에 해당하는 제1 옵션(1370), 홍채 마댈러티를 이용한 단독 인증에 해당하는 제2 옵션(1390), 및 얼굴 마댈러티와 홍채 마댈러티를 컴비네이션한 컴파운드 인증에 해당하는 제3 옵션(1350) 등을 포함할 수 있다. 제1 옵션(1370)이 선택되면 생체 인증을 위하여 얼굴 마댈러티가 이용되고, 제2 옵션(1390)이 선택되면 생체 인증을 위하여 홍채 마댈러티가 이용되며, 제3 옵션(1350)이 선택되면 생체 인증을 위하여 얼굴 마댈러티와 홍채 마댈러티가 함께 이용될 수 있다. 제1 옵션(1370), 제2 옵션(1390), 및 제3 옵션(1350)은 서로 배타적으로 선택될 수 있다. 예를 들어, 어느 하나의 옵션이 선택되면, 기존에 선택되었던 옵션은 자동으로 해제될 수 있다.
또한, 실시예에 따라, 컴파운드 인증에 해당하는 제3 옵션(1350)은 별도로 표시되지 않을 수 있다. 이 경우 제1 옵션(1370)과 제2 옵션(1390)은 서로 동시에 선택될 수 있다. 만약 제1 옵션(1370)과 제2 옵션(1390)이 동시에 선택되는 경우, 생체 인증을 위하여 얼굴 마댈러티와 홍채 마댈러티를 컴비네이션한 컴파운드 인증이 수행될 수 있다.
도 13b에서 생체 인증을 위하여 얼굴 마댈러티와 홍채 마댈러티를 이용하는 경우를 설명하였으나, 실시예들은 이러한 예시로 제한되지 않으며, 다른 마댈러티를 이용하거나 셋 이상의 마댈러티들을 이용하도록 변형될 수 있다.
마댈러티의 유형이 설정되면, 인증 장치는 해당하는 유형의 마댈러티의 등록 데이터가 저장되어 있는지 여부를 확인할 수 있다. 해당하는 유형의 마댈러티의 등록 데이터가 저장되어 있는 경우, 인증 장치는 추가적인 등록 과정 없이 바로 인증을 위한 마댈러티의 유형을 변경할 수 있다. 만약 해당하는 유형의 마댈러티의 등록 데이터가 저장되어 있지 않다면, 인증 장치는 추가적으로 해당하는 유형의 마댈러티의 등록 데이터를 입력 받을 수 있다.
일 예로, 기 저장된 등록 데이터가 없는 상황에서 얼굴 마댈러티와 홍채 마댈러티의 컴파운드 인증이 설정될 수 있다. 이 경우, 인증 장치는 얼굴 영상과 홍채 영상을 획득하여 얼굴 마댈러티의 등록 데이터와 홍채 마댈러티의 등록 데이터를 저장할 수 있다.
다른 예로, 얼굴 마댈러티의 등록 데이터만 저장된 상황에서 얼굴 마댈러티와 홍채 마댈러티의 컴파운드 인증이 설정될 수 있다. 이 경우, 인증 장치는 홍채 영상만 획득하여 홍채 마댈러티의 등록 데이터를 추가적으로 저장할 수 있다.
만약 유저가 컴파운드 인증으로부터 홍채 마댈러티의 단독 인증으로 설정을 변경하는 경우, 인증 장치는 홍채 마댈러티의 등록 데이터가 저장되어 있는지 여부를 판단한다. 이 경우, 홍채 마댈러티의 등록 데이터는 저장되어 있으므로, 인증 장치는 추가적인 등록 과정 없이 홍채 마댈러티의 단독 인증을 사용하도록 설정을 변경할 수 있다.
일 실시예에 따르면, 각 마댈러티 별로 등록 데이터가 관리될 수 있다. 예를 들어, 유저는 기 저장된 등록 데이터 중 특정 마댈러티의 등록 데이터를 선택적으로 삭제할 수 있다. 이 경우, 인증 장치는 현재 설정된 인증 유형과 남아있는 등록 데이터에 기초하여, 인증 유형을 변경할 수 있다. 예를 들어, 얼굴 마댈러티의 등록 데이터와 홍채 마댈러티의 등록 데이터가 저장되어 있고, 현재 설정된 인증 유형이 컴파운드 인증일 수 있다. 만약 홍채 마댈러티의 등록 데이터가 삭제되면, 인증 장치는 인증 유형을 얼굴 마댈러티의 단독 인증으로 변경할 수 있다. 또한, 생체 마댈러티의 등록 데이터가 모두 삭제되면, 생체 인증이 아닌 패턴 또는 비밀번호와 같은 다른 수단을 통해 인증이 수행되는 방식으로 인증 유형이 변경될 수 있다.
전술한 실시예들은 스마트 폰 이외의 장치에도 적용 가능하며, 얼굴 마댈러티 및/또는 홍채 마댈러티 이외의 다른 마댈러티들에도 적용 가능하다.
도 14는 일 실시예에 따른 서로 다른 마댈러티 간 상관 관계를 활용하여 컴파운드 인증을 수행하는 동작을 설명하는 도면이다. 인증 장치는 제1 마댈러티를 위한 제1 영상과 제2 마댈러티를 위한 제2 영상을 획득하는 과정에서, 제1 영상과 제2 영상 사이의 상관관계를 활용할 수 있다.
예를 들어, 제1 마댈러티가 얼굴 마댈러티고 제2 마댈러티가 홍채 마댈러티인 경우, 제1 영상 내 눈 영역은 제2 영상과 상관관계가 높을 것을 기대할 수 있다. 이 경우, 인증 장치는 제1 영상을 이용한 단독 인증에 실패하는 경우, 제2 영상을 이용한 단독 인증이나 컴파운드 인증을 수행하기에 앞서 제1 영상 내 눈 영역이 검출되는지 여부를 판단할 수 있다. 보다 구체적으로, 제1 영상을 위한 이미지 센서의 화각이 제2 영상을 위한 적외선 센서의 화각보다 클 수 있다. 이 경우, 만약 제1 영상에서 눈 영역이 검출되지 않는다면 제2 영상에 홍채 정보가 포함되지 않을 확률이 높다. 제2 영상에 홍채 정보가 포함되지 않는 경우, 제2 영상을 이용한 단독 인증이나 컴파운드 인증을 수행할 수 없으므로, 인증 장치는 제2 영상을 획득하는 대신 제1 영상을 다시 획득함으로써 제1 영상을 이용한 단독 인증을 재 시도할 수 있다.
도 14는 제1 영상으로서 컬러 영상(1410), 제2 영상으로서 적외선 영상(1420)인 경우를 주로 설명하나, 이로 한정하는 것은 아니다. 제1 영상이 적외선 영상, 제2 영상이 컬러 영상일 수도 있고, 제1 영상 및 제2 영상은 둘 다 적외선 영상이거나 둘 다 컬러 영상일 수도 있다. 이 밖에, 제1 영상이 깊이 영상이고, 제2 영상이 컬러 영상일 수도 있다. 다시 말해, 제1 영상이 컬러 영상, 적외선 영상, 및 깊이 영상 중 하나일 수 있고, 제2 영상도 컬러 영상, 적외선 영상, 및 깊이 영상 중 하나일 수 있다.
일 실시예에 따르면, 인증 장치는 제1 영상으로서 컬러 영상(1410)을 획득할 수 있다. 인증 장치의 제1 영상 센서는 도 14에 도시된 바와 같이 객체로서 사람의 얼굴을 촬영하여 컬러 영상(1410)을 생성할 수 있다.
컬러 영상(1410)을 이용한 단독 인증에 실패하는 경우, 인증 장치는 컬러 영상(1410)에 대해 객체의 랜드마크 지점을 식별할 수 있다. 예를 들어, 인증 장치는 객체 모델에 기초하여 컬러 영상(1410)으로부터 사람의 얼굴 양상점을 추출할 수 있다. 일 실시예에 따르면 인증 장치는 미리 정한 영역(1411) 내에서 랜드마크 지점이 식별되었는지 확인(check)할 수 있다. 랜드마크 지점은 도 14에서 점(dot)으로 표현될 수 있다. 컬러 영상(1410) 내의 미리 정한 영역(1411)은 적외선 영상(1420)의 시야각에 대응하는 영역일 수 있다. 컬러 영상(1410) 내의 미리 정한 영역(1411)에서 랜드마크가 검출되지 않는 경우, 인증 장치는 적외선 영상(1420)에 홍채 정보가 포함되지 않을 것으로 예측할 수 있다.
도 15는 일 실시예에 따른 컴파운드 인증을 수행하는 장치의 블록도이다. 도 15를 참조하면, 일 실시예에 따른 인증 장치(1500)는 프로세서(1510)를 포함한다. 인증 장치(1500)는 메모리(1530), 통신 인터페이스(1550), 및 센서들(1570)을 더 포함할 수 있다. 프로세서(1510), 메모리(1530), 통신 인터페이스(1550), 및 센서들(1570)은 통신 버스(1505)를 통해 서로 통신할 수 있다.
프로세서(1510)는 마댈러티들 중 제1 마댈러티에 기초하여 단독 인증을 수행한다. 프로세서(1510)는 단독 인증이 실패한 경우, 단독 인증을 위한 제1 컨디션과 다른 제2 컨디션에 기초하여, 마댈러티들의 컴비네이션에 의한 컴파운드 인증을 수행할지 여부를 결정한다. 프로세서(1510)는 컴파운드 인증의 수행 여부의 결정에 따라, 컴파운드 인증을 수행한다.
메모리(1530)는 마댈러티 별 양상 벡터들을 포함하는 등록 데이터베이스를 포함할 수 있다. 등록 데이터베이스는 예를 들어, 등록 데이터베이스(410)에 해당할 수 있다. 메모리(1530)는 휘발성 메모리 또는 비 휘발성 메모리일 수 있다.
통신 인터페이스(1550)는 단독 인증 결과 및/또는 컴파운드 인증의 수행 결과를 인증 장치(1500)의 디스플레이 장치(미도시) 또는 인증 장치(1500)의 외부로 출력할 수 있다. 통신 인터페이스(1550)는 인증 장치(1500)의 외부로부터 적어도 하나의 마댈러티를 수신하거나, 또는 유저로부터 마댈러티가 수집된 환경에 대한 정보를 수신할 수 있다.
센서들(1570)은 예를 들어, 이미지 센서, 적외선 센서, 지문 인식 센서, 음성 인식 센서 등을 포함할 수 있다. 센서들은 다양한 마댈러티들을 수집할 수 있다.
실시예에 따라서, 프로세서(1510)는 제1 마댈러티의 제1 양상 및 제2 마댈러티의 제2 양상 중 적어도 하나에 기초하여, 컴파운드 인증의 수행 여부를 결정한다. 프로세서(1510)는 컴파운드 인증의 수행 여부에 따라, 제1 양상 및 제2 양상을 복합함으로써 제3 양상을 생성하고, 제3 양상에 기초하여 컴파운드 인증을 수행한다.
또는 프로세서(1510)는 마댈러티들의 제1 컴비네이션에 대응하는 제1 진입 컨디션의 만족 여부를 판단하고, 제1 진입 컨디션의 만족 여부에 따라, 제1 컴비네이션에 의한 인증을 수행한다. 프로세서(1510)는 제1 컴비네이션에 의한 인증이 실패한 경우, 마댈러티들의 제2 컴비네이션에 대응하는 제2 진입 컨디션의 만족 여부를 판단하고, 제2 진입 컨디션의 만족 여부에 따라 제2 컴비네이션에 의한 인증을 수행한다.
이 밖에도, 프로세서(1510)는 도 1 내지 도 11을 통해 전술한 적어도 하나의 방법 또는 적어도 하나의 방법에 대응되는 알고리즘을 수행할 수 있다. 프로세서(1510)는 프로그램을 실행하고, 인증 장치(1500)를 제어할 수 있다. 프로세서(1510)에 의하여 실행되는 프로그램 코드는 메모리(1230)에 저장될 수 있다. 인증 장치(1500)는 입출력 장치(미도시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다. 인증 장치(1500)는 스마트 텔레비전, 스마트 폰, 스마트 자동차 및 등 다양한 전자 시스템들을 포함할 수 있다.
한편, 본 발명은 누름 감지 장치(1100)를 더 포함할 수 있다. 누름 감지 장치(1100)는 제 1 플레이트들(1110), 제 2 플레이트들(1120) 및 제 3 플레이트(1130)를 내부에 포함할 수 있다. 제 1 플레이트들(1110)는 일정 간격으로 배열되고 종단에서 상호 연결되고 전류가 흐르며, 제 2 플레이트들(1120)은 일정 간격으로 배열되며, 제 1 플레이트들 사이에 위치되고 종단에서 상호 연결되며 전류가 흐른다. 제 3 플레이트(1130)는 전류가 흐르는 탄성체로 이루어지고, 제 1 플레이트들과 제 2 플레이트들의 상부에 위치된다. 제3 플레이트(1130)가 눌려 탄성 변형되면서 제 1 플레이트들(1110)과 제 2 플레이트들(1120) 사이의 저항이 변하게 된다. 이러한 저항 변화에 의해 누름을 감지할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 컴비네이션으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 컴비네이션을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 컴비네이션하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 컴비네이션되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (8)

  1. 제1 마댈러티의 제1 양상 및 제2 마댈러티의 제2 양상 중 적어도 하나에 기초하여, 컴파운드 인증의 수행 여부를 결정하는 단계;
    상기 컴파운드 인증의 수행 여부에 따라, 상기 제1 양상 및 상기 제2 양상에 기초하여, 컴파운드 인증을 수행하는 단계; 및
    상기 컴파운드 인증의 정확도를 검증하는 단계를 포함하는 것을 특징으로 하는 컴파운드 인증을 수행하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 컴파운드 인증의 수행 여부를 결정하는 단계는
    상기 제1 양상, 상기 제2 양상, 또는 상기 제1 양상 및 상기 제2 양상의 컴비네이션이 단독 인증을 위한 제1 컨디션과 다른 제2 컨디션을 만족하는지 여부를 결정하는 단계; 및
    상기 제2 컨디션을 만족하는 경우, 상기 제1 마댈러티 및 상기 제2 마댈러티의 컴비네이션에 의한 컴파운드 인증을 수행하기로 결정하는 단계를 포함하는 것을 특징으로 하는 컴파운드 인증을 수행하는 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 제2 컨디션은
    상기 제1 마댈러티의 제1 오인식률(FAR), 상기 제2 마댈러티의 제2 오인식률, 또는 상기 제1 오인식률 및 상기 제2 오인식률의 컴비네이션에 기초하여 결정되는. 컴파운드 인증을 수행하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 컴파운드 인증을 수행하는 단계는
    상기 제1 양상 및 상기 제2 양상을 복합함으로써 제3 양상을 생성하는 단계; 및
    상기 제3 양상에 기초하여, 상기 컴파운드 인증을 수행하는 단계를 포함하는 것을 특징으로 하는 컴파운드 인증을 수행하는 것을 특징으로 하는 방법.
  5. 제4항에 있어서,
    상기 컴파운드 인증을 수행하는 단계는
    상기 제3 양상이 상기 컴파운드 인증을 위한 제3 컨디션을 만족하는지 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 컴파운드 인증을 수행하는 것을 특징으로 하는 방법.
  6. 마댈러티들의 제1 컴비네이션에 대응하는 제1 진입 컨디션의 만족 여부를 판단하는 단계;
    상기 제1 진입 컨디션의 만족 여부에 따라, 상기 제1 컴비네이션에 의한 인증을 수행하는 단계;
    상기 제1 컴비네이션에 의한 인증이 실패한 경우, 상기 마댈러티들의 제2 컴비네이션에 대응하는 제2 진입 컨디션의 만족 여부를 판단하는 단계; 및
    상기 제2 진입 컨디션의 만족 여부에 따라, 상기 제2 컴비네이션에 의한 인증을 수행하는 단계를 포함하는 것을 특징으로 하는 컴파운드 인증을 수행하는 것을 특징으로 하는 방법.
  7. 제6항에 있어서,
    상기 제1 진입 컨디션의 만족 여부를 판단하는 단계는
    상기 마댈러티들의 제1 컴비네이션이 단독 인증을 위한 제1 컨디션과 다른 제2 컨디션을 만족하는지 여부에 기초하여 제1 진입 컨디션의 만족 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 컴파운드 인증을 수행하는 것을 특징으로 하는 방법.
  8. 제7항에 있어서,
    상기 마댈러티의 제1 컴비네이션은
    제1 마댈러티 및 상기 제1 마댈러티와 상이한 제2 마댈러티를 포함하고,
    상기 제1 진입 컨디션의 만족 여부를 판단하는 단계는
    상기 제1 마댈러티의 제1 양상 및 상기 제2 마댈러티의 제2 양상 중 적어도 하나가 상기 제2 컨디션을 만족하는지 여부를 결정하는 단계; 및
    상기 제2 컨디션을 만족하는 경우, 상기 제1 진입 컨디션을 만족하는 것으로 판단하는 단계를 포함하는 것을 특징으로 하는 컴파운드 인증을 수행하는 것을 특징으로 하는 방법.
KR1020190134579A 2019-10-28 2019-10-28 모바일 기기의 컴파운드 인증 수행 방법 KR20210050226A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190134579A KR20210050226A (ko) 2019-10-28 2019-10-28 모바일 기기의 컴파운드 인증 수행 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190134579A KR20210050226A (ko) 2019-10-28 2019-10-28 모바일 기기의 컴파운드 인증 수행 방법

Publications (1)

Publication Number Publication Date
KR20210050226A true KR20210050226A (ko) 2021-05-07

Family

ID=75916863

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190134579A KR20210050226A (ko) 2019-10-28 2019-10-28 모바일 기기의 컴파운드 인증 수행 방법

Country Status (1)

Country Link
KR (1) KR20210050226A (ko)

Similar Documents

Publication Publication Date Title
CN109948408B (zh) 活性测试方法和设备
US11973877B2 (en) Systems and methods for secure tokenized credentials
KR102324468B1 (ko) 얼굴 인증을 위한 장치 및 방법
US11625473B2 (en) Method and apparatus with selective combined authentication
KR101241625B1 (ko) 얼굴 인식 환경 통지 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
KR102655949B1 (ko) 3d 영상 기반의 얼굴 인증 방법 및 장치
US20060158307A1 (en) System and method for face recognition
JP4760049B2 (ja) 顔認証装置、その顔認証方法、その顔認証装置を組み込んだ電子機器およびその顔認証プログラムを記録した記録媒体
KR20170002892A (ko) 위조 지문 검출 방법 및 장치, 지문 인식 방법 및 장치
WO2010058514A1 (ja) 認証システム、装置、認証方法及びプログラムが格納された記憶媒体
CN112825128A (zh) 用于活性测试和/或生物特征识别验证的方法和设备
KR101087765B1 (ko) 얼굴 인식 기반의 범죄 용의자 탐지 및 식별 시스템
KR20210069404A (ko) 라이브니스 검사 방법 및 라이브니스 검사 장치
WO2019130670A1 (ja) 生体認証システム
KR102558741B1 (ko) 사용자 등록 장치 및 방법
CN111382666A (zh) 具有用户验证的设备和方法
JP6771361B2 (ja) 認証方法、認証装置及び学習方法
US11720658B2 (en) Method and apparatus of performing authentication
KR102495360B1 (ko) 복합 인증을 수행하는 방법 및 장치
KR20210050226A (ko) 모바일 기기의 컴파운드 인증 수행 방법
WO2018179723A1 (ja) 顔認証処理装置、顔認証処理方法及び顔認証処理システム
TWI771819B (zh) 認證系統、認證裝置、認證方法、及程式產品
US20220172537A1 (en) Device and method for user authentication using security card
KR102144289B1 (ko) 다중 인증 알고리즘을 기반으로 한 수기서명 인증 방법 및 장치
KR102483648B1 (ko) 인증을 수행하는 방법 및 장치