KR101971697B1 - 사용자 디바이스에서 복합 생체인식 정보를 이용한 사용자 인증 방법 및 장치 - Google Patents

사용자 디바이스에서 복합 생체인식 정보를 이용한 사용자 인증 방법 및 장치 Download PDF

Info

Publication number
KR101971697B1
KR101971697B1 KR1020120019333A KR20120019333A KR101971697B1 KR 101971697 B1 KR101971697 B1 KR 101971697B1 KR 1020120019333 A KR1020120019333 A KR 1020120019333A KR 20120019333 A KR20120019333 A KR 20120019333A KR 101971697 B1 KR101971697 B1 KR 101971697B1
Authority
KR
South Korea
Prior art keywords
authentication
information
voice
user
feature vector
Prior art date
Application number
KR1020120019333A
Other languages
English (en)
Other versions
KR20130097581A (ko
Inventor
강상기
김경태
이상훈
김양욱
이철환
정석영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120019333A priority Critical patent/KR101971697B1/ko
Priority to EP13156467.6A priority patent/EP2631843A3/en
Priority to US13/774,390 priority patent/US9547760B2/en
Priority to EP17187085.0A priority patent/EP3264333A1/en
Priority to PCT/KR2013/001459 priority patent/WO2013125910A1/en
Publication of KR20130097581A publication Critical patent/KR20130097581A/ko
Application granted granted Critical
Publication of KR101971697B1 publication Critical patent/KR101971697B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G10L17/10—Multimodal systems, i.e. based on the integration of multiple recognition engines or fusion of expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis

Abstract

본 발명은 사용자 디바이스에서 사용자의 영상정보 및 음성정보 등과 같은 복합 생체인식 정보(hybrid biometrics information)를 이용하여 사용자를 인증하는 방법 및 그 장치에 관한 것으로, 이러한 본 발명은 사용자 인증 방법에 있어서, 사용자 인증을 위한 서로 다른 복수의 생체인식 정보들을 획득하는 과정; 획득된 복수의 생체인식 정보들에 대한 각각의 인증정보들을 생성하는 과정; 및 생성된 인증정보들을 기반으로 통합 사용자 인증을 수행하는 과정을 포함한다.

Description

사용자 디바이스에서 복합 생체인식 정보를 이용한 사용자 인증 방법 및 장치{METHOD AND APPARATUS FOR AUTHENTICATING USER USING HYBRID BIOMETRICS INFORMATION IN A USER DEVICE}
본 발명은 사용자 디바이스에서 사용자 인증 방법 및 장치에 관한 것으로, 특히 사용자 디바이스에서 사용자의 영상정보 및 음성정보 등과 같은 복합 생체인식 정보(hybrid biometrics information)를 이용하여 사용자를 인증하는 방법 및 그 장치에 관한 것이다.
최근 디지털 기술의 발달과 함께 이동통신 단말기, PDA(Personal Digital Assistant), 전자수첩, 스마트 폰, 태블릿 PC(Personal Computer) 등과 같이 이동하면서 통신 및 개인정보 처리가 가능한 사용자 디바이스들이 다양하게 출시되고 있다. 이러한 사용자 디바이스는 음성 통화, SMS(Short Message Service)/MMS(Multimedia Message Service) 등과 같은 메시지 전송, 영상통화, 전자수첩, 촬영, 이메일 송수신, 방송재생, 동영상재생, 인터넷, 전자상거래, 음악재생, 일정관리, 소셜 네트워크 서비스(SNS, Social Networking Service), 메신저, 사전, 게임과 같이 다양한 기능들을 구비할 수 있다.
한편, 사용자 디바이스의 타 사용자로부터 무분별한 사용을 방지하기 위해 보안 기능이 제공되고 있다. 예를 들어, 사용자 디바이스의 턴-온(turn-on) 시 락스크린(lock screen)이 제공되고, 상기 락스크린에서 사용자의 설정된 패스워드(password) 입력에 의해 잠금 기능을 해제하는 등의 기능이 지원되고 있다. 최근 들어서는, 사용자의 지문, 얼굴, 음성, 망막, 그리고 홍채 등과 같은 고유의 신체적 특징을 사용자 인증에 이용하는 생체인식 기술 분야가, 그 뛰어난 보안성을 이유로 새로운 사용자 인증 시스템으로 주목받고 있으며, 그 이용이 급속히 증가하고 있는 추세이다.
한편, 기존의 사용자 디바이스에서 사용자의 신체적 특징을 이용한 사용자 인증은 사용자가 사용자 디바이스에 구비된 지문 인식기에 직접 지문정보를 입력하거나, 홍채 인식기에 눈을 밀착시켜야 하는 등 사용자로 하여금 생체인식 정보 입력을 위한 특정 행위를 강요하여 생체인식 정보 입력 시 다소 불편한 문제점이 있었다. 반면, 상기 생체인식 정보 중 얼굴정보 또는 음성정보를 이용하는 경우에는 상기 생체인식 정보 입력 시 사용자가 느끼는 불편함이나 불쾌감을 크게 줄일 수 있는 장점이 있다. 또한 생체인식 정보 인식을 위한 입력장치를 별도로 구비할 필요 없이 사용자 디바이스에서 구비된 카메라모듈 또는 마이크를 그대로 활용할 수 있어 추가 비용을 줄일 수 있다는 장점이 있다. 따라서 상기 생체인식 정보들 중에서도 얼굴 또는 음성 인식을 통한 사용자 인증 기술에 대한 연구가 보다 활발히 진행되고 있다.
본 발명의 목적은 사용자 디바이스에서 복합 생체인식 정보를 이용하여 사용자 인증 시스템을 구현할 수 있는 사용자 인증 방법 및 장치를 제공함에 있다.
본 발명의 다른 목적은 사용자 디바이스에서 영상 인증정보와 음성 인증정보를 기반으로 하는 통합적인 사용자 인증에 의해 보안 성능을 높일 수 있는 사용자 인증 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 목적은 사용자 디바이스에서 영상 인증정보 및 음성 인증정보를 이용한 사용자 인증 시 얼굴, 입, 눈의 동작 변화를 추가 검출하여 통합적인 사용자 인증을 수행할 수 있는 사용자 인증 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 목적은 사용자 디바이스에서 영상 인증정보 및 음성 인증정보를 이용한 사용자 인증 시 입술 동작과 음성 간의 동기화 여부를 추가 판단하여 통합적인 사용자 인증을 수행할 수 있는 사용자 인증 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 목적은 사용자 디바이스의 인증모드에서 사용자 인증에 따른 보안 성능을 향상시키기 위한 최적의 환경을 구현하여 사용자의 편의성, 사용자 디바이스의 사용성 및 사용자 디바이스의 경쟁력을 향상시킬 수 있는 방법 및 장치를 제공함에 있다.
상기와 같은 목적들을 달성하기 위한 본 발명의 실시 예에 따른 방법은, 사용자 인증을 위해, 카메라 모듈 및 마이크를 이용하여, 영상정보 및 음성정보 중 적어도 하나를 획득하는 과정; 상기 영상정보 및 음성정보가 미리 정의된 설정시간 동안 모두 획득되는 경우, 상기 획득된 영상정보 및 음성정보에 대한 각각의 인증정보들을 생성하는 과정; 상기 생성된 인증정보들을 기반으로 통합 사용자 인증을 수행하는 과정을 포함하고, 상기 영상정보 및 음성정보 중 적어도 하나만 획득될 때, 상기 미리 정의된 설정시간 동안 획득되지 않은 상기 영상정보 및 음성정보 중의 하나가 획득되는 지의 여부를 판단하되, 상기 미리 정의된 설정시간 내에, 상기 영상정보 및 음성정보 중의 하나가 획득되지 않은 경우, 에러 정보를 출력할 수 있다.
상기와 같은 목적들을 달성하기 위하여 본 발명의 실시 예에서는, 상기 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 포함한다.
상기와 같은 목적들을 달성하기 위한 본 발명의 실시 예에 따른 기록매체는, 사용자 인증을 위해, 카메라 모듈 및 마이크를 이용하여, 영상정보 및 음성정보 중 적어도 하나를 획득하고, 상기 영상정보 및 음성정보가 미리 정의된 설정시간 동안 모두 획득되는 경우, 상기 획득된 영상정보 및 음성정보에 대한 각각의 인증정보들을 생성하고, 상기 생성된 인증정보들을 기반으로 통합 사용자 인증을 수행하고, 상기 영상정보 및 음성정보 중 적어도 하나만 획득될 때, 상기 미리 정의된 설정시간 동안 획득되지 않은 상기 영상정보 및 음성정보 중의 하나가 획득되는 지의 여부를 판단하되, 상기 미리 정의된 설정시간 내에, 상기 영상정보 및 음성정보 중의 하나가 획득되지 않은 경우, 에러 정보를 출력하는 프로그램을 포함할 수 있다.
상기와 같은 목적들을 달성하기 위한 본 발명의 실시 예에 따른 장치는, 영상을 획득하는 카메라 모듈; 음성을 획득하는 마이크; 상기 카메라 모듈 및 상기 마이크를 이용하여, 영상정보 및 음성정보 중 적어도 하나를 획득하고, 상기 영상정보 및 음성정보가 미리 정의된 설정시간 동안 모두 획득되는 경우, 상기 획득된 영상정보 및 음성정보에 대한 각각의 인증정보들을 생성하고, 상기 생성된 인증정보들을 기반으로 통합 사용자 인증을 수행하는 제어부를 포함하되, 상기 제어부는, 상기 영상정보 및 음성정보 중 적어도 하나만 획득될 때, 상기 미리 정의된 설정시간 동안 획득되지 않은 상기 영상정보 및 음성정보 중의 하나가 획득되는 지의 여부를 판단하되, 상기 미리 정의된 설정시간 내에, 상기 영상정보 및 음성정보 중의 하나가 획득되지 않은 경우, 에러 정보를 출력하도록 설정될 수 있다.
전술한 바와 같은 내용들은 당해 분야 통상의 지식을 가진 자가 후술되는 본 발명의 구체적인 설명으로부터 보다 잘 이해할 수 있도록 하기 위하여 본 발명의 특징들 및 기술적인 장점들을 다소 넓게 약술한 것이다. 이러한 특징들 및 장점들 이외에도 본 발명의 청구범위의 주제를 형성하는 본 발명의 추가적인 특징들 및 장점들이 후술되는 본 발명의 구체적인 설명으로부터 잘 이해될 것이다.
상술한 바와 같이 본 발명에서 제안하는 사용자 디바이스에서 복합 생체인식 정보를 이용한 사용자 인증 방법 및 장치에 따르면, 사용자 디바이스에서 사용자 인증을 위해 단일 생체인식 정보(예컨대, 음성 인식, 얼굴 인식)만을 이용하는 방식보다 보안 성능을 높일 수 있는 이점이 있다. 본 발명에 따르면, 얼굴 인증정보 및 음성 인증정보와 같은 복합 생체인식 정보를 이용한 통합 사용자 인증을 가능하게 하는 이점이 있다. 본 발명에 따르면, 사용자 디바이스에서 영상 인증정보와 음성 인증정보를 기반으로 사용자 인증 시, 상기 사용자 인증 시 얼굴, 입, 눈의 동작 변화를 추가 검출하거나, 입술 동작과 음성 간의 동기화 여부를 추가 판단하는 통합적인 사용자 인증을 수행함으로써, 보안 성능 향상 및 사용자 디바이스가 정당한 사용자에 의해 사용될 수 있도록 유도할 수 있다.
본 발명에 따르면, 사용자 인증을 위한 별도의 장치(예컨대, 센서 등)의 구비 없이 사용자 디바이스에 구비되는 카메라 모듈과 마이크를 이용할 수 있다. 그리고 본 발명은 모든 형태의 사용자 디바이스 및 그에 대응하는 다양한 디바이스들에 구현될 수 있다. 또한 본 발명에 따르면 사용자 디바이스에서 사용자 인증을 위한 최적의 환경을 구현하여, 사용자 디바이스의 사용성, 편의성 및 경쟁력을 향상시키는데 기여할 수 있다.
도 1은 본 발명의 실시 예에 따른 사용자 디바이스의 구성을 개략적으로 도시한 도면이다.
도 2 내지 도 4는 본 발명의 실시 예에 따른 제어부의 구성을 개략적으로 도시한 도면이다.
도 5는 본 발명의 실시 예에 따른 사용자 디바이스에서 복합 생체인식 정보를 이용하여 사용자를 인증하는 동작 예시를 도시한 도면이다.
도 6은 본 발명의 실시 예에 따른 사용자 디바이스에서 사용자 인증을 위한 통계모델 등록 방법을 도시한 흐름도이다.
도 7 및 도 8은 본 발명의 실시 예에 따른 사용자 디바이스에서 사용자 인증 방법을 도시한 흐름도이다.
도 9는 본 발명의 실시 예에 따른 사용자 디바이스에서 사용자 인증을 위한 운용 방법을 도시한 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 이때, 첨부된 도면들에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 즉, 하기의 설명에서는 본 발명의 실시 예에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
이하에서, 본 발명의 실시 예에 따른 사용자 디바이스의 구성 및 운용 제어 방법에 대하여 하기 도면들을 참조하여 살펴보기로 한다. 본 발명의 실시 예에 따른 사용자 디바이스의 구성 및 운용 제어 방법이 하기에서 기술하는 내용에 제한되거나 한정되는 것은 아니므로 하기의 실시 예에 의거하여 다양한 실시 예들에 적용할 수 있음에 유의하여야 한다. 그리고 이하에서 설명되는 본 발명에서는 하드웨어적인 접근 방법을 예시로서 설명한다. 하지만, 본 발명은 하드웨어와 소프트웨어를 모두 사용하는 기술을 포함하고 있으므로, 본 발명이 소프트웨어 기반의 접근 방법을 제외하는 것은 아니다.
도 1은 본 발명의 실시 예에 따른 사용자 디바이스(100)의 구성을 개략적으로 도시한 도면이다.
상기 도 1을 참조하면, 본 발명의 사용자 디바이스(100)는 카메라 모듈(110), 오디오처리부(120), 표시부(130), 저장부(140), 그리고 제어부(180)를 포함하여 구성된다. 이 밖에도 상기 사용자 디바이스(100)는 디지털 방송(예컨대, DMB(Digital Multimedia Broadcasting)나 DVB(Digital Video Broadcasting)와 같은 이동 방송)의 수신을 위한 디지털 방송 모듈, 블루투스(Bluetooth) 통신, 적외선(IrDA, Infrared Data Association) 통신, RFID(Radio Frequency Identification) 통신, 그리고 NFC(Near Field Communication) 등과 같은 근거리 무선통신 기반의 통신 기능 지원을 위한 적어도 하나의 근거리 통신 모듈, 하드 키(Hard key) 기반의 입력 지원을 위한 입력부, 이동통신 기반의 음성통화, 영상통화, 데이터통화 등의 통신 기능 지원을 위한 무선통신부, 진동 발생을 위한 진동 발생부, 인터넷 서비스 지원을 위한 무선 랜(LAN, Local Area Network) 모듈, 그리고 상기와 같은 구성들에 전원 공급을 위한 배터리(battery) 등의 구성을 더 포함할 수 있으나, 그들에 대한 설명과 도시는 생략한다.
상기 카메라 모듈(110)은 피사체의 정적영상 및 동적영상 촬영을 지원한다. 상기 카메라 모듈(110)은 제어부(180)의 제어에 따라 임의의 피사체를 촬영하고, 촬영된 영상 데이터를 상기 표시부(130) 및 상기 제어부(180)로 전달한다. 상기 카메라 모듈(110)은 입력된 광 신호를 전기적 신호로 변환하는 카메라센서(미도시)와, 상기 카메라센서로부터 입력되는 전기적 신호를 디지털 영상 데이터로 변환하는 신호처리부(미도시) 등을 포함하여 구성될 수 있다. 상기 카메라센서는 CCD(Charge-Coupled Device) 또는 CMOS(Complementary Metal-Oxide-Semiconductor) 등의 방식을 이용하는 센서를 포함할 수 있다. 특히, 본 발명에서 상기 카메라 모듈(110)은 사용자 인증을 위한 인증모드 활성화 시 상기 제어부(180)의 제어 하에 구동되어, 외부의 피사체(예컨대, 사용자의 얼굴 등)에 대한 정적영상 및 동적영상을 촬영하고, 촬영되는 각 영상을 상기 제어부(180)로 전달한다.
상기 오디오처리부(120)는 스피커(speaker)(121) 및 마이크(microphone)(123)를 포함하여 구성되고, 사용자 디바이스(100)의 오디오 신호에 대한 입출력을 처리한다. 예를 들어, 상기 오디오처리부(120)는 제어부(180)로부터 입력받은 오디오 신호를 상기 스피커(121)로 전송하고, 상기 마이크(123)로부터 입력받은 음성 등의 오디오 신호를 상기 제어부(180)로 전달하는 기능을 수행한다. 상기 오디오처리부(120)는 음성/음향 데이터를 제어부(180)의 제어에 따라, 상기 스피커(121)를 통해 가청음으로 변환하여 출력하고, 상기 마이크(123)로부터 수신되는 음성 등의 오디오 신호를 디지털 신호로 변환하여 상기 제어부(180)로 전달할 수 있다. 특히, 본 발명에 따른 오디오처리부(120)는 상기 제어부(180)의 제어 하에, 사용자 인증을 위한 인증모드에서 사용자의 음성을 입력받고, 그에 따른 음성신호를 디지털 신호로 변환하여 상기 제어부(180)로 전달한다. 그리고 상기 오디오처리부(120)는 상기 인증모드에서 상기 제어부(180)의 제어 하에, 사용자 인증 과정 진행 시 성공 또는 실패에 대한 효과음 등과 같은 피드백을 상기 스피커(121)로 출력할 수 있다. 상기 인증 성공 또는 실패에 대한 피드백은 사용자 설정에 따라 각각 다양하게 설정될 수 있다.
상기 표시부(130)는 사용자 디바이스(100)의 동작 상태 및 관련된 화면을 표시할 수 있다. 예를 들어, 상기 표시부(130)는 사용자 디바이스(100)의 락스크린(lock screen), 홈스크린(home screen), 메뉴스크린(menu screen), 메시지 작성 화면, 채팅 화면, 영상 재생 화면, 및 다양한 어플리케이션들의 실행에 따른 각각의 실행화면 등을 표시할 수 있다. 그리고 상기 표시부(130)는 사용자 디바이스(100)의 각종 메뉴를 비롯하여 사용자가 입력한 정보 또는 사용자에게 제공되는 정보를 표시한다. 즉, 상기 표시부(130)는 사용자 디바이스(100) 이용에 따른 다양한 사용자 기능의 실행화면을 제공할 수 있다. 상기 표시부(130)는 액정표시장치(LCD, Liquid Crystal Display)가 사용되는 것이 일반적이나, 발광다이오드(LED, Light Emitting Diode), 유기발광다이오드(OLED, Organic LED), 그리고 능동형 OLED(AMOLED, Active Matrix OLED) 등과 같은 다른 표시장치가 사용될 수도 있다. 또한 상기 표시부(130)는 휘어질 수 있는 플렉서블 디스플레이(flexible display)로 구현될 수 있다. 상기 플렉서블 디스플레이는 종이처럼 얇고 유연한 기판을 통해 손상 없이 휘거나 구부리거나 말 수 있는 장치를 나타낸다. 또한 상기 표시부(130)는 터치(touch) 기반의 입력을 지원하는 인터페이스(interface)를 포함하여 구성될 수 있다. 예를 들어, 상기 표시부(130)는 터치스크린(touchscreen) 구성에 의해 터치 기반의 다양한 사용자 입력을 지원하고, 사용자 입력에 따른 입력신호를 생성하여 상기 제어부(180)로 전달할 수 있다. 또한 상기 표시부(130)는 앞서와 같은 다양한 화면을 표시할 시 사용자 디바이스(100)의 회전 방향(또는 놓인 방향)에 따라 가로모드에 의한 화면 표시, 세로모드에 의한 화면 표시 및 가로모드와 세로모드 간의 변화에 따른 적응적 화면 전환 표시를 지원할 수 있다. 특히, 상기 표시부(130)는 사용자 디바이스(100)의 사용자 인증을 위한 인증모드에서 상기 제어부(180)의 제어에 따라 제공되는 특정 영상을 표시할 수 있다. 예를 들어, 상기 표시부(130)는 인증모드에서 상기 카메라 모듈(110)을 통해 촬영되는 사용자의 얼굴정보를 표시할 수 있다.
상기 저장부(140)는 사용자 디바이스(100)에서 운용되는 각종 어플리케이션과 데이터를 저장하며, 하나 이상의 비휘발성 메모리(non-volatile memory)와 휘발성 메모리(volatile memory)를 포함하여 구성될 수 있다. 상기 저장부(140)는 ROM(Read Only Memory), 플래시 메모리(flash memory), RAM(Random Access Memory), 내장 하드디스크(HDD, Hard Disk), 외장 하드디스크, 메모리카드(memory card)와 같은 외부 저장매체 등 중 적어도 하나로 구성될 수 있다. 그리고 상기 저장부(140)는 상기 사용자 디바이스(100)의 운영체제, 상기 표시부(130)의 표시 제어 동작과 관련된 프로그램과 데이터, 인증모드에서 복합 생체인식 정보(예컨대, 얼굴정보 및 음성정보)를 이용한 사용자 인증 기능 운용과 관련된 프로그램과 데이터 등을 지속적으로 또는 일시적으로 저장할 수 있다. 특히, 상기 저장부(140)는 본 발명의 실시 예에 따라 인증모드에서 상기 카메라 모듈(110)을 통해 촬영되는 영상과 관련된 데이터를 정적데이터와 동적데이터로 각각 저장할 수 있다. 그리고 상기 저장부(140)는 상기 인증모드에서 사용자 인증을 위해 입력되는 생체인식 정보를 식별하기 위한 학습정보를 학습정보 저장영역(150)에 저장할 수 있다. 상기 학습정보는 얼굴정보와 음성정보로 구분될 수 있으며, 각각의 할당된 저장영역에 저장될 수 있다. 상기 얼굴정보는 인증모드에서 인증될 사용자의 영상에서 소정의 얼굴 특징을 추출하고, 추출된 상기 얼굴 특징을 기초로 얼굴 특징벡터(feature vector)를 생성하여 얼굴 인식용 통계모델로 얼굴정보 저장영역(160)에 등록될 수 있다. 상기 음성정보는 인증모드에서 인증될 사용자의 음성에서 소정의 음성 특징을 추출하고, 추출된 상기 음성 특징을 기초로 음성 특징벡터를 생성하여 음성 인식용 통계모델로 음성정보 저장영역(170)에 등록될 수 있다.
그리고 상기 저장부(140)는 프로그램 영역과 데이터 영역을 포함할 수 있다. 상기 프로그램 영역은 사용자 디바이스(100)의 부팅 및 상기한 바와 같은 각 구성들의 운용을 위한 운영 체제와, 다운로드 및 설치된 어플리케이션들 등을 저장할 수 있다. 상기 데이터 영역은 사용자 디바이스(100)의 사용에 따라 발생하는 데이터가 저장되는 영역을 나타낸다. 상기 데이터 영역은 실행되는 어플리케이션에 따라 사용되거나 생성되는 데이터를 저장하며, 인증모드에서 입력되는 영상데이터 및 음성데이터를 버퍼링 또는 저장할 수 있다.
상기 제어부(180)는 사용자 디바이스(100)의 전반적인 동작을 제어한다. 특히, 상기 제어부(180)는 사용자 디바이스(100)의 인증모드에서 얼굴정보 및 음성정보와 같은 복합 생체인식 정보를 이용한 사용자 인증과 관련된 동작을 제어할 수 있다. 상기 제어부(180)는 인증 모드에서 얼굴 인식 결과, 음성 인식 결과, 오브젝트 판단 결과, 및 동기화 판단 결과와 같은 복합적인 정보들을 기반으로 사용자에 대한 통합 인증을 처리할 수 있다. 그리고 제어부(180)는 복합적인 정보들 중 어느 하나로도 비인증된 사용자임이 확인될 시 사용자 인증에 대해 에러 판정할 수 있다. 예를 들어, 상기 각 결과들은 미리 정의된 기준 확률 값(예컨대, 80%, 85%, 90% 등)을 충족하는지 여부에 대응하여 인증된 사용자임을 통지하는 결과가 출력되거나 비인증된 사용자임을 통지하는 결과가 출력될 수 있다. 따라서 제어부(180)는 상기 각 결과들의 개별 확률 값 충족 여부를 통해 에러 판정 여부를 결정할 수 있다.
상기 제어부(180)는 크게 영상 인증 처리부(10), 음성 인증 처리부(40), 통계모델 관리부(50), 그리고 인증 판단부(290)를 포함하여 구성된다. 상기 제어부(180)는 본 발명의 기능 운용에 대한 전반적인 동작을 제어할 수 있으며, 이러한 제어부(180)의 상세 제어 동작에 대해 후술하는 도면들을 참조한 사용자 디바이스(100)의 동작 예시 및 그의 제어 방법에서 설명될 것이다.
한편, 상기 제어부(180)는 본 발명의 기능 외에 상기 사용자 디바이스(100)의 통상적인 기능과 관련된 각종 동작을 제어할 수 있다. 예를 들어, 상기 제어부(180)는 터치 기반의 입력 인터페이스를 통해 입력되는 터치 이벤트에 응답하여, 그에 따른 기능 운용을 제어할 수 있다. 또한 상기 제어부(180)는 유선통신 기반 또는 무선통신 기반으로 각종 데이터의 송수신을 제어할 수 있다. 그리고 상기 제어부(180)는 CPU(Central Processing Unit), GPU(Graphical Processing Unit), 및 메모리 등이 하나의 칩(chip) 안에 내장되는 시스템 온 칩(SoC, System on Chip)으로 구현될 수 있다. 상기 SoC의 각 구성은 시스템 버스(system bus)로 연결되어 그들 간의 데이터 통신이 이루어질 수 있다. 또는 상기 제어부(180)는 CPU, GPU 및 메모리 등이 멀티 레이어(multi layer)로 패키징(packaging)된 것일 수 있다.
그리고 상기 도 1에 나타낸 본 발명의 사용자 디바이스(100)는 본 발명의 사용자 인증 기술을 지원하기 위한 구조를 가지는 모든 정보통신기기, 멀티미디어기기 및 그에 대한 응용기기를 포함할 수 있다. 예를 들어, 상기 사용자 디바이스(100)는 다양한 통신 시스템에 대응되는 각 통신 프로토콜들(communication protocols)에 의거하여 동작하는 이동통신 단말기를 비롯하여, 태블릿 PC(Personal Computer), 스마트 폰(Smart Phone), 디지털 카메라, PMP(Portable Multimedia Player), 미디어 플레이어(Media Player), 휴대게임단말 및 PDA(Personal Digital Assistant) 등의 디바이스를 포함할 수 있다. 아울러, 본 발명의 방법은 디지털 TV(Digital Television), DS(Digital Signage), LFD(Large Format Display), 랩톱 컴퓨터 등과 같이 다양한 디바이스에 적용되어 운용될 수 있다.
도 2는 본 발명의 실시 예에 따른 제어부(180)의 구성을 개략적으로 도시한 도면이다.
상기 도 2를 참조하면, 본 발명의 제어부(180)는 상기 카메라 모듈(110)을 통해 획득된 영상으로부터 얼굴 특징벡터 및 오브젝트 특징벡터 검출에 의한 사용자 인증을 처리하는 영상 인증 처리부(10), 상기 마이크(123)를 통해 획득된 음성으로부터 음성 특징벡터 검출에 의한 사용자 인증을 처리하는 음성 인증 처리부(40), 그리고 상기 영상 인증 처리부(10) 및 상기 음성 인증 처리부(40)에서 전달되는 복수의 인증정보들(예컨대, 얼굴 인증정보, 음성 인증정보 등)을 기반으로 상기 사용자에 대한 통합 인증을 처리하는 인증 판단부(290)를 포함하여 구성된다. 그리고 상기 영상 인증 처리부(10)는 획득된 영상으로부터 캡처(capture)된 정지영상을 기반으로 정적인 특징벡터 검출에 의한 얼굴 인증을 처리하는 얼굴 인증 처리부(20)와, 획득된 영상을 기반으로 특정 오브젝트(예컨대, 얼굴, 눈, 입술 등)의 동적인 특징벡터 검출에 의한 오브젝트 인증을 처리하는 오브젝트 인증 처리부(30)를 포함하여 구성된다. 본 발명에서 상기 오브젝트는 인식된 영상에서 얼굴의 특정 영역을 구분한 것으로, 앞서와 같이 얼굴 자체, 눈, 입술 등을 포함할 수 있다. 그리고 상기 오브젝트로부터 검출되는 오브젝트 특징벡터는 얼굴의 움직임, 눈의 깜박임, 입술의 움직임 등의 동적인 특징벡터가 검출될 수 있다.
상기 얼굴 인증 처리부(20)는 얼굴 추출부(210), 제1 특징벡터 검출부(220), 그리고 얼굴 인증부(230)를 포함하여 구성된다.
상기 얼굴 추출부(210)는 상기 카메라 모듈(110)을 통해 입력되는 영상으로부터 사용자의 얼굴을 추출한다. 예를 들어, 상기 얼굴 추출부(210)는 입력된 얼굴 영상으로부터 얼굴 영역, 눈 영역, 그리고 입 영역 등의 특징을 추출하여 출력할 수 있다. 본 발명에서 상기 얼굴 검출부(210)는 상기 카메라 모듈(110)로부터 입력되어 상기 표시부(130)를 통해 표시되는 영상을 캡처하고, 캡처된 정지영상을 통해 사용자의 얼굴 인식 및 얼굴 특징 추출을 수행할 수 있다.
상기 제1 특징벡터 검출부(220)는 상기 얼굴 추출부(210)에서 추출된 특징으로부터 얼굴 특징벡터(예컨대, 얼굴의 눈, 코, 입 간에 점을 찍어 생성되는 거리와 각도, 및 피부색 등)를 검출할 수 있다. 예를 들어, 상기 제1 특징벡터 검출부(220)는 상기 얼굴 추출부(210)에서 추출된 특징 중 눈의 중심점 등을 이용하여 얼굴 형상에 대한 정규화를 수행하고, 정규화된 얼굴 영상에서 얼굴의 고유한 얼굴 특징벡터를 추출하여 출력한다.
상기 얼굴 인증부(230)는 상기 제1 특징벡터 검출부(220)에서 추출된 얼굴의 고유한 특징인 상기 얼굴 특징벡터를 미리 등록된 얼굴정보(특히, 얼굴 인식용 통계모델)와 비교하여 얼굴 영상에 대한 인증을 수행하고, 인증 결과에 따른 인증정보를 출력한다. 예를 들어, 상기 얼굴 인증부(230)는 상기 추출된 얼굴 특징벡터와 미리 학습되어 저장된 상기 얼굴정보를 비교하고, 그들 간의 일치 여부를 판별할 수 있다. 이때, 상기 일치 여부 판별은 설정된 오차범위를 감안하여 판별될 수 있으며, 예컨대, 90% 이상 일치 시 인증된 사용자임을 나타내는 인증정보를 출력할 수 있다. 반면, 90% 미만 일치(얼굴 특징벡터가 없는 경우 즉, 얼굴이 촬영되지 않은 경우 포함) 시 비인증된 사용자임을 나타내는 인증정보를 출력할 수 있다. 상기 일치 여부를 판별을 위한 기준 확률 값은 상기 90%를 비롯하여 사용자 설정에 따라 80%, 85% 등과 같이 다양하게 설정될 수 있다.
상기 오브젝트 인증 처리부(30)는 오브젝트 검출부(240), 제2 특징벡터 검출부(250), 그리고 동작 판단부(260)를 포함하여 구성된다. 본 발명에서 상기 오브젝트 인증 처리부(30)는 카메라 모듈(110)에서 입력되는 영상(특히, 동영상)을 통해 오브젝트(예컨대, 얼굴, 눈, 입 등)를 검출하여 상기 오브젝트의 움직임 여부를 판별하는 동작 인식부에 해당할 수 있다.
상기 오브젝트 검출부(240)는 상기 카메라 모듈(110)을 통해 입력되는 영상으로부터 오브젝트를 추출한다. 본 발명에서 상기 오브젝트는 사용자의 얼굴에서 움직임을 판별하기 위한 요소로, 얼굴, 눈, 입 등에 해당할 수 있다. 예를 들어, 상기 오브젝트 검출부(240)는 입력된 얼굴 영상으로부터 얼굴 영역, 눈 영역, 그리고 입 영역 중 설정된 오브젝트의 영역을 추출하여 출력할 수 있다. 즉, 상기 오브젝트 검출부(240)는 상기 카메라 모듈(110)로부터 입력되어 상기 표시부(130)를 통해 표시되는 영상에서 설정된 오브젝트의 위치를 검출할 수 있다.
상기 제2 특징벡터 검출부(250)는 상기 오브젝트 검출부(240)에서 검출된 오브젝트의 위치에서 상기 오브젝트의 동작(움직임)을 나타내는 오브젝트 특징벡터(예컨대, 얼굴의 움직임, 눈의 깜박임, 입의 움직임 등)를 검출할 수 있다. 예를 들어, 상기 제2 특징벡터 검출부(250)는 상기 오브젝트 검출부(240)에서 추출된 특징 중 입의 움직임에 따라 변화되는 입술의 크기, 입술의 모양 등을 기반으로 하는 특징벡터를 추출하여 출력할 수 있다. 또는 상기 제2 특징벡터 검출부(250)는 상기 오브젝트 검출부(240)에서 추출된 특징 중 눈 모양이 변화(눈의 깜박임에 대응)되는 특징벡터를 추출하여 출력할 수 있다. 또는 상기 제2 특징벡터 검출부(250)는 상기 오브젝트 검출부(240)에서 추출된 특징 중 얼굴의 움직임에 따라 얼굴의 크기 변화, 얼굴의 위치 변화 등의 특징벡터를 추출하여 출력할 수 있다.
상기 동작 판단부(260)는 상기 제2 특징벡터 검출부(250)에서 검출된 상기 오브젝트 특징벡터로부터 해당 오브젝트의 동작(움직임) 여부를 판단하여 사용자에 대한 인증을 수행하고, 인증 결과에 따른 동작정보(인증정보)를 출력한다. 예를 들어, 상기 동작 판단부(250)는 오브젝트의 움직임이 있는 것으로 판단할 시 동작이 있음을 나타내는 동작정보를 출력할 수 있다. 반면, 상기 동작 판단부(250)는 오브젝트의 움직임이 없는 것으로 판단할 시 동작이 없음을 나타내는 동작정보를 출력할 수 있다.
상기 음성 인증 처리부(40)는 제3 특징벡터 검출부(270) 및 음성 인증부(280)를 포함하여 구성된다.
상기 제3 특징벡터 검출부(270)는 상기 마이크(123)를 통해 입력되는 음성으로부터 음성 특징벡터(예컨대, 톤(tone), 주파수(frequency), 어휘, 속도 등)를 검출하여 출력할 수 있다. 이때, 상기 제3 특징벡터 검출부(270)는 음성 인증의 운용 방식에 따라 적어도 하나의 특징벡터를 검출할 수 있다. 예를 들어, 음성 인증을 위한 운용 방식이 사용자가 말하는 어휘에 관계없이 운용되는 방식(예컨대, 사용자가 말하는 단어와는 무관하게 톤이나 주파수만을 구분하는 인증 방식)인 경우, 상기 제3 특징벡터 검출부(270)는 음성의 톤, 주파수, 속도 등의 특징벡터 중 설정된 적어도 하나의 특징벡터를 검출할 수 있다. 또는 음성 인증을 위한 운용 방식이 사용자가 말하는 어휘를 구분하여 운용되는 방식(예컨대, 미리 설정된 단어 입력을 요하는 인증 방식)인 경우, 상기 제3 특징벡터 검출부(270)는 음성의 톤, 주파수, 속도의 특징벡터 중 설정된 적어도 하나의 특징벡터와 상기 음성으로부터 구분되는 어휘의 특징벡터를 함께 검출할 수 있다.
상기 음성 인증부(280)는 상기 제3 특징벡터 검출부(270)에서 검출된 음성의 고유한 특징인 상기 음성 특징벡터를 미리 등록된 음성정보(특히, 음성 인식용 통계모델)와 비교하여 음성에 대한 인증을 수행하고, 인증 결과에 따른 인증정보를 출력한다. 예를 들어, 상기 음성 인증부(280)는 상기 검출된 음성 특징벡터와 미리 학습되어 저장된 상기 음성정보를 비교하고, 그들 간의 일치 여부를 판별할 수 있다. 이때, 상기 일치 여부 판별은 설정된 오차범위를 감안하여 판별될 수 있으며, 예컨대, 90% 이상 일치 시 인증된 사용자임을 나타내는 인증정보를 출력할 수 있다. 반면, 90% 미만 일치(음성 특징벡터가 없는 경우 즉, 음성이 입력되지 않은 경우 포함) 시 비인증된 사용자임을 나타내는 인증정보를 출력할 수 있다. 상기 일치 여부 판별을 위한 기준 확률 값은 상기 90%를 비롯하여 사용자 설정에 따라 80%, 85% 등과 같이 다양하게 설정될 수 있다.
그리고 상기 음성 인증부(280)는 음성 인증의 운용 방식에 따라 적어도 하나의 특징벡터를 이용한 인증을 수행할 수 있다. 예를 들어, 음성 인증을 위한 운용 방식이 사용자가 말하는 어휘에 관계없이 운용되는 방식인 경우, 상기 음성 인증부(280)는 상기 제3 특징벡터 검출부(270)에서 검출되어 전달되는 특징벡터와 미리 학습된 음성정보 중 상기 특징벡터에 대응하는 특징벡터만을 비교하여 그의 인증을 수행할 수 있다. 반면, 음성 인증을 위한 운용 방식이 사용자가 말하는 어휘를 구분하여 운용되는 방식인 경우, 상기 음성 인증부(280)는 상기 제3 특징벡터 검출부(270)에서 전달되는 특징벡터들 중 어휘 특징벡터와 미리 학습된 음성정보(특히, 어휘 특징벡터)를 비교하여 인증을 수행(예컨대, 입력된 단어와 학습된 단어가 일치하는지 판정)할 수 있다. 즉, 상기 음성 인증부(280)는 인식된 어휘 특징벡터를 훈련된 어휘 특징벡터와 비교하여 입력된 음성의 어휘에 대한 인증을 수행할 수 있다. 그리고 상기 음성 인증부(280)는 상기 어휘 특징벡터에 대한 인증이 통과할 시 상기 제3 특징벡터 검출부(270)에서 전달되는 다른 특징벡터(예컨대, 톤, 주파수, 속도 중 적어도 하나)와 미리 학습된 음성정보(특히, 톤, 주파수, 속도 중 적어도 하나)를 비교하여 그의 인증을 수행할 수 있다. 이러한 음성 인증 방식은 사용자 설정에 따라 다양하게 운용될 수 있다.
상기 인증 판단부(290)는 상기 얼굴 인증 처리부(20)에서 전달되는 얼굴 인증정보, 상기 오브젝트 인증 처리부(30)에서 전달되는 동작정보, 그리고 상기 음성 인증 처리부(40)에서 전달되는 음성 인증정보를 이용하여 통합 인증을 수행하고 그에 따른 인증 결과를 출력할 수 있다. 상기 인증 판단부(290)는 전달된 얼굴 인증정보, 동작정보, 그리고 음성 인증정보를 분석하여 모두 인증된 사용자임을 나타낼 시 사용자 인증을 정상 처리할 수 있다. 또는 상기 인증 판단부(290)는 전달된 얼굴 인증정보, 동작정보, 그리고 음성 인증정보를 분석하여 어느 하나라도 비인증된 사용자임을 나타낼 시 사용자 인증을 에러 처리할 수 있다. 예를 들어, 상기 인증 판단부(290)는 얼굴 인증정보를 통해 인증된 사용자 얼굴임을 확인하고, 음성 인증정보를 통해 인증된 사용자 음성임을 확인하고, 동작정보를 통해 결정된 오브젝트의 동작 상태를 확인할 시 사용자 인증을 정상 처리할 수 있다. 반면, 상기 인증 판단부(290)는 얼굴 인증정보를 통해 비인증된 사용자 얼굴임을 확인하거나, 음성 인증정보를 통해 비인증된 사용자 음성임을 확인하거나, 또는 동작정보를 통해 결정된 오브젝트의 비동작 상태를 확인할 시 사용자 인증을 에러 처리할 수 있다.
도 3은 본 발명의 실시 예에 따른 제어부(180)의 구성을 개략적으로 도시한 도면이다.
상기 도 3을 참조하면, 본 발명의 제어부(180)는 상기 카메라 모듈(110)을 통해 획득된 영상으로부터 얼굴 특징벡터 검출에 의한 사용자 인증을 처리하는 영상 인증 처리부(10), 상기 마이크(123)를 통해 획득된 음성으로부터 음성 특징벡터 검출에 의한 사용자 인증을 처리하는 음성 인증 처리부(40), 그리고 상기 영상 인증 처리부(10) 및 상기 음성 인증 처리부(40)에서 전달되는 각각의 인증정보들(예컨대, 얼굴 인증정보, 음성 인증정보 등)을 기반으로 상기 사용자에 대한 통합 인증을 처리하는 인증 판단부(290)를 포함하여 구성된다. 그리고 상기 영상 인증 처리부(10)는 획득된 영상으로부터 캡처된 정지영상을 기반으로 정적인 특징벡터 검출에 의한 얼굴 인증을 처리하는 얼굴 인증 처리부(20)와, 획득된 영상을 기반으로 특정 오브젝트(예컨대, 얼굴, 눈, 입술 등)의 동적인 특징벡터 검출에 의한 오브젝트 인증을 처리하는 오브젝트 인증 처리부(30)를 포함하여 구성된다.
상기 도 3에 도시된 바와 같이, 본 발명의 다른 실시 예에 따른 상기 제어부(180)의 구성은 앞서 도 2를 참조한 제어부(180)의 구성 중 동작 판단부(260)의 구성이 생략되고 동기화 판단부(300)가 포함되며, 그에 따라 인증 판단부(290)의 통합 인증 방식이 달라지는 것에 있다. 따라서 앞서 도 2를 참조한 설명 부분에서 동일한 구성에 대해서는 참조번호가 일치하며, 중복되는 설명은 생략하도록 한다. 그리고 본 발명에서는 상기 도 2의 제어부(180)의 구성과 상기 도 3의 제어부(180)의 구성을 구분하여 나타내었으나, 상기 동작 판단부(260)의 동작과 상기 동기화 판단부(300)의 동작을 하나의 구성으로 결합하여 운용될 수 있으며, 또는 상기 제어부(180) 내에 상기 두 개의 구성이 모두 구성될 수 있음은 물론이다. 이하, 상기 도 3의 제어부(180)의 구성에서 상기 도 2의 제어부(180)의 구성과 차이나는 부분에 대해서 설명한다.
상기 오브젝트 인증 처리부(30)의 상기 제2 특징벡터 검출부(250)는 상기 오브젝트 검출부(240)에서 검출된 오브젝트의 위치에서 상기 오브젝트의 동작(움직임)을 나타내는 오브젝트 특징벡터(예컨대, 얼굴의 움직임, 눈의 깜박임, 입의 움직임 등)를 검출하여 출력할 수 있다. 특히, 상기 도 3에서는 상기 오브젝트가 입인 경우를 나타내며, 따라서 입의 움직임에 따라 입술의 크기 변화, 입술의 모양 변화 등에 따른 오브젝트 특징벡터를 검출하여 상기 동기화 판단부(300)로 출력하는 것을 예시로 설명한다.
그리고 상기 음성 인증 처리부(40)의 상기 제3 특징벡터 검출부(270)는 앞서 설명한 바와 같이 상기 마이크(123)를 통해 입력되는 음성으로부터 음성 특징벡터(예컨대, 톤, 주파수, 어휘, 속도 등)를 검출하여 출력할 수 있다. 이때, 상기 제3 특징벡터 검출부(270)는 상기 검출된 음성 특징벡터를 상기 음성 인증부(280)를 비롯하여 상기 동기화 판단부(300)로 각각 출력할 수 있다.
한편, 상기 동기화 판단부(300)는 상기 제2 특징벡터(250)에서 전달되는 오브젝트 특징벡터와 상기 제3 특징벡터(270)에서 전달되는 음성 특징벡터를 이용하여, 상기 두 특징벡터들이 시간적으로 동기화되어 있는지 판단하고, 그에 따른 동기화 정보를 출력한다. 예를 들어, 상기 동기화 판단부(300)는 상기 오브젝트 특징벡터에 따른 입술이 움직이는 동작과 상기 음성 오브젝트에 따른 음성의 동적 특성을 비교하고, 두 특성이 동기화되어 있는지 여부를 판단할 수 있다. 여기서, 상기 동기화 판단은 이미 훈련된 통계모델(예컨대, 입술 동작과 음성에 대해 학습된 통계모델)을 통해 입술 오브젝트가 동적인 특징벡터를 가지고, 그에 대응하여 음성 특징벡터가 검출되는지를 판단하는 방식으로 이루어질 수 있다. 또는 상기 동기화 판단은 상기 통계모델 없이 입술 오브젝트의 특징벡터를 기반으로 소리를 내어 말을 하는 현실적인 언어 행위 즉, 발화(utterance)의 시작점과 끝점을 검출하고, 상기 음성 특징벡터를 기반으로 발화의 시작점과 끝점을 검출하여, 두 개의 검출된 값을 비교하는 방식으로 이루어질 수 있다.
상기 인증 판단부(290)는 상기 얼굴 인증 처리부(20)에서 전달되는 얼굴 인증정보, 상기 동기화 판단부(300)에서 전달되는 동기화 정보, 그리고 상기 음성 인증 처리부(40)에서 전달되는 음성 인증정보를 이용하여 통합 인증을 수행하고 그에 따른 인증 결과를 출력할 수 있다. 상기 인증 판단부(290)는 전달된 얼굴 인증정보, 동기화 정보, 그리고 음성 인증정보를 분석하여 모두 인증된 사용자임을 나타낼 시 사용자 인증을 정상 처리할 수 있다. 또는 상기 인증 판단부(290)는 전달된 얼굴 인증정보, 동기화 정보, 그리고 음성 인증정보를 분석하여 어느 하나라도 비인증된 사용자임을 나타낼 시 사용자 인증을 에러 처리할 수 있다. 예를 들어, 상기 인증 판단부(290)는 얼굴 인증정보를 통해 인증된 사용자 얼굴임을 확인하고, 음성 인증정보를 통해 인증된 사용자 음성임을 확인하고, 동기화 정보를 통해 오브젝트 특징벡터와 음성 특징벡터 간의 동기화가 일치하는 것을 확인할 시 사용자 인증을 정상 처리할 수 있다. 반면, 상기 인증 판단부(290)는 얼굴 인증정보를 통해 비인증된 사용자 얼굴임을 확인하거나, 음성 인증정보를 통해 비인증된 사용자 음성임을 확인하거나, 또는 동기화 정보를 통해 오브젝트 특징벡터와 음성 특징벡터 간의 동기화가 일치하지 않는 것을 확인할 시 사용자 인증을 에러 처리할 수 있다.
도 4는 본 발명의 실시 예에 따른 제어부(180)에서 통계모델 관리부(50)의 구성을 개략적으로 도시한 도면이다.
상기 도 4를 참조하면, 본 발명의 통계모델 관리부(50)는 얼굴인증 학습부(410), 음성인증 학습부(420), 그리고 학습정보 처리부(430)를 포함하여 구성된다.
상기 얼굴인증 학습부(410)는 앞서 살펴본 바와 같은 영상 인증 처리부(10)를 통해 처리되는 얼굴의 특징벡터를 기반으로 하여 얼굴 인식용 통계모델을 생성하여 출력할 수 있다.
상기 음성인증 학습부(420)는 앞서 살펴본 바와 같은 음성 인증 처리부(40)를 통해 처리되는 음성의 특징벡터를 기반으로 하여 음성 인식용 통계모델을 생성하여 출력할 수 있다.
상기 학습정보 처리부(430)는 인증 모드에서 검출되는 얼굴 특징벡터, 오브젝트 특징벡터, 및 음성 특징벡터에 대한 사용자 인증을 위해, 상기 얼굴 인식용 통계모델과 상기 음성 인식용 통계모델을 상기 저장부(140)에 저장할 수 있다. 상기 학습정보 처리부(430)는 반복 학습된 얼굴 인식용 통계모델과 음성 인식용 통계모델을 기반으로 얼굴정보 및 음성정보로 각각의 할당된 저장영역에 저장할 수 있다. 이때, 상기 얼굴정보의 경우 학습된 얼굴 인식용 통계모델에 따라 얼굴의 특징벡터 및 오브젝트의 특징벡터로 구분되어 관리될 수 있다. 그리고 상기 음성정보의 경우 학습된 음성 인식용 통계모델에 따라 음성의 고유한 톤, 주파수, 속도 등과 같은 특징벡터와 보안 인증용 어휘(예컨대, 패스워드에 대응하는 단어 등)와 같은 특징벡터로 구분되어 관리될 수 있다.
도 5는 본 발명의 실시 예에 따른 사용자 디바이스(100)에서 복합 생체인식 정보를 이용하여 사용자를 인증하는 동작 예시를 도시한 도면이다.
특히, 상기 도 5에서는 사용자 디바이스(100)의 락스크린을 해제하기 위해 인증 모드가 발동되는 경우의 예시를 나타낸 것이다.
상기 도 5를 참조하면, 참조번호 <501>에 도시된 바와 같이 사용자 디바이스(100)가 대기모드에 따라 표시부(130)가 턴-오프(turn-off) 상태에서, 사용자의 조작(표시부(130)의 턴-온(turn-on)을 위한 사용자의 핫키(hot key) 입력 행위 등)에 의해 참조번호 <503>에 도시된 바와 같이 표시부(130)가 턴-온 될 수 있다. 이때, 상기 도 5에서는 사용자 디바이스(100)의 보호를 위해 사용자의 잠금 기능 설정 및 그에 대한 락스크린이 설정된 경우를 가정한다. 따라서 상기 표시부(130)가 턴-오프 상태에서 턴-온 상태로 전환될 시, 제어부(180)는 상기 참조번호 <503>에 나타낸 바와 같이 사용자에 의해 설정된 락스크린을 상기 표시부(130)에 나타낼 수 있다.
다음으로, 제어부(180)는 상기 참조번호 <503>과 같이 락스크린을 제공할 시 사용자의 인증을 위한 인증 모드가 설정되어 있는지 판별할 수 있다. 그리고 제어부(180)는 상기 인증 모드가 설정된 경우 카메라 모듈(110)과 마이크(123)를 구동하고 인증 모드를 실행할 수 있다.
다음으로, 제어부(180)는 참조번호 <505>에 나타낸 바와 같이 상기 카메라 모듈(110)을 통해 획득된 영상을 상기 표시부(130)에 나타낼 수 있다. 예를 들어, 사용자는 상기 표시부(130) 턴-온 시 상기 카메라 모듈(110)(특히, 전면 카메라)을 통해 사용자 얼굴이 촬영될 수 있도록 사용자 디바이스(100)를 공간상에 위치시킬 수 있다. 그러면, 제어부(180)는 상기 카메라 모듈(110)을 통해 입력되는 영상(특히, 사용자 얼굴 영상)을 표시부(130)로 전달하여 그를 표시할 수 있다. 이때, 제어부(180)는 표시부(130)에 표시된 락스크린 상의 일 영역에 상기 카메라 모듈(110)을 통해 입력되는 영상을 오버레이(overlay)하여 나타낼 수 있다. 또는 제어부(180)는 락스크린 표시는 생략하고 상기 카메라 모듈(110)을 통해 입력되는 영상만을 나타낼 수도 있다.
다음으로, 사용자는 상기 참조번호 <505>에 나타낸 바와 같이 상기 표시부(130)를 통해 사용자의 얼굴이 나타나면 음성을 발화할 수 있다. 그러면, 상기 표시부(130)에서는 참조번호 <505> 내지 참조번호 <509>에 나타낸 바와 같이 사용자의 발화에 따라 변화되는 영상이 나타날 수 있다. 이때, 제어부(180)는 상기 카메라 모듈(110)을 통해 입력되는 영상을 표시부(130)를 통해 표시하면서, 상기 입력되는 영상으로부터 사용자 인증을 위한 특징벡터(예컨대, 얼굴 특징벡터 및 오브젝트 특징벡터)를 검출할 수 있다. 또한 제어부(180)는 마이크(123)를 통해 입력되는 음성으로부터 사용자 인증을 위한 특징벡터(예컨대, 음성의 톤, 주파수, 어휘, 소리 등)를 검출할 수 있다.
다음으로, 제어부(180)는 상기 카메라 모듈(110)의 입력 영상으로부터 검출된 얼굴 특징벡터를 이용한 얼굴 인증, 상기 마이크(123)의 입력 음성으로부터 검출된 음성 특징벡터를 이용한 음성 인증, 그리고 상기 입력 영상에 검출된 오브젝트 특징벡터를 이용한 오브젝트 인증을 수행할 수 있다. 그리고 제어부(180)는 얼굴 인증, 음성 인증 및 오브젝트 인증에 따른 모든 결과를 취합하여 상기 사용자에 대한 최종 인증을 수행할 수 있다. 예를 들어, 제어부(180)는 상기 얼굴 인증을 통해 인증된 사용자 얼굴임을 확인하고, 상기 음성 인증을 통해 인증된 사용자 음성임을 확인하고, 상기 오브젝트 인증을 통해 오브젝트의 동작이 이루어진 상태(예컨대, 얼굴의 움직임, 눈의 깜박임, 입의 움직임 등)를 확인할 시 상기 사용자를 인증된 사용자인 것으로 판별할 수 있다.
또는 제어부(180)는 상기 카메라 모듈(110)의 입력 영상으로부터 검출된 얼굴 특징벡터를 이용한 얼굴 인증, 상기 마이크(123)의 입력 음성으로부터 검출된 음성 특징벡터를 이용한 음성 인증, 그리고 상기 입력 영상에서 검출된 오브젝트의 특징벡터와 상기 음성 특징벡터에 따른 입술 동작과 음성 간의 동기화 인증을 수행할 수 있다. 그리고 제어부(180)는 얼굴 인증, 음성 인증 및 동기화 인증에 따른 모든 결과를 취합하여 상기 사용자에 대한 최종 인증을 수행할 수 있다. 예를 들어, 제어부(180)는 상기 얼굴 인증을 통해 인증된 사용자 얼굴임을 확인하고, 상기 음성 인증을 통해 인증된 사용자 음성임을 확인하고, 상기 동기화 인증을 통해 발화된 음성과 그에 따른 입술 동작이 일치함을 확인할 시 상기 사용자를 인증된 사용자인 것으로 판별할 수 있다.
다음으로, 제어부(180)는 상기와 같은 복합적인 인증에 의해 상기 사용자가 인증된 사용자임을 판별할 시 사용자 인증을 정상 처리하고 인증 모드를 해제할 수 있다. 예를 들어, 제어부(180)는 잠금 기능 해제 및 상기 락스크린의 표시를 생략하고 참조번호 <511>에 나타낸 바와 같이 실행화면 표시를 제어할 수 있다. 상기 실행화면은 홈스크린이거나 상기 사용자 디바이스(100)가 대기모드(표시부 턴-오프 진입 상태) 이전에 실행된 어플리케이션의 실행화면 등을 나타낼 수 있다.
이와 같이, 본 발명의 실시 예에 따르면, 복합 생체인식 정보를 이용한 사용자 인증을 수행하되, 오브젝트 특징벡터의 동작 상태를 추가 감지하거나, 입술 동작과 입력 음성의 동기화 상태를 추가 감지하는 것에 의해 보다 강화된 사용자 인증을 수행할 수 있다. 이에 따라, 상기 사용자 디바이스(100)를 불법 사용하고자 하는 사용자가 정식 사용자의 사진 및 녹취된 음성으로 사용자 디바이스(100)의 불법 사용을 방지하거나, 사용자 인증이 필요한 다양한 정보로의 접근을 미연에 차단할 수 있다. 그리고 이상에서는 본 발명의 인증 모드가 잠금 기능에 따른 락스크린을 해제하는 예시에 적용되는 것을 설명하였다. 하지만, 본 발명의 실시 예에 따른 상기 인증 모드는 사용자가 타인으로부터 보호하고자 하는 정보(예컨대, 주소록, 개인 데이터 등), 사용자 디바이스(100)를 이용한 금융 서비스 접근의 허용 여부 판별, 그리고 사용자 디바이스(100)에서 과금이 발생하는 서비스 등에 대해서도 인증 모드를 설정하고, 앞서와 같은 사용자 통합 인증을 수행할 수 있다.
도 6은 본 발명의 실시 예에 따른 사용자 디바이스(100)에서 사용자 인증을 위한 통계모델 등록 방법을 도시한 흐름도이다.
상기 도 6을 참조하면, 제어부(180)는 사용자 요청에 응답하여 인증 설정 모드 진입(601단계) 시 인증 관련 구성을 구동할 수 있다(603단계). 상기 인증 관련 구성은 복합 생체인식 정보 인식을 위한 구성을 나타내며, 본 발명에서는 카메라 모듈(110) 및 마이크(123)를 포함할 수 있다. 여기서, 상기 도 6에서는 생략하였으나, 상기 인증 설정 모드 진입 시 인증 모드를 수행하고자 하는 카테고리(category)를 선택할 수 있는 사용자 인터페이스(UI, User Interface)가 제공될 수 있다. 예를 들어, 잠금 기능 해제 시 인증 모드 실행, 주소록 진입 시 인증 모드 실행, 금융 서비스 진입 시 인증 모드 실행, 과금 서비스 진입 시 인증 모드 실행 등과 같은 다양한 카테고리에 대한 인증 모드를 설정할 수 있다. 그리고 상기 사용자 인터페이스를 통해 하나 또는 그 이상의 카테고리의 설정이 완료될 시 상기 인증 관련 구성 구동될 수 있도록 구현될 수 있다.
다음으로, 제어부(180)는 상기 인증 관련 구성(특히, 카메라 모듈(110) 및 마이크(123))이 구동되면, 상기 카메라 모듈(110)을 통해 전달되는 얼굴 영상을 획득하고(605단계) 상기 마이크(123)를 통해 전달되는 음성을 획득할 수 있다(607단계). 즉, 본 발명에서 사용자 인증을 위한 통계모델은 크게 얼굴 학습 과정과 음성 학습 과정으로 구분되고, 상기 얼굴 학습 과정과 상기 음성 학습 과정을 통해 얼굴 인식용 통계모델과 음성 인식용 통계모델을 구성할 수 있다. 이때, 상기 얼굴 학습 과정과 음성 학습 과정은 동시 진행되거나 또는 개별(시계열) 진행될 수 있으며, 상기 도 6에서는 병렬적으로 동시 진행되는 처리 동작을 예시로 나타낸다. 상기 각 학습 과정들의 병렬 또는 시계열 운용 방식은 사용자 설정에 따라 결정될 수 있다.
상기 얼굴 학습 과정에 따르면, 제어부(180)는 상기 획득된 얼굴 영상으로부터 얼굴을 추출하고(611단계), 추출된 얼굴로부터 얼굴 특징벡터를 검출할 수 있다(613단계). 예를 들어, 제어부(180)는 상기 카메라 모듈(110)을 통해 입력되는 얼굴 영상으로부터 얼굴 영역, 눈 영역, 그리고 입 영역 등의 특징을 구분하여 얼굴을 추출할 수 있다. 그리고 제어부(180)는 추출된 얼굴의 특징 중 눈의 중심점 등을 이용하여 얼굴 형상에 대한 정규화를 수행하고, 정규화된 얼굴 영상에서 얼굴 특징벡터를 검출할 수 있다. 다음으로, 제어부(180)는 상기 얼굴 특징벡터를 이용한 얼굴 인증 학습(615단계)을 통해 얼굴 인식용 통계모델을 생성하여(617단계) 저장부(140)의 해당 영역(예컨대, 얼굴정보 저장영역(160))에 저장할 수 있다(619단계). 예를 들어, 제어부(180)는 SVM(Support Vector Machine)과 같은 기계 학습 알고리즘(machine learning algorithm)을 기반으로 상기 얼굴 특징벡터에 대한 학습을 수행하여 사용자 얼굴 인증을 위한 판별 기준인 얼굴 인식용 통계모델을 구축할 수 있다.
상기 음성 학습 과정에 따르면, 상기 제어부(180)는 상기 획득된 음성으로부터 음성 특징벡터를 검출할 수 있다(621단계). 예를 들어, 제어부(180)는 상기 마이크(123)를 통해 입력되는 음성으로부터 톤, 주파수, 어휘, 속도 등의 특징을 분석하여 음성 특징벡터를 검출할 수 있다. 그리고 제어부(180)는 상기 음성 특징벡터를 이용한 음성 인증 학습(623단계)을 통해 음성 인식용 통계모델을 생성하여(625단계) 저장부(140)의 해당 영역(예컨대, 음성정보 저장영역(170))에 저장할 수 있다(627단계). 예를 들어, 제어부(180)는 앞서와 같이 SVM과 같은 기계 학습 알고리즘을 기반으로 상기 음성 특징벡터에 대한 학습을 수행하여 사용자 음성 인증을 위한 판별 기준인 음성 인식용 통계모델을 구축할 수 있다.
한편, 상기 도 6에서는 생략하였으나, 사용자는 인증 모드의 운용 방식에 대한 설정을 추가적으로 행할 수 있다. 예를 들어, 앞서 도 2를 참조한 설명과 같이 얼굴 인증, 음성 인증 및 오브젝트 동작 변화 인증을 기반으로 하는 통합 인증 방식과, 앞서 도 3을 참조한 설명과 같이 얼굴 인증, 음성 인증 및 동기화 인증(입술 오브젝트의 동작 변화와 입력 음성 간의 동기화 여부)을 기반으로 하는 통합 인증 방식 중 어느 하나의 방식을 설정할 수 있다. 이때, 전자의 통합 인증 방식의 경우 동작 변화를 인증하고자 하는 오브젝트 타입(예컨대, 얼굴의 움직임, 눈의 깜박임, 입의 움직임 등)을 추가적으로 설정할 수도 있다.
도 7은 본 발명의 실시 예에 따른 사용자 디바이스(100)에서 사용자 인증 방법을 도시한 흐름도이다.
상기 도 7을 참조하면, 제어부(180)는 사용자 디바이스(100)의 특정 기능 실행에 응답하여 인증 모드 진입(701단계) 시 인증 관련 구성을 구동할 수 있다(703단계). 예를 들어, 제어부(180)는 사용자의 특정 기능 실행이 요청될 시, 상기 기능 실행에 사용자 인증을 위한 인증 모드가 설정되어 있는지 여부를 판별할 수 있다. 상기 기능 실행에 인증 모드가 설정된 경우 상기 인증 모드 진입을 제어할 수 있다. 그리고 제어부(180)는 상기 인증 모드 진입 시 사용자 인증을 위해 설정된 카메라 모듈(110)과 마이크(123)를 구동할 수 있다. 상기 인증 모드가 설정되는 기능은 앞서 살펴본 바와 같이, 잠금 기능, 금융 서비스, 과금 서비스, 주소록 등 사용자 설정에 따른 기능일 수 있다.
다음으로, 제어부(180)는 상기 인증 관련 구성이 구동되면, 상기 카메라 모듈(110)을 통해 전달되는 얼굴 영상을 획득하고(705단계) 상기 마이크(123)를 통해 전달되는 음성을 획득할 수 있다(707단계). 본 발명에서 사용자 인증을 위한 인증 과정은 크게 영상 인증 과정과 음성 인증 과정으로 구분되고, 상기 영상 인증 과정과 상기 음성 인증 과정은 병렬적 또는 시계열적으로 운용할 수 있다. 그리고 상기 영상 인증 과정은 크게 얼굴 인증 과정과 오브젝트 인증 과정으로 구분될 수 있으며, 얼굴 인증 과정 및 오브젝트 인증 과정은 병렬적 또는 시계열적으로 운용할 수 있다. 상기 각 인증 과정들의 병렬 또는 시계열 운용 방식은 사용자 설정에 의해 결정될 수 있다.
상기 영상 인증 과정 중 얼굴 인증 과정에 따르면, 제어부(180)는 상기 획득된 얼굴 영상으로부터 얼굴을 추출하고(711단계), 추출된 얼굴로부터 얼굴 특징벡터를 검출할 수 있다(713단계). 예를 들어, 제어부(180)는 상기 카메라 모듈(110)을 통해 입력되는 얼굴 영상으로부터 얼굴 영역, 눈 영역, 그리고 입 영역 등의 특징을 구분하여 얼굴을 추출할 수 있다. 그리고 제어부(180)는 추출된 얼굴의 특징 중 눈의 중심점 등을 이용하여 얼굴 형상에 대한 정규화를 수행하고, 정규화된 얼굴 영상에서 얼굴 특징벡터를 검출할 수 있다. 다음으로, 제어부(180)는 상기 얼굴 특징벡터와 학습된 얼굴 인식용 통계모델을 비교하는 것에 의해 얼굴 인증을 수행하고(715단계), 그에 따른 얼굴 인증정보를 생성할 수 있다(717단계).
상기 영상 인증 과정 중 오브젝트 인증 과정에 따르면, 제어부(180)는 상기 획득된 얼굴 영상으로부터 오브젝트를 검출하고(721단계), 검출된 오브젝트로부터 오브젝트 특징벡터를 검출할 수 있다(723단계). 상기 오브젝트는 사용자의 얼굴에서 움직임을 판별하기 위한 요소로, 상기 도 7에서는 얼굴, 눈, 입 등에 해당할 수 있다. 예를 들어, 제어부(180)는 상기 카메라 모듈(110)을 통해 입력되는 얼굴 영상으로부터 얼굴 영역, 눈 영역, 그리고 입 영역 중 설정된 오브젝트의 위치를 검출하고, 검출된 오브젝트의 위치에서 상기 오브젝트의 동작(움직임)을 나타내는 오브젝트 특징벡터(예컨대, 얼굴의 움직임, 눈의 깜박임, 입의 움직임 등)를 검출할 수 있다. 다음으로, 제어부(180)는 상기 오브젝트 특징벡터로부터 오브젝트의 동작 여부를 판단하고(725단계), 그에 따른 동작정보를 생성할 수 있다(725단계).
상기 음성 인증 과정에 따르면, 제어부(180)는 상기 획득된 음성으로부터 음성 특징벡터를 검출할 수 있다(731단계). 예를 들어, 제어부(180)는 마이크(123)를 통해 입력되는 음성으로부터 톤, 주파수, 어휘, 속도 등의 특징을 분석하여 음성 특징벡터를 검출할 수 있다. 그리고 제어부(180)는 상기 음성 특징벡터와 학습된 음성 인식용 통계모델을 비교하는 것에 의해 음성 인증을 수행하고(733단계), 그에 따른 음성 인증정보를 생성할 수 있다(735단계).
다음으로, 제어부(180)는 상기 얼굴 인증정보, 동작정보, 그리고 음성 인증정보를 기반으로 통합 인증을 수행하고(741단계), 그에 따른 인증 결과를 출력할 수 있다(743단계). 예를 들어, 제어부(180)는 상기 얼굴 인증정보를 통해 인증된 사용자 얼굴임을 확인하고, 상기 음성 인증정보를 통해 인증된 사용자 음성임을 확인하고, 상기 동작정보를 통해 오브젝트의 동작이 이루어짐을 확인할 시 상기 사용자에 대한 사용자 인증을 정상 처리하고, 그에 따른 인증 결과를 출력(예컨대, 락스크린 해제, 과금 서비스 허용, 주소록 표시 등)할 수 있다. 또는 제어부(180)는 상기 얼굴 인증정보를 통해 비인증된 사용자 얼굴임을 확인하거나, 상기 음성 인증정보를 통해 비인증된 사용자 음성임을 확인하거나, 또는 상기 동작정보를 통해 오브젝트의 동작이 이루어지지 않음을 확인할 시 상기 사용자에 대한 사용자 인증을 에러 처리하고, 그에 따른 인증 결과를 출력(인증 실패에 대응하는 에러 피드백 정보 출력 등)할 수 있다.
도 8은 본 발명의 실시 예에 따른 사용자 디바이스(100)에서 사용자 인증 방법을 도시한 흐름도이다.
상기 도 8을 참조하면, 제어부(180)는 앞서 설명한 바와 같이 사용자 디바이스(100)의 특정 기능 실행에 응답하여 인증 모드 진입(801단계) 시 카메라 모듈(110) 및 마이크(123)와 같은 인증 관련 구성을 구동할 수 있다(803단계).
다음으로, 제어부(180)는 상기 인증 관련 구성이 구동되면, 상기 카메라 모듈(110)을 통해 전달되는 얼굴 영상을 획득하고(805단계) 상기 마이크(123)를 통해 전달되는 음성을 획득할 수 있다(807단계). 본 발명에서 사용자 인증을 위한 인증 과정은 앞서 살펴본 바와 같이 크게 영상 인증 과정과 음성 인증 과정으로 구분되며, 또한 상기 영상 인증 과정은 크게 얼굴 인증 과정과 오브젝트 인증 과정으로 구분될 수 있으며, 이러한 인증 과정들은 그 운용 방식에 따라 병렬적 또는 시계열적으로 이루어질 수 있다.
상기 영상 인증 과정 중 얼굴 인증 과정에 따르면, 제어부(180)는 상기 획득된 얼굴 영상으로부터 얼굴을 추출하고(811단계), 추출된 얼굴로부터 얼굴 특징벡터를 검출할 수 있다(813단계). 그리고 제어부(180)는 검출된 얼굴 특징벡터와 학습된 얼굴 인식용 통계모델을 비교하는 것에 의해 사용자에 대한 얼굴 인증을 수행하고(815단계), 그에 따른 얼굴 인증정보를 생성할 수 있다(817단계).
상기 영상 인증 과정 중 오브젝트 인증 과정에 따르면, 제어부(180)는 상기 획득된 얼굴 영상으로부터 오브젝트를 검출하고(821단계), 검출된 오브젝트로부터 오브젝트 특징벡터를 검출할 수 있다(823단계). 그리고 제어부(180)는 상기 오브젝트 특징벡터와 상기 음성 인증 과정에서 검출된 음성 특징벡터를 기반으로, 두 특징벡터들 간의 동기화 여부를 체크하고(825단계), 그에 따른 동기화 정보를 생성할 수 있다(827단계). 즉, 제어부(180)는 상기 오브젝트 특징벡터와 상기 음성 특징벡터가 시간적으로 동기화되어 있는지 판별할 수 있다. 예를 들어, 제어부(180)는 상기 오브젝트 특징벡터에 따른 입술이 움직이는 동작과 상기 음성 오브젝트에 따른 음성의 동적 특성을 비교하고, 두 특성이 동기화되어 있는지 여부를 판별할 수 있다. 그리고 제어부(180)는 동기화 여부 판별에 따른 동기화 정보를 생성할 수 있다.
상기 음성 인증 과정에 따르면, 제어부(180)는 상기 획득된 음성으로부터 음성 특징벡터를 검출할 수 있다(831단계). 그리고 제어부(180)는 검출된 음성 특징벡터와 학습된 음성 인식용 통계모델을 비교하는 것에 의해 사용자에 대한 음성 인증을 수행하고(833단계), 그에 따른 음성 인증정보를 생성할 수 있다. 여기서, 제어부(180)는 앞서 설명한 바와 같이 검출된 음성 특징벡터를 이용하여 음성 인증을 수행하면서, 상기 음성 특징벡터와 상기 오브젝트 특징벡터 간의 동기화 인증을 수행할 수 있다.
다음으로, 제어부(180)는 상기 얼굴 인증정보, 동기화 정보, 그리고 음성 인증정보를 기반으로 통합 인증을 수행하고(841단계), 그에 따른 인증 결과를 출력할 수 있다(843단계). 예를 들어, 제어부(180)는 상기 얼굴 인증정보를 통해 인증된 사용자 얼굴임을 확인하고, 상기 음성 인증정보를 통해 인증된 사용자 음성임을 확인하고, 상기 동기화 정보를 통해 오브젝트 특징벡터와 음성 특징벡터 간의 동기화가 일치하는 것을 확인할 시 상기 사용자에 대한 인증을 정상 처리하고, 그에 따른 인증 결과를 출력할 수 있다. 또는 제어부(180)는 상기 얼굴 인증정보를 통해 비인증된 사용자 얼굴임을 확인하거나, 상기 음성 인증정보를 통해 비인증된 사용자 음성임을 확인하거나, 또는 상기 동기화 정보를 통해 오브젝트 특징벡터와 음성 특징벡터 간의 동기화가 일치하지 않는 것을 확인할 시 상기 사용자에 대한 사용자 인증을 에러 처리하고, 그에 따른 인증 결과를 출력할 수 있다.
도 9는 본 발명의 실시 예에 따른 사용자 디바이스(100)에서 사용자 인증을 위한 운용 방법을 도시한 흐름도이다.
특히, 상기 도 9에서는 카메라 모듈(110) 및 마이크(123) 중 어느 하나로부터 일 생체인식 정보가 제공되고, 다른 하나로부터 타 생체인식 정보가 제공되지 않은 경우, 그에 대한 에러 또는 유효 여부를 결정하는 동작을 나타낸 것이다.
상기 도 9를 참조하면, 제어부(180)는 앞서 설명한 바와 같이 사용자 디바이스(100)의 특정 기능 실행에 응답하여 인증 모드 진입(901단계) 시 카메라 모듈(110) 및 마이크(123)와 같은 인증 관련 구성을 구동할 수 있다(903단계).
제어부(180)는 상기 인증 관련 구성이 구동되면, 상기 카메라 모듈(110) 및 마이크(123)로부터 적어도 하나의 생체인식 정보가 검출되는지 판단할 수 있다(905단계).
제어부(180)는 상기 카메라 모듈(110) 및 마이크(123)로부터 어떠한 생체인식 정보도 검출되지 않을 시(905단계의 NO) 사용자 인증 에러로 판정하고(919단계), 그에 따른 에러 피드백 정보 출력을 제어할 수 있다(921단계). 이는, 상기 카메라 모듈(110)을 통해 사용자의 얼굴이 입력되지 않고, 상기 마이크(123)를 통해 사용자의 음성이 입력되지 않은 상태일 수 있다. 이때, 상기 도 9에서는 생략하였으나, 제어부(180)는 상기 에러 판정 시 미리 설정된 설정시간동안 생체인식 정보 검출을 대기한 후, 상기 설정시간 경과 시까지 생체인식 정보가 검출되지 않을 시 에러로 결정할 수 있다.
제어부(180)는 상기 카메라 모듈(110) 및 마이크(123)로부터 적어도 하나의 생체인식 정보가 검출될 시(905단계의 YES) 상기 검출된 생체인식 정보가 복수에 해당하는 복합 생체인식 정보인지 판단할 수 있다(907단계). 그리고 제어부(180)는 상기 복합 생체인식 정보인 것으로 판단할 시(907단계의 YES) 앞서 살펴본 바와 같은 절차에 따라 상기 복합 생체인식 정보를 이용한 통합 인증을 수행할 수 있다(909단계). 반면, 제어부(180)는 하나의 생체인식 정보인 것으로 판단할 시(907단계의 NO) 상기 생체인식 정보가 음성 인식정보에 해당하는지 영상 인식정보에 해당하는지 판단할 수 있다(911단계).
제어부(180)는 상기 911단계에서 음성 인식정보인 것으로 판단할 시(911단계의 YES), 상기 마이크(123)를 통해 입력된 음성을 이용하여 앞서 살펴본 바와 같은 절차에 따라 음성 인증을 수행하면서, 상기 카메라 모듈(110)에 의한 영상 획득을 대기할 수 있다(913단계). 그리고 제어부(180)는 영상 획득 대기 중에 영상 획득 여부를 체크할 수 있다(915단계).
제어부(180)는 영상이 획득되면(915단계의 YES), 상기 사용자에 대한 통합 인증을 수행할 수 있다(909단계). 이때, 제어부(180)는 상기 카메라 모듈(1110)을 통해 입력된 영상을 이용한 영상 인증을 수행한 후, 상기 음성 인증에 따른 음성 인증정보와 상기 영상 인증에 따른 영상 인증정보를 기반으로 하는 통합 인증을 수행할 수 있다.
제어부(180)는 영상이 획득되지 않으면(915단계의 NO), 상기 마이크(123)를 통한 음성 입력이 종료되는지 여부를 판별할 수 있다(917단계). 제어부(180)는 음성 입력이 종료되지 않으면(917단계의 NO) 상기 913단계로 진행하여 이하의 동작을 수행할 수 있다. 제어부(180)는 음성 입력이 종료되면(917단계의 YES) 사용자 인증 에러로 판정하고(919단계), 그에 따른 에러 피드백 정보 출력을 제어할 수 있다(921단계).
제어부(180)는 상기 911단계에서 영상 인식정보인 것으로 판단할 시(911단계의 NO), 상기 카메라 모듈(110)을 통해 입력된 영상을 이용하여 앞서 살펴본 바와 같은 절차에 따라 영상 인증을 수행하면서, 상기 마이크(123)에 의한 음성 획득을 대기할 수 있다(923단계). 그리고 제어부(180)는 음성 획득 대기 중에 음성 획득 여부를 체크할 수 있다(925단계).
제어부(180)는 음성이 획득되면(925단계의 YES), 상기 사용자에 대한 통합 인증을 수행할 수 있다(929단계). 이때, 제어부(180)는 상기 마이크(123)를 통해 입력된 음성을 이용한 음성 인증을 수행한 후, 상기 영상 인증에 따른 영상 인증정보와 상기 음성 인증에 따른 음성 인증정보를 기반으로 하는 통합 인증을 수행할 수 있다.
제어부(180)는 음성이 획득되지 않으면(925단계의 NO), 미리 정의된 설정시간이 경과되는지 여부를 판별할 수 있다(927단계). 제어부(180)는 설정시간이 경과되지 않으면(927단계의 NO) 상기 923단계로 진행하여 이하의 동작을 수행할 수 있다. 제어부(180)는 설정시간이 경과되면(927단계의 YES) 사용자 인증 에러로 판정하고(919단계), 그에 따른 에러 피드백 정보 출력을 제어할 수 있다(921단계).
한편, 사용자는 사용자 디바이스(100)를 이용한 사용자가 사용자 인증 시, 음성 인증을 위한 발화 시 여러 가지 이유로 마이크(123)를 사용자 입 주위로 위치시키는 행위를 할 수 있다. 예를 들어, 타인으로부터 발화하는 음성의 누출을 방지하거나 또는 조용한 환경에서 조용히 발화를 해야 하는 상황에서, 사용자는 마이크(123)를 사용자 입에 인접하여 발화할 수 있다. 이러한 경우, 카메라 모듈(110)에 의해서는 사용자 얼굴이 인식되지 않은 상태일 수 있다. 또는 사용자는 사용자 얼굴을 먼저 인식 시킨 후 음성 입력을 위한 발화를 시간차를 두고 입력할 수도 있다. 따라서 본 발명에서는 위와 같은 다양한 환경을 고려하여, 각각의 생체인식 정보가 동시에 인식되지 않고 어느 하나의 생체인식 정보만 인식되는 경우에도, 설정된 루틴에 따라 인식되지 않은 생체인식 정보의 입력을 일정 범위만큼 대기하는 것을 통해 사용자 의도와는 무관하게 이루어지는 무분별한 에러 판정을 줄일 수 있도록 한다.
한편, 상술한 바와 같은 본 발명의 사용자 디바이스에서 복합 생체인식 정보를 이용한 사용자 인증 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 이때, 상기 컴퓨터로 판독 가능한 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 한편, 기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
상기 컴퓨터로 판독 가능한 기록 매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기매체(Magnetic Media), CD-ROM(Compact Disc Read Only Memory), DVD(Digital Versatile Disc)와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
그리고 본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 사용자 디바이스
110: 카메라 모듈 120: 오디오처리부
121: 스피커 123: 마이크
130: 표시부 140: 저장부
150: 학습정보 저장영역 160: 얼굴정보 저장영역
170: 음성정보 저장영역 180: 제어부
10: 영상 인증 처리부 40: 음성 인증 처리부
50: 통계모델 관리부 260: 동작 판단부
290: 인증 판단부 300: 동기화 판단부

Claims (18)

  1. 사용자 인증 방법에 있어서,
    사용자 인증을 위해, 카메라 모듈 및 마이크를 이용하여, 영상정보 및 음성정보 중 적어도 하나를 획득하는 과정;
    상기 영상정보 및 음성정보가 미리 정의된 설정시간 동안 모두 획득되는 경우, 상기 획득된 영상정보 및 음성정보에 대한 각각의 인증정보들을 생성하는 과정;
    상기 생성된 인증정보들을 기반으로 통합 사용자 인증을 수행하는 과정을 포함하고,
    상기 영상정보 및 음성정보 중 적어도 하나만 획득될 때, 상기 미리 정의된 설정시간 동안 획득되지 않은 상기 영상정보 및 음성정보 중의 하나가 획득되는 지의 여부를 판단하되, 상기 미리 정의된 설정시간 내에, 상기 영상정보 및 음성정보 중의 하나가 획득되지 않은 경우, 에러 정보를 출력하는 것을 특징으로 하는 사용자 인증 방법.
  2. 삭제
  3. 제1항에 있어서, 상기 생성하는 과정은
    상기 영상정보를 기반으로 얼굴 특징벡터 및 오브젝트 특징벡터를 검출하고, 상기 음성정보를 기반으로 음성 특징벡터를 검출하는 과정;
    상기 얼굴 특징벡터를 이용한 인증에 대한 얼굴 인증정보를 생성하는 과정;
    상기 음성 특징벡터를 이용한 인증에 대한 음성 인증정보를 생성하는 과정;
    상기 오브젝트 특징벡터를 이용한 인증에 대한 동작정보를 생성하는 과정을 포함하는 것을 특징으로 하는 사용자 인증 방법.
  4. 제3항에 있어서, 상기 동작정보는
    설정된 오브젝트의 동작 상태를 나타내는 정보인 것을 특징으로 하는 사용자 인증 방법.
  5. 제3항에 있어서, 상기 수행하는 과정은
    상기 얼굴 인증정보, 상기 음성 인증정보, 및 상기 동작정보를 기반으로 최종 인증 여부를 결정하는 과정을 포함하는 것을 특징으로 하는 사용자 인증 방법.
  6. 제5항에 있어서,
    상기 얼굴 인증정보, 상기 음성 인증정보 및 상기 동작정보 중 적어도 하나가 정상 인증되지 않을 시 에러 판정하는 과정을 더 포함하는 것을 특징으로 하는 사용자 인증 방법.
  7. 제1항에 있어서, 상기 생성하는 과정은
    상기 영상정보를 기반으로 얼굴 특징벡터 및 오브젝트 특징벡터를 검출하고, 상기 음성정보를 기반으로 음성 특징벡터를 검출하는 과정;
    상기 얼굴 특징벡터를 이용한 인증에 대한 얼굴 인증정보를 생성하는 과정;
    상기 음성 특징벡터를 이용한 인증에 대한 음성 인증정보를 생성하는 과정;
    상기 오브젝트 특징벡터와 상기 음성 특징벡터를 이용한 인증에 대한 동기화 정보를 생성하는 과정을 포함하는 것을 특징으로 하는 사용자 인증 방법.
  8. 제7항에 있어서, 상기 동기화 정보는
    상기 오브젝트 특징벡터와 상기 음성 특징벡터들이 시간적으로 동기화되어 있는지 나타내는 정보인 것을 특징으로 하는 사용자 인증 방법.
  9. 제7항에 있어서, 상기 수행하는 과정은
    상기 얼굴 인증정보, 상기 음성 인증정보, 및 상기 동기화 정보를 기반으로 최종 인증 여부를 결정하는 과정을 포함하는 것을 특징으로 하는 사용자 인증 방법.
  10. 제9항에 있어서,
    상기 얼굴 인증정보, 상기 음성 인증정보 및 상기 동기화 정보 중 적어도 하나가 정상 인증되지 않을 시 에러 판정하는 과정을 더 포함하는 것을 특징으로 하는 사용자 인증 방법.
  11. 사용자 디바이스에 있어서,
    영상을 획득하는 카메라 모듈;
    음성을 획득하는 마이크;
    상기 카메라 모듈 및 상기 마이크를 이용하여, 영상정보 및 음성정보 중 적어도 하나를 획득하고, 상기 영상정보 및 음성정보가 미리 정의된 설정시간 동안 모두 획득되는 경우, 상기 획득된 영상정보 및 음성정보에 대한 각각의 인증정보들을 생성하고, 상기 생성된 인증정보들을 기반으로 통합 사용자 인증을 수행하는 제어부를 포함하되,
    상기 제어부는, 상기 영상정보 및 음성정보 중 적어도 하나만 획득될 때, 상기 미리 정의된 설정시간 동안 획득되지 않은 상기 영상정보 및 음성정보 중의 하나가 획득되는 지의 여부를 판단하되, 상기 미리 정의된 설정시간 내에, 상기 영상정보 및 음성정보 중의 하나가 획득되지 않은 경우, 에러 정보를 출력하도록 설정된 것을 특징으로 하는 사용자 디바이스.
  12. 제11항에 있어서, 상기 제어부는
    상기 카메라 모듈을 통해 획득된 영상으로부터 얼굴 특징벡터 및 오브젝트 특징벡터 검출에 의한 사용자 인증을 처리하는 영상 인증 처리부;
    상기 마이크를 통해 획득된 음성으로부터 음성 특징벡터 검출에 의한 사용자 인증을 처리하는 음성 인증 처리부;
    상기 영상 인증 처리부 및 상기 음성 인증 처리부에서 전달되는 복수의 인증정보들을 기반으로 사용자에 대한 통합 인증을 처리하는 인증 판단부를 포함하는 것을 특징으로 하는 사용자 디바이스.
  13. 제12항에 있어서, 상기 영상 인증 처리부는
    상기 영상으로부터 캡처된 정지영상을 기반으로 정적인 상기 얼굴 특징벡터를 검출하고, 검출된 얼굴 특징벡터를 이용한 얼굴 인증을 처리하는 얼굴 인증 처리부;
    상기 영상을 기반으로 결정된 오브젝트의 동적인 상태를 나타내는 상기 오브젝트 특징벡터를 검출하고, 검출된 오브젝트 특징벡터를 이용한 오브젝트 인증을 처리하는 오브젝트 인증 처리부를 포함하는 것을 특징으로 하는 사용자 디바이스.
  14. 제13항에 있어서, 상기 오브젝트 인증 처리부는
    상기 오브젝트 특징벡터로부터 오브젝트의 동작 여부를 판단하여 사용자 인증을 수행하고, 그에 따른 동작정보를 출력하는 동작 판단부; 및
    상기 오브젝트 특징벡터와 상기 음성 특징벡터를 이용하여 두 특징벡터들이 시간적으로 동기화되어 있는지 판단하고, 그에 따른 동기화 정보를 출력하는 동기화 판단부 중 적어도 하나를 포함하는 것을 특징으로 하는 사용자 디바이스.
  15. 제14항에 있어서, 상기 인증 판단부는
    상기 얼굴 인증 처리부의 인증에 의한 얼굴 인증정보, 상기 음성 인증 처리부의 인증에 의한 음성 인증정보, 및 상기 동작 판단부에 의한 상기 동작정보를 기반으로 최종 인증 여부를 결정하는 것을 특징으로 하는 사용자 디바이스.
  16. 제14항에 있어서, 상기 인증 판단부는
    상기 얼굴 인증 처리부의 인증에 의한 얼굴 인증정보, 상기 음성 인증 처리부의 인증에 의한 음성 인증정보, 및 상기 동기화 판단부에 의한 상기 동기화 정보를 기반으로 최종 인증 여부를 결정하는 것을 특징으로 하는 사용자 디바이스.
  17. 제11항에 있어서, 상기 사용자 디바이스는
    얼굴 인식용 통계모델 및 음성 인식용 통계모델을 저장하는 저장부를 포함하는 것을 특징으로 하는 사용자 디바이스.
  18. 사용자 인증을 위해, 카메라 모듈 및 마이크를 이용하여, 영상정보 및 음성정보 중 적어도 하나를 획득하고, 상기 영상정보 및 음성정보가 미리 정의된 설정시간 동안 모두 획득되는 경우, 상기 획득된 영상정보 및 음성정보에 대한 각각의 인증정보들을 생성하고, 상기 생성된 인증정보들을 기반으로 통합 사용자 인증을 수행하고, 상기 영상정보 및 음성정보 중 적어도 하나만 획득될 때, 상기 미리 정의된 설정시간 동안 획득되지 않은 상기 영상정보 및 음성정보 중의 하나가 획득되는 지의 여부를 판단하되, 상기 미리 정의된 설정시간 내에, 상기 영상정보 및 음성정보 중의 하나가 획득되지 않은 경우, 에러 정보를 출력하는 프로그램을 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록 매체.
KR1020120019333A 2012-02-24 2012-02-24 사용자 디바이스에서 복합 생체인식 정보를 이용한 사용자 인증 방법 및 장치 KR101971697B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020120019333A KR101971697B1 (ko) 2012-02-24 2012-02-24 사용자 디바이스에서 복합 생체인식 정보를 이용한 사용자 인증 방법 및 장치
EP13156467.6A EP2631843A3 (en) 2012-02-24 2013-02-22 Method and system for authenticating user of a mobile device via hybrid biometics information
US13/774,390 US9547760B2 (en) 2012-02-24 2013-02-22 Method and system for authenticating user of a mobile device via hybrid biometics information
EP17187085.0A EP3264333A1 (en) 2012-02-24 2013-02-22 Method and system for authenticating user of a mobile device via hybrid biometics information
PCT/KR2013/001459 WO2013125910A1 (en) 2012-02-24 2013-02-22 Method and system for authenticating user of a mobile device via hybrid biometics information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120019333A KR101971697B1 (ko) 2012-02-24 2012-02-24 사용자 디바이스에서 복합 생체인식 정보를 이용한 사용자 인증 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20130097581A KR20130097581A (ko) 2013-09-03
KR101971697B1 true KR101971697B1 (ko) 2019-04-23

Family

ID=47912908

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120019333A KR101971697B1 (ko) 2012-02-24 2012-02-24 사용자 디바이스에서 복합 생체인식 정보를 이용한 사용자 인증 방법 및 장치

Country Status (4)

Country Link
US (1) US9547760B2 (ko)
EP (2) EP3264333A1 (ko)
KR (1) KR101971697B1 (ko)
WO (1) WO2013125910A1 (ko)

Families Citing this family (109)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080256613A1 (en) * 2007-03-13 2008-10-16 Grover Noel J Voice print identification portal
JP5649601B2 (ja) * 2012-03-14 2015-01-07 株式会社東芝 照合装置、方法及びプログラム
US9887983B2 (en) 2013-10-29 2018-02-06 Nok Nok Labs, Inc. Apparatus and method for implementing composite authenticators
US10270748B2 (en) 2013-03-22 2019-04-23 Nok Nok Labs, Inc. Advanced authentication techniques and applications
US9396320B2 (en) 2013-03-22 2016-07-19 Nok Nok Labs, Inc. System and method for non-intrusive, privacy-preserving authentication
KR102104123B1 (ko) * 2013-07-15 2020-04-23 삼성전자주식회사 콘텐츠 디스플레이 장치 및 방법
KR101402212B1 (ko) * 2013-09-09 2014-06-11 (주)시솔 Nfc 장치
US9639689B1 (en) * 2013-12-23 2017-05-02 EMC IP Holding Company LLC User authentication
US10157272B2 (en) 2014-02-04 2018-12-18 Qualcomm Incorporated Systems and methods for evaluating strength of an audio password
WO2015139043A1 (en) * 2014-03-14 2015-09-17 Kadenze, Inc. Multimedia educational content delivery with identity authentication and related compensation model
KR102222318B1 (ko) * 2014-03-18 2021-03-03 삼성전자주식회사 사용자 인식 방법 및 장치
US10095850B2 (en) * 2014-05-19 2018-10-09 Kadenze, Inc. User identity authentication techniques for on-line content or access
WO2015179428A1 (en) * 2014-05-19 2015-11-26 Kadenze, Inc. User identity authentication techniques for on-line content or access
US9633184B2 (en) 2014-05-30 2017-04-25 Google Inc. Dynamic authorization
US9881303B2 (en) * 2014-06-05 2018-01-30 Paypal, Inc. Systems and methods for implementing automatic payer authentication
US10148692B2 (en) 2014-06-23 2018-12-04 Google Llc Aggregation of asynchronous trust outcomes in a mobile device
US9805201B2 (en) * 2014-06-23 2017-10-31 Google Inc. Trust agents
CN104112092A (zh) * 2014-07-07 2014-10-22 联想(北京)有限公司 一种信息处理方法及电子设备
EP3168775A4 (en) 2014-07-09 2018-02-28 Samsung Electronics Co., Ltd. Method and device for recognizing biometric information
US9679194B2 (en) * 2014-07-17 2017-06-13 At&T Intellectual Property I, L.P. Automated obscurity for pervasive imaging
US10698995B2 (en) 2014-08-28 2020-06-30 Facetec, Inc. Method to verify identity using a previously collected biometric image/data
CA3186147A1 (en) * 2014-08-28 2016-02-28 Kevin Alan Tussy Facial recognition authentication system including path parameters
US11256792B2 (en) 2014-08-28 2022-02-22 Facetec, Inc. Method and apparatus for creation and use of digital identification
US10915618B2 (en) 2014-08-28 2021-02-09 Facetec, Inc. Method to add remotely collected biometric images / templates to a database record of personal information
US10803160B2 (en) 2014-08-28 2020-10-13 Facetec, Inc. Method to verify and identify blockchain with user question data
US10614204B2 (en) 2014-08-28 2020-04-07 Facetec, Inc. Facial recognition authentication system including path parameters
CN104967593B (zh) * 2014-10-15 2018-04-20 腾讯科技（深圳）有限公司 一种身份验证方法、装置和系统
US10277588B2 (en) * 2014-11-03 2019-04-30 Facebook, Inc. Systems and methods for authenticating a user based on self-portrait media content
CN104376248B (zh) * 2014-11-21 2017-09-12 小米科技有限责任公司 一种在密码输入界面进行用户验证的方法及装置
KR102285791B1 (ko) 2014-12-29 2021-08-04 삼성전자 주식회사 사용자 인증 방법 및 사용자 인증을 수행하는 전자 장치
EP3272101B1 (en) * 2015-03-20 2019-11-27 Aplcomp OY Audiovisual associative authentication method, related system and device
CN106203235B (zh) * 2015-04-30 2020-06-30 腾讯科技（深圳）有限公司 活体鉴别方法和装置
KR101675134B1 (ko) * 2015-05-08 2016-11-22 김의준 정보를 분산 저장하는 정보 저장 시스템 및 그 방법
KR101582579B1 (ko) * 2015-05-08 2016-01-06 (주)핀테크솔루션 생체 정보를 이용하여 암호화 키를 생성하는 암호화 장치 및 그 방법
CN104898836B (zh) * 2015-05-19 2017-11-24 广东欧珀移动通信有限公司 一种旋转摄像头调节方法及用户终端
CN106302330B (zh) 2015-05-21 2021-01-05 腾讯科技（深圳）有限公司 身份验证方法、装置和系统
CN105185379B (zh) * 2015-06-17 2017-08-18 百度在线网络技术（北京）有限公司 声纹认证方法和装置
CN104933341A (zh) * 2015-06-18 2015-09-23 广东欧珀移动通信有限公司 一种权限管理的方法及终端
KR102439938B1 (ko) 2015-08-03 2022-09-05 삼성전자주식회사 사용자 인증을 위한 멀티-모달 퓨전 방법 및 사용자 인증 방법
US9693711B2 (en) 2015-08-07 2017-07-04 Fitbit, Inc. User identification via motion and heartbeat waveform data
KR101696602B1 (ko) * 2015-08-11 2017-01-23 주식회사 슈프리마 제스처를 이용한 생체 인증
CN105138885B (zh) * 2015-08-22 2018-06-26 北京创鑫旅程网络技术有限公司 一种文件加密的方法及电子设备
WO2017035460A1 (en) * 2015-08-27 2017-03-02 Mastercard International Incorporated Systems and methods for monitoring computer authentication procedures
JP6643495B2 (ja) 2016-01-25 2020-02-12 ショット グラス テクノロジーズ （スゾウ） カンパニー リミテッドＳｃｈｏｔｔ Ｇｌａｓｓ Ｔｅｃｈｎｏｌｏｇｉｅｓ （Ｓｕｚｈｏｕ） Ｃｏ．， Ｌｔｄ． 光学的パラメータ検出システム
USD987653S1 (en) 2016-04-26 2023-05-30 Facetec, Inc. Display screen or portion thereof with graphical user interface
US10127926B2 (en) 2016-06-10 2018-11-13 Google Llc Securely executing voice actions with speaker identification and authentication input types
US10536464B2 (en) * 2016-06-22 2020-01-14 Intel Corporation Secure and smart login engine
US10769635B2 (en) * 2016-08-05 2020-09-08 Nok Nok Labs, Inc. Authentication techniques including speech and/or lip movement analysis
US10637853B2 (en) 2016-08-05 2020-04-28 Nok Nok Labs, Inc. Authentication techniques including speech and/or lip movement analysis
US10528712B2 (en) * 2016-12-28 2020-01-07 Motorola Solutions, Inc. Detection of unauthorized user assistance of an electronic device based on the detection of spoken words
KR20180086032A (ko) * 2017-01-20 2018-07-30 삼성전자주식회사 전자장치, 전자장치의 제어방법 및 기록매체
US10624561B2 (en) 2017-04-12 2020-04-21 Fitbit, Inc. User identification by biometric monitoring device
WO2018207079A1 (en) * 2017-05-08 2018-11-15 Shay Rapaport Method and system for universal access control management to an entity with inconsistent internet access
US11080316B1 (en) * 2017-05-26 2021-08-03 Amazon Technologies, Inc. Context-inclusive face clustering
GB2578386B (en) 2017-06-27 2021-12-01 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
GB201713697D0 (en) 2017-06-28 2017-10-11 Cirrus Logic Int Semiconductor Ltd Magnetic detection of replay attack
GB2563953A (en) 2017-06-28 2019-01-02 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
GB201801530D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for authentication
GB201801526D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for authentication
GB201801532D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for audio playback
GB201801527D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Method, apparatus and systems for biometric processes
GB201801528D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Method, apparatus and systems for biometric processes
KR101968167B1 (ko) * 2017-09-25 2019-04-11 이은규 신체정보 및 행동정보를 이용한 보안 서비스를 운영하는 방법 및 시스템
GB201801661D0 (en) * 2017-10-13 2018-03-21 Cirrus Logic International Uk Ltd Detection of liveness
GB201804843D0 (en) 2017-11-14 2018-05-09 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
GB201801874D0 (en) 2017-10-13 2018-03-21 Cirrus Logic Int Semiconductor Ltd Improving robustness of speech processing system against ultrasound and dolphin attacks
GB201801664D0 (en) 2017-10-13 2018-03-21 Cirrus Logic Int Semiconductor Ltd Detection of liveness
GB201801663D0 (en) * 2017-10-13 2018-03-21 Cirrus Logic Int Semiconductor Ltd Detection of liveness
GB201803570D0 (en) 2017-10-13 2018-04-18 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
GB2567503A (en) 2017-10-13 2019-04-17 Cirrus Logic Int Semiconductor Ltd Analysing speech signals
WO2019077012A1 (en) * 2017-10-18 2019-04-25 Soapbox Labs Ltd. METHODS AND SYSTEMS FOR SPEECH DETECTION
US10936705B2 (en) * 2017-10-31 2021-03-02 Baidu Usa Llc Authentication method, electronic device, and computer-readable program medium
GB201801659D0 (en) 2017-11-14 2018-03-21 Cirrus Logic Int Semiconductor Ltd Detection of loudspeaker playback
US11868995B2 (en) 2017-11-27 2024-01-09 Nok Nok Labs, Inc. Extending a secure key storage for transaction confirmation and cryptocurrency
KR102397886B1 (ko) * 2017-12-06 2022-05-13 삼성전자주식회사 전자 장치, 사용자 단말 장치 및 그 제어 방법
US11831409B2 (en) 2018-01-12 2023-11-28 Nok Nok Labs, Inc. System and method for binding verifiable claims
TWI675341B (zh) * 2018-01-15 2019-10-21 沅聖科技股份有限公司 智能取物櫃管理方法
US10853463B2 (en) * 2018-01-17 2020-12-01 Futurewei Technologies, Inc. Echoprint user authentication
US11475899B2 (en) 2018-01-23 2022-10-18 Cirrus Logic, Inc. Speaker identification
US11264037B2 (en) 2018-01-23 2022-03-01 Cirrus Logic, Inc. Speaker identification
US11735189B2 (en) 2018-01-23 2023-08-22 Cirrus Logic, Inc. Speaker identification
US10733996B2 (en) * 2018-03-30 2020-08-04 Qualcomm Incorporated User authentication
US10720166B2 (en) * 2018-04-09 2020-07-21 Synaptics Incorporated Voice biometrics systems and methods
US10325596B1 (en) * 2018-05-25 2019-06-18 Bao Tran Voice control of appliances
US11171937B2 (en) * 2018-05-25 2021-11-09 Target Brands, Inc. Continuous guest re-authentication system
US10818296B2 (en) * 2018-06-21 2020-10-27 Intel Corporation Method and system of robust speaker recognition activation
US10692490B2 (en) 2018-07-31 2020-06-23 Cirrus Logic, Inc. Detection of replay attack
CN109256131A (zh) * 2018-08-03 2019-01-22 珠海格力电器股份有限公司 智能设备控制方法和装置
US10915614B2 (en) 2018-08-31 2021-02-09 Cirrus Logic, Inc. Biometric authentication
US11037574B2 (en) 2018-09-05 2021-06-15 Cirrus Logic, Inc. Speaker recognition and speaker change detection
US20210333776A1 (en) * 2018-09-07 2021-10-28 Makino Milling Machine Co., Ltd. Control device for machine tool
US11119638B2 (en) * 2018-09-28 2021-09-14 Apple Inc. Using face detection to update user interface orientation
US10681313B1 (en) * 2018-09-28 2020-06-09 Ambarella International Lp Home monitoring camera featuring intelligent personal audio assistant, smart zoom and face recognition features
CN109065058B (zh) * 2018-09-30 2024-03-15 合肥鑫晟光电科技有限公司 语音通信方法、装置及系统
EP3647993B1 (en) * 2018-10-29 2023-12-13 Onfido Ltd Interactive user verification
US11194600B2 (en) 2019-01-16 2021-12-07 Vmware, Inc. Secure digital workspace using machine learning and microsegmentation
KR20210132755A (ko) 2019-03-26 2021-11-05 엘지전자 주식회사 전자 장치 및 그것의 제어 방법
US11792024B2 (en) 2019-03-29 2023-10-17 Nok Nok Labs, Inc. System and method for efficient challenge-response authentication
US10650824B1 (en) 2019-05-10 2020-05-12 Fmr Llc Computer systems and methods for securing access to content provided by virtual assistants
WO2020230459A1 (ja) * 2019-05-16 2020-11-19 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11082460B2 (en) * 2019-06-27 2021-08-03 Synaptics Incorporated Audio source enhancement facilitated using video data
CN110196914B (zh) * 2019-07-29 2019-12-27 上海肇观电子科技有限公司 一种将人脸信息录入数据库的方法和装置
CN112578338A (zh) * 2019-09-27 2021-03-30 阿里巴巴集团控股有限公司 声源定位方法、装置、设备及存储介质
JP7148737B2 (ja) * 2020-03-24 2022-10-05 楽天グループ株式会社 生体（ｌｉｖｅｎｅｓｓ）検出検証方法、生体検出検証システム、記録媒体、及び生体検出検証システムの訓練方法
US11935538B2 (en) * 2020-08-14 2024-03-19 Lenovo (Singapore) Pte. Ltd. Headset boom with infrared lamp(s) and/or sensor(s)
CN112687280B (zh) * 2020-12-25 2023-09-12 浙江弄潮儿智慧科技有限公司 一种具有频谱-时间空间界面的生物多样性监测系统
WO2022231581A1 (en) * 2021-04-28 2022-11-03 Google Llc Systems and methods for efficient multimodal input collection with mobile devices
WO2022256595A1 (en) * 2021-06-04 2022-12-08 Pindrop Security, Inc. Limiting identity space for voice biometric authentication
CN114677634B (zh) * 2022-05-30 2022-09-27 成都新希望金融信息有限公司 面签识别方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100564766B1 (ko) * 2003-12-24 2006-03-27 한국전자통신연구원 다중 생체 정보를 이용한 개인 등록 및 인증 시스템과 그방법
KR100948600B1 (ko) * 2006-12-04 2010-03-24 한국전자통신연구원 제스처/음성 융합 인식 시스템 및 방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0758471B1 (de) 1994-03-15 1999-07-28 Fraunhofer-Gesellschaft Zur Förderung Der Angewandten Forschung E.V. Personenidentifikation mit bewegungsinformation
US6041632A (en) * 1997-09-10 2000-03-28 Kawasaki Steel Corporation Pipe forming roll apparatus and method
US6219639B1 (en) * 1998-04-28 2001-04-17 International Business Machines Corporation Method and apparatus for recognizing identity of individuals employing synchronized biometrics
US6421453B1 (en) * 1998-05-15 2002-07-16 International Business Machines Corporation Apparatus and methods for user recognition employing behavioral passwords
US6314401B1 (en) * 1998-05-29 2001-11-06 New York State Technology Enterprise Corporation Mobile voice verification system
US6219640B1 (en) * 1999-08-06 2001-04-17 International Business Machines Corporation Methods and apparatus for audio-visual speaker recognition and utterance verification
US6964023B2 (en) * 2001-02-05 2005-11-08 International Business Machines Corporation System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input
US20040059923A1 (en) * 2002-09-25 2004-03-25 Shamrao Andrew Divaker Systems and methods for authentication
US7343289B2 (en) * 2003-06-25 2008-03-11 Microsoft Corp. System and method for audio/video speaker detection
US8255223B2 (en) 2004-12-03 2012-08-28 Microsoft Corporation User authentication by combining speaker verification and reverse turing test
KR100820141B1 (ko) 2005-12-08 2008-04-08 한국전자통신연구원 음성 구간 검출 장치 및 방법 그리고 음성 인식 시스템
EP1962280A1 (en) 2006-03-08 2008-08-27 BIOMETRY.com AG Method and network-based biometric system for biometric authentication of an end user
KR100902993B1 (ko) * 2007-04-13 2009-06-15 안현효 영상전화서비스를 이용한 인증방법 및 인증시스템
EP2065823A1 (en) * 2007-11-26 2009-06-03 BIOMETRY.com AG System and method for performing secure online transactions
US8909297B2 (en) * 2008-03-04 2014-12-09 Mike Matas Access management
JP2009211556A (ja) * 2008-03-05 2009-09-17 Fujitsu Ltd 生体認証装置
US8452307B1 (en) * 2008-07-02 2013-05-28 Iwao Fujisaki Communication device
US20110102142A1 (en) * 2009-11-04 2011-05-05 Widger Ian J Webcast viewer verification methods
US8326001B2 (en) 2010-06-29 2012-12-04 Apple Inc. Low threshold face recognition
US8831677B2 (en) * 2010-11-17 2014-09-09 Antony-Euclid C. Villa-Real Customer-controlled instant-response anti-fraud/anti-identity theft devices (with true-personal identity verification), method and systems for secured global applications in personal/business e-banking, e-commerce, e-medical/health insurance checker, e-education/research/invention, e-disaster advisor, e-immigration, e-airport/aircraft security, e-military/e-law enforcement, with or without NFC component and system, with cellular/satellite phone/internet/multi-media functions

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100564766B1 (ko) * 2003-12-24 2006-03-27 한국전자통신연구원 다중 생체 정보를 이용한 개인 등록 및 인증 시스템과 그방법
KR100948600B1 (ko) * 2006-12-04 2010-03-24 한국전자통신연구원 제스처/음성 융합 인식 시스템 및 방법

Also Published As

Publication number Publication date
EP2631843A3 (en) 2015-04-15
KR20130097581A (ko) 2013-09-03
WO2013125910A1 (en) 2013-08-29
EP2631843A2 (en) 2013-08-28
US20130227678A1 (en) 2013-08-29
EP3264333A1 (en) 2018-01-03
US9547760B2 (en) 2017-01-17

Similar Documents

Publication Publication Date Title
KR101971697B1 (ko) 사용자 디바이스에서 복합 생체인식 정보를 이용한 사용자 인증 방법 및 장치
US11310223B2 (en) Identity authentication method and apparatus
US10936709B2 (en) Electronic device and method for controlling the same
KR101688168B1 (ko) 이동 단말기 및 그 제어방법
US20220269762A1 (en) Voice control method and related apparatus
EP3120298B1 (en) Method and apparatus for establishing connection between electronic devices
KR102127932B1 (ko) 전자 장치 및 그 제어 방법
WO2014109344A1 (ja) 端末、ロック解除方法およびプログラム
EP3259701B1 (en) Biometric setup that runs in the background
US20210286979A1 (en) Identity verification method and device, electronic device and computer-readable storage medium
KR102409903B1 (ko) 사용자 정보를 제공하는 전자 장치 및 방법
EP3321853A1 (en) Facial recognition similarity threshold adjustment
KR20140034088A (ko) 제스쳐-및 표현-기반 인증
US20140010417A1 (en) Command input method of terminal and terminal for inputting command using mouth gesture
CN109032675A (zh) 终端设备的屏幕解锁方法、装置及终端设备
WO2016165245A1 (zh) 一种用户界面控制方法及终端
EP3673467B1 (en) Electronic device and method of controlling electronic device
US20140347161A1 (en) Authorizing system and method of portable electronic device
CN101673329B (zh) 生物特征数据建立方法、电子装置及计算机程序产品
CN112215598A (zh) 一种语音支付方法和电子设备
KR102514036B1 (ko) 전자 장치 및 그 제어 방법
KR101657377B1 (ko) 휴대용 단말기, 휴대용 단말기 케이스 및 그를 이용한 홍채 인식 방법
US11734400B2 (en) Electronic device and control method therefor
JP2022163168A (ja) ユーザ認証方法、システム及びプログラム
KR102627254B1 (ko) 전자 장치 및 얼굴 인식 시스템, 그리고 이의 스푸핑 방지 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant