KR20190135656A - 얼굴 및 음성 인식 기반 인증 시스템 및 방법 - Google Patents

얼굴 및 음성 인식 기반 인증 시스템 및 방법 Download PDF

Info

Publication number
KR20190135656A
KR20190135656A KR1020180060924A KR20180060924A KR20190135656A KR 20190135656 A KR20190135656 A KR 20190135656A KR 1020180060924 A KR1020180060924 A KR 1020180060924A KR 20180060924 A KR20180060924 A KR 20180060924A KR 20190135656 A KR20190135656 A KR 20190135656A
Authority
KR
South Korea
Prior art keywords
authentication
voice
recognition
face
person
Prior art date
Application number
KR1020180060924A
Other languages
English (en)
Other versions
KR102594292B1 (ko
Inventor
김동민
Original Assignee
(주)솔비플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)솔비플러스 filed Critical (주)솔비플러스
Priority to KR1020180060924A priority Critical patent/KR102594292B1/ko
Publication of KR20190135656A publication Critical patent/KR20190135656A/ko
Application granted granted Critical
Publication of KR102594292B1 publication Critical patent/KR102594292B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/22—Interactive procedures; Man-machine interfaces

Abstract

본 발명의 일 실시예에 따른 얼굴 및 음성 인식 기반 인증 시스템은 인증 대상자의 얼굴을 인식하는 얼굴 인식부; 상기 얼굴의 인식 결과에 기초하여 1차 인증을 수행하는 인증 처리부; 및 상기 얼굴에 대한 인증이 정상적으로 완료되는 경우, 상기 인식 대상자의 음성을 인식하는 음성 인식부를 포함하고, 상기 인증 처리부는 상기 음성의 인식 결과에 기초하여 2차 인증을 수행한다.

Description

얼굴 및 음성 인식 기반 인증 시스템 및 방법{FACE AND VOICE RECOGNITION BASED AUTHENTICATION SYSTEM AND METHOD}
본 발명의 실시예들은 얼굴 및 음성 인식 기반 인증 시스템 및 방법에 관한 것이다.
종래의 사용자 인증시스템은 네트워크에 연결된 컴퓨터나 모바일 기기를 통해 비밀번호, 주민등록번호, 공인인증서 암호 등과 같은 이미 사용자가 암기하여 알고 있는 개인정보를 입력하고 저장된 개인정보와 비교하여 진정한 사용자임을 인증하는 방식이 사용되어 왔다.
이러한 사용자 인증시스템은 부주의나 해커에 의해 정보가 유출되어 제3자가 사용자의 개인정보를 알고 있는 경우에는 무용지물이 되는 문제가 있어서 새로운 인증 수단으로 비밀번호와 보안카드, 비밀번호와 휴대폰 등 사용자의 개인정보와 사용자가 소지한 장치 등 2가지 인증 수단을 함께 적용한 이중 인증 수단이 등장하게 되었고 실 사용환경에서 이중 인증 시스템이 제공하는 보안효과로 인해 전 세계적으로 널리 쓰이고 있다.
그러나 이중 인증 시스템은 2번에 걸쳐 인증을 해야 하는 사용 불편함이 최대 걸림돌로 지적되고 있는 상황이라 간편함을 추구하는 핀테크 시대에는 적합하지 않은 것으로 평가되고 있으며 대신에 주로 오프라인에서 출입통제 등에 이용되던 생체인증 기술이 근래 기술발달로 모바일 기기에서 생체정보를 인식할 수 있는 기능을 제공함에 따라서 비밀번호나 이중 인증 방식의 문제점을 해결할 수 있는 대안으로 급부상하여 금융기관들이 시범적으로 도입을 하고 있다.
관련 선행기술로는 대한민국 등록특허공보 제10-1852155호(발명의 명칭: 전화번호와 연동되는 생체인증에 의한 결제단말기의 금융 거래 중계 시스템의 처리 방법, 등록일자: 2018.04.19.)가 있다.
본 발명의 일 실시예는 인식 대상자의 얼굴 인식 과정 및 인식 대상자별 음성 패턴이나 질의-응답을 통한 음성 인식 과정에 대한 승인 결과를 토대로 인증을 수행함으로써 인식 대상자에 대한 보안을 강화할 수 있는 얼굴 및 음성 인식 기반 인증 시스템 및 방법을 제공한다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 얼굴 및 음성 인식 기반 인증 시스템은 인증 대상자의 얼굴을 인식하는 얼굴 인식부; 상기 얼굴의 인식 결과에 기초하여 1차 인증을 수행하는 인증 처리부; 및 상기 얼굴에 대한 인증이 정상적으로 완료되는 경우, 상기 인식 대상자의 음성을 인식하는 음성 인식부를 포함하고, 상기 인증 처리부는 상기 음성의 인식 결과에 기초하여 2차 인증을 수행한다.
본 발명의 일 실시예에 따른 얼굴 및 음성 인식 기반 인증 시스템은 미리 설정된 단어 또는 문장과 관련한 복수의 음성 패턴을 포함하는 음성 리스트를 저장하는 음성 저장부를 더 포함하고, 상기 인증 처리부는 상기 인식 대상자의 얼굴 인식에 따라 중간 승인이 완료되면, 상기 복수의 음성 패턴 중에서 선택된 어느 하나의 음성 패턴에 대응하는 제1 음성 신호를 발생하여 스피커를 통해 출력하고, 상기 제1 음성 신호에 응답하여 상기 인식 대상자로부터 제2 음성 신호가 마이크를 통해 입력되면, 상기 입력된 제2 음성 신호를 상기 제1 음성 신호와 비교하여 그 비교 결과에 따라 상기 인식 대상자에 대한 최종 승인을 완료할 수 있다.
본 발명의 일 실시예에 따른 얼굴 및 음성 인식 기반 인증 시스템은 상기 인식 대상자별 질의 정보 및 응답 정보를 포함하는 질의-응답 데이터를 저장하는 음성 저장부를 더 포함하고, 상기 인증 처리부는 상기 인식 대상자의 얼굴 인식에 따라 중간 승인이 완료되면, 상기 인식 대상자에 해당하는 질의 정보에 대응하는 제3 음성 신호를 발생하여 스피커를 통해 출력하고, 상기 제3 음성 신호에 응답하여 상기 인식 대상자로부터 제4 음성 신호가 마이크를 통해 입력되면, 상기 입력된 제4 음성 신호로부터 추출된 입력 정보와 상기 질의 정보에 매칭되는 응답 정보를 비교하여 그 비교 결과에 따라 상기 인식 대상자에 대한 최종 승인을 완료할 수 있다.
상기 인증 처리부는 상기 인증 대상자의 얼굴이 미리 설정된 시간 동안 인식되지 않는 경우, 상기 인증 대상자의 주변 조도를 미리 설정된 기준치와 비교하고, 상기 비교 결과 상기 주변 조도가 상기 기준치보다 낮으면 음성 모드 전환 신호를 발생하고, 상기 음성 모드 전환 신호의 발생에 따라 상기 인증 대상자의 음성 인식 결과에만 기초하여 인증을 수행할 수 있다.
본 발명의 일 실시예에 따른 얼굴 및 음성 인식 기반 인증 시스템은 상기 인증 대상자의 개인 정보에 기초하여 상기 인증 대상자를 미리 설정된 복수의 사용자 그룹 중 어느 하나로 분류하는 인증 분류부를 더 포함하고, 상기 인증 처리부는 상기 분류된 사용자 그룹에 따라 기간별, 요일별, 시간별로 인증 방법을 다르게 수행할 수 있다.
본 발명의 일 실시예에 따른 얼굴 및 음성 인식 기반 인증 방법은 상기 인증 시스템의 얼굴 인식부가 인증 대상자의 얼굴을 인식하는 단계; 상기 인증 시스템의 인증 처리부가 상기 얼굴의 인식 결과에 기초하여 1차 인증을 수행하는 단계; 상기 얼굴에 대한 인증이 정상적으로 완료되는 경우, 상기 인증 시스템의 음성 인식부가 상기 인식 대상자의 음성을 인식하는 단계; 및 상기 인증 처리부가 상기 음성의 인식 결과에 기초하여 2차 인증을 수행하는 단계를 포함한다.
본 발명의 일 실시예에 따른 얼굴 및 음성 인식 기반 인증 방법은 상기 인증 시스템의 음성 저장부가 미리 설정된 단어 또는 문장과 관련한 복수의 음성 패턴을 포함하는 음성 리스트를 저장하는 단계를 더 포함하고, 상기 2차 인증을 수행하는 단계는 상기 인식 대상자의 얼굴 인식에 따라 중간 승인이 완료되면, 상기 복수의 음성 패턴 중에서 선택된 어느 하나의 음성 패턴에 대응하는 제1 음성 신호를 발생하여 스피커를 통해 출력하는 단계; 및 상기 제1 음성 신호에 응답하여 상기 인식 대상자로부터 제2 음성 신호가 마이크를 통해 입력되면, 상기 입력된 제2 음성 신호를 상기 제1 음성 신호와 비교하여 그 비교 결과에 따라 상기 인식 대상자에 대한 최종 승인을 완료하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 얼굴 및 음성 인식 기반 인증 방법은 상기 인증 시스템의 음성 저장부가 상기 인식 대상자별 질의 정보 및 응답 정보를 포함하는 질의-응답 데이터를 저장하는 단계를 더 포함하고, 상기 2차 인증을 수행하는 단계는 상기 인식 대상자의 얼굴 인식에 따라 중간 승인이 완료되면, 상기 인식 대상자에 해당하는 질의 정보에 대응하는 제3 음성 신호를 발생하여 스피커를 통해 출력하는 단계; 및 상기 제3 음성 신호에 응답하여 상기 인식 대상자로부터 제4 음성 신호가 마이크를 통해 입력되면, 상기 입력된 제4 음성 신호로부터 추출된 입력 정보와 상기 질의 정보에 매칭되는 응답 정보를 비교하여 그 비교 결과에 따라 상기 인식 대상자에 대한 최종 승인을 완료하는 단계를 포함할 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 첨부 도면들에 포함되어 있다.
본 발명의 일 실시예에 따르면, 인식 대상자의 얼굴 인식 과정 및 인식 대상자별 음성 패턴이나 질의-응답을 통한 음성 인식 과정에 대한 승인 결과를 토대로 인증을 수행함으로써 인식 대상자에 대한 보안을 강화할 수 있다.
도 1은 본 발명의 일 실시예에 따른 얼굴 및 음성 인식 기반 인증 시스템을 설명하기 위해 도시한 블록도이다.
도 2는 본 발명의 다른 실시예에 따른 얼굴 및 음성 인식 기반 인증 시스템을 설명하기 위해 도시한 블록도이다.
도 3 내지 도 6은 본 발명의 일 실시예에 따른 얼굴 및 음성 인식 기반 인증 방법을 설명하기 위해 도시한 흐름도이다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
또한, 이하 실시되는 본 발명의 바람직한 실시예는 본 발명을 이루는 기술적 구성요소를 효율적으로 설명하기 위해 각각의 시스템 기능구성에 기 구비되어 있거나, 또는 본 발명이 속하는 기술분야에서 통상적으로 구비되는 시스템 기능 구성은 가능한 생략하고, 본 발명을 위해 추가적으로 구비되어야 하는 기능 구성을 위주로 설명한다. 만약 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면, 하기에 도시하지 않고 생략된 기능 구성 중에서 종래에 기 사용되고 있는 구성요소의 기능을 용이하게 이해할 수 있을 것이며, 또한 상기와 같이 생략된 구성 요소와 본 발명을 위해 추가된 구성 요소 사이의 관계도 명백하게 이해할 수 있을 것이다.
또한, 이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 얼굴 및 음성 인식 기반 인증 시스템을 설명하기 위해 도시한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 얼굴 및 음성 인식 기반 인증 시스템(100)은 얼굴 인식부(110), 음성 인식부(120), 인증 처리부(130), 음성 저장부(140), 및 제어부(150)를 포함할 수 있다.
상기 얼굴 인식부(110)는 인증 대상자의 얼굴을 인식할 수 있다. 이를 위해, 상기 얼굴 인식부(110)는 도면에는 도시되지 않았지만 카메라 모듈 및 영상 처리 모듈 등을 포함할 수 있다.
즉, 상기 얼굴 인식부(110)는 상기 카메라 모듈을 통해 상기 인증 대상자의 얼굴을 촬영하여 상기 인증 대상자의 얼굴 이미지를 생성하고, 상기 영상 처리 모듈을 통해 상기 생성된 얼굴 이미지를 영상 처리하여 그 처리 결과를 토대로 상기 인증 대상자의 얼굴 인식의 결과를 출력할 수 있다.
상기 음성 인식부(120)는 상기 인식 대상자의 음성을 인식할 수 있다. 이때, 상기 음성 인식부(120)는 상기 얼굴에 대한 인증이 정상적으로 완료되는 경우에 실행될 수 있다. 다시 말해, 상기 음성 인식부(120)는 상기 인증 처리부(130)에 의해 상기 인식 대상자의 얼굴이 1차적으로 승인 완료되면 작동하여 상기 인식 대상자의 음성을 인식할 수 있다.
이를 위해, 상기 음성 인식부(120)는 도면에는 도시되지 않았지만 마이크 모듈 및 음성 처리 모듈 등을 포함할 수 있다. 즉, 상기 음성 인식부(120)는 상기 마이크 모듈을 통해 상기 인증 대상자의 음성을 입력받아 상기 인증 대상자의 음성 데이터를 생성하고, 상기 음성 처리 모듈을 통해 상기 생성된 음성 데이터를 음성 처리하여 그 처리 결과를 토대로 상기 인증 대상자의 음성 인식의 결과를 출력할 수 있다.
상기 인증 처리부(130)는 상기 얼굴의 인식 결과에 기초하여 1차 인증을 수행할 수 있다. 상기 1차 인증에 따라 상기 인식 대상자의 얼굴에 대한 승인이 정상적으로 완료되면, 상기 인증 처리부(130)는 상기 음성 인식부(120)에 의한 음성의 인식 결과에 기초하여 2차 인증을 수행할 수 있다.
상기 인증 처리부(130)는 상기 2차 인증에 따라 상기 인식 대상자의 음성에 대한 승인이 정상적으로 완료되면, 결제 시스템이나 출입 통제 시스템 등에서 상기 인증 대상자에 대한 본인 인증 이후의 프로세스를 진행할 수 있도록 처리할 수 있다.
다만, 상기 1차 인증 과정에서 상기 인증 대상자의 얼굴이 미리 설정된 시간 동안 인식되지 않는 경우가 발생할 수 있다. 예를 들면 밤과 같이 상기 인증 대상자의 주변 조도가 낮을 때이다. 이러한 경우, 상기 인증 처리부(130)는 상기 인증 대상자의 주변 조도에 따라 상기 1차 인증 과정을 스킵(skip)하고 상기 2차 인증 과정만을 수행할 수 있다.
구체적으로, 상기 인증 처리부(130)는 상기 1차 인증 과정에서 상기 인증 대상자의 얼굴이 미리 설정된 시간 동안 인식되지 않는 경우, 상기 인증 대상자의 주변 조도를 미리 설정된 기준치와 비교할 수 있다. 상기 비교 결과 상기 주변 조도가 상기 기준치보다 낮으면, 상기 인증 처리부(130)는 음성 모드 전환 신호를 발생할 수 있다. 상기 인증 처리부(130)는 상기 음성 모드 전환 신호의 발생에 따라, 상기 1차 인증 과정을 건너뛰고 상기 인증 대상자의 음성 인식 결과에만 기초하여 인증(2차 인증)을 수행할 수 있다.
상기 음성 저장부(140)는 미리 설정된 단어 또는 문장과 관련한 복수의 음성 패턴을 포함하는 음성 리스트를 데이터베이스(미도시)에 저장할 수 있다. 상기 음성 리스트는 상기 2차 인증에 활용될 수 있다.
즉, 상기 인식 대상자의 얼굴 인식에 따라 중간 승인(1차 인증)이 완료되면, 상기 인증 처리부(130)는 상기 복수의 음성 패턴 중에서 어느 하나의 음성 패턴을 선택하고, 상기 선택된 음성 패턴에 대응하는 제1 음성 신호를 발생하여 스피커를 통해 출력할 수 있다. 이후, 상기 인증 처리부(130)는 상기 제1 음성 신호에 응답하여 상기 인식 대상자로부터 제2 음성 신호를 마이크를 통해 입력받을 수 있다. 그러면, 상기 인증 처리부(130)는 상기 입력된 제2 음성 신호를 상기 제1 음성 신호와 비교하여 그 비교 결과에 따라 상기 인식 대상자에 대한 최종 승인(2차 인증)을 완료할 수 있다.
한편, 상기 음성 저장부(140)는 상기 인식 대상자별 질의 정보 및 응답 정보를 포함하는 질의-응답 데이터를 데이터베이스(미도시)에 저장할 수 있다. 상기 질의-응답 데이터는 상기 음성 리스트와 마찬가지로 상기 2차 인증에 활용될 수 있다.
즉, 상기 인식 대상자의 얼굴 인식에 따라 중간 승인(1차 인증)이 완료되면, 상기 인증 처리부(130)는 상기 인식 대상자에 해당하는 질의 정보를 상기 데이터베이스로부터 검색하고, 상기 검색된 질의 정보에 대응하는 제3 음성 신호를 발생하여 스피커를 통해 출력할 수 있다. 이후, 상기 인증 처리부(130)는 상기 제3 음성 신호에 응답하여 상기 인식 대상자로부터 제4 음성 신호를 마이크를 통해 입력받을 수 있다. 그러면, 상기 인증 처리부(130)는 상기 입력된 제4 음성 신호로부터 입력 정보를 추출하고, 상기 추출된 입력 정보와 상기 질의 정보에 매칭되는 응답 정보를 비교하여, 그 비교 결과에 따라 상기 인식 대상자에 대한 최종 승인(2차 인증)을 완료할 수 있다.
상기 제어부(150)는 본 발명의 일 실시예에 따른 얼굴 및 음성 인식 기반 인증 시스템(100), 즉 상기 얼굴 인식부(110), 상기 음성 인식부(120), 상기 인증 처리부(130), 상기 음성 저장부(140) 등의 동작을 전반적으로 제어할 수 있다.
도 2는 본 발명의 다른 실시예에 따른 얼굴 및 음성 인식 기반 인증 시스템을 설명하기 위해 도시한 블록도이다.
도 2를 참조하면, 본 발명의 다른 실시예에 따른 얼굴 및 음성 인식 기반 인증 시스템(100)은 얼굴 인식부(210), 음성 인식부(220), 인증 처리부(230), 음성 저장부(240), 인증 분류부(250), 및 제어부(260)를 포함할 수 있다.
본 발명의 다른 실시예를 설명하기에 앞서, 상기 얼굴 인식부(210), 음성 인식부(220), 인증 처리부(230) 및 음성 저장부(240)는 도 1의 얼굴 인식부(110), 음성 인식부(120), 인증 처리부(130) 및 음성 저장부(140)와 동일 또는 유사하므로, 본 실시예에서는 상기의 구성요소들에 대한 자세한 설명은 생략하고 상기 인증 분류부(250)를 중심으로 상세히 설명하기로 한다.
상기 인증 분류부(250)는 상기 인증 대상자의 개인 정보에 기초하여 상기 인증 대상자를 미리 설정된 복수의 사용자 그룹 중 어느 하나로 분류할 수 있다. 여기서, 상기 개인 정보는 상기 인증 대상자의 이름, 나이, 주소, 회사, 부서, 고용 형태(정직원, 아르바이트, 계약직 등) 등의 정보를 포함할 수 있다.
예컨대, 상기 인증 대상자를 고용 형태에 따라 분류하고자 하는 경우, 상기 인증 분류부(250)는 상기 복수의 사용자 그룹을 각각 정직원 그룹, 아르바이트 그룹, 계약직 그룹 등으로 미리 설정하고, 상기 인증 대상자의 개인 정보에 기초하여 상기 인증 대상자를 상기 정직원 그룹, 아르바이트 그룹, 계약직 그룹 중 어느 하나로 분류할 수 있다.
이에 따라, 상기 인증 처리부(230)는 상기 인증 분류부(250)에 의해 분류된 각 사용자 그룹에 따라 기간별, 요일별, 시간별로 인증 방법을 다르게 수행할 수 있다. 예를 들면, 상기 인증 처리부(230)는 특정 사용자 그룹에 대해서 특정 기간 동안에는 하나의 인증 방법(1차 또는 2차 인증)만을 수행하고 나머지 기간 동안에는 모든 인증 방법(1차 및 2차 인증)을 수행할 수 있다.
이상에서 설명된 장치는 하드웨어 구성 요소, 소프트웨어 구성 요소, 및/또는 하드웨어 구성 요소 및 소프트웨어 구성 요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성 요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
도 3 내지 도 6은 본 발명의 일 실시예에 따른 얼굴 및 음성 인식 기반 인증 방법을 설명하기 위해 도시한 흐름도이다.
여기서 설명하는 인증 방법은 본 발명의 하나의 실시예에 불과하며, 그 이외에 필요에 따라 다양한 단계들이 부가될 수 있고, 하기의 단계들도 순서를 변경하여 실시될 수 있으므로, 본 발명이 하기에 설명하는 각 단계 및 그 순서에 한정되는 것은 아니다.
먼저 도 1 및 도 3을 참조하면, 단계(310)에서 상기 인증 시스템(100)의 얼굴 인식부(110)가 인증 대상자의 얼굴을 인식할 수 있다.
다음으로, 단계(320)에서 상기 인증 시스템(100)의 인증 처리부(130)가 상기 얼굴의 인식 결과에 기초하여 1차 인증을 수행할 수 있다.
다음으로, 상기 얼굴에 대한 인증이 정상적으로 완료되는 경우(330의 "예" 방향), 단계(340)에서 상기 인증 시스템(100)의 음성 인식부(120)가 상기 인식 대상자의 음성을 인식할 수 있다.
다음으로, 단계(350)에서 상기 인증 시스템(100)의 인증 처리부(130)가 상기 음성의 인식 결과에 기초하여 2차 인증을 수행할 수 있다.
이하에서는 도 4 및 도 5를 더 참조하여 상기 2차 인증을 수행하는 과정에 대해 구체적으로 설명한다.
일 실시예로서, 도 1 및 도 4를 참조하면, 단계(410)에서 상기 인증 처리부(130)는 데이터베이스에 저장되어 있는 복수의 음성 패턴 중에서 어느 하나의 음성 패턴을 선택할 수 있다.
이후, 단계(420)에서 상기 인증 처리부(130)는 상기 선택된 어느 하나의 음성 패턴에 대응하는 제1 음성 신호를 발생하여 스피커를 통해 출력할 수 있다.
이후, 단계(430)에서 상기 인증 처리부(130)는 상기 제1 음성 신호에 응답하여 상기 인식 대상자로부터 제2 음성 신호를 마이크를 통해 입력받을 수 있다.
이후, 단계(440)에서 상기 인증 처리부(130)는 상기 입력된 제2 음성 신호를 상기 제1 음성 신호와 비교할 수 있다.
이후, 단계(450)에서 상기 인증 처리부(130)는 상기 비교 결과에 따라 상기 인식 대상자에 대한 최종 승인을 완료할 수 있다.
다른 실시예로서, 도 1 및 도 5를 참조하면, 단계(510)에서 상기 인증 처리부(130)는 데이터베이스로부터 인식 대상자에 해당하는 질의 정보를 검색할 수 있다.
이후, 단계(520)에서 상기 인증 처리부(130)는 상기 검색된 질의 정보에 대응하는 제3 음성 신호를 발생하여 스피커를 통해 출력할 수 있다.
이후, 단계(530)에서 상기 인증 처리부(130)는 상기 제3 음성 신호에 응답하여 상기 인식 대상자로부터 제4 음성 신호를 마이크를 통해 입력받을 수 있다.
이후, 단계(540)에서 상기 인증 처리부(130)는 상기 입력된 제4 음성 신호로부터 입력 정보를 추출할 수 있다.
이후, 단계(550)에서 상기 인증 처리부(130)는 상기 추출된 입력 정보를 상기 질의 정보에 매칭되는 응답 정보와 비교할 수 있다.
이후, 단계(560)에서 상기 인증 처리부(130)는 상기 비교 결과에 따라 상기 인식 대상자에 대한 최종 승인을 완료할 수 있다.
한편, 상기 단계(330)에서 상기 얼굴에 대한 인증이 정상적으로 완료되지 않은 경우(330의 "아니오" 방향), 도 4의 A 과정으로 진입할 수 있다. 이하에서는 도 6을 참조하여 A 과정에 대해 자세히 설명한다.
도 1 및 도 6을 참조하면, 단계(610)에서 상기 인증 처리부(130)는 상기 인증 대상자의 주변 조도를 미리 설정된 기준치와 비교할 수 있다.
상기 비교 결과 상기 주변 조도가 상기 기준치보다 낮으면(620의 "예" 방향), 단계(630)에서 상기 인증 처리부(130)는 음성 모드 전환 신호를 발생할 수 있다.
이후, 단계(640)에서 상기 인증 처리부(130)는 상기 음성 모드 전환 신호의 발생에 따라 상기 인증 대상자의 음성 인식 결과에만 기초하여 인증을 수행할 수 있다.
반면, 상기 비교 결과 상기 주변 조도가 상기 기준치보다 크거나 같으면(620의 "아니오" 방향), 단계(650)에서 상기 인증 처리부(130)는 상기 인증 대상자에 대한 인증이 실패한 것으로 결정할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
110, 210: 얼굴 인식부
120, 220: 음성 인식부
130, 230: 인증 처리부
140, 240: 음성 저장부
150, 260: 제어부
250: 인증 분류부

Claims (8)

  1. 인증 대상자의 얼굴을 인식하는 얼굴 인식부;
    상기 얼굴의 인식 결과에 기초하여 1차 인증을 수행하는 인증 처리부; 및
    상기 얼굴에 대한 인증이 정상적으로 완료되는 경우, 상기 인식 대상자의 음성을 인식하는 음성 인식부
    를 포함하고,
    상기 인증 처리부는
    상기 음성의 인식 결과에 기초하여 2차 인증을 수행하는 것을 특징으로 하는 얼굴 및 음성 인식 기반 인증 시스템.
  2. 제1항에 있어서,
    미리 설정된 단어 또는 문장과 관련한 복수의 음성 패턴을 포함하는 음성 리스트를 저장하는 음성 저장부
    를 더 포함하고,
    상기 인증 처리부는
    상기 인식 대상자의 얼굴 인식에 따라 중간 승인이 완료되면, 상기 복수의 음성 패턴 중에서 선택된 어느 하나의 음성 패턴에 대응하는 제1 음성 신호를 발생하여 스피커를 통해 출력하고, 상기 제1 음성 신호에 응답하여 상기 인식 대상자로부터 제2 음성 신호가 마이크를 통해 입력되면, 상기 입력된 제2 음성 신호를 상기 제1 음성 신호와 비교하여 그 비교 결과에 따라 상기 인식 대상자에 대한 최종 승인을 완료하는 것을 특징으로 하는 얼굴 및 음성 인식 기반 인증 시스템.
  3. 제1항에 있어서,
    상기 인식 대상자별 질의 정보 및 응답 정보를 포함하는 질의-응답 데이터를 저장하는 음성 저장부
    를 더 포함하고,
    상기 인증 처리부는
    상기 인식 대상자의 얼굴 인식에 따라 중간 승인이 완료되면, 상기 인식 대상자에 해당하는 질의 정보에 대응하는 제3 음성 신호를 발생하여 스피커를 통해 출력하고, 상기 제3 음성 신호에 응답하여 상기 인식 대상자로부터 제4 음성 신호가 마이크를 통해 입력되면, 상기 입력된 제4 음성 신호로부터 추출된 입력 정보와 상기 질의 정보에 매칭되는 응답 정보를 비교하여 그 비교 결과에 따라 상기 인식 대상자에 대한 최종 승인을 완료하는 것을 특징으로 하는 얼굴 및 음성 인식 기반 인증 시스템.
  4. 제1항에 있어서,
    상기 인증 처리부는
    상기 인증 대상자의 얼굴이 미리 설정된 시간 동안 인식되지 않는 경우, 상기 인증 대상자의 주변 조도를 미리 설정된 기준치와 비교하고, 상기 비교 결과 상기 주변 조도가 상기 기준치보다 낮으면 음성 모드 전환 신호를 발생하고, 상기 음성 모드 전환 신호의 발생에 따라 상기 인증 대상자의 음성 인식 결과에만 기초하여 인증을 수행하는 것을 특징으로 하는 얼굴 및 음성 인식 기반 인증 시스템.
  5. 제1항에 있어서,
    상기 인증 대상자의 개인 정보에 기초하여 상기 인증 대상자를 미리 설정된 복수의 사용자 그룹 중 어느 하나로 분류하는 인증 분류부
    를 더 포함하고,
    상기 인증 처리부는
    상기 분류된 사용자 그룹에 따라 기간별, 요일별, 시간별로 인증 방법을 다르게 수행하는 것을 특징으로 하는 얼굴 및 음성 인식 기반 인증 시스템.
  6. 얼굴 및 음성 인식 기반 인증 시스템을 이용한 인증 방법에 있어서,
    상기 인증 시스템의 얼굴 인식부가 인증 대상자의 얼굴을 인식하는 단계;
    상기 인증 시스템의 인증 처리부가 상기 얼굴의 인식 결과에 기초하여 1차 인증을 수행하는 단계;
    상기 얼굴에 대한 인증이 정상적으로 완료되는 경우, 상기 인증 시스템의 음성 인식부가 상기 인식 대상자의 음성을 인식하는 단계; 및
    상기 인증 처리부가 상기 음성의 인식 결과에 기초하여 2차 인증을 수행하는 단계
    를 포함하는 것을 특징으로 하는 얼굴 및 음성 인식 기반 인증 방법.
  7. 제6항에 있어서,
    상기 인증 시스템의 음성 저장부가 미리 설정된 단어 또는 문장과 관련한 복수의 음성 패턴을 포함하는 음성 리스트를 저장하는 단계
    를 더 포함하고,
    상기 2차 인증을 수행하는 단계는
    상기 인식 대상자의 얼굴 인식에 따라 중간 승인이 완료되면, 상기 복수의 음성 패턴 중에서 선택된 어느 하나의 음성 패턴에 대응하는 제1 음성 신호를 발생하여 스피커를 통해 출력하는 단계; 및
    상기 제1 음성 신호에 응답하여 상기 인식 대상자로부터 제2 음성 신호가 마이크를 통해 입력되면, 상기 입력된 제2 음성 신호를 상기 제1 음성 신호와 비교하여 그 비교 결과에 따라 상기 인식 대상자에 대한 최종 승인을 완료하는 단계
    를 포함하는 것을 특징으로 하는 얼굴 및 음성 인식 기반 인증 방법.
  8. 제6항에 있어서,
    상기 인증 시스템의 음성 저장부가 상기 인식 대상자별 질의 정보 및 응답 정보를 포함하는 질의-응답 데이터를 저장하는 단계
    를 더 포함하고,
    상기 2차 인증을 수행하는 단계는
    상기 인식 대상자의 얼굴 인식에 따라 중간 승인이 완료되면, 상기 인식 대상자에 해당하는 질의 정보에 대응하는 제3 음성 신호를 발생하여 스피커를 통해 출력하는 단계; 및
    상기 제3 음성 신호에 응답하여 상기 인식 대상자로부터 제4 음성 신호가 마이크를 통해 입력되면, 상기 입력된 제4 음성 신호로부터 추출된 입력 정보와 상기 질의 정보에 매칭되는 응답 정보를 비교하여 그 비교 결과에 따라 상기 인식 대상자에 대한 최종 승인을 완료하는 단계
    를 포함하는 것을 특징으로 하는 얼굴 및 음성 인식 기반 인증 방법.
KR1020180060924A 2018-05-29 2018-05-29 얼굴 및 음성 인식 기반 인증 시스템 KR102594292B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180060924A KR102594292B1 (ko) 2018-05-29 2018-05-29 얼굴 및 음성 인식 기반 인증 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180060924A KR102594292B1 (ko) 2018-05-29 2018-05-29 얼굴 및 음성 인식 기반 인증 시스템

Publications (2)

Publication Number Publication Date
KR20190135656A true KR20190135656A (ko) 2019-12-09
KR102594292B1 KR102594292B1 (ko) 2023-10-26

Family

ID=68837740

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180060924A KR102594292B1 (ko) 2018-05-29 2018-05-29 얼굴 및 음성 인식 기반 인증 시스템

Country Status (1)

Country Link
KR (1) KR102594292B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000242786A (ja) * 1999-02-19 2000-09-08 Matsushita Electric Works Ltd 本人認証システム
JP2001331801A (ja) * 2000-03-15 2001-11-30 Cai Kk 個人認証装置および個人認証方法および記録媒体
KR20080010026A (ko) * 2006-07-25 2008-01-30 (주)영신전자 멀티미디어 데이터를 이용한 차량 보안 시스템 및 방법
KR20170011482A (ko) * 2015-07-23 2017-02-02 시스템테크 (주) 복합 사용자 인증 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000242786A (ja) * 1999-02-19 2000-09-08 Matsushita Electric Works Ltd 本人認証システム
JP2001331801A (ja) * 2000-03-15 2001-11-30 Cai Kk 個人認証装置および個人認証方法および記録媒体
KR20080010026A (ko) * 2006-07-25 2008-01-30 (주)영신전자 멀티미디어 데이터를 이용한 차량 보안 시스템 및 방법
KR20170011482A (ko) * 2015-07-23 2017-02-02 시스템테크 (주) 복합 사용자 인증 시스템 및 방법

Also Published As

Publication number Publication date
KR102594292B1 (ko) 2023-10-26

Similar Documents

Publication Publication Date Title
US11882118B2 (en) Identity verification and management system
US11405386B2 (en) Electronic device for authenticating user and operating method thereof
US10419427B2 (en) Authenticating identity for password changes
RU2718226C2 (ru) Системы и способы безопасного обращения с биометрическими данными
US10650128B2 (en) Methods and systems for automatically configuring user authentication rules
US11030287B2 (en) User-behavior-based adaptive authentication
US10971159B2 (en) Cross account access for a virtual personal assistant via voice printing
US10701053B2 (en) Authentication and approval control system for distributed ledger platform
WO2019174073A1 (zh) 通话中客户信息修改方法、装置、计算机设备及存储介质
US11244146B2 (en) Systems and methods for secure user logins with facial recognition and blockchain
WO2018234882A1 (en) SYSTEM AND METHOD FOR REALIZING A TRANSACTION
US20210150534A1 (en) Novel ensemble method for face recognition deep learning models
WO2020146151A1 (en) Systems and methods for contactless authentication using voice recognition
CN115001817A (zh) 一种离线的身份识别方法、装置及设备
KR20200100481A (ko) 생체 정보를 인증하기 위한 전자 장치 및 그의 동작 방법
Pakulova et al. Multi-path multimodal authentication system for remote information system
KR20190135656A (ko) 얼굴 및 음성 인식 기반 인증 시스템 및 방법
US20220321350A1 (en) System for voice authentication through voice recognition and voiceprint recognition
WO2019037598A1 (zh) 一种用于对用户设备进行无线连接预授权的方法与设备
KR20190052405A (ko) 스마트폰 인증 기능을 이용한 컴퓨터 보안 시스템 및 방법
US11620600B1 (en) Apparatuses and methods for improved risk management
KR20180131141A (ko) 지문 등록 방법 및 이를 이용한 지문 인증 방법과 이를 수행하기 위한 장치
US20210287681A1 (en) Systems and methods for contactless authentication using voice recognition
CN113810413B (zh) 一种设备账户的处理方法、装置及设备
CN112204933B (zh) 认证用户的电子设备及其操作方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
N231 Notification of change of applicant
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant