KR100360480B1

KR100360480B1 - 사용자 인증 장치 및 그 방법

Info

Publication number: KR100360480B1
Application number: KR1020000012053A
Authority: KR
Inventors: 박찬민; 기석철
Original assignee: 삼성전자 주식회사
Priority date: 2000-03-10
Filing date: 2000-03-10
Publication date: 2002-11-09
Also published as: KR20010088055A

Abstract

사용자 인증 장치 및 그 방법이 개시된다. 본 발명에 따른 사용자 인증 장치는 인증된 사용자로써 신뢰할 수 있는지를 검증하여 신뢰할 수 있는 정도를 나타내는 서로 다른 복수 종류의 신뢰도 데이터를 출력하는 신뢰도 검증부, 및 상기 복수 종류의 신뢰도 데이터들을 참조하여 사용자 인증을 결정하는 판단부를 포함하는 것을 특징으로 한다.

본 사용자 인증 장치는 음성 인증과 얼굴 인증을 복합적으로 사용함으로써 오인증되는 경우가 적기 때문에 안정적인 보안 기능을 이룰 수 있다.

Description

사용자 인증 장치 및 그 방법{Personal identification device and method thereof}

본 발명은 사용자 인증 장치 및 그 방법에 관한 것으로, 특히, 생체인증(Biometrics) 기술을 사용한 사용자 인증 장치 및 그 방법에 관한 것이다.

종래에는 열쇠, 카드 키, 및 패스워드등을 사용하는 사용자 인증 방법이 사용되었다. 하지만, 열쇠나 카드 키를 사용하는 사용자 인증 방법은 인증에 필요한 도구를 휴대하여야 하기 때문에 불편하고, 패스워드를 사용하는 사용자 인증 방법은 패스워드가 누출될 위험성이 있다는 문제점이 있다.

이러한 문제를 해결하기 위하여 음성 인식, 얼굴 인식, 지문 인식, 홍채 인식, 및 혈관인식등과 같은 생체 인식을 사용한 생체 인증 방법이 등장하였다. 음성인식이나 얼굴 인식을 사용한 생체 인증 방법은 장치의 구조가 비교적 간단하지만, 인증에 오류가 발생할 수 있다는 문제점이 있으며, 지문 인식, 홍채 인식, 및 혈관인식을 사용한 생체 인증 방법은 인증에 오류가 비교적 적지만, 장치의 구조가 매우 복잡하다는 문제점이 있고, 인증을 받아야 하는 사용자가 인증장치에 접촉하여야 하는 불편함이 있다.

본 발명이 이루고자 하는 기술적 과제는 장치의 구조가 간단하면서도 인증에 오류가 적은 사용자 인증 장치를 제공하는 것이다.

본 발명이 이루고자 하는 다른 기술적 과제는 상기 사용자 인증 장치에서 수행되는 사용자 인증 방법을 제공하는 것이다.

도 1은 본 발명의 실시예에 따른 사용자 인증 장치의 구조를 도시한 블록도이다.

도 2는 도 1의 사용자 인증 장치 내에서 수행되는 본 발명의 실시예에 따른 사용자 인증 방법을 나타낸 흐름도이다.

상기 과제를 이루기 위하여 본 발명에 따른 사용자 인증 장치는 인증된 사용자로써 신뢰할 수 있는지를 검증하여 신뢰할 수 있는 정도를 나타내는 서로 다른 복수 종류의 신뢰도 데이터를 출력하는 신뢰도 검증부; 및 상기 복수 종류의 신뢰도 데이터들을 참조하여 사용자 인증을 결정하는 판단부;를 포함하는 것을 특징으로 한다.

또한, 상기 신뢰도 검증부는, 음성 인식을 사용하여 인식된 음성을 인증된 사용자의 음성으로서 판단할 수 있는 신뢰도를 나타내는 제1 신뢰도 데이터를 출력하는 음성 인증부; 및 얼굴 인식을 사용하여 인식된 얼굴을 인증된 사용자의 얼굴로서 판단할 수 있는 신뢰도를 나타내는 제2 신뢰도 데이터를 출력하는 얼굴 인증부;를 포함하고, 상기 판단부는, 상기 음성 인증부로부터 출력된 제1 신뢰도 데이터와 상기 얼굴 인증부로부터 출력된 제2 신뢰도 데이터를 참조하여 사용자 인증을 결정하는 판단부;를 포함하는 것이 바람직하다.

또한, 상기 음성 검증부 및 얼굴 검증부는, USB(universal serial bus) 버스를 통하여 검증할 음성 데이터를 입력받는 것이 바람직하다.

또한, 상기 다른 과제를 이루기 위한 본 발명에 따른 사용자 인증 방법은 (a) 인증된 사용자로써 신뢰할 수 있는지를 검증하여 신뢰할 수 있는 정도를 나타내는 서로 다른 복수 종류의 신뢰도 정보들을 구하는 단계; 및 (b) 상기 복수 종류의 신뢰도 정보들을 참조하여 사용자 인증을 결정하는 단계;를 포함하는 것을 특징으로 한다.

또한, 상기 (a) 단계는, 음성 인식을 사용하여 인식된 음성을 인증된 사용자의 음성으로서 판단할 수 있는 신뢰도를 나타내는 제1 신뢰도 정보를 구하는 단계; 및 얼굴 인식을 사용하여 인식된 얼굴을 인증된 사용자의 얼굴로서 판단할 수 있는 신뢰도를 나타내는 제2 신뢰도 정보를 구하는 단계;를 포함하고, 상기 (b) 단계는, 상기 (a) 단계에서 구한 제1 신뢰도 정보와 제2 신뢰도 정보를 참조하여 사용자 인증을 결정하는 단계;를 포함하는 것이 바람직하다.

이하 첨부된 도면들을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명하기로 한다.

도 1에는 본 발명의 바람직한 실시예에 따른 사용자 인증 장치의 구조를 블록도로써 나타내었다. 또한, 도 2에는 상기 사용자 인증 장치에서 수행되는 본 발명에 따른 사용자 인증 방법을 흐름도로써 나타내었다. 도 2는 이하에서 수시로 참조된다.

도 1을 참조하면, 본 발명의 실시예에 따른 사용자 인증 장치는 입력부(10) 및 제어부(12)를 구비한다. 입력부(10)는 마이크(102), 카메라(104), 및 USB 허브(108)를 구비한다. 제어부(12)는 음성 인증부(12a), 얼굴 인증부(12b), 및 판단부(13)를 구비한다. 음성 인증부(12a)는 음성 검출부(124), 음성 인식부(128), 및 화자 검증부(130)를 구비한다. 얼굴 인증부(12b)는 얼굴 검출부(126), 얼굴 검증부(132)를 구비한다. 제어부(12)의 출력단에는 허가 및 불허 결과에 따라 개폐되는 슬라이딩 도어(14)와 같은 출입 제한 부재가 접속된다.

상술한 바와같이 구성된 사용자 인증 장치의 동작을 설명한다.

인증을 받고자 하는 사람은 소정의 적절한 위치에서 마이크(102)를 통하여 자신의 아이디를 음성으로 입력하고, 이 음성 신호는 USB 라인(106)을 통하여 USB 소자, 즉 USB 허브(108)로 입력된다. 이때, 인증을 받고자 하는 사람, 즉, 사용자가 마이크(102)를 통하여 음성을 입력하는 위치는 마이크(102)로 음성을 적절히 입력할 수 있고, 또한 카메라(104)가 사용자의 얼굴 영상을 적절하게, 예를들면, 사용자의 얼굴 전면부를 촬영할 수 있는 위치이다. 한편, 이와 동시에, 카메라(104)는 인증을 요청하는 사람의 얼굴 이미지를 촬영하여 디지털화하고, 디지털화된 얼굴 데이터를 USB 라인(106)을 통하여 USB 허브(108)로 출력한다. 이에따라, USB 허브(108)는 음성 데이터와 얼굴 데이터에 대한 스위칭 및 파워 스케일링을 수행하여, 음성데이타(VOICE_DATA) 및 얼굴 데이터(FACE_DATA)를 음성 검출부(124) 및 얼굴검출부(126)로 각각 출력한다.

음성 검출부(124)는 USB 버스(122)를 통하여 입력된 음성 데이터(VOICE_DATA)로부터 음성 아이디의 구간에 해당하는 음성신호(VOICE_DET1)를 검출하고, 이 검출된 음성신호(VOICE_DET1)를 음성 인식부(128)로 제공한다. 이때, 음성 아이디의 구간에 해당하는 음성신호(VOICE_DET1)는 음성이 입력되는 순간부터 2초 이상 음성 입력이 없는 순간까지의 시간을 선택함으로써 검출 가능하다. 또한, 10초내에 사용자의 발음이 끝나지 않는 경우에는, 이후의 인증과정을 취소하고, 사용자 인증을 불허한다.

음성 인식부(128)는 검출된 음성신호(VOICE_DET1)로부터 아이디를 추출하여 아이디를 나타내는 아이디 데이터(ID_DATA)를 화자 검증부(130) 및 얼굴 검증부(132)로 제공하는데, 이때, 화자 검증부(130)로 제공되는 아이디 데이터(ID_DATA)는, 도 1에 도시된 바와같이, 검출된 음성신호(VOICE_DET2)로 나타내어지는데, 이는 아이디 데이터(ID_DATA)와 동일한 데이터이다. 또한, 음성인식부(128)는 아이디 추출 및 음성 인식을 위하여, 알려진 HMM(Hidden Markov Model) 단어모델과 26차 MFCC(Mel-Frequency Cepstral Coefficient) 특징을 사용하는 것이 가능하다. 대안적으로, 본 출원인에 의하여 출원되고 그 기재된 내용이 본 명세서에 참조로써 통합되는 대한민국 특허 출원 97-4760호에 개시되어 있는 음성 인식 장치를 음성 인식부로서 사용하는 것이 보다 바람직하다. 상기 특허 자료에 개시된 음성 인식 장치는 잡음성 아날로그 신호를 잡음성 디지털 신호로 변환하는 아날로그/디지털 변환기와, 잡음성 디지털 신호를 음성 신호가 포함된 음성구간과음성 신호가 포함되지 않은 비음성구간으로 분류하는 음성분류기와, 음성분류기에서 분류된 비음성구간 중 최근 비음성구간의 디지털 신호에 의해 잡음 신호를 추정하는 잡음추정기와, 음성분류기에서 분류된 음성구간의 디지털 신호에서 입력음성의 특징을 추출하는 특징추출기, 및 잡음이 없는 환경에서 생성된 소정의 참조패턴에 잡음추정기에 의해 추정된 잡음 신호를 더한 값에서 참조패턴의 특징을 추출하여 특징추출기에서 추출된 입력음성의 특징과 비교한 결과를 출력하는 패턴매칭기를 포함하여, 잡음 수준이 높은 환경에서의 음성 인식률이 향상된다.

화자 검증부(130)는 음성 아이디의 구간에 해당하는 음성신호(VOICE_DET2)를 사용하여 인증을 요청하는 사람의 음성이 추출된 아이디를 가지는 사람의 음성과 일치하는지를 검증하여, 제1 신뢰도 데이터(REL_A)를 출력한다. 제1 신뢰도 데이터(REL_A)는 인증을 요청하는 사람의 음성이 추출된 아이디를 가지는 사람의 음성으로서 판단할 수 있는 신뢰도를 정량화된 수치 데이터로써 나타낸다. 사용자는 연속 숫자음을 아이디로써 사용하는 것이 가능한다. 연속 숫자음을 아이디로써 사용하기 위해서는 연속 숫자음 모델과 화자 종속 모델 및 개선된 코호트 모델(Cohort Model)을 검증 모델로써 사용하는 것이 가능하다. 또한, 26차 MFCC(Mel-Frequency Cepstral Coefficient) 특징을 검증 모델로써 사용하는 것이 가능하다. 대안적으로, 본 출원인에 의하여 출원된 대한민국 특허 출원 99-27247호에 개시된 비고정 연속 숫자음을 이용한 화자 검증 시스템을 화자 검증부로써 사용하는 것이 보다 바람직하며, 상기 특허 자료에 기재된 내용은 본 명세서에 참조로써 통합된다. 상기 특허 자료에 개시된 비고정 연속 숫자음을 이용한 화자 검증 시스템은 비고정 연속 숫자를 생성하는 랜덤 숫자 생성부와, 상기 랜덤 숫자 생성부에서 생성된 비고정 연속 숫자를 사용자에게 출력하고 출력된 상기 비고정 연속 숫자에 대한 사용자의 음성 입력을 수신하는 사용자 인터페이스부와, 상기 사용자 인터페이스부를 통하여 수신된 음성 신호의 음성 특징을 추출하는 특징 추출부와, 상기 특징 추출부에서 추출된 음성 특징을 화자 독립 연속 숫자음 모델의 항목들과 비교하여 매칭되는 항목에 대응하는 숫자를 추출하고 상기 사용자 인터페이스부를 통하여 출력된 숫자와 동일한지 여부를 판별하는 숫자음 검증부, 및 상기 숫자음 검증부에서 동일 판정이 난 경우에 상기 특징 추출부에서 추출된 음성 특징을 해당 사용자의 화자 모델과 비교하여 그 유사도를 측정하고 상기 유사도에 근거하여 화자 인정 여부를 결정하는 화자 검증부를 포함하여, 간단한 숫자열을 사용하여 처리 속도를 향상시킬 뿐만 아니라, 임의성을 높여서 음성 도용의 가능성을 제거한다.

얼굴 검출부(126)는 USB 버스(122)를 통하여 얼굴 데이터(FACE_DATA)를 입력하여, 상기 얼굴 데이터(FACE_DATA)로부터 사람의 얼굴에 해당하는 얼굴신호(FACE_DET)를 검출한다. 얼굴 검출을 위해서는 당업자에 의하여 이해되어지는 가버 필터(Garbor filter)의 반응값과 M-스타일 그리드 정합(M-style grid matching) 방법을 사용하여 사람 얼굴 부분을 검출하고, 순차 증가하는 다중-임계(muli-threshold)을 기초로 한 경계 추적을 사용하는 형태 분석 방법을 적용하는 것이 가능하다. 이러한 형태 분석 방법은 사람 얼굴 부분에서 눈의 위치를 주요한 정보로 사용한다는데 특징이 있다. 대안적으로, 본 출원인에 의하여 출원된 대한민국 특허 출원 99-55577호에 개시된 얼굴 인식 장치를 얼굴 검출부로써사용하는 것이 보다 바람직하며, 상기 특허 자료에 기재된 내용은 본 명세서에 참조로써 통합된다. 상기 특허 자료에 개시된 얼굴 인식 장치는 입력된 RGB 영상에서, 강한 회색 특징을 나타내는 픽셀들을 검출하여 검출된 픽셀들이 형성하는 영역들 중에서 부분 응집 특성을 나타내고 텍스쳐 특징이 있는 영역들을 눈 후보 영역들로 결정하는 눈위치 검출수단; 눈 후보 영역들 중에서 추출한 2개의 영역의 위치에 매칭시켜 탐색 템플레이트를 생성하고, RGB 영상에서 탐색 템플레이트의 영역 내의 픽셀들의 색도값에 대한 확률거리의 합을 정규화한 값, 탐색 템플레이트에 의해 추정되는 눈, 입 및 코의 위치에서의 수평 에지의 크기를 사용하여 생성된 탐색 템플레이트들 중 최적의 탐색 템플레이트를 결정하는 얼굴위치 결정수단; 및 최적의 탐색 템플레이트를 이용하여 최소 외곽 사각형을 구성하고, 형상메모리에 저장된 각 픽셀별 카운트 값들 중에서 최소 외곽 사각형의 영역에 대응하는 카운트 값은 증가시키고, 그 외의 카운트 값은 감소시키면서 형상메모리에서 소정의 값 이상의 카운트 값들이 위치한 영역을 화자 위치 영역으로 출력하는 추출위치 안정화수단을 포함하여, 영상에서 화자의 눈과 얼굴 위치를 정확하고, 빠르게 찾을 수 있으며, 영상잡음에도 강하다.

얼굴 검증부(132)는 검출된 얼굴신호(FACE_DET)를 사용하여 인증을 요청하는 사람의 얼굴이 음성 인식부(138)로부터 출력된 아이디 데이터(ID_DATA)에 해당하는 아이디를 갖는 사람의 얼굴과 일치하는지를 검증하여, 제2 신뢰도 데이터(REL_B)를 출력한다. 제2 신뢰도 데이터(REL_B)는 인증을 요청하는 사람의 얼굴이 해당 아이디를 갖는 사람의 얼굴로서 판단할 수 있는 신뢰도를 정량화된 수치로써 나타낸다.얼굴 인증을 위해서는 당업자에게 알려져 있는 얼굴 인식 방법인 주 구성요소 분석(PCA:Principal Component Analysis)를 이용한 얼굴 인식 방법 또는 가버 필터(Gabor filter)를 이용한 얼굴 인식 방법을 사용하는 것이 가능하다. PCA를 이용한 얼굴 인식 방법은 얼굴의 세부적인 면을 살피기 보다는 얼굴의 전체적인 면의 구성에 의해 얼굴을 인식한다. 또한, PCA를 이용한 얼굴 인식 방법은 입력으로 사용될 정면 얼굴 영상에 대해, 얼굴을 정확히 정렬(alignment)하고, 정렬된 얼굴을 정규화(normalization)한다. 또한, PCA를 이용한 얼굴 인식 방법은 입력으로 실제 얼굴 영상들을 사용하고, 이 영상들을 기초로 새로운 공간(space)을 구성하기 때문에, 입력 영상의 한계로 인해 조명과 밝기의 변화에 민감하다. 가버 필터를 이용한 얼굴 인식 방법은 얼굴의 특징점들을 기준으로 한 얼굴의 일정 영역에 주파수와 방향성을 달리하는 2차원 가버 필터들의 집합을 적용시키고, 그 반응값으로 부터 얼굴을 식별한다.

판단부(13)는 음성 인증부(12a)로부터 출력된 제1 신뢰도 데이터(REL_A)와 얼굴 검증부로부터 출력된 제2 신뢰도 데이터(REL_B)를 참조하여 사용자 인증을 결정한다. 본 실시예에서, 판단부(13)는 제1 신뢰도 데이터(REL_A)와 제2 신뢰도 데이터(REL_B)가 모두 95% 이상의 신뢰도를 나타내거나, 제1 신뢰도 데이터(REL_A) 또는 제2 신뢰도 데이터(REL_B) 중의 하나가 95% 이상의 신뢰도를 나타내고 다른 하나가 70% 이상의 신뢰도를 나타내는 경우에는 허가됨을 나타내는 "하이"의 인증신호(ACC/REJ)를 출력한다. 하지만, 이외의 경우에는 불허됨을 나타내는 "로우"의 인증신호(ACC/REJ)를 출력한다. 제어부(12)의 출력단에는 접속된 슬라이딩도어(14)는 "하이"의 인증신호(ACC/REJ)에 응답하여 열리게 된다. 하지만, 슬라이딩 도어(14)는 "로우"의 인증신호(ACC/REJ)가 입력되는 경우에는 열리지 않는다.

상기와 같은 사용자 인증 장치는 음성 인식과 얼굴 인식을 복합적으로 사용함으로써 오인증되는 경우를 방지할 수 있기 때문에 안정적인 보안 기능을 이룰 수 있다. 또한, 상기와 같은 사용자 인증 장치는 인증을 받아야 하는 사용자가 인증장치에 접촉하여야 할 필요가 없기 때문에 편리한 휴먼 컴퓨터 인터페이스(Human Computer Interface: HCI)를 지향한다.

상기와 같은 사용자 인증 장치내에서 수행되는 본 발명의 실시예에 따른 사용자 인증 방법을 도 2를 참조하여 설명한다. 먼저, 음성 데이터와 얼굴 데이터를 입력(단계 202)하여, 음성 신뢰도와 얼굴 신뢰도를 각각 결정한다(단계 204). 다음으로, 결정된 얼굴 신뢰도와 음성 신뢰도를 참조하여 사용자 인증을 결정한다. 바람직하게는, 얼굴 신뢰도와 음성 신뢰도의 크기를 복합적으로 고려하여 허가 또는 불허 판정한다. 본 실시예에서는 음성신뢰도와 얼굴 신뢰도가 모두 95% 이상이거나, 음성 신뢰도는 95% 이상이고 얼굴 신뢰도는 70% 이상이거나, 얼굴 신뢰도는 95% 이상이고 음성 신뢰도는 70% 이상인 경우에는 허가(Accept) 판정(단계 208)하고, 이외의 경우에는 불허(Reject) 판정(단계 210)한다.

상기와 같은 사용자 인증 방법에 따르면, 인증된 사용자임에도 불구하고 허가되지 않는 경우나 인증되지 않은 사용자임에도 불구하고 허가되는 경우와 같은 오인증이 발생할 가능성을 현저히 낮출 수 있다.

또한, 상기 실시예들은 설명을 위한 것으로 첨부된 청구항들에 의하여 정의되는 본 발명의 범위를 한정하지 않으며 당업자에 의하여 적절히 변형 또는 수정되어질 수 있다.

상술한 바와 같이 본 발명에 따른 사용자 인증 장치는 음성 인증과 얼굴 인증을 복합적으로 사용함으로써 오인증되는 경우가 적기 때문에 안정적인 보안 기능을 이룰 수 있다.

Claims

사용자 인증을 하기 위한 장치에 있어서,

입력된 음성 데이터로부터 사용자의 음성 아이디의 구간에 해당되는 음성신호를 검출하는 음성 검출부,

검출된 음성신호로부터 사용자의 아이디를 추출하는 음성 인식부, 및

상기 검출된 음성신호의 특징과 미리 저장된 상기 추출된 아이디에 해당하는 음성신호의 특징을 비교하여, 인식된 음성을 인증된 사용자의 음성으로서 판단할 수 있는 신뢰도를 나타내는 제 1 신뢰도 데이터를 출력하는 화자 검증부를 포함하는 음성 인증부;

입력된 영상 데이터에서 사용자의 얼굴을 검출하는 얼굴 검출부, 및

상기 검출된 얼굴 영상 데이터에 소정의 연산을 수행하여 추출된 특징을, 상기 음성 인식부에서 추출된 사용자의 아이디에 해당하는 미리 저장된 얼굴 영상의 특징과 비교하여, 입력된 얼굴을 인증된 사용자의 얼굴로서 판단할 수 있는 신뢰도를 나타내는 제 2 신뢰도 데이터를 출력하는 얼굴 검증부를 포함하는 얼굴 인증부; 및

상기 음성 인증부로부터 출력된 제 1 신뢰도 데이터와 상기 얼굴 인증부로부터 출력된 제 2 신뢰도 데이터를 참조하여 사용자 인증을 결정하는 판단부를 포함하는 것을 특징으로 하는 사용자 인증 장치.
삭제
제1항에 있어서,

상기 음성 인증부는,

USB(universal serial bus) 버스를 통하여 검증할 음성 데이터를 입력받는 것을 특징으로 하는 사용자 인증 장치.
제1항에 있어서,

상기 얼굴 인증부는,

USB 버스를 통하여 검증할 얼굴 데이터를 입력받는 것을 특징으로 하는 사용자 인증 장치.
사용자 인증을 하기 위한 방법에 있어서,

(a1) 입력된 음성 데이터로부터 사용자의 음성 아이디의 구간에 해당되는 음성신호를 검출하는 단계;

(a2) 검출된 음성신호로부터 사용자의 아이디를 추출하는 단계;

(a3) 상기 검출된 음성신호의 특징과 미리 저장된 상기 추출된 아이디에 해당하는 음성신호의 특징을 비교하여, 인식된 음성을 인증된 사용자의 음성으로서 판단할 수 있는 신뢰도를 나타내는 제 1 신뢰도 데이터를 출력하는 단계;

(b1) 입력된 영상 데이터에서 사용자의 얼굴을 검출하는 단계;

(b2) 상기 검출된 얼굴 영상 데이터에 소정의 연산을 수행하여 추출된 특징을, 상기 추출된 사용자의 아이디에 해당하는 미리 저장된 얼굴 영상의 특징과 비교하여, 입력된 얼굴을 인증된 사용자의 얼굴로서 판단할 수 있는 신뢰도를 나타내는 제 2 신뢰도 데이터를 출력하는 단계; 및

(c) 상기 음성 인증부로부터 출력된 제 1 신뢰도 데이터와 상기 얼굴 인증부로부터 출력된 제 2 신뢰도 데이터를 참조하여 사용자 인증을 결정하는 단계를 포함하는 것을 특징으로 하는 사용자 인증 방법.
삭제