KR20050065132A - 다중 생체 정보를 이용한 개인 등록 및 인증 시스템과 그방법 - Google Patents

Abstract

본 발명에 의한 다중 생체 정보를 이용한 개인 등록 및 인증 시스템과 그 방법은 생체정보를 등록하는 시스템에 있어서, 상기 등록 시스템에 등록될 사용자의 영상에서 소정의 얼굴 특징을 추출하여 상기 얼굴 특징을 기초로 얼굴SVM(Support Vector Machine)을 생성하는 얼굴등록부; 상기 등록 시스템에 등록될 사용자의 음성에서 소정의 음성 특징을 추출하여 상기 음성 특징을 기초로 음성SVM을 생성하는 음성등록부; 및 상기 추출된 얼굴특징과 음성특징을 같은 범위의 값으로 각각 정규화한 후 결합하여 상기 정규화된 값을 기초로 음성및얼굴SVM을 생성하는 얼굴/음성등록부;를 포함하는 것을 특징으로 하며, 하나의 분류 알고리즘인 SVM을 얼굴, 음성 및 얼굴/음성 결합 특징 모두에 적용하여, 인증 과정에서 하나의 분류 알고리즘을 공유하여 사용함으로써 자원 사용을 효율적으로 하여 스마트 카드와 같은 한정된 자원하에서도 실행될 수 있게 한다. 또한 이종의 생체 정보를 특징 추출 단계에서 결합과 정합 결정 단계에서의 결합의 두 가지를 함께 사용함으로써 신원 인증을 보다 정확히 수행할 수 있게 한다.

Description

다중 생체 정보를 이용한 개인 등록 및 인증 시스템과 그 방법{Apparatus for registrating and identifying multiple human features and method thereof}

본 발명은 생체 인식을 이용한 신원 인증 시스템에 관한 것으로, 특히 스마트 카드와 같은 자원이 한정된 환경에서 다중 생체 정보중에서도 얼굴 및 음성 정보를 통합하여 사용자를 등록하거나 인증하는 생체 인식 시스템 및 그 방법에 관한 것이다.

통상적으로 신원인증 시스템이라 함은 보안이 요구되는 특정 지역이나 건물 등에 미리 등록된 사람들만의 출입을 허용하기 위하여 도입된 시스템으로, 사용자의 각종 신상정보와 특정 건물로의 접근을 위한 비밀번호 등을 스마트 카드에 기록하여 상기 신상정보와 비밀번호가 일치하는 등록된 사용자에게만 접근을 허용하는 방식의 스마트 카드 시스템이 일반적인 신원인증 시스템으로써 널리 사용되고 있으나 상기 스마트 카드 시스템은 타인에 의한 도용, 위조 및 변조가 비교적 용이한 문제점이 있었다.

따라서 최근 들어서는 사람의 지문, 얼굴, 음성, 망막, 홍채, 손모양, 정맥 등과 같은 고유의 신체적 특성과 서명, 걸음걸이 등의 행동적 특성을 신원 인증에 이용하는 생체인식 기술 분야가 그 뛰어난 보안성을 이유로 새로운 신원 인증 시스템으로서 크게 주목받고 있으며, 사회 전반에 걸쳐 보안문제가 화두로 대두됨에 따라 보다 신뢰성이 높은 보안시스템을 구축하고자 하는 사용자들을 통해 높은 설치 비용에도 불구하고 그 이용이 급속히 증가하고 있는 추세이다.

또한 생체인식 기술을 이용한 자동 사용자 인증 시스템은 이러한 출입 통제뿐만 아니라 감시 분야, 비디오 검색 등에도 사용되고 있다. 최근에는 인터넷 뱅킹을 포함한 다양한 종류의 금융서비스, 인터넷을 통한 중요한 자료에 대한 정보보호, 안전한 전자정부 구축 등에 신뢰성을 제공하는 핵심기술로 부각되고 있다.

한편, 종래 상기 지문, 망막, 홍채, 서명 등을 이용하는 생체정보 인증 시스템은 사용자가 지문 인식기에 직접 지문 정보를 입력하여야 하거나 홍채 인식기에 눈을 밀착시켜야 하는 등 사용자로 하여금 생체정보 입력을 위한 특정 행위를 강요하여 생체정보 입력시 다소 불편한 문제점이 있으나, 상기 생체정보 중 얼굴, 음성 정보를 이용하는 경우에는 상기 생체정보 입력시 사용자가 느끼는 불편함이나 불쾌감을 크게 줄일 수 있는 장점이 있다. 또한 입력 장치가 비교적 저렴하다는 장점이 있다. 따라서 상기 생체정보들 중에서도 얼굴 및 음성 인식을 통한 신원 인증 기술에 대한 연구가 보다 활발히 진행되고 있다.

그러나 각각의 단일 생체 정보를 이용한 인증 기술은 이상적인 환경에서는 비교적 신뢰할 만하지만, 실제 상황에서는 환경에 매우 민감하다는 단점이 있다. 예로 음성 인식은 소음 환경에서는 급격하게 인식률이 떨어지며, 얼굴 인식 또한 조명의 세기 및 방향, 사용자의 포즈에 큰 영향을 받는다. 최근에는 이러한 한계를 극복하고자 여러 종류의 생체인식 기술을 함께 사용하여 상호보완성을 제공하는 다중 생체인식에 관한 관심이 고조되고 있다.

다중 생체인식 시스템은 다중 생체 정보의 구성과 정보 통합이 이루어지는 기준에 따라 다음과 같이 분류할 수 있다.

(가) 다중 센서 : 예를 들면 지문 획득을 위한 광학, 초음파, 반도체 방식 등의 센서들이 가능하다.

(나) 다중 생체특징 시스템: 지문, 얼굴과 같은 상이한 생체 특징들을 결합한다.

(다) 동일 생체특징의 다중 유닛: 양쪽 눈의 홍채 특징, 양쪽 손의 특징, 10개 손가락 지문 등을 각각 결합한다.

(라) 동일 생체특징을 여러 번 획득: 같은 손가락의 지문을 여러 번 획득하거나, 여러 개의 음성 샘플, 여러 장의 얼굴 영상을 결합한다.

(마) 동일 입력 생체특징 신호에 대한 다중 표현과 매칭 알고리즘: 예로 하나의 지문에 대하여 다른 특징 추출과 매칭 알고리즘을 결합한다.

두 개 이상의 단일 생체인식 시스템의 통합은 여러 단계에서 일어날 수 있는데, 세가지 통합 단계로 나누어 볼 수 있다. 각 센서로부터 얻어진 데이터들을 하나의 특징 벡터로 통합하는 특징 추출 단계에서의 통합과, 각각의 단일 생체 매칭 모듈로부터 출력된 매칭 점수들을 통합하는 매칭 점수 단계에서의 통합과, 각각의 단일 생체 결정 모듈로부터 출력된 수락 또는 기각 결정들을 통합하는 결정 단계에서의 통합이 있다.

단일 생체 인식의 환경 영향에 따른 성능의 한계를 극복하고자, 여러 종류의 단일 생체 인식 기술을 통합 사용하여 상호보완성을 제공하는 다중 생체 인식에 관한 연구가 진행되고 있는데, 이종의 생체 정보를 이용한 다중 생체 인증을 수행할 경우, 각각 상이한 정합 알고리즘들을 사용함에 따라 메모리 사용 및 계산량이 크다는 문제점이 발생하였다. 따라서 메모리, 계산량에 제한이 있는 스마트 카드와 같은 환경하에서는 사용이 어려운 문제점이 있었다.

본 발명이 이루고자 하는 기술적 과제는 자원이 제한된 환경에서도 다중 생체 정보을 이용하여 사용자를 등록하는 시스템을 제공하는데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는 등록된 사용자의 다중 생체 정보와 인증을 요구하는 사용자의 다중 생체 정보를 비교하여 인증을 수행하는 시스템을 제공하는데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는 사용자의 다중 생체 정보를 등록한 후 인증을 요구하는 사용자의 다중 생체 정보와 비교하여 인증을 수행하는 다중 생체 정보 등록 및 인증 방법을 제공하는데 있다.

상기의 기술적 과제를 이루기 위하여 본 발명에 의한 다중 생체정보를 이용한 개인 등록 시스템은 등록될 사용자의 영상에서 소정의 얼굴 특징을 추출하여 상기 얼굴 특징을 기초로 얼굴SVM(Support Vector Machine)을 생성하는 얼굴등록부; 상기 등록 시스템에 등록될 사용자의 음성에서 소정의 음성 특징을 추출하여 상기 음성 특징을 기초로 음성SVM을 생성하는 음성등록부; 및 상기 추출된 얼굴특징과 음성특징을 같은 범위의 값으로 각각 정규화한 후 결합하여 상기 정규화된 값을 기초로 음성및얼굴SVM을 생성하는 얼굴/음성등록부;를 포함하는 것을 특징으로 한다.

상기의 다른 기술적 과제를 이루기 위하여 본 발명에 의한 다중 생체정보를 이용한 개인 인증 시스템은 등록된 사용자의 얼굴 특징을 기초로 생성된 얼굴SVM, 등록된 사용자의 음성특징을 기초로 생성된 음성SVM, 및 상기 얼굴특징 및 음성특징을 통합하여 생성된 음성및얼굴SVM을 구비하여 사용자를 인증하는 시스템에 있어서, 상기 인증을 요구하는 사용자의 영상에서 소정의 얼굴 특징을 추출하여 상기 얼굴 특징을 상기 얼굴SVM에 입력하여 인증여부를 결정하는 얼굴인증부; 상기 인증을 요구하는 사용자의 음성에서 소정의 음성 특징을 추출하여 상기 음성 특징을 상기 음성SVM에 입력하여 인증여부를 결정하는 음성인증부; 및 상기 얼굴특징과 음성특징을 같은 범위의 값으로 각각 정규화한 후 결합한 값을 상기 음성및얼굴SVM에 입력하여 인증여부를 결정하는 얼굴및음성인증부;를 포함하는 것을 특징으로 한다.

상기의 다른 기술적 과제를 이루기 위하여 본 발명에 의한 다중 생체 정보를 이용한 개인 등록 및 인증 방법은 생체정보를 등록하고 사용자가 입력하는 생체정보를 상기 등록된 생체정보에 기초하여 인증을 수행하는 등록 및 인증 방법에 있어서, 상기 사용자의 영상에서 추출된 얼굴 특징을 기초로 얼굴SVM을 생성하는 단계; 상기 사용자의 음성에서 추출된 음성 특징을 기초로 음성SVM을 생성하는 단계; 상기 추출된 얼굴특징과 음성특징을 같은 범위의 값으로 각각 정규화한 후 결합하여 상기 정규화된 값을 기초로 생성된 음성및얼굴SVM을 생성하는 단계; 인증을 요구하는 사용자의 얼굴 특징을 입력받아 상기 얼굴SVM에 입력하여 얼굴영상에 의한 인증여부를 결정하는 단계; 인증을 요구하는 사용자의 음성특징을 입력받아 상기 음성SVM에 입력하여 음성에 의한 인증여부를 결정하는 단계; 인증을 요구하는 사용자의 얼굴특징과 음성특징을 같은 범위의 값으로 각각 정규화한 후 결합하여 생성된 값을 입력받아 얼굴영상과 음성의 결합으로 인증여부를 결정하는 단계; 및 상기 얼굴인증결과,음성인증결과와 얼굴및음성인증결과를 기초로 최종 인증여부를 결정하는 단계;를 포함하는 것을 특징으로 한다.

이하 첨부된 도면을 참조하면서 본 발명의 바람직한 일 실시예를 상세히 설명하도록 한다. 먼저 다중 생체 정보를 이용한 개인 등록 시스템에 대하여 살펴본다. 도 1은 본 발명의 일 실시예로서 신원인증을 위한 얼굴 및 음성 등록 시스템의 블록 구성을 도시한 것으로, 크게 얼굴 인증 학습 블럭(100,102,104)과 음성 인증 학습 블럭(110,112,114)과 얼굴/음성특징 결합 인증 학습 블럭(120,122)으로 구성된다.

먼저 등록할 사용자의 얼굴의 특징을 추출하여 그 특징을 기초로 하여 나중에 인증을 요하는 사용자의 인식에 사용하기 위한 얼굴SVM을 생성하는 얼굴 인증 학습블럭을 살펴본다.

SVM은 V. Vapnik과 그의 공동 연구자들에 의해 패턴인식의 효과적이고 일반화된 방법으로 최근에 제안되었는데, 구조적 위험 최소화(structural risk minimization)의 개념에 기반한 최적의 선형 결정 평면(optimal linear decision surface)을 찾는 이진 분류 방법이다. 결정 평면은 학습 집합 원소들의 가중화된 조합(weighted combination) 으로, 이러한 학습 집합의 원소들을 support vectors 라고 부르고, 이것은 두 클래스 간의 경계면을 나타낸다. N 개의 학습 샘플들 가 있다고 할 때, 여기서 이고 는 관련된 레이블이다(). 선형 분리 데이터를 가정할 때, 최대 여백 분류(maximum margin classification)의 목표는 support vectors의 거리가 최대화되는 초월면(hyperplane)에 의해 두 개의 클래스를 분리하는 것이다. 이러한 초월면은 최적 경계 초월면(OSH: optimal separating hyperplane)이라고 불린다. OSH는 다음과 같은 수학식 1과 같이 나타낼 수 있다.

여기서 계수들 와 는 2차 프로그래밍(quadratic programming) 문제의 해이고, support vectors에 대한 는 0이 아닌 값을 갖는다. 선형 분리가 불가능한 데이터인 경우에는, SVM은 입력벡터를 선형 초월면(linear hyperplane)이 발견되는 고차원의 특징 공간 로 비선형 매핑(nonlinearly mapping)을 할 수 있다. 다음의 수학식 2와 같은 고차원 매핑은 비선형 SVM을 형성하는데 사용된다.

목표 함수(objective function)와 결정 함수(decision function) 두 가지 모두 데이터 벡터 의 내적(dot products)에 의해 표현됨에 따라, 계산적으로 복잡한 매핑 는 명시적으로 계산할 필요가 없다. 즉 Mercer의 조건을 만족하는 커널 함수(kernel function) 는, 대신에 사용되는 를 다시 치환할 수 있다. 따라서 결정 평면은 다음의 수학식 3과 같은 수식을 갖는다.

다음의 커널 함수들이 SVM에 종종 사용되는데, 다항식 커널(polynomial kernels)은 다음의 수학식 4와 같이 주어진다.

RBF 커널(Radial Basis Function kernels)은 다음의 수학식 5와 같으며,

Tangent hyperbolic kernels 은 다음의 수학식 6과 같다.

등록얼굴입력부(100)는 등록하고자 하는 사용자의 얼굴 영상을 입력받는다. 등록얼굴입력부(100)에서는 입력된 얼굴 영상으로부터 얼굴 영역과 눈 영역을 추출한다. 추출된 눈의 중심점을 이용하여 크기 및 회전에 대한 얼굴영상의 정규화를 수행하여 출력한다. 제1전처리부(102)는 등록얼굴입력부(100)가 출력하는 정규화된 얼굴영상을 입력받아 히스토그램 평활화를 이용하여 등록시 사용자의 얼굴에 가해진 조명에 의한 영향을 보정한다. 그리고 보정된 얼굴영상에 대하여 얼굴의 고유한 특징을 추출하여 출력한다. 양쪽 눈을 중심으로 한 얼굴의 기울기와 크기 조정 및 히스토그램 평활화를 통한 전처리를 수행하는 이유는 등록된 얼굴과 인증할 얼굴의 특징이 일관성 있게 추출되게 하기 위해서이고, 얼굴의 특징으로 사용되는 것은 예로, 주요소분석(PCA: Principal Component Analysis)을 통한 계수 등 다양한 방법에 의해 추출된 특징일 수 있다.

얼굴인증기학습부(104)는 제1전처리부가 출력하는 얼굴의 고유한 특징을 입력벡터로 하는 얼굴SVM(Support Vector Machine)을 생성하여, 차후에 사용자 인증시에 사용할 수 있도록 저장한다.

다음으로 사용자의 음성의 특징을 추출하여 그 특징을 기초로 하여 나중에 인증을 요하는 사용자의 인식에 사용하기 위한 음성SVM을 생성하는 음성 인증 학습블럭을 살펴본다.

등록음성입력부(110)는 등록하고자 하는 사용자의 음성을 마이크로폰과 같은 입력장치를 통하여 입력받아 제2전처리부(112)로 출력한다. 제2전처리부(112)는 입력된 음성 신호로부터 음성의 시작과 끝점을 추출한 후 고주파 영역을 증폭하는 전처리를 수행한 후 특징을 추출하여 출력한다. 음성인증기학습부(114)는 상기 추출된 특징을 입력벡터로 하는 음성SVM을 생성하여 , 차후에 사용자의 음성인식시에 사용할 수 있도록 저장한다.

제1얼굴/음성특징 결합부(120)은 제1전처리부(102)에서 추출된 얼굴특징과 제2전처리부(112)에서 추출된 음성특징을 각각 같은 범위의 값으로 정규화한 후 결합하여 특징집합을 생성하여 출력한다. 얼굴/음성 특징결합인증기학습부(122)는 이 특징집합을 입력벡터로 하여 얼굴및음성SVM을 생성하여, 차후에 사용자의 얼굴특징과 음성특징이 결합된 특징에 의하여 인증을 수행할 수 있도록 저장한다.

이제, 다중 생체 정보를 이용하여 사용자를 인증하는 시스템에 대하여 살펴본다. 도 2는 본 발명에 의한 다중 생체 정보를 이용한 개인 인증 시스템의 구성도를 도시한 것이다. 인증 시스템은 크게 얼굴 인증 블럭(200,202,204)과 음성 인증 블럭(210,212,214)과 얼굴/음성특징 결합 인증블럭(220,222)과 상기 세 가지 인증 결과를 통합하여 최종적으로 인증 결과를 출력하는 통합 인증부(230)로 구성된다.

먼저 얼굴 인증 블럭을 살펴보면, 인증얼굴입력부(200)는 인증을 요구하는 사용자의 얼굴 영상을 입력받아 얼굴 영역과 눈 영역을 추출한다. 추출된 눈의 중심점을 이용하여 크기 및 회전에 대한 얼굴영상의 정규화를 수행하여 출력한다. 제3전처리부(202)는 상기 인증얼굴입력부(200)로부터 정규화된 얼굴 영상을 수신하여 히스토그램 평활화를 이용하여 인증을 요구하는 사용자의 얼굴에 가해진 조명에 의한 영향을 보정한다. 그리고 보정된 얼굴영상에 대하여 얼굴의 고유한 특징을 추출하여 출력한다. 얼굴인증부(204)는 추출된 얼굴의 고유한 특징을 상기 등록과정에서 생성한 얼굴SVM에 입력하여 얼굴영상에 의한 인증을 수행한다.

한편 음성 인증 블럭을 살펴보면, 인증음성입력부(210)는 인증하고자 하는 사용자의 음성을 마이크로폰과 같은 입력장치를 통하여 입력받아 제4전처리부(212)로 출력한다. 제4전처리부(212)는 입력된 음성 신호로부터 음성의 시작과 끝점을 추출한 후 고주파 영역을 증폭하는 전처리를 수행한 후 음성특징을 추출하여 출력한다. 음성인증부(214)는 상기 추출된 음성특징을 입력벡터로 하여 상기 등록과정에서 생성된 음성SVM에 입력하여 음성에 의한 인증을 수행한다.

얼굴/음성특징의 결합에 의한 인증 블럭을 살펴보면, 제2얼굴/음성특징결합부(220)는 제3전처리부(202)에서 출력하는 얼굴특징과 제4전처리부에서 출력하는 음성특징(211)을 수신하여 각각 같은 범위의 값으로 정규화한 후 결합한 특징집합을 출력한다. 얼굴/음성특징결합인증부(222)는 상기 특징집합을 수신하여 상기 등록과정에서 생성하였던 얼굴/음성SVM에 입력함으로써 음성특징과 얼굴특징의 결합에 의한 인증을 수행한다.

통합인증부(230)은 얼굴인증부(204), 음성인증부(214), 그리고 얼굴/음성특징결합인증부(222)의 인증결과를 통합하여 최종적으로 인증 결과를 출력한다. 각각의 인증결과의 통합은 결정 단계에서의 통합으로 다수결 통합, AND 통합, OR 통합등을 사용한다.

도 3은 본 발명의 실시 예에 따른 스마트 카드 환경에서의 신원인증을 위한 다중생체정보를 이용한 개인 등록 및 인증시스템의 블록 구성을 도시한 것으로, 위에서 설명한 기능블럭과 동일한 것은 참조부호가 일치하며, 중복되는 설명은 생략하도록 한다. 도 3을 보면 알 수 있듯이, 도 1의 등록시스템과 도 2의 인증시스템이 스마트카드를 포함하면서 구성된 것으로서, 호스트컴퓨터내에 사용자를 등록하여 최종적으로 얼굴인증기 즉 얼굴인증을 위한 SVM, 음성인증기 즉 음성인증을 위한 SVM, 그리고 얼굴과 음성을 결합한 얼굴/음성결합인증기 즉 얼굴/음성을 인증하기 위한 SVM을 생성하기 위한 블럭과 이렇게 생성된 각 인증기를 저장하고 카드 내부에서 인증까지 수행하는 스마트카드, 그리고 스마트카드를 사용하는 자를 인증하기 위하여 얼굴,음성,얼굴/음성의 결합특징을 스마트카드로 전송하기 위한 인증블록으로 이루어진다.

따라서 위에서의 기능블럭의 설명과 중복을 피하기 위하여 개괄적으로 서술하면, 호스트컴퓨터는 등록하고자 하는 사용자의 얼굴 영상 및 음성을 입력 받아 얼굴 영상 및 음성 신호의 전처리 및 특징을 추출(100, 102)하고, 얼굴과 음성 특징을 결합(120)하여 얼굴, 음성 각각의 SVM 인증기 학습(104,114) 및 얼굴/음성 결합 특징의 SVM 인증기 학습(1222)이 수행되어, 생성된 SVM 인증기들은 스마트 카드로 전송되어 스마트 카드 내부에 각각 저장된다(320,330,340).

인증 시스템은 호스트 컴퓨터에서 인증하고자 하는 사용자의 얼굴 영상 및 음성을 입력받아(200,210), 얼굴 영상 및 음성 신호를 전처리하여 특징을 추출하고(202,212), 얼굴과 음성 특징을 결합(220)하여 추출된 얼굴 및 음성 특징, 결합 특징들을 스마트 카드로 전송한다.

스마트 카드는 내부에 상기 저장된(320,330,340) 각 SVM 인증기와 인증을 요하는 사용자의 얼굴특징,음성특징,얼굴과 음성의 결합특징을 각 SVM 인증기의 입력으로 하여 인증 과정(350,360,370)을 수행하고, 이들 인증의 결과를 통합하여 인증하는 과정(360)을 거쳐 최종 인증 결과를 호스트 컴퓨터로 전송한다.

도 4는 본 발명의 일 실시예에 따른 얼굴 및 음성 등록 방법의 상세한 처리 흐름도를 도시한 것으로, 얼굴 인증기 학습과정과 음성 인증기 학습과정과 얼굴/음성특징 결합 인증기 학습과정으로 구성된다. 아래에서 인증기라고 함은 각각 얼굴특징, 음성특징, 혹은 얼굴과 음성특징을 입력벡터로 하는 SVM을 말하여, 학습을 통해 생성한다는 말은 각 특징을 기초로 SVM 알고리즘에 의하여 가장 적합한 SVM 모델을 생성한다는 것을 의미한다.

얼굴 인증기 학습과정은, 카메라로부터 얼굴 영상을 획득(400단계)하고, 획득한 얼굴 영상에서 얼굴 영역 및 눈 영역을 추출(402단계)하여 추출된 눈의 중심점을 이용하여 크기 및 회전에 대한 얼굴 영상의 정규화를 수행(404단계)하고, 조명의 영향을 보정하기 위하여 히스토그램 평활화(Histogram Equalization)를 이용한 전처리를 수행(406단계)한 후, 얼굴의 고유한 특징을 추출(408단계)하고, 추출된 얼굴 특징에 대한 SVM 얼굴 인증기를 학습을 통해 생성한다(410단계).

음성 인증기 학습과정은, 마이크로부터 음성 신호를 획득(420단계)하고, 입력된 음성 신호로부터 음성의 시작과 끝점을 추출(422단계)하고, 음성 신호의 고주파 영역을 강조하는 등의 전처리를 수행(424단계)한 후, 음성의 특징을 추출(426단계)하고, 추출된 음성 특징에 대한 SVM 음성 인증기를 학습을 통해 생성한다(428단계).

얼굴/음성특징 결합 인증기 학습과정은 상기 (408단계)에서 추출된 얼굴 특징을 음성 특징과 같은 범위의 값으로 정규화(440단계)하고, 또한 상기 (426단계)에서 추출된 음성 특징도 같은 범위의 값으로 정규화(442단계)하여, 이 정규화된 얼굴과 음성의 특징들을 하나의 특징벡터로 결합(444단계)하고, 결합된 특징에 대하여 SVM 얼굴/음성특징 결합 인증기를 학습한다(446단계).

도 5는 본 발명의 실시 예에 따른 얼굴 및 음성 인증 방법의 상세한 처리 흐름도를 도시한 것으로, 얼굴 인증과정과 음성 인증과정과 얼굴/음성특징 결합 인증과정과 3가지 인증 결과를 통합하여 최종적으로 인증 결과를 출력하는 통합 인증과정으로 구성된다.

얼굴 인증과정은, 카메라로부터 얼굴 영상을 획득(500단계)하고, 획득한 얼굴 영상에서 얼굴 영역 및 눈 영역을 추출(502단계)하여 추출된 눈의 중심점을 이용하여 크기 및 회전에 대한 얼굴 영상의 정규화를 수행(504단계)하고, 조명의 영향을 보정하기 위하여 히스토그램 평활화(Histogram Equalization)를 이용한 전처리를 수행(506단계)한 후, 얼굴의 고유한 특징을 추출(508단계)하고, 추출된 얼굴 특징에 대하여 등록단계에서 생성하였던 SVM 얼굴 인증기를 통한 인증을 수행한다(510단계).

음성 인증과정은, 마이크로부터 음성 신호를 획득(520단계)하고, 입력된 음성 신호로부터 음성의 시작과 끝점을 추출(522단계)하고, 음성 신호의 고주파 영역을 강조하는 등의 전처리를 수행(524단계)한 후, 음성의 특징을 추출(526단계)하고, 추출된 음성 특징에 대하여 등록단계에서 생성하였던 SVM 음성 인증기를 통한 인증을 수행한다(528단계).

얼굴/음성특징 결합 인증과정은 상기 (508단계)에서 추출된 얼굴 특징을 음성 특징과 같은 범위의 값으로 정규화(540단계)하고, 또한 상기 (526단계)에서 추출된 음성 특징도 같은 범위의 값으로 정규화(542단계)하여, 이 정규화된 얼굴과 음성의 특징들을 하나의 특징벡터로 결합(544단계)하고, 결합된 특징에 대하여 등록단계에서 생성하였던 SVM 얼굴/음성특징 결합 인증기를 통한 인증을 수행한다(546단계).

통합 인증과정은 상기 인증 단계(510단계,528단계,546단계)에서의 각 인증 결과를 결정단계에서의 통합인 다수결 통합, AND 통합, OR 통합 등을 사용하여 통합(560단계)하여 최종적으로 인증 결과를 사용자가 인식할 수 있는 장치로 출력한다(562단계).

상기와 같이 본 발명에 의한 다중생체정보 등록 및 인증 방법은 하나의 분류 알고리즘인 SVM을 얼굴, 음성 및 얼굴/음성 결합 특징 모두에 적용하여, 인증 과정에서 하나의 분류 알고리즘을 공유하여 사용함으로써 자원 사용을 효율적으로 하여 스마트 카드와 같은 한정된 자원하에서도 실행될 수 있게 한다. 또한 이종의 생체 정보를 특징 추출 단계에서 결합과 정합 결정 단계에서의 결합의 두 가지를 함께 사용함으로써 신원 인증을 보다 정확히 수행할 수 있게 한다.

본 발명에 의한 다중생체정보를 이용한 개인 등록 및 인증 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드 디스크, 플로피 디스크, 플래쉬 메모리, 광 데이타 저장장치등이 있으며, 또한 캐리어 웨이브(예를들면 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다. 또한 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다. 또한 본 발명에 의한 폰트 롬 데이터구조도 컴퓨터로 읽을 수 있는 ROM, RAM, CD-ROM, 자기 테이프, 하드 디스크, 플로피 디스크, 플래쉬 메모리, 광 데이타 저장장치등과 같은 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다.

이상과 같이 본 발명은 양호한 실시예에 근거하여 설명하였지만, 이러한 실시예는 이 발명을 제한하려는 것이 아니라 예시하려는 것으로, 본 발명이 속하는 기술분야의 숙련자라면 이 발명의 기술사상을 벗어남이 없이 위 실시예에 대한 다양한 변화나 변경 또는 조절이 가능함이 자명할 것이다. 그러므로, 이 발명의 보호범위는 첨부된 청구범위에 의해서만 한정될 것이며, 위와 같은 변화예나 변경예 또는 조절예를 모두 포함하는 것으로 해석되어야 할 것이다.

이상에서 설명한 바와 같이, 본 발명에 의한 다중생체정보를 이용한 개인 등록 및 인증 방법은 스마트 카드와 같은 자원이 한정된 환경에서 얼굴, 음성 정보를 이용한 사용자 등록 및 인증에 있어서, 하나의 분류 알고리즘인 SVM을 얼굴, 음성 및 얼굴/음성 결합 특징 모두에 적용하여, 인증 과정에서 하나의 분류 알고리즘을 공유하여 사용함으로써, 메모리 사용 및 계산량을 줄일 수 있어 스마트 카드와 같은 제한된 자원 환경하에서도 얼굴, 음성 정보를 이용한 다중 생체 인증을 통한 신원인증을 가능하게 하는 이점이 있다. 또한 이종의 생체 정보의 세 가지 결합 방법 중에서 특징 추출 단계에서 결합과 정합 결정 단계에서의 결합의 두 가지를 함께 사용함으로써 보다 더 정확한 신원 인증을 수행할 수 있게 하는 이점이 있다.

도 1은 본 발명에 의한 다중 생체 정보를 이용한 개인 등록 시스템의 구성도를 도시한 것이다.

도 2는 본 발명에 의한 다중 생체 정보를 이용한 개인 인증 시스템의 구성도를 도시한 것이다.

도 3은 스마트 카드 환경하에서 다중 생체 정보를 이용한 개인 등록과 인증 시스템이 구성되는 일 실시예의 구성도를 도시한 것이다.

도 4는 도 1의 다중 생체 정보를 이용한 개인 등록 시스템에서 등록과정에 대한 단계별 처리의 흐름을 보여주는 흐름도다.

도 5는 도 2의 다중 생체 정보를 이용한 개인 인증 시스템에서 인증과정에 대한 단계별 처리 흐름을 보여주는 흐름도이다.

Claims (20)

1. 생체정보를 등록하는 시스템에 있어서,

   상기 등록 시스템에 등록될 사용자의 영상에서 소정의 얼굴 특징을 추출하여 상기 얼굴 특징을 기초로 얼굴SVM(Support Vector Machine)을 생성하는 얼굴등록부;

   상기 등록 시스템에 등록될 사용자의 음성에서 소정의 음성 특징을 추출하여 상기 음성 특징을 기초로 음성SVM을 생성하는 음성등록부; 및

   상기 추출된 얼굴특징과 음성특징을 같은 범위의 값으로 각각 정규화한 후 결합하여 상기 정규화된 값을 기초로 음성및얼굴SVM을 생성하는 얼굴/음성등록부;를 포함하는 것을 특징으로 하는 다중 생체 정보를 이용한 개인 등록 시스템.
2. 제1항에 있어서, 상기 얼굴등록부는

   얼굴영역과 눈영역을 획득하여 상기 얼굴영역과 눈영역을 기초로 얼굴영상을 정규화하는 얼굴입력부;

   상기 얼굴영상에 대하여 조명의 영향을 보정하고 고유한 얼굴 특징을 추출하는 전처리부; 및

   상기 추출된 얼굴 특징에 대하여 SVM 학습을 통하여 얼굴SVM을 생성하는 얼굴인증학습부;를 포함하는 것을 특징으로 하는 다중 생체 정보를 이용한 개인 등록 시스템.
3. 제2항에 있어서, 상기 얼굴입력부는

   상기 얼굴영상에서 얼굴영역 및 눈영역을 추출하여 추출된 눈의 중심점을 이용하여 크기 및 회전에 대한 얼굴영상의 정규화를 수행하는 것을 특징으로 하는 다중 생체 정보를 이용한 개인 등록 시스템.
4. 제2항에 있어서, 상기 전처리부는

   히스토그램 평활화를 이용하여 상기 조명의 영향을 보정하는 것을 특징으로 하는 다중 생체 정보를 이용한 개인 등록 시스템.
5. 제1항에 있어서, 상기 음성등록부는

   상기 입력된 음성에서 시작과 끝점을 검출하는 끝점검출부;

   상기 끝점검출부로부터 시작과 끝점이 검출된 음성신호의 고주파 영역을 강조하는 전처리부;

   고주파영역이 강조된 음성신호에서 음성의 고유한 특징을 추출하는 추출부; 및

   상기 추출된 음성특징에 대하여 SVM 학습을 통하여 음성SVM을 생성하는 음성학습부;를 포함하는 것을 특징으로 하는 다중 생체 정보를 이용한 개인 등록 시스템.
6. 제1항에 있어서, 얼굴/음성등록부는

   상기 정규화된 얼굴특징 및 음성특징을 하나의 특징벡터로 결합하여 SVM학습을 수행하여 얼굴및음성SVM을 생성하는 것을 특징으로 하는 다중 생체 정보를 이용한 개인 등록 시스템.
7. 등록된 사용자의 얼굴 특징을 기초로 생성된 얼굴SVM, 등록된 사용자의 음성특징을 기초로 생성된 음성SVM, 및 상기 얼굴특징 및 음성특징을 통합하여 생성된 음성및얼굴SVM을 구비하여 사용자를 인증하는 시스템에 있어서,

   상기 인증을 요구하는 사용자의 영상에서 소정의 얼굴 특징을 추출하여 상기 얼굴 특징을 상기 얼굴SVM에 입력하여 인증여부를 결정하는 얼굴인증부;

   상기 인증을 요구하는 사용자의 음성에서 소정의 음성 특징을 추출하여 상기 음성 특징을 상기 음성SVM에 입력하여 인증여부를 결정하는 음성인증부;

   상기 얼굴특징과 음성특징을 같은 범위의 값으로 각각 정규화한 후 결합한 값을 상기 음성및얼굴SVM에 입력하여 인증여부를 결정하는 얼굴및음성인증부;를 포함하는 것을 특징으로 하는 다중 생체 정보를 이용한 개인 인증 시스템.
8. 제7항에 있어서, 상기 얼굴인증부는

   얼굴영역과 눈영역을 획득하여 상기 얼굴영역과 눈영역을 기초로 얼굴영상을 정규화하는 얼굴입력부;

   상기 얼굴영상에 대하여 조명의 영향을 보정하고 고유한 얼굴 특징을 추출하는 전처리부; 및

   상기 추출된 얼굴 특징을 상기 얼굴SVM에 입력하여 SVM인증을 통하여 인증여부를 결정하는 얼굴인증부;를 포함하는 것을 특징으로 하는 다중 생체 정보를 이용한 개인 인증 시스템
9. 제8항에 있어서, 상기 얼굴입력부는

   상기 얼굴영상에서 얼굴 및 눈 영역을 추출하여 추출된 눈의 중심점을 이용하여 크기 및 회전에 대한 얼굴영상의 정규화를 수행하는 것을 특징으로 하는 다중 생체 정보를 이용한 개인 인증 시스템.
10. 제8항에 있어서, 상기 전처리부는

    히스토그램 평활화를 이용하여 상기 조명의 영향을 보정하는 것을 특징으로 하는 다중 생체 정보를 이용한 개인 인증 시스템.
11. 제7항에 있어서, 상기 음성인증부는

    상기 입력된 음성에서 시작과 끝점을 검출하는 끝점검출부;

    상기 끝점검출부로부터 시작과 끝점이 검출된 음성신호의 고주파 영역을 강조하는 전처리부;

    고주파영역이 강조된 음성신호에서 음성의 고유한 특징을 추출하는 추출부; 및

    상기 추출된 음성특징을 상기 음성SVM에 입력하여 SVM 인증을 통하여 인증여부를 결정하는 음성인증부;를 포함하는 것을 특징으로 하는 다중 생체 정보를 이용한 개인 인증 시스템.
12. 제7항에 있어서, 얼굴및음성인증부는

    상기 정규화된 얼굴특징 및 음성특징을 하나의 특징벡터로 결합하여 상기 얼굴및음성SVM에 입력하여 SVM 인증을 수행하여 인증여부를 결정하는 얼굴및음성인증부;를 포함하는 것을 특징으로 하는 다중 생체 정보를 이용한 개인 인증 시스템.
13. 제7항에 있어서, 상기 얼굴 및 음성인증시스템은

    상기 얼굴인증부, 음성인증부, 얼굴및음성인증부의 각 인증결과를 기초로하여 상기 인증을 요구하는 사용자의 최종인증여부를 결정하여 출력하는 통합인증부;를 더 포함하는 것을 특징으로 하는 다중 생체 정보를 이용한 개인 인증 시스템.
14. 제7항에 있어서, 상기 얼굴 및 음성인증시스템은

    스마트카드내에서 수행되는 것을 특징으로 하는 다중 생체 정보를 이용한 개인 인증 시스템.
15. 사용자의 영상에서 추출된 얼굴 특징을 기초로 생성된 얼굴SVM을 저장하는 얼굴등록부;

    상기 사용자의 음성에서 추출된 음성 특징을 기초로 음성SVM을 생성하는 음성등록부;

    상기 추출된 얼굴특징과 음성특징을 같은 범위의 값으로 각각 정규화한 후 결합하여 상기 정규화된 값을 기초로 생성된 음성및얼굴SVM을 저장하는 얼굴/음성등록부;

    인증을 요구하는 사용자의 얼굴 특징을 입력받아 상기 얼굴SVM에 입력하여 얼굴영상에 의한 인증여부를 결정하는 얼굴인증부;

    인증을 요구하는 사용자의 음성특징을 입력받아 상기 음성SVM에 입력하여 음성에 의한 인증여부를 결정하는 음성인증부;

    인증을 요구하는 사용자의 얼굴특징과 음성특징을 같은 범위의 값으로 각각 정규화한 후 결합하여 생성된 값을 입력받아 얼굴영상과 음성의 결합으로 인증여부를 결정하는 얼굴및음성인증부; 및

    상기 얼굴인증부,음성인증부와 얼굴및음성인증부의 인증결과를 기초로 최종 인증여부를 결정하는 통합인증부;를 포함하는 것을 특징으로 하는 스마트카드.
16. 생체정보를 등록하고 사용자가 입력하는 생체정보를 상기 등록된 생체정보에 기초하여 인증을 수행하는 등록 및 인증 방법에 있어서,

    (a) 상기 사용자의 영상에서 추출된 얼굴 특징을 기초로 얼굴SVM을 생성하는 단계;

    (b) 상기 사용자의 음성에서 추출된 음성 특징을 기초로 음성SVM을 생성하는 단계;

    (c) 상기 추출된 얼굴특징과 음성특징을 같은 범위의 값으로 각각 정규화한 후 결합하여 상기 정규화된 값을 기초로 생성된 음성및얼굴SVM을 생성하는 단계;

    (d) 인증을 요구하는 사용자의 얼굴 특징을 입력받아 상기 얼굴SVM에 입력하여 얼굴영상에 의한 인증여부를 결정하는 단계;

    (e) 인증을 요구하는 사용자의 음성특징을 입력받아 상기 음성SVM에 입력하여 음성에 의한 인증여부를 결정하는 단계;

    (f) 인증을 요구하는 사용자의 얼굴특징과 음성특징을 같은 범위의 값으로 각각 정규화한 후 결합하여 생성된 값을 입력받아 상기 음성및얼굴SVM에 입력하여 얼굴영상과 음성의 결합으로 인증여부를 결정하는 단계; 및

    (g) 상기 얼굴인증결과, 음성인증결과와 얼굴및음성인증결과를 기초로 최종 인증여부를 결정하는 단계;를 포함하는 것을 특징으로 하는 다중 생체 정보를 이용한 개인 등록 및 인증 방법.
17. 제16항에 있어서, 상기 (a)단계는

    (a1) 얼굴영역과 눈영역을 획득하여 추출된 눈의 중심점을 이용하여 크기 및 회전에 대한 얼굴영상의 정규화를 수행하는 단계;

    (a2) 상기 정규화된 얼굴영상에 대하여 히스토그램 평활화를 이용하여 상기 조명의 영향을 보정하고 고유한 얼굴 특징을 추출하는 단계; 및

    (a3) 상기 추출된 얼굴 특징에 대하여 SVM 학습을 통하여 얼굴SVM을 생성하는 단계;를 포함하는 것을 특징으로 하는 다중 생체 정보를 이용한 개인 등록 및 인증 방법.
18. 제16항에 있어서, 상기 (b)단계는

    (b1) 상기 입력된 음성에서 시작과 끝점을 검출한 후 고주파 영역을 강조하는 전처리수행단계; 및

    (b2) 상기 고주파영역이 강조된 음성신호에서 음성의 고유한 특징을 추출한 후 상기 추출된 음성특징에 대하여 SVM 학습을 통하여 음성SVM을 생성하는 단계;를 포함하는 것을 특징으로 하는 다중 생체 정보를 이용한 개인 등록 및 인증 방법.
19. 제16항에 있어서, 상기 (d)단계는

    (d1) 상기 인증을 요구하는 사용자의 얼굴영상에서 얼굴영역과 눈영역을 획득하여 추출된 눈의 중심점을 이용하여 크기 및 회전에 대한 얼굴영상의 정규화를 수행하는 단계;

    (d2) 상기 정규화된 얼굴영상에 대하여 히스토그램 평활화를 이용하여 조명의 영향을 보정하고 고유한 얼굴 특징을 추출하는 단계; 및

    (d3) 상기 추출된 얼굴 특징을 상기 얼굴SVM에 입력하여 얼굴인증을 수행하는 단계;를 포함하는 것을 특징으로 하는 다중 생체 정보를 이용한 개인 등록 및 인증 방법.
20. 제16항에 있어서, 상기 (e)단계는

    (e1) 상기 입력된 음성에서 시작과 끝점을 검출한 후 고주파 영역을 강조하는 전처리수행단계; 및

    (e2) 상기 고주파영역이 강조된 음성신호에서 음성의 고유한 특징을 추출한 후 상기 추출된 음성특징을 상기 음성SVM에 입력하여 음성인증을 수행하는 단계;를 포함하는 것을 특징으로 하는 다중 생체 정보를 이용한 개인 등록 및 인증 방법.