KR100467152B1 - 얼굴인식시스템에서 개인 인증 방법 - Google Patents

Abstract

본 발명은 얼굴인식시스템에서 개인 인증 방법에 관한 것이다. 본 발명에 따르면, 대표 화상을 저장하기 위한 제1데이터베이스와, 인식오류가 발생하였지만 패스워드에 의해 사용자로 검증된 화상을 저장하기 위한 제2데이터베이스를 포함하는 얼굴인식시스템에서 개인 인증 방법이, 인증모드시 입력되는 화상을 분석해서 날씨(Weather), 조도(Illumination), 시각(Time), 각도(Angle), 배경(Background), 조명(Lighting), 표정(Expression)의 인식오류요인들을 각각 다수의 항목으로 구분하여 코드화하는 과정과, 상기 화상을 상기 코드 값들에 의해 보정하여 정규화하는 과정과, 상기 정규화된 화상으로부터 제1특징데이터를 추출하는 과정과, 상기 코드 값들중 소정 하나의 값을 인덱스로 하여 상기 제2데이터베이스를 검색해서 기 등록 소정 화상의 제2특징데이터를 독출하는 과정과, 상기 제1특징데이터와 상기 제2특징데이터를 매칭하여 인증을 수행하는 과정과, 상기 인증 실패시 상기 제1데이터베이스로부터 대표화상의 특징데이터를 독출하는 과정과, 상기 대표화상의 특징데이터와 상기 제1특징데이터를 매칭하여 인증을 수행하는 과정을 포함한다. 이러한 본 발명은 개인별 화상 데이터를 복수로 관리하고, 입력 화상을 복수의 화상 데이터들과 매칭함으로써 조명 등 외부 환경 요인과 개인 감정 변화 등에 따른 얼굴 인식 에러율을 대폭 낮출 수 있는 효과와 함께 최초 등록된 개인별 표준 영상을 반복적인 학습효과에 의하여 수정함으로써 본인 인식율을 향상할수 있는 효과를 가진다.

Description

얼굴인식시스템에서 개인 인증 방법{PERSONAL AUTHENTICATION METHOD OF FACE RECOGNITION SYSTEM}

본 발명은 얼굴인식시스템에서 개인 인증 방법에 관한 것으로, 특히 개인별 화상 데이터를 복수로 저장하고 입력 화상 데이터를 상기 복수의 화상 데이터들과 매칭하여 인식 에러율을 낮추기 위한 방법에 관한 것이다.

일반적으로, 생체인식기술(Biometrics)이란 인간의 생리학적 또는 행동상의 특성을 기반으로 개개인만의 독특한 특징을 본인확인을 위한 측정단위로 활용하는 기술을 말한다. 즉, 인간의 생체적 특징을 자동화된 장치를 거쳐 신원확인에 이용하는 기술분야이다. 생체인식기술은 인식되는 사람이 인식 시점에 실제로 존재해야 하고 아울러 패스워드를 기억하거나 토큰을 가지고 다녀야하는 필요성을 없애주기 때문에 기존의 패스워드나 비밀번호를 이용한 신원확인방법보다 더 안전하고 편리하다. 생체인식에 활용되는 생체부분은, 지문, 망막, 홍채, 얼굴, 손, 정맥, 목소리, 서명, 몸냄새, DND 등 다양하나 현재 가장 대중적으로 많이 이용되는 부분은 지문, 음성, 홍채, 얼굴을 이용한 생체인식이다.

특히, 얼굴인식은, 이미 널리 설치되어 있는 PC용 USB(Universal Serial Bus)카메라나 CCD(charge coupled device)카메라에 소프트웨어적인 인식 모듈만 추가하면 쉽게 사용할수 있다는 점에서 각광받고 있는 기술이다.

한편, 스크린세이버(screen saver)라고 불리는 화면보호기는 절전을 위한 소프트웨어(software)로, 컴퓨터 시스템의 동작여부를 판단하여 소정시간 이상 시스템이 정적인 상태에 있을 경우 미리 지정된 화면을 모니터에 디스플레이하고 절전상태로 진입하는 기능이다.

이때, 사용자는 화면보호기능에 패스워드를 설정할수 있다. 이 경우, 패스워드를 입력해야만 화면보호상태를 빠져나갈 수 있다. 상기 패스워드 대신에 얼굴인식을 이용해 개인 인증을 수행할수도 있다.

도 1은 종래기술에 따른 컴퓨터 시스템에서 얼굴인식을 이용해 화면보호기를 해제하기 위한 절차를 도시하고 있다.

도 1을 참조하면, 먼저 상기 컴퓨터 시스템이 소정시간 이상 정적인 상태일 경우, 제어부(컴퓨터 시스템의 제어부)는 101단계에서 화면보호기를 활성화한다. 즉, 미리 지정된 화면을 모니터에 디스플레이하고 절전상태로 진입한다. 이때 PC카메라는 자동으로 작동을 개시하게 된다.

이후, 상기 제어부는 103단계에서 키보드나 마우스 입력신호가 발생하는지 검사한다. 상기 키보드나 마우스 입력신호가 발생하지 않으면, 계속해서 화면보호기 활성상태를 유지하고, 상기 키보드나 마우스 입력신호가 발생하면, 상기 제어부는 105단계로 진행하여 카메라(PC 카메라)로부터 화상 데이터를 입력받는다.

상기 화상 데이터가 입력되면, 상기 제어부는 107단계에서 얼굴 추출이 용이하도록 상기 입력된 화상 데이터에 대하여 잡음 제거 및 윤곽선 강조 등의 전처리(preprocessing)를 행한다. 그리고, 상기 제어부는 109단계에서 상기 전처리된 화상 데이터에서 얼굴 영역을 추출하고, 111단계에서 SVM(support Vector Machine)을 이용해 상기 추출된 얼굴영역에서 얼굴구성요소들(눈, 코, 입 등)을 추출한다. 이후, 상기 제어부는 113단계에서 상기 추출된 얼굴구성요소들에 대해 조명, 표정, 포즈 변환을 보정하여 추출된 얼굴영역을 정규화한다.

상기와 같이 정규화를 수행한후, 상기 제어부는 115단계에서 상기 정규화된 얼굴영역(입력 화상)을 고유 얼굴(eigenface)에 투영시켜 특징 벡터를 획득한다. 그리고 상기 제어부는 117단계에서 상기 획득된 입력화상의 특징 벡터와 미리 등록된 화상의 특징벡터를 매칭하고, 119단계에서 상기 매칭결과에 따른 유사도(similarity, 일종의 점수)를 계산한다.

상기 유사도를 계산한후, 상기 제어부는 121단계에서 상기 유사도를 가지고 인증에 성공했는지 판단한다. 즉, 상기 유사도가 소정 기준값 이상인지를 검사한다. 만일, 인증 실패시 상기 제어부는 상기 101단계로 되돌아가 이하 단계를 재수행하고, 인증 성공시 상기 제어부는 123단계로 진행하여 화면보호기상태를 해제하고 정상상태로 되돌아간다.

상술한 바와 같이, 종래기술에 따른 얼굴인식 엔진들은 단일 얼굴을 연속해서 복수 촬영한후 하나(single)의 화상 데이터를 결정하고, 상기 하나의 화상 데이터를 가지고 얼굴 특징을 수치화하여 등록하며, 카메라를 통하여 입력되는 화상데이터를 보관된 데이터와 비교하여 임계치 범위 이내의 오차일 경우 인증성공이라고 판단하고, 오차가 임계치를 초과하는 경우 인증실패로 판단한다.

그러나, 이러한 방법은 등록 환경과 인증 환경이 다를 경우, 동일인을 인식하지 못하는 문제가 발생하게 된다. 인식율에 영향을 주는 요인들을 살펴보면, 표정, 조도, 각도, 조명, 배경. 시각, 날씨 등이 될 수 있다. 특히, 조도(빛의 농담)와 촬영 각도에 가장 많은 영향을 받기 때문에 이로 인한 에러율이 높은 실정이다.일반적으로, 본인 여부를 엄격하게 판단하기 위해서 본인거부율(FRR(False Reject Rate) 또는 FNMR(False Non-Match Rate))을 높이고 타인수락율(FAR(False Accept Rate) 또는 FMR(False Match Rate))을 낮추어야 하는데 상기 요인들로 인한 높은 에러율 때문에 얼굴인식의 상용화가 어려운 실정이다.

입력 화상이 상기 요인들을 모두 극복하고 하나의 표준화상으로 정규화될수 있다면, 하나의 대표화상을 가지고 인증을 수행하는데 문제가 없지만, 현재 기술수준이 그렇지 못하기 때문에 하나의 대표화상을 가지고 인증을 수행할 경우 인식 에러율을 낮추는데 한계가 있다.

따라서 본 발명의 목적은 얼굴인식시스템에서 개인별 화상 데이터를 복수로 관리하고, 입력 화상을 상기 복수의 화상 데이터들과 매칭하여 개인 인증을 수행하기 위한 방법을 제공함에 있다.

본 발명의 다른 목적은 얼굴인식시스템에서 등록 화상을 입력 화상에 따라 지속적으로 보정하기 위한 방법을 제공함에 있다.

본 발명의 또 다른 목적은 컴퓨터 시스템에서 얼굴인식을 이용해 화면보호기를 해제하기 위한 방법을 제공함에 있다.

상기 목적들을 달성하기 위한 본 발명의 제1견지에 따르면, 대표 화상을 저장하기 위한 제1데이터베이스와, 인식오류가 발생하였지만 패스워드에 의해 사용자로 검증된 화상을 저장하기 위한 제2데이터베이스를 포함하는 얼굴인식시스템에서 개인 인증 방법이, 인증모드시, 입력되는 화상을 분석해서 날씨(Weather), 조도(Illumination), 시각(Time), 각도(Angle), 배경(Background), 조명(Lighting), 표정(Expression)의 인식오류요인들을 각각 다수의 항목으로 구분해서 코드화하는 과정과, 상기 화상을 상기 코드 값들에 의해 보정하여 정규화하는 과정과, 상기 정규화된 화상으로부터 제1특징데이터를 추출하는 과정과, 상기 코드 값들중 소정 하나의 값을 인덱스로 하여 상기 제2데이터베이스를 검색해서 기 등록 소정 화상의 제2특징데이터를 독출하는 과정과, 상기 제1특징데이터와 상기 제2특징데이터를 매칭하여 인증을 수행하는 과정과, 상기 인증 실패시 상기 제1데이터베이스로부터 대표화상의 특징데이터를 독출하는 과정과, 상기 대표화상의 특징데이터와 상기 제1특징데이터를 매칭하여 인증을 수행하는 과정을 포함하는 것을 특징으로 한다. 여기에서, 상기 인식오류요인들의 코드화과정은 예를 들어 표정은 무표정, 미소, 웃음, 찡그림, 놀람, 화남, 슬픔, 행복, 아픔, 고민, 졸려, 울음 등 다수의 항목으로 구분해서 코드화하고, 각도(포즈)는 상/하/좌/우 등 다수의 항목으로구분해서 코드화하며, 조도는 입력 화상의 농담 정도를 수치로 표현해서 다수의 항목으로 코드화하고, 시각은 시스템 시각을 코드화하며, 조명은 입력화상에 조명기구 유무 및 위치를 검출수치로 변환하여 다수의 항목으로 코드화하며, 배경은 입력화상의 뒷배경에 대한 주요 색갈을 영역별로 구분하고 수치화하여 다수의 항목으로 코드화하며, 날씨는 쾌청, 맑음, 흐림, 구름조금, 구름 많음, 강우, 폭우 등 다수의 항목으로 구분하여 코드화하는 것이다.

상기 목적들을 달성하기 위한 본 발명의 제2견지에 따르면, 대표 화상을 저장하기 위한 제1데이터베이스와, 인식오류가 발생하였지만 패스워드에 의해 사용자로 검증된 화상을 저장하기 위한 제2데이터베이스를 포함하는 컴퓨터 시스템에서 얼굴인식을 이용해 화면보호상태를 해제하기 위한 방법이, 상기 화면보호상태에서 키보드나 마우스 입력신호가 있는지 검사하는 과정과, 상기 키보드나 마우스 입력신호가 감지될 경우, 카메라로부터 입력되는 화상을 분석해서 날씨(Weather), 조도(Illumination), 시각(Time), 각도(Angle), 배경(Background), 조명(Lighting), 표정(Expression)의 인식오류요인들을 각각 다수의 항목으로 구분해서 코드화하는 과정과, 상기 화상을 상기 코드 값들에 의해 보정하여 정규화하는 과정과, 상기 정규화된 화상으로부터 제1특징데이터를 추출하는 과정과, 상기 코드 값들중 소정 하나의 값을 인덱스로 하여 상기 제2데이터베이스를 검색해서 소정 화상의 제2특징데이터를 독출하는 과정과, 상기 제1특징데이터와 상기 제2특징데이터를 매칭하여 제1인증을 수행하는 과정과, 상기 제1인증 성공시, 상기 화면보호상태를 해제하는 과정과, 상기 제1인증 실패시, 상기 제1데이터베이스로부터 대표화상의 특징데이터를 독출하는 과정과, 상기 대표화상의 특징데이터와 상기 제1특징데이터를 매칭하여 제2인증을 수행하는 과정과, 상기 제2인증 성공시, 상기 화면보호상태를 해제하는 과정과, 상기 제2인증 실패시, 상기 제2데이터베이스로부터 나머지 화상들의 특징데이터들을 독출하고, 그 각각과 상기 제1특징데이터를 매칭하여 제3인증을 수행하는 과정과, 상기 제3인증 성공시, 상기 화면보호상태를 해제하는 과정과, 상기 제3인증 실패시 패스워드 입력요구를 디스플레이하고, 올바른 패스워드 입력시 상기 제1특징데이터를 상기 코드 값들과 함께 상기 제2데이터베이스에 저장하는 과정과, 상기 제1데이터베이스에 저장되어 있는 대표화상의 특징데이터를 상기 코드 값들에 의해 수정하는 과정을 포함하는 것을 특징으로 한다. 여기에서, 상기 인식오류요인들의 코드화과정은 예를 들어 표정은 무표정, 미소, 웃음, 찡그림, 놀람, 화남, 슬픔, 행복, 아픔, 고민, 졸려, 울음 등 다수의 항목으로 구분해서 코드화하고, 각도(포즈)는 상/하/좌/우 등 다수의 항목으로구분해서 코드화하며, 조도는 입력 화상의 농담 정도를 수치로 표현해서 다수의 항목으로 코드화하고, 시각은 시스템 시각을 코드화하며, 조명은 입력화상에 조명기구 유무 및 위치를 검출수치로 변환하여 다수의 항목으로 코드화하며, 배경은 입력화상의 뒷배경에 대한 주요 색갈을 영역별로 구분하고 수치화하여 다수의 항목으로 코드화하며, 날씨는 쾌청, 맑음, 흐림, 구름조금, 구름 많음, 강우, 폭우 등 다수의 항목으로 구분하여 코드화하는 것이다.

도 1은 종래기술에 따른 컴퓨터 시스템에서 얼굴인식을 이용해 화면보호기를 해제하기 위한 절차를 도시하는 도면.

도 2는 본 발명의 실시 예에 따른 얼굴인식이 가능한 컴퓨터 시스템의 블록구성을 도시하는 도면.

도 3a 및 도 3b는 본 발명의 실시 예에 따른 컴퓨터 시스템에서 얼굴인식을 이용해 화면보호기를 해제하기 위한 절차를 도시하는 도면.

< 도면의 주요부분에 대한 부호의 설명 >

10 : 제어부 20 : 영상입력장치

30 : 화상메모리 40 : I/O인터페이스

50 : 입력장치 60 : 외부기억장치

70 : 프로그램메모리 80 : 작업메모리

90 : 출력장치

이하 본 발명의 바람직한 실시 예를 첨부된 도면의 참조와 함께 상세히 설명한다. 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.

이하 본 발명은 얼굴인식시스템에서 개인별 화상 데이터를 복수로 저장하고 입력 화상 데이터를 상기 복수의 화상 데이터들과 매칭하여 개인 인증을 수행하기 위한 기술에 대해 설명할 것이다. 또한, 본 발명은 상기 복수의 화상 데이터들중 대표화상이 계속해서 사용자 얼굴의 특징에 근접하도록 진화하는 기술에 대해 설명할 것이다.

본 발명에 따른 얼굴인식시스템은, PC 보안, 휴대단말기 보안, 출입통제시스템, 전자금융 서비스를 위한 개인인증 등 다양한 분야에 사용될 수 있으며, 이하 설명은 PC보안(화면보호기 해제)을 예를들어 설명할 것이다.

도 2는 본 발명의 실시 예에 따른 얼굴인식이 가능한 컴퓨터 시스템의 블록구성을 도시하고 있다.

도시된 바와 같이, 상기 얼굴인식 시스템은, 제어부(10), 영상입력장치(20), 화상메모리(30), I/O인터페이스(40), 입력장치(50), 외부기억장치(60), 프로그램 메모리(70), 작업메모리(80), 및 출력장치(90)를 포함하여 구성된다.

도 1을 참조하면, 먼저 영상입력장치(20)는 렌즈로 입사되는 광학적 신호를 전기적 신호로 변환하고, 전기적 신호를 디지털 데이터(화상 데이터)로 변환하여 화상메모리(30)로 출력한다. 예를들어, 상기 영상입력장치(20)는 PC카메라, 휴대용 디지털 카메라, 핸드폰 카메라 및 CCD 카메라 등이 될 수 있다. 상기 화상메모리(30)는 상기 영상입력장치(20)에서 촬영되는 화상(또는 영상)에 대한 디지털데이터를 저장한다. I/O인터페이스(40)는 상기 화상메모리(30)와 콘솔(50), 출력장치(90) 및 제어부(10)를 정합하는 기능을 수행한다.

상기 입력장치(50)는 각종 데이터 입력수단으로, 포인팅 디바이스인 마우스(51) 및 키보드(52) 등이 접속되어 있으며, 사용자의 조작에 따른 입력신호를 제어부(10)로 출력한다. 상기 외부기억장치(60)는 대용량 기억장치로, 하드디스크, 플로피디스크, CD_ROM, DVD 등으로 구성될 수 있다. 특히, 본 발명에 따라 상기 외부기억장치(60)는 "차일드 DB(DataBase)"와 "대표화상 DB"가 저장되는데, 상기 차일드 DB는 인식오류가 발생하였지만 패스워드에 의해 사용자로 검증된 화상이 저장되는 데이터베이스이고, 상기 대표화상 DB는 등록모드를 통해 입력된 사용자 화상이 저장되는 데이터베이스이다.

상기 제어부(10)는 상기 개인용 컴퓨터의 전반적인 동작을 제어한다. 본 발명에 따라 상기 제어부(10)는 소정시간 이상 상기 입력장치(50)로부터 입력신호가 없을 경우 화면보호기를 활성화하며, 상기 화면보호기 상태에서 입력신호가 감지될 경우 상기 PC카메라로부터의 입력 화상과 상기 외부기억장치(60)에 저장되어 있는 복수의 화상들을 비교하여 인증을 수행한다. 이때 인증 성공시 상기 화면보호기는 해제된다.

프로그램메모리(70)는 상기 개인용 컴퓨터의 전반적인 동작을 제어하기 위한 프로그램 데이터 및 초기 데이터를 저장한다. 특히, 본 발명에 따라 입력 화상으로부터 특징데이터를 추출하기 위한 알고리즘, 입력 화상의 특징 데이터와 등록 화상의 특징 데이터를 매칭하여 인증을 수행하기 위한 알고리즘, 인증 실패시 차일드 화상을 저장하고 대표화상을 보정하기 위한 알고리즘 등이 프로그램 되어있다. 작업메모리(80)는 현재 입력된 화상과 기 등록 화상의 비교 작업 시 사용되는 메모리이다.

상기 출력장치(90)는 각종 데이터 출력 수단으로, CRT, LCD 등의 표시부(91) 및 하드카피를 출력하는 프린터(92) 등이 접속되어 있다. 상기 출력장치(90)는 상기 제어부(10)의 제어하에 상기 개인용 컴퓨터의 전반적인 상태 그리고 입력되는 사용자 입력 정보 등을 표시창(예 : 액정표시창(LCD))에 디스플레이한다. 특히, 본발명에 따라 화상 매칭 결과에 따른 메시지나 해당 화상을 디스플레이한다.

도 3a 및 도 3b는 본 발명의 실시 예에 따른 컴퓨터 시스템에서 얼굴인식을 이용해 화면보호기를 해제하기 위한 절차를 도시하고 있다.

도 3a 및 도 3b를 참조하면, 먼저 상기 컴퓨터 시스템이 소정시간 이상 정적인 상태일 경우, 제어부(10)는 301단계로 진행하여 화면보호기를 활성화한다. 즉, 미리 설정된 화면을 모니터에 디스플레이하고 절전상태로 진입한다. 이때 PC카메라는 자동으로 작동을 개시하게 된다.

이후, 상기 제어부(10)는 303단계에서 키보드나 마우스 입력신호가 발생하는지 검사한다. 상기 키보드나 마우스 입력신호가 발생하지 않으면, 계속해서 화면보호기 활성상태를 유지하고, 상기 키보드나 마우스 입력신호가 발생하면, 상기 제어부(10)는 305단계로 진행하여 카메라(PC 카메라)로부터 화상 데이터를 입력받는다. 이때 상기 제어부(10)는 상기 입력된 화상 데이터를 분석해서 사람의 얼굴이 존재하는지 판단한다.

상기 사람의 얼굴이 존재하는 것으로 판단되면, 상기 제어부(10)는 307단계에서 얼굴 추출이 용이하도록 상기 입력된 화상 데이터에 대하여 전처리(preprocessing)를 수행한다. 예를들어, 잡음(noise)을 제거하기 위해 필터링을 하거나 윤곽선을 강조한다. 그리고, 상기 제어부(10)는 309단계에서 상기 전처리된 화상 데이터에서 눈을 기준점으로 출발하여 코, 입, 귀 등의 위치를 거리와 픽셀의 분포값 등으로 결정해서 얼굴 영역을 추출한다. 예를들어, 상기 얼굴 영역은 PCA(Principal Component Analysis)를 이용해 추출할수 있다. 한편, 상기 제어부(10)는 311단계에서 상기 추출된 얼굴영역에서 얼굴구성요소들(눈, 코, 입 등)을 추출한다. 예를들어, 상기 얼굴구성요소들은 SVM(support Vector Machine)을 이용해 추출할수 있다.

이후, 상기 제어부(10)는 313단계에서 상기 추출된 얼굴구성요소들에 근거해서 인식오류요인(WITABLE)을 코드화(또는 수치화)하여 저장한다. 여기서, 상기 "WITABLE"이라는 용어는 얼굴인식오류에 영향을 줄 수 있는 날씨(Weather), 조도(Illumination), 시각(Time), 각도(Angle), 배경(Background), 조명(Lighting), 표정(Expression)의 영문 첫 글자를 조합해서 만든 것으로, 본원 출원인이 새롭게 정의한 용어이다.

예를들어, 표정은 무표정, 미소, 웃음, 찡그림, 놀람, 화남, 슬픔, 행복, 아픔, 고민, 졸려, 울음 등으로 구분해서 코드화하고, 각도(포즈)는 상/하/좌/우로 구분해서 코드화하며, 조도는 입력 화상의 농담 정도를 수치로 표현해서 코드화하고, 시각은 시스템 시각을 코드화하며, 조명은 입력화상에 조명기구 유무 및 위치를 검출수치로 변환하여 코드화하며, 배경은 입력화상의 뒷배경에 대한 주요 색갈을 영역별로 구분하고 수치화하여 코드화하며, 날씨는 쾌청, 맑음, 흐림, 구름조금, 구름 많음, 강우, 폭우로 구분하여 코드화하여 저장한다. 한편, 상기 인식오류요인중 하나는 이후 차일드 DB를 검색하기 위한 인덱스로 사용한다. 본 발명의 실시 예에서는 "시각"을 가지고 차일드 DB를 검색하는 것으로 가정한다.

상기 인식오류요인을 코드화한후, 상기 제어부(10)는 315단계에서 상기 인식오류요인의 코드값들에 근거해서 상기 추출된 얼굴영역을 보정하여 정규화(또는 표준화)한다. 상기와 같이 정규화를 수행한후, 상기 제어부(10)는 317단계에서 상기 정규화된 얼굴영역(입력 화상)을 고유 얼굴(eigenface)에 투영시켜 특징 벡터를 획득한다. 예를들어, 상기 특징벡터는 PCA(Principal Component Analysis), LDA(Linear Discriminant Analysis), LFA(Local Feature Analysis), 커널(Kernel) PCA, 커널 LDA 등을 이용해 획득할수 있다.

그리고 상기 제어부(10)는 319단계에서 상기 인식오류요인중 하나인 상기 시각을 가지고 차일드 DB를 검색하여 동일(또는 유사) 시간에 저장된 차일드 화상의 특징벡터를 독출하고, 상기 입력화상의 특징 벡터와 상기 차일드 DB로부터 독출한 차일드 화상의 특징 벡터를 매칭하여 유사도(similarity, 일종의 점수)를 계산한다. 상기 유사도를 계산한후, 상기 제어부(10)는 321단계에서 상기 유사도와 제1기준값을 비교하여 인증에 성공했는지 판단한다. 여기서, 상기 유사도가 제1기준값을 초과할 경우 인증성공이라고 판단한다. 만일, 인증 성공시 상기 제어부는 331단계로 진행하여 화면보호기상태를 해제하고 정상상태로 복구한다.

한편, 인증 실패시 상기 제어부는 상기 323단계로 진행하여 대표화상 DB에 저장된 대표화상의 특징벡터를 독출하고, 상기 입력화상의 특징벡터와 상기 대표화상의 특징벡터를 매칭하여 유사도를 계산한다. 상기 유사도를 계산한후, 상기 제어부(10)는 325단계에서 상기 유사도를 제2기준값과 비교하여 인증에 성공했는지 판단한다. 이때 상기 제2기준값은 상기 제1기준값보다 큰 값으로 설정하는 것이 바람직하다. 만일, 인증 성공시 상기 제어부(10)는 상기 331단계로 진행하여 상기 화면보호기 상태를 해제하고 정상상태로 복구한다.

만일, 인증 실패시 상기 제어부(10)는 327단계로 진행하여 상기 차일드 DB에 저장되어 있는 나머지 차일드 화상들의 특징벡터들을 독출하고, 그 각각을 상기 입력화상의 특징벡터와 매칭하여 유사도를 계산한다. 그리고, 상기 제어부(10)는 329단계에서 상기 계산된 유사도들을 제3기준값과 비교하여 인증에 성공했는지 판단한다. 이때 상기 제3기준값은 상기 제1기준값보다 크고 상기 제2기준값보다 작은 값으로 설정하는 것이 바람직하다. 만일, 인증 성공시 상기 제어부(10)는 상기 331단계로 진행하여 상기 화면보호기 상태를 해제하고 정상상태로 복구한다.

만일, 인증 실패시, 상기 제어부(10)는 333단계로 진행하여 패스워드 입력화면을 모니터에 팝업(pop-up)한다. 여기서, 상기 패스워드 입력화면은 상기와 같이 자동으로 팝업시킬 수도 있고, 다른 예로 사용자의 키조작(Ctrl+Alt+P)에 의해 팝업시킬 수 있다. 패스워드가 입력되면, 상기 제어부(10)는 335단계에서 상기 입력된 패스워드와 미리 설정해둔 패스워드를 비교하여 동일한지 판단한다. 만일, 상기 두 패스워드가 동일하지 않으면, 상기 제어부(10)는 345단계로 진행하여 오류메시지(예 : "올바른 사용자가 아닙니다")를 팝업(pop-up)한후 상기 301단계로 되돌아가 이하 단계를 재수행한다.

만일, 두 패스워드가 동일하면, 상기 제어부(10)는 337단계로 진행하여 진화메뉴페이지(Evolution Menu Page)를 팝업(pop-up)한다. 상기 진화메뉴페이지에는 인식오류가 발생한 입력 화상과 저장여부를 묻는 메시지가 디스플레이된다.

상기 진화메뉴페이지를 디스플레이한 상태에서, 상기 제어부(10)는 339단계로 진행하여 사용자의 조작에 의해 상기 입력 화상 저장이 선택되는지 검사한다. 만일, 상기 저장이 선택되지 않으면, 상기 제어부(10)는 상기 301단계로 되돌아가 이하 단계를 재수행한다. 만일, 상기 저장이 선택되면, 상기 제어부(10)는 341단계로 진행하여 상기 317단계에서 생성된 상기 입력 화상의 특징벡터와 상기 313단계에서 생성된 인식오류요인 코드값들을 시간을 인덱스로 차일드 DB에 저장한다. 이때, 차일드 DB에 저장된 차일드 화상의 수가 소정 기준에 도달하여 더 이상 화상을 저장할 수가 없을 경우, 동일(또는 유사) 시간의 화상을 제거한후 그 자리에 상기 입력 화상을 저장한다.

상기 입력 화상을 차일드 DB에 저장한후, 상기 제어부(10)는 343단계로 진행하여 상기 대표화상 DB에 저장되어 있는 대표화상을 상기 인식오류요인 코드값들에 근거해서 보정한후 상기 305단계로 되돌아간다. 즉, 이와 같은 과정을 반복하게 되면, 자동학습기능에 의해 대표화상이 점차 사용자 얼굴에 근접할수 있도록 진화하게 된다.

상술한 실시 예에서, 인식을 위한 임계치인 상기 제1,제2,제3기준값은 실험에 의해 정해지며, "차일드 DB -> 대표화상 DB -> 차일드 DB"로 이루어지는 검증 순서 또한 고정된 것이 아니라 향후 실험에 의해 다른 순서로 정해질 수 있다.

한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정 해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

상술한 바와 같이, 본 발명은 개인별 화상 데이터를 복수로 관리하고, 입력 화상을 복수의 화상 데이터들과 매칭함으로써 인식 에러율을 대폭 낮출수 있는 효과를 가진다. 또한, 등록 화상이 자동학습기능에 의해 계속해서 사용자 얼굴의 특징에 근접하도록 진화하기 때문에 인식 에러율을 더욱더 낮출 수 있다. 또한 사람의 얼굴은 시간의 경과에 따라 미세하게 변화를 하게 되는데 본 발명의 방법론을 사용하게 되면, 사람 얼굴의 변화를 대표화상에 반영할수 있기 때문에 본인거부율(FRR 또는 FNMR)을 높이고 타인수락율(FAR 또는 FMR)을 낮출수 있다.

Claims (13)

1. 대표 화상을 저장하기 위한 제1데이터베이스와, 인식오류가 발생하였지만 패스워드에 의해 사용자로 검증된 화상을 저장하기 위한 제2데이터베이스를 포함하는 얼굴인식시스템에서 개인 인증 방법에 있어서,

   인증모드시, 입력되는 화상을 분석해서 인식오류요인들인 날씨(Weather), 조도(Illumination), 시각(Time), 각도(Angle), 배경(Background), 조명(Lighting), 표정(Expression)의 인식오류요인들을 각각 표정은 무표정, 미소, 웃음, 찡그림, 놀람, 화남, 슬픔, 행복, 아픔, 고민, 졸려, 울음 등 다수의 항목으로 구분해서 코드화하고, 각도(포즈)는 상/하/좌/우 등 다수의 항목으로구분해서 코드화하며, 조도는 입력 화상의 농담 정도를 수치로 표현해서 다수의 항목으로 코드화하고, 시각은 시스템 시각을 코드화하며, 조명은 입력화상에 조명기구 유무 및 위치를 검출수치로 변환하여 다수의 항목으로 코드화하며, 배경은 입력화상의 뒷배경에 대한 주요 색갈을 영역별로 구분하고 수치화하여 다수의 항목으로 코드화하며, 날씨는 쾌청, 맑음, 흐림, 구름조금, 구름 많음, 강우, 폭우 등 다수의 항목으로 구분하여 코드화하는 과정과,

   상기 화상을 상기 코드 값들에 의해 보정하여 정규화하는 과정과,

   상기 정규화된 화상으로부터 제1특징데이터를 추출하는 과정과,

   상기 코드 값들중 소정 하나의 값을 인덱스로 하여 상기 제2데이터베이스를 검색해서 기 등록 소정 화상의 제2특징데이터를 독출하는 과정과,

   상기 제1특징데이터와 상기 제2특징데이터를 매칭하여 인증을 수행하는 과정과,

   상기 인증 실패시 상기 제1데이터베이스로부터 대표화상의 특징데이터를 독출하는 과정과,

   상기 대표화상의 특징데이터와 상기 제1특징데이터를 매칭하여 인증을 수행하는 과정을 포함하는 것을 특징으로 하는 방법.
2. 삭제
3. 제1항에 있어서,

   상기 제1특징데이터는 상기 정규화된 화상을 고유얼굴(eigenface)에 투영시켜 획득한 특징 벡터인 것을 특징으로 하는 방법.
4. 삭제
5. 제1항에 있어서,

   상기 인증 실패시 패스워드 입력요구를 디스플레이하고, 올바른 패스워드 입력시 상기 제1특징데이터를 상기 코드 값들과 함께 상기 제2데이터베이스에 저장하는 과정과,

   상기 제1데이터베이스에 저장되어 있는 대표화상의 특징데이터를 상기 코드 값들에 의해 수정하는 과정을 더 포함하는 것을 특징으로 하는 방법.
6. 제1항에 있어서,

   상기 인증 실패시, 상기 제2데이터베이스로부터 나머지 화상들의 특징데이터들을 독출하고, 그 각각과 상기 제1특징데이터를 매칭하여 인증을 수행하는 과정과,

   상기 인증 실패시 패스워드 입력요구를 디스플레이하고, 올바른 패스워드 입력시 상기 제1특징데이터를 상기 코드 값들과 함께 상기 제2데이터베이스에 저장하는 과정과,

   상기 제1데이터베이스에 저장되어 있는 대표화상의 특징데이터를 상기 코드 값들에 의해 수정하는 과정을 더 포함하는 것을 특징으로 하는 방법.
7. 대표 화상을 저장하기 위한 제1데이터베이스와, 인식오류가 발생하였지만 패스워드에 의해 사용자로 검증된 화상을 저장하기 위한 제2데이터베이스를 포함하는 컴퓨터 시스템에서 얼굴인식을 이용해 화면보호상태를 해제하기 위한 방법에 있어서,

   상기 화면보호상태에서 키보드나 마우스 입력신호가 있는지 검사하는 과정과,

   상기 키보드나 마우스 입력신호가 감지될 경우, 카메라로부터 입력되는 화상을 분석해서 날씨(Weather), 조도(Illumination), 시각(Time), 각도(Angle), 배경(Background), 조명(Lighting), 표정(Expression)의 인식오류요인들을 각각 표정은 무표정, 미소, 웃음, 찡그림, 놀람, 화남, 슬픔, 행복, 아픔, 고민, 졸려, 울음 등 다수의 항목으로 구분해서 코드화하고, 각도(포즈)는 상/하/좌/우 등 다수의 항목으로구분해서 코드화하며, 조도는 입력 화상의 농담 정도를 수치로 표현해서 다수의 항목으로 코드화하고, 시각은 시스템 시각을 코드화하며, 조명은 입력화상에 조명기구 유무 및 위치를 검출수치로 변환하여 다수의 항목으로 코드화하며, 배경은 입력화상의 뒷배경에 대한 주요 색갈을 영역별로 구분하고 수치화하여 다수의 항목으로 코드화하며, 날씨는 쾌청, 맑음, 흐림, 구름조금, 구름 많음, 강우, 폭우 등 다수의 항목으로 구분하여 코드화하는 과정과,

   상기 화상을 상기 코드 값들에 의해 보정하여 정규화하는 과정과,

   상기 정규화된 화상으로부터 제1특징데이터를 추출하는 과정과,

   상기 코드 값들중 소정 하나의 값을 인덱스로 하여 상기 제2데이터베이스를 검색해서 소정 화상의 제2특징데이터를 독출하는 과정과,

   상기 제1특징데이터와 상기 제2특징데이터를 매칭하여 제1인증을 수행하는 과정과,

   상기 제1인증 성공시, 상기 화면보호상태를 해제하는 과정과,

   상기 제1인증 실패시, 상기 제1데이터베이스로부터 대표화상의 특징데이터를 독출하는 과정과,

   상기 대표화상의 특징데이터와 상기 제1특징데이터를 매칭하여 제2인증을 수행하는 과정과,

   상기 제2인증 성공시, 상기 화면보호상태를 해제하는 과정을 포함하는 것을 특징으로 하는 방법.
8. 삭제
9. 제7항에 있어서,

   상기 제1특징데이터는 상기 정규화된 화상을 고유얼굴(eigenface)에 투영시켜 획득한 특징 벡터인 것을 특징으로 하는 방법.
10. 삭제
11. 제7항에 있어서,

    상기 제2인증 실패시, 상기 제2데이터베이스로부터 나머지 화상들의 특징데이터들을 독출하고, 그 각각과 상기 제1특징데이터를 매칭하여 제3인증을 수행하는 과정과,

    상기 제3인증 성공시, 상기 화면보호상태를 해제하는 과정을 더 포함하는 것을 특징으로 하는 방법.
12. 제11항에 있어서,

    상기 제3인증 실패시 패스워드 입력요구를 디스플레이하고, 올바른 패스워드 입력시 상기 제1특징데이터를 상기 코드 값들과 함께 상기 제2데이터베이스에 저장하는 과정과,

    상기 제1데이터베이스에 저장되어 있는 대표화상의 특징데이터를 상기 코드 값들에 의해 수정하는 과정을 더 포함하는 것을 특징으로 하는 방법.
13. 제12항에 있어서,

    상기 제1,제2 및 제3인증과정은 서로 다른 유사도(similarity) 판단 기준을 가지고 인증을 수행하는 것을 특징으로 하는 방법.