KR20010104916A

KR20010104916A - 지문인식과 얼굴추출에 의한 출입 통제 장치 및 방법

Info

Publication number: KR20010104916A
Application number: KR1020000026143A
Authority: KR
Inventors: 함영국
Original assignee: 함영국; 주식회사 엔지티
Priority date: 2000-05-16
Filing date: 2000-05-16
Publication date: 2001-11-28
Also published as: KR100383012B1

Abstract

본 발명은 지문인식과 얼굴추출에 의한 출입 통제 장치 및 방법, 특히, 지문인식 센서를 통하여 지문을 인식하는 것은 물론, 지문 인식 처리중에 얼굴 영상 취득 및 저장부를 사용하여 출입자의 얼굴 영상을 획득하여 출입자의 얼굴이 다른 사물로 가려져 있는지 또는 이미 저장되어 있는 출입자 DB 내의 데이터와 일치하는지를 확인하여 출입을 통제함으로써 보안성을 향상시킨 지문인식과 얼굴추출에 의한 출입 통제 장치 및 방법에 관한 것이다.

Description

지문인식과 얼굴추출에 의한 출입 통제 장치 및 방법{APPARATUS AND METHOD FOR CONTROLING A SECURE DOOR USING FINGERPRINT RECOGNITION AND FACE DETECTION}

본 발명은 지문인식과 얼굴추출에 의한 출입 통제 장치 및 방법에 관한 것으로, 더욱 상세하게는 지문인식 센서를 통하여 지문을 인식함과 동시에 지문 인식처리중에 얼굴 영상 취득 및 저장부를 사용하여 출입자의 얼굴 영상을 획득하여 출입자의 얼굴이 다른 사물로 가려저 있는지 또는 이미 저장되어 있는 얼굴 DB 내의 데이터와 일치하는지를 확인하여 출입을 통제함으로써 보안성을 향상시킨 지문인식과 얼굴추출에 의한 출입 통제 장치 및 방법에 관한 것이다.

보안이 요구되거나 출입자의 신원 파악이 요구되는 건물이나 출입구에서는 출입하고자 하는 사람들을 선별하여 출입이 허가된 사람들에게만 출입을 허용하는 출입통제장치가 이용된다. 이러한 출입통제장치로 종래에는 열쇠나 카드키 시스템이 이용되었으나 이러한 열쇠 또는 카드키는 도난 또는 분실시 또는 복제키를 이용하는 경우 보안을 유지할 수 없는 문제점을 갖는다. 다른 출입 통제 및 보안 장치의 경우 비밀번호를 이용하여 출입자를 판단하는 방법이 있다. 그러나 이러한 방법에서도 비밀번호가 타인에게 노출되기 쉬워 충부한 보안 목적을 달성할 수 없다. 따라서, 출입자의 고유한 특징인 지문, 동공, 및 얼굴 등의 신체적 특징을 인식하여 처리하는 방법이 연구되고 일부 사용되고 있다. 예를 들어, 국내특허공개 제 98-75813호는 손의 삼차원 형상을 반영하는 이차원 영상신호를 추출하고 이를 신호처리하여 개인별 식별 데이터로 사용함으로써, 일반인 출입통제 및 출퇴근 시간기록과 같은 개인식별을 요하는 장소에 있어서 이미 저장되어 있는 데이터와 입력된 손에 의해 추출된 식별 데이터를 상호 비교하여 신체의 일부로서 편리하고 용이하게 개인식별을 가능하게 한 개인식별장치 및 방법을 제안하고 있다. 그러나, 이러한 시스템들은 아직 인식오류가 많아 올바른 출입자를 거절하거나 등록되지 않은 출입자를 출입시킬 가능성이 있어 완벽한 보안 시스템으로 사용하기에는 한계가 있다.

본 발명의 하나의 목적은 상술한 종래 기술의 문제점을 해결하는 것으로, 본 발명에서는 비밀번호 검증, 지문인식 및 얼굴검출을 통합적으로 활용함으로써 보안성을 향상시킨 통합된 출입통제 장치 및 방법을 제공하는 것이다.

즉, 상술한 목적을 달성하기 위한 본 발명의 제 1 양상은

비밀번호 입력을 위한 키패드;

출입 허가 대상자의 인적사항, 비밀번호 데이터 및 지문 데이터를 저장하는 출입자 DB;

출입자가 입력한 비밀번호와 출입자 DB내의 비밀번호를 비교하여 일치할 경우 출입 허가 신호를 지문 인식부로 전송하는 비밀번호 비교부;

비밀번호 비교부에서 출입 허가 신호를 입력받아 출입자의 지문을 감지하고 감지된 지문 영상을 저장하는 지문 감지 및 저장부;

출입자의 지문과 출입자 DB내의 지문을 대조하여 일치하는 경우 출입허가 신호를 얼굴 검출부로 전송하는 지문 인식부;

상기 지문 감지 및 저장부 및 지문 인식부의 지문인식 처리중에 출입자의 얼굴 영상을 취득하여 이러한 출입자 얼굴 영상을 얼굴 검출부로 전송하는 얼굴 영상취득 및 저장부; 및

상기 얼굴 영상 취득 및 저장부로부터 출입자의 얼굴 영상을 입력받아 저장하고 출입자의 얼굴이 바르게 인식될 경우 출입허가 신호를 발생하는 얼굴 검출부를 포함하는 것을 특징으로 하는 지문인식 및 얼굴 검출을 이용한 출입통제장치 및 그 방법이다.

상술한 목적을 달성하기 위한 본 발명의 제 2 양상은

비밀번호 입력을 위한 키패드;

출입 허가 대상자의 인적사항, 비밀번호 데이터, 지문 데이터 및 얼굴 영상을 저장하는 출입자 DB;

출입자의 지문과 출입자 DB내의 지문을 대조하여 일치하는 경우 출입허가 신호를 얼굴 인식부로 전송하는 지문 인식부;

상기 지문 감지 및 저장부 및 지문 인식부의 지문인식 처리중에 출입자의 얼굴 영상을 취득하여 이러한 출입자 얼굴 영상을 얼굴 인식부로 전송하는 얼굴 영상 취득 및 저장부; 및

상기 얼굴 영상 취득 및 저장부로부터 출입자의 얼굴 영상을 입력받아 저장하고 출입자의 얼굴 영상과 상기 출입자 DB내의 얼굴 영상을 비교하여 서로 일치할 경우 출입허가 신호를 발생하는 얼굴 인식부를 포함하는 것을 특징으로 하는 지문인식 및 얼굴 검출을 이용한 출입통제장치 및 그 방법이다.

상술한 목적을 달성하기 위한 본 발명의 제 3 양상은

출입자의 지문을 감지하고 감지된 지문 영상을 저장하는 지문 감지 및 저장부;

출입 허가 대상자의 인적사항, 비밀번호 데이터, 및 데이터를 저장하는 출입자 DB;

출입자의 지문과 출입자 DB내의 지문을 대조하여 일치하는 경우 출입허가 신호를 비밀번호 비교부로 전송하는 지문 인식부;

지문인식 처리후 출입자의 비밀번호를 입력하기 위한 키패드;

출입자가 입력한 비밀번호와 출입자 DB내의 비밀번호를 비교하여 일치할 경우 출입 허가 신호를 얼굴 검출부로 전송하는 비밀번호 비교부;

상기 지문인식 및 비밀번호 대조 처리중에 출입자의 얼굴 영상을 취득하여 이러한 출입자 얼굴 영상을 얼굴 검출부로 전송하는 얼굴 영상 취득 및 저장부; 및

상술한 목적을 달성하기 위한 본 발명의 제 4 양상은

출입자가 입력한 비밀번호와 출입자 DB내의 비밀번호를 비교하여 일치할 경우 출입 허가 신호를 얼굴 인식부로 전송하는 비밀번호 비교부;

상기 지문인식 및 비밀번호 대조 처리중에 출입자의 얼굴 영상을 취득하여 이러한 출입자 얼굴 영상을 얼굴 인식부로 전송하는 얼굴 영상 취득 및 저장부; 및

상기 얼굴 영상 취득 및 저장부로부터 출입자의 얼굴 영상을 입력받아 저장하고 출입자의 얼굴 영상과 상기 출입자 DB내의 얼굴 영상들을 비교하여 서로 일치할 경우 출입허가 신호를 발생하는 얼굴 인식부를 포함하는 것을 특징으로 하는 지문인식 및 얼굴 검출을 이용한 출입통제장치 및 그 방법이다.

도 1은 본 발명에 의한 출입통제장치의 개략도,

도 2는 본 발명의 출입통제 장치의 제 1 실시예의 블럭도,

도 3은 본 발명의 출입통제 방법의 제 1 실시예의 흐름도,

도 4는 본 발명의 출입통제 장치의 제 2 실시예의 블럭도,

도 5는 본 발명의 출입통제 방법의 제 2 실시예의 흐름도,

도 6은 본 발명의 출입통제 장치의 제 3 실시예의 블럭도,

도 7은 본 발명의 출입통제 방법의 제 3 실시예의 흐름도,

도 8은 본 발명의 출입통제 장치의 제 4 실시예의 블럭도,

도 9는 본 발명의 출입통제 방법의 제 4 실시예의 흐름도,

도 10은 본 발명의 출입통제 장치중 반복 이완기법을 이용한 지문 인식부의 세부 구성도,

도 11은 본 발명의 출입통제 장치중 고유벡터를 이용한 얼굴인식부의 세부 구성도이다.

*도면의 주요 부분에 대한 부호의 설명*

10: 얼굴 영상 취득 및 저장부 20: 키패드 30: 지문 감지 및 저장부

21: 키패드 22: 출입자 DB 23: 비밀번호 비교부

24; 지문 감지 및 저장부 25: 지문 인식부

26: 얼굴 영상 취득 및 저장부 27: 얼굴 검출부 41: 키패드

42: 출입자 DB 43: 비밀번호 비교부 44; 지문 감지 및 저장부

45: 지문 인식부 46: 얼굴 영상 취득 및 저장부

47: 얼굴인식부 61: 지문 감지 및 저장부 62: 출입자 DB

63: 지문 인식부 64; 숫자 키패트 65: 비밀번호 비교부

66: 얼굴 영상 취득 및 저장부 67: 얼굴 검출부 81: 지문 감지 및 저장부

82: 출입자 DB 83: 지문 인식부 84; 키패드

85: 비밀번호 비교부 86: 얼굴 영상 취득 및 저장부

87: 얼굴인식부 100: 이진화부

200: 특징추출부 300: 지문 DB 400: 특징비교부

이하에서 본 발명을 첨부 도면을 참조하여 더욱 상세히 설명하면 다음과 같다.

도 1은 본 발명에 의한 출입통제장치의 개략도이다. 본 발명은 비밀번호 검증, 지문인식 및 얼굴검출의 방법을 결합하여 출입을 통제하는 시스템에 관한 것으로, 이러한 출입통제 장치는 얼굴검출을 위한 얼굴 영상 취득 및 저장부(10), 비밀번호 입력을 위한 키패드(20), 및 지문 인식을 위한 지문 감지 및 저장부(30)로 구성될 수 있다. 이러한 출입통제장치는 보안을 요하는 출입문 등에 설치되어 비밀번호, 지문 및 얼굴 정보를 획득한다. 본 발명의 출입통제 장치에서 얼굴 영상 취득 및 저장부(10)는, 바람직하게 도 1에 도시된 바와 같이, 지문 감지 및 저장부(30) 위에 설치되어 출입자가 버튼을 누르거나 손가락을 지문 감지 및 저장부에 접촉시킬 때 적당한 거리가 유지되어 용이하게 출입자의 얼굴을 촬영할 수 있다.

도 2는 본 발명의 출입통제 장치의 제 1 실시예의 블럭도이다. 제 1 실시예에 의한 본 발명의 출입통제장치는 구체적으로 키패드(21), 출입자 DB(22), 비밀번호비교부(23), 지문 감지 및 저장부(24), 지문 인식부(25), 얼굴 영상 취득 및 저장부(26), 및 얼굴 검출부(27)를 포함한다. 상기 키패드(21)는 출입자가 비밀번호를 입력하기 위한 수단으로, 본 발명에서 키패드(21)의 구체적인 구성은 특별히 제한되지 않는다. 즉, 일례로 상기 키패드(21)는 통상의 터치 버튼 또는 터치 스크린상의 번호판 형태로 구현될 수 있다. 출입자 DB(22)에는 출입 허가 대상자의 인적사항, 비밀번호 데이터 및 지문 데이터가 저장되며, 비밀번호비교부(23)는 출입자가 입력한 비밀번호와 출입자 DB(22)내의 비밀번호를 비교하여 일치할 경우 출입 허가 신호를 지문 인식부(25)로 전송한다. 지문 감지 및 저장부(24)는 지문 인식부(25)가 비밀번호 비교부(23)에서 출입 허가 신호를 입력받은 후 출입자가 손가락을 지문 감지 및 저장부에 접촉하면 지문을 감지하여 지문에 대한 데이터를 처리하여 지문 인식부(25)로 전송하고 지문 영상을 저장한다. 본 발명에서 지문 감지 및 저장부(24)는 비밀번호 입력을 위한 키패드(21) 위에 장착될 수 있다.

지문 인식부(25)는 출입자의 지문과 출입자 DB(22)내의 모델 지문을 대조하여 일치하는 경우 출입허가 신호를 얼굴 검출부(27)로 전송한다. 본 발명의 출입통제장치에서 지문 인식부(25)는 입력되는 지문과 가장 유사한 특징을 갖는 지문을 출입자 DB(22)에서 반복이완기법에 의하여 추출한 후, 양자 사이의 유사도가 임계치보다 큰 경우는 등록되지 않은 출입자로 간주하여 출입을 거부하고, 상기 유사도가 임계치 이내인 경우 출입을 허가하도록 구현될 수 있다. 반복이완기법에 대해서는 이하 (1) 지문인식란에서 상세히 설명한다. 본 발명의 출입통제장치(200)에서 얼굴 영상 취득 및 저장부(26)는 상기 지문 감지 및 저장부(24) 및 지문 인식부(25)의 지문인식 처리중에 출입자의 얼굴 영상을 취득하여 저장하고 이러한 출입자 얼굴 영상을 얼굴 검출부(27)로 전송하는 역할을 담당한다. 얼굴 검출부(27)는 상기 얼굴 영상 취득 및 저장부(26)로부터 출입자의 얼굴 영상을 입력받아 저장하고 출입자의 얼굴이 바르게 인식될 경우 출입허가 신호를 발생하는 한편, 얼굴이 가려져 바르게 인식되지 않을 경우 출입을 허가하지 않는다. 본 발명의 출입통제장치에서 얼굴 검출부(27)는 검출된 얼굴 영역에서 고유벡터 값의 비교에 의해 유사도를 판단한다. 본 발명의 제 1 실시예에 의한 출입통제 장치에서는 출입자가 입력한 비밀번호가 맞고 지문인식을 통과한 후 얼굴이 다른 물체에 의하여 가리워지지 않아야 출입이 허가된다.

도 3은 본 발명의 출입통제 방법의 제 1 실시예의 흐름도로, 이하에서 도 2의 출입통제장치의 동작을 도 3의 흐름도를 참조하여 설명한다. 먼저 본 실시예에서 출입자는 키패드(21)에 의해 비밀번호를 입력한다(S31). 이어서 사전에 등록된 번호와 출입자가 입력한 비밀번호를 비밀번호 비교부(23)에 의해 일대일로 비교하여(S32) 서로 일치하지 않을 경우 제 31 단계로 리턴하여 재입력시킨다. 이 때, 틀린 비밀번호를 소정의 횟수만큼 지속하여 입력하는 경우 출입을 통제할 수 있다. 출입자가 입력한 비밀번호와 출입자 데이터베이스(22)내에 기등록된 비밀번호가 서로 일치하는 경우 지문인식 단계로 이행한다(S33). 지문인식의 경우 지문 감지 및 저장부(24)에 의해 지문을 감지하여 입력된 지문을 컴퓨터로 전송하여 지문 영상을 이진화하여 특징을 추출한다. 여기서 지문 영상의 특징으로는 끝점, 분기점을 사용하고 영상의 고유벡터(eigen vector)를 특징으로 사용한다. 지문 인식부(27)는 해당 출입자의 후보 ID를 확인하고 이 ID에 해당하는 지문을 출입자 데이타베이스(22)에서 꺼내어 입력되는 지문과 특징을 비교한다(S34). 이러한 특징값을 기존에 저장된 특징값과 비교하여 유사도가 임계치 보다 적을 경우 서로 일치하는 사람으로 판단한다. 제 34단계의 판단결과 양자가 일치하지 않는 것으로판단되면 제 38 단계(S38)로 진행하여 출입을 통제하는 한편, 일치하는 경우 얼굴 검출을 위해 얼굴 영상 취득 및 저장부(26)를 이용하여 얼굴 영상을 획득한다(S35). 본 실시예에서 얼굴검출부(27)가 채택하는 얼굴 검출 기법은 사전에 등록된 얼굴들의 고유벡터와 새로 획득한 출입자의 얼굴 영상에서 임의의 크기의 사각형안의 영상과 내적을 구하고 이 값들의 유사도를 계산하고 가장 큰 유사도를 갖는 위치를 얼굴의 위치로 한다. 여기서 가장 큰 유사도가 정해진 임계치 보다 작을 경우에는 얼굴이 가리워진 것으로 판단하여 출입을 거부하고(S38), 임계치 보다 클 경우에는 출입을 허가한다(S37). 여기서 여러 장의 영상은 얼굴 영상 취득 및 저장부의 화각이나 각도를 변화시켜 출입자의 키나 위치 변화에 상관없이 얼굴이 얼굴 영상 취득 및 저장부에 잡히도록 하는 것이다.

도 4는 본 발명의 출입통제 장치의 제 2 실시예의 블럭도이다. 제 1 실시예에 의한 본 발명의 출입통제장치는 출입자가 맞는 비밀번호를 입력하고 지문이 등록된 출입자 데이터베이스내의 그것과 일치하며 얼굴이 상기 데이터베이스내에 등록된 얼굴 영상과 유사할 경우 출입을 허가하는 실시예이다. 본 실시예의 출입통제장치(400)에서 상기 키패드(41)는 출입자가 비밀번호를 입력하기 위한 수단으로, 본 발명에서 키패드(41)의 구체적인 구성은 특별히 제한되지 않는다. 출입자 DB(42)에는 출입 허가 대상자의 인적사항, 비밀번호 데이터, 지문 데이터 및 얼굴영상 데이터가 저장되며, 비밀번호 비교부(43)는 출입자가 입력한 비밀번호와 출입자 DB(42)내의 비밀번호를 비교하여 일치할 경우 출입 허가 신호를 지문인식부(45)로 전송한다. 지문 감지 및 저장부(44)는 비밀번호 비교부(43)에서 출입 허가 신호를 입력받은 후 출입자가 손가락을 지문 감지 및 저장부에 접촉하면 지문을 감지하여 지문 영상을 저장하고 지문에 대한 데이터를 처리하여 지문 인식부(45)로 전송한다. 지문 인식부(45)는 출입자의 지문과 출입자 DB(42)내의 지문을 대조하여 일치하는 경우 출입허가 신호를 얼굴 인식부(47)로 전송한다. 본 발명의 출입통제장치에서 지문 인식부(45)는 반복이완기법에 의하여 지문 영상의 특징을 추출한다. 본 발명의 출입통제장치(400)에서 얼굴 영상 취득 및 저장부(46)는 상기 지문 감지 및 저장부(44) 및 지문 인식부(45)의 지문인식 처리중에 출입자의 얼굴 영상을 취득하여 저장하고 이러한 출입자 얼굴 영상을 얼굴 인식부(47)로 전송하는 역할을 담당한다. 얼굴 인식부(47)는 상기 얼굴 영상 취득 및 저장부(46)로부터 출입자의 얼굴 영상을 입력받아 저장하고 출입자 DB(42)에 등록된 얼굴 영상과 유사도를 비교하여 유사도가 소정의 임계치 이내인 경우 출입허가 신호를 발생하는 한편, 양자의 얼굴 영상 사이의 유사도가 소정의 임계치를 벗어나는 경우 출입을 허가하지 않는다. 본 발명의 출입통제장치에서 얼굴 인식부(47)는 검출된 얼굴 영역에서 고유벡터 값의 비교에 의해 유사도를 판단한다.

도 5는 본 발명의 출입통제 방법의 제 2 실시예의 흐름도로, 이하에서 도 4의 출입통제장치(400)의 동작을 도 5의 흐름도를 참조하여 설명한다. 먼저 본 실시예에서 출입자는 키패드(41)에 의해 비밀번호를 입력한다(S51). 이어서 사전에 등록된 번호와 출입자가 입력한 비밀번호를 비밀번호 비교부(43)에 의해 일대일로 비교하여(S52) 서로 일치하지 않을 경우 제 51 단계로 리턴하여 재입력하는 한편, 틀린 비밀번호를 소정의 횟수만큼 지속하여 입력하는 경우 출입을 통제할 수 있다. 출입자가 입력한 비밀번호와 출입자 데이터베이스(42)내에 기등록된 비밀번호가 서로 일치하는 경우 지문인식 단계로 이행한다(S53). 지문인식의 경우 지문 감지 및 저장부(44)에 의해 지문을 인식 및 저장하여 입력된 지문을 컴퓨터로 전송하여 지문 영상을 이진화하여 특징을 추출한다. 여기서 지문 영상의 특징으로는 끝점, 분기점을 사용하고 영상의 고유벡터(eigen vector)를 특징으로 사용한다. 지문 인식부(47)는 해당 출입자의 후보 ID를 확인하고 이 ID에 해당하는 지문을 출입자 데이타베이스(42)에서 꺼내어 입력되는 지문과 특징을 비교한다(S54). 이러한 특징값을 기존에 저장된 특징값과 비교하여 유사도가 임계치 보다 적을 경우 서로 일치하는 사람으로 판단한다. 제 54 단계의 판단결과 양자가 일치하지 않는 것으로 판단되면 제 59 단계(S59)로 진행하여 출입을 거부하는 한편, 일치하는 경우 얼굴 검출을 위해 얼굴 영상 취득 및 저장부(46)를 이용하여 비밀번호를 누루거나 지문을 입력하는 동안 통행하려는 사람을 촬영하고 얼굴 영상을 획득하여(S55), 저장 및 특징을 추출한다(S56). 여기서 여러 장의 영상은 얼굴 영상 취득 및 저장부의 화각이나 각도를 변화시켜 출입자의 키나 위치 변화에 상관 없이 얼굴이 얼굴 영상 취득 및 저장부에 잡히도록 하는 것이다. 그 후 제 55단계에서 추출된 통행하려는 사람의 얼굴 영상특징과 기존에 출입자 데이터베이스(42)에 저장되어 있는 얼굴 데이터 사이의 거리를 구하여 어떤 사람인지 구별하거나 등록된 사람인지를 판단한다(S57). 서로 일치할 경우 출입을 허가하는(S58)한편, 서로 일치하지 않는 경우 출입을 거부한다(S59).

도 6은 본 발명의 출입통제 장치의 제 3 실시예의 블럭도이다. 제 3 실시예에 의한 본 발명의 출입통제장치(600)는 구체적으로 지문 감지 및 저장부(61), 출입자 DB(62), 지문 인식부(63), 키패드(64), 비밀번호 비교부(65), 얼굴 영상 취득 및 저장부(66), 및 얼굴 검출부(67)를 포함한다. 지문 감지 및 저장부(64)는 출입자가 손가락을 지문 감지 및 저장부에 접촉하면 지문을 감지하여 지문에 대한 데이터를 처리하여 지문 인식부(63)로 전송한다. 지문 인식부(63)는 출입자의 지문과 출입자 DB(62)내의 지문을 대조하여 일치하는 경우 출입허가 신호를 비밀번호 비교부(65)로 전송한다. 본 발명의 출입통제장치(600)에서 지문 인식부(63)는 입력되는 지문과 가장 유사한 특징을 갖는 지문을 출입자 DB(62)에서 반복이완기법에 의하여 추출한 후, 양자 사이의 유사도가 임계치보다 큰 경우는 등록되지 않은 출입자로 간주하여 출입을 거부하고, 상기 유사도가 임계치 이내인 경우 출입을 허가하도록 구현될 수 있다. 상기 키패드(64)는 지문 인식부(63)로부터 출입 허가 신호를 입력받은 경우 출입자에게 비밀번호를 입력하도록 한다. 본 발명에서 키패드(64)의 구체적인 구성은 특별히 제한되지 않는다. 출입자 DB(62)에는 출입 허가 대상자의 인적사항, 비밀번호 데이터 및 지문 데이터가 저장되며, 비밀번호 비교부(65)는 출입자가 입력한 비밀번호와 출입자 DB(62)내의 비밀번호를 비교하여 일치할 경우 출입 허가 신호를 얼굴 검출부(67)로 전송한다. 본 발명의 출입통제장치(600)에서 얼굴 영상 취득 및 저장부(66)는 상기 지문인식 처리 및 비밀번호확인 처리중에 출입자의 얼굴 영상을 취득하여 저장하고 이러한 출입자 얼굴 영상을 얼굴 검출부(67)로 전송하는 역할을 담당한다. 얼굴 검출부(67)는 상기 얼굴 영상 취득 및 저장부(66)로부터 출입자의 얼굴 영상을 입력받아 저장하고 출입자의 얼굴이 바르게 인식될 경우 출입허가 신호를 발생하는 한편, 얼굴이 가려져 바르게 인식되지 않을 경우 출입을 거부한다. 본 발명의 출입통제장치에서 얼굴 검출부(67)는 검출된 얼굴 영역에서 고유벡터 값의 비교에 의해 유사도를 판단한다.

도 7은 본 발명의 출입통제 방법의 제 3 실시예의 흐름도로, 이하에서 도 6의 출입통제장치(600)의 동작을 도 7의 흐름도를 참조하여 설명한다. 먼저 본 실시예에서 출입자는 지문 감지 및 저장부(61)에 손가락을 접촉시켜 지문을 인식하게 한다(S71). 이어서, 입력된 지문을 컴퓨터로 전송하여 지문 영상을 이진화하여 특징을 추출한다. 지문 인식부(63)는 해당 출입자의 후보 ID를 확인하고 이 ID에 해당하는 지문을 출입자 데이타베이스(62)에서 꺼내어 입력되는 지문과 특징을 비교한다(S72). 이러한 특징값을 기존에 저장된 특징값과 비교하여 유사도가 임계치 보다 적을 경우 서로 일치하는 사람으로 판단한다. 제 72 단계의 판단결과 양자가 일치하지 않는 것으로 판단되면 제 78 단계(S78)로 진행하여 출입을 통제하는 한편, 일치하는 경우 비밀번호 확인을 위해 키패드로 비밀번호를 입력한다(S73). 이어서 사전에 등록된 비밀번호와 출입자가 입력한 비밀번호를 비밀번호 비교부(65)에 의해 일대일로 비교하여(S74) 서로 일치하지 않을 경우 제 78 단계로진행하여 출입을 통제하는 한편, 틀린 비밀번호를 소정의 횟수만큼 지속하여 입력하는 경우 출입을 통제할 수 있다. 출입자가 입력한 비밀번호와 출입자 데이터베이스(62)내에 기등록된 비밀번호가 서로 일치하는 경우 얼굴 영상 획득 단계로 이행한다(S75). 얼굴 영상 검출을 위해 얼굴 영상 취득 및 저장부(66)를 이용하여 얼굴 영상을 획득 및 저장한다. 얼굴검출부(67)가 채택하는 얼굴 검출 기법은 상기 실시예 1에서 설명한 기법과 동일하다. 제 76 단계에서 얼굴 가림이 있는지 판단하여(S76), 얼굴 가림이 있는 것으로 확인되는 경우 출입을 거부하고(S78), 얼굴 가림이 없는 것으로 확인되는 경우 출입을 허가한다(S77).

도 8은 본 발명의 출입통제 장치의 제 3 실시예의 블럭도이다. 제 3 실시예에 의한 본 발명의 출입통제장치(800)는 구체적으로 지문 감지 및 저장부(81), 출입자 DB(82), 지문 인식부(83), 키패드(84), 비밀번호 비교부(85), 얼굴 영상 취득 및 저장부(86), 및 얼굴 인식부(87)를 포함한다. 지문 감지 및 저장부(84)는 출입자가 손가락을 지문 감지 및 저장부에 접촉하면 지문을 감지하여 지문에 대한 데이터를 처리하여 지문 인식부(83)로 전송한다. 지문 인식부(83)는 출입자의 지문과 출입자 DB(82)내의 지문을 대조하여 일치하는 경우 출입허가 신호를 비밀번호 비교부(85)로 전송한다. 본 발명의 출입통제장치에서 지문 인식부(83)는 입력되는 지문과 가장 유사한 특징을 갖는 지문을 출입자 DB(82)에서 반복이완기법에 의하여 추출한 후, 양자 사이의 유사도가 임계치보다 큰 경우는 등록되지 않은 출입자로 간주하여 출입을 거부하고, 상기 유사도가 임계치 이내인 경우 출입을 허가한다. 상기 키패드(84)는 지문 인식부(83)로부터 출입 허가 신호를 입력받은 경우 출입자에게 비밀번호를 입력하도록 한다. 본 발명에서 키패드(84)의 구체적인 구성은 특별히 제한되지 않는다. 출입자 DB(82)에는 출입 허가 대상자의 인적사항, 비밀번호 데이터, 지문 데이터 및 얼굴 영상 데이터가 저장되며, 비밀번호 비교부(85)는 출입자가 입력한 비밀번호와 출입자 DB(82)내의 비밀번호를 비교하여 일치할 경우 출입 허가 신호를 얼굴 인식부(87)로 전송한다. 본 발명의 출입통제장치에서 얼굴 영상 취득 및 저장부(86)는 상기 지문 감지 및 저장부(81) 및 지문 인식부(83)의 지문인식 처리중에 출입자의 얼굴 영상을 취득하여 이러한 출입자 얼굴 영상을 얼굴 인식부(87)로 전송하는 역할을 담당한다. 얼굴 인식부(87)는 상기 얼굴 영상 취득 및 저장부(86)로부터 출입자의 얼굴 영상을 입력받아 저장하고 출입자 DB(82)에 등록된 얼굴 영상과 고유벡터 값의 비교에 의해 유사도를 비교하여 유사도가 소정의 임계치 이내인 경우 출입허가 신호를 발생하는 한편, 양자의 얼굴 사이의 유사도가 소정의 임계치를 벗어나는 경우 출입을 허가하지 않는다.

도 9는 본 발명의 출입통제 방법의 제 4 실시예의 흐름도로, 이하에서 도 8의 출입통제장치의 동작을 도 9의 흐름도를 참조하여 설명한다. 먼저 본 실시예에서 출입자는 지문 감지 및 저장부(81)에 손가락을 접촉시켜 지문을 인식하게 한다(S91). 이어서, 입력된 지문을 컴퓨터로 전송하여 지문 영상을 이진화하여 특징을 추출한다. 지문 인식부(83)는 해당 출입자의 후보 ID를 확인하고 이 ID에 해당하는 지문을 출입자 데이타베이스(82)에서 꺼내어 입력되는 지문과 특징을 비교한다(S92). 이러한 특징값을 기존에 저장된 특징값과 비교하여 유사도가 임계치 보다 적을 경우 서로 일치하는 사람으로 판단한다. 제 92 단계의 판단결과 양자가 일치하지 않는 것으로 판단되면 제 99 단계(S99)로 진행하여 출입을 통제하는 한편, 일치하는 경우 비밀번호 확인을 위해 키패드로 비밀번호를 입력한다(S93). 이어서 사전에 등록된 번호와 출입자가 입력한 비밀번호를 비밀번호 비교부(85)에 의해 일대일로 비교하여(S94) 서로 일치하지 않을 경우 제 99 단계로 진행하여 출입을 통제하는 한편, 틀린 비밀번호를 소정의 횟수만큼 지속하여 입력하는 경우 출입을 통제할 수 있다. 출입자가 입력한 비밀번호와 출입자 데이터베이스(82)내에 기등록된 비밀번호가 서로 일치하는 경우 얼굴 영상을 획득한(S95) 후 얼굴 영상의 특징을 추출한다(S96). 그 후 제 96 단계(S96)에서 추출된 통행하려는 사람의 얼굴 영상특징과 기존에 출입자 데이터베이스(82)에 저장되어 있는 얼굴 데이터 사이의 유사도를 구하여 어떤 사람인지 구별하거나 등록된 사람인지를 판단한다(S97). 양자 사이의 유사도가 소정의 임계치 보다 높은 경우 출입을 허가하는(S98)한편, 소정의 임계치 보다 낮은 경우 출입을 거부한다(S99).

본 발명의 제 5 실시예에서 본 발명의 출입통제 장치는 출입의 원격제어를 위한 외부 통신 수단(도시하지 않음)을 추가로 포함할 수 있다. 구체적으로 이러한 외부 통신 수단은 인터넷에 연결하기 위한 모뎀 등을 포함하는 네트워크 인터페이스 제공 수단, 일반 전화 및 영상전화와 같은 유선 통신 수단, 및 무선전화, 휴대폰, PCS폰, 및 IMT-2000에 의한 차세대 이동통신 수단 등과 같은 무선 통신 수단 중 하나이거나 이들을 조합한 것일 수 있다.

본 발명의 제 6 실시예에서 본 발명의 출입통제 방법은, 도 12에 도시된 바와 같이, 사용자가 부재중이거나 외출예정이어서 외부 연결을 설정할 경우 외부 통신 수단을 통해서 원격적으로 출입을 통제하는 원격 출입 제어 단계를 추가로 포함하는 것이다. 이러한 외부 통신 수단은 상술한 바와 같은 네트워크 인터페이스 제공 수단 , 무선 통신 수단 또는 유선 통신 수단일 수 있다. 이러한 원격 출입 제어 단계를 더욱 상세하게 설명하면, 사용자가 외출할 경우 출입통제 장치에서 인터넷 연결, 유선 통신 연결, 또는 무선 통신 연결 가운데 하나를 설정할 수 있다(S121). 예를 들어, 사용자에 의해 인터넷 연결이 설정된 상태(S122)에서 방문자가 초인종을 누르거나 보안 시스템을 통과하기 위해 비밀번호를 입력하거나 지문을 입력시키면 외부 통신 수단으로 연결시킨다(S122). 이어서 외부 연결 수단에 의해 인터넷에 접속시키고(S123)나서, 방문자의 비밀번호를 확인한(S124)후, 방문자의 얼굴과 건물 내부 상황을 모니터링할(S125) 수 있으며 모니터링 결과에 따라 출입을 원격적으로 통제할 수 있다(S126). 다른 실시예에 있어서, 사용자가 유선 통신 연결을 설정한 경우 방문자가 외부 화상 전화로 연결시키고(S127), 방문자의 얼굴과 건물 내부 상황을 모니터링할(S125) 수 있으며 모니터링 결과에 따라 출입을 통제할 수 있다(S126). 한편, 무선 통신 연결이 설정되면, 무선영상 전화로 방문자와 사용자를 연결시키고(S128), 방문자의 얼굴 및 건물 상황을 모니터링(S125)하여 출입을 통제한다(S126).

(1) 지문인식

본 발명에서 사용되는 지문 인식 방법은 지문을 인식하기 위하여 방향벡터를 고려한 이진화, 이것의 세선화, 입력된 지문 영상의 특징추출 및 저장된 지문 영상의 특징값들과의 비교과정으로 구성된다. 여기서 이진화 과정은 입력영상을 평균필터로 필터링한 후 라인 검출 필터를 적용시킨다. 그 후 필터된 값들을 임계치보다 큰 값을 갖는 부분과 그렇지 않은 부분으로 나누고 그러한 점들의 비율을 예를들어 30%가 되도록 임계치를 설정한다. 이렇게 추출된 이진화된 영상에서 세선화 알고지즘을 사용하여 한 점의 폭으로 만든다. 이 후 끝점과 분기점을 검출하고 이 위치를 특징점으로 추출하여 데이터 베이스에 기록한다. 저장된 여러 명의 지문들의 특징값들과 출입자의 지문으로부터 얻은 특징값을 비교하여 저장된 특징값중에 가장 유사한 특징값을 선택하고, 이 특징값과의 유사도가 어떤 임계치 보다 작을 경우 인식된 것으로 한다. 여기서 유사도나 거리는 반복 이완기법을 사용하여 구할 수 있다. 도 10은 이러한 지문 인식부의 구현예의 세부 구성도이다. 도 10에 도시된 바와 같이 본 발명에서 지문 인식부는 이진화부(101), 특징추출부(102), 반복이완에 의한 특징비교부(104) 및 지문 DB(103)로 구성된다. 반복 이완기법이란 특징들간의 정합여부를 판단하는데 사용되는 기법이다. 반복 이완기법에서는 정합하려 하는 두 특징간의 유사도를 확률의 개념으로 정의하고, 인접 특징들과의 관계가 이 두 특징간의 정합 확률에 영향을 미치도록 하여 일관성 있는 비교 결과를 유도한다. 인접 특징들과의 관계를 고려하는 특성 때문에 하나의 특징값의 손상이나 오류가 전체 정합에 미치는 영향을 최소화할 수 있다. 반복 이완기법은 크게 초기 확률 배정과 확률 갱신의 두 단계로 나누어져 수행된다. 초기 확률 배정 단계에서는 각 특징들간의 정합 확률에 대한 초기값으로

와 같은 식을 사용한다. 여기서P는 확률을 의미하고,S는 유사도를 의미한다. 아래첨자i는 정합의 대상이 되는 입력 지문의 특징에 대한 색인이고,l은 정합의 대상이 되는 데이터 베이스내의 지문의 특징에 대한 색인이다.P의 윗첨자로 들어간 색인값 0은 반복 계산이 0번째임 즉, 아직 반복 계산이 수행되지 않았음을 나타내는 값이다. 즉 상기 수학식은 특징i가 특징l에 정합될 확률의 초기값이 특징i와 특징l의 유사도에 의해 결정된다는 것을 의미한다. 일반적으로 지문 특징간의 유사도Si(l)은d _il 을 이용해서

와 같이 0에서 1 사이의 값으로 정의한다.d _il 은i특징과l특징의 특징값의 차이를 의미한다. 초기 확률이 배정되면 각 특징들 간의 유사성과 그 주변 특징들 간의 유사성을 따져서 초기 확률을 갱신하게 된다. 확률 갱신을 위한 식은

와 같다. 확률 갱신 항인q를 이용해서 다음 번 반복 계산 상태의 확률을 정의하고 있다. 현재의 확률이 크다면 다음 번 확률이 크게 배정되고, 만약 현재의 확률이 작더라도 만약 주변의 특징들간의 정합 조건이 좋아서 확률 갱신 항q가 크게 배정된다면 다음 번 반복 계산 상태의 확률이 커지도록 식이 구성되어 있다. 확률 갱신 항은

와 같이 정의된다. 여기에서d _jm 은j특징과m특징간의 특징값의 차이를 의미한다.q값을 정의하기 위해서 사용되는 특징들은 입력 특징들 중에서 현재 정합 여부를 고려하고 있는 특징의 주변 특징들과 데이터 베이스 모델 특징들 중에서 현재 입력 특징과 정합 여부를 고려하는 모델 특징의 주변 특징들이다. 입력 특징들j와 모델 특징들m이 잘 정합 되면d _jm 이 작을 것이고, 이로 인해서q로 정의되는 항이 크게 배정된다.

(2) 얼굴 검출

본 발명에서 얼굴 검출은 입력되는 영상에서 얼굴 부분이 어떤 부분인지 검출하는 것을 의미한다. 일반적으로 비밀번호를 누르거나 지문 감지 및 저장부에 손가락을 접촉시킬 때 촬영되므로 사람의 팔 길이 정도의 거리가 있어 사람의 얼굴이 얼굴 영상 취득 및 저장부에 분명하게 들어오게 된다. 그러나 사람의 키나 팔길이의 차이로 인하여 얼굴의 위치나 크기가 변할 수 있기 때문에, 이러한 문제를 해결하기 위하여 고유벡터 방법을 이용하여 얼굴 영역을 검출한다. 즉, 여러 사람의 얼굴 영상을 가지고 고유벡터를 추출하고 여기서 고유값이 큰 값을 나타내는 고유벡터값을 특징으로 한다. 이러한 고유벡터값을 가지고 입력되는 영상에 임의의 사각형내에 고유벡터와 내적을 취하여 구해진 값의 분포에 따라 얼굴영역을 검출한다.

(3) 얼굴 인식

도 11에 본 발명의 출입통제장치중 얼굴 인식부의 하나의 실시예를 도시하였다. 얼굴 인식부는 검출된 얼굴 영역에서 각각의 사람에 대하여 여러 번 촬영된 영상으로 학습된 고유벡터와 비교하여 가장 유사한 사람을 대응되는 사람으로 인식한다. 구체적으로 얼굴 영상 취득 및 저장부에 의해 촬영된 고유 얼굴 영상이 입력되면 전처리한 후 고유벡터추출부(1110) 및 내적 산출부(1130)에 의해 고유벡터 및 내적을 취하여 구한 가중치와 인식할 얼굴들에 대하여 동일한 과정에 의해서 구한 얼굴 가중치 값들이 저장되어 있는 얼굴 가중치 DB(1140)내의 가중치 값들을 비교하여 가장 유사한 가중치를 갖는 클래스를 인식 후보로 결정하고 그것이 소정의 임계치 보다 클 경우는 클래스에 없는 새로운 얼굴로 간주한다. M개의 입력 영상 I1,I2, ..., IM이 있다고 가정하면, 입력 영상이 256x256 화소로 구성될 경우 각 영상은 65536x1의 벡터로 볼수 있다. 이러한 M개의 65536x1의 벡터로부터 65536x65536의 공분산 행렬(Covariance matrix)을 구할 수 있고, 이것으로부터 M개의 65536x1의 고유벡터 (Um)를 구할 수 있다. 즉 M개의 입력영상을 M개의 고유벡터의 선형 결합으로 표현할 수 있다는 것이다.

이렇게 Um을 구해 놓고, 각 클래스, 즉 각 사람에 대한 특징 벡터를 구하기 위하여 Um과 각 사람에 대한 가중치를 구한다.

여기서 k는 사람을 나타내는 인덱스이다. 결과적으로 각 사람에 대하여 Mx1의 가중치 벡터를 가지게 된다. 한 사람에 대하여 여러 장의 영상이 있을 경우 Wm을 평균하여 하나의 가중치 벡터를 데이터 베이스에 저장한다. 이제 새로운 입력 얼굴 영상이 들어 올 경우 상기 수학식 1을 이용하여 가중치를 Um을 가지고 구한 후, 데이터 베이스에 저장된 가중치 벡터중에 가장 적은 차이를 보이는 것을 인식 후보로 결정하고 이 차이가 소정의 임계치 보다 적으면 그 사람으로 인식된 것으로 하며, 그렇지 않을 경우에는 입력된 얼굴 영상이 기존에 등록되어 있지 않은 출입을 허가할 수 없는 영상으로 결과를 출력한다.

이상에서 설명한 본 발명의 실시예는 본 발명의 보호범위를 제한하려는 것이 아니며, 단지 본 발명의 구성, 실시예 또는 구현예를 설명하기 위한 것이다. 또한, 당업자들은 본 발명의 정신 및 보호범위를 벗어나지 않고 본 발명에 대하여 다양한 변형 및 변화를 가할 수 있을 것이므로, 본 발명의 보호범위는 첨부된 청구범위에 따라서 결정된다.

본 발명의 출입통제 장치 및 방법은 비밀번호, 지문인식, 및 얼굴검출을 통합적으로 이용하므로 보안성 및 신뢰도를 더욱 향상시킬 수 있고, 더 나아가 보안이 요구되거나 출입자의 신원파악이 요구되는 건물이나 출입구에 사용할 경우 출입자의 신원을 확인하고 출입자의 얼굴 및 지문을 취득할 수 있다.

Claims

비밀번호 입력을 위한 키패드;

출입 허가 대상자의 인적사항, 비밀번호 데이터 및 지문 데이터를 저장하는 출입자 DB;

출입자가 입력한 비밀번호와 출입자 DB내의 비밀번호를 비교하여 일치할 경우 출입 허가 신호를 지문 인식부로 전송하는 비밀번호 비교부;

비밀번호 비교부에서 출입 허가 신호를 입력받아 출입자의 지문을 감지하고 감지된 지문 영상을 저장하는 지문 감지 및 저장부;

출입자의 지문과 출입자 DB내의 지문을 대조하여 일치하는 경우 출입허가 신호를 얼굴 검출부로 전송하는 지문 인식부;

상기 지문 감지 및 저장부 및 지문 인식부의 지문인식 처리중에 출입자의 얼굴 영상을 취득하여 이러한 출입자 얼굴 영상을 얼굴 검출부로 전송하는 얼굴 영상 취득 및 저장부; 및

상기 얼굴 영상 취득 및 저장부로부터 출입자의 얼굴 영상을 입력받아 저장하고 출입자의 얼굴이 바르게 인식될 경우 출입허가 신호를 발생하는 얼굴 검출부를 포함하는 것을 특징으로 하는 지문인식 및 얼굴 검출을 이용한 출입통제장치.
비밀번호 입력을 위한 키패드;

출입 허가 대상자의 인적사항, 비밀번호 데이터, 지문 데이터 및 얼굴 영상을 저장하는 출입자 DB;

출입자가 입력한 비밀번호와 출입자 DB내의 비밀번호를 비교하여 일치할 경우 출입 허가 신호를 지문 인식부로 전송하는 비밀번호 비교부;

비밀번호 비교부에서 출입 허가 신호를 입력받아 출입자의 지문을 감지하고 감지된 지문 영상을 저장하는 지문 감지 및 저장부;

출입자의 지문과 출입자 DB내의 지문을 대조하여 일치하는 경우 출입허가 신호를 얼굴 인식부로 전송하는 지문 인식부;

상기 지문 감지 및 저장부 및 지문 인식부의 지문인식 처리중에 출입자의 얼굴 영상을 취득하여 이러한 출입자 얼굴 영상을 얼굴 인식부로 전송하는 얼굴 영상 취득 및 저장부; 및

상기 얼굴 영상 취득 및 저장부로부터 출입자의 얼굴 영상을 입력받아 저장하고 출입자의 얼굴 영상과 상기 출입자 DB내의 얼굴 영상들을 비교하여 서로 일치할 경우 출입허가 신호를 발생하는 얼굴 인식부를 포함하는 것을 특징으로 하는 지문인식 및 얼굴 검출을 이용한 출입통제장치.
출입자의 지문을 감지하고 감지된 지문 영상을 저장하는 지문 감지 및 저장부;

출입 허가 대상자의 인적사항, 비밀번호 데이터, 및 지문 데이터를 저장하는 출입자 DB;

출입자의 지문과 출입자 DB내의 지문을 대조하여 일치하는 경우 출입허가 신호를 비밀번호 비교부로 전송하는 지문 인식부;

지문인식 처리후 출입자의 비밀번호를 입력하기 위한 키패드;

출입자가 입력한 비밀번호와 출입자 DB내의 비밀번호를 비교하여 일치할 경우 출입 허가 신호를 얼굴 검출부로 전송하는 비밀번호 비교부;

상기 지문인식 및 비밀번호 대조 처리중에 출입자의 얼굴 영상을 취득하여 이러한 출입자 얼굴 영상을 얼굴 검출부로 전송하는 얼굴 영상 취득 및 저장부; 및

상기 얼굴 영상 취득 및 저장부로부터 출입자의 얼굴 영상을 입력받아 저장하고 출입자의 얼굴이 바르게 인식될 경우 출입허가 신호를 발생하는 얼굴 검출부를 포함하는 것을 특징으로 하는 지문인식 및 얼굴 검출을 이용한 출입통제장치.
출입자의 지문을 감지하고 감지된 지문 영상을 저장하는 지문 감지 및 저장부;

출입 허가 대상자의 인적사항, 비밀번호 데이터, 지문 데이터 및 얼굴 영상을 저장하는 출입자 DB;

출입자의 지문과 출입자 DB내의 지문을 대조하여 일치하는 경우 출입허가 신호를 비밀번호 비교부로 전송하는 지문 인식부;

지문인식 처리후 출입자의 비밀번호를 입력하기 위한 키패드;

출입자가 입력한 비밀번호와 출입자 DB내의 비밀번호를 비교하여 일치할 경우 출입 허가 신호를 얼굴 인식부로 전송하는 비밀번호 비교부;

상기 지문인식 및 비밀번호 대조 처리중에 출입자의 얼굴 영상을 취득하여이러한 출입자 얼굴 영상을 얼굴 인식부로 전송하는 얼굴 영상 취득 및 저장부; 및

상기 얼굴 영상 취득 및 저장부로부터 출입자의 얼굴 영상을 입력받아 저장하고 출입자의 얼굴 영상과 상기 출입자 DB내의 얼굴 영상들을 비교하여 서로 일치할 경우 출입허가 신호를 발생하는 얼굴 인식부를 포함하는 것을 특징으로 하는 지문인식 및 얼굴 검출을 이용한 출입통제장치.
제 1 항 내지 제 4항중 어느 하나의 항에 있어서,

상기 얼굴 영상 취득 및 저장부가 지문 감지 및 저장부 위에 설치된 것을 특징으로 하는 지문인식 및 얼굴 검출을 이용한 출입통제장치.
제 1 항 또는 제 3항에 있어서,

상기 얼굴 검출부가 출입자가 키패드를 누를 때 얼굴 영상 취득 및 저장부가 작동하여 얼굴 영상을 취득하는 수단인 것을 특징으로 하는 지문인식 및 얼굴 검출을 이용한 출입통제장치.
제 1 항 내지 제 4항중 어느 하나의 항에 있어서,

상기 장치가 지문 감지 및 저장부에 손가락을 접촉시킬 때 얼굴 영상 취득 및 저장부가 작동하여 얼굴 영상을 획득하는 수단을 포함하는 것을 특징으로 하는 지문인식 및 얼굴 검출을 이용한 출입통제장치.
제 1 항 내지 제 4항중 어느 하나의 항에 있어서,

상기 얼굴 검출부가 얼굴 검출을 위하여 입력 얼굴 영상에 대한 고유벡터 특징을 이용하는 수단인 것을 특징으로 하는 지문인식 및 얼굴 검출을 이용한 출입통제장치.
제 1 항 내지 제 4항중 어느 하나의 항에 있어서,

지문 인식부가 지문 인식을 위하여 반복 이완기법을 사용하는 수단인 것을 특징으로 하는 지문인식 및 얼굴 검출을 이용한 출입통제장치.
제 1 항 내지 제 4항중 어느 하나의 항에 있어서, 상기 지문 인식부가

입력 지문 영상을 평균필터로 필터링한 후 라인 검출 필터를 적용시켜 이진화하는 이진화부;

전단계에서 추출된 이진화된 영상에서 세선화 알고지즘을 사용하여 세선화하고 상기 세선의 끝점과 분기점을 검출하고 이 위치를 특징점으로 하여 지문의 특징을 추출하는 특징추출부;

지문 데이터베이스에 저장되어 있는 여러 명의 지문들의 특징값들과 출입자의 지문의 특징값을 비교하여 저장된 특징값중에 가장 유사한 특징을 선택하는 특징비교부; 및

출입 허가 대상자의 지문 데이터가 저장되어 있는 지문 DB를 포함하는 것을 특징으로 하는 지문인식 및 얼굴 검출을 이용한 출입통제장치.
제 2항 또는 제 4항에 있어서, 상기 얼굴 인식부가

출입자 영상 및 출입자 DB내의 출입 허가 대상자의 얼굴 영상의 고유벡터를 추출하는 고유벡터 추출부;

상기 고유벡터 추출한 얼굴 영상들에 대하여 내적을 구하는 내적 산출부;

상기 고유벡터 및 내적을 취하여 구한 출입 허가 대상자들의 얼굴 영상들의 가중치 값들이 저장되어 있는 얼굴 가중치 DB;

출입자의 얼굴 영상의 가중치와 얼굴 가중치 DB내의 얼굴 영상들의 가중치 값을 비교하는 가중치 비교부를 포함하는 것을 특징으로 하는 지문인식 및 얼굴 검출을 이용한 출입통제장치.
제 11항에 있어서, 상기 가중치 산출부가

하기 수학식 1에 따라 각 사람에 대한 가중치를 구하는 수단인 것을 특징으로 하는 지문인식 및 얼굴 검출을 이용한 출입통제장치.

[수학식 1]

여기서 k는 사람을 나타내는 인덱스이고, U_m은 고유벡터이며,
출입자의 비밀번호를 입력하는 단계;

출입자의 비밀번호가 출입자 DB내의 비밀번호와 일치하는지 판단하는 단계;

전단계에서 양자의 비밀번호가 서로 일치하는 경우 지문 감지 및 저장부에 의해 지문을 인식하는 단계;

인식된 지문이 출입자 DB내의 지문 데이터와 일치하는지 판단하는 단계;

양자의 지문이 서로 일치하는 경우 상기 비밀번호 확인 및 지문인식 처리 과정중에 출입자의 얼굴 영상을 획득하는 단계;

전단계에서 얼굴 영상에 가림이 없는 것으로 판단되는 경우 출입을 허가하는 단계를 포함하는 것을 특징으로 하는 지문인식 및 얼굴 검출을 이용한 출입통제방법.
출입자의 비밀번호를 입력하는 단계;

출입자의 비밀번호가 출입자 DB내의 비밀번호와 일치하는지 판단하는 단계;

전단계에서 양자의 비밀번호가 서로 일치하는 경우 지문 감지 및 저장부에 의해 지문을 인식하는 단계;

인식된 지문이 출입자 DB내의 지문 데이터와 일치하는지 판단하는 단계;

양자의 지문이 서로 일치하는 경우 상기 비밀번호 확인 및 지문인식 처리 과정중에 출입자의 얼굴 영상을 획득하는 단계;

전단계에서 획득된 출입자 얼굴 영상의 특징을 추출하는 단계;

출입자 얼굴 영상의 특징과 출입자 DB내의 얼굴 영상들의 특징들 사이의 유사도를 비교하는 단계;

전단계에서 양자의 얼굴 영상 특징이 유사하고 그 유사도가 소정의 임계치 이내인 경우 출입을 허가하는 단계를 포함하는 것을 특징으로 하는 지문인식 및 얼굴 검출을 이용한 출입통제방법.
출입자의 지문을 인식하는 단계;

출입자의 지문이 출입자 DB내의 지문과 일치하는지 판단하는 단계;

전단계에서 양자의 지문이 서로 일치하는 경우 비밀번호를 입력시키는 단계;

입력된 비밀번호가 출입자 DB내의 비밀번호와 일치하는지 판단하는 단계;

양자의 비밀번호가 서로 일치하는 경우 상기 지문인식 및 비밀번호 확인 처리 과정중에 출입자의 얼굴 영상을 획득하는 단계;

전단계에서 얼굴 영상에 가림이 없는 것으로 판단되는 경우 출입을 허가하는 단계를 포함하는 것을 특징으로 하는 지문인식 및 얼굴 검출을 이용한 출입통제방법.
출입자의 지문을 인식하는 단계;

출입자의 지문이 출입자 DB내의 지문과 일치하는지 판단하는 단계;

전단계에서 양자의 지문이 서로 일치하는 경우 비밀번호를 입력시키는 단계;

입력된 비밀번호가 출입자 DB내의 비밀번호와 일치하는지 판단하는 단계;

양자의 비밀번호가 서로 일치하는 경우 상기 지문인식 및 비밀번호 확인 처리 과정중에 출입자의 얼굴 영상을 획득하는 단계;

전단계에서 양자의 얼굴 영상 특징이 유사하고 그 유사도가 소정의 임계치 이내인 경우 출입을 허가하는 단계를 포함하는 것을 특징으로 하는 지문인식 및 얼굴 검출을 이용한 출입통제방법.
제 13항 내지 제 16항중 어느 하나의 항에 있어서,

상기 얼굴영상 획득단계가 지문 감지 및 저장부 위에 얼굴 영상 취득 및 저장부를 설치하여 출입자 얼굴 영상을 획득하는 단계인 것을 특징으로 하는 지문인식 및 얼굴 검출을 이용한 출입통제방법.
제 13 항 내지 제 16항중 어느 하나의 항에 있어서,

상기 얼굴 검출 단계가 출입자가 키패드를 누를 때 얼굴 영상 취득 및 저장부를 작동시켜 얼굴 영상을 취득하는 단계를 포함하는 것을 특징으로 하는 지문인식 및 얼굴 검출을 이용한 출입통제방법.
제 13 항 내지 제 16항중 어느 하나의 항에 있어서,

상기 방법이 지문 감지 및 저장부에 손가락을 접촉시킬 때 얼굴 영상 취득 및 저장부를 작동시켜 얼굴 영상을 획득하는 단계를 포함하는 것을 특징으로 하는 지문인식 및 얼굴 검출을 이용한 출입통제방법.
제 13 항 또는 제 15항에 있어서,

상기 얼굴 검출 단계가 얼굴 검출을 위하여 입력 얼굴 영상에 대한 고유벡터 특징을 이용하는 단계인 것을 특징으로 하는 지문인식 및 얼굴 검출을 이용한 출입통제방법.
제 13 항 내지 제 16항중 어느 하나의 항에 있어서,

상기 지문인식단계가 지문 인식을 위하여 반복 이완기법을 사용하는 것을 특징으로 하는 지문인식 및 얼굴 검출을 이용한 출입통제방법.
제 13 항 또는 제 15항에 있어서,

상기 지문 인식 단계가 입력 지문 영상을 평균필터로 필터링한 후 라인 검출 필터를 적용시켜 이진화하는 이진화 단계;

전단계에서 추출된 이진화된 영상에서 세선화 알고지즘을 사용하여 세선화하고 상기 세선의 끝점과 분기점을 검출하고 이 위치를 특징점으로 하여 지문의 특징을 추출하는 특징추출 단계;

지문 데이터베이스에 저장되어 있는 여러 명의 지문들의 특징값들과 출입자의 지문의 특징값을 비교하여 저장된 특징값중에 가장 유사한 특징을 선택하는 특징비교 단계를 포함하는 것을 특징으로 하는 지문인식 및 얼굴 검출을 이용한 출입통제방법.
제 14항 또는 제 16항에 있어서,

상기 얼굴 인식 단계가 출입자 영상 및 출입자 DB내의 출입 허가 대상자의 얼굴 영상의 고유벡터를 추출하는 고유벡터 추출 단계;

상기 고유벡터 추출한 영상들에 대하여 내적을 구하는 내적 산출 단계;

상기 고유벡터 및 내적을 취하여 구한 출입 허가 대상자들의 얼굴 영상들의 가중치 값들로 얼굴 가중치 DB를 구축하는 단계;

출입자의 얼굴 영상의 가중치와 얼굴 가중치 DB내의 얼굴 영상들의 가중치 값을 비교하는 가중치 비교 단계를 포함하는 것을 특징으로 하는 지문인식 및 얼굴 검출을 이용한 출입통제방법.
제 23항에 있어서, 상기 가중치 산출 단계가

하기 수학식 1에 따라 각 사람에 대한 가중치를 구하는 단계인 것을 특징으로 하는 지문인식 및 얼굴 검출을 이용한 출입통제방법.

[수학식 1]

여기서 k는 사람을 나타내는 인덱스이고, U_m은 고유벡터이며,
제 1항 내지 제 4항중 어느 하나의 항에 있어서,

상기 장치가 출입의 원격제어를 위한 외부 통신 수단을 추가로 포함하는 것을 특징으로 하는 지문인식 및 얼굴 검출을 이용한 출입통제장치.
제 25항에 있어서,

상기 외부 통신 수단이 네트워크 인터페이스 제공 수단, 일반 전화 및 영상전화와 같은 유선 통신 수단, 및 무선전화, 휴대폰, PCS폰, 및 IMT-2000에 의한 차세대 이동통신 수단 등과 같은 무선 통신 수단 중 어느 하나이거나 이들을 조합한 장치인 것을 특징으로 하는 지문인식 및 얼굴 검출을 이용한 출입통제장치.
제 13항 내지 제 16항중 어느 하나의 항에 있어서,

상기 방법이 외부 통신 수단에 의해 출입을 원격적으로 제어하는 원격 출입 제어 단계를 추가로 포함하는 것을 특징으로 하는 지문인식 및 얼굴 검출을 이용한 출입 통제 방법.
제 27항에 있어서, 상기 원격 출입 제어 단계가 네트워크 인터페이스 제공 수단, 일반 전화 및 영상전화와 같은 유선 통신 수단, 및 무선전화, 휴대폰, PCS폰, 및 IMT-2000에 의한 차세대 이동통신 수단 등과 같은 무선 통신 수단 중 어느 하나이거나 이들을 조합한 외부 통신 수단을 이용하는 단계인 것을 특징으로 하는 지문인식 및 얼굴 검출을 이용한 출입 통제 방법.