KR20060082923A

KR20060082923A - 얼굴 인식 시스템 및 방법

Info

Publication number: KR20060082923A
Application number: KR1020050003291A
Authority: KR
Inventors: 이종하; 김정배
Original assignee: 삼성전자주식회사
Priority date: 2005-01-13
Filing date: 2005-01-13
Publication date: 2006-07-20
Also published as: US20060158307A1; KR100703693B1

Abstract

본 발명은 얼굴 인식에 관한 것으로서, 본 발명의 실시에 따른 얼굴 인식 방법은 카메라로부터 사용자의 얼굴 영상을 수신하는 단계와, 상기 사용자로부터 사용자 개인 정보를 선택적으로 입력받는 단계와, 상기 카메라로부터 수신된 영상과 등록된 다수의 얼굴 정보를 비교하여 얼굴 식별을 수행하는 단계 및 상기 사용자 개인 정보에 해당하는 등록된 얼굴 정보와 상기 카메라로부터 수신한 영상을 비교하여 얼굴 검증을 수행하는 단계를 포함한다.

얼굴 인식(face recognition), 얼굴검증(face verification), 얼굴식별(face identification)

Description

얼굴 인식 시스템 및 방법{System and method for face recognition}

도 1은 본 발명의 실시예에 따른 얼굴 인식 방법을 나타내는 플로우 차트이다.

도 2는 본 발명의 실시예에 따른 얼굴검증 방법을 나타내는 플로우 차트이다.

도 3은 본 발명의 실시예에 따른 얼굴식별 방법을 나타내는 플로우 차트이다.

도 4는 본 발명의 실시예에 따른 얼굴 인식 시스템을 나타내는 블록도이다.

도 5는 본 발명의 실시예에 따른 얼굴검증부를 나타내는 블록도이다.

도 6은 본 발명의 실시예에 따른 얼굴식별부를 나타내는 블록도이다.

도 7은 본 발명의 또다른 실시예에 따른 얼굴 인식 시스템을 나타내는 블록도이다.

<도면의 주요 부분에 대한 부호의 설명>

400: 얼굴 인식 시스템

410: 영상 입력부

420: 사용자 인터페이스

430: 얼굴식별부

440: 제어부

450: 얼굴검증부

460: 얼굴 정보 저장부

본 발명은 얼굴 인식에 관한 것으로, 보다 상세하게는 인물에 대한 영상을 감지하고, 감지된 영상의 품질을 검사함으로써 좋은 품질을 갖는 인물 정지영상 또는 인물 동영상을 제공하도록 하는 휴대용 영상 촬영 기기 및 영상 촬영 방법에 관한 것이다.

SF 또는 첩보영화에서나 볼 수 있었던 생체인식 기술이 이제는 현실로 성큼 다가오고 있다. 이는 개인 인증을 위해 특정한 영역에서만 사용되던 생체인식 기술이 자체 기술의 진보와 주변기술의 발전에 따른 가격하락 및 급속한 정보화의 흐름을 타고 매우 빠르게 확산되고 있는 것이다.

생체인식이란 사람의 생체적, 행동적인 특성을 이용하여 개인을 식별하는 학문 또는 기술을 의미하며, 협의의 의미로서는 기계로 하여금 사람의 생체적, 행동적인 특성을 인식하게 하고 이를 이용하여 개개인을 식별하고자 하는 기술의 한 분야를 말한다. 개개인의 생체적 특징을 이용한 대표적인 생체인식 기술로는 지문, 얼굴, 홍채, 망막, 정맥인식 등이 있으며, 행동적인 특징을 이용한 기술로는 서명, 음성인식 기술 등이 대표적인 것들이다. 이외에도 귀의 모양, 걸음걸이 등의 분석 을 통한 개인 식별 기술도 활발히 연구되고 있으며, 현재는 유전공학의 발달에 따라 세포내의 DNA를 이용하여 본인임을 검증할 수 있는 방법 또한 개발되고 있고 일부 응용분야에서는 이미 상용화 되어 있다. 이러한 생체 인식 기술은 과거 범죄 수사에 많이 이용되어 왔다. 지문의 경우는 이미 수백 년 전부터 개인마다 유일한 지문을 가지고 있다는 사실이 입증되어 본인과 타인을 구별하는 수단으로 사용되어 왔으며 현재 기계화, 전산화가 가장 진전된 분야 중의 하나이다.

최근들어 생체인식 기술이 크게 부각되고 있는 이유를 수요자의 측면에서 파악한다면 크게 두 가지의 요인에 기인한다고 볼 수 있다. 첫째, 보안 및 관리 측면의 요구이다. 즉 출입 통제, 근태 관리, 기기의 사용자 제한 등과 같은 물리적 통제와 관리로부터 컴퓨터 보안, 원격 교육, 전자상거래, 정보의 보안 등과 같이 정보 산업과 관련된 분야에서의 보안 및 관리에 이르기까지 확실한 개인의 인증을 통해 여러 가지 위험요소 및 손실을 줄이기 위한 요구에 의한 시장이다. 특히 정보 산업의 측면에서 대부분의 중요한 정보들이 컴퓨터에 의해 처리됨에 따라, 인터넷을 통한 정보의 교류가 활발해지고 온라인 뱅킹 등 전자상거래와 관련된 산업의 규모가 커지면서 개인의 정확한 인증에 대한 요구가 그 어느 때 보다도 커지고 있다.

둘째는 편리함의 요구이다. 편리성은 생체인식 기술이 열쇠, ID, 패스워드로 대표되는 기존의 개인 인증 방법과 비교하여 큰 장점을 가지는 부분이다. 즉, 생체인식을 이용하여 개인 인증을 하는 경우에는 신분증명서, 마그네틱 카드, 스마트 카드, 열쇠, 패스워드 등을 지니거나 기억하는 대신 자신의 지문이나 음성 등 생체적 특징을 이용하여 손쉽게 본인임을 인증할 수 있다. 또한 기계가 생체인식을 통 해 사용자를 인식함으로써 사용자의 요구에 부합하도록 기계 스스로 대응할 수 있게 하는 기술도 가능하게 된다. 예를 들어 자동차에 앉자마자 얼굴 인식 등을 통해 운전자에 맞추어 후면경이나 의자가 자동으로 조절된다거나, 등록되지 않은 사용자의 경우 시동이 걸리지 않게 하는 기술의 구현이 가능하다. 이와 같이 생체인식 기술은 인간 생활에 안전함과 편리함을 동시에 제공할 수 있으며, 많은 경제적 효과를 가져올 수 있는 기술이다.

이러한 생체인식 기술 중 얼굴 인식에 의한 생체인식 과정을 살펴보면, 우선, 사용자가 생체인식 시스템에 사용자 등록을 해야 한다. 즉, 얼굴 인식을 위해 카메라를 통해 얼굴을 입력하게 된다. 입력된 생체정보는 가공되지 않은 데이터(raw data)이며 이를 영상처리 등 신호처리 알고리즘을 통해 가공하면, 한 개인의 생체정보를 대표하는 특징 데이터(feature data)를 구할 수 있다. 이 특징 데이터는 표준 형판(template) 역할을 하게 되며, 표준 형판을 저장매체에 저장하면 사용자 등록 과정이 끝나게 된다. 저장매체의 종류는 시스템에 따라 달라지게 된다. 생체인식 도어락과 같은 임베디드 시스템의 경우, 통상 시스템 내부의 플레시 메모리에 저장되고, 개별 PC보안의 경우에는 각 PC의 하드디스크에, 그리고 네트웍 환경에서의 인증 목적이라면 중앙 데이터 베이스에 저장된다. 경우에 따라서는 스마트카드와 같은 매체에 저장되어 사용되기도 한다.

사용자 등록이 된 후에 개인이 생체인식 시스템을 사용하려는 경우에는, 자신의 얼굴에 대한 생체 정보를 생체인식 시스템에 제공한다. 생체인식 시스템은 이 정보를 처리하여 특징 데이터를 구한 후, 등록 단계에서 구해 놓은 표준 형판과 비 교하는 작업을 통해 유사도(similarity) 혹은 매칭 점수(matching score)를 구하여 미리 설정되어 있는 임계값(threshold)과의 비교를 통해 본인 여부를 최종 판정하게 된다.

이 때, '얼굴 검증(face verification)'과 '얼굴 식별(face identification)'이라는 개념이 도입된다.

얼굴 검증(face verification)은 본인의 ID와 생체정보, 즉 얼굴정보를 생체인식 시스템에 동시에 제공하여, 생체인식 시스템으로 하여금 입력된 얼굴정보로부터 추출된 특징 데이터와 ID에 해당되는 표준 형판을 비교하는 경우로서, 1:1매칭에 해당된다.

얼굴 식별(face identification)은 생체인식 시스템에 생체정보, 즉 얼굴정보만을 제공하면, 생체인식 시스템에 저장된 표준 형판들 중에서 가장 유사도가 높은 것에 해당하는 등록자 정보를 이용하여 얼굴정보의 주인을 판별하는 경우로서 1:N 매칭에 해당된다.

즉, 얼굴 검증(face verification)이란 '내가 미리 등록해 놓은 표준 형판과 현재 내가 입력하는 얼굴정보로부터 추출된 특징 데이터가 정합하면 시스템의 허가를 받아 접근을 할 수 있는 것'을 말하며, 얼굴 식별(face identification)이란 '여러 사람의 생체 특징 데이터 베이스를 검색하여 입력된 특정인의 생체 데이터와 가장 유사한 것을 찾아내고 이로부터 특정인의 신원을 확인하는 것'을 말하는 것이다.

얼굴 검증 시스템은 접근통제, 지불인증 등 패스워드를 필요로 하는 다양한 상업적 분야에 적용되고 있다. 예를 들어, 자신의 ID를 입력하고 자신의 얼굴 정보를 제공하는 형식의 도어락 등에 광범위하게 적용될 수 있다. 얼굴 식별 시스템은 사람이 많이 모이는 곳에 카메라를 설치하고 얼굴 인식 기술을 이용하여 군중 속에서 수배자를 찾는 시스템에 많이 적용되고 있다.

생체인식 시스템이 기존의 ID와 패스워드를 기반으로 하는 인증시스템과 가장 두드러지는 차이점은 생체인식 시스템은 100% 'yes'라든가 100% 'no'라는 대답을 할 수 없다는 것이다. 패스워드의 경우 입력된 문자열이 맞으면 100% 'yes', 틀리면 100% 'no'가 가능하지만, 생체인식 시스템의 경우 생체정보가 입력될 때마다 모양이나 각도 등이 약간씩 변화하고, 그에 따라 표준 형판과의 매칭 점수 등이 변화하므로 본인임에도 불구하고 거절당하는 경우가 생길 수 있고, 타인임에도 생체인식 시스템으로부터 승인받는 경우가 생길 수 있다. 이러한 경우의 확률을 수치화시켜 놓은 것이 오거부율(FRR: False Rejection Ratio), 오수락률(FAR: False Acceptance Ratio)이라고 한다. 오거부율을 본인 거부율이라고 하기도 하고, 오수락률을 타인 수락률이라고 하기도 한다.

얼굴 검증 기술은 SVM(Support Vector Machine) 알고리즘과 같이 분류기(classifier)를 기반으로 하는 학습 알고리즘을 주로 사용하는데, 일반적으로 인식 성능이 높으며 얼굴 식별 기술에 비해 FRR 또는 FAR이 낮기 때문에 보안 장치에 많이 사용된다. 그러나, ID, 패스워드와 같은 개인 정보를 입력해야 하므로 사용하기 불편하고, 위와 같은 얼굴 검증 기술을 이용하여 1:N을 비교할 경우에는 많은 시간이 소요되는 단점이 있다. 예컨대, 2.4GHz의 페티엄4에서 한 사람에 대한 얼굴 검 증 작업을 수행하는데 약 30~50ms가 소요되는 경우에 만일 1000명이 등록되었다고 하면 약 30~50초의 인증 시간이 소요되는 것이다.

반면에, 얼굴 식별 기술은 PCA(Principal Component Analysis), 가버 웨이브릿(Gabor wavelet)과 같은 기저(basis) 벡터 기반의 특징 추출기를 사용하여 얼굴에 대한 특징 데이터를 수 k 바이트 이내의 디스크립터(descriptor)로 저장하고, 저장된 특징 데이터를 이용하여 얼굴 인식을 수행하게 된다. 얼굴 식별 기술은 수행 속도가 빠르고, ID, 패스워드와 같은 개인 정보를 입력할 필요가 없으므로 사용하기 편리하다. 그러나, 위와 같은 얼굴 식별 기술은 일반적으로 얼굴 검증 기술에 비하여 FRR 또는 FAR이 높기 때문에 보안 장치에 사용하기에는 위험한 단점이 있다.

따라서, 사람의 얼굴을 인식하는 시스템에 있어서 위와 같은 얼굴 검증 기술 및 얼굴 식별 기술의 장점을 취함으로써 별도의 개인 정보를 입력하지 않고도 보안 수준이 높은 얼굴 인식 방법이 필요하게 되었다.

본 발명은 상기한 문제점을 개선하기 위해 안출된 것으로, 본 발명은 얼굴 검증을 통해 얼굴 식별을 위한 정보를 갱신함으로써 보다 효율적으로 얼굴을 인식하는 방법을 제공하는데 목적이 있다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 얼굴 인식 시스템은 사용자로부터 사용자의 얼굴 영상을 수신하는 영상 입력부와, 상기 사용자로부터 사용자 개인 정보를 선택적으로 입력받는 사용자 인터페이스와, 다수의 개인 정보 및 상기 개인 정보에 해당하는 얼굴 정보를 저장하는 얼굴 정보 저장부와, 상기 영상 입력부로부터 수신된 영상과 상기 얼굴 정보 저장부에 저장된 얼굴 정보를 비교하여 얼굴 인식을 수행하는 얼굴식별부 및 상기 사용자 개인 정보에 해당하는 상기 얼굴 정보 저장부에 저장된 얼굴 정보와 상기 영상 입력부로부터 수신한 영상을 이용하여 얼굴 검증을 수행하고, 상기 영상 입력부로부터 수신한 영상에 관한 얼굴 정보로 상기 얼굴 정보 저장부에 기저장된 얼굴 정보를 갱신하는 얼굴검증부를 포함한다.

또한, 상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 얼굴 인식 방법은 카메라로부터 사용자의 얼굴 영상을 수신하는 단계와, 상기 사용자로부터 사용자 개인 정보를 선택적으로 입력받는 단계와, 상기 카메라로부터 수신된 영상과 등록된 다수의 얼굴 정보를 비교하여 얼굴 식별을 수행하는 단계 및 상기 사용자 개인 정보에 해당하는 등록된 얼굴 정보와 상기 카메라로부터 수신한 영상을 비교하여 얼굴 검증을 수행하는 단계를 포함한다.

얼굴 검증을 수행하여 사용자 인증에 성공한 경우에, 상기 카메라로부터 수신한 영상에 관한 얼굴 정보로 상기 등록된 얼굴 정보를 갱신하여 얼굴 식별 수행시 이용되도록 하는 얼굴 인식 방법.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 얼굴 인식 시스템은 사용자로부터 사용자의 얼굴 영상을 수신하는 영상 입력부와, 상기 사용자로부터 사용자 개인 정보를 선택적으로 입력받는 사용자 인터페이스와, 다수의 개인 정보 및 상기 개인 정보에 해당하는 얼굴 정보를 저장하는 얼굴 정보 저장부와, 상기 영상 입력부로부터 수신된 영상과 상기 얼굴 정보 저장부에 저장된 얼굴 정보를 비교하여 얼굴 인식을 수행하는 얼굴식별부 및 상기 사용자 개인 정보에 해당하는 상기 얼굴 정보 저장부에 저장된 얼굴 정보와 상기 영상 입력부로부터 수신한 영상을 이용하여 얼굴 검증을 수행하고, 상기 영상 입력부로부터 수신한 영상에 관한 얼굴 정보로 상기 얼굴 정보 저장부에 기저장된 얼굴 정보를 갱신하는 얼굴검증부를 포함하는 얼굴 인식부; 및 상기 얼굴 인식부에 의해 사용자 인증이 성공한 경우, 상기 얼굴 인식부로부터 소정의 제어 신호를 수신하여 문(door)의 개폐를 구동시키는 문(door) 구동부를 포함한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하, 본 발명의 실시예들에 의한 얼굴 인식 시스템 및 방법을 설명하기 위한 블록도 또는 처리 흐름도에 대한 도면들을 참고하여 본 발명에 대해 설명하도록 한다. 이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하도록 기구를 만들 수 있다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑제되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

만일 사용자가 얼굴 인식에 의한 출입 제어 시스템을 통하여 문을 통과한다고 가정하면, 우선 사용자는 상기 출입 제어 시스템에 설치된 카메라에 얼굴을 위치시키거나 또는 상기 출입 제어 시스템에 설치된 입력 수단을 통하여 사용자 개인 정보, 예컨대 ID정보를 입력할 수 있다. 이 때, ID 정보의 입력없이 사용자의 얼굴을 위치시키는 것은 얼굴 식별(face identification)을 위한 것이고, ID 정보의 입력과 함께 사용자의 얼굴을 위치시키는 것은 얼굴 검증(face verification)을 위한 것으로 볼 수 있다. 바람직하게는 상기 출입 제어 시스템은 사용자가 얼굴 식별을 할 것인지 아니면 얼굴 검증을 할 것인지를 선택하도록 하는 수단을 제공할 수 있고, 사용자의 선택에 따라 해당하는 동작을 수행하게 된다. 또한, 본 발명에서는 얼굴 식별에 대한 만료 기간을 설정할 수 있는데, 이것은 사용자가 일정한 기간 동안에만 얼굴 식별을 통해 출입이 가능하다는 것을 의미한다. 즉, 그 기간이 만료되면 얼굴 검증을 통해 얼굴 식별을 위한 DB를 갱신하게 되고, 갱신된 DB로부터 얼굴 식별을 수행하도록 하는 것이다. 만료 기간은 본 발명이 적용되는 상기 출입 제어 시스템에 미리 설정될 수도 있고, 사용자에 의해 임의로 설정될 수도 있다. 만료 기간이 도달하지 않았더라도 사용자는 임의로 얼굴 검증을 수행함으로써 얼굴 식별을 위한 DB를 갱신할 수도 있다.

만일 도 1에서 도시한 S105 단계에서 사용자가 ID를 입력하였다면, 이는 사용자가 얼굴 식별에 대한 기간이 만료되었음을 인식하였거나 혹은 얼굴 식별에 의 한 출입에 문제가 있어서 다시 얼굴 검증을 시도하는 경우이다. 따라서, 상기 출입 제어 시스템은 입력된 ID에 대응하는 기저장된 얼굴 정보와 입력된 사용자의 얼굴 영상을 비교하여 얼굴 검증을 수행한다(S110). 얼굴 검증을 수행하는 방법은 도 2에서 구체적으로 설명하기로 한다. 얼굴 검증 수행 후, 얼굴 검증에 의해 얻은 결과값으로 인증 여부를 판단하게 되는데(S120), 사용자의 인증이 성공하면 출입문이 개방(S140)되지만, 인증이 성공하지 않으면 출입문은 개방되지 않는다. 한편, S120 단계에서 인증이 성공하면 상기 출입 제어 시스템 내부에서는 얼굴 검증에 의해 얻은 결과값이나 특정 판단 기준으로 취득된 사용자의 얼굴 영상을 얼굴 식별을 위한 DB로 갱신하여 등록할 영상인지 여부를 판별한다(S125). 만일, 새로 등록할 영상이라고 판별하면 사용자의 얼굴 영상을 얼굴 식별을 위한 등록 영상으로 등록한다(S135).

한편, 도 1에 도시된 S105 단계에서, 얼굴 식별에 대한 기간 만료 사실을 사용자가 알지 못하였거나 또는 사용자가 얼굴 검증을 이미 수행하여 얼굴 식별을 통해 출입하기 원하는 경우에는 ID를 입력하지 않고 바로 상기 출입 제어 시스템에 의한 얼굴 식별이 수행된다(S145). 얼굴 식별을 수행하는 방법은 도 3에서 구체적으로 설명하기로 한다.

얼굴 식별에 따른 결과값을 바탕으로 인증 여부를 판별하여 만일 인증에 성공한 경우에는 출입문을 개방하고 상기 출입 제어 시스템의 동작은 종료한다(S150, S140). 이 때, 상기 결과값에 대한 문턱값(threshold)을 높게 설정함으로써 상기 출입 제어 시스템의 보안 수준을 높일 수 있게 된다.

만일 S150 단계에서 인증에 성공하지 못한 경우는 상기 출입 제어 시스템은 자동 음성 또는 특정한 소리음을 냄으로써 사용자에게 인증이 실패하였음을 알리고, 얼굴 검증을 수행할 것인지 여부를 사용자에게 묻는다(S155). 이 때, 사용자가 얼굴 검증을 하고자 하면 S105 단계를 수행하게 된다. 이러한 얼굴 검증 과정은 종래의 얼굴 식별의 인식 성능을 보완하는 역할을 하게 된다.

한편, 또다른 실시예로서, S150 단계에서 인증에 성공한 경우에는 바로 출입문을 개방하지 않고, DB에 기저장된 인증에 성공한 얼굴에 대응하는 ID로 얼굴 검증을 수행할 수 있도록 S110 단계로 진행할 수도 있다.

또다른 실시예로서, S150 단계에서 인증에 성공한 경우에는 바로 출입문을 개방함과 동시에, 인증에 성공한 사용자의 얼굴 영상을 얼굴 식별을 위한 얼굴 식별용 영상으로 갱신하여 등록할 것인지를 판별하도록 S125 단계로 진행할 수도 있다.

도 1에서 도시한 것과 같은 동작은 예컨대 일반 사무실과 같은 곳에서는 하루 단위로 얼굴 식별 만료 기간을 설정하여 운영하도록 할 수 있다. 예컨대, 최초 출근 시 사용자가 자신의 ID를 입력하여 얼굴 검증을 수행한다. 그리고 나서, 얼굴 검증에 대한 인증에 성공하면 상기 출입 제어 시스템은 상기 사용자의 얼굴 영상을 그 날의 얼굴 식별용 영상으로 등록하고, 그 이후에는 얼굴 식별을 수행하는 것이다. 일반적으로 하루 동안에는 사람의 머리 스타일, 화장, 복장 등에 변화가 적기 때문에 얼굴 특징에 복장, 머리 스타일 등을 포함시킴으로써 출입 제어 시스템의 성능을 향상시킬 수 있게 되며, 악세서리, 화장 등의 변화에 강인(robust)하게 된 다.

도 2는 본 발명의 실시예에 따른 얼굴 검증 방법을 나타내는 플로우 차트로서, 도 1에서 도시된 S110 단계를 보다 구체적으로 나타내고 있다.

사용자로 ID를 입력받은 상기 출입 제어 시스템은 입력된 ID가 얼굴 식별용 DB에 등록된 ID인지 여부를 판별하고(S111), 만일 그렇지 않은 경우에는 얼굴 인증 과정을 종료한다. 만일 S111 단계에서 DB에 등록된 ID로 판별된 경우에는 상기 출입 제어 시스템은 해당 ID의 정보를 로딩(loading)한다(S113).

한편, 상기 출입 제어 시스템은 사용자로부터 얼굴 영상을 입력받아, 입력된 영상을 처리하고(S115), 상기 로딩(loading)된 정보와 상기 처리된 영상의 유사도를 비교한다(S117). 이러한 유사도 비교는 얼굴 검증을 위한 종래의 기술을 이용할 수 있다.

유사도 비교에 따른 검증 결과값이 추출되면(S119), 도 1에서 도시된 S120 단계에서 상기 추출된 결과값과 인증에 필요한 문턱값(threshold)을 비교함으로써 인증 성공 여부를 판별하게 된다.

도 3은 본 발명의 실시예에 따른 얼굴식별 방법을 나타내는 플로우 차트로서, 도 1에서 도시한 S105 단계에서 사용자에 의해 ID가 입력되지 않으면 상기 출입 제어 시스템은 사용자의 얼굴 영상을 입력받고(S146), 상기 입력된 영상과 얼굴 식별용 DB에 등록된 모든 얼굴에 대한 특징 벡터와의 유사도를 각각 비교한다(S147). 그리고 나서, 비교 결과 가장 큰 유사도값을 선정하고(S148), 선정된 유사도값을 이용하여 도 1에서 도시된 S150 단계에서 상기 선정된 유사도값과 인증에 필요한 문턱값(threshold)을 비교함으로써 인증 성공 여부를 판별하게 된다. 이와 같은 과정은 종래의 얼굴 식별 방법을 이용할 수 있다.

도 4는 본 발명의 실시예에 따른 얼굴 인식 시스템을 나타내는 블록도로서, 상기 얼굴 인식 시스템(400)은 사용자 인터페이스(420), 영상 입력부(410), 제어부(400), 얼굴식별부(430), 얼굴검증부(450) 그리고 얼굴 정보 저장부(460)을 포함한다.

이 때, 상기 '~부'는 소프트웨어 또는 Field Programmable Gate Array(FPGA) 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC)과 같은 하드웨어 구성요소를 의미하며, '~부'은 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부''들로 더 분리될 수 있다.

영상 입력부(410)는 얼굴 검증 또는 얼굴 식별을 위하여 사용자로부터 얼굴 영상을 입력받고 제어부(440)에 의해 처리될 수 있도록 영상 처리(image processing) 동작을 수행할 수 있다. 사용자 인터페이스(420)는 사용자가 얼굴 검증을 수행할 것인지 아니면 얼굴 인증을 수행할 것인지 선택하도록 하는 수단을 제공하고, 선택된 내용을 제어부(420)에게 전달한다. 또한, 사용자 인터페이스(420)는 사용자의 얼굴 검증시 사용자가 ID를 입력하도록 하는 수단을 제공하며, 기타 얼굴 인증을 위해 필요한 정보 또는 메시지를 사용자에게 알려주기 위한 디스플레이 수단을 포함한다. 또한 사용자 인터페이스(420)는 얼굴 검증 또는 얼굴 인증이 실패하였을 경우 사용자에게 자동 음성 또는 특정한 소리음을 낼 수 있는 수단을 포함한다.

제어부(420)는 영상 입력부(410)와 사용자 인터페이스(420)로부터 각각 해당하는 정보를 입력받고, 입력받은 정보들을 이용하여 얼굴 검증을 수행하는 경우에는 얼굴검증부(450)를 동작하게 하고, 얼굴 식별을 수행하는 경우에는 얼굴식별부(430)를 동작하게 한다. 그리고 제어부(420)는 도 1에서 도시된 과정이 동작하도록 순서 제어를 수행한다.

얼굴검증부(450) 또는 얼굴식별부(430)는 각각 도 2 및 도 3에 도시된 동작 과정을 수행하게 된다. 또한, 얼굴 정보 저장부(460)에는 이미 등록된 사용자 ID 및 이에 대응하는 얼굴 정보들이 저장되어 있으며 이러한 정보들은 얼굴검증부(450) 또는 얼굴식별부(430)의 동작시 이용된다.

만일, 얼굴 인식 시스템(400)에 의해 출입이 허용되는 것으로 판별된 경우에는 제어부(440)는 도 4에서는 미도시되었으나 출입을 허용하는 신호를 출력함으로써 출입문을 개방할 수 있게 된다.

도 5는 본 발명의 실시예에 따른 얼굴검증부를 나타내는 블록도로서, 도 2에서 도시한 과정을 수행하기 위한 블록도를 나타내고 있다.

얼굴검증부(450)는 유사도 결정 모듈(452), ID 판별 모듈(454) 그리고 얼굴 등록 판별 모듈(456)을 포함한다. 여기에서의 '모듈'은 앞서 언급한 '~~부'의 의미로 이해될 수 있다.

ID 판별 모듈(454)은 사용자 인터페이스(420)로부터 입력된 사용자 ID가 얼굴 정보 저장부(460)에 등록되었는지 여부를 검색하고, 만일 사용자 ID가 얼굴 정보 저장부(460)에 등록된 경우 상기 사용자 ID에 해당하는 얼굴 정보를 로딩(loading)하여 유사도 결정 모듈(452)로 전달한다.

유사도 결정 모듈(452)은 ID 판별 모듈(454)로부터 전달된 정보와 사용자로부터 입력된 얼굴 정보와의 유사도를 결정하고, 그 결과값을 얼굴 등록 판별 모듈(456)로 전달한다. 그리고 나서, 얼굴 등록 판별 모듈(456)은 상기 결과값이 소정의 임계 범위에 속하는 경우, 영상 입력부(410)로부터 수신한 영상에 대한 얼굴 정보를 얼굴 정보 저장부(460)에 등록하고, 그 결과를 제어부(440)로 전달한다.

도 6은 본 발명의 실시예에 따른 얼굴식별부를 나타내는 블록도로서, 도 3에서 도시한 과정을 수행하기 위한 블록도를 나타내고 있는데, 얼굴식별부(430)는 유사도 결정 모듈(434)과 특징 추출 모듈(423)을 포함한다. 여기에서의 '모듈'은 앞서 언급한 '~~부'의 의미로 이해될 수 있다.

특징 추출 모듈(432)은 영상 입력부(410)로부터 입력된 사용자의 얼굴 영상을 제어부(440)로부터 전달받고, 상기 영상에서 특징을 추출하여 유사도 결정 모듈 (434)로 전달한다. 그리고, 특징 추출 모듈(432)은 얼굴 정보 저장부(460)에 등록된 모든 얼굴에 대한 특징벡터들을 추출하여 유사도 결정 모듈(434)로 전달한다.

유사도 결정 모듈(434)은 특징 추출 모듈(432)로부터 전달받은 정보들을 이용하여 사용자의 얼굴 영상의 얼굴 정보 저장부(460)에 등록된 모든 얼굴에 대한 각각의 유사도를 결정하고, 결정된 각각의 유사도 중에서 최대 유사도값을 선정하여 제어부(440)로 전달하게 된다.

앞서 설명한 본 발명에 따른 얼굴 인식 방법은 출입문 제어 장치에 활용될 수 있는데, 이를 도 7에서 도시하고 있다. 여기에서, 얼굴 인식 시스템(700)은 얼굴 인식부(710), 문(door) 구동부(720), 문(door)(730)을 포함한다.

얼굴 인식부(710)는 얼굴 인식 시스템(700) 외부로부터 사용자 얼굴 영상 또는 사용자 정보를 입력으로 하는데, 이 때, 얼굴 인식부(710)의 내부 구조는 도 4내지 도 6과 같은 구조를 갖는다. 만일 얼굴 인식부(710)에서 사용자를 인식하여 사용자의 출입을 허가하고자 하는 경우에는 얼굴 인식부(710) 내에 있는 제어부, 얼굴검증부 또는 얼굴식별부(미도시, 여기서의 제어부, 얼굴검증부 그리고 얼굴식별부는 각각 도 4에서 도시한 제어부(440), 얼굴검증부(450), 얼굴식별부(430)와 같은 기능을 한다)가 문(door) 구동부(720)를 동작시키고, 문(door) 구동부(720)는 얼굴 인식부(710)으로부터 전달받은 제어 신호에 따라 문(door)(730)의 개폐를 수행한다. 문(door) 구동부(720)는 문(door)(730)의 개폐를 위한 기계적 또는 전자적인 구성을 갖을 수 있다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 한정하는 것은 아니다.

본 발명의 실시에 따르면, 얼굴 식별 만료 기간의 최초 사용시에만 얼굴 검증을 수행하고, 나머지 기간은 얼굴 식별을 수행함으로써 사용자에게 편의성을 제공할 수 있는 효과가 있다. 또한, 얼굴 식별의 보안 수준 및 얼굴 인식 성능을 향상시킬 수 있는 효과가 있다.

Claims

사용자로부터 사용자의 얼굴 영상을 수신하는 영상 입력부;

상기 사용자로부터 사용자 개인 정보를 선택적으로 입력받는 사용자 인터페이스;

다수의 개인 정보 및 상기 개인 정보에 해당하는 얼굴 정보를 저장하는 얼굴 정보 저장부;

상기 영상 입력부로부터 수신된 영상과 상기 얼굴 정보 저장부에 저장된 얼굴 정보를 비교하여 얼굴 인식을 수행하는 얼굴식별부; 및

상기 사용자 개인 정보에 해당하는 상기 얼굴 정보 저장부에 저장된 얼굴 정보와 상기 영상 입력부로부터 수신한 영상을 이용하여 얼굴 검증을 수행하고, 상기 영상 입력부로부터 수신한 영상에 관한 얼굴 정보로 상기 얼굴 정보 저장부에 기저장된 얼굴 정보를 갱신하는 얼굴검증부를 포함하는 얼굴 인식 시스템.
제1항에 있어서,

상기 얼굴식별부는 얼굴 식별 만료 기간이 설정되어 상기 기간 동안 얼굴 인식을 수행하는 얼굴 인식 시스템.
제1항 또는 제2항에 있어서,

상기 얼굴검증부는

상기 사용자 인터페이스로부터 수신한 사용자 개인 정보에 대응하는 얼굴 정보를 상기 얼굴 정보 저장부로부터 추출하는 ID 판별 모듈;

상기 영상 입력부로부터 수신한 영상과 상기 ID 판별 모듈에 의해 추출된 얼굴 정보 간의 유사도를 결정하는 유사도 결정 모듈; 및

상기 결정된 유사도가 소정의 임계 범위에 속하는 경우, 상기 영상 입력부로부터 수신한 영상에 대한 얼굴 정보로 상기 얼굴 정보 저장부에 기저장된 얼굴 정보를 갱신하는 얼굴 등록 판별 모듈을 포함하는 얼굴 인식 시스템.
제1항 또는 제2항에 있어서,

상기 얼굴식별부는

상기 영상 입력부로부터 수신한 사용자의 얼굴 영상으로부터 특징을 추출하고, 상기 얼굴 정보 저장부에 등록된 얼굴들에 대한 특징벡터들을 추출하는 특징 추출 모듈; 및

상기 추출된 특징벡터에 대한 정보들을 이용하여 사용자의 얼굴 영상과 상기 얼굴 정보 저장부에 등록된 얼굴들간의 각각의 유사도를 결정하고, 결정된 각각의 유사도 중에서 최대 유사도값을 선정하여, 최대 유사도값에 해당하는 상기 얼굴 정보 저장부에 등록된 얼굴에 대하여 얼굴 식별을 수행하는 유사도 결정 모듈을 포함하는 얼굴 인식 시스템.
카메라로부터 사용자의 얼굴 영상을 수신하는 단계;

상기 사용자로부터 사용자 개인 정보를 선택적으로 입력받는 단계;

상기 카메라로부터 수신된 영상과 등록된 다수의 얼굴 정보를 비교하여 얼굴 식별을 수행하는 단계; 및

상기 사용자 개인 정보에 해당하는 등록된 얼굴 정보와 상기 카메라로부터 수신한 영상을 비교하여 얼굴 검증을 수행하는 단계를 포함하는데,

얼굴 검증을 수행하여 사용자 인증에 성공한 경우에, 상기 카메라로부터 수신한 영상에 관한 얼굴 정보로 상기 등록된 얼굴 정보를 갱신하여 얼굴 식별 수행시 이용되도록 하는 얼굴 인식 방법.
제5항에 있어서,

상기 얼굴 식별을 수행하는 단계는 얼굴 식별 만료 기간이 설정되어 상기 기간 동안 얼굴 인식을 수행하는 얼굴 인식 방법.
제5항 또는 제6항에 있어서,

상기 얼굴 검증을 수행하는 단계는

상기 사용자 개인 정보에 대응하는 얼굴 정보를 추출하는 단계;

상기 카메라로부터 수신한 영상과 상기 추출된 얼굴 정보 간의 유사도를 결정하는 단계; 및

상기 결정된 유사도가 사용자 검증을 위한 소정의 임계 범위에 속하는지 여부를 판단하는 단계를 포함하는 얼굴 인식 방법.
제5항 또는 제6항에 있어서,

상기 얼굴 식별을 수행하는 단계는

상기 카메라로부터 수신한 사용자의 얼굴 영상으로부터 특징을 추출하는 (a) 단계;

등록된 얼굴들에 대한 특징벡터들을 추출하는 (b) 단계;

상기 (a) 단계에서 추출된 특징과 상기 (b) 단계에서 추출된 특징벡터들간의 각각의 유사도를 결정하는 (c) 단계; 및

상기 결정된 각각의 유사도 중에서 최대 유사도값을 선정하여, 최대 유사도값에 해당하는 등록된 얼굴에 대하여 얼굴 식별을 수행하는 (d) 단계를 포함하는 얼굴 인식 방법.
사용자로부터 사용자의 얼굴 영상을 수신하는 영상 입력부와, 상기 사용자로부터 사용자 개인 정보를 선택적으로 입력받는 사용자 인터페이스와, 다수의 개인 정보 및 상기 개인 정보에 해당하는 얼굴 정보를 저장하는 얼굴 정보 저장부와, 상기 영상 입력부로부터 수신된 영상과 상기 얼굴 정보 저장부에 저장된 얼굴 정보를 비교하여 얼굴 인식을 수행하는 얼굴식별부 및 상기 사용자 개인 정보에 해당하는 상기 얼굴 정보 저장부에 저장된 얼굴 정보와 상기 영상 입력부로부터 수신한 영상을 이용하여 얼굴 검증을 수행하고, 상기 영상 입력부로부터 수신한 영상에 관한 얼굴 정보로 상기 얼굴 정보 저장부에 기저장된 얼굴 정보를 갱신하는 얼굴검증부 를 포함하는 얼굴 인식부; 및

상기 얼굴 인식부에 의해 사용자 인증이 성공한 경우, 상기 얼굴 인식부로부터 소정의 제어 신호를 수신하여 문(door)의 개폐를 구동시키는 문(door) 구동부를 포함하는 얼굴 인식 시스템.
제9항에 있어서,

상기 얼굴식별부는 얼굴 식별 만료 기간이 설정되어 상기 기간 동안 얼굴 인식을 수행하는 얼굴 인식 시스템.
제9항 또는 제10항에 있어서,

상기 얼굴검증부는

상기 사용자 인터페이스로부터 수신한 사용자 개인 정보에 대응하는 얼굴 정보를 상기 얼굴 정보 저장부로부터 추출하는 ID 판별 모듈;

상기 영상 입력부로부터 수신한 영상과 상기 ID 판별 모듈에 의해 추출된 얼굴 정보 간의 유사도를 결정하는 유사도 결정 모듈; 및

상기 결정된 유사도가 소정의 임계 범위에 속하는 경우, 상기 영상 입력부로부터 수신한 영상에 대한 얼굴 정보로 상기 얼굴 정보 저장부에 기저장된 얼굴 정보를 갱신하는 얼굴 등록 판별 모듈을 포함하는 얼굴 인식 시스템.
제9항 또는 제10항에 있어서,

상기 얼굴식별부는

상기 영상 입력부로부터 수신한 사용자의 얼굴 영상으로부터 특징을 추출하고, 상기 얼굴 정보 저장부에 등록된 얼굴들에 대한 특징벡터들을 추출하는 특징 추출 모듈; 및

상기 추출된 특징벡터에 대한 정보들을 이용하여 사용자의 얼굴 영상과 상기 얼굴 정보 저장부에 등록된 얼굴들간의 각각의 유사도를 결정하고, 결정된 각각의 유사도 중에서 최대 유사도값을 선정하여, 최대 유사도값에 해당하는 상기 얼굴 정보 저장부에 등록된 얼굴에 대하여 얼굴 식별을 수행하는 유사도 결정 모듈을 포함하는 얼굴 인식 시스템.