KR20110119214A

KR20110119214A - 얼굴 변화에 강인한 얼굴 인식 방법

Info

Publication number: KR20110119214A
Application number: KR1020100038802A
Authority: KR
Inventors: 강대진; 오정식; 정희원; 장주연; 이혜영
Original assignee: 한국산업기술대학교산학협력단
Priority date: 2010-04-27
Filing date: 2010-04-27
Publication date: 2011-11-02

Abstract

본 발명은 얼굴 변화에 강인한 얼굴 인식 방법에 관한 것이다. 본 발명에 따른 얼굴 인식 방법은 (a) 복수의 제1 관심 영역에 대한 복수의 제1 이미지 템플릿이 등록되는 단계와; (b) 얼굴을 촬영하여 촬영 영상을 획득하는 단계와; (c) 상기 촬영 영상으로부터 상기 복수의 제1 관심 영역에 각각 대응하는 복수의 제2 관심 영역을 추출하는 단계와; (d) 상기 복수의 제2 관심 영역 각각에 대한 복수의 제2 이미지 템플릿이 생성되는 단계와; (e) 상기 제1 이미지 템플릿과 상기 제2 이미지 템플릿을 기 설정된 템플릿 매칭 알고리즘(Template matching algorism)을 적용하는 단계와; (f) 상기 템플릿 매칭 알고리즘(Template matching algorism)의 적용 결과, 기 설정된 기준 유사도를 이상으로 상기 제1 이미지 템플릿 및 상기 제2 이미지 템플릿이 일치하는 경우 인증 성공으로 판단하는 단계를 포함하는 것을 특징으로 한다. 이에 따라, 환경에 의한 제약이나 인위적인 얼굴의 변화에도 얼굴 인식이 가능하게 하여 얼굴 인증의 오류를 최소화할 수 있다.

Description

얼굴 변화에 강인한 얼굴 인식 방법{ROBUST FACE RECOGNIZING METHOD IN DISGUISE OF FACE}

본 발명은 얼굴 인식 방법에 관한 것으로서, 보다 상세하게는 얼굴 인식에 있어 환경이나 변장과 같은 인위적인 얼굴의 변화에도 얼굴 인식이 가능한 얼굴 변화에 강인한 얼굴 인식 방법에 관한 것이다.

최근 보안의 중요성이 급증함에 따라 다양한 보안 시스템이 구현되고 있으며, 이러한 보안 시스템의 일 예로 사람의 생체를 인식하는 생체 인식 시스템에 대한 연구가 활발히 진행되고 있다.

현재 사용자 인증에 관한 생체인식 시스템은 주로 음성 인식, 혈관 인식, 얼굴 인식, 홍채 인식, 지문 인식 등과 같이, 다양한 인체 고유의 특성을 이용하고 있단.

이러한 생체 인식 시스템들은 개인의 식별을 위한 정보로 사용되고 있는데, 이러한 생체 인식 시스템 중 비접촉 방식이라는 편의성이 있고, 사용자에게 비강제적이고 거부감을 주지 않는다는 점에서 얼굴 인식 시스템이 각광을 받고 있다. 이러한 이유로 인하여 얼굴 인식 시스템이 앞으로 가장 보편화될 수 있고 발전 가능성이 무한한 분야로 인식되고 있으며, 얼굴 인식 방법에 대한 연구 또한 활발하게 이루어지고 있다.

하지만 현재 얼굴 인식 시스템은 위에서 나열한 장점들에도 불구하고 아직 다른 생체 인식 시스템에 비해 상용화가 많이 되어 있지 않다. 그 이유는, 자연적인 환경에 의한 제약, 예컨대, 조명이나 배경 등의 변화에 민감하다는 점과, 인위적인 얼굴 변화, 예를 들어 안대의 착용이나, 수염의 여부, 악세사리의 착용 등과 같은 인위적인 얼굴의 변화가 발생하게 되면 사용자 인증 시 사용자 구분을 이루어지지 못하는 경우가 있다.

이에, 본 발명은 환경에 의한 제약이나 인위적인 얼굴의 변화에도 얼굴 인식이 가능하게 하여 얼굴 인증의 오류를 최소화할 수 있는 얼굴 변화에 강인한 얼굴 인식 방법을 제공하는데 그 목적이 있다.

상기 목적은 본 발명에 따라, 얼굴 변화에 강인한 얼굴 인식 방법에 있어서, (a) 복수의 제1 관심 영역에 대한 복수의 제1 이미지 템플릿이 등록되는 단계와; (b) 얼굴을 촬영하여 촬영 영상을 획득하는 단계와; (c) 상기 촬영 영상으로부터 상기 복수의 제1 관심 영역에 각각 대응하는 복수의 제2 관심 영역을 추출하는 단계와; (d) 상기 복수의 제2 관심 영역 각각에 대한 복수의 제2 이미지 템플릿이 생성되는 단계와; (e) 상호 대응하는 상기 제1 이미지 템플릿과 상기 제2 이미지 템플릿을 기 설정된 템플릿 매칭 알고리즘(Template matching algorism)을 적용하는 단계와; (f) 상기 템플릿 매칭 알고리즘(Template matching algorism)의 적용 결과, 기 설정된 기준 유사도를 이상으로 상기 제1 이미지 템플릿 및 상기 제2 이미지 템플릿이 일치하는 경우 인증 성공으로 판단하는 단계를 포함하는 것을 특징으로 하는 얼굴 변화에 강인한 얼굴 인식 방법에 의해서 달성된다.

여기서, 상기 (a) 단계는 (a1) 등록 대상 얼굴을 촬영하여 얼굴 영상을 획득하는 단계와; (a2) 상기 (a1) 단계에서 획득된 얼굴 영상으로부터 복수의 관심 영역이 추출되는 단계와; (a3) 상기 (a2) 단계에서 추출된 상기 복수의 관심 영역 각각에 대한 이미지 템플릿이 생성되는 단계와; (a4) 상기 (a3) 단계에서 생성된 이미지 템플릿들이 상기 복수의 제1 이미지 템플릿으로 등록되는 단계를 포함할 수 있다.

또한, 상기 제1 관심 영역 및 상기 제2 관심 영역은 얼굴 전체 영역, 양측 눈 영역, 코 영역 및 입 영역 중 적어도 어느 하나를 포함하는 것을 특징으로 한다.

그리고, 상기 템플릿 매칭 알고리즘(Template matching algorism)은 이미지 상관 알고리즘(Image correlation algorism)을 포함할 수 있다.

그리고, 상기 (c) 단계 또는 상기 (a2) 단계는 (c1) 명암비에 기초하여 양측 눈의 위치를 검출하는 단계와; (c2) 상기 검출된 양측 눈의 위치에 기초하여 상기 양측 눈 영역을 추출하는 단계와; (c3) 상기 추출된 양측 눈 영역에 기초하여 상기 코 영역 및 상기 입 영역을 추출하는 단계를 포함할 수 있다.

상기와 같은 구성을 통해, 본 발명에 따르면 환경에 의한 제약이나 인위적인 얼굴의 변화에도 얼굴 인식이 가능하게 하여 얼굴 인증의 오류를 최소화할 수 있는 얼굴 변화에 강인한 얼굴 인식 방법이 제공된다.

즉, 한쪽 눈에 안대를 하는 경우나 기존에 없던 수염을 기르는 경우와 같이 사람의 얼굴에 변화가 생기더라도 얼굴 인증의 오류를 제거할 수 있으며, 특히 악의적인 변장의 경우에도 얼굴 인식이 가능하게 된다.

도 1은 본 발명에 따른 얼굴 인식 방법을 설명하기 위한 제어 흐름도이고,
도 2 내지 도 4는 본 발명에 따른 얼굴 인식 방법에서 촬영 영상으로부터 제2 관심 영역이 추출된 예를 도시한 도면이고,
도 5는 본 발명에 따른 얼굴 인식 방법에서 제1 이미지 템플릿을 등록하는 방법을 설명하기 위한 제어 흐름도이다.

이하에서는 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.

도 1은 본 발명에 따른 얼굴 변화에 강인한 얼굴 인식 방법을 설명하기 위한 도면이다. 도 1을 참조하여 본 발명에 따른 얼굴 인식 방법을 설명하면 다음과 같다.

먼저, 등록 대상 얼굴에 대한 복수의 제1 이미지 템플릿이 등록된다(S10). 여기서, 복수의 제1 이미지 템플릿은 등록 대상 얼굴에 대해 추출된 복수의 제1 관심 영역 각각에 대해 생성되며, 본 발명에서는 제1 관심 영역으로 얼굴 전체 영역, 양측 눈 영역, 코 영역, 입 영역이 추출되는 것을 예로 한다. 본 발명에 따른 제1 이미지 템플릿의 생성 방법에 대해서는 후술한다.

등록 대상이 되는 사람들의 얼굴에 대한 제1 이미지 템플릿의 등록이 완료된 상태에서, 카메라 등을 이용하여 현재 인증 대상인 사용자의 얼굴이 촬영한다(S11). 그런 다음, 얼굴의 촬영에 의해 획득된 촬영 영상에 대해 전처리 과정을 수행한다(S11).

여기서, 전처리 과정은 촬영 영상으로부터 얼굴을 보다 명확하게 구분하여 추출하기 위한 과정으로, 촬영 영상이 컬러 영상인 경우 흑백 영상으로 변환하는 그레이 처리 과정을 포함할 수 있다. 또한, 전처리 과정은 얼굴이나 얼굴 내부의 눈, 코 등의 경계가 명확해지도록 명암 조정이나 콘트라스트(Contrast) 조정이 수행될 수 있으며, 전체 촬영 영상에서 얼굴 부분이 한쪽으로 치우쳐 있는 경우에 센터 처리 등이 수행될 수 있다.

상기와 같이 전처리 과정이 완료되면, 촬영 영상으로부터 제2 관심 영역이 추출된다(S13). 여기서, 제2 관심 영역은 제1 관심 영역에 대응하여 추출되며, 상술한 바와 같이, 얼굴 전체 영역, 양측 눈 영역, 코 영역, 입 영역이 추출된다.

여기서, 본 발명에서는 제2 관심 영역을 추출하는데 있어, 명암비에 기초하여 추출하는 것을 예로 한다. 도 2에 도시된 바와 같이, 촬영 영상으로부터 양측 눈의 위치를 검출한다. 그런 다음, 검출된 양측 눈의 위치에 기초하여 양측 눈 영역을 추출한다.

양측 눈 영역의 추출이 완료되면, 추출된 양측 눈 영역에 기초하여, 도 3 및 도 4에 도시된 바와 같이, 코 영역, 입 영역이 추출된다. 또한, 전체 얼굴 영역도 명암비에 기초한 방식이 적용되어, 전체 얼굴과 배경이 구분되어 전체 얼굴 영역이 추출 가능하게 된다.

상기와 같은 과정을 통해 얼굴 전체 영역, 양측 눈 영역, 코 영역, 입 영역이 제2 관심 영역으로 추출되면, 각각의 제2 관심 영역에 대한 제2 이미지 템플릿이 생성된다(S14).

도 1에서는 하나의 제2 관심 영역이 추출되고(S13), 추출된 제2 관심 영역에 대한 제2 이미지 템플릿이 생성(S13)된 후 추출될 제2 관심 영역의 존재 여부에 따라(S15), S13 단계 내지 S15 단계를 반복 수행하는 것을 예로 도시하고 있으나, 상술한 바와 같이, 복수의 제1 관심 영역이 추출된 후 일괄적으로 제2 이미지 템플릿을 생성할 수 있음은 물론이다.

상기와 같이, 제2 이미지 템플릿의 생성이 완료되면, 기 설정된 템플릿 매칭 알고리즘(Template matching algorism)을 적용하여 제1 이미지 템플릿과 제2 이미지 템플릿 간의 유사도를 산출한다.

본 발명에서는 템플릿 매칭 알고리즘(Template matching algorism)으로 이미지 상관 알고리즘(Image correlation algorism)이 적용되는 것을 예로 한다. 본 발명에서는 이미지 상관 알고리즘(Image correlation algorism)을 통해 제1 이미지 템플릿과 제2 이미지 템플릿 전체의 밝기를 데이터화하여 상호 비교하고, 제1 이미지 템플릿 및 제2 이미지 템플릿을 구성하는 각 픽셀 밝기를 픽셀 단위로 비교하게 된다.

상기와 같은 과정을 통해 산출된 제1 이미지 템플릿과 제2 이미지 템플릿 간의 유사도가 기 설정된 기준 유사도 이상인 것을 판단되는 경우(S18), 즉, 제1 이미지 템플릿과 제2 이미지 템플릿이 일정 범위 내로 일치하는 것으로 판단되는 경우 인증 성공으로 판단하게 된다(S19). 반면, 산출된 제1 이미지 템플릿과 제2 이미지 템플릿 간의 유사도가 기준 유사도 이하인 경우에는 인증 실패로 판단하게 된다(S20).

이에 따라, 조명 등과 같은 외부 환경적인 요인으로 인해 얼굴 인식에 변화가 있더라도 얼굴 인증의 오류를 제거할 수 있으며, 안대나 마스크, 수염 등과 같이 인위적인 얼굴의 변화에도 얼굴 인식이 가능하게 하여 얼굴 인증의 오류를 최소화할 수 있게 된다.

이하에서는, 도 5를 참조하여 본 발명에 따른 얼굴 인식 방법에서 제1 이미지 템플릿을 등록하는 방법에 대해 설명한다. 여기서, 제1 이미지 템플릿을 등록하는 과정은 상술한 제2 이미지 템플릿을 생성하는 과정에 대응한다.

보다 구체적으로 설명하면, 먼저, 카메라 등을 이용하여 등록 대상이 되는 사람에 대한 등록 대상 얼굴이 촬영된다(S50). 그런 다음, 얼굴의 촬영에 의해 획득된 촬영 영상에 대해 전처리 과정을 수행한다(S51).

여기서, 전처리 과정은 상술한 인증 과정에서의 전처리 과정에 대응하는 과정으로, 촬영 영상으로부터 얼굴을 보다 명확하게 구분하여 추출하기 위한 과정에 해당한다. 즉, 상술한 바와 같이, 촬영 영상이 컬러 영상인 경우 흑백 영상으로 변환하는 그레이 처리 과정을 포함할 수 있다. 또한, 전처리 과정은 얼굴이나 얼굴 내부의 눈, 코 등의 경계가 명확해지도록 명암 조정이나 콘트라스트(Contrast) 조정이 수행될 수 있으며, 전체 촬영 영상에서 얼굴 부분이 한쪽으로 치우쳐 있는 경우에 센터 처리 등이 수행될 수 있다.

상기와 같이 전처리 과정이 완료되면, 촬영 영상으로부터 제1 관심 영역이 추출된다(S52). 그런 다음, 추출된 제1 관심 영역에 대한 제1 이미지 템플릿이 생성된다(S53). 그리고, 추출 대상이 되는 다른 제1 관심 영역이 존재하는지 판단한 후(S54), 추출할 제1 관심 영역이 남아 있는 경우 S52 단계 내지 S54 단계를 반복 수행하게 된다.

그리고, 모든 제1 관심 영역의 추출이 완료되면, 생성된 제1 이미지 템플릿이 등록된다(S55). 여기서, 제1 이미지 템플릿의 생성 과정에서도 제2 이미지 템플릿의 생성 과정에서와 마찬가지로, 모든 제1 관심 영역의 추출이 완료된 후 제1 이미지 템플릿이 생성되어 등록될 수 있음은 물론이다.

비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 별명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.

Claims

얼굴 변화에 강인한 얼굴 인식 방법에 있어서,
(a) 복수의 제1 관심 영역에 대한 복수의 제1 이미지 템플릿이 등록되는 단계와;
(b) 얼굴을 촬영하여 촬영 영상을 획득하는 단계와;
(c) 상기 촬영 영상으로부터 상기 복수의 제1 관심 영역에 각각 대응하는 복수의 제2 관심 영역을 추출하는 단계와;
(d) 상기 복수의 제2 관심 영역 각각에 대한 복수의 제2 이미지 템플릿이 생성되는 단계와;
(e) 상기 제1 이미지 템플릿과 상기 제2 이미지 템플릿을 기 설정된 템플릿 매칭 알고리즘(Template matching algorism)을 적용하는 단계와;
(f) 상기 템플릿 매칭 알고리즘(Template matching algorism)의 적용 결과, 기 설정된 기준 유사도를 이상으로 상기 제1 이미지 템플릿 및 상기 제2 이미지 템플릿이 일치하는 경우 인증 성공으로 판단하는 단계를 포함하는 것을 특징으로 하는 얼굴 변화에 강인한 얼굴 인식 방법.
제1항에 있어서,
상기 (a) 단계는,
(a1) 등록 대상 얼굴을 촬영하여 얼굴 영상을 획득하는 단계와;
(a2) 상기 (a1) 단계에서 획득된 얼굴 영상으로부터 복수의 관심 영역이 추출되는 단계와;
(a3) 상기 (a2) 단계에서 추출된 상기 복수의 관심 영역 각각에 대한 이미지 템플릿이 생성되는 단계와;
(a4) 상기 (a3) 단계에서 생성된 이미지 템플릿들이 상기 복수의 제1 이미지 템플릿으로 등록되는 단계를 포함하는 것을 특징으로 하는 얼굴 변화에 강인한 얼굴 인식 방법.
제1항 또는 제2항에 있어서,
상기 제1 관심 영역 및 상기 제2 관심 영역은 얼굴 전체 영역, 양측 눈 영역, 코 영역 및 입 영역 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 얼굴 변화에 강인한 얼굴 인식 방법.
제3항에 있어서,
상기 템플릿 매칭 알고리즘(Template matching algorism)은 이미지 상관 알고리즘(Image correlation algorism)을 포함하는 것을 특징으로 하는 얼굴 변화에 강인한 얼굴 인식 방법.
제4항에 있어서,
상기 (c) 단계 또는 상기 (a2) 단계는,
(c1) 명암비에 기초하여 양측 눈의 위치를 검출하는 단계와;
(c2) 상기 검출된 양측 눈의 위치에 기초하여 상기 양측 눈 영역을 추출하는 단계와;
(c3) 상기 추출된 양측 눈 영역에 기초하여 상기 코 영역 및 상기 입 영역을 추출하는 단계를 포함하는 것을 특징으로 하는 얼굴 변화에 강인한 얼굴 인식 방법.