KR20110023407A

KR20110023407A - 얼굴 변화에 강인한 얼굴 인식 방법

Info

Publication number: KR20110023407A
Application number: KR1020090081270A
Authority: KR
Inventors: 강대진; 오정식; 정희원; 장주연; 이혜영
Original assignee: 한국산업기술대학교산학협력단
Priority date: 2009-08-31
Filing date: 2009-08-31
Publication date: 2011-03-08

Abstract

본 발명은 얼굴 변화에 강인한 얼굴 인식 방법에 관한 것이다. 본 발명에 따른 얼굴 인식 방법은 (a) 얼굴을 촬영하여 촬영 영상을 획득하는 단계와; (b) 상기 촬영 영상으로부터 제1 관심 영역을 추출하는 단계와; (c) 상기 제1 관심 영역 내에서 복수의 제1 특징점을 결정하는 단계와; (d) 상기 복수의 제1 특징점 각각에 대한 복수의 제1 좌표값에 기초하여 상기 제1 특징점들 상호간이 이루는 복수의 제1 각도값을 산출하는 단계와; (e) 상기 복수의 제1 각도값과 기 설정된 복수의 제2 각도값을 비교하는 단계와; (f) 상기 복수의 제1 각도값의 개수가 상기 복수의 제2 각도값의 개수보다 적은 상태에서 상기 각 제1 각도값과 해당 제2 각도값이 기 설정된 오차 범위 내에서 일치하는 경우 인증 성공으로 판단하는 단계를 포함하는 것을 특징으로 한다. 이에 따라, 환경에 의한 제약이나 인위적인 얼굴의 변화에도 얼굴 인식이 가능하게 하여 얼굴 인증의 오류를 최소화할 수 있다.

Description

얼굴 변화에 강인한 얼굴 인식 방법{ROBUST FACE RECOGNIZING METHOD IN DISGUISE OF FACE}

본 발명은 얼굴 인식 방법에 관한 것으로서, 보다 상세하게는 얼굴 인식에 있어 환경이나 변장과 같은 인위적인 얼굴의 변화에도 얼굴 인식이 가능한 얼굴 변화에 강인한 얼굴 인식 방법에 관한 것이다.

최근 보안의 중요성이 급증함에 따라 다양한 보안 시스템이 구현되고 있으며, 이러한 보안 시스템의 일 예로 사람의 생체를 인식하는 생체 인식 시스템에 대한 연구가 활발히 진행되고 있다.

현재 사용자 인증에 관한 생체인식 시스템은 주로 음성 인식, 혈관 인식, 얼굴 인식, 홍채 인식, 지문 인식 등과 같이, 다양한 인체 고유의 특성을 이용하고 있단.

이러한 생체 인식 시스템들은 개인의 식별을 위한 정보로 사용되고 있는데, 이러한 생체 인식 시스템 중 비접촉 방식이라는 편의성이 있고, 사용자에게 비강제 적이고 거부감을 주지 않는다는 점에서 얼굴 인식 시스템이 각광을 받고 있다. 이러한 이유로 인하여 얼굴 인식 시스템이 앞으로 가장 보편화될 수 있고 발전 가능성이 무한한 분야로 인식되고 있으며, 얼굴 인식 방법에 대한 연구 또한 활발하게 이루어지고 있다.

하지만 현재 얼굴 인식 시스템은 위에서 나열한 장점들에도 불구하고 아직 다른 생체 인식 시스템에 비해 상용화가 많이 되어 있지 않다. 그 이유는, 자연적인 환경에 의한 제약, 예컨대, 조명이나 배경 등의 변화에 민감하다는 점과, 인위적인 얼굴 변화, 예를 들어 안대의 착용이나, 수염의 여부, 악세사리의 착용 등과 같은 인위적인 얼굴의 변화가 발생하게 되면 사용자 인증 시 사용자 구분을 이루어지지 못하는 경우가 있다.

이에, 본 발명은 환경에 의한 제약이나 인위적인 얼굴의 변화에도 얼굴 인식이 가능하게 하여 얼굴 인증의 오류를 최소화할 수 있는 얼굴 변화에 강인한 얼굴 인식 방법을 제공하는데 그 목적이 있다.

상기 목적은 본 발명에 따라, 얼굴 변화에 강인한 얼굴 인식 방법에 있어서, (a) 얼굴을 촬영하여 촬영 영상을 획득하는 단계와; (b) 상기 촬영 영상으로부터 제1 관심 영역을 추출하는 단계와; (c) 상기 제1 관심 영역 내에서 복수의 제1 특징점을 결정하는 단계와; (d) 상기 복수의 제1 특징점 각각에 대한 복수의 제1 좌표값에 기초하여 상기 제1 특징점들 상호간이 이루는 복수의 제1 각도값을 산출하는 단계와; (e) 상기 복수의 제1 각도값과 기 설정된 복수의 제2 각도값을 비교하는 단계와; (f) 상기 복수의 제1 각도값의 개수가 상기 복수의 제2 각도값의 개수보다 적은 상태에서 상기 각 제1 각도값과 해당 제2 각도값이 기 설정된 오차 범위 내에서 일치하는 경우 인증 성공으로 판단하는 단계를 포함하는 것을 특징으로 하는 얼굴 변화에 강인한 얼굴 인식 방법에 의해서 달성될 수 있다.

여기서, 상기 제2 각도값은, (a1) 얼굴을 촬영하여 촬영 영상을 획득하는 단계와; (b1) 상기 촬영 영상으로부터 제2 관심 영역을 추출하는 단계와; (c1) 상기 제2 관심 영역 내에서 복수의 제2 특징점을 결정하는 단계와; (d1) 상기 복수의 제 2 특징점 각각에 대한 복수의 제2 좌표값에 기초하여 상기 제2 특징점들 상호간이 이루는 상기 복수의 제2 각도값을 산출하는 단계를 통해 산출되어 기 설정될 수 있다.

그리고, 상기 (c) 단계 및 상기 (c1) 단계에서 상기 제1 특징점 및 상기 제2 특징점은 양측 눈, 코 및 입을 대표하는 위치로 결정될 수 있다.

또한, 상기 (c) 단계 및 상기 (c1) 단계에서는 패턴 매칭(Pattern matching) 방식을 통해 양측 눈의 위치를 검출하고, 상기 검출된 양측 눈의 위치에 기초하여 상기 제1 관심 영역 및 상기 제2 관심 영역이 추출될 수 있다.

상기와 같은 구성을 통해, 본 발명에 따르면 환경에 의한 제약이나 인위적인 얼굴의 변화에도 얼굴 인식이 가능하게 하여 얼굴 인증의 오류를 최소화할 수 있는 얼굴 변화에 강인한 얼굴 인식 방법이 제공된다.

즉, 한쪽 눈에 안대를 하는 경우나 기존에 없던 수염을 기르는 경우와 같이 사람의 얼굴에 변화가 생기더라도 얼굴 인증의 오류를 제거할 수 있으며, 특히 악의적인 변장의 경우에도 얼굴 인식이 가능하게 된다.

이하에서는 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.

도 1은 본 발명에 따른 얼굴 변화에 강인한 얼굴 인식 방법을 설명하기 위한 도면이다. 도 1을 참조하여 본 발명에 따른 얼굴 인식 방법을 설명하면 다음과 같다.

먼저, 카메라 등을 이용하여 현재 인증 대상인 사용자의 얼굴을 촬영한다(S10). 그런 다음, 얼굴의 촬영에 의해 획득된 촬영 영상에 대해 전처리 과정을 수행한다(S11).

여기서, 전처리 과정은 촬영 영상으로부터 얼굴을 보다 명확하게 구분하여 추출하기 위한 과정으로, 촬영 영상이 컬러 영상인 경우 흑백 영상으로 변환하는 그레이 처리 과정을 포함할 수 있다. 또한, 전처리 과정은 얼굴이나 얼굴 내부의 눈, 코 등의 경계가 명확해지도록 명암 조정나 콘트라스트(Contrast) 조정이 수행될 수 있으며, 전체 촬영 영상에서 얼굴 부분이 한쪽으로 치우쳐 있는 경우에 센터 처리 등이 수행될 수 있다.

상기와 같이 전처리 과정이 완료되면, 촬영 영상으로부터 제1 관심 영역을 추출한다(S12). 도 2는 촬영 영상으로부터 제1 관심 영역이 추출된 예를 도시한 도면이다.

여기서, 본 발명에서는 제1 관심 영역을 추출하는데 있어, 패턴 매칭(Pattern matching) 방식을 적용하는 것을 예로 한다. 즉, 패턴 매칭(Pattern matching) 방식을 이용하여 촬영 영상으로부터 양측 눈의 위치를 검출한다. 그런 다음, 검출된 양측 눈의 위치에 기초하여 기 설정된 영역을 제1 관심 영역으로 추출한다.

이와 같은 방식으로 추출된 제1 관심 영역 내에서 복수의 제1 특징점을 결정 한다(S13). 본 발명에 따른 제1 특징점은 사람의 얼굴 내에서 특징이 되는 부분으로 결정되며, 본 발명에서는 제1 특징점으로 양측 눈, 코 및 입을 대표하는 위치로 결정하는 것을 일 예로 한다.

여기서, 제1 특징점의 검출을 위한 제1 관심 영역 내에서의 눈, 코 및 입의 추출은 패턴 매칭(Pattern matching) 방식을 사용할 수 있으며, 추출된 눈, 코 및 입의 위치에서는 무게 중심이나 타원 형태의 영역의 지정을 통한 중심점으로 제1 특징점으로 결정할 수 있다. 도 3 및 도 4는 코 및 입에 대한 제1 특징점을 추출한 예를 도시하고 있다. 도 5는 사람의 얼굴에서 결정된 4개의 제1 특징점들의 위치를 표시한 도면이다.

상기와 같이, 양측 눈, 코 및 입에 대한 4 개의 제1 특징점이 결정되면, 제1 특징점 각각에 대한 제1 좌표값들에 기초하여 제1 특징점들 상호간이 이루는 복수의 제1 각도값을 산출한다(S14). 도 6은 4개의 제1 특징점과 제1 각도값들의 관계를 도시한 예로서, 본 발명에서는 6개의 제1 각도값을 산출하는 것을 예로 한다.

먼저, 오른쪽 눈과 코가 형성하는 각도를 정의하는 제1 각도값은 제1 특징점 a, b, c가 이루는 각도 θ1로 결정된다. 그리고, 눈과 입이 형성하는 각도를 정의하는 제1 각도값은 제1 특징점 a와 b가 형성하는 a-b 직선과, a-b 직선의 중심점과 제1 특징점 d를 연결한 직선이 이루는 각도 θ2로 결정된다.

또한, 왼쪽 눈과 입이 형성하는 각도를 정의하는 제1 각도값은 제1 특징점 b, a, d가 이루는 각도 θ3로 결정되고, 오른쪽 눈과 입이 형성하는 각도를 정의하는 제1 각도값은 제1 특징점 a, b, d가 이루는 각도 θ4로 결정된다.

그리고, 왼쪽 눈과 코가 형성하는 각도를 정의하는 제1 각도값은 제1 특징점 b, a, c가 이루는 각도 θ5로 결정되며, 눈과 코가 형성하는 각도를 정의하는 제1 각도값은 a-b 직선과, a-b 직선의 중심점과 제1 특징점 c를 연결한 직선이 이루는 각도 θ6으로 결정된다.

상기와 같은 방법을 통해 6개의 제1 각도값이 산출되면, 제1 각도값과 기 설정된 복수의 제2 각도값을 비교한다(S15). 여기서, 제2 각도값들은 인증을 요하는 사람에 대해 상술한 S10 내지 S14 과정을 거쳐 미리 등록되어 데이터베이스로 저장된 상태이다.

도 7은 상기와 같은 과정을 통해 획득된 제1 각도값 및 제2 각도값의 상호 대응하는 값들을 비교한 예를 도시하고 있다. 도 7을 참조하여 설명하면, S15 단계에서 상호 대응하는 제1 각도값 및 제2 각도값의 비교 결과, 제1 각도값과 제2 각도값이 기 설정된 오차 범위 내에서 일치하는 경우 인증 성공으로 판단하게 된다.

또한, 한 쌍 또는 두 쌍의 제1 각도값과 제2 각도값의 비교 결과가 오차 범위를 벗어나는 경우에도 인증 성공으로 판단하도록 설정할 수 있다. 즉, 제1 각도값과 제2 각도값의 비교 결과 중 오차 범위 내에 포함되는 비율이 기 설정된 비율 이내인 경우에도 인증 성공으로 판단할 수 있다.

한편, 도 8은 인증 대상인 사용자가 마스크를 쓰고 있어 입에 대한 제1 특징점 d가 특정되지 않은 상태의 예를 도시하고 있다. 이 경우, 본 발명의 실시예에서는 제1 각도값 중 θ3과 θ4가 산출되지 않지만, 나머지 제1 각도값과 제2 각도 값의 비교 결과가 기 설정된 비율 이내로 일치하는 것으로 판단되는 경우 인증 성공으로 결정할 수 있다.

즉, 제1 각도값의 개수가 제2 각도값의 개수보다 적은 상태에서도 제1 각도값과 제2 각도값이 기 설정된 오차 범위 내에서 일치하게 되면 인증 성공으로 판단 가능하게 된다.

이에 따라, 조명 등과 같은 외부 환경적인 요인으로 인해 얼굴 인식에 변화가 있더라도 얼굴 인증의 오류를 제거할 수 있으며, 안대나 마스크, 수염 등과 같이 인위적인 얼굴의 변화에도 얼굴 인식이 가능하게 하여 얼굴 인증의 오류를 최소화할 수 있게 된다.

도 6에서는 4개의 특징점으로 6개의 각도값을 결정하는 것을 예로 하여 설명하였으나 이는 일 예에 불과하며, 4개의 특징점으로 7개 이상의 각도값을 결정하도록 마련하여 오류 가능성을 더욱 제거하도록 마련될 수 있음은 물론이다. 또한, 눈, 코, 입 이외의 특징점, 예를 들어 눈썹, 턱끝 등의 위치를 특징점으로 추가할 수 있음은 물론이다.

비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 별명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.

도 1은 본 발명에 따른 얼굴 인식 방법을 설명하기 위한 제어 흐름도이고,

도 2는 본 발명에 따른 얼굴 인식 방법에서 촬영 영상으로부터 제1 관심 영역이 추출된 예를 도시한 도면이고,

도 3 및 도 4는 본 발명에 따른 얼굴 인식 방법에서 제1 특징점을 결정하는 예를 도시한 도면이고,

도 5는 본 발명에 따른 얼굴 인식 방법에 따라 결정된 제1 특징점을 얼굴에 표시한 예를 도시한 도면이고,

도 6은 본 발명에 따른 얼굴 인식 방법에서 4개의 제1 특징점과 제1 각도값들의 관계의 예를 도시한 도면이고,

도 7 및 도 8은 본 발명에 따른 얼굴 인식 방법에서 제1 각도값과 제2 각도값을 비교한 예를 도시한 도면이다.

Claims

얼굴 변화에 강인한 얼굴 인식 방법에 있어서,

(a) 얼굴을 촬영하여 촬영 영상을 획득하는 단계와;

(b) 상기 촬영 영상으로부터 제1 관심 영역을 추출하는 단계와;

(c) 상기 제1 관심 영역 내에서 복수의 제1 특징점을 결정하는 단계와;

(d) 상기 복수의 제1 특징점 각각에 대한 복수의 제1 좌표값에 기초하여 상기 제1 특징점들 상호간이 이루는 복수의 제1 각도값을 산출하는 단계와;

(e) 상기 복수의 제1 각도값과 기 설정된 복수의 제2 각도값을 비교하는 단계와;

(f) 상기 복수의 제1 각도값의 개수가 상기 복수의 제2 각도값의 개수보다 적은 상태에서 상기 각 제1 각도값과 해당 제2 각도값이 기 설정된 오차 범위 내에서 일치하는 경우 인증 성공으로 판단하는 단계를 포함하는 것을 특징으로 하는 얼굴 변화에 강인한 얼굴 인식 방법.
제1항에 있어서,

상기 제2 각도값은,

(a1) 얼굴을 촬영하여 촬영 영상을 획득하는 단계와;

(b1) 상기 촬영 영상으로부터 제2 관심 영역을 추출하는 단계와;

(c1) 상기 제2 관심 영역 내에서 복수의 제2 특징점을 결정하는 단계와;

(d1) 상기 복수의 제2 특징점 각각에 대한 복수의 제2 좌표값에 기초하여 상기 제2 특징점들 상호간이 이루는 상기 복수의 제2 각도값을 산출하는 단계를 통해 산출되어 기 설정되는 것을 특징으로 하는 얼굴 변화에 강인한 얼굴 인식 방법.
제2항에 있어서,

상기 (c) 단계 및 상기 (c1) 단계에서 상기 제1 특징점 및 상기 제2 특징점은 양측 눈, 코 및 입을 대표하는 위치로 결정되는 것을 특징으로 하는 얼굴 변화에 강인한 얼굴 인식 방법.
제3항에 있어서,

상기 (c) 단계 및 상기 (c1) 단계에서는 패턴 매칭(Pattern matching) 방식을 통해 양측 눈의 위치를 검출하고, 상기 검출된 양측 눈의 위치에 기초하여 상기 제1 관심 영역 및 상기 제2 관심 영역이 추출되는 것을 특징으로 하는 얼굴 변화에 강인한 얼굴 인식 방법.