KR100473600B1

KR100473600B1 - 얼굴 인식 시스템에서의 사진 판별 장치 및 방법

Info

Publication number: KR100473600B1
Application number: KR10-2002-0076717A
Authority: KR
Inventors: 박규태; 기석철
Original assignee: 삼성전자주식회사
Priority date: 2002-12-04
Filing date: 2002-12-04
Publication date: 2005-03-10
Also published as: KR20040048753A

Abstract

본 발명은 얼굴 인식 시스템에서의 사진 판별 장치 및 방법에 관한 것으로서, 특히 연속적으로 입력된 영상에서 얼굴 구성요소(눈, 입, 및 얼굴포즈 등)의 움직임을 검출하여 입력된 영상이 사진 영상인지를 판별하는 얼굴 인식 시스템에서의 사진 판별 장치 및 방법에 관한 것이다.

Description

얼굴 인식 시스템에서의 사진 판별 장치 및 방법{APPARATUS AND METHOD FOR DISTINGUISHING PHOTOGRAPH IN FACE RECOGNITION SYSTEM}

고도의 정보화 사회가 되어감에 따라 정보 보안에 대한 소비자의 욕구가 증대되고 있으며, 방문자나 컴퓨터 관리자를 확인하는 보안절차에 대해 보다 신뢰성 있는 정보관리 및 그에 대한 보안 시스템이 필요한 실정이다.

보안 시스템은 개인의 신분확인을 위하여, ID카드나 암호에 의한 방법이 널리 사용되고 있으나. 이들 방법은 쉽게 노출된다는 문제점이 있다.

최근 들어, 보안 시스템은 지문인식, 정맥인식, 홍채인식, 음성인식, 얼굴인식 등의 생체 인식 기술을 적용하는 사례가 증가하고 있다.

상기 생체 인식 기술은 홍채인식, 정맥인식, 지문인식, 음성인식 시스템 등의 생체 인식 기술을 출입통제와 신원 확인에 접목한 것으로, 생체 인식이 신원 확인, 출입 통제의 대안으로 떠오르고 있는 이유는 암호나 개인 비밀번호 등이 쉽게 노출되거나 도용될 수 있다는 불안감 때문이다. 이중에서도 얼굴인식 기술은 지문인식 시스템에 손가락을 넣거나, 정맥인식기에 손을 넣을 때의 이상한 거부감이나, 홍채인식 시스템에 눈을 가까이 할 때 느끼는 두려움 같은 것이 없어서 일반 대중에게 가장 거부감 없이 적용되는 방법이다.

대표적인 얼굴인식 기술은 아아겐훼이스(Eigenface) 방법과 가버 필터(Gabor filter) 방법이 있다.

아이겐훼이스 방법은 전체 훈련(training) 영상 데이터의 분산을 나타내는 분산(covariance) 행렬로부터 고유치와 고유벡터를 구하고 얼굴 영상을 큰 값의 고유치들에 대응하는 고유벡터들의 좌표로 표현하는 것으로, 이렇게 구한 좌표가 하나의 얼굴영상을 나타내는 특징벡터라 한다. 실제 인식 단계에서는, 입력된 얼굴 영상을 선형 변환하여 얻은 특징벡터를 미리 구해 놓은 특징벡터들과 비교함으로써 얼굴을 인식하는 것이다.

상기 아이겐훼이스 방법은 얼굴 영상에 대하여 PCA(principal component analysis)를 적용하여 얼굴 벡터 공간의 차원을 효과적으로 줄임으로써 전체 얼굴 영상들을 선형 변환된 몇 개의 특징벡터만을 비교하여 인식하므로 실제 얼굴인식 시 처리 속도가 빠르다는 장점이 있다.

가버 필터 방법은 입력된 영상에서 다양한 방향성과 주파수를 갖는 가버 필터들의 집합을 적용시키고 그 반응값에 따라 얼굴을 식별하는 방법이다.

상기 가버 필터 방법은 특정 위치점들의 필터 반응값을 이용한 것으로서, 표정이 변화된 영상 및 회전된 영상에 대해서도 적응이 가능하며, 사용 환경에 비교적 유연하여 다양한 환경 및 얼굴영상에서 이용할 수 있다는 장점이 있다.

그러나, 지금까지의 얼굴인식 기술은 입력된 영상이 실제 사람의 얼굴영상인지 사진의 얼굴영상인지를 판별하지 못함으로써, 인증 가능한 사람의 사진을 이용하여 부정 사용자가 인증을 받는 문제점이 있다. 즉, 불순한 목적을 가진 사람이 인증 가능한 사람의 사진을 도용하여 부정행위를 자행할 경우, 부정 사용자를 식별할 수 없다는 문제점이 여전히 남아 있다.

본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 입력된 영상에서 눈의 깜박임 검출, 입의 움직임 검출, 얼굴 포즈의 변화 검출, 및 배경 이미지 비교 등을 수행하여 입력된 영상이 사진 영상인지를 판별할 수 있는 얼굴 인식 시스템에서의 사진 판별 장치 및 방법을 제공하는 것이다.

상기 목적을 달성하기 위하여 본 발명은, 연속적으로 입력된 각 영상에서 얼굴영역을 검출하여, 상기 검출된 얼굴영역에서 얼굴구성요소의 움직임을 검출하거나 입력된 영상의 배경 이미지와 기준 영상의 배경 이미지를 비교하여 상기 입력된 영상이 사진 영상인가를 판단하는 것을 특징으로 한다.

이하, 첨부한 도면들을 참조로 본 발명의 바람직한 실시예를 상세히 설명한다.

도 1은 본 발명에 따른 얼굴 인식 시스템에서의 사진 판별 장치를 나타낸 개략적인 블럭도로서, 얼굴 인식 시스템은 사진 판별 장치(10)와 얼굴 인식부(600)로 구성되고, 사진 판별 장치(10)는 얼굴 검출부(100), 얼굴 움직임 검출부(200), 사진 판단부(300), 배경 검출부(410), 배경 비교부(420) 및 메모리부(500)로 구성된다.

얼굴 검출부(100)는 입력된 영상에서 얼굴영역을 검출하는 것으로서, 다양한 알고리즘이 적용 가능한데 본 실시예에서는 가버필터 응답을 이용하여 상기 입력된 얼굴 영상에서 얼굴 영역을 검출하는 얼굴영역 검출부로 구성된다.

얼굴영역 검출부는 가버 필터 응답(Gabor Filter Reaponse)을 이용하여 입력된 영상에서 얼굴 영역을 검출하는데, 가버 필터를 이용한 얼굴 영역 검출 방법은, 먼저 얼굴 감지부로부터 입력된 얼굴영상으로부터 소정 특징점의 위치를 찾는다. 여기서 상기 특징점은 눈의 특징점을 말하며, 가장 먼저 눈을 찾는 이유는 눈의 위치 검출이 가장 쉽기 때문이다. 그 다음 얼굴영역 추출부에서 상기 특징점의 위치로부터 머리카락이 포함되지 않은 얼굴영역을 추출하고, 영상 전처리부에서 상기 추출된 얼굴 영역에 대해 히스토그램 평활화를 수행하여 조명의 영향을 감소시킨다. 이 후, 얼굴 특징점 추출부에서 상기 추출된 얼굴영역에서 소정의 특징점을 추출하고, 가버 필터부에서 상기 추출된 특징점을 가버 필터에 적응시켜 그 반응값을 산출하여 얼굴영역을 검출하는 것이다.

이하, 가버 필터를 이용하여 반응값을 산출하는 식을 설명한다.

여기서, 상기 는 공간 좌표계에서의 위치이며, 는 크기와 방향을 가지고 있는 주파수 벡터이고, 는 가우시안의 표준 편차이다.

또한, 상기 주파수 벡터 의 진폭은 다음과 같이 정의된다.

,

상기 , 는 각각 주파수와 방향성을 나타낸다.

즉, 상기 입력된 얼굴 영역에서 추출한 특징점들을 상기 수학식1에 대입함으로서 반응값을 얻을 수 있다.

한편, 얼굴영역을 검색하기 위한 방법으로 가버 필터 응답 이외에 PCA, 템플리트 매칭 방법 등을 이용할 수 있다.

또한, 본 발명의 얼굴 검출부(100)는 입력된 영상이 칼라 이미지인 경우 이를 흑백 이미지로 변환하는 흑백화부를 더 포함할 수 있다. 여기서, 상기 흑백화부는 입력된 영상이 칼라 이미지인 경우 이를 흑백 이미지로 변환시키는 것으로, RGB(Red, Green, Blue) 방식의 칼라 이미지에서는 색상 성분과 밝기 성분이 함께 혼용되어 있기 때문에 특징점 추출시 밝기 변화에 의한 오류가 나타날 수 있기 때문이다.

얼굴 움직임 검출부(200)는 상기 얼굴 검출부(100)에서 검출한 얼굴영역에서 얼굴 구성요소의 움직임을 검출하는 것으로서, 도 2에 도시된 바와 같이 눈 검출부(210), 눈 움직임 검출부(212), 입 검출부(220), 입 움직임 검출부(222), 및 얼굴 포즈 움직임 검출부(232)로 구성될 수 있다.

눈 검출부(210)는 상기 얼굴영역 검출부를 통하여 검출된 얼굴영역에서 이진화를 수행하여 눈을 검출하는데, 눈을 검출하는 방법 또한 다양한 방법이 이용될 수 있다. 본 실시예에서 사용된 이진화를 이용한 눈 영역 검출 방법은, 원형의 모양을 가지면서 얼굴영역의 상부에 위치하고 흰색 가운데에 검은색을 띄는 부위 즉, 두 눈의 중심점(동공)을 검출함으로서 눈을 검출한다. 여기서, 상기 이진화란 흑백 얼굴영상이 입력되면 얼굴영역의 대한 임계값을 설정한 후 상기 설정된 임계값을 기준으로 임계값 이상의 밝기를 가진 화소는 흰색으로 임계값 이하의 밝기를 가진 화소는 검은색으로 할당하는 것을 말한다. 이 외에 템플리트 메칭 방법, PCA 방법 등을 이용하여 눈을 검출할 수도 있다.

눈 움직임 검출부(212)는 상기 눈 검출부(210)에서 검출된 눈을 기초로 눈 깜박임을 검출하는 것으로, 연속적으로 입력된 각 영상에서 검출된 눈에서 대각 에지 및 수평 에지를 구하고, 상기 대각 에지에 대해 세선화를 수행한다. 이 후, 상기 대각 에지, 수평 에지, 및 세선화된 영상을 이용하여 눈의 위쪽 경계선을 추출하고, 상기 눈의 위쪽 경계선을 기준으로 눈의 아래쪽 경계선을 추출한다. 그 다음, 상기 눈의 위쪽 경계선 및 상기 눈의 아래쪽 경계선으로부터 눈의 높이를 계산하고, 상기 계산된 눈의 높이와 이전 영상에서 계산된 눈의 높이를 비교하여 눈의 깜박임에 의한 움직임을 검출한다(도 6(a) 참조).

입 검출부(220)는 상기 얼굴영역 검출부를 통하여 검출된 얼굴영역에서 이진화를 수행하여 입을 검출하는데, 입을 검출하는 방법 또한 다양한 방법이 이용될 수 있다. 본 실시예에서 사용된 이진화를 이용한 입 검출방법은, 얼굴영역의 하부에 위치하고 피부와 입술 사이에 검정색의 입술 윤곽을 검출함으로서 입을 검출한다. 이 외에 상기 검출된 눈 영역을 기초로 얼굴 구성요소간의 기하학적인 위치 특성에 따라 입 영역을 검출할 수 있으며, ASM(Active Shape Model)기법 등을 이용하여 검출할 수도 있다.

입 움직임 검출부(222)는 상기 입 검출부(220)에서 검출된 입을 기초로 입의 움직임을 검출하는 것으로, 상기 검출된 입을 기초로 입술의 위쪽 경계선과 아래쪽 경계선을 각각 추출하고, 상기 추출된 입술의 경계선과 이전 영상에서 추출한 입술의 경계선을 비교하여 입술의 움직임 변화를 검출한다(도 6(b)참조).

얼굴 포즈 움직임 검출부(232)는 상기 얼굴영역 검출부를 통하여 검출된 얼굴영역에서 얼굴 포즈 변화를 검출하는 것으로서, 연속적으로 입력된 각 영상에서 첫번째 영상(이전 영상)에서 검출된 얼굴 포즈와 그 다음 영상에서 검출된 얼굴 포즈를 비교하여 얼굴 포즈의 변화를 검출한다.

본 실시예에서 적용된 상기 얼굴 포즈의 변화를 검출하는 알고리즘은 다음과 같다.

즉, 이전 영상()과 소정의 포즈를 갖는 현재의 영상()을 내적하고, 이를 소정의 포즈를 갖는 현재의 영상에 대한 법선 벡터로 나누어 주면 포즈 변화를 검출할 수 있다.

눈 또는 입 검출 및 눈의 움직임, 입의 움직임, 또는 얼굴 포즈 움직임을 검출하는 방법은 전술한 방법에 이외에 다른 방법들이 사용될 수 있다.

배경 검출부(410)는 상기 입력된 영상에서 얼굴영역을 뺀 나머지 영역을 배경 이미지로 검출하거나, 상기 검출된 얼굴영역에서 눈을 기준으로하여 얼굴의 바깥 방향으로 소정의 폭을 가지는 영역을 중심으로 배경 이미지를 검출한다(도 7(a) 참조).

배경 비교부(420)는 입력된 영상의 배경과 메모리부(500)에 저장된 기준 영상의 배경을 비교하는 것으로서, MS(매칭 스코어:Matching Score) 알고리즘, NS(정규화된 유사도:Normalized Similarity Countion Measure) 알고리즘을 이용하여 입력된 영상의 배경 이미지와 기준 영상의 배경 이미지의 유사도를 측정함으로서 각 배경 이미지를 비교한다.

이하, MS와 NS의 알고리즘은 다음과 같다.

즉, 상기 x를 입력된 영상의 배경 이미지라고 하고, y를 기준 영상의 이미지라 할 때, x와 y를 내적 함으로써 상기 두 배경의 유사도를 측정하고자 하는 것이다. 다시 말해, 를 내적하고 법선 벡터의 크기 로 나누어 얻은 값에 1을 더한 후 0.5를 곱하면 1과 0 사이의 값이 산출된다. 여기서, 상기 산출된 값이 1에 근사한 경우에는 입력된 영상의 배경과 기준 영상의 배경이 유사하다고 판단하고, 상기 산출된 값이 0에 근사한 경우에는 입력된 영상의 배경과 기준 영상의 배경이 다르다고 판단한다.

배경 이미지를 비교하는 방법에 대한 바람직한 실시예는 도 7(b)에 관한 설명에서 자세히 설명하고 이하 생략한다.

여기서, 상기 Bg는 기준 영상의 배경 이미지이고, I는 입력된 영상의 배경 이미지이며, w는 검출된 배경의 너비이고, h는 검출된 배경의 높이이다.

상기 NS는 기준 영상의 배경 이미지에 대한 픽셀의 밝기와 입력된 영상의 배경 이미지에 대한 픽셀의 밝기 차이가 얼마나 되는지를 측정하기 위한 것으로, 즉 기준 영상의 배경 이미지 픽셀과, 입력된 영상의 배경 이미지 픽셀의 차를 구한 후, 그 구해진 값이 임계값보다 작은지 또는 임계값보다 큰지를 판단한다. 그리하여, 상기 임계값보다 작게 나온 픽셀의 갯수가 전체 면적에서 얼마나 차지하는지를 측정하는 것이다. 여기서, 임계값은 기준 영상의 배경 이미지 픽셀보다 큰 값을 가지는데, 이는 조명이나 주변환경에 의해 입력된 영상의 배경 이미지의 픽셀의 밝기가 달라질 수 있기 때문이다.

따라서, 기준 영상의 배경 이미지 픽셀과, 입력된 영상의 배경 이미지 픽셀의 차를 구한 후 그 값을 전체 배경 이미지의 면적으로 나누어 주면, 그 결과값이 1과 0 사이의 값이 산출된다. 이 때, 산출된 값이 1에 가까운 경우에는 입력된 영상의 배경 이미지와 기준 영상의 배경 이미지가 유사함을 나타내며, 산출된 값이 0에 가까운 경우에는 입력된 영상의 배경 이미지와 기준 영상의 배경 이미지가 차이가 있음을 나타낸다.

배경을 비교하는 방법에 대한 바람직한 실시예는 도 7(b)에 관한 설명에서 자세히 설명하고 이하 생략한다.

또한, 상기 기준 영상의 배경 이미지는 정기적으로 픽셀의 변화를 체크함으로써 갱신되며, 예를 들어 기준 영상의 배경 이미지가 60픽셀 이상 변화되면 기준 영상의 배경 이미지는 갱신된다.

사진 판단부(300)는 상기 얼굴 움직임 검출부(200)에서 검출된 얼굴 움직임의 결과 또는 배경 비교부(420)에서 검출된 비교 결과에 따라 입력된 영상이 사진 영상인지를 판단하는 것으로서, 얼굴 움직임 검출부(200)에서 검출한 얼굴의 움직임 결과에 따라 입력된 영상이 사진 영상인 것으로 판단하거나, 또는 상기 얼굴 움직임 검출부(200)에서 검출된 얼굴 움직임의 결과와 배경 비교부(420)에서 입력된 배경 이미지와 기준 배경 이미지를 비교한 결과를 가지고 입력된 영상이 사진 영상인 것으로 판단한다.

메모리부(500)는 영상이 입력되는 환경의 배경 이미지(즉, 기준 배경 이미지)를 미리 저장해 놓은 것으로서, 이 후 입력된 영상의 배경 이미지와 기준 영상의 배경 이미지 비교시 기준 배경 이미지를 제공한다.

상기에서 설명한 사진 판별 장치(10)를 통해 입력된 영상이 사진 영상인지를 판별하고, 상기 사진 판별 장치(10)의 판단 결과 입력된 영상이 실제 사람의 영상으로 판단된 경우 얼굴 인식부(600)를 통해 입력된 얼굴 영상을 인식한다.

상기 얼굴 인식부(600)는 상기 얼굴 검출부(100)를 통해 검출된 얼굴을 기초로 입력된 얼굴이 정당한 사용자인가를 판단하기 위하여 얼굴 인식을 하는 것으로, 입력된 얼굴 영상을 얼굴 DB(도시되지 않음)에 저장된 사용자들의 영상과 비교하여 유사도를 판단한 후 얼굴 인식 결과를 출력한다. 여기서, 얼굴을 인식하는 방법으로 가버 필터 응답, PCA 및 템플리트 매칭 방법 등을 이용할 수 있다.

도 3은 본 발명에 따른 얼굴 인식 시스템에서의 사진 판별 방법을 나타낸 흐름도이다. 본 발명의 바람직한 실시예로서, 먼저 출입을 원하는 사용자가 비밀번호를 입력하면(S100), 상기 입력된 비밀번호를 판독하여 비밀번호가 맞으면 사용자의 영상을 입력한다(S102,S104). 만일, 입력된 비밀번호가 틀릴 경우 비밀번호 재 입력을 요청한다.

이후, 사용자 영상이 입력되면 얼굴의 움직임을 검출한다(S106). 여기서, 얼굴 움직임 검출은 눈의 움직임, 입의 움직임, 및 얼굴 포즈의 움직임 모두를 검출할 수도 있으며, 눈의 움직임, 입의 움직임, 및 얼굴 포즈의 움직임 중 하나 이상의 움직임 검출을 선택할 수도 있다. 상기 얼굴의 움직임은 이하 도 4에서 자세히 설명하기로 한다.

상기와 같이 입력된 영상에서 얼굴의 움직임을 검출시, 만약 움직임이 검출되면 입력된 영상은 실제 사람의 영상으로 판단한다(S110). 그 다음, 사용자 인증을 수행하여 입력된 영상의 사용자가 적합한 사용자인가를 판단하고(S112), 적합한 사용자인 경우 출입을 허용한다(S114).

한편, 상기와 같이 입력된 영상에서 얼굴의 움직임을 검출시, 만약 움직임이 검출되지 않으면 입력된 영상을 사진 영상으로 판단하고(S116), 사용자의 출입을 금지시킨다(S118).

본 발명에 따른 사진 판별 방법의 다른 실시예에서는, 상기와 같이 입력된 영상에서 얼굴의 움직임을 검출시(S106), 만약 움직임이 검출되지 않으면 입력된 영상의 배경 이미지와 메모리부(500)에 저장된 기준 영상의 배경 이미지를 비교하여 배경 이미지에 차이점이 있는지를 판단하는 단계를 더 포함할 수 있으며(S108), 이 경우 배경 이미지에 차이점이 없으면 실제 사람의 영상으로 판단하고(S110), 배경 이미지에 차이점이 있으면 사진 영상으로 판단한다(S116). 상기 배경 이미지의 차이점을 비교하는 방법은 이하 도 5에서 자세히 설명하기로 한다.

도 4는 본 발명에 따른 얼굴 인식 시스템에서의 사진 판별 방법이 적용된 얼굴 움직임 검출 방법을 나타낸 흐름도로서, 먼저 눈의 깜박임에 의한 움직임을 검출하는 방법을 살펴보기로 한다.

상기 입력된 영상을 흑백 이미지로 변경하고, 가버필터 응답을 이용하여 상기 입력된 영상에서 얼굴영역을 검출한다(S200). 여기서, 가버필터 응답을 이용하여 얼굴영역을 검출하는 방법은 상기 수학식1에서 상세히 설명하였으므로 이에 대한 자세한 설명은 생략한다.

상기와 같은 과정을 수행하여 얼굴영역이 검출되면, 상기 검출된 얼굴영역을 기초로 눈을 검출한다(S202). 여기서, 상기 눈 검출은 원형의 모양을 가지면서 얼굴영역의 상부에 위치하고 흰색 가운데에 검은색을 띄는 부위 즉, 두 눈의 중심점(동공)을 검출함으로서 눈을 검출하는 이진화 방법을 이용한다.

그 다음, 상기 검출된 눈을 기초로 눈의 깜박임에 의한 움직임을 검출하는데, 연속적으로 입력된 각 영상에서 검출된 눈에서 대각 에지 및 수평 에지를 구하고, 상기 대각 에지에 대해 세선화를 수행한다. 이 후, 상기 대각 에지, 수평 에지, 및 세선화된 영상을 이용하여 눈의 위쪽 경계선을 추출하고, 상기 눈의 위쪽 경계선을 기준으로 눈의 아래쪽 경계선을 추출한 후(S204), 상기 추출된 눈의 위쪽 경계선 및 상기 눈의 아래쪽 경계선으로부터 눈 높이를 계산한다(S206). 여기서 단계 S200 내지 단계 S206은 연속적으로 입력된 각 영상에서 수행된다. 이 후, 상기 계산된 눈의 높이와 이전 영상에서 계산된 눈의 높이를 비교한다(S208).

상기 각각의 영상에서 눈의 높이를 비교한 결과 눈의 높이에 차이가 있으면 움직임이 검출된 것으로 판단하여 입력된 영상이 실제 사람 영상인 것으로 판단한다(S210,S110).

만일, 상기 눈의 높이를 비교한 결과 눈의 높이에 차이가 없으면 움직임이 검출되지 않은 것으로 판단하여 입력된 영상의 배경 이미지와 메모리부(500)에 저장된 기준 영상의 배경 이미지를 비교한다(S210,S108).

얼굴 움직임 검출 방법 중 입의 움직임을 검출하는 방법을 살펴보기로 한다.

먼저, 상기 입력된 영상을 흑백 이미지로 변경하고, 가버필터 응답을 이용하여 상기 입력된 영상에서 얼굴 영역을 검출한다(S220). 상기와 같은 과정을 수행하여 얼굴 영역이 검출되면, 상기 검출된 얼굴영역을 기초로 이진화 방법을 이용하여 입을 검출한다(S222).

그 다음, 상기 검출된 입을 기초로 입의 움직임을 검출하는데, 연속적으로 입력된 각 영상에서 상기 이전에 검출된 입술의 형태를 기초로 입술의 위쪽 경계선과 아래쪽 경계선을 각각 추출한다(S224). 여기서 단계 S220 내지 단계 S224는 연속적으로 입력된 각 영상에서 수행된다. 그 다음, 상기 추출된 입술의 경계선과 이전 영상에서 추출한 입술의 경계선을 비교하여 입술의 움직임 변화를 검출한다(S226).

상기 입술의 움직임을 비교한 결과, 이전에 검출된 영상에서의 윗 입술과 아래 입술의 경계선과 그 다음 검출된 영상에서의 윗 입술과 아래 입술의 경계선에 변화가 있으면 움직임이 있다고 판단하고, 상기 입력된 영상이 실제 사람 영상인 것으로 판단한다(S228,S110).

만일, 이전에 검출된 영상에서의 윗 입술과 아래 입술의 경계선과 그 다음 검출된 영상에서의 윗 입술과 아래 입술의 경계선에 변화가 없다면 움직임이 검출되지 않은 것으로 판단하여 입력된 영상의 배경 이미지와 메모리부(500)에 저장된 기준 영상의 배경 이미지를 비교한다(S228,S108).

얼굴 움직임 검출 방법 중 얼굴 포즈의 움직임을 검출하는 방법을 살펴보기로 한다.

먼저, 상기 입력된 영상을 흑백 이미지로 변경하고, 가버필터 응답을 이용하여 상기 입력된 영상에서 얼굴영역을 검출한다(S240). 상기와 같은 과정을 수행하여 얼굴영역이 검출되면, 상기 검출된 얼굴영역을 기초로 하여 얼굴 포즈를 검출한다(S242).

그 다음, 상기 검출된 얼굴 영역에서 얼굴 포즈 알고리즘을 통하여 얼굴 포즈의 변화를 검출한다(S244). 상기 얼굴 포즈 알고리즘을 통하여 얼굴 포즈의 변화를 검출하는 방법은 상기 수학식2에서 상세히 설명하였으므로 이에 대한 자세한 설명은 생략한다.

상기 얼굴 포즈의 움직임을 비교한 결과, 이전에 검출된 영상에서의 얼굴 포즈와 그 다음 검출된 영상에서의 얼굴 포즈의 변화가 있다면 얼굴 포즈의 움직임이 있다고 판단하고, 상기 입력된 영상이 사진 영상인 것으로 판단한다(S246,S110).

만일, 이전에 검출된 영상에서의 얼굴 포즈와 그 다음 검출된 영상에서의 얼굴 포즈의 변화가 없다면 움직임이 검출되지 않은 것으로 판단하여 입력된 영상의 배경 이미지와 메모리부(500)에 저장된 기준 영상의 배경 이미지를 비교한다(S246,S108).

한편, 상기 얼굴 움직임 검출시 눈의 깜박임에 의한 움직임, 입의 움직임, 및 얼굴 포즈의 움직임을 모두 검출할 경우, 얼굴 인식 과정은 한번만 수행할 수도 있다.

도 5는 본 발명에 따른 얼굴 인식 시스템에서의 사진 판별 방법이 적용된 배경의 차이점을 검출하는 방법을 나타낸 흐름도이다.

먼저, 상기 입력된 영상에서 배경 이미지를 검출하고(S260), 상기와 같이 배경 이미지가 검출되면, 상기 검출된 배경의 이미지 벡터들을 MS 알고리즘과 NS 알고리즘에 대입하여 입력된 영상의 배경 이미지와 메모리부(500)에 저장된 기준 영상의 배경 이미지를 비교하여 각 배경 이미지 사이의 유사도를 측정한다(S262). 상기 배경 이미지를 검출 및 배경 이미지 비교 방법은 이하 도 7(a) 및 도 7(b)에서 자세히 설명하기로 한다.

상기 배경 이미지를 비교한 결과 배경 이미지에 차이가 있으면 사진 영상으로 판단하고(S264,S116), 만약 상기 배경 이미지를 비교한 결과 배경 이미지에 차이가 없으면 실제 사람 영상으로 판단한다(S264,S110).

도 7(a)는 입력된 영상에서 배경 이미지를 검출하는 실시예이고, 도 7(b)는 배경이미지의 유사도를 측정의 실시예를 나타낸 도면이다.

먼저, 배경 이미지를 검출하는 방법에 대한 바람직한 실시예를 도 7(a)를 참조하여 설명하면 다음과 같다.

상기 입력된 영상에서 배경 이미지를 검출한다. 여기서, 배경 검출은 상기 입력된 영상에서 얼굴 영역을 뺀 나머지 영역을 배경 이미지로 검출하는 방법과, 상기 검출된 얼굴영역에서 눈을 기준으로 하여 얼굴의 바깥 방향으로 소정의 폭을 가지는 영역을 중심으로 배경 이미지를 검출하는 방법이 있다.

또한, 배경을 비교하는 방법에 대한 바람직한 실시예를 도 7(b)를 참조하여 설명하면 다음과 같다.

상기 입력된 영상에서 배경 이미지가 검출되면, 상기 검출된 배경의 이미지 벡터들을 MS 알고리즘에 대입한다. 여기서, MS 알고리즘을 이용하여 배경 이미지의 유사도를 측정하는 방법은 상기 수학식3에서 상세히 설명하였으므로 이에 대한 자세한 설명은 생략한다.

상기 MS 알고리즘에 대입하여 산출된 값이 1에 근사한 값이 나오면 입력된 영상의 배경이 기준 배경과 동일한 배경이라고 판단하고, 그 산출된 값이 0에 근사한 값이 나오면 입력된 영상의 배경이 기준 배경과 다른 배경이라고 판단한다.

또한, 상기 검출된 배경의 픽셀들을 NS 알고리즘에 대입한다. 여기서, NS 알고리즘을 이용하여 배경 이미지의 유사도를 측정하는 방법은 상기 수학식4에서 상세히 설명하였으므로 이에 대한 자세한 설명은 생략한다.

상기 입력된 영상의 배경이미지에서의 픽셀의 밝기와 기준 영상의 배경 이미지에서의 픽셀의 밝기 차이를 비교하여, 그 산출된 값이 1에 근사한 값이 나오면 입력된 영상의 배경과 기준 영상의 배경이 유사하다고 판단하고, 0에 근사한 값이 나오면 입력된 영상의 배경과 기준 영상의 배경이 다르다고 판단한다.

즉, NS 알고리즘의 산출값이 기준값(예를 들어, 0.5) 보다 큰 경우에는 입력된 영상의 배경 이미지와 기준 영상의 배경 이미지가 유사한 배경이라고 판단한다.

또한, MS 알고리즘의 산출값이 기준값(예를 들어, 0.8) 보다 큰 경우에는 입력된 영상의 배경 이미지와 기준 영상의 배경 이미지가 유사한 배경이라고 판단한다.

그리고, 만약 NS 알고리즘의 산출값이 0.5~0.3 사이이고, MS 알고리즘의 산출값이 0.6~0.8 사이일 경우에는 유사한 배경으로 판단하며, 그 외의 경우에는 다른 배경으로 판단한다. 즉, 유사한 배경이라고 판단한다는 것은 입력된 영상을 실제 사람의 영상으로 판단하는 것이고, 다른 배경으로 판단한다는 것은 입력된 영상을 사진 영상으로 판단한다는 것이다.

도 8(a)는 실제 사람 영상이 입력되는 실시예를 나타낸 도면이고, 8(b)는 사진 영상이 입력된 실시예를 나타낸 도면이고, 8(c)는 기준 배경의 실시예를 나타낸 도면이다.

도 8(c)에 도시된 바와 같이 기준 영상의 배경 이미지를 메모리부(500)에 저장해 놓은 후, 사용자 영상이 입력되면 입력된 영상에서 배경 이미지를 검출하여 메모리부(500)에 저장된 기준 영상의 배경 이미지와 비교하여 입력된 영상이 사진 영상인가를 판단한다.

도 8(b)에 도시된 바와 같이, 입력된 사진 영상의 배경 이미지와 기준 영상의 배경 이미지가 다르므로 입력된 영상이 실제 사람의 영상이 아닌 사진 영상이라는 것을 판별할 수 있다.

이상에서 본 발명에 대하여 상세히 기술하였지만, 본 발명이 속하는 기술 분야에 있어서 통상의 지식을 가진 사람이라면, 첨부된 청구범위에 정의된 본 발명의 정신 및 범위를 벗어나지 않으면서 본 발명을 여러 가지로 변형 또는 변경하여 실시할 수 있음은 자명하며, 따라서 본 발명의 실시예에 따른 단순한 변경은 본 발명의 기술을 벗어날 수 없을 것이다.

상기한 구성의 본 발명에 의하면, 입력된 영상에 있어서 눈의 깜박임 검출, 입의 움직임 검출, 얼굴 포즈의 변화 검출, 및 배경 이미지의 비교 등을 수행하여 입력된 영상이 사진 영상인지를 판별할 수 있어 부정 출입자의 출입을 막을 수 있는 잇점이 있다.

도 1은 본 발명에 따른 얼굴 인식 시스템에서의 사진 판별 장치를 나타낸 개략적인 블럭도.

도 2는 본 발명에 따른 얼굴 인식 시스템에서의 사진 판별 장치의 다른 실시예를 나타낸 개략적인 블럭도.

도 3은 본 발명에 따른 얼굴 인식 시스템에서의 사진 판별 방법을 나타낸 흐름도.

도 4는 본 발명에 따른 얼굴 인식 시스템에서의 사진 판별 방법이 적용된 얼굴 움직임 검출 방법을 나타낸 흐름도.

도 5는 본 발명에 따른 얼굴 인식 시스템에서의 사진 판별 방법이 적용된 배경의 차이점을 검출하는 방법을 나타낸 흐름도.

도 6(a)는 눈의 깜박임에 의한 움직임 실시예를 나타낸 도면이고, 도 6(b)는 입술의 움직임 실시예를 나타낸 도면.

도 7(a)는 입력된 영상에서 배경 이미지를 검출하는 실시예를 나타낸 도면이고, 도 7(b)는 배경 이미지의 유사도를 측정의 실시예를 나타낸 도면.

도 8(a)는 실제 사람 영상이 입력되는 실시예를 나타낸 도면이고, 8(b)는 사진 영상이 입력된 실시예를 나타낸 도면이고, 8(c)는 기준 배경을 나타낸 도면.

< 도면의 주요부분에 대한 부호의 설명 >

100 : 얼굴 검출부 200 : 얼굴 움직임 검출부

300 : 사진 판단부 410 : 배경 검출부

420 : 배경 비교부 500 : 메모리부

Claims

삭제
카메라를 통해 연속적으로 입력된 각 영상에서 얼굴영역을 검출하는 얼굴 검출부;

상기 얼굴 검출부에서 검출한 얼굴영역에서 얼굴 구성요소의 움직임을 검출하는 얼굴 움직임 검출부;

상기 카메라가 위치된 기준 영상의 배경 이미지를 저장하는 메모리부;

상기 연속적으로 입력된 각 영상에서 배경 이미지를 검출하는 배경 검출부;

상기 배경 검출부에서 검출한 입력 영상의 배경 이미지와 상기 메모리부에 기 저장된 기준 영상의 배경 이미지를 비교하는 배경 비교부; 및

상기 얼굴 움직임 검출부에서 검출한 결과 및 상기 배경 비교부에서 비교한 결과에 따라 입력된 영상이 사진 영상인가를 판단하는 사진 판단부를 포함하는 것을 특징으로 하는 얼굴 인식 시스템에서의 사진 판별 장치.
제 2항에 있어서, 상기 얼굴 검출부는,

가버필터 응답을 이용하여 상기 입력된 영상에서 얼굴영역을 검출하는 얼굴영역 검출부로 구성되는 것을 특징으로 하는 얼굴 인식 시스템에서의 사진 판별 장치.
제 3항에 있어서, 상기 얼굴 검출부는,

입력된 영상이 칼라 이미지인 경우 이를 흑백 이미지로 변환하는 흑백화부를 더 포함하는 것을 특징으로 하는 얼굴 인식 시스템에서의 사진 판별 장치.
제 2항에 있어서,

상기 얼굴 움직임 검출부에서 검출하는 얼굴 구성요소는 눈을 포함하는 것을 특징으로 하는 얼굴 인식 시스템에서의 사진 판별 장치.
제 2항에 있어서,

상기 얼굴 움직임 검출부에서 검출하는 얼굴 구성요소는 입을 포함하는 것을 특징으로 하는 얼굴 인식 시스템에서의 사진 판별 장치.
제 2항에 있어서,

상기 얼굴 움직임 검출부에서 검출하는 얼굴 구성요소는 얼굴 포즈를 포함하는 것을 특징으로 하는 얼굴 인식 시스템에서의 사진 판별 장치.
제 2항 또는 5항에 있어서, 상기 얼굴 움직임 검출부는,

상기 얼굴 영역 검출부를 통하여 검출된 얼굴영역에서 이진화를 수행하여 눈을 검출하는 눈 검출부; 및

상기 눈 검출부에서 검출된 눈을 기초로 눈 깜박임을 검출하는 눈 움직임 검출부로 구성되는 것을 특징으로 하는 얼굴 인식 시스템에서의 사진 판별 장치.
제 2항 또는 6항에 있어서, 상기 얼굴 움직임 검출부는,

상기 얼굴영역 검출부를 통하여 검출된 얼굴영역에서 이진화를 수행하여 입을 검출하는 입 검출부; 및

상기 입 검출부에서 검출된 입을 기초로 입의 움직임을 검출하는 입 움직임 검출부로 구성되는 것을 특징으로 하는 얼굴 인식 시스템에서의 사진 판별 장치.
제 2항 또는 7항에 있어서, 상기 얼굴 움직임 검출부는,

상기 얼굴영역 검출부를 통하여 검출된 얼굴영역에서 얼굴 포즈 변화를 검출하는 얼굴 포즈 움직임 검출부로 구성되는 것을 특징으로 하는 얼굴 인식 시스템에서의 사진 판별 장치.
삭제
카메라를 통해 연속적으로 입력된 각 영상에서 얼굴영역을 검출하는 단계;

상기 검출된 얼굴영역에서 얼굴 구성요소의 움직임을 검출하는 단계;

상기 연속적으로 입력된 각 영상에서 배경 이미지를 검출하는 단계;

상기 검출한 입력 영상의 배경 이미지와 메모리부에 기 저장된 기준 영상의 배경 이미지를 비교하는 단계; 및

상기 검출된 얼굴 구성요소의 움직임 및 상기 배경 이미지의 비교 결과에 따라 입력된 영상이 사진 영상인가를 판단하는 단계를 포함하는 것을 특징으로 하는 사진 판별 방법.
제 12항에 있어서,

상기 연속적으로 입력된 각 영상에서 얼굴영역을 검출하는 단계는,

가버필터 응답을 이용하여 상기 입력된 영상에서 얼굴영역을 검출하는 단계를 포함하는 것을 특징으로 하는 사진 판별 방법.
제 13항에 있어서,

상기 연속적으로 입력된 각 영상에서 얼굴영역을 검출하는 단계는,

상기 입력된 영상이 칼라 이미지인 경우 이를 흑백 이미지로 변환하는 단계를 더 포함하는 것을 특징으로 하는 사진 판별 방법.
제 12항에 있어서,

상기 검출된 얼굴영역에서 얼굴 구성요소의 움직임을 검출하는 단계는,

상기 검출된 얼굴영역에 대하여 이진화를 수행하여 눈을 검출하는 단계를 더 포함하는 것을 특징으로 하는 사진 판별 방법.
제 12항에 있어서,

상기 검출된 얼굴영역에서 얼굴 구성요소의 움직임을 검출하는 단계는,

상기 검출된 얼굴영역에 대하여 이진화를 수행하여 입을 검출하는 단계를 포함하는 것을 특징으로 하는 사진 판별 방법.
제 12항에 있어서,

상기 검출된 얼굴영역에서 얼굴 구성요소의 움직임을 검출하는 단계는,

상기 검출된 얼굴영역을 이용하여 얼굴 포즈의 변화를 검출 알고리즘을 통하여 얼굴 포즈의 변화를 검출하는 것을 특징으로 하는 사진 판별 방법.
제 12항 또는 15항에 있어서,

상기 검출된 얼굴영역에서 얼굴 구성요소의 움직임을 검출하는 단계는,

검출된 눈을 기초로 눈의 위쪽 경계선과 아래쪽 경계선을 각각 추출하는 단계;

상기 각각 추출된 눈의 위쪽 경계선과 눈의 아래쪽 경계선의 높이를 계산하는 단계; 및

상기 계산된 눈의 높이와 이전 영상에서 계산된 눈의 높이를 비교하는 단계로 구성되는 것을 특징으로 하는 사진 판별 방법.
제 12항 또는 16항에 있어서,

상기 검출된 얼굴영역에서 얼굴 구성요소의 움직임을 검출하는 단계는,

검출된 입을 기초로 입술의 위쪽 경계선과 입술의 아래쪽 경계선을 각각 추출하는 단계; 및

상기 추출된 입술의 경계선과 이전 영상에서 추출한 입술의 경계선을 비교하는 단계로 구성되는 것을 특징으로 하는 사진 판별 방법.
삭제
제 12항에 있어서,

상기 비교되는 배경 이미지는 얼굴영역을 뺀 나머지 영역인 것을 특징으로 하는 사진 판별 방법.
제 12항에 있어서,

상기 비교되는 배경 이미지는 얼굴영역에서 눈을 기준으로 얼굴의 바깥방향으로 소정의 폭을 가지는 영역인 것을 특징으로 하는 사진 판별 방법.
제 12항에 있어서,

상기 검출한 입력 영상의 배경 이미지와 메모리부에 기 저장된 배경 이미지를 비교하는 단계는,

매칭 스코어(MS) 알고리즘을 이용하여 상기 입력된 영상의 배경 이미지와 기저장된 배경 이미지를 비교하는 것을 특징으로 하는 사진 판별 방법.
제 12항에 있어서,

상기 검출한 입력 영상의 배경 이미지와 메모리부에 기 저장된 배경 이미지를 비교하는 단계는,

정규화된 유사도(NS) 알고리즘을 이용하여 상기 입력된 영상의 배경 이미지와 기 저장된 배경 이미지를 비교하는 것을 특징으로 하는 사진 판별 방법.
삭제
카메라를 통해 연속적으로 입력된 각 영상에서 얼굴영역을 검출하는 단계;

상기 검출된 얼굴영역에서 얼굴 구성요소의 움직임을 검출하는 단계;

상기 연속적으로 입력된 각 영상에서 배경 이미지를 검출하는 단계;

상기 검출한 입력 영상의 배경 이미지와 메모리부에 기 저장된 기준 영상의 배경 이미지를 비교하는 단계;

상기 검출된 얼굴 구성요소의 움직임 및 상기 배경 이미지의 비교 결과에 따라 입력된 영상이 사진 영상인가를 판단하는 단계;

상기 판단 결과 입력된 영상이 실제 사람의 영상으로 판단된 경우 사용자 인증을 수행하는 단계; 및

상기 사용자 인증을 수행한 결과 적합한 사용자로 판명된 경우 출입을 허용하는 단계를 포함하는 것을 특징으로 하는 얼굴 인증 방법.