KR20070022446A - 감시영상에서 얼굴의 진위 여부를 구별하는 방법 - Google Patents

감시영상에서 얼굴의 진위 여부를 구별하는 방법 Download PDF

Info

Publication number
KR20070022446A
KR20070022446A KR1020050076675A KR20050076675A KR20070022446A KR 20070022446 A KR20070022446 A KR 20070022446A KR 1020050076675 A KR1020050076675 A KR 1020050076675A KR 20050076675 A KR20050076675 A KR 20050076675A KR 20070022446 A KR20070022446 A KR 20070022446A
Authority
KR
South Korea
Prior art keywords
face
facial expression
image
facial
coordinate points
Prior art date
Application number
KR1020050076675A
Other languages
English (en)
Other versions
KR100706871B1 (ko
Inventor
강필경
Original Assignee
주식회사 아이디테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이디테크 filed Critical 주식회사 아이디테크
Priority to KR1020050076675A priority Critical patent/KR100706871B1/ko
Publication of KR20070022446A publication Critical patent/KR20070022446A/ko
Application granted granted Critical
Publication of KR100706871B1 publication Critical patent/KR100706871B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

본 발명은 감시영상에서 얼굴의 진위 여부를 구별하는 방법에 관한 것으로, (a) 촬영되는 접근자의 얼굴 영상에서 표정변화를 감지할 수 있는 소정 표정 좌표점들을 지정하는 단계; (b) 실시간으로 전달되는 얼굴 영상에서 접근자의 표정변화에 따른 상기 지정된 표정 좌표점들의 이동 경로를 추적하는 단계; (c) 해당 표정 변화시 상기 표정 좌표점들 각각의 이동 경로가 동일한 방향성을 가지는지 여부를 판단하는 단계; 및 (d) 상기 표정 좌표점들 각각의 이동 경로가 동일한 방향성을 가지는 경우 해당 접근자의 얼굴을 가상 얼굴로 결정하는 단계; 를 포함하는 것을 특징으로 한다.
감시, 얼굴인증

Description

감시영상에서 얼굴의 진위 여부를 구별하는 방법{METHOD FOR TRUTH OR FALSEHOOD JUDGEMENT OF MONITORING FACE IMAGE}
도 1은 본 발명이 적용되는 시스템의 예시도.
도 2a 내지 도 2c는 본 발명의 실시예에 따른 다양한 표정에서의 표정 좌표점을 나타내는 도면.
도 3은 본 발명의 실시예에 따른 감시영상에서 얼굴의 진위 여부를 구별하는 방법을 나타내는 전체 흐름도.
도 4는 본 발명의 실시예에 따른 표정 좌표점 추적 및 결과 분석 단계를 나타내는 세부 흐름도.
본 발명은 감시영상에서 얼굴의 진위 여부를 구별하는 방법에 관한 것으로, 더욱 상세하게는 인체의 얼굴 감지를 통해 접근 여부를 판별하는 감시 시스템에서 해당 얼굴이 인체의 실제 얼굴영상인지 아니면 사진이나 마네킨의 가상 얼굴영상인지 여부를 촬영영상을 통해 직접 판별해 해당 감시 시스템의 보안성을 높일 수 있는 감시영상에서 얼굴의 진위 여부를 구별하는 방법에 관한 것이다.
일반적으로, 얼굴 검출은 임의의 입력 영상에 대하여 해당 영상 내에 사람의 얼굴이 존재하는지 유무를 가리고, 만일 얼굴이 존재하면 영상 내에 존재하는 각 사람의 얼굴을 찾아서 그 위치를 표시하는 것으로 감시 시스템, 범죄 수사용인 머그 샷 정합(mug shot maching) 시스템, 얼굴 정보를 이용한 검색 시스템 및 객체 지향 코딩 시스템 등에 활용될 수 있다.
이러한 얼굴 검출 시스템은 지문인식, 홍채인식 등과 같이 사람마다 고유한 신체적 특징을 이용하여 개인을 식별하고자 하는데 그 목적이 있다. 특히 최근 널리 활용되고 있는 지문인식 기술은 고급 아파트나 회사의 사무실 출입구에 지문 인식 장치가 보급될만큼 상용화가 진행되어 앞으로 지문인식 장치의 수요는 더욱 증가할 것으로 예상되지만, 이러한 지문 인식 장치는 접촉식이기 때문에 많은 사람들이 수시로 접근하는 장소에는 그 효용이 저하되는 단점이 있다.
더군다나, 아파트 또는 개인 주택의 도어락, 자동차, 현금지급기, 사무실 출입구, 멤버쉽 클럽 등과 같이 사용자 인증을 필요로 하는 분야가 점점 더 다양화되고 있어서, 얼굴 인식 장치는 기존의 기술인 지문 인식 장치, IC/마그네틱/RF 카드 리더 등의 보조적인 인식 장치와 패키지로 결합되면 보안 등급에 따라 다양한 형태의 상용 제품이 구현될 수 있어 활발한 연구가 필요되는 부분이다.
이러한 얼굴 검출 방식에서 사용되고 있는 세부기술들 중 차영상은 이동물체의 위치를 추적할 수 있는 기술로서, 상당히 효과적인 기술이다. 즉, 배경과 물체와의 차영상으로부터 타겟의 위치를 구함으로써 이동 물체를 추적하는 것인데, 이러한 차영상의 절대값을 구하면 물체가 없는 배경 영상의 경우 그 값이 작은 반면, 물체가 있는 곳은 큰 값을 가지게 된다. 적절한 임계값을 통해 이진화된 영상을 만든 후 이 이진화된 영역을 선택함으로써 해당 물체를 효과적으로 추적할 수 있다.
그리고 얼굴 검출 방식에서 사용되고 있는 기술 중 얼굴을 검출하기 위한 템플릿 매칭이 있는데, 그 처리과정을 설명하면 다음과 같다.
기존의 방식인 템플릿 매칭은 영상과 템플릿을 서로 비교하여 가장 유사한 부분에서 위치를 결정하는 방법이다. 이는 얼굴 인식 분야에서 얼굴 영역을 검출하기 위해서 많이 사용되어지는 방법 중 하나로써 사람이 존재하는 영상을 촬영한 후 얼굴 영역만을 검출하기 위해서 사용되어지고 있다.
이 방법은 사람의 얼굴 형태를 가지는 템플릿이 영상의 전 영역을 이동하면서 템플릿의 픽셀값과 영상과의 픽셀들을 비교하여 유사도를 구한 후 최소값을 갖는 영역을 얼굴 영역으로 결정한다.
이러한 얼굴 검출에서 조명은 때와 장소에 따라 시시각각 변하기 때문에 이 조명에 대한 효과를 줄이기 위한 방법으로 얼굴 영역의 명암값 분포를 재분배하여 히스토그램을 균일한 분포를 가지도록 하는 히스토그램 평활화를 하는 방법이 있다.
이 방법은 명암의 분포를 균일하게 만드는 방법으로 얼굴 인식 분야에서 조명에 대한 영향을 최소화하기 위해 많이 사용되어지고 있는 방법이다.
이상 설명한 종래의 얼굴 검출 방법은 이미 공지된 사항이므로 더이상의 상세한 설명은 생략한다.
여기에서 이러한 얼굴 영상의 검출에 따라 해당 얼굴 영상을 기등록된 접근 허용자의 얼굴 생체정보와 비교해 해당 대상이 접근 허용자로 분류되었는지 여부를 판별함으로써 해당 사용자의 접근 여부를 판별하는 얼굴 감시 시스템은 특별한 보안을 요하는 장소에서 게이트나 특정 시스템에 대한 일반인의 접근 차단을 목적으로 설치되고 있다.
하지만, 최근에는 이러한 얼굴 감시 시스템에 접근 허용자의 사진이나 정밀한 마네킨을 이용하여 접근하고자 하는 사고가 빈번히 발생하고 있어 치명적인 문제로 대두되고 있다.
실제 이러한 접근 허용자의 사진이나 정밀하게 제작된 마네킨에 대하여는 통상적인 방법으로는 그 접근을 막을 수 있는 방법이 없었으나, 최근에는 열 분포를이용하여 해당 접근자가 실제 사람인지 여부를 파단하는 적외선 판별방법이나 실제 얼굴이 3차원이라는 특징을 이용해 3차원 정보를 촬영하는 3차원 촬영기법이 사용되고 있다.
하지만, 상술한 종래의 적외선 판별방법이나 3차원 촬영기법을 통해 실제 사람의 접근인지 여부를 판별하는 시스템은 기기 제작시 비용면에서 상당히 고가의 장비가 필수적으로 구비되어야만 하므로 비효율적이며 장비 역시 대형화되어 범용적으로 사용되기에는 많은 난관이 있다.
본 발명은 이와 같은 문제점을 해결하기 위하여 안출된 것으로, 그 목적은 인체의 얼굴 감지를 통해 접근 여부를 판별하는 감시 시스템에서 해당 얼굴이 인체의 실제 얼굴영상인지 아니면 사진이나 마네킨의 가상 얼굴영상인지 여부를 촬영영 상을 통해 직접 판별해 기존 시스템에서 적은 추가 비용만으로 해당 감시 시스템의 보안성을 비약적으로 높일 수 있는 감시영상에서 얼굴의 진위 여부를 구별하는 방법을 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명의 감시영상에서 얼굴의 진위 여부를 구별하는 방법은, (a) 촬영되는 접근자의 얼굴 영상에서 표정변화를 감지할 수 있는 소정 표정 좌표점들을 지정하는 단계; (b) 실시간으로 전달되는 얼굴 영상에서 접근자의 표정변화에 따른 상기 지정된 표정 좌표점들의 이동 경로를 추적하는 단계; (c) 해당 표정 변화시 상기 표정 좌표점들 각각의 이동 경로가 동일한 방향성을 가지는지 여부를 판단하는 단계; 및 (d) 상기 표정 좌표점들 각각의 이동 경로가 동일한 방향성을 가지는 경우 해당 접근자의 얼굴을 가상 얼굴로 결정하는 단계; 를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 (b) 단계 이후에, (e) 상기 표정 좌표점들 각각의 이동 경로를 해당 표정에 상응하는 예측 경로와 비교하는 단계; 및 (f) 상기 표정 좌표점들 각각의 이동 경로가 해당 표정에 상응하는 예측 경로들과 소정 범위 이상 차이가 있는 경우 해당 접근자의 얼굴을 가상 얼굴로 결정하는 단계; 를 더 포함하는 것을 특징으로 한다.
더욱 바람직하게는, 상기 표정 좌표점은 해당 촬영된 얼굴 영상에서 진위 여부 판별을 위해 추적하게 되는 얼굴상의 특정 좌표로, 눈썹의 시작점과 끝점, 눈동자의 중심점, 좌우 각각의 눈에서 대칭되는 좌우점 및 상하점, 입술의 대칭되는 좌 우점 및 상하점 중 적어도 하나 이상인 것을 특징으로 한다.
더욱 바람직하게는, 상기 (b) 단계 이전에, 표정 좌표점들의 이동경로 변화 여부를 통해 해당 접근자의 얼굴에 표정변화가 있는지 여부를 판단하고, 해당 접근자의 얼굴에 표정변화가 없는 경우, 해당 접근자에게 특정 표정을 요청하는 단계; 를 더 포함하는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명이 적용된 영상 감시 시스템을 나타내는 블록도이다.
도 1을 참조하여 본 발명이 적용되는 영상 감시 시스템을 살펴보면, 촬영부(10), 주제어부(20), 영상 분석부(30), 표정 분석부(40), 정보 저장부(50), 메세지 출력부(60), 보안 접근대상물(70)으로 구성된다.
상기 촬영부(10)는 본 발명의 영상 감시 시스템이 설치되는 장소에서 해당 영상 감시 시스템이 접근을 통제하는 보안 접근대상물(60)에 접근하고자 하는 사람의 영상을 촬영하게 된다.
상기 영상 분석부(30)는 상기 촬영부(10)에서 촬영된 접근자의 영상을 저장하고 해당 입력 영상에 대하여 해당 영상 내에 사람의 얼굴이 존재하는지 유무를 가리고, 만일 얼굴이 존재하면 영상 내에 존재하는 각 사람의 얼굴을 찾아서 그 위치를 표시하고 템플릿 매칭 등을 통해 기등록된 접근 허용자의 생체 정보와 비교해 해당 촬영된 접근자의 얼굴 영상이 접근 허용자의 얼굴인지 여부를 판단하는 것으로, 이러한 얼굴 인식은 본 발명의 요지가 아니며 이미 널리 공지된 기술이므로 상세한 설명은 생략한다.
상기 표정 분석부(40)는 상기 촬영부(10)를 통해 촬영된 영상에서 상기 영상 분석부(30)를 통해 찾아낸 접근자의 얼굴 영상이 인체의 실제 얼굴영상인지 아니면 사진이나 마네킨의 가상 얼굴영상인지 여부를 직접 판별하는 기능을 하는 바, 보다 구체적으로 상기 표정 분석부(40)는 사람의 얼굴 영상에서 해당 얼굴의 진위 여부를 판별하기 위한 다수의 표정 좌표점을 설정하고 해당 표정 좌표점의 이동 궤적을 추적해서 실제 사람의 표정변화에 따른 해당 표정 좌표점의 예상 이동상황과 실제 상기 촬영된 영상에서의 표정 좌표점의 실제 이동상황의 연관성을 비교해 해당 촬영된 영상에서 접근자 얼굴 영상의 진위 여부를 판별하게 된다.
여기서 말하는 진위 여부라 함은 해당 얼굴 영상이 실제 사람의 얼굴인지 또는 가상의 얼굴(예컨데, 얼굴 사진이나 마네킨 얼굴)인지 여부를 판별하는 것을 의미한다.
그리고, 상기 표정 좌표점이라 함은 해당 촬영된 얼굴 영상에서 그 진위 여부 판별을 위해 추적하게 되는 얼굴상의 특정 좌표로서, 눈썹의 시작점과 끝점, 눈동자의 중심점, 좌우 각각의 눈에서 대칭되는 좌우점 및 상하점, 입술의 대칭되는 좌우점 및 상하점일 수 있다. 이와 같은 얼굴 영상에서의 18개의 표정 좌표점의 일예가 도 2a 내지 도 2c에 다양한 표정에서 도시되어 있다.
실제로, 사람이 무표정에서 미소를 짓는 경우를 상정해 보면, 사람의 얼굴은 어느 한부분만 움직이는 것이 아니라 눈, 코, 입들이 상호 연관성을 가지고 특정한 표정에 따라 각기 다르게 움직이게 된다. 따라서 이들의 이동을 추적하게 되면 해당 촬영된 영상에서의 얼굴이 실제 얼굴인지 아닌지를 구별할 수 있게 된다.
즉, 상술한 바와 같이 촬영되는 영상에서 눈 주위와 입 주위에서 관심이 있는 부분의 좌표, 즉 상기 표정 좌표점을 결정한 후 해당 얼굴 영상의 표정 변화에 따른 상기 표정 좌표점의 이동 궤적을 추적해 해당 얼굴 영상의 진위 여부를 판별하게 된다.
여기에서 표정 좌표점에서 코를 제외한 이유는 사람의 얼굴의 표정 변화가 실제로 눈과 입 주위에서 크게 일어나며 코의 경우 표정 변화에 따른 좌표 변화가 거의 일어나지 않기 때문이다.
보다 구체적으로 이러한 얼굴 영상의 진위 여부 판별과정을 설명하면, 표정 좌표점의 각각에서 각각의 좌표는 서로 대칭 구조를 가지고 결정되어 있어서 표정 변화시 좌우 각각의 영역에서 반대로 이동되는 특징을 가지고 있다. 가령 미소를 짓는 경우를 고려하면, 눈 주위의 좌표와 입 주위의 좌표는 대칭적인 특징을 가지고 있으며 굳이 대칭이 아니더라도 표정 변화시 서로 각기 다른 방향으로 이동하게 된다. 따라서 이들을 서로 비교함으로써 실제 얼굴인지 아닌지를 결정할 수 있게 된다.
물론, 표정의 변화가 없는 경우에는 상기 메세지 출력부(60)를 통해서 미소를 지으라는 등의 명령을 내림으로써 강제적으로 얼굴의 표정 변화를 유도하여 실제 얼굴 여부를 판별할 수 있게 된다.
이와 같은 표정 좌표점의 이동 경로를 추정하여 실제 얼굴을 판단하는 시스템에서 가상의 얼굴 즉, 사진이나 마네킨의 얼굴을 상하 좌우로 이동시키거나 기울이는 것은 상술한 바와 같이 추정되고 있는 표정 좌표점들이 모두 같은 방향으로 일정하게 이동하기 때문에 가상의 얼굴로 판별되게 된다. 물론, 회전의 경우에는 대칭성에 어긋나기 때문에 실제 얼굴이 아니라고 판단하게 된다.
따라서 단순히 표정 좌표점들의 이동만을 이용해 실제 얼굴인지 아닌지를 결정하는 것이 아니라, 그 표정 좌표점들의 이동 방향성까지도 감안하여 실제 얼굴을 판단하게 됨으로써 사진이나 마네킨의 단순한 움직임인 상하, 좌우, 기울임 등에 의한 변화에도 확실하게 실제 얼굴 여부를 판별할 수 있게 된다.
이와 같은 표정 좌표점을 이용한 촬영 얼굴 영상의 진위 여부 판별을 위한 기준은 상기 정보 저장부(50)에 표정예측 정보로 저장되어 사용되게 되는데, 그 판별 기준을 살펴보면 다음과 같다.
우선, 촬영 얼굴 영상의 진위 여부 판별을 위한 기준으로, 표정 좌표점들의 이동변화에 방향성이 같은지 여부를 이용할 수 있다. 즉, 상술한 바와 같이 표정 변화시 해당 표정 좌표점들이 이동되되 모든 표정 좌표점들의 이동 방향이 동일하면 이를 가상 얼굴로 판별하고, 대칭되는 표정 좌표점들이 서로 각기 다른 방향으로 이동되면 실제 얼굴로 판별한다.
이는 실제 사람의 얼굴이 미소짓는 경우와 같이 특정 표정을 지으면, 좌우 대칭의 입 주위에 있는 표정 좌표점은 그 표정변화에 따라 서로 다른 방향으로 이동되고 대칭되는 눈 주위의 표정 좌표점 역시 서로 다른 방향으로 이동되는 것이 사실이다. 예를 들면, 미소를 짓는 경우 무표정시에 비해 입술 좌우의 표정 좌표점은 각각 좌우로 더 이동되어 서로 다른 이동 방향을 갖게 되는 것을 알 수 있다.
다음으로, 촬영 얼굴 영상의 진위 여부 판별을 위한 기준으로, 표정 좌표점 들의 이동변화에 유기성이 있는지 여부를 이용할 수 있다. 즉, 표정 변화시 해당 표정 좌표점들이 이동되되 영역간 서로 유기적인 관계를 가지며 이동되므로 이러한 유기성을 가지면 이를 실제 얼굴로 판별하고, 유기성을 가지지 않으면 가상 얼굴로 판별한다.
이는 실제 사람의 얼굴이 미소짓는 경우와 같이 특정 표정을 지으면, 눈만 움직이지 않고 반드시 입술이 같이 움직이는 것이 사실이다. 즉 미소를 지을 때, 눈의 상하 표정 좌표점의 폭이 가까워짐과 동시에 입술의 좌우 표정 좌표점의 폭이 점차 멀어짐으로써 표정 변화시 눈 영역과 입술 영역이 서로 유기적인 관계를 가지고 변화하게 되며 이에 따라 추적되는 표정 좌표점 역시 유기적인 관계를 가지고 이동되게 된다.
다음으로, 촬영 얼굴 영상의 진위 여부 판별을 위한 기준으로, 표정 좌표점들의 이동변화에 일반성이 있는지 여부를 이용할 수 있다. 즉, 표정 변화시 해당 표정 좌표점들이 이동되되 일반적으로 예측 가능한 경로에서 변화되면 이를 실제 얼굴로 판별하고, 일반적으로 예측 가능하지 않는 경로로 변화되면 이를 가상 얼굴로 판별한다.
이는 실제 사람의 얼굴이 미소짓는 경와우 같이 특정 표정을 지으면, 대게의 경우 예측 가능한 경로로 표정 좌표점이 이동되는 것이 사실이며, 이러한 예측 가능한 표정 좌표점들의 몇몇 예상 이동 경로와 비교하여 해당 얼굴의 진위 여부를 판별하게 되는 것이다. 이러한 표정 좌표점에 대한 예상 이동 경로 실제 이동 경로와의 비교시 이동 경로의 유사성 즉 진위 여부 결정의 유사 기준은 전체 표정 좌표 점에서 각 표정 좌표점들의 유사경로 진행의 판정 분포로 계산되며, 이러한 판정 분포의 갯수나 밀집에 따른 얼굴 진위 결정 기준은 해당 시스템의 사양이나 보안 요구 정도에 따라 다양하게 적용될 수 있다.
상술한 몇가지 표정 변화점을 이용한 촬영 얼굴 영상의 진위 판별 기준은 시스템별로 선택적으로 다양하게 적용되어 사용될 수 있다.
이와 같은 기능을 수행하는 상기 표정 분석부(40)는 이미지 저장부(41)를 통해 상기 촬영부(10)를 통해 촬영된 영상을 수신해 저장하는 한편, 좌표 추적부(42)를 통해 기지정된 표정 좌표점들에 대한 이동 경로의 변화를 추적하며, 추적 좌표 출력부(43)를 통해 추적된 각 표정 좌표점들의 이동경로 좌표를 주제어부(20)로 넘겨 주어, 해당 주제어부(20)가 각각의 표정 좌표점들의 이동경로 좌표를 상술한 얼굴 영상의 진위 판별 기준과 비교해 해당 얼굴의 진위 여부를 판별할 수 있게 한다.
여기에서, 상기 정보 저장부(50)는 이와 같은 얼굴 영상의 진위 판별 기준에 관한 데이터를 표정 예측정보로서 가지고 있으며, 더불어 해당 보안 접근대상물(70)에 대한 접근 허용자의 얼굴 생체정보를 가지고 있어 기본적으로 해당 촬영된 인물이 접근 허용자인지 상술한 영상 분석부(30)를 통해 여부를 판별하도록 한다.
그리고 이미 언급된 바와 같이 상기 메세지 출력부(60)는 촬영되는 사람에게 특정한 표정을 짓도록 명령하는 기능을 수행하는 바, 주제어부(20)의 제어하에 스피커를 통한 음성이나 디스플레이를 통한 문자나 영상으로 접근자에 대해 해당 강제 표정명령을 수행하게 된다.
이상 상술한 구성의 시스템을 통해 이루어지는 본 발명의 감시영상에서 얼굴의 진위 여부를 구별하는 방법에 대해 도 3을 참조하여 설명하면 다음과 같다.
우선, 상기 정보 저장부(50)에는 상기 보안 접근대상물(70)에 대한 미리 정해진 접근 허용자의 얼굴에 대한 생체 정보가 저장되어(S10), 이후 촬영되는 접근자의 얼굴 영상이 해당 접근 허용자의 생체 정보와 동일한지 여부를 통해 해당 접근자가 접근 허용자인지를 판별할 수 있는 근거가 된다.
그리고, 상기 촬영부(10)가 상기 보안 접근대상물(70)에 접근하고자 하는 접근자의 영상을 촬영해 상기 주제어부(20)측으로 실시간 전송하게 된다(S20).
이에 따라, 상기 영상 분석부(30)는 해당 촬영부(10)의 촬영 영상을 토대로 해당 접근자의 얼굴을 인식해 검출(S30)해 내게 되는데, 이러한 얼굴 인식 및 검출 기술은 상술한 바와 같이 본 발명의 요지가 아니며 이미 널리 공지된 기술이므로 상세한 설명은 생략한다.
다음으로, 상기 주제어부(20)는 상기 검출된 얼굴에 대한 영상 이미지를 시간별로 계속적으로 상기 표정 분석부(40)로 전달하며, 이에 따라 상기 표정 분석부(40)가 해당 얼굴 영상 이미지에서 기지정된 표정 좌표점을 설정하고 시간별로 계속적으로 전달되는 얼굴 영상 이미지를 통해 설정된 표정 좌표점들 각각의 이동 경로를 추적해 해당 추적된 표정 좌표점들의 이동 경로를 상기 주제어부(20)로 보고하게 된다(S40).
상기 주제어부(20)는 상기 전달된 표정 좌표점들의 이동 경로의 변화 여부를 통해 해당 접근자의 얼굴에 표정변화가 있는지 여부를 판단하고(S50), 해당 접근자 의 얼굴에 표정변화가 없는 경우, 상기 주제어부(20)는 상기 메세지 출력부(60)를 통해 해당 접근자에게 특정한 표정을 지어줄 것을 요청하게 된다(S51).
이때, 상기 메세지 출력부(60)는 음성이나 문자 또는 영상을 통해 특정한 표정을 접근자에게 요청하게 된다. 여기에서 특정한 표정이라 함은 웃는 표정(미소), 화난 표정, 찡그린 표정, 우는 표정 등 다양한 표정이 가능하다.
한편, 상기 제 S50 단계의 판단결과, 해당 접근자의 얼굴에 표정변화가 있는 경우, 상기 주제어부(20)는 상기 표정 분석부(40)를 통해 해당 접근자의 얼굴 영상에서 표정 변화에 따른 표정 좌표점들의 이동 경로를 추적하고 해당 추적된 표정 좌표점들의 이동 경로의 특징을 상기 정보 저장부(50)의 표정 예측정보와 비교해 분석한다(S60).
이때, 상기 표정 예측정보라 함은 표정 좌표점을 이용한 촬영 얼굴 영상의 진위 여부 판별을 위한 기준 정보로서, 상술한 바와 같이 표정 좌표점들의 이동 방향성, 표정 좌표점들의 이동변화 유기성, 표정 좌표점들의 이동변화 일반성을 그 기준으로 한다.
여기에서 표정 좌표점 추적 및 결과 분석에 관한 상기 제 S60 단계에 대해 좀더 상세하게 살펴보면 다음과 같다.
우선, 상기 주제어부(20)는 상기 영상 분석부(30)에서 검출된 감시 영상에서의 접근자 얼굴영상을 상기 표정 분석부(40)로 전달하고, 해당 이미지 저장부(41)는 시간에 따라 전달되는 해당 얼굴영상의 이미지들을 저장한다(S61).
그리고 상기 이미지 저장부(41)로부터 얼굴영상의 이미지를 전달받은 상기 좌표 추적부(42)는 해당 얼굴영상의 이미지에 도 2에 도시된 바와 같이 소정 표정 좌표점들을 설정하고(S62), 시간에 따라 전달되는 해당 얼굴영상의 이미지들에서 해당 표정 좌표점들이 이동되는 경로를 추적하게 된다(S63).
그리고 상기 좌표 추적부(42)는 추적된 해당 표정 좌표점들의 이동 경로에 관한 정보를 상기 추적좌표 출력부(43)를 통해 상기 주제어부(20)로 전달한다(S64).
이에 따라, 상기 주제어부(20)는 표정 분석부(40)를 통해 분석되어진 접근자 얼굴 영상에서의 표정변화에 따른 표정 좌표점들의 이동 경로 정보를 상기 정보 저장부(50)의 얼굴 영상 진위 판별 기준인 표정예측 정보와 비교하여 표정 좌표점들의 이동 방향성, 표정 좌표점들의 이동변화 유기성, 표정 좌표점들의 이동변화 일반성으로 그 얼굴 영상의 진위 여부를 판별하게 된다(S65).
따라서, 이와 같은 표정 좌표점 추적 및 결과 분석을 통해 시스템에서는 해당 촬영된 접근자의 얼굴 영상만으로 해당 접근자의 얼굴 영상이 인체의 실제 얼굴영상인지 아니면 사진이나 마네킨의 가상 얼굴영상인지 여부를 직접 판별해 낼 수 있게 된다.
한편, 상술한 S60 단계의 표정 좌표점 추적 및 결과 분석을 통해 상기 주제어부(20)는 해당 접근자의 얼굴이 실제 얼굴인지 여부를 판단하여(S70), 실제 얼굴이 아닌 경우 상기 제 S30 단계로 절차를 이행하여 절차를 다시 수행하게 된다.
그리고 상기 제 S70 단계의 판단결과, 해당 접근자의 얼굴이 실제 얼굴인 경우, 상기 주제어부(20)는 해당 검출된 얼굴 이미지를 상기 정보 저장부(50)의 접근 허용자로 기등록된 얼굴생체 정보와 비교하여 해당 접근자가 해당 보안 접근대상물(70)에 대한 접근 권한을 가진 자인지 여부를 판별하고(S80), 접근 허용자인 경우 해당 접근자의 보안 접근대상물(70)에 대한 접근을 허용하게 된다(S90).
따라서 얼굴 영상의 검출에 따라 해당 얼굴 영상을 기등록된 접근허용자의 얼굴 생체정보와 비교해 해당 대상이 접근 허용자로 분류되었는지 여부를 판별함으로써 해당 사용자의 접근 여부를 판별하는 얼굴 인증 시스템으로, 특별한 보안을 요하는 장소에서 게이트나 특정 시스템에 대한 일반인의 접근 차단을 목적으로 설치되는 얼굴 인증 시스템에서 상술한 표정 좌표점들의 이동 방향성, 표정 좌표점들의 이동변화 유기성, 표정 좌표점들의 이동변화 일반성으로 그 얼굴 영상의 진위 여부를 판별할 수 있게 됨으로써 접근 허용자의 사진이나 정교한 마네킨을 이용한 접근 시도는 원천적으로 차단될 수 있게 된다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 한정되는 것이 아니다.
이상에서 살펴본 바와 같이, 본 발명에 나타난 감시영상에서 얼굴의 진위 여부를 구별하는 방법은 얼굴 인증 시스템에 있어 접근자의 얼굴 영상에서 그 진위 여부 판별을 위한 얼굴내 표정 좌표점들을 설정하고 접근자의 표정 변화에 따라 해당 표정 좌표점들의 이동경로를 추적하여 표정 좌표점들의 이동 방향성, 표정 좌표 점들의 이동변화 유기성, 표정 좌표점들의 이동변화 일반성으로 그 얼굴 영상의 진위 여부를 직접적으로 판별할 수 있게 됨으로써 고가의 적외선 판별 시스템이나 3차원 촬영 시스템을 이용하지 않고도 접근 허용자의 사진이나 정교한 마네킨의 가상 얼굴을 이용한 접근 시도를 원천적으로 차단시켜 시스템의 보안성을 높일 수 있게 되는 효과가 있다.

Claims (4)

  1. (a) 촬영되는 접근자의 얼굴 영상에서 표정변화를 감지할 수 있는 소정 표정 좌표점들을 지정하는 단계;
    (b) 실시간으로 전달되는 얼굴 영상에서 접근자의 표정변화에 따른 상기 지정된 표정 좌표점들의 이동 경로를 추적하는 단계;
    (c) 해당 표정 변화시 상기 표정 좌표점들 각각의 이동 경로가 동일한 방향성을 가지는지 여부를 판단하는 단계; 및
    (d) 상기 표정 좌표점들 각각의 이동 경로가 동일한 방향성을 가지는 경우 해당 접근자의 얼굴을 가상 얼굴로 결정하는 단계; 를 포함하는 것을 특징으로 하는 감시영상에서 얼굴의 진위 여부를 구별하는 방법.
  2. 제 1항에 있어서,
    상기 (b) 단계 이후에,
    (e) 상기 표정 좌표점들 각각의 이동 경로를 해당 표정에 상응하는 예측 경로와 비교하는 단계; 및
    (f) 상기 표정 좌표점들 각각의 이동 경로가 해당 표정에 상응하는 예측 경로들과 소정 범위 이상 차이가 있는 경우 해당 접근자의 얼굴을 가상 얼굴로 결정하는 단계; 를 더 포함하는 것을 특징으로 하는 감시영상에서 얼굴의 진위 여부를 구별하는 방법.
  3. 제 1항 또는 제 2항에 있어서,
    상기 표정 좌표점은 해당 촬영된 얼굴 영상에서 진위 여부 판별을 위해 추적하게 되는 얼굴상의 특정 좌표로, 눈썹의 시작점과 끝점, 눈동자의 중심점, 좌우 각각의 눈에서 대칭되는 좌우점 및 상하점, 입술의 대칭되는 좌우점 및 상하점 중 적어도 하나 이상인 것을 특징으로 하는 감시영상에서 얼굴의 진위 여부를 구별하는 방법.
  4. 제 3항에 있어서,
    상기 (b) 단계 이전에,
    표정 좌표점들의 이동경로 변화 여부를 통해 해당 접근자의 얼굴에 표정변화가 있는지 여부를 판단하고, 해당 접근자의 얼굴에 표정변화가 없는 경우, 해당 접근자에게 특정 표정을 요청하는 단계; 를 더 포함하는 것을 특징으로 하는 감시영상에서 얼굴의 진위 여부를 구별하는 방법.
KR1020050076675A 2005-08-22 2005-08-22 감시영상에서 얼굴의 진위 여부를 구별하는 방법 KR100706871B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050076675A KR100706871B1 (ko) 2005-08-22 2005-08-22 감시영상에서 얼굴의 진위 여부를 구별하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050076675A KR100706871B1 (ko) 2005-08-22 2005-08-22 감시영상에서 얼굴의 진위 여부를 구별하는 방법

Publications (2)

Publication Number Publication Date
KR20070022446A true KR20070022446A (ko) 2007-02-27
KR100706871B1 KR100706871B1 (ko) 2007-04-12

Family

ID=41624909

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050076675A KR100706871B1 (ko) 2005-08-22 2005-08-22 감시영상에서 얼굴의 진위 여부를 구별하는 방법

Country Status (1)

Country Link
KR (1) KR100706871B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101016652B1 (ko) * 2009-02-05 2011-02-25 (주)아이피베이스 사용자 인증 시스템 및 사용자 인증 방법
KR101122971B1 (ko) * 2008-11-27 2012-03-16 후지쯔 가부시끼가이샤 생체 인증 장치, 생체 인증 방법, 및 생체 인증 프로그램을 기록한 컴퓨터로 판독가능한 기록 매체
KR101159164B1 (ko) * 2010-02-04 2012-06-22 목포대학교산학협력단 위조 영상 판별 장치 및 그 방법
US8515124B2 (en) 2010-02-04 2013-08-20 Electronics And Telecommunications Research Institute Method and apparatus for determining fake image
CN105518582A (zh) * 2015-06-30 2016-04-20 北京旷视科技有限公司 活体检测方法及设备、计算机程序产品
JP2017014806A (ja) * 2015-07-01 2017-01-19 アイフォーコム株式会社 笑顔連動制御システム
CN109919754A (zh) * 2019-01-24 2019-06-21 北京迈格威科技有限公司 一种数据获取方法、装置、终端及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030091345A (ko) * 2002-05-27 2003-12-03 (주)워치비젼 살아있는 얼굴의 진위 여부 검사 시스템 및 그 방법
KR100473600B1 (ko) * 2002-12-04 2005-03-10 삼성전자주식회사 얼굴 인식 시스템에서의 사진 판별 장치 및 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101122971B1 (ko) * 2008-11-27 2012-03-16 후지쯔 가부시끼가이샤 생체 인증 장치, 생체 인증 방법, 및 생체 인증 프로그램을 기록한 컴퓨터로 판독가능한 기록 매체
KR101016652B1 (ko) * 2009-02-05 2011-02-25 (주)아이피베이스 사용자 인증 시스템 및 사용자 인증 방법
KR101159164B1 (ko) * 2010-02-04 2012-06-22 목포대학교산학협력단 위조 영상 판별 장치 및 그 방법
US8515124B2 (en) 2010-02-04 2013-08-20 Electronics And Telecommunications Research Institute Method and apparatus for determining fake image
CN105518582A (zh) * 2015-06-30 2016-04-20 北京旷视科技有限公司 活体检测方法及设备、计算机程序产品
CN105518582B (zh) * 2015-06-30 2018-02-02 北京旷视科技有限公司 活体检测方法及设备
JP2017014806A (ja) * 2015-07-01 2017-01-19 アイフォーコム株式会社 笑顔連動制御システム
CN109919754A (zh) * 2019-01-24 2019-06-21 北京迈格威科技有限公司 一种数据获取方法、装置、终端及存储介质

Also Published As

Publication number Publication date
KR100706871B1 (ko) 2007-04-12

Similar Documents

Publication Publication Date Title
JP4650669B2 (ja) 動体認識装置
KR102465532B1 (ko) 객체 인식 방법 및 장치
KR100831122B1 (ko) 얼굴 인증 장치, 얼굴 인증 방법, 및 출입 관리 장치
KR100706871B1 (ko) 감시영상에서 얼굴의 진위 여부를 구별하는 방법
US20220406065A1 (en) Tracking system capable of tracking a movement path of an object
JP5730095B2 (ja) 顔画像認証装置
KR20160058129A (ko) 홍채 기반 생체 인식을 위한 방법 및 장치
JP2004213087A (ja) 個人認証装置および個人認証方法
Prakash et al. A biometric approach for continuous user authentication by fusing hard and soft traits.
JP5808974B2 (ja) 顔画像認証装置
JP2008071172A (ja) 顔認証装置、顔認証方法および入退場管理装置
Findling et al. Towards face unlock: on the difficulty of reliably detecting faces on mobile phones
US10970953B2 (en) Face authentication based smart access control system
KR20190093799A (ko) Cctv를 통한 실시간 실종자 얼굴 인식 시스템 및 그 방법
JP2006236260A (ja) 顔認証装置、顔認証方法および入退場管理装置
Yustiawati et al. Analyzing of different features using Haar cascade classifier
Adil et al. Automated invigilation system for detection of suspicious activities during examination
JP2005084824A (ja) 顔画像照合装置、顔画像照合方法及び通行制御装置
KR20110006971A (ko) 출입통제시스템의 출입인증 사용자에 대한 출입허가용 정면얼굴 영상 검출 방법
JP2010086403A (ja) 顔認識装置、顔認識方法、及び通行制御装置
KR101011272B1 (ko) 출입통제시스템의 복수 사용자 출입 제한 방법
Venugopalan et al. Unconstrained iris acquisition and recognition using cots ptz camera
Akhdan et al. Face recognition with anti spoofing eye blink detection
EP3961483A1 (en) Method and system for authenticating an occupant within an interior of a vehicle
JP2013210824A (ja) 顔画像認証装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130402

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140204

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150302

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160328

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170329

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20180508

Year of fee payment: 12

LAPS Lapse due to unpaid annual fee