KR100863882B1 - 얼굴인식 보안 감시 방법과 이에 적용되는 얼굴인식장치 - Google Patents

얼굴인식 보안 감시 방법과 이에 적용되는 얼굴인식장치 Download PDF

Info

Publication number
KR100863882B1
KR100863882B1 KR1020060094333A KR20060094333A KR100863882B1 KR 100863882 B1 KR100863882 B1 KR 100863882B1 KR 1020060094333 A KR1020060094333 A KR 1020060094333A KR 20060094333 A KR20060094333 A KR 20060094333A KR 100863882 B1 KR100863882 B1 KR 100863882B1
Authority
KR
South Korea
Prior art keywords
face
pixel
value
component
region
Prior art date
Application number
KR1020060094333A
Other languages
English (en)
Other versions
KR20080028700A (ko
Inventor
김종헌
이규원
Original Assignee
김종헌
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김종헌 filed Critical 김종헌
Priority to KR1020060094333A priority Critical patent/KR100863882B1/ko
Publication of KR20080028700A publication Critical patent/KR20080028700A/ko
Application granted granted Critical
Publication of KR100863882B1 publication Critical patent/KR100863882B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

얼굴인식 보안 감시 방법과 이에 적용되는 얼굴인식장치가 개시되어 있다. 본 발명에 따른 얼굴인식장치는 객체의 실시간 동영상을 화소 단위 차연산을 통해 유효움직임 화소 및 배경 화소로 구분하고, 유효움직임 화소 및 배경 화소에 대한 수평수직 투영연산을 실행하여 인체영역후보군을 검출하며, 인체영역후보군을 토대로 컬러공간 융합 필터링에 의해 검출된 얼굴영역과 기 저장중인 기준 템플릿 간의 교차상관 정합 필터링을 통해 각 얼굴구성요소의 왜곡 여부를 판별하여 보안대상 기기의 동작 실행을 제어하는 것을 특징으로 한다. 따라서, 본 발명은 이용자가 보안대상기기를 이용하기 이전에 보다 향상된 얼굴인식 기술을 기반으로 얼굴의 각 구성요소를 판단함으로써, 사전에 불법적인 거래를 방지할 수 있다.
얼굴인식, 보안, 영상

Description

얼굴인식 보안 감시 방법과 이에 적용되는 얼굴인식장치{METHOD FOR PRESERVING OF A PUBLIC PEACE BY MEANS OF A FACE RECOGNITION, AND A FACE RECOGNITION APPARATUS}
도 1은 본 발명의 일실시 예에 따른 얼굴인식장치를 도시한 구성도,
도 2는 도 1에 도시된 얼굴인식장치에 의해 양자화된 얼굴영역의 이진 영상을 도시한 도면,
도 3은 도 1에 도시된 얼굴인식장치에 의해 양자화된 얼굴영역과 다른 피부색 영역의 이진 영상을 함께 도시한 도면,
도 4는 도 1에 도시된 얼굴인식장치에 의해 히스토그램 프로젝션을 실행하여 얼굴영역 경계를 설정하는 과정을 예시하기 위한 도면,
도 5는 도 1에 도시된 얼굴인식장치에 의해 얼굴영역의 중심, 폭 및 높이를 설정하는 과정을 예시하기 위한 도면, 그리고
도 6은 도 1에 도시된 얼굴인식장치의 실행과정을 도시한 플로우챠트이다.
< 도면의 주요 부분에 대한 부호의 설명 >
100 : 얼굴인식장치 110 : 카메라구동부
120 : 영상입력부 130 : 영상캡쳐부
140 : 움직임검출부 150 : 인체영역후보 검출부
160 : 얼굴검출부 170 : 얼굴구성요소 검출부
180 : 저장부 190 : 제어부
본 발명은 얼굴인식 보안 감시 방법과 이에 적용되는 얼굴인식장치에 관한 것으로, 더욱 상세하게는 은행과 같은 금융기관에서 요구되는 것으로 컬러공간 융합 필터링에 의해 사람의 얼굴을 보다 향상된 기술로 인식하여 불법적인 거래를 사전에 방지하기 위한 얼굴인식 보안 감시 방법과 이에 적용되는 얼굴인식장치에 관한 것이다.
최근, 자동화 기술분야의 발전에 따라 금융기관에 현금자동지급기, 현금 및 수표 자동입출금기 등이 급속하게 보급되고 있는 상황이다. 이와 같이 자동지급기가 급속하게 보급되고 있는 상황 속에 타인의 신용카드 또는 통장과 비밀번호를 이용하여 현금 또는 수표를 인출하는 금융범죄가 상당히 증가하고 있는 추세이다. 이에 대비하여 금융기관에서는 자동화기에 무인 카메라를 설치하여 모든 거래자의 거래상황을 촬영 및 녹화하였다가 녹화된 기록매체를 이용하여 범죄자의 얼굴을 식별하고 있다.
하지만, 통상의 범죄자가 여러가지 방법으로 얼굴을 가릴 경우 채집된 영상을 통하여도 범죄자 확인이 어려워 그 실용성이 저하된다. 또한, 기존의 인식 알고리즘만으로는 인식율의 문제로 인해 이용객의 불편을 야기할 문제가 다분하여 얼굴 인식에 의한 보안 감시 시스템의 실용화에 많은 어려움이 있는 실정이다.
따라서, 본 발명은 상기의 문제점들을 해결하기 위해 창출된 것으로, 본 발명의 목적은 금융기관과 자동화기기를 이용하는 이용자의 얼굴을 다양한 스킨 컬러 필터링, 얼굴이 아닌 다른 피부색 영역으로 인한 얼굴인식 오류를 방지하기 위한 히스토그램 프로젝션 및 반복 얼굴인식 연산실행, 각 얼굴구성요소의 배치 및 컬러 필드가 설정된 기준 템플릿과 얼굴영역을 매칭하여 이용자의 얼굴에 대한 각 구성요소를 확인하여 보안대상 기기의 동작실행을 제어하는 얼굴인식 보안 감시 방법과 이에 적용되는 얼굴인식장치를 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 제 1 관점에 따른 얼굴인식장치는, 객체의 실시간 동영상을 화소 단위 차연산을 통해 유효움직임 화소 및 배경 화소로 구분하고, 상기 유효움직임 화소 및 배경 화소에 대한 수평수직 투영연산을 실행하여 인체영역후보군을 검출하며, 상기 인체영역후보군을 토대로 컬러공간 융합 필터링에 의해 검출된 얼굴영역과 기 저장중인 기준 템플릿 간의 교차상관 정합 필터링을 통해 각 얼굴구성요소의 왜곡 여부를 판별하여 보안대상 기기의 동작 실행을 제어하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위한 본 발명의 제 2 관점에 따른 얼굴인식 보안 감시 방법은, (가) 상기 얼굴인식장치는 객체의 움직임을 동영상으로 실시간 촬영하는 단계, (나) 매 동영상의 각 화소에 대한 차연산을 실행하여 생성된 결과값 을 토대로 상기 동영상을 유효움직임 화소 및 배경 화소로 구분하는 단계, (다) 상기 유효움직임 화소 및 배경 화소에 대한 수평수직 투영연산을 실행하여 인체영역후보군을 검출하는 단계, (라) 상기 인체영역후보군에 대한 컬러공간 융합 필터링을 반복 실행하여 얼굴영역을 검출하는 단계, (마) 각 얼굴구성요소를 예정된 비율에 따라 분할하고, 분할된 각 얼굴구성요소에 대응하는 컬러필드로 사전 설정된 기준 템플릿과 상기 얼굴영역을 매칭하는 단계 및 (바) 상기 얼굴영역을 이루는 각 구성요소의 왜곡 여부를 판별하여 상기 보안대상 기기의 동작 여부를 결정하고, 상기 얼굴영역을 저장하는 단계를 포함하는 것을 특징으로 한다.
이하, 첨부도면들을 참조하여 본 발명에 따른 얼굴인신장치(100)의 바람직한 실시예를 보다 상세히 설명하면 다음과 같다.
도 1은 본 발명의 일실시 예에 따른 얼굴인신장치(100)를 도시한 구성도이다. 도 1에 도시된 바와 같이, 상기 얼굴인신장치(100)는 소정의 객체에 대한 동영상을 실시간으로 촬영하여 매 동영상 간의 차연산을 통해 유효움직임 화소 및 배경 화소로 구분하고, 수평수직 투영연산을 통해 상기 유효움직임 화소를 검출하여 컬러공간 융합 필터링에 의한 얼굴영역을 검출하며, 통상의 일반 사람에 대한 각 얼굴구성요소에 대한 분할위치와 상기 분할위치에 대응하는 컬러 필드로 구비되는 기준 템플릿과 상기 얼굴영역을 매칭하여 각 얼굴구성요소의 왜곡 여부를 판별함에 따라, 금융기관과 관련된 자동화기기와 같은 보안대상 기기의 동작을 제어한다.
더욱 상세하게, 상기 얼굴인신장치(100)는 카메라구동부(110), 영상입력 부(120), 영상캡쳐부(130), 움직임검출부(140), 인체영역후보 검출부(150), 얼굴검출부(160), 얼굴구성요소 검출부(170), 저장부(180) 및 제어부(190)를 포함한다.
또한, 영상입력부(120)는 카메라구동부(110)를 통해 실시간으로 특정지역을 촬영한 동영상을 인가받으며, 상기 영상캡쳐부(130)를 통해 인가받은 동영상의 다중영상신호를 디지털 프레임 단위로 변환하게 된다. 실시간 인가되는 다중 디지털 프레임의 각 화소 위치에 대한 차연산을 실행하는 움직임검출부(140)가 차연산 실행결과로 생성되는 결과값을 통해 영상화면을 유효움직임 화소 및 배경 화소로 구분 판별한다.
상기 움직임검출부(140)에서 실행하는 차연산은 실시간 인가되는 매 동영상의 각 화소에 대한 컬러 변화율에 대한 값을 결과값으로 하는 연산과정이다. 또한, 상기 움직임검출부(140)는 상기 컬러 변화율이 미비하여 정지영상 화소로 생각하여도 무방할 정도의 경계치인 임계값을 토대로 각 화소에 대한 결과값이 상기 임계값 이상인 경우에는 유효움직임 화소로 설정하고, 상기 결과값이 임계값 미만인 경우에는 매 동영상에 대한 컬러 변화율이 작으므로 배경 화소로 설정한다.
또한, 인체영역후보 검출부(150)는 촬영된 영상화면에 대한 수평수직 투영연산을 실행하여 유효움직임 화소를 검출하고, 상기 유효움직임 화소와 배경 화소 간의 경계를 이루는 좌표정보를 인체영역후보군을 이루는 좌표정보로 형성한다.
상기 인체영역후보군의 좌표정보를 인가받은 얼굴검출부(160)가 인체영역후보군의 좌표정보 내의 영상영역에 대한 컬러공간 융합 필터링을 실행하여 소정의 얼굴영역을 추출하고, 반복적으로 상기 얼굴영역에 대한 오차를 줄이기 위한 연산 과정을 실행하여 보다 정확한 얼굴영역을 추출한다.
이를 위해, 얼굴검출부(160)는 색도(Chromaticity) 스킨 컬러 필터링에 의한 얼굴영역 검출에서의 색도(Chromaticity), HSI(Hue, Saturation, Intensity) 스킨 컬러 필터링에 의한 얼출영역 검출에서의 색상값(H), YIQ 스킨 컬러 필터링에 의한 얼굴영역 검출에서의 I 성분값에 대한 각각의 평균값 및 분산을 구한다. 또한, 각 스킨 컬러 필터링에서 사용될 파라미터인 각각의 평균값 및 분산을 토대로 상기 인체영역후보군을 이루는 각 화소의 색도값, HSI 모델에서의 색상값(H) 또는 YIQ 모델에서의 I 성분값이 각각 대응하는 평균값에 가까워질수록 얼굴후보 화소로 하는 것이 바람직하고, 상기 평균값에 가까워지는 정도에 대한 예정된 레벨 형성은 얼굴후보 화소 형성을 위한 임의적인 조작에 의해 실행되는 것으로써, 특정 수치로 한정하는 것에 큰 의미는 없다. 이에 따라, 상기 인체영역후보군을 이루는 각 화소의 색도값, HSI 모델에서의 색상값(H) 또는 YIQ 모델에서의 I 성분값이 예정된 레벨 이상으로 상기 평균값에 접근하면 얼굴후보 화소로 설정하며, 상기 얼굴후보 화소로 설정된 다수의 화소에 대한 전체 평균연산을 실행하여 얼굴영역을 검출한다. 아울러, 스킨 컬러 필터링 과정에서 사람의 피부색에는 파란색 성분의 거의 없기 때문에 좀처럼 고려하지 않으며, 상기 I 성분값이라 함은 시안색에서 적색까지의 분포를 나타낸다.
더 나아가, 얼굴검출부(160)는 인체영역 후보군을 이루는 각 화소에 대한 색도 스킨 컬러 필터링을 실행할 경우, 영상화면의 각 화소에 대한 적색 및 녹색성분 색도값을 다음의 수학식
Figure 112008011545312-pat00071
(여기서,
Figure 112008011545312-pat00072
은 적색성분의 색도값,
Figure 112008011545312-pat00073
는 녹색성분의 색도값,
Figure 112008011545312-pat00074
는 청색성분의 색도값,
Figure 112008011545312-pat00075
은 적색 성분의 평균값,
Figure 112008011545312-pat00076
는 녹색성분의 평균값,
Figure 112008011545312-pat00077
은 적색성분의 분산 및
Figure 112008011545312-pat00078
는 녹색성분의 분산)
삭제
을 통해 연산처리하여 얼굴후보 화소로 설정한다.
상기 수학식에서 적색 성분 또는 녹색 성분의 해당 픽셀이 상기 각 평균값에 매우 근접하면 수학식의 윗식의 괄호안은 0에 가까워지고, 반대로 각 해당 픽셀이 각 평균값과 많은 차이를 내면 수식은 음의 무한대가 된다. 이에 따라, 지수함수에 의한 필터링 후의 값은 해당 픽셀이 각 평균값에 근접할수록 1에 접근하고, 피부색과 차이가 큰 값에 근접할 경우에는 0에 접근하게 된다.
또한, 상기 얼굴검출부(160)는 인체영역 후보군을 이루는 각 화소에 대한 HSI 스킨 컬러 필터링을 실행할 경우, 각 화소의 색상값(H)는 수학식
Figure 112006070507278-pat00006
을 통한 연산과정을 거쳐 구하고, 각 화소의 색상값(H)을 수학식
Figure 112006070507278-pat00007
(여기서,
Figure 112006070507278-pat00008
는 색상값(H)의 평균값,
Figure 112006070507278-pat00009
는 색상값(H)의 분산)
에 대입하여 소정의 얼굴후보 화소로 설정되는 과정을 거친다. 이러한 과정은 지수함수를 취한 필터링 후의 해당 픽셀이 색상값(H)의 평균값에 가까워질수록 1에 접근하고, 해당 픽셀이 색상값(H)의 평균값으로부터 멀어질수록 0에 접근함에 따라, 1에 접근하는 얼굴후보 화소를 취합하여 소정의 얼굴영역이 된다.
그리고, 얼굴검출부(160)는 인체영역 후보군을 이루는 각 화소에 대한 YIQ 스킨 컬러 필터링을 실행할 경우, I 성분값을 토대로 얼굴후보 화소를 추출한다. 상기 I 성분값에 관련된 수학식
Figure 112006070507278-pat00010
을 통해 각 픽셀의 색도값을 구하고, 수학식
Figure 112008011545312-pat00079
을 통한 연산으로 얼굴후보 화소를 설정한다. 이에서도 지수함수를 취한 필터링 후의 해당 픽셀이 적색 또는 녹색 성분의 각 평균값이 가까워질수록 1에 접근 하고, 반대의 경우엔 0에 접근함에 따라 얼굴후보 화소를 분별할 수 있다.
한편, 얼굴검출부(160)는 상기 각 스킨 컬러 필터링으로 생성된 결과값의 평균연산을 실행한 얼굴후보 화소를 토대로 유효자리 비트수를 줄이기 위한 양자화를 실행하여 그레이스케일 이미지로 변환한 후, 예정된 레벨의 경계 임계치를 갖는 이진 영상을 형성한다.
도 2는 도 1에 도시된 얼굴인신장치(100)에 의해 양자화된 얼굴영역의 이진 영상을 도시한 도면이다. 도 2에 도시된 바와 같이, 상기 얼굴검출부(160)를 통해 이진 형상의 경계 임계치의 픽셀 레벨 최대값인 255값을 설정하면, 피부색 영역은 흰색으로 나타난다. 또한, 흰색 영역의 피부색 영역에 대한 수평수직 히스토그램 프로젝션을 실행하면, 수평축으로 한 라인씩 스캔하면서 배열에 카운트된 흰색 픽셀수를 저장하고, 수직축으로 한 라인씩 스캔하면서 배열에 카운트된 흰색 픽셀수를 저장한다.
더 나아가, 인체영역후보군을 통해 얼굴영역을 추출하는 과정에서 피부색 영역에 대한 다수 컬러 필터링 과정을 거쳐 상기 얼굴영역을 추출함에 따라, 도 3과 같이 이진 영상화된 화면상에는 얼굴영역과 다른 피부색 영역도 함께 나타날 수 있다.
이에 따라, 도 4에 예시된 도면과 같이 얼굴검출부(160)는 프로젝션된 최대값을 이용하여 얼굴영역을 설정할 수 있다. 일반적으로 얼굴은 타원형의 형태로 나타나므로 프로젝션하게 되면 위로 볼록한 포물선 형태로 나타나게 되며, 도 4에 도시된 바와 같이 얼굴외에도 다른 피부색 영역이 있을 수 있기 때문에 프로젝션 곡 선상의 최대값을 구하고, 최대값을 기준으로 좌우 25%되는 라인 점까지를 얼굴영역으로 설정할 수 있다. 하지만, 실제로 얼굴이 아닌 다른 피부색 영역이 최대값을 갖는 경우가 발생할 수 있음에 따라, 이진 영상에 대한 수직방향 히스토그램 프로젝션을 실행하여 수직축의 피부색 픽셀수를 저장하고, 수평축은 프로젝션 실행한 수직축과의 일정 비율을 통해 설정됨에 따라 얼굴영역을 설정한다. 통상의 사람 얼굴에 대한 수평수직 비율은 3:4로 설정되는 것이 바람직하다.
또한, 도 5는 도 1에 도시된 얼굴인신장치(100)에 의해 얼굴영역의 중심, 폭 및 높이를 설정하는 과정을 예시하기 위한 도면이다. 도 5에 도시된 바와 같이, 이진 영상에 얼굴영역이 아닌 다른 피부색 영역이 포함된 것을 처리하기 위한 과정을 실행한다. 이러한 과정을 위한 얼굴검출부(160)는 이진 영상에 대한 히스토그램 프로젝션을 실행한 후, 수학식
Figure 112006070507278-pat00012
,
Figure 112006070507278-pat00013
(여기서,
Figure 112006070507278-pat00014
와
Figure 112006070507278-pat00015
는 상기 피부색 영역의 중심점 좌표,
Figure 112006070507278-pat00016
와
Figure 112006070507278-pat00017
는 상기 피부색 영역의 경계위치 값,
Figure 112006070507278-pat00018
와
Figure 112006070507278-pat00019
는 상기 경계위치 값에 대한 프로젝션 값)
을 통해 얼굴영역의 중심점 좌표를 구하고, 수학식
Figure 112006070507278-pat00020
,
Figure 112006070507278-pat00021
(여기서,
Figure 112006070507278-pat00022
는 피부색 영역의 폭,
Figure 112006070507278-pat00023
는 피부색 영역의 높이,
Figure 112006070507278-pat00024
와
Figure 112006070507278-pat00025
는 반복하여 수정되는 피부색 영역의 중심점 좌표,
Figure 112006070507278-pat00026
와
Figure 112006070507278-pat00027
는 스케일링 상수임)
을 통해 얼굴영역의 폭과 높이를 구하여 상기 얼굴영역을 특정한 후, 다른 피부색 영역을 배제하는 과정을 실행하고, 상기 얼굴영역의 중심점, 폭 및 높이를 구하는 과정을 반복하여 실행하면 보다 정확한 얼굴영역을 도출할 수 있다.
또한, 얼굴구성요소 검출부(170)는 상기 도출된 얼굴영역에 대한 예정된 레벨의 밝기 및 크기를 정규화하고, 정규화된 얼굴영역과 기 저장중인 기준 템플릿 간의 교차상관 정합 필터링을 통한 결과값에 따라 각 얼굴 구성요소를 검출하여 그 왜곡여부를 판별한다. 상기 얼굴구성요소 검출부(170)는 정규화된 얼굴영역의 채도값(S; Saturation) 및 색상값(H)과 기준 템플릿의 채도값(S) 및 색상값 간의 교차 상관 정합 필터링을 실행하여 생성된 각 얼굴구성 예비영역의 결과값이 예정된 레벨의 임계값보다 크고 그 중에서 최대값을 이루는 영역을 각각의 얼국구성요소로 설정한다.
이에 더하여, 상기 교차상관 정합 필터링은 기준 템플릿에 대응하여 얼굴영역의 픽셀들을 수학식
Figure 112008011545312-pat00080

(여기서,
Figure 112008011545312-pat00081
는 그레이 스케일 영상이고,
Figure 112008011545312-pat00082
은 기준 템플릿인 것으로 정의함)
삭제
삭제
을 통해 상호 매칭도를 구하여 기준 템플릿의 각 얼굴구성요소를 이루는 좌표정보에 대응하는 얼굴영역의 각 얼굴구성요소가 구비되는지를 판별함에 따라, 각 얼굴구성요소의 왜곡 여부를 판별한다.
한편, 상기 얼굴구성요소 검출부(170)는 상기 얼굴영역에 대한 예정된 레벨의 밝기 및 크기의 정규화를 수학식
Figure 112008011545312-pat00083

(여기서,
Figure 112008011545312-pat00084
은 그레이 스케일 영상이고,
Figure 112008011545312-pat00085
은 기준 템플릿이며,
Figure 112008011545312-pat00086
은 국소영역의 평균값이고,
Figure 112008011545312-pat00087
은 국소영역의 밝기 세기를 나타냄)
삭제
삭제
을 통해 실행한다.
아울러, 제어부(190)는 영상입력부(120), 영상캡쳐부(130), 움직임검출부(140), 인체영역후보 검출부(150), 얼굴검출부(160), 얼굴구성요소 검출부(170) 및 저장부(180)의 입출력 신호를 제어하기 위한 동작신호를 생성하고, 상기 얼굴구성요소 검출부(170)의 왜곡 여부 판별결과에 따라 상기 보안 대상기기의 동작 여부에 대한 제어 설정을 한다.
또한, 저장부(180)는 상기 제어부(190)의 얼굴영역 저장을 위한 동작신호를 인가받아 기준 템플릿과 임계영역 내에서 매칭하는 얼굴영역을 저장한다.
이하에서는, 첨부도면을 참조하여 본 발명에 따른 얼굴인신장치(100)의 동작과정에 대해 보다 상세히 설명하면 다음과 같다.
상기 얼굴인신장치(100)는 금융기관과 관련된 자동화기기와 같은 보안대상 기기를 이용하기 위하여 출입하는 이용자에 대한 동영상을 실시간으로 촬영한다(S100). 상기 S100 단계에서 촬영한 매 동영상에 대한 각 화소를 기준으로 컬러 변화율을 측정하기 위한 차연산을 실행한다(S102). 상기 컬러 변화율이 큰 결과값은 각 화소에 대치되는 컬러가 자주 변화한다는 의미로써, 이러한 결과값에 해당하는 화소는 유효움직임 화소로 설정하고, 상기 컬러 변화율이 적은 결과값은 각 화소에 대치되는 컬러가 임계치 이내로 변화하는 것을 의미하므로 이러한 결과값에 해당하는 화소는 배경 화소로 설정한다(S104).
또한, 얼굴인신장치(100)는 유효움직임 화소 및 배경 화소로 구분되는 영상화면에 대한 수평수직 투영연산을 실행하여 상기 유효움직임 화소를 검출한다(S106). 아울러, 상기 유효움직임 화소와 상기 배경 화소 간의 경계 좌표정보를 토대로 인체영역후보군을 설정하고(S108), 상기 설정한 인체영역후보군에 대한 다양한 스킨 컬러 필터링, 히스토그램 프로젝션, 얼굴영역 오차방치 연산 반복 실행 등의 컬러공간 융합 필터링을 실행한다(S110). 상기 S110 단계를 통해 얼굴영역이 검출되면(S112), 얼굴구성요소 검출을 위한 기준 템플릿에 매칭하기 위하여 상기 얼굴영역에 대한 밝기 및 크기의 정규화를 실행한다(S114). 이후로, 정규화된 얼굴영역과 기준 템플릿 간의 매칭을 실행하고(S116), 상기 정규화된 얼굴영역의 소정의 얼굴구성요소가 가려져 해당 구성요소의 배치 및 컬러 필드를 확인할 수 없을 경우에는 이용자이 보안대상 기기 이용을 사전에 차단하며, 반대로 상기 정규화된 얼굴영역의 각 얼굴구성요소가 임계영역 내에서 기준 템플릿과 매칭하는 것으로 확인되면 이용자의 보안대상 기기 이용이 가능하다(S118, S120). 이에 따라, 보안대상 기기를 이용하는 이용자의 얼굴영역을 캡쳐하여 저장하게 된다(S122).
상기에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
따라서, 본 발명에서는 촬영한 동영상으로부터 유효움직임 화소를 검출하고, 검출한 유효움직임 화소를 토대로 인체영역후보군을 설정하여 컬러공간 융합 필터링에 의해 보다 정확한 얼굴영역을 추출하며, 상기 얼굴영역에 대한 템플릿 매칭을 통해 각 얼굴구성요소의 왜곡 여부를 판별하여 보안대상 기기의 동작을 제어함으로써, 사전에 불법적인 거래를 방지하여 금융거래의 신뢰도를 향상시킬 수 있는 이점이 있다.

Claims (19)

  1. 객체의 실시간 동영상을 화소 단위 차연산을 통해 유효움직임 화소 및 배경 화소로 구분하고, 상기 유효움직임 화소 및 배경 화소에 대한 수평수직 투영연산을 실행하여 인체영역후보군을 검출하며, 상기 인체영역후보군을 토대로 컬러공간 융합 필터링에 의해 검출된 얼굴영역과 기 저장중인 기준 템플릿 간의 교차상관 정합 필터링을 통해 각 얼굴구성요소의 왜곡 여부를 판별하여 보안대상 기기의 동작 실행을 제어하는 것을 특징으로 하고,
    상기 객체의 움직임을 동영상으로 실시간 촬영하는 영상입력부;
    상기 촬영된 영상의 다중영상신호를 디지털 프레임 단위로 변환하는 영상캡쳐부;
    다중 디지털 프레임의 각 화소에 대한 차연산을 실행하여 생성되는 결과값에 따라 상기 유효움직임 화소 및 배경 화소를 판별하는 움직임검출부;
    상기 유효움직임 화소 및 배경 화소에 대한 수평수직 투영연산을 실행하여 생성된 상호 비례결과에 따라 인체영역후보군의 좌표정보를 형성하는 인체영역후보 검출부;
    상기 인체영역후보군의 좌표정보에 대한 상기 컬러공간 융합 필터링을 반복 실행하여 얼굴영역을 검출하는 얼굴검출부;
    상기 얼굴영역에 대한 예정된 레벨의 밝기 및 크기의 정규화를 실행하고, 정규화된 얼굴영역과 기 저장중인 기준 템플릿 간의 교차상관 정합 필터링을 통한 결과값에 따라 각 얼굴 구성요소를 검출하여 그 왜곡 여부를 판별하는 얼굴구성요소 검출부;
    상기 기준 템플릿과 임계영역 내에서 매칭하는 얼굴영역을 저장하는 저장부; 및
    상기 영상입력부, 영상캡쳐부, 움직임검출부, 인체영역후보 검출부, 얼굴검출부, 얼굴구성요소 검출부 및 저장부의 입출력 신호를 제어하기 위한 동작신호를 생성하고, 상기 얼굴구성요소 검출부의 왜곡 여부 판별결과에 따라 상기 보안 대상기기의 동작 여부를 결정하기 위한 제어부를 포함하는 것을 특징으로 하는 얼굴인식장치.
  2. 삭제
  3. 제 1 항에 있어서, 상기 움직임검출부는
    상기 다중 디지털 프레임의 각 화소를 기준으로 실시간 인가되는 동영상을 상호 비교하여 컬러 변화율을 결과값으로 하는 차연산을 실행하는 것을 특징으로 하는 얼굴인식장치.
  4. 제 3 항에 있어서, 상기 움직임검출부는
    상기 결과값이 정지영상 화소로 설정되는 경계치인 임계값보다 이상인 경우에는 상기 유효움직임 화소로 설정하고, 상기 결과값이 임계값 미만인 경우에는 상 기 배경 화소로 설정하는 것을 특징으로 하는 얼굴인식장치.
  5. 제 1 항에 있어서, 상기 인체영역후보 검출부는
    상기 유효움직임 화소 및 배경 화소로 이루어진 영상에 대한 수평수직 투영연산을 실행하여 상기 유효움직임 화소와 상기 배경 화소를 이루는 경계영역을 상기 인체영역후보군의 좌표정보로 설정하는 것을 특징으로 하는 얼굴인식장치.
  6. 제 1 항에 있어서, 상기 얼굴검출부는
    상기 인체영역 후보군을 이루는 각 화소의 색도값, HSI 모델의 색상값(H) 또는 YIQ 모델의 I 성분값에 대한 각각의 평균값 및 분산을 구하고, 상기 각 화소의 색도값, HSI 모델의 색상값(H) 또는 YIQ 모델의 I 성분값이 각각 대응하는 평균값에 근사하여 예정된 레벨 이상이 될 경우 얼굴후보 화소로 설정하며, 상기 얼굴후보 화소로 설정된 다수의 화소에 대한 평균으로 생성된 얼굴영역을 검출하는 것을 특징으로 하는 얼굴인식장치.
  7. 제 6 항에 있어서, 상기 얼굴검출부는
    상기 인체영역 후보군을 이루는 각 화소에 대한 색도 스킨 컬러 필터링을 실행할 경우, 상기 각 화소의 적색 및 녹색성분 색도값을 수학식
    Figure 112008011545312-pat00088
    (여기서,
    Figure 112008011545312-pat00089
    은 적색성분의 색도값,
    Figure 112008011545312-pat00090
    는 녹색성분의 색도값,
    Figure 112008011545312-pat00091
    는 청색성분의 색도값,
    Figure 112008011545312-pat00092
    은 적색 성분의 평균값,
    Figure 112008011545312-pat00093
    는 녹색성분의 평균값,
    Figure 112008011545312-pat00094
    은 적색성분의 분산 및
    Figure 112008011545312-pat00095
    는 녹색성분의 분산)
    을 통해 연산하여 상기 얼굴후보 화소로 설정하는 것을 특징으로 하는 얼굴인식장치.
  8. 제 6 항에 있어서, 상기 얼굴검출부는
    상기 인체영역 후보군을 이루는 각 화소에 대한 HSI 스킨 컬러 필터링을 실행할 경우, 상기 각 화소의 색상값(H)는 수학식
    Figure 112008011545312-pat00039
    을 통해 구하고, 수학식
    Figure 112008011545312-pat00040
    (여기서,
    Figure 112008011545312-pat00096
    은 적색성분의 색도값,
    Figure 112008011545312-pat00097
    는 녹색성분의 색도값,
    Figure 112008011545312-pat00098
    는 청색성분의 색도값,
    Figure 112008011545312-pat00041
    는 색상값(H)의 평균값,
    Figure 112008011545312-pat00042
    는 색상값(H)의 분산)
    을 통해 연산하여 상기 얼굴후보 화소로 설정하는 것을 특징으로 하는 얼굴인식장치.
  9. 제 6 항에 있어서, 상기 얼굴검출부는
    상기 인체영역 후보군을 이루는 각 화소에 대한 YIG 스킨 컬러 필터링을 실행할 경우, 상기 I 성분값을 수학식
    Figure 112008011545312-pat00043
    을 통해 구한 각 색도값을 수학식
    Figure 112008011545312-pat00099
    (여기서,
    Figure 112008011545312-pat00100
    은 적색성분의 색도값,
    Figure 112008011545312-pat00101
    는 녹색성분의 색도값,
    Figure 112008011545312-pat00102
    는 청색성분의 색도값,
    Figure 112008011545312-pat00103
    은 적색 성분의 평균값,
    Figure 112008011545312-pat00104
    는 녹색성분의 평균값,
    Figure 112008011545312-pat00105
    은 적색성분의 분산 및
    Figure 112008011545312-pat00106
    는 녹색성분의 분산)
    을 통해 연산하여 상기 얼굴후보 화소로 설정하는 것을 특징으로 하는 얼굴인식장치.
  10. 제 7 항 내지 제 9 항 중 어느 하나의 항에 있어서, 상기 얼굴검출부는
    각 스킨 컬러 필터링하여 생성된 결과값을 토대로 유효자리 비트수를 줄이는 양자화를 실행하여 그레이스케일 이미지로 변환한 후, 예정된 레벨의 임계치를 갖는 이진 영상을 형성하는 것을 특징으로 하는 얼굴인식장치.
  11. 제 10 항에 있어서, 상기 얼굴검출부는
    상기 임계치를 픽셀 레벨 255값으로 설정하여 형성된 피부색 영역에 대한 수평수직 히스토그램 프로젝션을 실행하여 수평축의 피부색 픽셀수를 저장하고, 수직축의 픽셀수를 저장하는 것을 특징으로 하는 얼굴인식장치.
  12. 제 10 항에 있어서, 상기 얼굴검출부는
    상기 임계치를 픽셀 레벨 255값으로 설정하여 형성된 피부색 영역에 대한 수직 히스토그램 프로젝션을 실행하여 수직축의 피부색 픽셀수를 저장하고, 상기 수직축과 수평축의 비율이 4:3이 되도록 상기 수평축의 경계를 설정하는 것을 특징으로 하는 얼굴인식장치.
  13. 제 10 항에 있어서, 상기 얼굴검출부는
    상기 임계치로 인한 피부색 영역에 대한 히스토그램 프로젝션을 실행한 후, 수학식
    Figure 112008011545312-pat00045
    ,
    Figure 112008011545312-pat00046
    (여기서,
    Figure 112008011545312-pat00047
    와
    Figure 112008011545312-pat00048
    는 상기 피부색 영역의 중심점 좌표,
    Figure 112008011545312-pat00049
    와
    Figure 112008011545312-pat00050
    는 상기 피부색 영역의 경계위치 값,
    Figure 112008011545312-pat00051
    와
    Figure 112008011545312-pat00052
    는 상기 경계위치 값에 대한 프로젝션 값)
    을 통해 상기 피부색 영역의 중심을 구하고, 수학식
    Figure 112008011545312-pat00053
    ,
    Figure 112008011545312-pat00054
    (여기서,
    Figure 112008011545312-pat00055
    는 피부색 영역의 폭,
    Figure 112008011545312-pat00056
    는 피부색 영역의 높이,
    Figure 112008011545312-pat00057
    와
    Figure 112008011545312-pat00058
    는 반복하여 수정되는 피부색 영역의 중심점 좌표,
    Figure 112008011545312-pat00107
    및
    Figure 112008011545312-pat00108
    는 스케일링 상수)
    을 통해 상기 피부색 영역의 폭 및 높이를 구하는 연산을 반복 실행하여 근사값으로 생성된 상기 피부색 영역의 중심,폭 및 높이를 통해 얼굴영역을 설정하는 것을 특징으로 하는 얼굴인식장치.
  14. 제 1 항에 있어서, 상기 얼굴구성요소 검출부는
    상기 정규화된 얼굴영역의 채도값(S) 및 색상값(H)과 상기 기준 템플릿의 채도값(S) 및 색상값(H) 간의 교차상관 정합 필터링을 실행하여 생성된 각 얼굴구성 예비영역의 결과값이 예정된 레벨의 임계값보다 크고 최대값을 이루는 영역을 각각의 얼굴 구성요소로 설정하는 것을 특징으로 하는 얼굴인식장치.
  15. 제 14 항에 있어서, 상기 교차상관 정합 필터링은
    상기 기준 템플릿에 대응하여 상기 얼굴영역의 픽셀들을 수학식
    Figure 112008011545312-pat00109
    (여기서,
    Figure 112008011545312-pat00060
    는 그레이 스케일 영상이고,
    Figure 112008011545312-pat00061
    은 기준 템플릿인 것으로 정의함)
    을 통해 실행하는 것을 특징으로 하는 얼굴인식장치.
  16. 제 1 항에 있어서, 상기 얼굴구성요소 검출부는
    상기 얼굴영역에 대한 예정된 레벨의 밝기 및 크기의 정규화를 수학식
    Figure 112008044430254-pat00110
    (여기서,
    Figure 112008044430254-pat00111
    은 그레이 스케일 영상이고,
    Figure 112008044430254-pat00112
    은 기준 템플릿이며,
    Figure 112008044430254-pat00063
    은 국소영역의 평균값이고,
    Figure 112008044430254-pat00064
    은 국소영역의 밝기 세기를 나타냄)
    을 통해 실행하는 것을 특징으로 하는 얼굴인식장치.
  17. 얼굴인식을 통해 보안대상 기기의 동작 여부를 결정하기 위한 얼굴인식장치를 구비하는 얼굴인식 보안 감시 방법에 있어서,
    (가) 상기 얼굴인식장치는 객체의 움직임을 동영상으로 실시간 촬영하는 단계;
    (나) 매 동영상의 각 화소에 대한 차연산을 실행하여 생성된 결과값을 토대로 상기 동영상을 유효움직임 화소 및 배경 화소로 구분하는 단계;
    (다) 상기 유효움직임 화소 및 배경 화소에 대한 수평수직 투영연산을 실행하여 인체영역후보군을 검출하는 단계;
    (라) 상기 인체영역후보군에 대한 컬러공간 융합 필터링을 반복 실행하여 얼굴영역을 검출하는 단계;
    (마) 각 얼굴구성요소를 예정된 비율에 따라 분할하고, 분할된 각 얼굴구성요소에 대응하는 컬러필드로 사전 설정된 기준 템플릿과 상기 얼굴영역을 매칭하는 단계; 및
    (바) 상기 얼굴영역을 이루는 각 구성요소의 왜곡 여부를 판별하여 상기 보안대상 기기의 동작 여부를 결정하고, 상기 얼굴영역을 저장하는 단계를 포함하는 것을 특징으로 하는 얼굴인식 보안 감시 방법.
  18. 제 17 항에 있어서, 상기 (나) 단계는
    실시간 인가되는 매 동영상의 각 화소위치를 기준으로 컬러 변화율을 판별하는 차연산을 통해 생성된 결과값이 기 설정된 임계값 이상인 경우에는 상기 유효움직임 화소로 설정하고, 상기 결과값이 임계값 미만인 경우에는 상기 배경 화소로 설정하는 것을 특징으로 하는 얼굴인식 보안 감시 방법.
  19. 제 17 항에 있어서, 상기 (라) 단계는,
    (라-1) 상기 인체영역후보군을 이루는 각 화소에 대한 색도값을 토대로 색도 스킨 컬러 필터링을 실행하는 단계;
    (라-2) 상기 인체영역후보군을 이루는 각 화소에 대한 색상값(H)을 토대로 HSI 스킨 컬러 필터링을 실행하는 단계;
    (라-3) 상기 인체영역후보군을 이루는 각 화소에 대한 I 성분값을 토대로 YIQ 스킨 컬러 필터링을 실행하는 단계;
    (라-4) 상기 각 스킨 컬러 필터링의 결과값들의 평균을 구하여 생성된 피부색 영역의 양자화를 실행한 후, 그레이스케일 이미지로 변환하는 단계;
    (라-5) 상기 그레이스케일 이미지에 대한 영상구분 임계값을 설정하여 이진 영상으로 변환하는 단계;
    (라-6) 상기 이진 영상에 대한 히스토그램 프로젝션을 실행하여 수평수직축의 픽셀 수를 저장하는 단계;
    (라-7) 상기 이진 영상에 포함된 얼굴영역의 중심점, 폭 및 높이를 반복 연산하여 상기 얼굴영역을 추출하는 단계; 및
    (라-8) 상기 이진 영상에서 얼굴영역 이외의 다른 피부색 영역을 삭제하는 단계를 포함하는 것을 특징으로 하는 얼굴인식 보안 감시 방법.
KR1020060094333A 2006-09-27 2006-09-27 얼굴인식 보안 감시 방법과 이에 적용되는 얼굴인식장치 KR100863882B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060094333A KR100863882B1 (ko) 2006-09-27 2006-09-27 얼굴인식 보안 감시 방법과 이에 적용되는 얼굴인식장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060094333A KR100863882B1 (ko) 2006-09-27 2006-09-27 얼굴인식 보안 감시 방법과 이에 적용되는 얼굴인식장치

Publications (2)

Publication Number Publication Date
KR20080028700A KR20080028700A (ko) 2008-04-01
KR100863882B1 true KR100863882B1 (ko) 2008-10-15

Family

ID=39531587

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060094333A KR100863882B1 (ko) 2006-09-27 2006-09-27 얼굴인식 보안 감시 방법과 이에 적용되는 얼굴인식장치

Country Status (1)

Country Link
KR (1) KR100863882B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170015639A (ko) 2015-07-29 2017-02-09 대한민국(관리부서: 행정자치부 국립과학수사연구원장) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101989152B1 (ko) * 2012-02-10 2019-09-30 삼성전자주식회사 동영상 촬영 또는 재생 중, 정지 영상을 캡쳐하는 장치 및 방법
KR102145726B1 (ko) * 2016-03-22 2020-08-19 (주) 아키드로우 기계 학습 알고리즘을 이용한 도어 이미지 검출 방법 및 장치
CN117152819B (zh) * 2023-09-04 2024-04-19 广州市鹏驰信息科技有限公司 一种人脸识别方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990080293A (ko) * 1998-04-15 1999-11-05 정선종 분할 영역 기반 동영상 부호화 방법
JP2000097676A (ja) * 1998-09-24 2000-04-07 Sanyo Electric Co Ltd 顔向き検出方法及びその装置
KR20000060745A (ko) * 1999-03-19 2000-10-16 윤덕용 얼굴의 컬러 모델과 타원체 근사 모델을 이용한 실시간 얼굴 추적 방법 및 그 기록매체
KR20030062043A (ko) * 2002-01-16 2003-07-23 엘지전자 주식회사 화상 통신에서의 얼굴 검출 및 추적 시스템
US20050041868A1 (en) 2003-07-08 2005-02-24 Bertrand Chupeau Process and device for detecting faces in a colour image
US20060203107A1 (en) 2003-06-26 2006-09-14 Eran Steinberg Perfecting of digital image capture parameters within acquisition devices using face detection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990080293A (ko) * 1998-04-15 1999-11-05 정선종 분할 영역 기반 동영상 부호화 방법
JP2000097676A (ja) * 1998-09-24 2000-04-07 Sanyo Electric Co Ltd 顔向き検出方法及びその装置
KR20000060745A (ko) * 1999-03-19 2000-10-16 윤덕용 얼굴의 컬러 모델과 타원체 근사 모델을 이용한 실시간 얼굴 추적 방법 및 그 기록매체
KR20030062043A (ko) * 2002-01-16 2003-07-23 엘지전자 주식회사 화상 통신에서의 얼굴 검출 및 추적 시스템
US20060203107A1 (en) 2003-06-26 2006-09-14 Eran Steinberg Perfecting of digital image capture parameters within acquisition devices using face detection
US20050041868A1 (en) 2003-07-08 2005-02-24 Bertrand Chupeau Process and device for detecting faces in a colour image

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170015639A (ko) 2015-07-29 2017-02-09 대한민국(관리부서: 행정자치부 국립과학수사연구원장) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법

Also Published As

Publication number Publication date
KR20080028700A (ko) 2008-04-01

Similar Documents

Publication Publication Date Title
CN108038456B (zh) 一种人脸识别系统中的防欺骗方法
US11341669B2 (en) People flow analysis apparatus, people flow analysis system, people flow analysis method, and non-transitory computer readable medium
Bondi et al. Tampering detection and localization through clustering of camera-based CNN features
US7715596B2 (en) Method for controlling photographs of people
EP1426898B1 (en) Human detection through face detection and motion detection
CN106650669A (zh) 一种鉴别仿冒照片欺骗的人脸识别方法
KR100695155B1 (ko) 가리어진 얼굴 검출장치 및 방법과 이를 이용한 부정거래자식별장치 및 방법
CN110287791B (zh) 一种用于人脸图片的筛选方法和系统
KR20150022016A (ko) 얼굴 검증용 시스템들 및 방법
CN112396011B (zh) 一种基于视频图像心率检测及活体检测的人脸识别系统
CN101556717A (zh) 一种atm智能安保系统及监测方法
CN108416291B (zh) 人脸检测识别方法、装置和系统
JP2002507035A (ja) 個人識別のために記録された画像の正当性を認証する方法
US11315360B2 (en) Live facial recognition system and method
KR20190093799A (ko) Cctv를 통한 실시간 실종자 얼굴 인식 시스템 및 그 방법
CN110059634A (zh) 一种大场景人脸抓拍方法
KR100863882B1 (ko) 얼굴인식 보안 감시 방법과 이에 적용되는 얼굴인식장치
CN113449606A (zh) 一种目标对象识别方法、装置、计算机设备及存储介质
KR100825689B1 (ko) 얼굴 위장 판별 방법
CN109086728B (zh) 活体检测方法
CN104615985B (zh) 一种人脸相似度的识别方法
KR102329466B1 (ko) 실시간 얼굴 인식장치 및 방법
WO2020232889A1 (zh) 支票取现方法、装置、设备及计算机可读存储介质
Shinde et al. Identification of fake currency using soft computing
CN112711968A (zh) 人脸活体检测方法及其系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120824

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20130930

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee