KR100825689B1 - 얼굴 위장 판별 방법 - Google Patents

Abstract

본 발명은 구체적으로는 얼굴 및 얼굴 부위의 특징점 추출을 통하여 정상적인 얼굴과 비정상적인 얼굴을 구분하는 얼굴 위장 판별 방법에 관한 것으로, 조명 변화에 강인하며 고속의 처리가 가능하다. 현금지급기(CD) 및 현금자동입출금기(ATM)와 같은 금융자동화기기는 사용자가 금융자동화기기에 접근하여 기기를 조작하고, 금융거래를 시도하여야만 동작된다. 본 발명은 사용자가 접근하여 기기를 조작하는 순간부터 금융거래를 시도하는 순간까지의 카메라 영상을 분석하여 정상적인 얼굴과 비정상적인 얼굴을 구분하여 정상적인 얼굴일 경우에, 시도된 금융거래를 허가하여 부정 거래를 미연에 방지하고자 하는 기술이다.

본 발명은 CD, ATM과 같은 금융자동화기기에서 CMOS 및 CCD 카메라를 통하여 영상을 획득한 후, 얼굴을 검출하고 검출한 얼굴을 바탕으로 눈과 입술을 검출하여 검출한 얼굴이 신뢰성이 높은 얼굴 즉, 모자, 선글라스, 마스크 등으로 위장하지 않은 정상적인 얼굴일 경우에 금융거래를 허가하는 시스템으로 금융자동화기기에서의 부정 거래를 방지할 수 있다.

Description

얼굴 위장 판별 방법{Facial Disguise Discrimination method}

도 1은 기존의 수정 센서스 변환 (modified census transform)용 룩업테이블(Lookup Table)을 나타내는 개념도이다.

도 2는 본 발명에 따라서, 수정 센서스 변환 (modified census transform)용 룩업테이블(Lookup Table)에 하나의 룩업테이블(Lookup Table)을 하나 더 추가하여 전체 크기를 줄임을 나타내는 개념도이다.

도 3은 본 발명에 의한 얼굴 위장 판별 방법의 얼굴, 눈, 입 검출 알고리즘을 나타낸 플로우챠트이다.

도 4는 본 발명에 의한 얼굴 위장 판별 장치의 핵심 구조를 나타낸 블록도이다.

<도면의 주요 부분에 대한 부호의 설명>

10...입력 영상부 20...움직임 검출부

30...후보 영역 선택부 40...얼굴검출 및 이미지조절부

50...눈 검출부 60...입 검출부

70...정상 얼굴 검출부 80...눈 위장 판별 및 처리부

90...입 위장 판별 및 처리부 100...정상 얼굴 처리부

110...완료 판단제어부

본 발명은 CD, ATM등의 금융자동화기기의 금융거래에 있어서 부정 거래를 방지하기 위한 얼굴 위장 판별 방법에 관한 것으로, 보다 상세하게는 신뢰성이 낮은 얼굴 즉, 눈, 입 등을 모자, 선글라스, 마스크 등으로 위장한 얼굴을 가진 사용자가 금융 거래를 시도하는 경우 부정 거래로 인식하여 금융거래가 일어나지 않도록 하기 위한 얼굴 위장 판별 방법에 관한 것이다.

본 발명에서의 부정 거래라 함은 신뢰성이 낮은 얼굴 즉, 눈, 입 등을 모자, 선글라스, 마스크 등으로 위장한 얼굴을 가진 사용자가 시도하는 금융 거래를 말한다.

기존의 금융자동화기기는 현금 인출 카드, 사용자 식별을 위한 고유번호 및 비밀번호, 지문, 휴대폰 인증 등을 통하여 본인 확인 및 금융 거래의 허가를 하였다. 현재 CD, ATM등의 금융자동화기기를 통한 금융거래는 상당히 방대해지고 있으며 금융 거래 시 카드 사용량은 많아졌지만 사용 보안에 대한 부분은 제자리걸음을 하고 있다. 또한 금융자동화기기에서 타인의 비밀번호 등을 도용하는 금융사고 발생으로 인해 고객의 불안은 증가하고 있다.

이러한 이유로 금융자동화기기는 카메라를 통하여 사용자의 사진을 촬영하고 있지만, 얼굴을 위장한 경우는 사진이 전혀 도움이 되지 않으므로 얼굴의 위장을 판별하여 신뢰성이 낮은 얼굴의 경우에는 금융 거래를 제한하여 부정 거래를 미연에 방지할 수 있도록 하는 기술이 개발이 되고 있다.

기존에 개발된 기술엔 얼굴 및 얼굴 부위의 윤곽선 추출을 통하여 위장 여부를 판별하는 기술, 얼굴의 색상정보를 이용하여 얼굴을 검출하고 검출된 얼굴을 바탕으로 윤곽선 정보를 이용하여 얼굴의 각 부위를 검출하여 위장 여부를 판별하는 기술이 있다.

하지만 이러한 기술의 문제점은 날씨, 조명, 각도, 배경 등에 영향을 받기 때문에 은행 창구에서 거래를 하거나 상담원이 영상을 확인한 후에 거래를 하는 등의 부차적인 문제점이 있다.

상술한 종래의 나열된 문제점들을 해결하기 위해 본 발명에서는 날씨, 조명, 각도, 배경 등의 외부 환경이 시스템에 미치는 영향을 최소화하며 고속의 처리가 가능한 얼굴 위장 판별 방법을 제공하는 데에 그 목적이 있다.

본 발명에서는 구체적으로는 얼굴 및 얼굴 부위의 특징점 추출을 통하여 정상적인 얼굴과 비정상적인 얼굴을 구분하고 조명 변화에 강인하며 고속의 처리가 가능한 얼굴 위장 판별 방법을 제공한다.

본 발명은 상술한 기술적 과제를 달성하기 위하여, 본 발명의 얼굴 위장 판별 방법은 사용자 정보 입력 장치에 입력되는 사용자 얼굴 영상을 받아서 얼굴 및 비얼굴여부를 판별하는 얼굴 위장 판별 방법에 있어서, 수정 센서스 변환 (modified census transform)과 같은 영상 변환을 통하여 얼굴 검출용 아다부스트(AdaBoost)알고리즘을 이용하여 영상에서의 특징점을 추출하여 학습하는 학습단계; 및 새로운 영상이 들어왔을 때 어떤 영상인지 판별하는 테스트단계를 포함한다.

바람직하기로는 상기 입력 영상에 대해서 수정 센서스 변환 (modified census transform)을 적용하여 특징(feature) 값을 추출하고, 추출된 특징(feature)값을 사용하여 얼굴 검출 학습을 수행함으로써 표준 특징 값 그룹인 룩업테이블(Lookup Table)을 얻어내고, 상기 얻어진 룩업테이블(Lookup Table)의 특징 값을 이용하여 새로운 영상의 특징점을 통하여 실제 얼굴 검출을 수행함을 특징으로 한다.

바람직하기로는 상기 얼굴 검출은 눈 또는 입을 검출함을 특징으로 한다.

바람직하기로는 적은 저장 공간을 사용하기 위해서, 기존의 수정 센서스 변환(modified census transform)과 아다부스트(AdaBoost)를 혼합한 방법을 수정하여 룩업테이블을 추가하는 것을 특징으로 한다.

본 발명은 상술한 다른 기술적 과제를 달성하기 위하여, 사용자 정보 입력 장치에 입력되는 사용자 얼굴 영상으로부터 얼굴 위장 여부를 판별하는 얼굴 위장 판별 장치에 있어서, 입력된 영상의 움직임을 검출하고 후보영역을 선택하여 얼굴 검출 및 이미지 조절을 하는 얼굴 검출부; 상기 얼굴 검출부에서 얼굴로 검출되면 얼굴 부위 가려짐을 판단하기 위하여 눈 또는 입을 검출하는 얼굴부위 검출부; 및 상기 얼굴부위 검출부로부터 정상 얼굴로 판별되는 경우 금융자동화기기에서 얼굴이 가려진 경우의 사용을 방지하여 부정 거래를 방지하는 신호를 출력하는 얼굴 판단 제어부를 포함하는 얼굴 위장 판별 장치를 제공한다.

바람직하기로는 사용자가 최초로 기기를 동작시키는 순간부터 금융거래를 하기 직전까지의 사용자 영상 정보를 바탕으로 정상 얼굴과 비정상 얼굴을 구분하여 부정 거래를 방지한다.

바람직하기로는 상기 금융자동화기기는 현금자동지급기 또는 현금자동입출금기이며, 상기 사용자 정보 입력 장치는 현금 인출 카드리더기, 사용자 식별번호 및 비밀번호를 입력하는 키보드, 또는 키오스크로 한다.

이하, 첨부된 도면을 참조하여 본 발명의 상세한 실시예를 설명하기로 한다.

금융자동화기기에서는 사용자가 접근하여 기기를 조작하고, 금융거래를 시도하여야 하는데, 본 발명에 의하면, 사용자가 접근하여 기기를 조작하는 순간부터 금융거래를 시도하는 순간까지의 카메라 영상을 분석하여 정상적인 얼굴과 비정상적인 얼굴을 구분하여 정상적인 얼굴일 경우에만, 시도된 금융거래를 허가하여 부정 거래를 미연에 방지하고자 한다.

본 발명의 얼굴 위장 판별 방법은 수정 센서스 변환 (modified census transform)과 같은 영상 변환을 통하여 얼굴 검출용 아다부스트(AdaBoost)알고리즘을 이용하여 영상에서의 특징점을 추출하여 학습하는 학습단계, 영상이 들어왔을 때 어떤 영상인지 판별하는 테스트단계로 구성된다.

도 1에는 기존의 수정 센서스 변환 (modified census transform)에 대한 룩업테이블(Lookup Table)을 나타내고 있다. 기존 수정 센서스 변환 (modified census transform)은 20x20x512x4byte 라는 룩업테이블을 담을 수 있는 저장공간이 필요하였으나, 본 발명에서는 도 2에서처럼 하나의 룩업테이블을 추가하여 전체 저 장공간의 크기를 줄였다. 또한 수정 센서스 변환 (modified census transform)은 적은 픽셀 값 변화에도 민감한 반응을 보이기 때문에 그것을 해결하기 위한 방법을 제공했다. 이 방법은 이하 설명하기로 한다. 조명 변화에 강인한 얼굴 검출 방에 있어서, 입력 영상에 대해서 수정 센서스 변환 (modified census transform)을 적용하여 특징(feature) 값을 추출하고, 추출된 특징(feature)값을 사용하여 얼굴 검출 학습을 수행함으로써 표준 특징 값 그룹인 룩업테이블(Lookup Table)을 얻어내고, 상기 얻어진 룩업테이블(Lookup Table)의 특징 값을 이용하여 실제 얼굴 검출을 수행함으로써, 조명 변화에 강인한 얼굴 검출 방법을 제공한다.

상기 수정 센서스 변환은 예를 들면, 아래의 수학식을 적용하여 수행된다.

(수학식)

여기서,

는 (

)픽셀 주변의 3x3 영역의 픽셀의 평균값이고,

는 (

)위치의 픽셀 값을 나타낸다. 픽셀 값의 작은 변화에 민감한 반응을 하는 것을 방지하기 위해 보정계수 α를 사용한다.

본 발명의 학습단계에서는 얼굴과 비얼굴, 눈과 비눈, 입술과 비입술 영상을 통하여 얼굴, 눈, 입술에 대한 특징점 추출 및 반복학습을 통하여 얼굴, 눈, 입술을 구분지을 수 있는 특징점을 찾아낸다.

본 발명의 테스트단계에서는 학습되어진 특징점을 바탕으로 새로운 영상이 들어왔을 때, 특징점들만을 가지고 얼굴과 비얼굴을 구분하며, 얼굴일 경우에 눈, 입술을 검출한다. 검출된 눈, 입술의 정보를 바탕으로 정상얼굴과 비정상얼굴을 구분지으며 비정상얼굴일 경우는 금융거래를 제한하도록 한다.

정상적인 얼굴일 경우에도 눈과 입술을 검출하지 못하는 문제점을 해결하기 위해 금융거래를 시도하는 순간의 영상만을 이용하여 정상얼굴과 비정상얼굴을 구분 짓는 것이 아니며, 금융기기를 조작하는 순간부터 금융거래 시도 순간까지의 영상을 분석하여 정상얼굴이라고 판단되는 경우에만, 접근한 사용자에게 금융 거래를 허가하도록 한다.

얼굴 영상이 정상적인 경우엔 위의 얼굴 영상을 데이터베이스에 저장한다. 저장된 얼굴 영상은 향후 금융사고 발생 시 신뢰성 있는 자료로 사용될 수 있다.

도 3은 본 발명에 의한 얼굴 위장 판별 방법의 얼굴, 눈, 입 검출 알고리즘을 나타낸 플로우챠트이고, 도 4는 본 발명에 의한 얼굴 위장 판별 장치의 핵심 구조를 나타낸 블록도이다.

도 3 및 도 4는 얼굴 위장 여부 판별 과정에서 새로운 영상이 입력으로 주어질 경우, 주어진 영상에서 얼굴을 검출하고 검출된 얼굴이 정상적인 얼굴인지 비정상적인 얼굴인지를 판별하는 알고리즘 및 장치를 나타낸다.

도 3 및 도 4에 의하면, 본 발명의 얼굴 위장 판별 방법은 단계 300에서 장치를 카운트치(N)를 초기화하고 단계 302에서 카운트치(N)가 카운트 한계치보다 작은지를 판단한다. 단계 302에서 카운트치(N)가 카운트한계치보다 작으면 입력영상부(10)는 영상을 입력받는다(단계 304). 만일 단계 302에서 카운트치(N)가 카운트한계치보다 같거나 크면 비정상 얼굴로 판정하고 거래를 불허가하고(단계 326) 작업을 종료한다.

단계 304에서 영상이 입력되면, 움직임 검출부(20)는 입력 영상의 동보상기술(MCT)을 적용하여 움직임을 검출한다(306). 그 다음 후보 영역 선택부(30)는 얼굴 검출 후부 영역을 분리하여 후보 영역을 선택한다(단계 308). 다음, 얼굴 검출 및 이미지 조절부(40)에서는 얼굴 검출 결과를 판단하고(단계 310), 얼굴 검출로 판단되면, 얼굴 영역 분리 및 전처리를 수행하며 (단계 312), 비얼굴 검출로 판단되면 단계 322로 진행하여 카운트치(N)를 증가하여 상술한 단계 302-310를 수행한다.

단계 312에서 얼굴 영역 분리 및 전처리 과정이 끝나면, 눈 검출부(50)는 눈 영역을 분리 검출하고(단계 314), 눈 검출 결과 눈인지 아닌지를 판단한다(단계 316). 단계 316에서 눈으로 판단되지 않은 경우, 단계 322로 진행하여 카운트치(N)를 증가하여 상술한 단계 302-314를 수행한다. 이때, 눈 위장 판별 및 처리부(80)는 얼굴 위장으로 판별하고 얼굴 판단제어부(110)를 통하여 입력 영상에 대한 얼굴 판단을 완료하고 입력 영상부(10)로 하여금 다른 영상 입력을 대기한다.

단계 316에서 눈으로 판단된 경우, 입 검출부(60)는 입 영역을 분리 검출하고(단계 318), 입 검출 결과 입인지 아닌지를 판단한다(단계 320). 단계 320에서 입으로 판단되지 않은 경우, 단계 322로 진행하여 카운트치(N)를 증가하여 상술한 단계 302-318을 수행한다. 이때, 입 위장 판별 및 처리부(90)는 얼굴 위장으로 판별하고 얼굴 판단제어부(110)를 통하여 입력 영상에 대한 얼굴 판단을 완료하고 입 력 영상부(10)로 하여금 다른 영상 입력을 대기한다.

단계 320에서 입으로 판단된 경우, 정상 얼굴 판정부(70)는 정상 얼굴로 판정하고(단계 324), 정상 얼굴 처리부(100)는 얼굴 판단제어부(110)를 통하여 얼굴 판단을 완료하고 입력 영상부(10)로 하여금 다른 영상 입력을 대기한다.

상술한 바와 같이, 본 발명은 사용자가 금융자동화기기를 조작하는 순간부터 금융거래를 시도하는 순간까지 연속적으로 새로운 영상이 입력으로 주어지며 매 영상을 분석하여 최종적으로 사용자의 얼굴에 대한 정상, 비정상 판별을 내린 후 금융 거래의 허가여부를 내리게 된다.

본 발명에 대해 상기 실시 예를 참고하여 설명하였으나, 이는 예시적인 것에 불과하며, 본 발명에 속하는 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

본 발명은, CD, ATM과 같은 금융자동화기기에서 CMOS 및 CCD 카메라를 통하여 영상을 획득한 후, 얼굴을 검출하고 검출한 얼굴을 바탕으로 눈과 입술을 검출하여 검출한 얼굴이 신뢰성이 높은 얼굴 즉, 모자, 선글라스, 마스크 등으로 위장하지 않은 정상적인 얼굴일 경우에 금융거래를 허가하는 시스템으로 금융자동화기기에서의 부정 거래를 방지할 수 있다.

Claims (9)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 입력된 얼굴 영상을 받아서 얼굴의 위장 여부를 판별하는 얼굴 위장 판별 방법에 있어서,

   수정 센서스 변환 (Modified Census Transform)과 같은 영상 변환을 통하여 얼굴 검출용 아다부스트(AdaBoost)알고리즘을 이용하여 얼굴과 비얼굴, 눈과 비눈, 입술과 비입술 영상을 통하여 얼굴, 눈, 및 입술의 특징점을 추출하고 학습하여 얼굴, 눈, 및 입술의 특징점을 찾아내는 학습단계; 및

   새로운 영상이 들어왔을 때 상기 새로운 영상의 특징점을 추출하여 상기 추출된 새로운 영상의 특징점과 상기 학습된 특징점을 통하여 얼굴과 비얼굴을 판단하고, 판단결과, 얼굴인 경우 눈과 비눈, 입술과 비입술을 검출하고, 상기 검출된 눈 및 입술 정보에 의하여 새로운 영상이 정상얼굴인지 비정상얼굴인지 판별하는 테스트단계를 포함하는 얼굴 위장 판별 방법.
9. 제8항에 있어서, 상기 영상의 특징점을 추출하는 상기 수정 센서스 변환은 아래 식

   

   (여기서,

   

   는 (

   

   )픽셀 주변의 3x3 영역의 픽셀의 평균값이고,

   

   는 (

   

   )위치의 픽셀 값을 나타내고, α는 픽셀 값의 작은 변화에 민감한 반응을 하는 것을 방지하기 위해 보정계수임)을 통하여 수행됨을 특징으로 하는 얼굴 위장 판별 방법.

Images