KR20000061100A

KR20000061100A - 은행거래시스템의 거래자 안면인식방법

Info

Publication number: KR20000061100A
Application number: KR1019990009897A
Authority: KR
Inventors: 박건영
Original assignee: 박광소; 청호컴퓨터 주식회사
Priority date: 1999-03-23
Filing date: 1999-03-23
Publication date: 2000-10-16
Also published as: KR100293897B1

Abstract

본 발명에 따른 은행거래시스템의 거래자 안면인식방법은 거래자의 화상을 전면에서 촬영하고 촬영된 거래자의 얼굴 화상중 눈과 입의 화상이 정확하게 검출되는지를 판단하여 정확한 눈과 입이 검출되지 않은 화상인 경우 예를들면, 손으로 얼굴의 일부분을 가리는 경우, 얼굴을 심하게 기울이는 경우, 모자를 심하게 눌러쓴 경우, 복면을 한 경우, 마스크를 착용했을 경우 또는 짙고 눈의 크기보다 훨씬 큰 썬그라스를 착용한 경우 등에 있어서는 현금 또는 수표의 지급거래가 이루어지지 않도록 금융기관에 설치되어 있는 자동지급기의 동작을 차단함으로써, 금융범죄를 미연에 방지할 수 있도록 한 것이다.

Description

은행거래시스템의 거래자 안면인식방법{A METHOD FOR RECOGNIZING A FACE IN A BANK TRANSACTION SYSTEM}

본 발명은 은행거래시스템의 거래자 안면인식방법에 관한 것으로써, 보다 상세하게는 은행거래시스템을 이용하여 은행거래를 할 때, 거래자의 얼굴화상을 전면에서 촬영하고 촬영된 거래자의 화상이 비정상적인 화상(눈과 입중 적어도 하나 이상이 가려져 있어 정확한 얼굴형상으로 판단되지 않을 경우)으로 판단되는 경우에는 거래가 이루어지지 않도록 시스템을 제어하는 은행거래시스템의 거래자 안면인식방법에 관한 것이다.

최근, 자동화 기술분야의 발전에 따라 금융기관에 현금자동지급기, 현금 및 수표 자동입출금기등(이하,"자동지급기"라 칭함)이 급속하게 보급되고 있는 상황이다. 이와 같이 자동지급기가 급속하게 보급되고 있는 상황속에 타인의 신용카드 또는 통장과 비밀번호를 이용하여 현금 또는 수표를 인출하는 금융범죄가 상당히 증가하고 있는 추세이다. 이에 대비하여 금융기관에서는 자동화기에 무인카메라를 설치하여 모든 거래자의 거래상황을 촬영 및 녹화하였다가 녹화된 기록매체를 이용하여 범죄자의 얼굴을 식별하고 있다. 그러나, 일반적인 촬영방법은 통상범죄자는 정확한 얼굴이 촬영되지 않도록 하여 금융범죄를 행하기 때문에 범죄자의 얼굴을 정확하게 식별하지 못하고 있다.

이하, 종래 기술에 따른 은행거래시스템에서의 얼굴 인식장치 및 그 방법에 대하여 첨부한 도면을 참조하여 살펴보기로 하자.

도 1은 종래 기술에 따른 은행거래시스템에서의 거래자 얼굴 인식장치의 블록구성을 나타낸 도면으로서 도 1을 참조하여 그 구성을 보면, 영상입력부(10), 영상처리부(20), 특징점검출부(30), 3차원 정보추출부(40), 마스크생성부(50), 제어부(60) 및 저장부(70)로 구성된다.

영상입력부(10)는 2대 이상의 카메라를 이용하여 자동지급기의 거래자 영상을 촬영하며 촬영된 영상을 영상처리부(20)로 입력한다. 영상입력부(10)는 자동지급기 거래자의 움직임에 대한 영상을 촬영하는 복수개의 CCD카메라(11)와, CCD카메라(11)를 통해 입력되는 외부영상신호를 디지탈신호로 변환하여 영상처리부(20)로 출력하는 영상캡쳐부(12)와, 입력되는 영상의 움직임에 따라 CCD카메라의 회전범위를 연산하여 카메라 구동제어신호를 출력하는 카메라 구동제어부(13)와, 카메라 구동제어부(13)에서 제공되는 구동 제어신호에 따라 CCD카메라(11)를 회전구동시키는 카메라 구동부(14)로 구성된다.

영상처리부(20)는 영상입력부(10)의 영상캡쳐부(12)로부터 입력되는 외부영상신호에 대한 디지탈신호에 포함된 노이즈성분을 제거하고, 노이즈가 제거된 영상신호의 윤곽선을 추출하며, 추출된 영상신호를 평활화시킨 후, 특징점검출부(30) 및 3차원 정보추출부(40)로 각각 출력한다.

특징점검출부(30)는 영상처리부(20)로부터 입력되는 영상신호의 기준점을 결정하고, 결정된 기준점을 이용하여 영상신호의 특징점들을 추출한 후, 카메라 구동 제어부(13) 및 3차원 정보추출부(40)로 각각 출력한다.

여기서, 3차원 정보추출부(40)는 특징점검출부(30)로부터 입력되는 영상신호에 대한 특징점들을 이용하여 영상처리부(20)로부터 입력되는 영상신호를 회전 및 줌이동시켜 이미지를 재배열한 후, 재배열된 이미지에 대한 X, Y, Z값을 연산하여 영상신호에 대한 3차원정보를 추출한다. 또한, 카메라 구동제어부(13)는 특징점검출부(30)에서 출력되는 특징점들 즉, 생성된 영상 검사후보영역들에 따른 영상움직임 검출신호에 따라 CCD카메라(11)의 회전범위를 연산하여 카메라구동부(14)에 카메라 구동제어신호를 제공한다.

마스크생성부(50)는 3차원정보 추출부(40)에서 추출된 영상신호에 대한 3차원정보를 기설정되어 있는 기준 마스크와 비교하여 개인별 각각 다른 마스크를 생성하게 된다.

제어부(60)는 마스크생성부(50)에서 생성된 각각 서로 다른 마스크를 저장부(70)에 저장을 한다. 여기서, 저장부(70)는 반도체메모리를 갖는 카드, 하드디스크 또는 광디스크등으로 이루어질 수 있다.

이러한 구성을 갖는 장치를 이용하여 자동지급기 거래자의 영상 촬영방법에 대하여 도 2를 참조하여 설명해 보기로 하자.

도 2는 종래 기술에 따른 거래자의 피부색 및 거래자의 움직임을 이용한 은행거래시스템의 거래자 촬영방법에 대한 동작 플로우챠트를 나타낸 도면이다.

먼저, 영상입력부(10)로부터 입력되는 외부 영상신호를 하나의 화면으로 구성할 수 있도록 입력한다(S200).

입력된 영상은 영상처리부(20)를 통해 윤곽선 보정되고 노이즈의 필터링되며, 필터링된 영상신호는 특징점검출부(30)에서 이전의 영상화면과 비교하여 피부색 패턴정보 및 움직임 패턴정보를 추출한다. 이렇게 추출된 피부색 패턴정보와 움직임 패턴정보를 이용하여 현재 입력되는 영상신호의 검사후보영역을 생성하게 된다(S210).

이어서, 생성된 검사 후보영역으로부터 특징점들을 검출하고, 검출된 특징점을 이용하여 입력되는 영상신호를 재배열시킨다(S220).

이렇게 검출된 특징점들 및 재배열된 이미지 데이터는 3차원 정보검출부(40) 및 카메라 구동제어부(13)로 각각 입력되고, 카메라 구동제어부(13)는 이전에 입력받은 영상신호에 대한 특징점 및 재배열된 이미지데이터를 이용하여 영상의 이동거리를 연산한다(S230).

이어, 영상의 이동거리가 연산되면 연산된 거리를 이용하여 CCD카메라(11)의 회전방향 및 회전각도를 결정한 후, 결정된 회전각도 및 회전방향만큼 CCD카메라(11)를 이동시켜 새로운 영상을 촬영한다(S240).

또한, 검출된 특징점 및 재배열된 이미지데이터를 기설정된 기준 특징점 및 기준 이미지 데이터와 비교하여 입력된 영상신호가 얼굴에 대한 영상신호인지를 판단한다(S250).

판단결과, 현재 입력된 영상신호가 얼굴에 대한 영상신호가 아닌 경우에는 현재 입력된 영상신호는 무시하고 영상을 재촬영하도록 하며, 반대로 현재 입력된 영상신호가 얼굴에 대한 영상신호인 경우 다수의 이미지 상호간의 변위정보를 이용하여 3차원정보를 생성하며, 생성된 3차원정보를 기설정된 기준 마스크와 비교하여 개인별로 각각 서로 다른 마스크데이타를 생성한다(S260).

이어, 생성된 서로 다른 마스크데이타를 저장부(70)에 기록하는 것이다 (S270).

결국, 종래 기술에 따른 은행거래시스템의 거래자 얼굴 인식장치 및 그 방법은 은행거래시스템을 이용하는 거래자를 촬영하여 촬영된 영상신호와 바로 이전에 촬영된 영상신호를 비교하여 거래자의 움직임에 따라 CCD카메라를 회전시켜 거래자의 모든 움직임 영상을 촬영하도록 하는 것이다. 이때, 촬영된 영상신호는 기설정된 마스크데이타와 비교하여 얼굴형상이 정확하게 촬영되었는지를 판단하여 정확한 얼굴형상이 촬영되었으면 촬영한 영상신호를 기록매체에 기록하는 것이다.

따라서, 추후 금융범죄가 발생되는 경우 기록매체에 기록되어 있는 영상을 보고 범죄자를 용이하게 추적할 수 있도록 한 것이다.

상기한 종래 기술에 따른 은행거래 시스템의 거래자 얼굴 인식장치 및 방법을 이용하여 거래자의 움직임영상을 촬영시 거래자의 화상이 비정상적인 화상 즉, 눈과 입중 적어도 하나 이상이 가려진 상태의 거래자화상을 촬영하게 되는 경우에도 전체적인 형상을 얼굴형상으로 인식하기 때문에 모든 거래자에게 은행거래장치사용을 허용하는 것이다.

따라서, 범죄자가 얼굴의 일부분을 가린채 정당하지 못한 방법으로 입수한 타인의 카드 또는 통장과 비밀번호에 의하여 은행거래를 할 수 있기 때문에 금융거래를 원천적으로 봉쇄할 수 없는 단점이 있다.

또한, 얼굴의 일부분을 가린상황에서 은행거래를 허용하게 되는 경우 기록된 영상신호 즉, 일부분이 가려진 거래자의 영상신호를 이용하여 범죄자의 얼굴을 정확히 확인하기가 쉽지 않기 때문에 범죄자를 식별하는데에는 상당히 어려운 커다란 문제점이 있다.

따라서, 본 발명은 상기한 종래 기술에 따른 제반 문제점을 해결하기 위하여 안출한 것으로 본 발명의 목적은 촬영되는 거래자의 얼굴형상이 비정상적인 얼굴 예를들어, 손으로 얼굴의 일부분을 가리는 경우, 얼굴을 심하게 기울이는 경우, 모자를 심하게 눌러쓴 경우, 복면을 한 경우, 마스크를 착용하는 경우 및 짙은 썬그라스를 착용하는 경우 등에는 음융기관의 자동지급기의 거래를 원천적으로 봉쇄할 수 있는 은행거래시스템의 거래자 안면 인식방법을 제공함에 있다.

도 1은 종래 기술에 따른 은행거래시스템에서의 거래자 얼굴 인식장치의 블록구성을 나타낸 도면,

도 2는 종래 기술에 따른 거래자의 피부색 및 거래자의 움직임을 이용한 은행거래시스템의 거래자 촬영방법의 일실시예에 대한 동작 플로우챠트를 나타낸 도면,

도 3은 본 발명에 따른 은행거래시스템의 거래자 안면 인식방법을 구현하기 위한 장치의 블록구성을 개략적으로 나타낸 도면,

도 4a 내지 도 4c는 본 발명에 따른 은행거래시스템의 거래자 안면 인식방법에 대한 동작 플로우챠트를 나타낸 도면,

도 5a 내지 도 5c는 체인 트랙킹방법을 설명하기 위한 도면이다.

♣도면의 주요부분에 대한 부호의 설명♣

100 : 영상입력부 110 : A/D변환부

120 : 제어부 130 : 데이터변환부

140 : 화상인식부 150 : 거래처리부

160 : 디스플레이부 170 : 기록부

상기한 목적을 달성하기 위한 본 발명에 따른 은행거래시스템의 거래자 안면인식방법의 특징은 카메라 및 디스플레이부를 구비한 은행 거래 처리장치의 거래자 안면 인식방법에 있어서, 상기 카메라를 통해 입력되는 일 화면에 대한 RGB화상데이타를 휘도 및 색차신호로 변환하는 단계와; 상기 휘도 및 색차신호로 변환된 화면에 대하여 가장 인식이 잘되는 평균밝기값을 기준점으로 정규화(Normalization)연산을 수행한 후, 정규화 연산된 화면을 일정크기의 블록으로 분할하는 단계와; 상기 분할된 각블록과 기 저장된 살색블록간의 피크신호 잡음비(PSNR)값을 구하여 얼굴후보개체의 이진 블록행렬을 구하는 단계와; 상기 구해진 이진 블록행렬에서 기 설정된 유효블럭이하의 이진 블록 및 작은 이진 블록의 무리들을 제거하는 단계와; 상기 유효블럭이상의 블록수를 갖는 개체블록군에서 개체가 시작되는 시작블록을 결정한 후, 체인트랙킹을 통해 적어도 하나 이상의 얼굴 후보개체를 결정하는 단계와; 상기 결정된 복수의 얼굴후보개체들에 대한 각각의 기울기를 계산하고 계산된 기울기가 기 설정된 기준기울기값 이상인 경우 얼굴후보개체의 블록군을 상기 기 설정된 기준기울기값 이내의 범위로 회전시키는 단계와; 상기 얼굴후보개체를 일정크기의 블록으로 재 분할하고 분할된 각 블록들을 이루고 있는 점들의 명도를 이용하여 얼굴후보개체의 윤곽점들을 추출하며, 윤곽점이외의 잔점들을 제거한 후, 점 집합군을 추출하는 단계와; 상기 추출된 점집합에 대한 대표도형을 추출한 후, 기 설정된 눈과 입이 될 수 있는 조건을 이용하여 상기 추출된 대표도형중 눈과 입이 될 수 있는 도형을 검색하는 단계와; 상기 검색된 눈과 입이 될 수 있는 도형에 의해 각 후보개체들의 얼굴인지도값을 계산한 후, 계산된 각 얼굴후보개체들중 거래자의 얼굴후보개체 하나만을 추출하는 단계와; 상기 추출된 거래자 얼굴 후보개체에 대해 상기 게산된 얼굴인지도값과 기설정된 기준 얼굴인지도값을 비교하여 거래자의 얼굴인지도값이 기준 얼굴인지도값보다 작은 경우 정상적으로 얼굴을 인식할 수 없다고 판단하여 해당 거래를 차단하는 단계로 이루어짐에 있다.

이하, 본 발명에 따른 은행거래시스템의 거래자 안면인식방법에 대한 바람직한 일실시예를 첨부한 도면을 참조하여 상세하게 설명한다. 먼저, 은행거래시스템의 거래자 안면인식방법을 구현하기 위한 장치에 대하여 살펴본다.

도 3은 본 발명에 따른 은행거래시스템의 거래자 안면인식방법을 구현하기 위한 장치의 블록구성을 개략적으로 나타낸 도면으로서, 안면인식장치는 영상입력부(100), A/D변환부(110), 제어부(120), 데이터변환부(130), 화상인식부(140), 거래처리부(150), 디스플레이부(160) 및 기록부(170)로 구성된다.

영상입력부(100)는 CCD카메라로서 은행거래시스템의 전면에 장착되어 거래자의 화상을 촬영하여 촬영된 화상신호를 A/D변환부(110)로 출력한다.

A/D변환부(110)는 영상입력부(100)로부터 입력되는 거래자의 화상신호를 디지탈신호로 변환 즉, 입력되는 거래자의 화상신호를 일정크기의 R,G,B데이타로 변환하여 제어부(120)를 통해 데이터변환부(130)로 출력한다. 여기서, A/D변환부(110)는 영상캡쳐보드(Image Capture Board)이다.

데이터변환부(130)는 제어부(120)를 통해 입력되는 촬영된 화상신호에 대한 일정크기의 R, G, B데이타를 휘도 및 색차신호(YUV)로 변환하여 화상인식부(140)로 출력한다.

화상인식부(140)는 데이터변환부(130)로부터 입력되는 일정크기의 화상데이터를 이용하여 얼굴후보가 될 수 있는 기설정된 크기 이상이 되는 개체들의 블록을 결정하고, 결정된 블록 이외의 모든 다른 블록 및 작은 블록무리들을 제거한 후, 후술하는 체인트랙킹(Chain Tracking)을 이용하여 결정된 개체의 개수와 그 개체의 크기를 구한다.

상기한 바와 같이 개수 및 크기를 구한 적어도 하나 이상의 개체에서 각 개체들의 윤곽점을 추출하고, 추출된 윤곽점을 이용하여 눈과 입이 될 수 있는 도형을 검색한다. 그리고, 이렇게 검색된 눈과 입이 될 수 있는 도형과 기설정되어 있는 눈과 입이 될 수 있는 조건값들과 비교하여 후보개체들의 얼굴인지도를 계산한 후, 다수의 얼굴후보개체들중에서 거래자 얼굴 후보개체 하나만을 추출하게 된다. 여기서, 얼굴인지도값이란 상기 검색된 눈과 입에 대한 도형이 기준 얼굴형상 전체에 차지하는 비율을 의미하는 것으로, 일반적인 사람의 얼굴형상에서 정상적인 눈과 입이 검출되었을 경우의 얼굴인지도값을 100으로 설정하였을 때, 상기 검색된 후보개체의 눈과 입의 크기가 차지하는 인지도값을 의미하는 것이다.

이와 같이 추출된 거래자 얼굴 후보개체의 얼굴인지도값을 기설정된 기준 얼굴인지도값과 비교하여 후보개체의 얼굴인지도값이 기설정된 기준 얼굴인지도값보다 클 경우에는 얼굴의 형상 즉, 눈과 입을 가리지 않은 정확한 얼굴형상으로 인식하여 정상적으로 거래를 수행할 수 있도록 제어신호를 거래처리부(150)로 출력시킨다. 따라서, 거래처리부(150)는 화상인식부(140)에서 제공되는 정상거래 제어신호에 따라 디스플레이부(160)에 예를들어 "정상적으로 거래를 할 수 있습니다. 안내에 따라 거래 하십시요"라는 메시지를 디스플레이하여 거래자가 정상거래를 수행할 수 있도록 시스템을 처리함과 동시에 촬영된 해당 거래자의 화상신호를 기록부(170)에 기록한다.

반대로 상기 후보개체들의 얼굴인지도값과 기설정된 기준 얼굴인지도값의 비교결과, 후보개체의 얼굴인지도값이 기설정된 기준 얼굴인지도값보다 작을 경우에는 얼굴의 형상 즉, 눈과 입중 적어도 하나가 가려진 상태의 얼굴형상으로 인식하여 거래차단 제어신호를 거래처리부(150)로 출력한다. 따라서, 거래처리부(150)는 디스플레이부(160)에 예를들어, "정확한 얼굴형상을 인식할 수 없으므로 확인 후, 재거래하십시오"와 같은 메시지를 디스플레이함과 동시에 삽입되어 있는 카드 또는 통장을 방출하여 거래 대기상태로 전환시킨다. 즉, 눈과 입중 적어도 일부분을 가린 거래자에게는 정상거래가 이루어지지 않도록 하는 것이다.

지금부터는 상술한 구성을 갖는 은행거래시스템의 거래자 안면인식장치를 이용한 은행거래시스템의 거래자 안면인식방법에 대하여 도 4 및 도 5를 참조하여 상세하게 설명한다.

도 4는 본 발명에 따른 은행거래시스템의 거래자 안면인식방법에 대한 동작 플로우챠트를 나타낸 도면이고, 도 5a 내지 도 5c는 안면인식방법에 적용되는 체인 트랙킹을 설명하기 위한 도면이다.

먼저, 거래자가 카드 또는 통장을 은행거래시스템에 삽입하고 비밀번호를 입력하면, 카메라(100)가 작동하여 해당 거래자의 화상을 촬영하여 촬영된 화상을 일정크기의 R,G,B데이타로 변환하여 입력한다(S401). 이때, 거래자의 화상 즉, 입력되는 거래화면은 240 × 200크기의 24 비트(bit) R,G,B데이타이다.

다음으로, 입력된 240 × 200크기의 24 비트 R,G,B 화상데이타를 휘도 및 색차신호(YUV)신호로 변환하고(S402), 변환된 거래화면의 전체 화상신호에 대한 휘도 및 색차신호를 정규화(Normalization)한 후(S403), 정규화된 거래화면을 일정크기의 블록으로 분할한다(S404). 여기서, 상기 분할된 블록의 크기는 4×4의 크기를 갖는다. 즉, 입력되는 거래화면을 가장 인식이 잘되는 평균 밝기값을 기준점으로하여 전체화면에 대한 정규화연산을 수행한 후, 전체화면을 4×4크기의 블록단위로 전체화면을 분할한다. 여기서, 정규화(Normalization)란, 상기 분할된 다수의 블록들의 평균밝기값을 기준으로하여 평균밝기값보다 낮은 밝기값을 가지는 블록을 제거하기 위하여 하나의 블럭에 하나의 데이터가 들어가도록 작성하여 중복을 배제하는 원칙을 공식화한 것을 의미한다.

다음으로, 기저장된 4×4크기의 기준 살색 블록데이타와 상기 분할된 4×4크기의 블록간의 피크신호 잡음비(Peak Signal Noise Ratio :이하, "PSNR"이라 칭함)값을 구하여 얼굴후보개체의 블록행렬을 구한다(S405). 여기서, PSNR값을 구하는 식은 아래의 수학식 1과 같다.

PSNR = 10log10(255²÷ X)

여기서,

X = 픽셀수/(살색 일 블록의 픽셀값 - 주어진 화면을 분할한 일 블록의 픽셀값)²들의 합이다.

즉, 수학식 1을 이용하여 기저장된 살색블록과 입력되는 화면을 분할한 블록간의 PSNR값이 20 - 22사이의 값중 가장 적절한 값을 스레숄드(Threshold)값으로 설정하여 살색계통의 블록과 살색게통이 아닌 블록을 결정하게 된다.

이어, 계산된 일블록의 PSNR값을 결정된 PSNR값의 스레숄드값과 비교하여 계산된 일블록의 PSNR값이 기설정된 기준 PSNR값보다 큰가를 판단한다(S406).

판단결과, 계산된 일블록의 PSNR값이 기설정된 기준 PSNR값보다 큰 경우에는 해당 블록에 "1"을 세팅하고(S407) 계산된 일블록의 PSNR값이 기설정된 기준 PSNR값보다 작은 경우에는 "0"을 세팅한다(S408). 즉, 계산된 일블록의 PSNR값이 기설정된 기준 PSNR값보다 큰 경우는 해당 블록이 살색계통의 블록인 것이고, 반대로 계산된 일블록의 PSNR값이 기설정된 기준 PSNR값보다 작은 경우에는 살색계통이 아닌 다른 계통의 색신호블록인 것으로서 도 5a와 같이 살색계통의 블록은 "1"로 살색계통이 아닌 블록은 "0"으로 세팅하여 하여 60×50크기의 이진 행렬을 구한다.

다음으로, 상기한 바와 같은 방법을 이용하여 모든 블록에 대해 "1" 또는 "0"이 세팅된 이진행렬이 구해졌는지를 판단하고(S409), 모든 블록에 대하여 "1" 또는 "0"이 세팅된 이진행렬이 구해지면, 유효개체를 인식하기 위하여 기설정된 유효개수이하로 화면내에 잘게 산개되어 있는 블록 및 블록의 작은 무리들을 제거한다(S410).

상기한 유효개수이하의 블록 및 블록의 작은 무리들을 제거하는 방법에 대하여 살펴본다.

먼저, 상기 "1"과 "0"이 세팅된 이진행렬에 대하여 가로방향으로 "1"로 세팅된 블록의 인접된 정도(유효블록 개수)를 설정하여 가로방향으로 흩어진 블록 및 그 연속된 작은 블록을 제거한다. 이는 "0" 번째 행부터 "49"번째 행까지 실행한다. 이때, 상기 블록의 인접된 정도는 2블록 또는 3블록으로 설정한다.

또한, 세로방향에 대하여도 가로방향의 경우와 동일한 방법에 의하여 "0"번째 열부터 "59"번째 열까지 "1"로 세팅된 블록의 인접된 정도를 설정하여 흩어진 블록 및 그 연속된 작은 블록을 제거한다. 이때에도 마찬가지로 제거되는 블록의 인접된 정도는 2블록 또는 3블록으로 설정한다. 즉, 이진행렬에서 가로 및 세로방향으로 "1"로 세팅된 블록들중 상기 설정한 2블록 또는 3블록 이하의 블록 및 작은 블록의 무리들은 모두 제거한다.

이어서, 이진행렬에서 가로 및 세로방향으로 "1"로 세팅된 블록들중 기설정된 인접된 정도가 2블록 또는 3블록이하의 블록 및 작은 무리들의 블록을 제거한 상태에서 후술하는 체인트랙킹을 수행하기 위하여 개체내에 잘게 산개되어 있는 블록 및 블록의 무리들을 제거한다.

즉, 상기 이진행렬에 대하여 가로방향으로 "0"이 세팅된 블록의 인접된 정도를 설정하여 가로방향으로 흩어진 블록 및 그 연속된 작은선을 제거한다. 이는 "0" 번째 행부터 "49"번째 행까지 실행한다. 이때, 상기 블록의 인접된 정도는 2블록 또는 3블록으로 설정한다.

또한, 세로방향에 대하여도 가로방향의 경우와 동일한 방법에 의하여 "0"번째 열부터 "59"번째 열까지 "0"로 세팅된 블록의 인접된 정도를 설정하여 흩어진 블록 및 그 연속된 작은선을 제거한다. 이때에도 마찬가지로 제거되는 블록의 인접된 정도는 2블록 또는 3블록으로 설정하게 된다. 즉, 이진행렬에서 가로 및 세로방향으로 "0"으로 세팅된 블록들중 상기 설정한 2블록 또는 3블록 이하의 블록 및 작은 블록의 무리들은 모두 제거시킨다.

이와 같이 이진행렬에서 기설정된 유효개수 블록 즉, 2블록 또는 3블록이하의 "1"과 "0"으로 세팅된 블록 및 작은 블록무리들을 제거한 상태에서 개체가 시작되는 위치를 결정하게 된다(S411).

개체들이 시작되는 위치를 결정하는 방법을 설명하면, 먼저 개체블록이 저장된 이진행렬에 대하여 즉, 도 5a의 이진행렬에서 가로방향으로 "0"행에서부터 "49"행까지 스캐닝(Scanning)을 수행하여 이진값이 "0"에서 "1"로 변화하는 회수를 도 5a와 같이 구하여 구한값을 저장한다. 이때, 값이 증가하는 부분이 개체가 시작되는 Y좌표가 되고, 상기 Y좌표값에 대하여 개체블록 이진행렬을 가로방향으로 탐색하여 "1"인지점을 구하게 되면 이 지점이 개체가 시작되는 X좌표가 된다. 즉, 도 5a는 개체가 하나일 경우의 이진행렬을 나타낸 것으로, 개체가 하나일 경우 도 5??에서 개체가 시작되는 위치는 2행 8열이 된다. 또한, 개체가 둘 이상일 경우에는 개체가 시작되는 위치 역시 둘이상이 될 것이고, "0"에서 "1"로 변화하는 횟수도 개체의 수와 동일한 값이 되어야 할 것이다.

이와 같이 개체가 시작되는 위치를 구한 다음, 개체가 시작되는 위치에서부터 체인트랙킹을 수행하여 개체의 수와 개체들의 크기를 각각 구하게 되는 것이다(S412). 여기서, 체인트랙킹이란, 연쇄리스트로 된 데이터의 집합을 검색하는 방법으로서, 주어진 검색키로부터 초기주소 즉, 개체의 시작위치를 구한 후, 그 위치의 내용을 비교하여 검색키와 일치하면 원하는 정보를 얻고 다르면 그 내용에서 다른 주소를 찾아내는 과정을 체인이 끝나거나 찾을 때까지 계속적으로 검색하는 것이다. 이러한 검색은 순서적으로 되어 있지 않더라도 서로 연관되거나 연결된 이진행렬내에서 사용된다.

즉, S411단계에서 구한 개체의 시작점에서 출발하여 동, 남동, 남, 남서, 서, 북서, 북, 북동 즉, 도 5b에서와 같이 "0"에서 시계방향으로 "7"까지의 8방향에 대하여 탐색을 하여 "0"에서 "1"로 변하는 블록으로 이동한다. "0"에서 "1"로 변하는 블록으로 이동되면, 이동된 지점에서 상기와 같은 방법을 통하여 전체 블록에 대하여 체인트랙킹을 수행한다.

이와 같이 체인트랙킹을 수행하는 도중 이동한 지점이 최초로 체인트랙킹을 수행하는 최초의 시작점 즉, S411단계에서 구한 개체의 시작점과 일치하게 되는 경우에는 체인트랙킹을 종료한다. 이러한 체인트랙킹을 수행하는 과정에서 도 5c에서와 같이 일 개체 블록군의 왼쪽, 오른쪽, 상측, 하측 각 방향으로 치우치는 최대값(Rect.Left, Rect.Right, Rect.Top, Rect.Bottom)들을 구하여 각각 일 메모리에 저장시킨다.

체인트랙킹방법을 통하여 구한 각 방향의 최대값(Rect.Left, Rect.Right, Rect.Top, Rect.Bottom)들을 가지는 개체의 크기에 대하여 가로크기 60%, 세로크기 30%에 해당하는 값을 스레숄드값으로 설정하여 상기 S410단계와 동일한 과정을 다시 수행한다(S413). 즉, 개체의 가로 및 세로크기를 100%로 하였을 경우 가로크기에서 60%크기의 블록을 제거하고, 세로크기에서 30%크기의 블록을 각각 제거한다. 다시 말하면, 거래자의 얼굴에서 가로방향으로 양쪽귀이내의 화상과 눈썹과 턱사이의 화상만을 남겨두고 나머지 부분의 화상에 대한 블록들은 모두 제거하는 것이다.

이어, 개체의 가로방향으로 60%, 세로방향으로 30%의 블록들을 제거한 상태에서 상기 S411단계와 S412단계를 순차적으로 수행 즉, 다시 개체가 시작되는 위치를 구한 다음 체인 트랙킹을 수행하여 최종적으로 얼굴후보개체들을 구한다(S414).

다음으로, 이렇게 구한 얼굴후보개체들중 일후보개체의 기울기를 최소제곱법(Least Square Method)을 이용하여 구한다(S415). 이러한 일후보개체의 기울기를 구하는 방법을 살펴보면, 먼저 일후보개체의 중점을 구하고, 구해진 개체의 중점과 후보개체들을 이루고 있는 살색블록간의 기울기를 각각 구한다. 이렇게 구한 각 개체의 중점과 각 살색블록간의 기울기들의 평균값을 구함으로써, 일후보개체의 전체 기울기가 구해지는 것이다.

이렇게 구해진 일후보개체의 기울기값을 기설정된 기준 기울기값과 비교하여 구해진 일후보개체의 기울기값이 기설정된 기준 기울기값 보다 큰지를 판단한다(S416). 여기서, 본 실시예에서 설정한 기준 기울기값은 대략 10。정도이다.

판단결과, 구해진 일후보개체의 기울기값이 기설정된 기준 기울기값보다 작은 경우에는 해당 후보개체를 그대로 두고, 반대로 구해진 일후보개체의 기울기값이 기설정된 기준 기울기값보다 클 경우에는 설정된 기준 기울기값내의 기울기값을 가지도록 해당 후보개체를 회전시킨다(S417).

이어서, 일후보개체의 윤곽점을 추출한다(S418). 먼저 일 후보개체를 이루고 있는 4×4블록들을 다시 일정한 크기의 블록(2×2블록정도의 크기)으로 분할하고 분할된 각 블록을 이루고 있는 점들의 명도값을 구한 후, 구해진 명도값들의 평균값을 계산한다.

다음으로, 각 블록을 이루고 있는 각 점의 명도값과 상기와 같이 계산된 평균명도값을 비교하여 블록들의 각점의 명도가 평균명도값보다 높으면 255로 지정하고, 반대로 블록의 각 점의 명도가 평균명도값보다 낮으면 0으로 지정한다. 즉, 각점의 명도가 평균명도값보다 높은 경우에는 해당 점을 검정색으로 지정하고, 평균값보다 낮은 점은 흰색으로 지정하는 것이다. 이는 눈과 입에 해당하는 도형을 찾기 위함이다.

이어, 은행거래장치가 있는 장소의 조명이나 기타 주변환경등에 의해 눈과 입이 아닌 부분에 대해 검정색으로 지정된 잔점들을 제거한다. 즉, 좌우점들사이의 빈공간과 상하점사이의 빈공간의 점들을 전체적으로 제거하고, 점들간의 관계를 이용하여 점집합군들을 추출한다(S419). 여기서, 추출된 점집합군을 따라 각 열 및 행에 대한 픽셀값의 증가세나 감소세를 검사하며, 점집합군에서 픽셀값이 감소세이다가 증가세로 바뀌는 부분을 찾는다. 이렇게 찾은 부분은 점집합군을 구분할 수 있는 부분이므로 해당 위치의 점들을 모두 제거한다.

이어, 상기와 같은 방법으로 구해진 점집합군을 이용하여 도형을 구한다(S420). 이때, 도형을 구하는 방법은 상술한 바와 같은 체인트랙킹을 각 점들에 대하여 수행함으로써, 실행된다. 즉, 체인트랙킹을 수행하기 위한 시작점을 찾은 후, 도 5c에 도시한 바와 같은 방향(동, 남동, 남, 남서, 서, 북서, 북, 북동)으로 체인트랙킹을 수행하여 인접한 점이 있는지를 검사하게 된다. 검사결과 인접한 점이 있는 경우 해당 점으로 이동하고, 상기와 같은 방법으로 체인트랙킹을 계속적으로 수행한 후, 이동점이 상기 최초 체인트랙킹 시작점에 도달되면 체인트랙킹을 완료한다.

이와 같이 체인트랙킹을 이용하여 점집합에 대한 대표 도형을 추출한 후, 대표 도형중 눈과 입이 될 수 있는 도형을 검색한다(S421). 이하에서는 눈과 입이 될 수 있는 조건에 대하여 설명한다.

먼저, 눈과 입이 될 수 있는 조건으로서, 첫째 눈과 입은 얼굴의 일정비율 1/7 왼쪽이나 오른쪽으로 갈 수 없으며, 둘째 눈과 입의 가로 길이가 세로 길이와 같거나 길어야 한다.

그리고, 눈이 될 수 있는 조건으로서, 첫째 눈은 전체 얼굴에서 1/2지점 이상의 위치에 있어야 하고, 둘째 눈의 세로 길이가 얼굴 크기의 1/4을 넘을 수 없으며, 셋째 눈은 얼굴의 일정비율 1/7위로 갈 수 없는 것이다.

또한, 입이 될 수 있는 조건으로서, 첫째 입은 전체 얼굴에서 1/2이하의 위치에 있어야 하고, 둘째 입의 가로 길이가 얼굴의 2/5보다 클 수 없으며, 셋째 입은 얼굴의 일정비율 5/6아래로 갈 수 없으며, 넷째 입은 눈과 눈 사이에 있어야 한다.

이와 같은 조건에 의해 눈과 입에 대한 도형을 검색한다.

이어, 이렇게 검색된 눈과 입의 도형에 의해 일후보개체의 얼굴인지도값을 계산하고(S422), 일얼굴후보개체에 대한 얼굴인지도값이 계산되면, 상기와 같은 방법에 의해 각 후보개체들의 얼굴인지도값이 모두 계산되었는지를 판단한다(S423). 여기서, 얼굴인지도값이란 상기 검색된 눈과 입에 대한 도형이 기준 얼굴형상 전체에 차지하는 비율을 의미하는 것으로, 일반적인 사람의 얼굴형상에서 정상적인 눈과 입이 검출되었을 경우의 얼굴인지도값을 100으로 설정하였을 때, 상기 검색된 후보개체의 눈과 입의 크기가 차지하는 인지도값을 의미하는 것이다.

즉, 일후보개체에서 검색된 눈의 도형이 상기 눈이 될 수 있는 조건에 에 만족하는지를 판단하여 만족하지 못하는 경우에는 검색된 눈에 대한 도형은 무시하고 입에 대한 도형값으로 얼굴 인지도값을 계산한다. 예를들어 일 후보개체가 커다란 썬 그라스를 착용한 경우 눈에 대해 검색된 도형은 눈이 될 수 있는 조건값보다 큰 값이 되기 때문에 눈으로 인식하지 않고 해당 도형에 대한 인지도값은 무시하는 것이다.

판단결과, 모든 얼굴후보개체들의 얼굴인지도값이 계산되었을 경우 계산된 각 후보개체들의 얼굴인지도값을 이용하여 거래자의 얼굴개체에 대한 하나의 후보개체만을 추출한 후(S424), 추출된 후보개체의 얼굴인지도값과 기설정되어 있는 기준 얼굴 인지도값을 비교하여 추출된 후보개체의 얼굴인지도값이 기설정된 기준 얼굴 인지도값보다 큰가를 판단한다(S425).

판단결과, 추출된 후보개체의 얼굴인지도값이 기설정된 기준 얼굴인지도값보다 큰 경우에는 정확한 거래자의 얼굴을 인식할 수 있다고 판단하여 해당 화상을 도 4에 도시된 기록부(170)에 기록함과 동시에 디스플레이부(160)에 거래승인 메시지와 함께 거래안내 메시지를 디스플레이하여 거래자가 은행거래장치를 정상적으로 이용할 수 있도록 한다(S426). 여기서, 정확한 거래자의 얼굴이라함은 눈과 입 등을 가리지 않은 상태의 거래자 얼굴을 의미한다. 이때, 거래자가 눈의 크기와 거의 비슷한 크기의 썬그라스를 착용하고 있을 경우 상기한 방법을 이용하게 되면 정상적인 눈으로 판단되게 되는데 이러한 경우에는 눈의 크기와 썬그라스의 크기가 비슷하기 때문에 해당 화상으로도 추후 금융사고 발생시 거래자의 신원을 충분히 확인할 수 있기 때문에 커다란 문제가 되지 않을 것이다.

그러나, 반대로 추출된 후보개체의 얼굴인지도값이 기설정된 기준 얼굴 인지도값보다 작은 경우에는 정확한 거래자의 얼굴을 인식할 수 없다고 판단하여 디스플레이부(160)에 거래를 승인할 수 없음을 표시하고 해당 카드 또는 통장을 방출한 후, 거래대기상태로 전환시킨다. 즉, 은행거래스템을 통한 거래를 원천적으로 봉쇄하는 것이다(S427). 즉, 이와 같이 거래자의 얼굴을 인식할 수 없는 것은 손으로 얼굴의 일부분을 가리는 경우, 얼굴을 심하게 기울이는 경우, 모자를 심하게 눌러쓴 경우, 복면을 한 경우, 마스크를 착용했을 경우 및 짙고 눈의 크기보다 훨씬 큰 썬그라스를 착용했을 경우 등이다.

결국, 본 발명은 거래자의 화상을 촬영하고 촬영된 거래자의 화상중 눈과 입의 화상이 정확하게 검출되는지를 판단하여 정확한 눈과 입이 검출되지 않은 화상인 경우 즉, 손으로 얼굴의 일부분을 가리는 경우, 얼굴을 심하게 기울이는 경우, 모자를 심하게 눌러쓴 경우, 복면을 한 경우, 마스크를 착용했을 경우 및 짙고 눈의 크기보다 훨씬 큰 썬그라스를 착용한 경우 해당 거래자가 현금 또는 수표를 인출할 수 없도록 자동지급기의 동작을 차단하는 것이다.

이상의 설명은 본 발명에 따른 거래자 안면 인식방법을 금융기관의 거래시스템에 적용하여 이루어졌으나, 본 발명은 금융기관의 거래시스템에 한정되어 제한적으로 적용되는 것이 아니며, 모든 거래시스템의 거래자, 통제장소의 출입자등 안면인식이 요구되는 모든 시스템에 적용될 수 있다. 따라서, 첨부한 특허청구범위는 은행거래시스템에 한정되는 것이 아니다.

상술한 바와 같은 본 발명에 따른 은행거래시스템의 거래자 안면 인식방법은 거래자의 화상을 촬영하고 촬영된 거래자의 화상중 눈과 입의 화상이 정확하게 검출되는지를 판단하여 정확한 눈과 입이 검출되지 않은 화상인 경우 즉, 손으로 얼굴의 일부분을 가리는 경우, 얼굴을 심하게 기울이는 경우, 모자를 심하게 눌러쓴 경우, 복면을 한 경우, 마스크를 착용했을 경우 및 짙고 눈의 크기보다 훨씬 큰 썬그라스를 착용한 경우 해당 거래자가 현금 및 수표를 인출할 수 없도록 자동지급기의 동작을 차단함으로써, 금융범죄를 미연에 방지할 수 있는 현저한 효과가 있다.

Claims

카메라를 구비한 거래시스템의 거래자 안면인식방법으로서,

카메라를 통해 입력되는 일화면에 대한 RGB화상데이터를 휘도 및 색차신호로 변환하는 단계와;

상기 휘도 및 색차신호로 변환된 화면에 대하여 가장 인식이 잘되는 평균밝기값을 기준점으로 정규화연산을 수행한 후, 정규화 연산된 화면을 일정크기의 블록으로 분할하는 단계와;

상기 분할된 각 블록과 기저장된 살색블록간의 피크신호 잡음비(PSNR)값을 구하여 얼굴후보개체의 이진 블록행렬을 구하는 단계와;

상기 구해진 이진 블록행렬에서 기설정된 유효블럭이하의 이진 블록 및 작은 이진 블록의 무리들을 제거하는 단계와;

상기 유효블럭이상의 블록수를 갖는 개체블록군에서 개체가 시작되는 시작블록을 결정한 후, 체인트랙킹을 통해 하나 이상의 얼굴 후보개체를 결정하는 단계와;

상기 결정된 하나 이상의 얼굴후보개체들에 대한 기울기를 계산하고 계산된 기울기가 기설정된 기준 기울기값 이상인 경우 얼굴후보개체의 블록군을 상기 기설정된 기준기울기값 이내의 범위로 회전시키는 단계와;

상기 얼굴후보개체를 일정크기의 블록으로 재분할하고 분할된 각 블록들을 이루고 있는 점들의 명도를 이용하여 얼굴후보개체의 윤곽점들을 추출하고, 윤곽점이외의 잔점들을 제거하며, 점집합군을 추출하는 단계와;

상기 추출된 점집합에 대해 체인 트랙킹을 수행하여 대표도형을 추출하고, 기 설정된 눈과 입이 될 수 있는 조건을 이용하여 상기 추출된 대표도형중 눈과 입이 될 수 있는 도형을 검색하는 단계와;

상기 검색된 눈과 입이 될 수 있는 도형에 의해 각 후보개체들의 얼굴인지도값을 계산하고, 계산된 각 얼굴후보개체들중 얼굴후보개체 하나만을 추출하는 단계와;

상기 추출된 거래자 얼굴후보개체에 대해 상기 계산된 얼굴인지도값과 기 설정된 기준 얼굴인지도값을 비교하여 거래자의 얼굴인지도값이 기준 얼굴인지도값보다 작은 경우 정상적으로 얼굴을 인식할 수 없다고 판단하여 해당 거래를 차단하는 단계로 이루어짐을 특징으로 하는 은행거래시스템의 거래자 안면인식방법.
제 1 항에 있어서, 얼굴후보개체의 이진 블록행렬을 구하는 단계는 상기 구해진 피크신호 잡음비값과 기설정된 기준 피크신호 잡음비값(PSNR)을 비교하여 살색계통의 블록과 삭색계통이 아닌 블록을 결정하고, 살색계통인 블록은 "1"로 세팅하고 살색계통이 아닌 블록은 "0"으로 세팅하여 이진 블록행렬을 구하는 것을 특징으로 하는 은행거래시스템의 거래자 안면인식방법.
제 2 항에 있어서, 상기 기설정된 기준 피크신호 잡음비값(PSNR)은 20 - 22사이의 값중 하나의 값을 스레숄드값으로 결정하는 것을 특징으로 하는 은행거래시스템의 거래자 안면인식방법.
제 1 항에 있어서, 상기 기설정된 유효블럭이하의 이진 블록 및 작은 이진 블록의 무리들을 제거하는 단계는 개체를 인식하기 위하여 상기 결정된 이진 블록행렬중 가로 및 세로방향으로 "1"이 세팅된 블록들중 기설정된 유효블록보다 작은 블록들을 각각 제거하는 단계와;

상기 체인 트랙킹을 수행하기 위하여 상기 이진 블록행렬중 가로 및 세로방향으로 "0"가 세팅된 블록들중 기설정된 유효블록보다 작은 블록들을 각각 제거하는 단계로 이루어짐을 특징으로 하는 은행거래시스템의 거래자 안면인식방법.
제 1 항에 있어서, 상기 유효블럭이상의 블록수를 갖는 개체블록군에서 개체가 시작되는 시작블록의 결정은 상기 "1" 및 "0"이 세팅된 이진행렬에 대하여 가로방향으로 스캐닝을 수행하여 블록에 세팅된 값이 "0"에서 "1"로 변화하는 지점을 개체의 시작점으로 결정하는 것을 특징으로 하는 은행거래시스템의 거래자 안면인식방법.
제 1 항에 있어서, 상기 체인트랙킹은 상기 구해진 개체의 시작점에서 출발하여 동, 남동, 남, 남서, 서, 북서, 북, 북동의 8방향에 대하여 탐색을 하여 세팅된 값이 "0"에서 "1"로 변하는 블록으로 이동하면서 상기 과정을 반복적으로 수행하고, 이동점이 상기 체인트랙킹의 시작점에 도달되는 경우 체인트랙킹을 종료하는 것을 특징으로 하는 은행거래시스템의 거래자 안면인식방법.
제 1 항 또는 제 6 항에 있어서, 상기 체인 트랙킹을 수행하는 과정에서 개체의 좌측, 우측, 상측, 하측에 대한 최대값들을 각각 구하여 개체의 크기를 결정하고, 결정된 개체크기에 대하여 가로크기 60%, 세로크기 30%에 해당하는 값을 스레숄드로 정하여 나머지 블록들을 제거하며 체인트랙킹을 재수행하여 최종적인 하나 이상의 복수의 얼굴후보개체를 결정하는 것을 특징으로 하는 은행거래시스템의 거래자 안면인식방법.
제 1 항에 있어서, 상기 결정된 하나 이상의 얼굴후보개체에 대한 기울기의 계산은 상기 얼굴후보개체의 중점을 구하고, 상기 구한 얼굴후보개체의 중점과 얼굴후보개체를 이루고 있는 각각의 블록들간의 기울기를 구해 기울기의 평균값을 계산하여 얼굴후보개체의 전체기울기값을 계산하는 최소제곱법을 이용하는 것을 특징으로 하는 은행거래시스템의 거래자 인면인식방법.
제 1 항에 있어서, 상기 얼굴후보개체의 윤곽점 추출은 상기 얼굴후보개체들을 이루고 있는 각 블록들을 일정크기의 블록으로 재분할하는 단계와;

상기 분할된 각 블록마다의 평균명도값을 각각 계산하여 각 블록을 이루고 있는 점들의 명도값과 상기 계산된 평균명도값을 비교하는 단계와;

비교결과, 블록의 각점에 대한 명도값이 평균명도값보다 높으면 255를 지정하고, 낮으면 0으로 지정하여 얼굴후보개체의 윤곽점을 추출하는 단계로 이루어짐을 특징으로 은행거래시스템의 거래자 안면인식방법.
제 1 항에 있어서, 얼굴후보개체의 블록군을 상기 기 설정된 기준 기울기값이내의 범위로 회전시키는 단계에서 기준 기울기값은 대략 10°정도인 것을 특징으로 하는 은행거래시스템의 거래자 안면인식방법.