KR20060132421A

KR20060132421A - 가리어진 얼굴 검출장치 및 방법과 이를 이용한 부정거래자식별장치 및 방법

Info

Publication number: KR20060132421A
Application number: KR1020050052762A
Authority: KR
Inventors: 성영훈; 박찬민; 황의현; 이종하
Original assignee: 삼성전자주식회사
Priority date: 2005-06-18
Filing date: 2005-06-18
Publication date: 2006-12-21
Also published as: US20060291001A1; US7783083B2; KR100695155B1

Abstract

가리어진 얼굴 검출장치 및 방법과 이를 이용한 부정거래자 식별장치 및 방법이 개시된다. 가리어진 얼굴 검출장치는 얼굴영역에 대하여 스무딩 처리를 수행하는 스무딩 처리부; 상기 스무딩 처리된 얼굴영역을 제1 영역과 제2 영역으로 분할하는 영역 분할부; 상기 제1 영역에 대하여 가리어진 영역인지 여부를 검출하여, 제1 영역 검출결과를 생성하는 제1 영역검출부; 상기 제2 영역에 대하여 가리어진 영역인지 여부를 검출하여, 제2 영역 검출결과를 생성하는 제2 영역검출부; 및 상기 제1 영역 검출결과와 상기 제2 영역 검출결과를 이용하여 상기 얼굴영역이 가리어진 얼굴인지를 결정하는 결정부로 이루어진다.

Description

가리어진 얼굴 검출장치 및 방법과 이를 이용한 부정거래자 식별장치 및 방법 {Apparatus and method for detecting occluded face and apparatus and method for discriminating illicit transactor employing the same}

도 1은 자동지급기에 있어서 본 발명의 일실시예에 따른 부정거래자 식별장치의 구성을 보여주는 블럭도,

도 2는 도 1에 도시된 제1 얼굴검출부의 일실시예에 따른 세부적인 구성을 보여주는 블럭도,

도 3은 도 1에 도시된 제2 얼굴검출부의 일실시예에 따른 세부적인 구성을 보여주는 블럭도,

도 4는 도 3에 있어서 그래디언트 영상 생성부에서 사용된 그래디언트 연산자의 예시도,

도 5는 일반 영상과 그래디언트 영상의 예시도,

도 6a 내지 도 6c는 조명에 의한 영상에서의 변화를 설명하기 위한 도면,

도 7은 스케일 스페이스에서 표현한 일반영상 및 그래디언트 영상의 예시도,

도 8a 및 도 8b는 자동지급기에 있어서 본 발명의 일실시예에 따른 부정거래자 식별방법의 동작을 보여주는 흐름도, 및

도 9는 도 8a에 있어서 가리어진 얼굴 검출 수행단계의 세부적인 동작을 보 여주는 흐름도이다.

본 발명은 자동지급기(Automatic Teller Machine, 이하 ATM이라 약함)에 관한 것으로서, 특히 ATM에 있어서 가리어진 얼굴 검출장치 및 방법과 이를 이용한 부정거래자 식별장치 및 방법에 관한 것이다.

최근, 자동화 기술분야의 발전에 따라 금융기관에 현금자동지급기 또는 현금 및 수표 자동입출금기 등(이하 자동지급기라 약함)이 급속하게 보급되고 있는 상황이다. 이러한 상황에서 타인의 신용카드 또는 통장과 비밀번호를 이용하여 현금 또는 수표를 인출하는 금융범죄가 상당히 증가하고 있는 추세이다. 이에 대비하여, 금융기관에서는 자동지급기에 무인카메라를 설치하여 모든 거래자의 거래상황을 촬영 및 복화하였다가 녹화된 기록매체를 이용하여 부정거래자의 얼굴을 식별하고 있다. 그러나, 통상 부정거래자는 제대로 얼굴이 촬영되지 않도록 하면서 금융범죄를 행하기 때문에 일반적인 촬영방법으로는 부정거래자의 얼굴을 정확하게 식별하는 것이 어렵다.

한편, 감시시스템에 연결된 서비스 기기에 대한 사용자의 접근을 제어하는 기법으로서, 한국공개특허공보 1998-82154호와 한국공개특허공보 2000-61100호에 개시된 기술을 예로 들 수 있다. 한국공개특허공보 1998-82154호에 따르면, ATM의 동작에 연동되어 사용자의 얼굴영상을 녹화하기 위한 감시카메라로부터의 얼굴 형 상을 취득한 다음, 이를 분석하여 사후적으로 확인가능한 특징점이 존재하는가를 확인하고, 특징점의 존재가 확인되는 경우에 한하여 사용자의 주문이 처리되도록 허용한다. 또한, 한국공개특허공보 2000-61100호에 따르면, 전면에서 촬영된 거래자의 얼굴화상 중 눈과 입의 화상이 정확하게 검출되는지를 판단하여, 정확한 눈과 입이 검출되지 않은 화상인 경우에 있어서는 현금 또는 수표의 지급거래가 이루어지지 않도록 ATM의 동작을 차단시킴으로써 금융범죄를 미연에 방지할 수 있도록 한 것이다. 여기서, 정확한 눈과 입이 검출되지 않은 화상의 예로는, 손으로 얼굴의 일부분을 가리는 경우, 얼굴을 심하게 기울이는 경우, 모자를 심하게 눌러 쓴 경우, 복면을 한 경우, 마스크를 착용했을 경우 또는 짙으면서 눈의 크기보다 훨씬 큰 선글라스를 착용한 경우 등을 들 수 있다.

그런데, 상기한 사용자 접근 제어기법에서는 선글라스를 착용하거나, 눈 주변의 그림자의 영향으로 어두워진 부분이 발생하여 눈영역에 대하여 폐색(occlusion) 현상이 발생한 것으로 판단한 경우, 선글라스나 어두어진 부분을 커다란 눈과 같은 정상적인 눈으로 인식하는 등, 눈의 특징점을 정확하게 검출하기 어려운 문제가 있었다. 또한, 눈과 달리 코와 입은 그 특징점에 대한 정의가 부족할 뿐 아니라, 코 부분과 입 부분은 조명 등에 민감하므로 코와 입의 특징점이 상황에 따라 상당히 달라지는 문제가 있었다.

본 발명이 이루고자 하는 기술적 과제는 자동지급기를 사용하는 거래자의 가리어진 얼굴을 검출하기 위한 장치 및 방법을 제공하는데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는 자동지급기를 사용하는 거래자의 얼굴영상으로부터 부정거래자를 식별하기 위한 장치 및 방법을 제공하는데 있다.

상기 기술적 과제를 달성하기 위하여 본 발명에 따른 가리어진 얼굴 검출장치는 얼굴영역에 대하여 스무딩 처리를 수행하는 스무딩 처리부; 상기 스무딩 처리된 얼굴영역을 제1 영역과 제2 영역으로 분할하는 영역 분할부; 상기 제1 영역에 대하여 가리어진 영역인지 여부를 검출하여, 제1 영역 검출결과를 생성하는 제1 영역검출부; 상기 제2 영역에 대하여 가리어진 영역인지 여부를 검출하여, 제2 영역 검출결과를 생성하는 제2 영역검출부; 및 상기 제1 영역 검출결과와 상기 제2 영역 검출결과를 이용하여 상기 얼굴영역이 가리어진 얼굴인지를 결정하는 결정부를 포함한다.

상기 기술적 과제를 달성하기 위하여 본 발명에 따른 가리어진 얼굴 검출방법은 얼굴영역에 대하여 스무딩 처리를 수행하는 단계; 상기 스무딩 처리된 얼굴영역을 제1 영역과 제2 영역으로 분할하는 단계; 상기 제1 영역 및 상기 제2 영역에 대하여 각각 가리어진 영역인지 여부를 검출하여, 제1 영역 검출결과와 제2 영역 검출결과를 생성하는 단계; 및 상기 제1 영역 검출결과와 상기 제2 영역 검출결과를 이용하여 상기 얼굴영역이 가리어진 얼굴인지를 결정하는 단계를 포함한다.

상기 기술적 과제를 달성하기 위하여 본 발명에 따른 자동지급기에 있어서 부정거래자 식별장치는 촬상개시신호에 따라서 현재 거래자의 영상을 촬상하는 촬상부; 상기 촬상된 현재 거래자의 영상으로부터 얼굴영역을 검출하는 제1 얼굴검출 부; 상기 검출된 얼굴영역을 스무딩 처리하고, 가리어진 얼굴인지 정상적인 얼굴인지 여부를 검출하는 제2 얼굴검출부; 및 상기 가리어진 얼굴로 검출되는 프레임 수와 상기 정상적인 얼굴로 검출되는 프레임 수를 이용하여 상기 현재 거래자가 정상거래자인지 부정거래자인지 여부를 판단하는 판단부를 포함한다.

상기 기술적 과제를 달성하기 위하여 본 발명에 따른 자동지급기에 있어서 부정거래자 식별방법은 촬상개시신호에 따라서 현재 거래자의 영상을 촬상하는 단계; 상기 촬상된 현재 거래자의 영상으로부터 얼굴영역을 검출하는 단계; 상기 검출된 얼굴영역을 스무딩 처리하고, 가리어진 얼굴인지 정상적인 얼굴인지 여부를 검출하는 단계; 및 상기 가리어진 얼굴로 검출되는 프레임 수와 상기 정상적인 얼굴로 검출되는 프레임 수를 이용하여 상기 현재 거래자가 정상거래자인지 부정거래자인지 여부를 판단하는 단계를 포함한다.

상기 가리어진 얼굴 검출방법과 상기 부정거래자 식별방법은 바람직하게는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현할 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명하기로 한다.

도 1은 자동지급기에 있어서 본 발명의 일실시예에 따른 부정거래자 식별장치의 구성을 보여주는 블럭도로서, 촬상부(110), 제1 얼굴검출부(130), 제2 얼굴검출부(150), 및 판단부(170)를 포함하여 이루어진다.

도 1을 참조하면, 촬상부(110)는 비디오 카메라 등으로 구현될 수 있으며, 촬상개시신호가 발생하면 거래자의 영상을 촬상한다. 여기서, 촬상개시신호는 카드가 투입되거나 통장이 투입되는 이벤트가 인식되었을 때 발생된다.

제1 얼굴검출부(130)는 촬상부(110)로부터 제공되는 영상으로부터 얼굴영역을 검출한다. 얼굴영역 검출은 미리 설정된 제1 문턱치에 해당하는 프레임 영상들에 대하여 즉, 촬상개시신호가 발생된 이후부터 미리 설정된 단위 시간 동안 수행된다.

제2 얼굴검출부(150)는 제1 얼굴검출부(130)에서 얼굴영역이 검출된 영상에 대하여 가리어진 얼굴인지 정상 얼굴인지를 검출한다.

판단부(170)는 제2 얼굴검출부(150)에서의 가리어진 얼굴 검출 결과 가리어진 얼굴로 검출된 비정상 프레임 수와 미리 설정된 제2 문턱치간의 비교결과와, 제2 얼굴검출부(150)에서의 가리어진 얼굴 검출 결과 정상 얼굴로 검출된 정상 프레임 수와 미리 설정된 제3 문턱치간의 비교결과를 이용하여 현재 거래자가 정상거래자인지 부정거래자인지를 판단한다. 즉, 비정상 프레임 수가 제2 문턱치보다 큰 경우, 또는 비정상 프레임 수는 제2 문턱치와 같거나 작지만 정상 프레임 수가 제3 문턱치보다 작은 경우 현재 거래자를 부정거래자로 판단한다. 한편, 비정상 프레임 수는 제2 문턱치와 같거나 작고, 정상 프레임 수가 제3 문턱치와 같거나 큰 경우 현재 거래자를 정상거래자로 판단한다.

본 발명의 다른 실시예로는 제1 얼굴검출부(130)에 있어서 제1 문턱치에 해당하는 프레임 영상들에 대한 얼굴영역 검출 결과, 얼굴영역이 검출되지 않은 영상 프레임 수와 미리 설정된 제4 문턱치를 비교하고, 얼굴영역이 검출되지 않은 영상 프레임 수가 제4 문턱치보다 큰 경우에는 제2 얼굴검출부(150)에서의 가리어진 얼굴 검출과정을 수행하지 않고 바로 현재 거래자를 부정 거래자로 판단하도록 구성할 수 있다. 이 경우, 현재 거래자가 부정거래자임을 신속하게 판단할 수 있으므로 자동지급기에서의 거래를 중지시키거나 알람을 발생시키는 등 후속조치를 취함으로써 부정거래를 미연에 방지할 수 있다.

여기서, 제1 내지 제4 문턱치는 미리 실험이나 시뮬레이션을 통해 통계적으로 구해지는 값이다.

도 2는 도 1에 도시된 제1 얼굴검출부(130)의 일실시예에 따른 세부적인 구성을 보여주는 블럭도로서, 영상입력부(210), 흑백화부(230), 및 얼굴영역 검출부(250)를 포함하여 이루어진다.

도 2를 참조하면, 영상입력부(210)는 촬상부(110)로부터 획득된 자동지급기의 거래자의 영상을 입력한다.

흑백화부(230)는 입력된 영상이 칼라영상인 경우, 칼라영상을 흑백영상으로 변환시킨다. RGB 방식의 칼라영상에는 색상성분과 휘도성분이 혼재되어 있기 때문에, 흑백영상으로 변환함으로써 특징점 추출시 휘도변화에 의한 오류를 방지할 수 있다.

얼굴영역 검출부(250)는 흑백화부(230)로부터 제공되는 흑백영상으로부터 얼굴영역을 검출한다. 이때, 통상적으로 가버 필터(Gabor Filter)를 이용하여 얼굴영역을 검출할 수 있다. 즉, 흑백영상에 다양한 방향성과 주파수를 갖는 가버 필 터들의 집합을 적용시키고, 그 반응값에 따라 얼굴영역을 검출한다. 얼굴영역 검출부(250)는 일정한 단위 시간동안 입력되는 각 프레임 영상에 대하여 얼굴영역을 검출한다. 여기서, 일정한 단위 시간은 거래자가 자동지급기에 카드 혹은 통장을 투입하는 시점부터 거래자가 현금 또는 수표를 인출할 때까지 소요되는 평균 시간을 의미하나, 반드시 이에 한정되는 것은 아니다. 얼굴영역 검출부(250)에서 얼굴영역이 검출된 경우, 해당 프레임 영상의 얼굴영역은 제2 얼굴검출부(150)로 제공하는 동시에 다른 프레임 영상에 대하여 얼굴영역 검출을 수행한다. 한편, 얼굴영역 검출부(250)에서 얼굴영역이 검출되지 않은 경우, 해당 프레임 영상을 폐기하고, 다음 프레임 영상에 대하여 얼굴영역 검출을 수행한다.

본 발명의 다른 실시예로, 얼굴영역 검출부(250)는 일정한 단위 시간 동안 얼굴영역이 검출되지 않은 프레임 수를 계수하고, 얼굴영역이 검출되지 않은 프레임 수가 제4 문턱치보다 큰 경우 이를 나타내는 신호를 판단부(170)로 제공한다.

도 3은 도 1에 도시된 제2 얼굴검출부(150)의 일실시예에 따른 세부적인 구성을 보여주는 블럭도로서, 정규화부(310), 에지영상 생성부(320), 스무딩 처리부(330), 영역 분할부(340), 제1 영역특징 데이터베이스(350), 제1 영역검출부(360), 제2 영역특징 데이터베이스(370), 제2 영역검출부(380), 및 결정부(390)를 포함하여 이루어진다.

도 3을 참조하면, 정규화부(310)는 제1 얼굴검출부(130)에서 검출된 얼굴영역에 대하여 얼굴영역의 크기 보정 혹은 영상의 기울어짐 보정 등을 수행하여 얼굴영역을 정규화시킨다. 예를 들면, 얼굴영역은 60 * 60 화소 크기의 영상으로 정규 화시킬 수 있다. 다른 실시예로, 정규화부(310)는 스무딩 처리부(330)의 후단에 위치하는 것도 가능하다.

에지영상 생성부(320)는 정규화부(310)로부터 제공되는 얼굴영역에 대하여 에지영상을 생성한다. 영상처리 측면에서 볼 때 화소값 자체보다 에지 특징이 조명 변화에 강인하다고 알려져 있다. 따라서, 에지영상은 일반 영상에 비하여 조명 변화에 강인한 특징을 가지게 된다.

에지영상을 생성하기 위하여 에지를 추출하는 방법으로는 널리 알려진 여러가지 방법을 이용하거나, 이들을 변형하여 적용할 수 있다.

일반적으로는, 얼굴영역에서 임의의 포인트 I(x,y)에 대한 에지영상 g(x,y)을 다음 수학식 1에서와 같이 얻을 수 있다.

여기서,

는 x 축 변화량을,

는 y 축 변화량을 각각 나타낸다. 수학식 1에 정의된 방법은 두개의 방향 즉, x 및 y 방향에 대한 마스크를 이용하여 에지 크기를 얻는다. 이에 대해서는 J.M.S.Prewitt, "Object Enhancement and Extraction," Picture Proecessing and Psychopictorics, New York, Academic press, 1970, L.S.Davis, "A survey of edge detection techniques," Computer Graphics and Image Processing, vol. 4, pp. 248-270, 1975, L.G.Roberts, "Machine perception of three-dimensional solids," Computer Methods in Image Analysis, Los Angels, IEEE Computer Society, 1977 등 여러 문헌에 자세히 개시되어 있다.

한편, 두개 이상 i개의 방향에 대하여 에지크기를 얻고, 가장 큰 값을 갖는 방향의 에지크기로 해당 포인트 I(x,y)에 대한 에지영상 g(x,y)을 구성하는 경우, 다음 수학식 2에서와 같이 정의할 수 있다.

이에 대해서는 W.Frei and C.C.Chen, "Fast boundary detection : a generalization and a new algorithm," IEEE Trans. Computer 26, No. 2, October, 1977에 자세히 개시되어 있다.

본 발명에서는 수학식 2에 정의된 방법을 변형하여 에지영상을 추출하는데, 예를 들어 360도를 30도로 분할하여 12개의 방향에 대하여 에지크기를 얻는다. 도 4는 12개의 그래디언트 연산자 중 6개의 그래디언트 연산자를 예를 들어 나타낸 것이다.

도 5는 일반 영상과 에지영상의 예시도로서, 참조부호 510은 선글라스를 착용한 일반영상, 참조부호 530은 선글라스를 착용한 일반영상(510)의 에지영상을 나타낸다. 한편, 참조부호 550은 정상적인 일반영상, 참조부호 570은 정상적인 일반영상(550)의 에지영상을 나타낸다.

스무딩 처리부(330)는 에지영상 생성부(320)로부터 제공되는 에지영상을 가 우시안 커널(Gaussian kernel)을 이용하여 스케일 스페이스상에서 표현하여 스무딩시킨다. 이에 따르면, 에지영상에서 세세한 특징이 감소되어 추상화됨으로써 에지영상이 연속적인 특징을 가지게 된다.

1차원 신호에 대하여 가우시안 커널을 이용한 스케일 스페이스는 다음 수학식 3에서와 같이 정의할 수 있다.

여기서, L(x;t)는 스케일 스페이스상에서 표현되어 스무딩된 영상, g(ξ;t)는 가우시안 커널, f(x-ξ)는 에지영상을 나타낸다. 이에 대해서는 T. Lindeberg, "Scale-space theory in computer vision," Kluwer Academic Publishers, 1994에 자세히 개시되어 있다.

도 6a 내지 도 6c는 에지영상과 스무딩된 영상에 있어서 조명에 의한 변화를 설명하기 위한 도면이다. 도 6a는 선글라스를 착용한 영상에 대한 것으로서, 참조부호 611은 스무딩만 적용한 경우, 참조부호 613은 영상(611)의 이진화 영상, 참조부호 615는 에지영상에 스무딩을 적용한 경우, 참조부호 617은 영상(615)의 이진화 영상을 각각 나타낸다. 도 6b는 역광이 존재할 때 촬상된 영상에 대한 것으로서, 참조부호 621은 스무딩만 적용한 경우, 참조부호 623은 영상(621)의 이진화 영상, 참조부호 625는 에지영상에 스무딩을 적용한 경우, 참조부호 627은 영상(625)의 이진화 영상을 각각 나타낸다. 도 6c는 정상적인 일반 영상에 대한 것으로서, 참조부호 631은 스무딩만 적용한 경우, 참조부호 633은 영상(631)의 이진화 영상, 참조부호 635는 에지영상에 스무딩을 적용한 경우, 참조부호 637은 영상(635)의 이진화 영상을 각각 나타낸다.

도 6a 및 도 6b에 도시된 각 이진화 영상을 살펴보면, 스무딩 처리를 수행하지 않은 경우에는 선글라스를 착용한 영상과 역광이 존재하는 영상을 동일하게 가리어진 얼굴로 검출하는 경우가 발생하나, 스무딩만 적용하거나, 에지영상을 생성하여 스무딩을 적용하게 되면, 선글라스를 착용한 영상과 역광이 존재하는 영상간에 뚜렷하게 구분이 가능함을 알 수 있다.

도 7은 스케일 스페이스에서 표현한 일반영상 및 그래디언트 영상의 예시도로서, 참조부호 711은 선글라스를 착용한 일반 영상, 참조부호 713은 일반 영상(711)의 스무딩된 영상, 참조부호 715는 일반 영상(711)의 에지영상, 참조부호 717은 에지영상(715)의 스무딩된 영상을 각각 나타낸다. 한편, 참조부호 721은 정상적인 일반 영상, 참조부호 723은 일반 영상(721)의 스무딩된 영상, 참조부호 725는 일반 영상(721)의 에지영상, 참조부호 727은 에지영상(725)의 스무딩된 영상을 각각 나타낸다.

본 발명의 다른 실시예로, 에지영상 생성부(320)를 거치지 않고 바로 스무딩처리부(330)에서 스무딩 처리를 처리할 수 있다. 에지영상 생성부(320)와 스무딩처리부(330)를 모두 거치면 조명 변화에 매우 강인한 영상을 얻을 수 있다.

영역 분할부(340)는 스무딩 처리부(330)에서 스무딩된 얼굴영역을, 눈 주변을 중심으로 하는 상위영역과, 입을 중심으로 하는 하위영역으로 분할한다. 예를 들어, 얼굴영역이 60 * 60 화소 크기의 영상으로 정규화된 경우, 상위영역은 60 * 25 화소 크기, 하위영역은 60 * 35 화소 크기로 설정할 수 있다. 이와 같이 상위영역과 하위영역으로 분할하는 이유는, 얼굴의 각 구성요소에 대한 특징벡터를 추출함에 있어서 탐색영역의 크기를 제한함으로써 로컬 미니멈(local minimum)에 빠질 가능성을 미연에 방지할 수 있을 뿐 아니라, 보다 신속하고 정확하게 특징벡터를 추출할 수 있다.

제1 영역특징 데이터베이스(350)는 다수의 트레이닝 영상에 대하여 분할된 상위영역의 트레이닝 결과 얻어진 정상적인 얼굴영상 클래스에 속하는 특징벡터들과, 가리어진 얼굴영상 클래스에 속하는 특징벡터들을 저장한다. 제2 영역특징 데이터베이스(370)는 다수의 트레이닝 영상에 대하여 분할된 하위영역의 트레이닝 결과 얻어진 정상적인 얼굴영상 클래스에 속하는 특징벡터들과, 가리어진 얼굴영상 클래스에 속하는 특징벡터들을 저장한다. 여기서, 정상적인 얼굴영상 클래스는 상위영역 혹은 하위영역이 확인가능한 얼굴영상을 의미하며, 가리어진 얼굴영상 클래스는 선글라스, 마스크 및 목도리 등으로 얼굴이 부분적으로 가리어져 상위영역 혹은 하위영역이 확인이 불가능한 얼굴영상을 의미한다. 트레이닝 과정에는 일예로 간단히 분류기로서 널리 사용되는 서포트 벡터 머쉰(Support Vector Machine) 알고리즘을 사용하나, 반드시 이에 한정되는 것은 아니다.

제1 영역검출부(360)는 제1 영역특징 데이터베이스(350)에 저장된 상위영역 에 대한 정상적인 얼굴영상 클래스와 가리어진 얼굴영상 클래스에 속하는 특징벡터들을 참조하여, 스무딩 처리부(330)로부터 제공되는 상위영역에 해당하는 얼굴부분에 대하여 가리어진 영역인지 여부를 검출한다. 가리어진 영역 검출을 위하여 먼저 상위영역을 상위영역에 대한 PCA(Principal Component Analysis) 공간으로 투영시켜 차원을 감소시키면서 특징벡터를 획득한다. 획득된 특징벡터를 SVM 분류기를 이용하여 가리어진 얼굴영상 클래스에 속하는지 정상적인 얼굴영상 클래스에 속하는지 판단한다. 제1 영역검출부(360)에서의 가리어진 영역 검출 결과 즉, 제1 영역 검출결과는 결정부(390)로 제공된다.

제2 영역검출부(380)는 제2 영역특징 데이터베이스(370)에 저장된 하위영역에 대한 정상적인 얼굴영상 클래스와 가리어진 얼굴영상 클래스에 속하는 특징벡터들을 참조하여, 스무딩 처리부(330)로부터 제공되는 하위영역에 해당하는 얼굴부분에 대하여 가리어진 영역인지 여부를 검출한다. 마찬가지로, 가리어진 영역 검출을 위하여 하위영역을 하위영역에 대한 PCA 공간으로 투영시켜 차원을 감소시키면서 특징벡터를 획득한다. 획득된 특징벡터를 SVM 분류기를 이용하여 가리어진 얼굴영상 클래스에 속하는지 정상적인 얼굴영상 클래스에 속하는지 판단한다. 제2 영역검출부(380)에서의 가리어진 영역 검출 결과, 즉 제2 영역 검출결과는 결정부(390)로 제공된다.

결정부(390)는 제1 영역검출부(360)로부터 제공되는 제1 영역 검출결과와 제1 영역검출부(360)로부터 제공되는 제2 영역 검출결과를 이용하여 한 프레임 영상에 대하여 최종적으로 가리어진 얼굴인지 여부를 판단한다. 즉, 제1 영역 검출결 과와 제2 영역 검출결과 중 적어도 하나가 가리어진 영역으로 검출된 경우에는 해당하는 프레임 영상을 가리어진 얼굴로 결정한다.

도 8a 및 도 8b는 자동지급기에 있어서 본 발명의 일실시예에 따른 부정거래자 식별방법의 동작을 보여주는 흐름도이다.

도 8a 및 도 8b를 참조하면, 811 단계에서는 촬상개시 신호가 발생하였는지를 모니터링한다. 813 단계에서는 811 단계에서 촬상개시 신호가 발생한 경우, 현재 거래자에 대하여 촬상되어 입력될 프레임 수(K)를 1로 초기화시킨다. 815 단계에서는 현재 거래자에 대하여 K 번째 프레임 영상을 입력받는다.

817 단계에서는 K 번째 프레임 영상에 대하여 얼굴영역 검출을 수행한다. 819 단계에서는 817 단계에서의 얼굴영역 검출 수행결과, 얼굴영역이 검출되었는지 여부를 판단한다. 819 단계에서 얼굴영역이 검출되지 않은 것으로 판단된 경우 821 단계에서 K를 1 증가시킨 후 815 단계로 복귀하며, 얼굴영역이 검출되지 않은 프레임 수를 계수할 수 있다.

823 단계에서는 819 단계에서 얼굴영역이 검출된 것으로 판단된 경우 검출된 얼굴영역에 대하여 가리어진 얼굴 검출을 수행한다. 825 단계에서는 823 단계에서의 가리어진 얼굴 검출 수행결과, 가리어진 얼굴이 검출되었는지 여부를 판단한다. 827 단계에서는 825 단계에서 가리어진 얼굴영역이 검출된 것으로 판단된 경우 비정상 프레임 수(F1)을 1 증가시킨다. 829 단계에서는 현재까지 입력된 프레임 수가 제1 문턱치(TH1)와 같거나 큰지를 비교하여, 같거나 큰 경우 835 단계로 이행하고, 작은 경우 821 단계로 복귀한다. 한편, 831 단계에서는 825 단계에서 가리어 진 얼굴영역이 검출되지 않은 것으로 판단된 경우 정상 프레임 수(F2)을 1 증가시킨다. 833 단계에서는 현재까지 입력된 프레임 수가 제1 문턱치(TH1)와 같거나 큰지를 비교하여, 같거나 큰 경우 835 단계로 이행하고, 작은 경우 821 단계로 복귀한다.

835 단계에서는 제1 문턱치(TH1)에 해당하는 수의 프레임 영상에 대하여 얻어진 비정상 프레임 수(F1)가 제2 문턱치(TH2)보다 큰지를 비교하여, 큰 경우 현재 거래자를 부정거래자로 판단하고(837 단계), 같거나 작은 경우 839 단계로 이행한다.

839 단계에서는 제1 문턱치(TH1)에 해당하는 수의 프레임 영상에 대하여 얻어진 비정상 프레임 수(F1)가 제2 문턱치(TH2)와 같거나 작은 경우 정상 프레임 수(F2)가 제2 문턱치(TH3)보다 작은지를 비교하여, 작은 경우 현재 거래자를 부정거래자로 판단하고, 같거나 큰 경우 현재 거래자를 정상거래자로 판단한다.

비록 도시되지는 않았지만, 819 단계에서 계수된 얼굴영역이 검출되지 않은 프레임 수를 제4 문턱치(TH4)와 비교하여, 얼굴영역이 검출되지 않은 프레임 수가 제4 문턱치(TH4)보다 큰 경우 823 내지 841 단계를 스킵하고 바로 현재 거래자를 부정거래자를 판단할 수 있다.

도 9는 도 8a에 있어서 가리어진 얼굴 검출 수행단계(823 단계)의 세부적인 동작을 보여주는 흐름도이다.

도 9를 참조하면, 911 단계에서는 도 1의 제1 얼굴검출부(130)에서 검출된 얼굴영역을 입력받는다.

913 단계에서는 911 단계에서 입력된 얼굴영역의 에지영상에 대하여 스무딩 처리한 영상을 생성한다. 다른 실시예로는 911 단계에서 입력된 얼굴영역에 대하여 스무딩 처리한 영상을 생성할 수 있다. 한편, 913 단계의 전단 혹은 후단에 얼굴영역의 크기를 정규화시키는 단계를 더 추가할 수 있다.

915 단계에서는 913 단계에서 스무딩 처리된 얼굴영역을 상위영역과 하위영역으로 분할한다.

917 단계에서는 915 단계에서 분할된 상위영역에 대하여 가리어진 영역인지 정상적인 영역인지 여부를 검출하고, 이에 따라서 제1 영역 검출결과를 생성한다. 919 단계에서는 915 단계에서 분할된 하위영역에 대하여 가리어진 영역인지 정상적인 영역인지 여부를 검출하고, 이에 따라서 제2 영역 검출결과를 생성한다. 917 단계와 919 단계는 선후를 바꾸어 수행되거나, 순서를 정함이 없이 병렬로 수행될 수 있다.

921 단계에서는 제1 영역 검출결과와 제2 영역 검출결과를 이용하여 한 프레임 영상에 대하여 최종적으로 가리어진 얼굴인지 여부를 판단한다. 즉, 제1 영역 검출결과와 제2 영역 검출결과 중 적어도 하나가 가리어진 영역으로 검출된 경우에는 해당하는 프레임 영상을 가리어진 얼굴로 결정한다.

다음, 본 발명에 따른 가리어진 얼굴 검출 알고리즘의 성능을 평가하기 위하여 제1 및 제2 데이터베이스에 대하여 실험을 행하였다. 제1 데이터베이스는 퍼듀(Purdue) 대학에서 제공하는 AR 데이터베이스이고, 제2 데이터베이스는 조명 변화가 존재하는 실제 ATM 환경에서 취득된 데이터베이스이다. 성능 평가를 위하여 제 1 및 제2 척도를 측정하였으며, 여기서 제1 척도는 검출율(detection rate)이고, 제2 척도는 오검출율(false alarm rate)이다. 검출율은 가리어진 얼굴에 대한 전체 영상 수와 가리어진 얼굴로 실제 검출된 영상 수의 비, 오검출율은 정상 얼굴에 대한 전체 영상 수와 가리어진 얼굴로 잘못 검출된 영상 수의 비를 의미한다.

먼저, 제1 데이터베이스에 대한 실험 과정을 살펴보면 다음과 같다. 제1 데이터베이스는 실내의 제한된 환경 즉, 조명이 조절되고 포즈가 고정된 환경에서 취득된 얼굴영상들로 이루어져 있으므로 해당 알고리즘의 유효성 및 성능을 평가하는데 사용할 수 있다. 제1 데이터베이스에 있는 얼굴영상들 중 1560장의 정면 얼굴영상을 트레이닝 영상으로 사용하였다. 1560장 중 1200장은 정상적인 정면 얼굴영상이고, 선글라스와 마스크를 착용하고 있는 영상이 각각 180장이다. 가리어진 얼굴을 검출하기 위하여 100개의 아이겐 모드(eigen-modes)를 사용하였다. 가리어진 얼굴 검출에 사용된 테스트 영상으로는 트레이닝 영상으로 사용된 1560장 이외에 제1 데이터베이스에 있는 636장을 추가하였다. 트레이닝 영상으로 사용된 1560장과 트레이닝 영상으로 사용되지 않은 636장에 대한 가리어진 얼굴 검출 결과는 다음 표 1 및 표 2에 도시된 바와 같다.

1560장의 트레이닝 영상	검출율	오검출율
상위영역	99.21 %	0.41 %
하위영역	99.41 %	0.12 %

635장의 추가된 영상	검출율	오검출율
상위영역	97.28 %	1.20 %
하위영역	97.96 %	0.41 %

표 1 및 표 2를 살펴보면, 검출율 및 오검출율 모두 목표치를 만족하고 있으며, 결론적으로 본 발명에 따른 가리어진 얼굴 검출 알고리즘의 유효성 및 성능을 확인할 수 있다.

다음, 제2 데이터베이스에 대한 실험 과정을 살펴보면 다음과 같다. 얼굴 패턴의 다양성을 위해 제1 데이터베이스에 있는 얼굴영상들로 트레이닝 영상과 테스트 영상으로 사용하였다. 제2 데이터베이스는 한 사람당 선글라스를 착용하고 있는 11장의 얼굴영상과 마스크를 착용하고 있는 2장의 얼굴영상 등 모두 13가지를 변화를 갖는 얼굴영상들로 구성된다. 제1 데이터베이스와 제2 데이터베이스에 있는 총 4819장의 얼굴영상을 트레이닝 영상으로 사용하였다. 이 중 1200장은 정상적인 정면 얼굴영상이고, 3345장은 선글라스를 착용하고 있는 얼굴영상이고, 1129장은 마스크를 착용하고 있는 얼굴영상이다. 트레이닝 영상으로 사용된 4819장과 트레이닝 영상으로 사용되지 않은 1500장에 대한 가리어진 얼굴 검출 결과는 다음 표 3 및 표 4에 도시된 바와 같다.

4819장의 트레이닝 영상	검출율	오검출율
상위영역	98.99 %	0.10 %
하위영역	98.56 %	0.44 %

1500장의 추가된 영상	검출율	오검출율
상위영역	95.50 %	1.08 %
하위영역	96.20 %	2.76 %

표 3 및 표 4를 살펴보면, 테스트 영상으로 트레이닝 영상을 사용할 경우 98% 이상의 검출율과 0.5% 미만의 오검출율을 나타내며, 테스트 영상으로 트레이닝 영상이 아닌 얼굴영상을 사용할 경우 검출율 95% 이상, 오검출율 3% 미만으로 안정된 성능을 보임을 알 수 있다. 이에 따르면, 본 발명에 따른 가리어진 얼굴 검출알고리즘이 얼굴영상 취득시 조명이나 표정과 같은 환경 변화에 강인하게 동작함을 확인할 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

상술한 바와 같이 본 발명에 따르면, 촬상된 영상으로부터 그래디언트 영상을 생성하고, 생성된 그래디언트 영상을 스케일 스페이스 상에서 표현하여 스무딩시킨 후 가리어진 얼굴 검출을 수행함으로써 조명이나 표정 등의 환경변화에 상관없이 현재 거래자가 선글라스, 모자, 마스크 혹은 목도리 등으로 얼굴의 일부분을 가린 상태인지 아닌지 여부를 보다 정확하고 신속하게 판단할 수 있다.

또한, 현재 거래자가 선글라스, 모자, 마스크 혹은 목도리 등으로 얼굴의 일부분을 가린 상태인지 아닌지 여부에 대한 판단 결과를 이용하여 보다 정확하게 현재 거래자가 정상거래자인지 혹은 부정거래자인지를 식별할 수 있고, 부정거래자인 경우 자동지급기에 대한 적극적인 접근제어가 가능하므로 부정거래에 신속하게 대처할 수 있다.

본 발명에 대해 상기 실시예를 참고하여 설명하였으나, 이는 예시적인 것에 불과하며, 본 발명에 속하는 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims

얼굴영역에 대하여 스무딩 처리를 수행하는 스무딩 처리부;

상기 스무딩 처리된 얼굴영역을 제1 영역과 제2 영역으로 분할하는 영역 분할부;

상기 제1 영역에 대하여 가리어진 영역인지 여부를 검출하여, 제1 영역 검출결과를 생성하는 제1 영역검출부;

상기 제2 영역에 대하여 가리어진 영역인지 여부를 검출하여, 제2 영역 검출결과를 생성하는 제2 영역검출부; 및

상기 제1 영역 검출결과와 상기 제2 영역 검출결과를 이용하여 상기 얼굴영역이 가리어진 얼굴인지를 결정하는 결정부를 포함하는 것을 특징으로 하는 가리어진 얼굴 검출장치.
제1 항에 있어서,

상기 얼굴영역에 대하여 에지영상을 생성하여 상기 스무딩 처리부의 입력으로 제공하는 에지영상 생성부를 더 포함하는 것을 특징으로 하는 가리어진 얼굴 검출장치.
제1 항에 있어서,

상기 얼굴영역의 크기를 정규화시켜 상기 스무딩 처리부의 입력으로 제공하 는 정규화부를 더 포함하는 것을 특징으로 하는 가리어진 얼굴 검출장치.
제2 항에 있어서,

상기 얼굴영역의 크기를 정규화시켜 상기 에지영상 생성부의 입력으로 제공하는 정규화부를 더 포함하는 것을 특징으로 하는 가리어진 얼굴 검출장치.
제1 항 또는 제2 항에 있어서,

상기 스무딩 처리된 얼굴영역을 정규화시켜 상기 영역 분할부의 입력으로 제공하는 정규화부를 더 포함하는 것을 특징으로 하는 가리어진 얼굴 검출장치.
제1 항 내지 제2 항에 있어서, 상기 스무딩 처리부는 가우시안 커널을 이용하는 것을 특징으로 하는 가리어진 얼굴 검출장치.
제2 항에 있어서, 상기 에지영상 생성부는 임의의 포인트에 대한 에지방향을 복수개의 방향에 대한 그래디언트 연산자를 이용하여 얻어지는 가장 큰 에지크기를 갖는 방향으로 결정하는 것을 특징으로 하는 가리어진 얼굴 검출장치.
제1 항 또는 제2 항에 있어서, 상기 제1 영역은 눈을 중심으로 하는 상위영역이고, 상기 제2 영역은 입을 중심으로 하는 하위영역인 것을 특징으로 하는 가리어진 얼굴 검출장치.
얼굴영역에 대하여 스무딩 처리를 수행하는 단계;

상기 스무딩 처리된 얼굴영역을 제1 영역과 제2 영역으로 분할하는 단계;

상기 제1 영역 및 상기 제2 영역에 대하여 각각 가리어진 영역인지 여부를 검출하여, 제1 영역 검출결과와 제2 영역 검출결과를 생성하는 단계; 및

상기 제1 영역 검출결과와 상기 제2 영역 검출결과를 이용하여 상기 얼굴영역이 가리어진 얼굴인지를 결정하는 단계를 포함하는 것을 특징으로 하는 가리어진 얼굴 검출방법.
제9 항에 있어서,

상기 얼굴영역에 대하여 에지영상을 생성하여 상기 스무딩 처리 단계로 제공하는 단계부를 더 포함하는 것을 특징으로 하는 가리어진 얼굴 검출방법.
제9 항에 있어서,

상기 얼굴영역의 크기를 정규화시켜 상기 스무딩 처리 단계로 제공하는 단계를 더 포함하는 것을 특징으로 하는 가리어진 얼굴 검출방법.
제10 항에 있어서,

상기 얼굴영역의 크기를 정규화시켜 상기 에지영상 생성 단계로 제공하는 단계를 더 포함하는 것을 특징으로 하는 가리어진 얼굴 검출방법.
제9 항에 있어서,

상기 스무딩 처리된 얼굴영역을 정규화시켜 상기 영역 분할 단계로 제공하는 단계를 더 포함하는 것을 특징으로 하는 가리어진 얼굴 검출방법.
제10 항에 있어서,

상기 스무딩 처리된 얼굴영역을 정규화시켜 상기 영역 분할 단계로 제공하는 단계를 더 포함하는 것을 특징으로 하는 가리어진 얼굴 검출방법.
제9 항에 있어서, 상기 스무딩 처리 단계는 가우시안 커널을 이용하는 것을 특징으로 하는 가리어진 얼굴 검출방법.
제10 항에 있어서, 상기 스무딩 처리 단계는 가우시안 커널을 이용하는 것을 특징으로 하는 가리어진 얼굴 검출방법.
제10 항에 있어서, 상기 에지영상 생성단계는 임의의 포인트에 대한 에지방향을 복수개의 방향에 대한 그래디언트 연산자를 이용하여 얻어지는 가장 큰 에지크기를 갖는 방향으로 결정하는 것을 특징으로 하는 가리어진 얼굴 검출방법.
제9 항 내지 제17 항 중 어느 한 항에 기재된 가리어진 얼굴 검출방법을 실 행할 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
촬상개시신호에 따라서 현재 거래자의 영상을 촬상하는 촬상부;

상기 촬상된 현재 거래자의 영상으로부터 얼굴영역을 검출하는 제1 얼굴검출부;

상기 검출된 얼굴영역을 스무딩 처리하고, 가리어진 얼굴인지 정상적인 얼굴인지 여부를 검출하는 제2 얼굴검출부; 및

상기 가리어진 얼굴로 검출되는 프레임 수와 상기 정상적인 얼굴로 검출되는 프레임 수를 이용하여 상기 현재 거래자가 정상거래자인지 부정거래자인지 여부를 판단하는 판단부를 포함하는 것을 특징으로 하는 부정거래자 식별장치.
제19 항에 있어서, 상기 제2 얼굴검출부는

얼굴영역에 대하여 스무딩 처리를 수행하는 스무딩 처리부;

상기 스무딩 처리된 얼굴영역을 제1 영역과 제2 영역으로 분할하는 영역 분할부;

상기 제1 영역에 대하여 가리어진 영역인지 여부를 검출하여, 제1 영역 검출결과를 생성하는 제1 영역검출부;

상기 제2 영역에 대하여 가리어진 영역인지 여부를 검출하여, 제2 영역 검출결과를 생성하는 제2 영역검출부; 및

상기 제1 영역 검출결과와 상기 제2 영역 검출결과를 이용하여 상기 얼굴영 역이 가리어진 얼굴인지를 결정하는 결정부를 포함하는 것을 특징으로 하는 부정거래자 식별장치.
제20 항에 있어서, 상기 제2 얼굴검출부는

상기 얼굴영역에 대하여 에지영상을 생성하여 상기 스무딩 처리부의 입력으로 제공하는 에지영상 생성부를 더 포함하는 것을 특징으로 하는 부정거래자 식별장치.
제20 항에 있어서, 상기 제2 얼굴검출부는

상기 얼굴영역의 크기를 정규화시켜 상기 스무딩 처리부의 입력으로 제공하는 정규화부를 더 포함하는 것을 특징으로 하는 부정거래자 식별장치.
제21 항에 있어서, 상기 제2 얼굴검출부는

상기 얼굴영역의 크기를 정규화시켜 상기 에지영상 생성부의 입력으로 제공하는 정규화부를 더 포함하는 것을 특징으로 하는 부정거래자 식별장치.
제20 항 또는 제21 항에 있어서, 상기 제2 얼굴검출부는

상기 스무딩 처리된 얼굴영역을 정규화시켜 상기 영역 분할부의 입력으로 제공하는 정규화부를 더 포함하는 것을 특징으로 하는 부정거래자 식별장치.
제19 항에 있어서, 상기 판단부는 제1 문턱치에 해당하는 수의 프레임 영상들 중 상기 제2 얼굴검출부에서 가리어진 얼굴로 검출되는 프레임 수가 제2 문턱치보다 큰 경우, 상기 현재 거래자를 부정거래자로 판단하는 것을 특징으로 하는 부정거래자 식별장치.
제19 항에 있어서, 상기 판단부는 제1 문턱치에 해당하는 수의 프레임 영상들 중 상기 제2 얼굴검출부에서 가리어진 얼굴로 검출되는 프레임 수가 제2 문턱치와 같거나 작고, 상기 정상적인 얼굴로 검출되는 프레임 수가 제3 문턱치보다 작은 경우, 상기 현재 거래자를 부정거래자로 판단하는 것을 특징으로 하는 부정거래자 식별장치.
제19 항에 있어서, 상기 판단부는 제1 문턱치에 해당하는 수의 프레임 영상들 중 상기 제1 얼굴검출부에서 얼굴영역이 검출되지 않는 프레임 수가 제4 문턱치보다 큰 경우, 상기 현재 거래자를 부정거래자로 판단하는 것을 특징으로 하는 부정거래자 식별장치.
촬상개시신호에 따라서 현재 거래자의 영상을 촬상하는 단계;

상기 촬상된 현재 거래자의 영상으로부터 얼굴영역을 검출하는 단계;

상기 검출된 얼굴영역을 스무딩 처리하고, 가리어진 얼굴인지 정상적인 얼굴인지 여부를 검출하는 단계; 및

상기 가리어진 얼굴로 검출되는 프레임 수와 상기 정상적인 얼굴로 검출되는 프레임 수를 이용하여 상기 현재 거래자가 정상거래자인지 부정거래자인지 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 부정거래자 식별방법.
제28 항에 있어서, 상기 가리어진 얼굴 검출 단계는

얼굴영역에 대하여 스무딩 처리를 수행하는 단계;

상기 스무딩 처리된 얼굴영역을 제1 영역과 제2 영역으로 분할하는 단계;

상기 제1 영역 및 상기 제2 영역에 대하여 각각 가리어진 영역인지 여부를 검출하여, 제1 영역 검출결과와 제2 영역 검출결과를 생성하는 단계; 및

상기 제1 영역 검출결과와 상기 제2 영역 검출결과를 이용하여 상기 얼굴영역이 가리어진 얼굴인지를 결정하는 단계를 포함하는 것을 특징으로 하는 부정거래자 식별방법.
제29 항에 있어서,

상기 얼굴영역에 대하여 에지영상을 생성하여 상기 스무딩 처리 단계로 제공하는 단계부를 더 포함하는 것을 특징으로 하는 부정거래자 식별방법.
제29 항에 있어서,

상기 얼굴영역의 크기를 정규화시켜 상기 스무딩 처리 단계로 제공하는 단계를 더 포함하는 것을 특징으로 하는 부정거래자 식별방법.
제30 항에 있어서,

상기 얼굴영역의 크기를 정규화시켜 상기 에지영상 생성 단계로 제공하는 단계를 더 포함하는 것을 특징으로 하는 부정거래자 식별방법.
제29 항에 있어서,

상기 스무딩 처리된 얼굴영역을 정규화시켜 상기 영역 분할 단계로 제공하는 단계를 더 포함하는 것을 특징으로 하는 부정거래자 식별방법.
제30 항에 있어서,

상기 스무딩 처리된 얼굴영역을 정규화시켜 상기 영역 분할 단계로 제공하는 단계를 더 포함하는 것을 특징으로 하는 부정거래자 식별방법.
제29 항에 있어서, 상기 판단단계는 제1 문턱치에 해당하는 수의 프레임 영상들 중 상기 제2 얼굴검출부에서 가리어진 얼굴로 검출되는 프레임 수가 제2 문턱치보다 큰 경우, 상기 현재 거래자를 부정거래자로 판단하는 것을 특징으로 하는 부정거래자 식별방법.
제29 항에 있어서, 상기 판단단계는 제1 문턱치에 해당하는 수의 프레임 영상들 중 상기 제2 얼굴검출부에서 가리어진 얼굴로 검출되는 프레임 수가 제2 문턱 치와 같거나 작고, 상기 정상적인 얼굴로 검출되는 프레임 수가 제3 문턱치보다 작은 경우, 상기 현재 거래자를 부정거래자로 판단하는 것을 특징으로 하는 부정거래자 식별방법.
제29 항에 있어서, 상기 판단단계는 제1 문턱치에 해당하는 수의 프레임 영상들 중 상기 제1 얼굴검출부에서 얼굴영역이 검출되지 않는 프레임 수가 제4 문턱치보다 큰 경우, 상기 현재 거래자를 부정거래자로 판단하는 것을 특징으로 하는 부정거래자 식별방법.
제29 항 내지 제37 항 중 어느 한 항에 기재된 부정거래자 식별방법을 실행할 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.