KR101443139B1 - 단일 영상을 사용한 위조 얼굴 검출 방법 - Google Patents

Abstract

본 발명에 따른 단일 영상을 사용한 위조 얼굴 검출 방법은, 컬러 혹은 흑백 카메라에서 촬영된 얼굴 영상을 주파수 도메인으로 변환하고 저주파 성분이 중심에 오도록 위치 변환을 시켜준 후, 이를 다수의 동심원으로 나누어 각 동심원 사이의 평균 에너지값으로 1차원 특징벡터를 생성하고, 이를 서포트벡터머신 등을 사용하여 학습함으로써 위조 얼굴 검출기를 생성한다. 이러한 파워스펙트럼 기반 특징벡터는 얼굴 영상 전체에서 추출될 수도 있고, 임의로 분할된 얼굴 영상의 조각들에서 각각 추출되어 하나로 합쳐질 수도 있다.

Description

단일 영상을 사용한 위조 얼굴 검출 방법{Single image-based fake face detection}

본 발명은 얼굴 인식기와 현금인출기 등에 부착된 카메라로부터 획득된 얼굴 영상의 진위 여부를 판단하는 기술에 관한 것이다. 더욱 상세히는 별도의 특별한 센서나 조명이 없어도 일반적으로 사용되는 컬러 혹은 흑백 카메라에서 취득된 얼굴 영상에 주파수 분석 방법, 로컬바이너리패턴 사용 방법, 그리고 이들을 조합한 방법을 적용하여 입력된 영상이 실제 얼굴에서 취득된 것인지 또는 위조 얼굴에서 취득된 것인지를 판단하는 방법에 관한 것이다.

최근 높아지는 안전에 대한 요구로 인하여 출입 통제 시스템 및 현금인출기 시스템 등에서 얼굴 인식과 얼굴 가려짐 판단 등의 기술을 활용하여 보안 수준을 높이려는 노력들이 활발히 진행되고 있다. 이에 따라 범죄자들이 본인의 신분을 숨기기 위하여 실제 얼굴 대신에, 도 1과 같은 다양한 종류의 위조 얼굴들을 영상 획득 장치에 제시하여 위와 같은 보안 시스템들을 공격하려하고 있다.

이러한 위조 얼굴을 사용한 공격을 검출해내는 연구는 크게 강압식 방법과 비강압식 방법으로 나눌 수 있다. 강압식 방법은 입술의 움직임이나 머리 회전과 같은 사용자의 협조를 필요로 하는 방법으로, 2차원 가면, 비디오, 3차원 가면을 이용한 공격에 대응할 수 있다. 이 방법은 사용자의 협조를 요구하기 때문에 시스템에 대한 거부감이 클 수 있다는 단점이 있으나 시스템의 정확도가 높다는 장점이 있다. 이와는 달리, 비강압식 방법은 사용자의 협조를 요구하지 않기 때문에 사용자의 거부감은 적으나 강압식 방법보다 시스템의 정확도가 높지 않을 수 있다는 단점이 있다.

비강압식 방법은 다수 영상을 기반으로 얼굴의 3차원 정보 또는 눈 깜박임을 알아내어 가면을 검출하는 접근법과 단일 영상을 기반으로 영상을 구성 요소로 분해하거나 주파수 도메인에서 분석하여 가면을 검출하는 접근법으로 나뉠 수 있다. 이 중 단일 영상 기반 접근법은 별도의 센서와 조명 등을 필요로 하지 않고 단일 영상과 동영상에 모두 적용 가능하다는 장점을 갖기 때문에 매우 유용하게 사용될 수 있는 방법이다.

기존의 얼굴 인식 시스템이나 현금인출기에 사용되는 가려짐 판단 시스템은 영상 취득 장치를 통하여 획득된 얼굴 영상이 저장되어 있는 사용자의 얼굴과 동일한가를 확인하거나 얼굴에 심한 가려짐이 존재하는가를 확인한다. 하지만 이러한 시스템들은 위조 얼굴이 입력되었을 때에도, 입력된 위조 얼굴 영상이 저장되어 있는 사용자와 동일하거나 얼굴에 심한 가려짐이 존재하지 않는다면 정상적인 사용자의 얼굴로서 인식하게 되어 금융 거래 허용하게 된다는 단점을 갖는다. 따라서 이러한 위조 얼굴을 사용한 공격을 방어할 수 있는 위조 얼굴 검출 방법에 대한 연구가 필요하게 된다.

또한, 위조 얼굴 검출 방법을 기존의 얼굴 인식 시스템이나 현금인출기 조작 상황에 쉽게 적용하기 위해서는 일반 컬러 혹은 흑백 카메라 이외의 열적외선 카메라 등의 별도 센서나 적외선 조명 등의 별도 조명을 필요로 하지 않아야 하며, 동영상이 확보되지 않는 상황에서도 동작할 수 있어야 한다.

본 발명에서는 기존의 얼굴 인식 시스템과 현금인출기 시스템에 바로 적용가능하도록 일반 컬러 카메라 혹은 흑백 카메라에서 획득된 1장 이상의 얼굴 영상을 사용하여 위조 얼굴 여부를 판단하는 방법을 제안한다. 제안된 내용은 크게 세 가지 방법으로 구성되어 있다.

첫째, 위조 얼굴은 실제 얼굴에 비해서 자세함과 입체감이 저하되어 나타난다는 특성을 사용하여, 획득된 얼굴 영상의 전체 주파수 대역 성분의 차이로써 위조 얼굴을 검출하는 방법이다.

둘째, 위조 얼굴은 실제 얼굴과 재질 측면에서 다른 특성을 보이기 때문에, 영상에 나타나는 질감(texture)에서 차이를 보인다는 특성을 사용하여 영상 질감 분석에 용이한 로컬바이너리패턴(local binary pattern)의 차이를 사용하여 위조 얼굴을 검출하는 방법이다.

셋째, 앞서 언급한 주파수 성분과 로컬바이너리패턴을 사용한 특징 추출 방법을 특징 수준, 스코어 수준, 혹은 결정 수준 방식으로 조합하여 위조 얼굴을 검출하는 방법이다.

상술한 방법은 다음과 같이 구현될 수 있다.

먼저, 일 실시예에 따른 단일 영상을 사용한 위조 얼굴 검출 방법은, 컬러 또는 흑백의 사용자 얼굴 영상을 획득하는 단계; 상기 얼굴 영상의 각 화소를 퓨리에 변환하여 주파수 도메인으로 변환하는 단계; 상기 퓨리에 변환된 결과값을 이용하여 저주파 성분이 중심에 오도록 위치 변환하는 단계; 위치 변환된 상기 결과값을 다수의 동심원으로 구획하고, 각 동심원의 평균 에너지값을 산출하여 1차원 특징 벡터를 생성하는 단계; 상기 산출된 1차원 특징 벡터를 서포트벡터머신을 이용하여 기준 위조얼굴 특징 벡터와 비교함으로써, 상기 사용자 얼굴 영상이 위조된 얼굴인지의 여부를 판정하는 단계를 포함한다.

또한, 상기 기준 위조얼굴 특징 벡터는, 하나 이상의 위조 얼굴 영상을 준비하는 단계; 상기 위조 얼굴 영상들로부터 각각의 상기 1차원 특징 벡터를 생성하는 단계; 상기 생성된 1차원 특징 벡터들을 상기 서포트벡터머신에서 기준 위조얼굴 특징 벡터로서 학습하는 단계를 통해 생성된다.

또한, 상기 얼굴 영상의 각 화소를 퓨리에 변환하여 주파수 도메인으로 변환하는 상기 단계는: 상기 얼굴 영상을 복수의 조각으로 구획하는 단계; 상기 각 조각들마다의 각 화소를 퓨리에 변환하는 단계를 포함한다.

또한, 본 발명의 다른 실시예에 따른, 단일 영상을 사용한 위조 얼굴 검출 방법은, 컬러 또는 흑백의 사용자 얼굴 영상을 획득하는 단계; 상기 얼굴 영상으로부터 로컬바이너리패턴 코드를 계산하는 단계; 상기 계산된 로컬바이너리패턴 코드를 히스토그램화하여 1차원 특징 벡터를 생성하는 단계; 상기 산출된 1차원 특징 벡터를 서포트벡터머신을 이용하여 기준 위조얼굴 특징 벡터와 비교함으로써, 상기 사용자 얼굴 영상이 위조된 얼굴인지의 여부를 판정하는 단계를 포함한다.

또한, 상기 기준 위조얼굴 특징 벡터는, 하나 이상의 위조 얼굴 영상을 준비하는 단계; 상기 위조 얼굴 영상들로부터 각각의 상기 1차원 특징 벡터를 생성하는 단계; 상기 생성된 1차원 특징 벡터들을 상기 서포트벡터머신에서 기준 위조얼굴 특징 벡터로서 학습하는 단계를 통해 생성된다.

또한, 상기 얼굴 영상으로부터 로컬바이너리패턴 코드를 계산하는 단계는: 상기 얼굴 영상을 복수의 조각으로 구획하는 단계; 상기 각 조각들마다에 대한 로컬바이너리패턴 코드를 계산하는 단계를 포함한다.

본 발명에서 제안된 방법은 실제 얼굴로부터 취득된 영상과 위조 얼굴로부터 취득된 영상에서 나타나는 다양한 차이들을 단일 영상에서 추출하고 이들을 통하여 얼굴 영상의 위조 여부를 판단하기 때문에, 일반 컬러 혹은 흑백 카메라 이외의 열적외선 카메라 등의 별도 센서와 적외선 조명 등의 별도 조명을 필요로 하지 않는다.

따라서, 기존에 구축되어 있는 얼굴 인식 시스템과 현금인출기 시스템에 부가적인 장치를 추가하지 않고 소프트웨어의 추가만을 통하여 효과적으로 적용 가능하게 되어 기존의 추가 하드웨어를 필요로 하는 방법들에 비하여 높은 파급 효과를 갖게 된다.

도 1은 실제 얼굴과 다양한 종류의 위조 얼굴의 예를 보여준다. (a)실제 얼굴, (b)사진 위조 얼굴, (c)프린트 위조 얼굴, (d)잡지 위조 얼굴, (e)캐리커쳐 위조 얼굴, (f) 3차원 위조 얼굴이다.
도 2는 주파수 전대역을 사용한 위조 얼굴 검출 방법을 위한 특징 추출 과정을 보여준다. (a) 얼굴 영상의 예, (b) 얼굴 영상을 주파수 도메인으로 변경한 후 이를 동심원을 따라 분리한 도면, (c) 각 동심원의 에너지 평균을 1차원 특징벡터로 표현한 도면이다.
도 3은 로컬바이너리패턴을 사용한 위조 얼굴 검출 방법을 위한 특징 추출 과정을 보여준다. (a) 얼굴 영상의 예, (b) 얼굴 영상에서 로컬바이너리패턴 코드를 추출하여 이를 영상화한 도면, (c) 로컬바이너리패턴 코드를 히스토그램(histogram)화 하여 1차원 특징벡터로 표현한 도면이다.
도 4는 주파수 기반 특징 추출 방법과 로컬바이너리패턴 기반 특징 추출 방법을 얼굴 영상의 조각들에 적용하기 위하여 임의로 분할한 얼굴 영상의 예를 보여준다.

본 발명은 얼굴 인식기 및 현금인출기 조작 상황에서 발생할 수 있는 위조 얼굴(2차원 혹은 3차원 가면)을 사용한 공격을 검출하는 방법에 관한 것이다. 본 발명에서는 추가 센서나 조명을 전혀 사용하지 않고 일반 컬러 혹은 흑백 카메라에서 취득된 단일 영상을 사용하여 위조 얼굴을 검출하는 방법을 제안한다. 제안된 내용은 크게 세 가지 방법으로 구성되어 있다.

첫째, 위조 얼굴은 실제 얼굴에 비해서 자세함과 입체감이 저하되어 나타난다는 특성을 사용하여 획득된 얼굴 영상의 전체 주파수 대역 성분으로부터 위조 얼굴을 검출하는 방법을 제안한다.

둘째, 위조 얼굴은 실제 얼굴과 재질면에서 다른 특성을 보이기 때문에 영상에 나타나는 질감에서 차이를 보인다는 특성을 사용하여 영상 질감 분석에 유리한 로컬바이너리패턴을 사용하여 위조 얼굴을 검출하는 방법을 제안한다.

마지막으로, 앞서 언급한 주파수 성분과 로컬바이너리패턴을 사용한 특징 추출 방법을 조합하여 위조 얼굴을 검출하는 방법을 설명한다.

본 발명에서 제안된 방법은, 향상된 위조 얼굴 검출 성능을 보이는 동시에 일반적인 카메라 이외의 별도의 센서와 조명 등이 필요하지 않기 때문에 현재 구축되어 있는 얼굴 인식기 혹은 현금인출기에 적용하기 용이하다.

본 발명의 실시를 위한 방법을 더욱 상세하게 설명한다.

첫 번째는, 주파수 전대역의 파워스펙트럼을 사용한 방법이다. 이를 위하여 먼저 입력된 얼굴 영상을 퓨리에 변환하여 주파수 도메인으로 변경한다.

퓨리에 변환의 일례로서 다음의 식이 이용될 수 있다.

여기서 f(x,y)는 크기가 H×W인 영상의 (x,y) 좌표에서의 밝기값이며, u,v는 주파수 변수이다.

F는 f가 퓨리에 변환된 결과로서, 주파수가 0인 성분이 중심부에 오도록 이동된 것이다.

도 2(b)는 퓨리에 변환된 결과의 절대값들을 로그-스케일(log-scale)로 나타낸 것이다.

그 후에 저주파 값을 퓨리에 변환된 결과의 중심에 위치시키도록 변환한 후, 도 2(c)와 같이, 퓨리에 변환된 결과의 중심을 기준으로, 정해진 개수의 동심원을 그리고, 각 동심원들 사이의 평균 에너지값을 계산한다. 마지막으로 이렇게 계산된 평균 에너지값을 1차원 벡터로 표현하여 최소-최대 정규화(min-max normalization) 과정을 거치게 된다.

이와 같은 과정들을 거치게 되면 도 2(d)와 같은 특징벡터가 추출되게 된다.

이러한 파워스펙트럼 기반 특징벡터는 도 2(a)와 같이 얼굴 영상 전체에서 추출될 수도 있지만, 도 4와 같이 임의로 얼굴 영상을 분할하고, 분할된 각 얼굴 영상 조각들에서 각각 특징 벡터를 추출하여 하나로 합칠 수도 있다. 이러한 특징벡터들을 실제 얼굴 영상들과 위조 얼굴 영상들에서 추출하여 서포트벡터머신(support vector machine) 등의 분류기로 학습함으로써 위조 얼굴 검출기를 생성할 수 있게 된다.

두 번째는, 로컬바이너리패턴(local binary pattern)을 사용한 방법이다. 이를 위하여, 먼저 입력된 얼굴 영상으로부터 도 3(b)과 같이 로컬바이너리패턴의 코드를 계산한 후, 이 코드들을 히스토그램(histogram)화하고, 히스토그램의 합이 1이 되도록 정규화함으로써, 도 3(c)과 같은 특징벡터를 얻을 수 있게 된다. 이러한 로컬바이너리패턴 기반 특징벡터는, 도 3(a)과 같이 얼굴 영상 전체에서 추출될 수도 있지만, 도 4와 같이 임의로 분할된 얼굴 영상 조각들에서 각각 추출되어 하나로 합쳐질 수도 있다. 이러한 특징벡터들을 실제 얼굴 영상들과 위조 얼굴 영상들에서 추출하여 서포트벡터머신(support vector machine) 등의 분류기로 학습함으로써 위조 얼굴 검출기를 생성할 수 있게 된다.

세 번째는, 앞서 설명한 파워스펙트럼 기반 방법과 로컬바이너리패턴 기반 방법을 조합하는 방법이다. 위의 두 방법은 다음과 같이 세 가지 접근법으로 조합될 수 있다. 첫째, 도 2(d)와 같이 파워스펙트럼 기반으로 추출된 특징벡터와 도 3(c)에서와 같이 로컬바이너리패터 기반으로 추출된 특징벡터를 특징벡터 수준에서 조합하여 서포트벡터머신 등의 분류기를 사용하여 학습함으로써 위조 얼굴 검출에 사용할 수 있다. 둘째, 파워스펙트럼 기반으로 추출된 특징벡터를 서포트벡터머신 등의 분류기에 통과시켜 얻어진 스코어(score)와 로컬바이너리패턴 기반으로 추출된 특징벡터를 서포트벡터머신 등의 분류기에 통과시켜 얻어진 스코어를 스코어 수준에서 조합하고, 다시 서포트벡터머신 등의 분류기를 통해 학습함으로써 위조 얼굴 검출에 사용할 수 있다. 셋째, 파워스펙트럼 기반으로 추출된 특징벡터를 서포트벡터머신 등의 분류기에 통과시켜 얻어진 판단결과(decision)와 로컬바이너리패턴 기반으로 추출된 특징벡터를 서포트벡터머신 등의 분류기에 통과시켜 얻어진 판단 결과를 판단 결과 수준에서 조합하여 위조 얼굴 검출에 사용할 수 있다.

정리하면, 본 발명에 따른 단일 영상을 사용한 위조 얼굴 검출 방법은, 컬러 혹은 흑백 카메라에서 촬영된 얼굴 영상을 주파수 도메인으로 변환하고 저주파 성분이 중심에 오도록 위치 변환을 시켜준 후, 이를 다수의 동심원으로 나누어 각 동심원 사이의 평균 에너지값으로 1차원 특징벡터를 생성하고, 이를 서포트벡터머신 등을 사용하여 학습함으로써 위조 얼굴 검출기를 생성한다. 이러한 파워스펙트럼 기반 특징벡터는 얼굴 영상 전체에서 추출될 수도 있고, 임의로 분할된 얼굴 영상의 조각들에서 각각 추출되어 하나로 합쳐질 수도 있다.

또한, 컬러 혹은 흑백 카메라에서 촬영된 얼굴 영상에서 로컬바이너리패턴 코드를 계산한 후 이를 히스토그램화함으로써 1차원 특징벡터를 생성하고, 이를 서포트벡터머신 등을 사용하여 학습함으로써 위조 얼굴 검출기를 생성한다. 이러한 로컬바이너리패턴 기반 특징벡터는 얼굴 영상 전체에서 추출될 수도 있고, 임의로 분할된 얼굴 영상의 조각들에서 각각 추출되어 하나로 합쳐질 수도 있다.

마지막으로, 파워스펙트럼 기반 위조 가면 검출 방법과 로컬바이너리패턴 기반 위조 가면 검출 방법은 다음과 같이 세 가지 수준에서 조합되어 위조 얼굴을 검출하는데 사용될 수 있다. 첫째, 파워스펙트럼 기반으로 추출된 특징벡터와 로컬바이너리패터 기반으로 추출된 특징벡터를 특징벡터 수준에서 조합하여 서포트벡터머신 등의 분류기를 사용하여 학습함으로써 위조 얼굴 검출기를 만들 수 있다. 둘째, 파워스펙트럼 기반으로 추출된 특징벡터를 서포트벡터머신 등의 분류기에 통과시켜 얻어진 스코어와 로컬바이너리패턴 기반으로 추출된 특징벡터를 서포트벡터머신 등의 분류기에 통과시켜 얻어진 스코어를 스코어 수준에서 조합하여 사용할 수 있다. 셋째, 파워스펙트럼 기반으로 추출된 특징벡터를 서포트벡터머신 등의 분류기에 통과시켜 얻어진 판단결과와 로컬바이너리패턴 기반으로 추출된 특징벡터를 서포트벡터머신 등의 분류기에 통과시켜 얻어진 판단결과를 판단결과 수준에서 조합하여 위조 얼굴 여부를 판단하는데 사용할 수 있다.

Claims (6)

1. 컬러 또는 흑백의 사용자 얼굴 영상을 획득하는 단계;
   상기 사용자 얼굴 영상의 각 화소를 밝기값에 대해 퓨리에 변환하여 주파수 도메인으로 변환하는 단계;
   상기 퓨리에 변환된 결과값의 절대값을 로그-스케일로 나타낸 후 저주파 성분이 중심에 오도록 위치 변환하는 단계;
   위치 변환된 상기 결과값을 다수의 동심원으로 구획하고, 각 동심원의 평균 에너지값을 산출하여 제1 1차원 특징 벡터를 생성하는 단계;
   상기 사용자 얼굴 영상으로부터 로컬바이너리패턴 코드를 계산하는 단계;
   상기 계산된 로컬바이너리패턴 코드를 히스토그램화하는 단계;
   상기 히스토그램의 합이 1이 되도록 정규화하여 제2 1차원 특징 벡터를 생성하는 단계;
   서포트벡터머신을 이용하여 상기 산출된 제1 1차원 특징 벡터를 위조 얼굴 영상으로부터 생성된 제1 기준 위조얼굴 특징 벡터와 비교함으로써, 상기 사용자 얼굴 영상이 위조된 얼굴인지의 여부를 1차 판정하는 단계;
   서포트벡터머신을 이용하여 상기 산출된 제2 1차원 특징 벡터를 위조 얼굴 영상으로부터 생성된 제2 기준 위조얼굴 특징 벡터와 비교함으로써, 상기 사용자 얼굴 영상이 위조된 얼굴인지의 여부를 판정하는 2차 판정 단계; 및
   상기 1차 판정의 결과 및 상기 2차 판정의 결과를 조합하여 상기 사용자 얼굴 영상이 위조된 얼굴인지의 여부를 최종으로 판정하는 단계;를 포함하는 단일 영상을 사용한 위조 얼굴 검출 방법.
2. 제1항에 있어서,
   상기 제1 기준 위조얼굴 특징 벡터는,
   하나 이상의 위조 얼굴 영상을 준비하는 단계;
   상기 위조 얼굴 영상들로부터 각각의 상기 제1 1차원 특징 벡터를 생성하는 단계;
   상기 생성된 제1 1차원 특징 벡터들을 상기 서포트벡터머신에서 상기 제1 기준 위조얼굴 특징 벡터로서 학습하는 단계를 통해 생성되는 것을 특징으로 하는 단일 영상을 사용한 위조 얼굴 검출 방법.
3. 제1항에 있어서,
   상기 사용자 얼굴 영상의 각 화소를 퓨리에 변환하여 주파수 도메인으로 변환하는 상기 단계는:
   상기 사용자 얼굴 영상을 복수의 조각으로 구획하는 단계;
   상기 각 조각들마다의 각 화소를 다음의 수식을 이용하여 퓨리에 변환하는 단계를 포함하는 것을 특징으로 하는 단일 영상을 사용한 위조 얼굴 검출 방법.
   

   

   
   여기서, f(x,y)는 크기가 H×W인 영상의 (x,y) 좌표에서의 밝기값이며, u,v는 주파수 변수.
4. 삭제
5. 제1항에 있어서,
   상기 제2 기준 위조얼굴 특징 벡터는,
   하나 이상의 위조 얼굴 영상을 준비하는 단계;
   상기 위조 얼굴 영상들로부터 각각의 상기 제2 1차원 특징 벡터를 생성하는 단계;
   상기 생성된 제2 1차원 특징 벡터들을 상기 서포트벡터머신에서 상기 제2 기준 위조얼굴 특징 벡터로서 학습하는 단계를 통해 생성되는 것을 특징으로 하는 단일 영상을 사용한 위조 얼굴 검출 방법.
6. 삭제

Images