KR20210144064A

KR20210144064A - 페이크 얼굴 검출 장치 및 검출 방법

Info

Publication number: KR20210144064A
Application number: KR1020200060832A
Authority: KR
Inventors: 정기현
Original assignee: 경일대학교산학협력단
Priority date: 2020-05-21
Filing date: 2020-05-21
Publication date: 2021-11-30
Also published as: KR102463353B1

Abstract

본 발명은 이미지나 동영상에 포함된 조작된 얼굴의 위조, 변조 여부를 검출, 판별하는 장치 및 방법을 제공한다. 상기 검출 장치는 이미지를 획득하는 획득부; 상기 이미지에서 얼굴을 나타내는 제1 영역과 얼굴이 아닌 제2 영역을 분리하는 분리부; 상기 제1 영역의 제1 특징점을 추출하고, 상기 제2 영역의 제2 특징점을 추출하는 추출부; 상기 제1 특징점 및 상기 제2 특징점의 비교를 통해 상기 얼굴의 위조 여부를 판별하는 판별부;를 포함할 수 있다.

Description

페이크 얼굴 검출 장치 및 검출 방법{APPARATUS AND METHOD FOR DETECTING FAKE FACES}

본 발명은 이미지나 동영상에 포함된 얼굴의 위조/변조/fake 여부를 검출, 판별하는 장치 및 방법에 관한 것이다.

디지털 이미지나 동영상과 같은 데이터에서 조작/위조된 얼굴을 사용한 개인 프라이버시 침해 행위가 지속적으로 증가하고 있다.

개인 정보 보호법 등의 정책을 통해 개인 프라이버시 침해 행위를 차단하는 시스템이 구축될 필요가 있다.

해당 시스템의 구축을 위해서는 디지털 이미지 또는 동영상 등의 멀티미디어 데이터에서 조작되거나 위조된 얼굴이 사용되었는지 판단할 수 있는 수단이 마련되어야 한다.

한국공개특허공보 제10-2017-0006355호에는 모션벡터와 특징 벡터에 기반해 위조 얼굴을 분류하고 판정하는 기술이 나타나 있다.

한국공개특허공보 제10-2017-0006355호

본 발명은 실시간을 포함하는 각종 이미지, 동영상 등 멀티미디어 데이터에서 조작되거나 위조된 얼굴을 탐지하는 검출 장치 및 검출 방법을 제공하기 위한 것이다.

본 발명의 검출 장치는 이미지를 획득하는 획득부; 상기 이미지에서 얼굴을 나타내는 제1 영역과 얼굴이 아닌 제2 영역을 분리하는 분리부; 상기 제1 영역의 제1 특징점을 추출하고, 상기 제2 영역의 제2 특징점을 추출하는 추출부; 상기 제1 특징점 및 상기 제2 특징점의 비교를 통해 상기 얼굴의 위조 여부를 판별하는 판별부;를 포함할 수 있다.

본 발명의 검출 방법은 이미지를 획득하는 단계; 상기 이미지에서 얼굴을 나타내는 제1 영역과 얼굴이 아닌 제2 영역을 분리하는 단계; 상기 제1 영역의 제1 특징점을 추출하고, 상기 제2 영역의 제2 특징점을 추출하는 단계; 상기 제1 특징점 및 상기 제2 특징점의 비교를 통해 상기 얼굴의 위조 여부를 판별하는 단계;를 포함할 수 있다.

조작되거나 위조된 얼굴을 이용한 가짜 데이터로 인한 피해가 속출하고 있다. 포털 회사와 정부가 대책을 마련하고 있듯이, 가짜 콘텐츠에 대한 대비책이 필요하다.

본 발명의 검출 장치 및 검출 방법은 이미지에서 얼굴 영역과 비얼굴 영역을 분리하고, 각 영역에서 추출된 특징점의 비교를 통해 얼굴을 위조 여부를 판별할 수 있다.

도 1은 본 발명의 검출 장치를 나타낸 개략도이다.
도 2는 본 발명의 검출 장치의 동작을 나타낸 개략도이다.
도 3은 본 발명의 검출 방법을 나타낸 흐름도이다.
도 4는 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 명세서에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.

또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다.

또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.

또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.

또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.

또한 본 명세서에서, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략될 것이다.

도 1은 본 발명의 검출 장치를 나타낸 개략도이다. 도 2는 본 발명의 검출 장치의 동작을 나타낸 개략도이다.

도 1에 도시된 검출 장치는 획득부(110), 분리부(130), 추출부(150), 판별부(170)를 포함할 수 있다.

획득부(110)는 이미지 i를 획득할 수 있다. 이미지 i는 디지털 데이터로서, 디스플레이 등의 표시 수단을 통해 시각적인 정지 화상으로 표시되거나, 동영상으로 표시될 수 있다.

분리부(130)는 이미지 i에서 얼굴을 나타내는 제1 영역 ①과 얼굴이 아닌 제2 영역 ②를 분리할 수 있다. 본 발명의 검출 장치는 얼굴이 포함된 이미지에서 해당 얼굴의 진위 여부를 판독, 판별, 검출할 수 있다. 이때, 분리부(130)는 각종 이미지 처리 기술 또는 머신 러닝 기법을 이용하여 이미지에 포함된 얼굴 영역을 분리할 수 있다. 분리부(130)에 의해 분리된 얼굴 영역이 제1 영역에 해당될 수 있다. 제1 이미지에서 제1 영역을 분리하고 남은 나머지 영역이 제2 영역에 해당될 수 있다.

획득부(110)는 동영상이 입력되면, 동영상에서 프레임을 추출할 수 있다. 일 예로, 특정 동영상의 초당프레임이 30프레임이면, 획득부(110)는 해당 동영상으로부터 1초당 30장의 정지 화상을 추출할 수 있다. 분리부(130)는 추출된 프레임(정지 화상)을 대상으로 제1 영역 ①과 제2 영역 ②를 분리시킬 수 있다.

추출부(150)는 제1 영역 ①에서 제1 영역의 특징점을 추출할 수 있다. 이때, 추출부(150)에 의해 추출된 제1 영역의 특징점이 제1 특징점 d1에 해당될 수 있다.

추출부(150)는 제2 영역 ②에서 제2 영역의 특징점을 추출할 수 있다. 이때, 추출부(150)에 의해 추출된 제2 영역의 특징점이 제2 특징점 d2에 해당될 수 있다.

추출부(150)는 머신 러닝 또는 딥러닝을 이용해 제1 특징점 d1 및 제2 특징점 d2를 추출할 수 있다.

판별부(170)는 제1 특징점 d1 및 제2 특징점 d2의 비교를 통해 얼굴의 위조 여부를 판별할 수 있다.

판별부(170)에는 제1 영역 ①의 위조 여부를 분석하는 제1 분석부(171), 제2 영역 ②의 위조 여부를 분석하는 제2 분석부(172)가 마련될 수 있다.

판별부(170)는 제1 특징점 d1과 제2 특징점 d2의 비교 결과, 제1 분석부(171)의 분석 결과, 제2 분석부(172)의 분석 결과 중 어느 하나의 무결성이 흠결된 것으로 판단되면 이미지를 위조로 판별할 수 있다.

제1 분석부(171)는 제1 영역 ①에 포함된 컬러 또는 흑백의 얼굴 영상을 획득할 수 있다.

제1 분석부(171)는 얼굴 영상의 각 화소를 밝기값에 대해 퓨리에 변환하여 주파수 도메인으로 변환할 수 있다.

제1 분석부(171)는 퓨리에 변환된 결과값의 절대값을 로그-스케일로 나타낸 후 저주파 성분이 중심에 오도록 위치 변환할 수 있다.

제1 분석부(171)는 위치 변환된 결과값을 다수의 동심원으로 구획하고, 각 동심원의 평균 에너지값을 산출하여 제1 1차원 특징 벡터를 생성할 수 있다.

제1 분석부(171)는 사용자 얼굴 영상으로부터 로컬바이너리패턴 코드를 계산할 수 있다.

제1 분석부(171)는 계산된 로컬바이너리패턴 코드를 히스토그램화할 수 있다.

제1 분석부(171)는 히스토그램의 합이 1이 되도록 정규화하여 제2 1차원 특징 벡터를 생성할 수 있다.

제1 분석부(171)는 서포트벡터머신을 이용하여 제1 1차원 특징 벡터를 위조 얼굴 영상으로부터 생성된 제1 기준 위조 얼굴 특징 벡터와 비교함으로써, 얼굴 영상이 위조된 얼굴인지의 여부를 1차 판정할 수 있다.

제1 분석부(171)는 서포트벡터머신을 이용하여 제2 1차원 특징 벡터를 위조 얼굴 영상으로부터 생성된 제2 기준 위조 얼굴 특징 벡터와 비교함으로써, 얼굴 영상이 위조된 얼굴인지의 여부를 2차 판정할 수 있다.

제1 분석부(171)는 1차 판정의 결과 및 2차 판정의 결과를 조합하여 얼굴 영상이 위조된 얼굴인지의 여부를 최종으로 판정할 수 있다.

제1 분석부(171)는 하나 이상의 위조 얼굴 영상을 준비하는 단계, 위조 얼굴 영상들로부터 각각의 제1 1차원 특징 벡터를 생성하는 단계, 제1 1차원 특징 벡터들을 서포트벡터머신에서 제1 기준 위조얼굴 특징 벡터로서 학습하는 단계를 통해 제1 기준 위조 얼굴 특징 벡터를 생성할 수 있다.

본 발명의 검출 장치는 일반 컬러 카메라 혹은 흑백 카메라에서 획득된 1장 이상의 얼굴 영상을 사용하여 위조 얼굴 여부를 판단할 수 있다.

내용은 크게 세 가지 방법으로 구성되어 있다.

첫째, 위조 얼굴은 실제 얼굴에 비해서 자세함과 입체감이 저하되어 나타난다는 특성을 사용하여, 획득된 얼굴 영상의 전체 주파수 대역 성분의 차이로써 위조 얼굴을 검출하는 방법이다.

둘째, 위조 얼굴은 실제 얼굴과 재질 측면에서 다른 특성을 보이기 때문에, 영상에 나타나는 질감(texture)에서 차이를 보인다는 특성을 사용하여 영상 질감 분석에 용이한 로컬바이너리패턴(local binary pattern)의 차이를 사용하여 위조 얼굴을 검출하는 방법이다.

셋째, 앞서 언급한 주파수 성분과 로컬바이너리패턴을 사용한 특징 추출 방법을 특징 수준, 스코어 수준, 혹은 결정 수준 방식으로 조합하여 위조 얼굴을 검출하는 방법이다.

더욱 상세하게 설명한다.

첫 번째는, 주파수 전대역의 파워스펙트럼을 사용한 방법이다. 이를 위하여 먼저 입력된 얼굴 영상을 퓨리에 변환하여 주파수 도메인으로 변경한다.

퓨리에 변환의 일례로서 다음의 수학식1이 이용될 수 있다.

여기서 f(x,y)는 크기가 H×W인 영상의 (x,y) 좌표에서의 밝기값이며, u,v는 주파수 변수이다.

F는 f가 퓨리에 변환된 결과로서, 주파수가 0인 성분이 중심부에 오도록 이동된 것이다.

그 후에 저주파 값을 퓨리에 변환된 결과의 중심에 위치시키도록 변환한 후, 퓨리에 변환된 결과의 중심을 기준으로, 정해진 개수의 동심원을 그리고, 각 동심원들 사이의 평균 에너지값을 계산한다. 마지막으로 이렇게 계산된 평균 에너지값을 1차원 벡터로 표현하여 최소-최대 정규화(min-max normalization) 과정을 거치게 된다. 이와 같은 과정들을 거치게 되면 특징벡터가 추출되게 된다.

이러한 파워스펙트럼 기반 특징벡터는 얼굴 영상 전체에서 추출될 수도 있지만, 임의로 얼굴 영상을 분할하고, 분할된 각 얼굴 영상 조각들에서 각각 특징 벡터를 추출하여 하나로 합칠 수도 있다. 이러한 특징벡터들을 실제 얼굴 영상들과 위조 얼굴 영상들에서 추출하여 서포트벡터머신(support vector machine) 등의 분류기로 학습함으로써 위조 얼굴 검출기를 생성할 수 있게 된다.

두 번째는, 로컬바이너리패턴(local binary pattern)을 사용한 방법이다. 이를 위하여, 먼저 입력된 얼굴 영상으로부터 로컬바이너리패턴의 코드를 계산한 후, 이 코드들을 히스토그램(histogram)화하고, 히스토그램의 합이 1이 되도록 정규화함으로써, 특징벡터를 얻을 수 있게 된다. 이러한 로컬바이너리패턴 기반 특징벡터는, 얼굴 영상 전체에서 추출될 수도 있지만, 임의로 분할된 얼굴 영상 조각들에서 각각 추출되어 하나로 합쳐질 수도 있다. 이러한 특징벡터들을 실제 얼굴 영상들과 위조 얼굴 영상들에서 추출하여 서포트벡터머신(support vector machine) 등의 분류기로 학습함으로써 위조 얼굴 검출기를 생성할 수 있게 된다.

세 번째는, 앞서 설명한 파워스펙트럼 기반 방법과 로컬바이너리패턴 기반 방법을 조합하는 방법이다. 위의 두 방법은 다음과 같이 세 가지 접근법으로 조합될 수 있다. 첫째, 파워스펙트럼 기반으로 추출된 특징벡터와 로컬바이너리패터 기반으로 추출된 특징벡터를 특징벡터 수준에서 조합하여 서포트벡터머신 등의 분류기를 사용하여 학습함으로써 위조 얼굴 검출에 사용할 수 있다. 둘째, 파워스펙트럼 기반으로 추출된 특징벡터를 서포트벡터머신 등의 분류기에 통과시켜 얻어진 스코어(score)와 로컬바이너리패턴 기반으로 추출된 특징벡터를 서포트벡터머신 등의 분류기에 통과시켜 얻어진 스코어를 스코어 수준에서 조합하고, 다시 서포트벡터머신 등의 분류기를 통해 학습함으로써 위조 얼굴 검출에 사용할 수 있다. 셋째, 파워스펙트럼 기반으로 추출된 특징벡터를 서포트벡터머신 등의 분류기에 통과시켜 얻어진 판단결과(decision)와 로컬바이너리패턴 기반으로 추출된 특징벡터를 서포트벡터머신 등의 분류기에 통과시켜 얻어진 판단 결과를 판단 결과 수준에서 조합하여 위조 얼굴 검출에 사용할 수 있다.

정리하면, 컬러 혹은 흑백 카메라에서 촬영된 얼굴 영상을 주파수 도메인으로 변환하고 저주파 성분이 중심에 오도록 위치 변환을 시켜준 후, 이를 다수의 동심원으로 나누어 각 동심원 사이의 평균 에너지값으로 1차원 특징벡터를 생성하고, 이를 서포트벡터머신 등을 사용하여 학습함으로써 위조 얼굴 검출기를 생성한다. 이러한 파워스펙트럼 기반 특징벡터는 얼굴 영상 전체에서 추출될 수도 있고, 임의로 분할된 얼굴 영상의 조각들에서 각각 추출되어 하나로 합쳐질 수도 있다.

또한, 컬러 혹은 흑백 카메라에서 촬영된 얼굴 영상에서 로컬바이너리패턴 코드를 계산한 후 이를 히스토그램화함으로써 1차원 특징벡터를 생성하고, 이를 서포트벡터머신 등을 사용하여 학습함으로써 위조 얼굴 검출기를 생성한다. 이러한 로컬바이너리패턴 기반 특징벡터는 얼굴 영상 전체에서 추출될 수도 있고, 임의로 분할된 얼굴 영상의 조각들에서 각각 추출되어 하나로 합쳐질 수도 있다. 마지막으로, 파워스펙트럼 기반 위조 가면 검출 방법과 로컬바이너리패턴 기반 위조 가면 검출 방법은 다음과 같이 세 가지 수준에서 조합되어 위조 얼굴을 검출하는데 사용될 수 있다. 첫째, 파워스펙트럼 기반으로 추출된 특징벡터와 로컬바이너리패터 기반으로 추출된 특징벡터를 특징벡터 수준에서 조합하여 서포트벡터머신 등의 분류기를 사용하여 학습함으로써 위조 얼굴 검출기를 만들 수 있다. 둘째, 파워스펙트럼 기반으로 추출된 특징벡터를 서포트벡터머신 등의 분류기에 통과시켜 얻어진 스코어와 로컬바이너리패턴 기반으로 추출된 특징벡터를 서포트벡터머신 등의 분류기에 통과시켜 얻어진 스코어를 스코어 수준에서 조합하여 사용할 수 있다. 셋째, 파워스펙트럼 기반으로 추출된 특징벡터를 서포트벡터머신 등의 분류기에 통과시켜 얻어진 판단결과와 로컬바이너리패턴 기반으로 추출된 특징벡터를 서포트벡터머신 등의 분류기에 통과시켜 얻어진 판단결과를 판단결과 수준에서 조합하여 위조 얼굴 여부를 판단하는데 사용할 수 있다.

판별부(170)는 제1 영역 ①과 제2 영역 ②의 경계선에 배치되는 다각형 또는 폐곡선 형상의 윈도우를 생성할 수 있다.

윈도우에는 제1 영역 ①의 가장자리 일부와 제2 영역 ②의 가장자리 일부가 모두 포함될 수 있다.

판별부(170)는 경계선을 기준으로 윈도우 내 일측에 존재하는 제1 특징점과 윈도우 내 타측에 존재하는 제2 특징점을 비교할 수 있다.

판별부(170)는 경계선을 따라 윈도우를 움직이며, 윈도우가 움직일 때마다 윈도우 내에 존재하는 제1 특징점과 제2 특징점을 비교할 수 있다.

판별부(170)는 비교 결과를 이용해서 제1 영역 ①과 제2 영역 ② 간의 무결성을 판별할 수 있다.

위조 여부의 정확도를 더욱 개선하기 위해, 제2 영역이 복수 영역으로 분할될 수 있다.

일 예로, 분리부(130)는 제2 영역 ②를 인체에서 얼굴을 제외한 몸 영역 t1과 나머지 주변 영역 t2로 구분할 수 있다.

추출부(150)는 몸 영역 t1에서 몸 특징점을 추출할 수 있다. 추출부(150)는 주변 영역 t2에서 주변 특징점을 추출할 수 있다.

판별부(170)는 제1 특징점과 몸 특징점을 비교할 수 있다. 판별부(170)는 제1 특징점과 주변 특징점을 비교할 수 있다. 판별부(170)는 몸 특징점과 주변 특징점을 비교할 수 있다.

판별부(170)는 제1 특징점과 몸 특징점 간의 비교 결과, 제1 특징점과 주변 특징점 간의 비교 결과, 몸 특징점과 주변 특징점 간의 비교 결과 중 어느 하나에서라도 흠결이 발생되면, 이미지 i에 포함된 얼굴을 위조로 판별할 수 있다.

본 실시예에 따르면, 배경에 대한 위조된 몸의 합성, 몸에 대한 위조된 얼굴의 합성, 배경에 대한 위조된 얼굴의 합성 등이 종합적으로 판별될 수 있다. 또한, 이미지 i에 대한 각종 위조 여부가 정확하게 판별될 수 있다.

도 3은 본 발명의 검출 방법을 나타낸 흐름도이다.

도 3의 검출 방법은 도 1에 도시된 검출 장치에 의해 수행될 수 있다.

본 발명의 검출 방법은 먼저 이미지 i를 획득할 수 있다(S 510). 획득부(110)에 의해 수행되는 동작으로 획득부(110)는 이미지 i를 생성하는 카메라를 포함하거나, 외부 카메라와 유무선 통신하는 통신부를 포함할 수 있다.

다음으로, 이미지 i에서 얼굴을 나타내는 제1 영역 ①과 얼굴이 아닌 제2 영역 ②를 분리할 수 있다(S 520). 분리부(130)에 의해 수행되는 동작으로, 분리부(130)는 딥 러닝, 머신 러닝, 이미지 분석 기법 등을 통해 소위 얼굴 외곽선을 따라 모따기를 수행할 수 있다.

제1 영역 ①의 제1 특징점 d1을 추출하고, 제2 영역 ②의 제2 특징점 d2를 추출할 수 있다(S 530). 추출부(150)에 의해 수행되는 동작이다. 추출부(150)는 제2 영역 ②가 몸 영역 t1과 주변 영역 t2로 세분화되는 경우, 몸 영역 t1에 대한 몸 특징점 d21, 주변 영역 t2에 대한 주변 특징점 d22를 추출할 수 있다.

제1 특징점 d1 및 제2 특징점 d2의 비교를 통해 얼굴의 위조 여부를 판별할 수 있다(S 540). 판별부(170)에 의해 수행되는 동작이다.

도 4는 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 도 4의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예, 검출 장치 등) 일 수 있다.

도 4의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.

프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.

메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.

송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.

한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

110...획득부 130...분리부
150...추출부 170...판별부
171...제1 분석부 172...제2 분석부

Claims

이미지를 획득하는 획득부;
상기 이미지에서 얼굴을 나타내는 제1 영역과 얼굴이 아닌 제2 영역을 분리하는 분리부;
상기 제1 영역의 제1 특징점을 추출하고, 상기 제2 영역의 제2 특징점을 추출하는 추출부;
상기 제1 특징점 및 상기 제2 특징점의 비교를 통해 상기 얼굴의 위조 여부를 판별하는 판별부;
를 포함하는 검출 장치.
제1항에 있어서,
상기 획득부는 동영상이 입력되면, 상기 동영상에서 프레임을 추출하고,
상기 분리부는 상기 프레임을 대상으로 상기 제1 영역과 상기 제2 영역을 분리시키는 검출 장치.
제1항에 있어서,
상기 추출부는 머신 러닝 또는 딥러닝을 이용해 상기 제1 특징점 및 상기 제2 특징점을 추출하는 검출 장치.
제1항에 있어서,
상기 제1 영역의 위조 여부를 분석하는 제1 분석부, 상기 제2 영역의 위조 여부를 분석하는 제2 분석부가 마련되고,
상기 판별부는 상기 제1 특징점과 상기 제2 특징점의 비교 결과, 상기 제1 분석부의 분석 결과, 상기 제2 분석부의 분석 결과 중 어느 하나의 무결성이 흠결된 것으로 판단되면 상기 이미지를 위조로 판별하는 검출 장치.
제4항에 있어서,
상기 제1 분석부는,
상기 제1 영역에 포함된 컬러 또는 흑백의 얼굴 영상을 획득하고,
상기 얼굴 영상의 각 화소를 밝기값에 대해 퓨리에 변환하여 주파수 도메인으로 변환하며,
상기 퓨리에 변환된 결과값의 절대값을 로그-스케일로 나타낸 후 저주파 성분이 중심에 오도록 위치 변환하고,
위치 변환된 상기 결과값을 다수의 동심원으로 구획하고, 각 동심원의 평균 에너지값을 산출하여 제1 1차원 특징 벡터를 생성하며,
상기 사용자 얼굴 영상으로부터 로컬바이너리패턴 코드를 계산하고,
상기 계산된 로컬바이너리패턴 코드를 히스토그램화하며,
상기 히스토그램의 합이 1이 되도록 정규화하여 제2 1차원 특징 벡터를 생성하고,
서포트벡터머신을 이용하여 상기 산출된 제1 1차원 특징 벡터를 위조 얼굴 영상으로부터 생성된 제1 기준 위조 얼굴 특징 벡터와 비교함으로써, 상기 얼굴 영상이 위조된 얼굴인지의 여부를 1차 판정하며,
서포트벡터머신을 이용하여 상기 산출된 제2 1차원 특징 벡터를 위조 얼굴 영상으로부터 생성된 제2 기준 위조 얼굴 특징 벡터와 비교함으로써, 상기 얼굴 영상이 위조된 얼굴인지의 여부를 2차 판정하고,
상기 1차 판정의 결과 및 상기 2차 판정의 결과를 조합하여 상기 얼굴 영상이 위조된 얼굴인지의 여부를 최종으로 판정하는 검출 장치.
제5항에 있어서,
상기 제1 분석부는 하나 이상의 위조 얼굴 영상을 준비하는 단계, 상기 위조 얼굴 영상들로부터 각각의 상기 제1 1차원 특징 벡터를 생성하는 단계, 상기 생성된 제1 1차원 특징 벡터들을 상기 서포트벡터머신에서 상기 제1 기준 위조얼굴 특징 벡터로서 학습하는 단계를 통해 상기 제1 기준 위조 얼굴 특징 벡터를 생성하는 검출 장치.
제1항에 있어서,
상기 판별부는 상기 제1 영역과 상기 제2 영역의 경계선에 배치되는 다각형 또는 폐곡선 형상의 윈도우를 생성하고,
상기 윈도우에는 상기 제1 영역의 가장자리 일부와 상기 제2 영역의 가장자리 일부가 모두 포함되며,
상기 판별부는 상기 경계선을 기준으로 상기 윈도우 내 일측에 존재하는 제1 특징점과 상기 윈도우 내 타측에 존재하는 제2 특징점을 비교하고,
상기 판별부는 상기 경계선을 따라 상기 윈도우를 움직이며, 상기 윈도우가 움직일 때마다 상기 윈도우 내에 존재하는 상기 제1 특징점과 상기 제2 특징점을 비교하고,
상기 판별부는 상기 비교 결과를 이용해 상기 제1 영역과 상기 제2 영역 간의 무결성을 판별하는 검출 장치.
제1항에 있어서,
상기 분리부는 상기 제2 영역을 인체에서 얼굴을 제외한 몸 영역과 나머지 주변 영역으로 구분하고,
상기 추출부는 상기 몸 영역에서 몸 특징점을 추출하며, 상기 주변 영역에서 주변 특징점을 추출하고,
상기 판별부는 상기 제1 특징점과 상기 몸 특징점 간의 비교 결과, 상기 제1 특징점과 상기 주변 특징점 간의 비교 결과, 상기 몸 특징점과 상기 주변 특징점 간의 비교 결과 중 어느 하나에서라도 흠결이 발생되면, 상기 얼굴을 위조로 판별하는 검출 장치.
검출 장치에 의해 수행되는 검출 방법에 있어서,
이미지를 획득하는 단계;
상기 이미지에서 얼굴을 나타내는 제1 영역과 얼굴이 아닌 제2 영역을 분리하는 단계;
상기 제1 영역의 제1 특징점을 추출하고, 상기 제2 영역의 제2 특징점을 추출하는 단계;
상기 제1 특징점 및 상기 제2 특징점의 비교를 통해 상기 얼굴의 위조 여부를 판별하는 단계;
를 포함하는 검출 방법.