KR102462818B1 - 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치 - Google Patents

모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치 Download PDF

Info

Publication number
KR102462818B1
KR102462818B1 KR1020150096863A KR20150096863A KR102462818B1 KR 102462818 B1 KR102462818 B1 KR 102462818B1 KR 1020150096863 A KR1020150096863 A KR 1020150096863A KR 20150096863 A KR20150096863 A KR 20150096863A KR 102462818 B1 KR102462818 B1 KR 102462818B1
Authority
KR
South Korea
Prior art keywords
face
fake
fake face
motion vector
real
Prior art date
Application number
KR1020150096863A
Other languages
English (en)
Other versions
KR20170006355A (ko
Inventor
문일현
김종성
권재철
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020150096863A priority Critical patent/KR102462818B1/ko
Publication of KR20170006355A publication Critical patent/KR20170006355A/ko
Priority to KR1020220142359A priority patent/KR102596897B1/ko
Application granted granted Critical
Publication of KR102462818B1 publication Critical patent/KR102462818B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/95—Pattern authentication; Markers therefor; Forgery detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 위조 얼굴 검출에 관한 것이다. 본 발명의 일 양상에 따르면 위조 얼굴을 검출하는 방법은, 이미지 획득 장치로부터 획득된 영상에 대한 모션 벡터를 추출하는 단계; 상기 획득된 영상에 대한 특징 벡터를 추출하는 단계; 및 상기 모션 벡터에 기반한 위조 얼굴 분류를 수행하고, 상기 특징 벡터에 기반한 위조 얼굴 분류를 수행하여, 위조 얼굴 여부를 판정하는 단계를 포함할 수 있다.

Description

모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치{METHOD OF MOTION VECTOR AND FEATURE VECTOR BASED FAKE FACE DETECTION AND APPARATUS FOR THE SAME}
본 발명은 위조 얼굴 검출에 관한 것으로, 보다 구체적으로는 모션벡터 및 특징벡터에 기반하여 위조 얼굴을 검출하는 방법, 장치, 소프트웨어, 이러한 소프트웨어가 저장된 기록 매체에 대한 것이다.
신원 확인, 출입 관리 등의 다양한 목적으로 얼굴 인식 기술에 대한 수요가 증가하고 있다. 정확한 얼굴 인식을 위해서, 카메라를 통해서 획득된 이미지가 위조 얼굴인지를 검출하는 것이 요구된다. 예를 들어, 카메라를 통해서 획득된 이미지가 실제 얼굴을 촬영한 것인지, 아니면 위조된 피사체를 촬영한 것인지(예를 들어, 얼굴 사진을 촬영한 것인지, 얼굴 영상이 재생되는 디스플레이를 촬영한 것인지)를 판별하는 기술이 요구된다.
종래의 위조 얼굴 검출 기술은 적외선 카메라 또는 열적외선 카메라 등의 장비를 이용하여 실제 사람의 얼굴의 열이 감지되는지 여부에 따라 위조 여부를 판별할 수 있다. 그러나, 이를 위해서는 고가의 적외선 카메라가 별도로 구비되기 때문에 일반적인 카메라에 적용하기 어렵다.
한편, 일반적으로 사용되는 RGB 카메라를 이용한 위조 얼굴 검출 기술에 따르면, 눈이나 입 주변의 제한적인 움직임을 검출하거나, 배경과 얼굴 객체의 움직임을 검출하여, 검출된 결과에 가중치를 적용하여 수치화하고, 이를 이용하여 위조 여부를 판별할 수 있다. 그러나, 단순히 눈이나 입의 움직임을 이용하는 기술에서는, 고해상도 컬러 프린터를 이용하여 눈이나 입과 같은 특정 부위가 정밀하게 인쇄된 사진을 이용하거나 실제 눈이나 입의 움직임에 따라 모델링하는 방식이 적용된다면, 위조 여부를 판별하지 못할 수도 있다. 또한, 얼굴 인식 장치가 설치된 환경과 동일 또는 유사한 배경에서 촬영된 고해상도 이미지를 재생(replay)하는 경우 종래의 얼굴 인식 시스템에서는 위조 여부를 판별하지 못할 수도 있다. 이와 같이, 종래의 위조 얼굴 판별 기술은 눈이나 입 등의 얼굴의 특징(feature)에 대한 데이터에 기반하기 때문에, 사람마다 실제 얼굴과 위조 얼굴의 특징의 차이점을 반영하지 못하여, 위조 얼굴 판별의 정확도가 낮은 문제가 있다.
본 발명은 모션 벡터와 특징 벡터를 결합하여 위조 얼굴의 검출 확률을 획기적으로 높이는 방법 및 장치를 제공하는 것을 기술적 과제로 한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 양상에 따르면 위조 얼굴을 검출하는 방법은, 이미지 획득 장치로부터 획득된 영상에 대한 모션 벡터를 추출하는 단계; 상기 획득된 영상에 대한 특징 벡터를 추출하는 단계; 및 상기 모션 벡터에 기반한 위조 얼굴 분류를 수행하고, 상기 특징 벡터에 기반한 위조 얼굴 분류를 수행하여, 위조 얼굴 여부를 판정하는 단계를 포함할 수 있다.
본 발명의 다른 양상에 따르면 위조 얼굴을 검출하는 장치는, 이미지 획득 장치로부터 획득된 영상에 대한 모션 벡터를 추출하는 모션 벡터 추출부; 상기 획득된 영상에 대한 특징 벡터를 추출하는 특징 벡터 추출부; 상기 모션 벡터에 기반한 위조 얼굴 분류기; 및 상기 특징 벡터에 기반한 위조 얼굴 분류기를 포함할 수 있다. 상기 모션 벡터에 기반한 위조 얼굴 분류기의 분류 결과 및 상기 특징 벡터에 기반한 위조 얼굴 분류기의 분류 결과에 기초하여 위조 얼굴 여부가 판정될 수 있다.
본 발명의 또 다른 양상에 따르면 위조 얼굴 검출 장치에 의해 실행가능한 명령들을 가지는 소프트웨어가 저장된 컴퓨터-판독가능한 매체가 제공될 수 있다. 상기 실행가능한 명령들은, 상기 위조 얼굴 검출 장치로 하여금, 이미지 획득 장치로부터 획득된 영상에 대한 모션 벡터를 추출하고, 상기 획득된 영상에 대한 특징 벡터를 추출하고, 상기 모션 벡터에 기반한 위조 얼굴 분류를 수행하고, 상기 특징 벡터에 기반한 위조 얼굴 분류를 수행하여, 위조 얼굴 여부를 판정하도록 할 수 있다.
본 발명의 다양한 양상들에 있어서, 상기 모션 벡터에 기반한 위조 얼굴 분류, 또는 상기 특징 벡터에 기반한 위조 얼굴 분류 중의 하나 이상에서 위조 얼굴이라고 분류되는 경우, 최종적으로 위조 얼굴이라고 판정될 수 있다.
본 발명의 다양한 양상들에 있어서, 상기 모션 벡터에 기반한 위조 얼굴 분류, 및 상기 특징 벡터에 기반한 위조 얼굴 분류 모두에서 실제 얼굴이라고 분류되는 경우, 개인별 위조 얼굴 분류가 추가적으로 수행될 수 있다.
본 발명의 다양한 양상들에 있어서, 상기 개인별 위조 얼굴 분류는, 개인별 실제 얼굴 데이터, 개인별 실제 위조 얼굴 데이터, 또는 변환된 개인별 위조 얼굴 데이터 중의 하나 이상을 이용하여 학습된 분류기에 의해서 수행될 수 있다.
본 발명의 다양한 양상들에 있어서, 상기 개인별 실제 위조 얼굴 데이터는, 개인별 실제 얼굴을 촬영한 사진 또는 동영상을 촬영한 결과물일 수 있다.
본 발명의 다양한 양상들에 있어서, 상기 변환된 위조 얼굴 데이터는, 상기 실제 위조 얼굴 데이터에 변환 행렬이 적용됨으로써 획득되며, 상기 변환 행렬은 적응적으로 업데이트될 수 있다.
본 발명의 다양한 양상들에 있어서, 상기 획득된 영상으로부터 얼굴 랜드마크를 검출하는 단계를 더 포함하고, 상기 특징 벡터는 검출된 얼굴 랜드마크에 대한 기하학적인 특징을 표현하는 기술자(descriptor) 정보일 수 있다.
본 발명의 다양한 양상들에 있어서, 상기 획득된 영상으로부터 얼굴 랜드마크를 검출하는 단계를 더 포함하고, 상기 모션 벡터는 검출된 얼굴 랜드마크의 움직임의 크기 및 방향을 나타내는 정보일 수 있다.
본 발명의 다양한 양상들에 있어서, 상기 모션 벡터에 기반한 위조 얼굴 분류는, 실제 얼굴에 대한 모션 벡터 특징 모델과, 위조 얼굴에 대한 모션 벡터 특징모델에 기반하여, 상기 획득된 영상의 위조 여부를 판정하는 단계를 포함할 수 있다.
본 발명의 다양한 양상들에 있어서, 상기 위조 얼굴에 대한 모션 벡터 특징 모델은, 사진을 이용한 위조 얼굴에 대한 모션 벡터 특징 모델과, 동영상을 이용한 위조 얼굴에 대한 모션 벡터 특징 모델을 포함할 수 있다.
본 발명의 다양한 양상들에 있어서, 상기 모션 벡터에 기반한 위조 얼굴 분류는, 제 1 영역, 제 2 영역 및 제 3 영역의 각각에 대해서, 상기 획득된 영상의 연속하는 두 프레임 간에 관측되는 움직임 패턴을 계산하는 단계를 포함하고, 상기 제 3 영역은 상기 제 2 영역을 포함하고, 상기 제 2 영역은 상기 제 1 영역을 포함할 수 있다.
본 발명의 다양한 양상들에 있어서, 상기 모션 벡터는, 상기 제 1, 제 2 및 제 3 영역의 각각에서 평균 벡터를 계산하고, 상기 제 1, 제 2 및 제 3 영역의 평균 벡터들을 결합함으로써 결정될 수 있다.
본 발명의 다양한 양상들에 있어서, 상기 제 1 영역은 얼굴 영역이고, 상기 제 2 영역은 헤드 영역이고, 상기 제 3 영역은 배경 영역일 수 있다.
본 발명의 다양한 양상들에 있어서, 상기 특징 벡터에 기반한 위조 얼굴 분류는, 하나 이상의 실제 얼굴 데이터, 하나 이상의 실제 위조 얼굴 데이터, 또는 하나 이상의 변환된 위조 얼굴 데이터 중의 하나 이상을 이용하여 학습된 분류기에 의해서 수행될 수 있다.
본 발명의 다양한 양상들에 있어서, 상기 하나 이상의 실제 위조 얼굴 데이터의 각각은, 상기 하나 이상의 실제 얼굴을 촬영한 사진 또는 동영상을 촬영한 결과물의 각각에 대응할 수 있다.
본 발명의 다양한 양상들에 있어서, 상기 하나 이상의 변환된 위조 얼굴 데이터의 각각은, 상기 하나 이상의 실제 위조 얼굴 데이터의 각각에 변환 행렬이 적용됨으로써 획득되며, 상기 변환 행렬은 적응적으로 업데이트될 수 있다.
본 발명에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 발명의 상세한 설명의 예시적인 양상일 뿐이며, 본 발명의 범위를 제한하는 것은 아니다.
본 발명에 모션 벡터와 특징 벡터를 결합하여 위조 얼굴의 검출 확률을 획기적으로 높이는 방법 및 장치가 제공될 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서에 첨부되는 도면은 본 발명에 대한 이해를 제공하기 위한 것으로서 본 발명의 다양한 실시형태들을 나타내고 명세서의 기재와 함께 본 발명의 원리를 설명하기 위한 것이다.
도 1은 얼굴 특징점에 기반한 위조 얼굴 검출 방법을 설명하기 위한 흐름도이다.
도 2는 얼굴 특징점과 배경의 변화를 이용한 위조 얼굴 검출을 설명하기 위한 블록도이다.
도 3은 본 발명에 따른 위조 얼굴 검출 장치의 구성과 동작을 설명하기 위한 도면이다.
도 4는 본 발명에 따른 모션 벡터 추출 영역을 설명하기 위한 도면이다.
도 5는 본 발명에 따른 모션 벡터를 추출하는 장치의 구성 및 동작을 설명하기 위한 도면이다.
도 6 내지 도 8은 본 발명에 따라서 획득된 모션 벡터의 예시들을 설명하기 위한 도면이다.
도 9는 본 발명에 따른 모션 벡터 위조 얼굴 분류기의 구성 및 동작을 설명하기 위한 도면이다.
도 10은 본 발명에 따른 모션 벡터 위조 얼굴 분류기를 이용하여 위조 얼굴을 판별하는 방법을 설명하기 위한 도면이다.
도 11은 본 발명에 따른 일반적인 위조 얼굴 분류기 및 개인별 위조 얼굴 분류기의 구성 및 동작을 설명하기 위한 도면이다.
도 12는 본 발명에 따른 위조 얼굴 특징점 데이터 생성부에서 이용가능한 변환 행렬에 대해서 설명하기 위한 도면이다.
도 13은 일반적인 위조 얼굴 분류기의 생성을 설명하기 위한 도면이다.
도 14는 개인별 위조 얼굴 분류기의 생성을 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고, 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 얼굴 특징점에 기반한 위조 얼굴 검출 방법을 설명하기 위한 흐름도이다.
단계 S110에서 카메라 등을 이용하여 촬영된 영상을 획득할 수 있다. 단계 S120에서 획득된 영상에서 얼굴 객체(예를 들어, 눈)을 검출할 수 있다. 단계 S130에서 변화량을 비교할 수 있도록 얼굴 영상 정규화를 수행할 수 있다. 단계 S140에서 변화량 측정의 주요 대상이 되는 특징점에 해당하는 영역(예를 들어, 눈 영역)을 이진화하여 저장할 수 있다. 단계 S150에서는 상기 단계 S110 내지 S140이 N회 반복되는지를 판정하고, 그렇지 않은 경우 단계 S110부터 다시 수행되고, N회 반복된 영상을 획득한 경우 단계 S160이 수행될 수 있다.
단계 S160에서는 N 개의 정규화된 얼굴 영상과 각각의 얼굴 영상으로부터 추출된 특징점 영역(예를 들어, 눈 영역)의 이진화된 데이터를 기반으로 N 개의 얼굴 영상에서 특징점 영역의 변화량을 계산할 수 있다. 만약, 사진 등의 위조 얼굴에서는 눈 깜박임 등이 발생하지 않을 것이므로, 실제 얼굴 영상에 비하여 특징점 영역의 변화량이 매우 적을 수 있고, 이에 기반하여 위조 얼굴 여부를 판별할 수 있다.
도 2는 얼굴 특징점과 배경의 변화를 이용한 위조 얼굴 검출을 설명하기 위한 블록도이다.
영상 획득 블록(210)는 카메라를 통해 촬영된 영상을 획득하고, 획득된 영상을 얼굴 추출 블록(220) 및 배경 학습 블록(230)에 입력할 수 있다.
얼굴 추출 블록(220)은 획득된 영상으로부터 얼굴 객체를 추출하여 얼굴 영상을 움직임 정보 비교 블록(260) 및 배경간 비교 블록(270)에 전달할 수 있다.
배경 학습 블록(230)은 영상 획득 블록(210)으로부터 획득된 다수의 영상 중에서 현재 배경을 분석하여 모델링하는 배경 학습을 통해 다수개의 모델을 생성하고, 이 중에서 상대적으로 높은 가중치를 가지는 모델의 배경을 학습 배경(또는 기준 배경)으로 선택하여 저장 블록(250)에 저장할 수 있다. 즉, 배경 학습 블록(230)은 가장 높은 확률을 가지는 배경 모델을 지속적인 학습을 통해 업데이트할 수 있다.
깜박임 검출 블록(240)은 얼굴 추출 블록(220)에서 추출된 얼굴 특징점 영역(예를 들어, 눈 영역)의 변화량을 통해 눈 깜빡임 여부 등을 검출할 수 있다. 예를 들어, 깜박임 검출 블록(240)에서는 도 1과 같은 방법이 수행될 수 있다. 깜박임 검출 블록(240)의 검출 결과는 위조 판별 블록(280)으로 전달될 수 있다.
움직임 정보 비교 블록(260)에서는 얼굴 영역의 모션 벡터 성분과 현재 배경 내의 모션 벡터 성분을 추출하여 비교할 수 있다. 얼굴 객체의 모션 벡터와 배경 영역의 벡터에 기반하여 결정된 움직임을 나타내는 수치가 위조 판별 블록(280)으로 전달될 수 있다.
배경간 비교 블록(270)은 얼굴 추출 블록(220)으로부터 전달 받은 현재 영상에서의 배경과 저장 블록(250)에 저장된 학습 배경을 비교하여 유사도를 결정할 수 있고, 그 결과가 위조 판별 블록(280)으로 전달될 수 있다.
위조 판별 블록(280)에서는 획득된 영상의 얼굴 오브젝트의 눈 깜박임이 있는지, 획득된 영상의 배경이 실제 배경 모델과 유사한지, 획득된 영상의 배경의 움직임이 비정상적인지 등에 기반하여 위조 여부를 판별할 수 있다.
도 3은 본 발명에 따른 위조 얼굴 검출 장치의 구성과 동작을 설명하기 위한 도면이다.
영상 획득 블록(301)은 이미지 획득 장치(예를 들어, 카메라) 등에 의해 촬영된 영상을 획득할 수 있고, 이를 얼굴 랜드마크(Landmark) 검출부(302)에 전달할 수 있다.
얼굴 랜드마크 검출부(302)는 얼굴의 주요 특징 포인트(예를 들어, 눈썹, 눈, 코, 입 등)를 검출할 수 있다. 예를 들어, 한쪽 눈썹을 2개의 특징부로 구분하여 검출하고, 좌우 눈썹 총 4개의 특징부를 검출할 수 있다. 한쪽 눈을 4개의 특징부로 구분하여 검출하고, 좌우 눈 총 8개의 특징부를 검출할 수 있다. 코는 양쪽의 2 부분을 구분하여 검출할 수 있다. 입술은 위쪽 좌우 2 부분, 아래쪽 좌우 2 부분, 총 4 개의 특징부를 검출할 수 있다. 이는 단지 예시일 뿐이며, 얼굴에서 18 개의 특징점을 추출하는 것으로 본 발명의 범위가 제한되지는 않는다.
얼굴 특징점 추출부(303)는 얼굴 랜드마크(예를 들어, 눈썹, 눈, 코, 입의 18개 위치)에 대한 특징을 추출하여 이를 표현하는 파라미터(예를 들어, MsLBP(Multi-scale Local Binary Pattern))를 생성할 수 있다. 이는 단지 예시에 불과하고, MsLBP 이외의 다른 기술자(descriptor)가 사용될 수도 있다. 다만, 얼굴 특징점 추출을 위해서 국부적인 영역의 빛 변화에 강인하면서 기하학적인 특징을 잘 표현하는 기술자를 사용하는 것이 효과적이다. 이는, 실제 얼굴을 촬영한 이미지와, 사진이나 비디오를 촬영한 위조 얼굴 이미지를 비교하면, 평면적인 데이터를 촬영한 위조 얼굴 이미지에서는 에지(edge) 정보와 같은 기하학적인 정보가 사라지므로 위조 얼굴 검출에 보다 유리하기 때문이다.
모션 벡터 추출부(304)는 동영상(또는 복수개의 프레임으로 구성된 시퀀스)에서 각각의 프레임의 모션 벡터를 추출하고, 모션 벡터의 크기(magnitude) 및 방향(angle)을 계산할 수 있다 (여기서, 모션 벡터의 크기는 벡터의 길이를 의미하고, 모션 벡터의 방향은 0˚ 내지 360˚ 사이의 기울기 값을 의미한다). 특히, 얼굴 영역, 헤드 영역, 배경 영역의 각각에 대해서 모션 벡터를 추출할 수 있다. 모션 벡터 추출부(304)의 동작에 대한 구체적인 설명은 도 4 내지 도 8을 참조하여 후술한다.
모션 벡터 위조 얼굴 분류기(306)는 모션 벡터에 기반하여 임의의 얼굴 영상이 위조 얼굴에 해당하는지 여부를 판정할 수 있다. 모션 벡터 위조 얼굴 분류기(306)의 동작에 대한 구체적인 설명은 도 9 및 도 10을 참조하여 후술한다.
일반적인 위조 얼굴 분류기(305)는 후술하는 개인별 위조 얼굴 분류기(308)와 구분된다. 일반적인 위조 얼굴 분류기(305)는 얼굴 특징점(또는 특징 벡터)에 기반하여 위조 얼굴 여부를 판정하며, 얼굴 특징점 추출부(303)로부터 입력되는 얼굴 영상의 특징점(또는 특징 벡터)을, 미리 학습을 통해서 마련된 기준과 비교하여, 임의의 얼굴 영상이 위조 얼굴에 해당하는지 여부를 판정할 수 있다. 일반적인 위조 얼굴 분류기(305)의 동작에 대한 구체적인 설명은 도 11 내지 도 14를 참조하여 후술한다.
일반적인 위조 얼굴 분류기(305) 또는 모션 벡터 위조 얼굴 분류기(306) 중의 적어도 하나에서 위조 얼굴이라고 분류되면, 최종적으로 위조 얼굴이라고 판정할 수 있다. 만약, 일반적인 위조 얼굴 분류기(305) 또는 모션 벡터 위조 얼굴 분류기(306) 모두에서 위조 얼굴이 아니라고 분류되면, 얼굴 인식 수행부(307), 개인별 위조 얼굴 분류기(308)를 통해서 추가적인 위조 여부 검출이 수행될 수 있다.
얼굴 인식 수행부(307)는 획득된 영상의 얼굴에 해당하는 사람이 누구인지를 결정할 수 있다. 예를 들어, 해당 얼굴 영상의 특징부에 기초하여 그 얼굴에 매칭되는 사람의 신원 또는 식별정보(즉, ID 정보)를 추출할 수 있다. 얼굴 인식 결과는 개인별 위조 얼굴 분류기(308)로 전달될 수 있다.
개인별 위조 얼굴 분류기(308)는 식별된 신원에 해당하는 얼굴에 대해서 데이터베이스에 미리 저장되어 있는 기준이 되는 얼굴 특징점과, 획득된 영상의 얼굴 특징점을 비교하여 위조 여부를 판정할 수 있다. 개인별 위조 얼굴 분류기(308)의 동작에 대한 구체적인 설명은 도 11 내지 도 14를 참조하여 후술한다.
도 3에 대해서 설명한 구성요소들의 하나 이상은, 별도의 프로세서로서 구현될 수도 있지만, 하나의 프로세서의 소프트웨어 또는 펌웨어 형태의 기능 모듈로서 구현될 수도 있다.
도 4는 본 발명에 따른 모션 벡터 추출 영역을 설명하기 위한 도면이다.
획득된 영상에 대해서 모션 벡터를 추출하기 위해, 얼굴 영역, 헤드 영역(또는 머리와 어깨(head and shoulder) 영역), 배경 영역(또는 카메라 프레임 바깥 영역)으로 나눌 수 있다. 실제 얼굴을 촬영한 영상이라면 사람 몸의 움직임에 따라서 얼굴 영역과 헤드 영역에서 움직임이 있지만, 배경에는 이러한 움직임이 거의 발생하지 않는다. 또한, 얼굴 영역에서는 눈 깜빡임, 말하기, 표정 변화 등에 따라서 미세한 움직임이 많이 발생하지만, 상대적으로 헤드 영역에서는 이러한 미세한 움직임이 덜 발생한다.
본 발명에서는 설명의 편의를 위해서 얼굴 영역, 헤드 영역, 배경 영역이라는 용어를 사용하지만, 본 발명의 범위가 그 용어의 사전적 의미로 제한되지는 않는다. 즉, 본 발명은 획득된 얼굴 영상을 제 1, 제 2 및 제 3 영역으로 구분하고, 제 3 영역은 제 2 영역을 포함하고, 제 2 영역은 제 1 영역을 포함하는 방식으로 구분하는 예시를 포함한다.
도 5는 본 발명에 따른 모션 벡터를 추출하는 장치의 구성 및 동작을 설명하기 위한 도면이다.
영상 획득 블록(501)은 도 3의 영상 획득 블록(301)에 대응할 수 있다.
연속된 두 프레임 추출부(502)는 영상 획득 블록(501)에 의해 연속된 프레임들이 입력되면 그 중에서 연속된 두 프레임을 추출한다. 연속된 두 프레임 추출부(502)는 얼굴 랜드마크 검출(도 3의 302)에서 얼굴 객체가 검출된 후에 입력된 영상에 대해서 연속된 두 프레임을 추출할 수도 있다.
고밀도 광학 플로우(Dense Optical Flow) 계산부(503)는 추출된 두 프레임간의 고밀도 광학 플로우(즉, 오브젝트, 표면, 에지에 대해서 관측되는 움직임의 패턴)을 계산할 수 있다.
히스토그램 생성부(504)에서는 도 4의 예시와 같이 얼굴 영역, 헤드 영역, 배경 영역으로 분할된 3 개의 영역을 더 세부적으로 분할할 수 있다. 예를 들어, 얼굴 영역은 N1 개의 서브 블록으로 구분하고, 헤드 영역은 N2 개의 서브 블록으로 분할하고, 배경 영역은 N3 개의 서브 블록으로 분할할 수 있다. 구분된 영역(예를 들어, 얼굴 영역, 헤드 영역, 배경 영역)의 각각에서 평균 벡터를 계산하고, 해당 영역 내의 평균 벡터에 대한 크기(magnitude) 및 방향(angle)을 계산할 수 있다. 그 결과를 이용하여 구분된 영역의 각각에 대한 히스토그램(즉, 1차원 히스토그램 벡터)을 생성할 수 있다.
벡터 결합부(505)는 구분된 영역(예를 들어, 얼굴 영역, 헤드 영역, 배경 영역)의 각각에서 도출된 1차원 히스토그램 벡터를 결합하여, 하나의 모션 벡터(또는 모션 특징 벡터)를 생성할 수 있다.
도 5에 대해서 설명한 구성요소들의 하나 이상은, 별도의 프로세서로서 구현될 수도 있지만, 하나의 프로세서의 소프트웨어 또는 펌웨어 형태의 기능 모듈로서 구현될 수도 있다.
도 6 내지 도 8은 본 발명에 따라서 획득된 모션 벡터의 예시들을 설명하기 위한 도면이다.
도 6의 상단 2개의 도면은 실제 얼굴을 촬영한 영상에서 획득된 모션 벡터(초록색으로 표시된 벡터)의 예시를 나타내고, 및 하단 도면은 그에 해당하는 히스토그램을 나타낸다.
도 7의 상단 2개의 도면은 사진(예를 들어, 스마트폰으로 촬영한 얼굴 사진)을 촬영한 영상에서 획득된 모션 벡터(초록색으로 표시된 벡터)의 예시를 나타내고, 및 하단 도면은 그에 해당하는 히스토그램을 나타낸다.
도 8의 상단 2개의 도면은 동영상(예를 들어, 스마트폰으로 촬영한 얼굴 동영상)을 촬영한 영상에서 획득된 모션 벡터(초록색으로 표시된 벡터)의 예시를 나타내고, 및 하단 도면은 그에 해당하는 히스토그램을 나타낸다.
예를 들어, 모션 벡터 하나의 방향이 70˚이고 그 크기가 20이면 아래의 표 1에서 해당 요소의 카운트를 1만큼 더할 수 있다. 나머지 모션 벡터들에 대해서 그 방향과 크기에 따른 카운트를 반복할 수 있다. 특정 방향에 대한 벡터 크기의 합은, 해당 방향에서 제 1 크기를 가지는 벡터의 개수에 제 1 크기값을 곱하고, 제 2 크기를 가지는 벡터의 개수에 제 2 크기값을 곱하고, ... 이들을 모두 합산함으로써 도출할 수 있다.
방향
크기 		0 … 70˚ … 360˚
… … … … … …
20 0 … 1 … 0
… … … … … …
MAX 0 … 0 … 0
이에 따라 계산된 특정 방향의 벡터 크기의 합이 상대적으로 큰 값이 나올 수 있으므로, 히스토그램 그래프로 표현할 때는 최소값과 최대값을 정해서 스케일링을 적용함으로써, 다른 영상의 모션 벡터와 용이하게 비교할 수 있다. 즉, 서로 다른 영상의 모션 벡터를 히스토그램 그래프를 비교할 때, 그래프의 크기를 비교하는 것이 아니라, 벡터 방향에 대한 크기의 분포를 보고 유사도를 판정하므로, 벡터의 크기의 상대적인 대소관계는 필요하지 않기 때문이다.
도 6의 예시의 히스토그램 그래프로부터 실제 얼굴의 경우에 좌우(또는 수평) 방향의 모션 벡터 성분이 상대적으로 많이 발생함을 알 수 있고, 도 7의 예시의 히스토그램 그래프로부터 위조얼굴(사진)의 경우에는 사람이 사진을 들고 있어서 흔들리기 때문에 움직임이 없는 상황이 발생하는 빈도가 낮고 상하좌우(또는 수직 및 수평)의 모든 방향을 가지는 모션 벡터 성분이 많이 발생함을 알 수 있다. 도 8의 예시의 히스토그램 그래프로부터 위조얼굴(동영상)의 경우에는 사람이 휴대가능한 동영상 디스플레이 크기의 제약으로 인해 모션 벡터의 크기가 다른 경우에 비하여 상대적으로 작게 나타나고, 그래프의 형태 자체는 실제 얼굴과 비슷한 패턴을 보일 수도 있지만, 벡터의 크기가 더 작거나 상대적으로 어느 한 방향으로 왜곡된 패턴을 보임을 알 수 있다. 도 6 내지 도 8의 히스토그램의 그래프는 많은 실험을 통해 얻은 평균치를 표현하는 예시일 뿐이며, 본 발명의 범위를 제한하는 것은 아니다.
이와 같이, 실제 얼굴, 위조 얼굴(사진), 위조 얼굴(동영상)에서 얻은 모션벡터를 기반의 크기와 방향에 대한 히스토그램을 표현한 그래프에서 알 수 있는 바와 같이, 실제 얼굴에서 획득된 모션 벡터는 사진이나 동영상으로부터 획득된 모션 벡터와 큰 차이를 보인다. 즉, 실제 얼굴과 사진 또는 동영상의 모션 벡터의 정규화된 히스토그램의 특징은 현저한 차이를 가지므로, 이에 기반하여 위조 얼굴 여부를 판정할 수 있다.
도 9는 본 발명에 따른 모션 벡터 위조 얼굴 분류기의 구성 및 동작을 설명하기 위한 도면이다.
본 발명에 따른 모션 벡터 위조 얼굴 분류기(도 3의 306)는 전술한 바와 같이 모션 벡터의 특징(예를 들어, 히스토그램 상의 분포 특징) 자체에 기초하여 위조 얼굴 여부를 판정할 수도 있지만, 이에 추가적으로 훈련 이미지를 이용한 위조 얼굴 여부 판정도 지원한다.
예를 들어, 실제얼굴, 위조얼굴(사진), 위조얼굴(동영상)의 세가지 분류의 각각에 대해서 다양하게 훈련시킨 모션 벡터의 특징(예를 들어, 히스토그램 상의 분포 특징)을 이용하여 실제로 검출하는 상황에서, 세가지 분류 중의 어떤 것에 근접하는지를 판정함으로써 위조 얼굴 검출 성능을 높일 수 있다.
도 9의 예시에서 훈련 이미지 생성부(901)에서는 모델링 분류 각각에 대한 데이터를 수집 또는 저장할 수 있다. 예를 들어, 실제얼굴의 모델(즉, 실제얼굴에 대한 비교 기준 모션 벡터)을 생성하기 위해서는 실제얼굴이 가지는 다양한 특징을 파악하기 위한 훈련이미지가 요구된다. 이러한 훈련이미지 데이터는 사전에 미리 제공될 수도 있고, 본 발명의 위조 얼굴 검출 결과에 따라 실제 얼굴로 판정된 영상 데이터가 훈련이미지로서 피드백 방식으로 제공될 수도 있다. 위조얼굴(사진)에 대한 모델(즉, 사진을 이용한 위조 얼굴에 대한 비교 기준 모션 벡터)을 생성하기 위해서는 사진을 이용한 위조 얼굴이 가지는 다양한 특징을 파악하기 위한 훈련이미지가 요구된다. 이러한 훈련이미지 데이터는 사전에 미리 제공될 수도 있고, 본 발명의 위조 얼굴 검출 결과에 따라 사진을 이용한 위조 얼굴로 판정된 영상 데이터가 훈련이미지로서 피드백 방식으로 제공될 수도 있다. 위조얼굴(동영상)에 대한 모델(즉, 동영상을 이용한 위조 얼굴에 대한 비교 기준 모션 벡터)을 생성하기 위해서는 동영상을 이용한 위조 얼굴이 가지는 다양한 특징을 파악하기 위한 훈련이미지가 요구된다. 이러한 훈련이미지 데이터는 사전에 미리 제공될 수도 있고, 본 발명의 위조 얼굴 검출 결과에 따라 동영상을 이용한 위조 얼굴로 판정된 영상 데이터가 훈련이미지로서 피드백 방식으로 제공될 수도 있다.
모션 벡터 추출부(902)에서는 모델링 분류(예를 들어, 실제얼굴, 위조얼굴(사진), 위조얼굴(동영상)의 세가지 분류) 각각에 대한 모션 벡터를 추출할 수 있으며, 이를 위해서 도 5와 같은 방식이 사용될 수도 있다.
모델 생성부(903)에서는 추출된 모션 벡터에 기초한 통계적인 모델링 방법을 사용하여, 모델링 분류(예를 들어, 실제얼굴, 위조얼굴(사진), 위조얼굴(동영상)의 세가지 분류) 각각에 대한 모델을 생성할 수 있다.
도 9에 대해서 설명한 구성요소들의 하나 이상은, 별도의 프로세서로서 구현될 수도 있지만, 하나의 프로세서의 소프트웨어 또는 펌웨어 형태의 기능 모듈로서 구현될 수도 있다.
도 10은 본 발명에 따른 모션 벡터 위조 얼굴 분류기를 이용하여 위조 얼굴을 판별하는 방법을 설명하기 위한 도면이다.
영상 획득부(301)을 통해 획득된 입력 이미지(1001)에 대해서 모션 벡터 추출(1002)이 수행될 수 있고, 이에 대해 전술한 도 5와 같은 방법이 적용될 수 있다. 추출된 모션 벡터는 기생성된 모델(예를 들어, 도 9의 예시에서와 같이 모델링 분류(예를 들어, 실제얼굴, 위조얼굴(사진), 위조얼굴(동영상)의 세가지 분류) 각각에 대해서 생성된 모델)과 비교(1003)될 수 있다. 즉, 추출된 모션 벡터는 실제얼굴에 대한 모델과 비교되고, 위조얼굴(사진)에 대한 모델과 비교되고, 위조얼굴(동영상)에 대한 모델과 비교될 수 있다. 비교(1003) 결과 여러 가지 모델링 분류 중에서 가장 높은 유사도를 가지는 모델이 결정될 수 있다. 만약 입력된 영상에 대해서 추출된 모션 벡터가 실제 얼굴 모델과 가장 유사하다면 위조 얼굴이 아닌 것으로 판정될 수 있고, 그렇지 않은 경우(예를 들어, 위조얼굴(사진) 또는 위조얼굴(동영상)의 모델과 가장 유사하다면) 위조 얼굴인 것으로 판정될 수 있다.
도 11은 본 발명에 따른 일반적인 위조 얼굴 분류기 및 개인별 위조 얼굴 분류기의 구성 및 동작을 설명하기 위한 도면이다.
도 11의 영상 획득 블록(1101), 얼굴 랜드마크 검출부(1102) 및 얼굴 특징점 추출부(1103)은 도 3의 예시에서 영상 획득 블록(301), 얼굴 랜드마크 검출부(302) 및 얼굴 특징점 추출부(303)에 대응할 수 있다. 즉, 이미지 획득 장치(예를 들어, 카메라)를 이용하여 영상을 획득하고, 얼굴의 특징점(예를 들어, 눈썹, 눈, 코, 입술에 대한 18개의 얼굴 랜드마크)을 검출하고, 검출된 특징점 위치에서 MsLBP를 이용하여 특징 벡터를 추출할 수 있다.
위조 얼굴 특징점 데이터 생성부(1104)는 추출된 얼굴 특징 데이터를, 변환 행렬(예를 들어, 전달 함수(Transfer Function) 또는 적응 함수(Adaptation Function))을 이용하여 위조 얼굴 특징 데이터(또는 위조 얼굴 특징 벡터)로 변환시킬 수 있다. 변환 행렬에 대한 예시를 도 12를 참조하여 설명한다.
도 12는 본 발명에 따른 위조 얼굴 특징점 데이터 생성부에서 이용가능한 변환 행렬에 대해서 설명하기 위한 도면이다.
실제 얼굴 데이터의 집합(G1, G2, ..., GN)에 대한 주요 구성요소 분석(Principal Component Analysis, PCA)을 통해 실제얼굴 데이터의 기저(Gbasis)를 결정할 수 있다. 한편, 위조얼굴 데이터의 집합(F1, F2, ..., FM)에 대한 PCA를 통해 위조얼굴 데이터의 기저(Fbasis)를 결정할 수 있다. 이들에 기반하여 변환행렬(X)를 계산할 수 있다. 즉, Gbasis에 대해서 특정 변환 행렬 X가 적용된 결과를 Fbasis라고 하면, 변환 행렬 X는 아래의 수학식 1과 같이 획득될 수 있다.
Figure 112015065937594-pat00001
다시 도 11을 참조하면, 실제 위조얼굴 생성부(1105)를 이용하여, 실제 사람의 얼굴을 촬영한 결과물(즉, 사진 또는 동영상)을 이미지 획득 장치(예를 들어, 카메라)로 다시 촬영하여 위조 얼굴의 샘플에 해당하는 위조 얼굴 이미지를 생성할 수 있다. 위조 얼굴 생성부(1105)를 이용하여, 위조 얼굴 이미지는 하나 또는 복수개가 생성될 수 있다. 실제 위조얼굴 생성부(1105)가 적용되는 경우에는 개인적인 위조 얼굴 분류기는 물론 일반적인 위조 얼굴 분류기에서도 유용한 위조 얼굴 데이터로서 활용될 수 있으므로 위조 검출 성능을 높일 수 있다. 특히, 실제 위조얼굴 생성부(1105)의 적용은, 개인별 위조 얼굴 분류기를 위한 개인 식별 이미지의 생성 및 등록시에 함께 적용될 수 있다. 그러나, 개인 식별 이미지를 사전에 등록하는 것이 적절하지 않은 경우에는, 실제 위조얼굴 생성부(1105)는 전술한 변환 함수를 이용하여 실제 얼굴 데이터(즉, 실제 얼굴 특징 벡터)로부터 위조 얼굴 데이터(즉, 위조 얼굴 특징 벡터)를 생성하고 이를 이용할 수도 있다.
일반적인 위조 얼굴 분류기 생성부(1106)에서는 일반적인 위조 얼굴 분류기를 학습 또는 업데이트시킴으로써 일반적인 위조 얼굴 분류기의 성능을 높일 수 있다.
개인별 위조 얼굴 분류기 생성부(1107)에서는 개인별 위조 얼굴 분류기를 학습 또는 업데이트시킴으로써 개인별 위조 얼굴 분류기의 성능을 높일 수 있다.
일반적인 위조 얼굴 분류기 생성부(1106) 및 개인별 위조 얼굴 분류기 생성부(1107)에 대한 예시를 도 13 및 도 14를 참조하여 각각 설명한다.
도 13은 일반적인 위조 얼굴 분류기의 생성을 설명하기 위한 도면이다.
일반적인 위조 얼굴 분류기는 다양한 훈련 데이터를 이용하여 일반적인 위조 얼굴 특징 벡터에 대한 비교 기준을 정하고, 그에 따라서 일반적인 위조 얼굴 여부를 판정할 수 있다. 이러한 일반적인 위조 얼굴 분류기를 훈련 또는 업데이트시키기 위해서, 기존에 확보된 훈련 데이터 이외의 새로운 데이터(예를 들어, 새롭게 등록한 사람(들)의 실제 얼굴에 대한 데이터와, 실제 위조 얼굴(즉, 실제 얼굴을 촬영한 결과물(즉, 사진 또는 동영상)을 이미지 획득 장치(예를 들어, 카메라)로 다시 촬영한 결과물)에 대한 데이터, 또는 실제 얼굴로부터 변환 행렬을 이용하여 변환된 위조 얼굴에 대한 데이터)를 추가로 입력할 수 있다. 이에 따라, 기존 등록자의 실제 얼굴 집합에 대한 특징 벡터와, 기존 등록자의 위조 얼굴 집합(이는 실제 위조 얼굴 또는 변환된 위조 얼굴의 하나 이상을 포함하는 집합)으로부터 일반적인 위조 얼굴 여부에 대한 판정 기준을 학습하고 이진 분류기를 업데이트할 수 있다.
도 14는 개인별 위조 얼굴 분류기의 생성을 설명하기 위한 도면이다.
개인별 위조 얼굴 분류기는 얼굴 인식을 통해서 개인이 식별된 경우, 보다 정확한 위조 검출 결과를 위해서, 개인별 실제 얼굴 및 위조 얼굴에 대한 데이터를 학습 및 업데이트할 수 있다. 개인별 위조 얼굴 분류기는 식별된 개인(예를 들어, 등록자)의 실제 얼굴에 대한 데이터, 실제 위조 얼굴(즉, 실제 얼굴을 촬영한 결과물(즉, 사진 또는 동영상)을 이미지 획득 장치(예를 들어, 카메라)로 다시 촬영한 결과물)에 대한 데이터, 또는 실제 얼굴로부터 변환 행렬을 이용하여 변환된 위조 얼굴에 대한 데이터)에 기초하여, 해당하는 개인에 대한 위조 얼굴 여부에 대한 판정 기준을 학습하고 이진 분류기를 업데이트할 수 있다.
도 11 내지 도 14에 대해서 설명한 구성요소들의 하나 이상은, 별도의 프로세서로서 구현될 수도 있지만, 하나의 프로세서의 소프트웨어 또는 펌웨어 형태의 기능 모듈로서 구현될 수도 있다.
전술한 바와 같이, 모션 벡터(예를 들어, 고밀도 광학 플로우) 및 특징 벡터(예를 들어, MsLBP) 모두를 기반으로 동작하는 위조 얼굴 분류기는, 종래의 위조얼굴 검출 방식에 비하여 보다 정확하고 확률 높은 위조 얼굴 검출 결과를 제공할 수 있다. 또한, 위조 얼굴 분류기 생성(또는 학습, 업데이트)에 필요한 위조 얼굴 데이터를 실제 위조 얼굴로부터 획득하거나, 훈련된 변환 행렬을 이용하여 재생산할 수 있으므로, 위조 얼굴 분류기 생성에 필요한 데이터를 용이하게 제공함으로써 위조 얼굴 분류기의 성능을 보다 더 높일 수 있다.
또한, 단순히 얼굴 영역에서만 추출된 모션 벡터만이 아니라, 얼굴 영역, 헤드 영역, 배경 영역에서 추출하는 모션 벡터를 결합하여 사용함으로써, 실제 사람의 행동으로부터 유발되는 모션 벡터의 특징과 사진을 들고 흔들거나 동영상을 사용하는 경우에 유발되는 모션 벡터의 특징을 학습시킨 분류기를 사용하여 보다 정확하게 위조 얼굴을 감지할 수 있다.
나아가, 실제 얼굴에서 획득되는 특징 벡터와 사진 또는 동영상을 촬영한 경우에 획득되는 특징 벡터의 차이점에 주목하여, 서포트 벡터 머신을 이용하여 이러한 특징 벡터의 차이를 미리 학습하여 위조 얼굴 분류기를 생성할 수 있다. 위조 얼굴 분류기는 일반적인 위조 얼굴의 특징에 기반하여 학습하는 방식과, 개인별 위조 얼굴의 특징에 기반하여 학습하는 방식을 병행함으로써, 일반적인 위조 얼굴 특징이 드러나지 않더라도 개인별 위조 얼굴 특징에 기반하여 위조 얼굴 검출 확률을 높일 수 있다. 이 경우, 개인별 위조 얼굴 분류기의 생성을 위해 개인 정보를 등록할 때에 개인의 실제 얼굴과 함께 개인의 실제 위조 얼굴을 입력하거나, 개인의 실제 얼굴로부터 변환 행렬에 의해 생성된 위조 얼굴을 이용할 수도 있다.
이와 같이, 본 발명에 따르면 적외선 카메라나 열적외선 카메라 같은 고가의 별도의 장비가 없이도 일반적으로 사용되는 RGB 카메라의 영상만으로도 위조 얼굴을 정확하게 검출할 수 있다. 특히, 눈 깜박임이나 입술의 움직임을 기반으로 위조 얼굴을 검출하는 종래 방식은, 고화질의 사진이나 동영상의 특정 부위에 움직임을 부가함으로써 무력화시킬 수 있지만, 본 발명에 따르면 모션 벡터와 특징 벡터를 동시에 고려하고, 또한 특징 벡터 기반 위조 얼굴 검출은 일반적인 특징과 개인별 특징을 모두 고려함으로써, 보다 높은 확률로 위조 얼굴을 검출할 수 있다.
전술한 본 발명의 다양한 실시 예에서 설명한 사항들은 독립적으로 적용되거나 또는 2 이상의 실시 예가 동시에 적용될 수도 있다.
전술한 본 발명의 다양한 실시 예에서 설명하는 예시적인 방법은 설명의 간명함을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 또한, 본 발명에서 제안하는 방법을 구현하기 위해서 예시하는 모든 단계가 반드시 필요한 것은 아니다.
본 발명의 범위는 본 발명에서 제안하는 방안에 따른 동작을 처리 또는 구현하는 장치를 포함한다.
본 발명의 범위는 본 발명에서 제안하는 방안에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어(또는, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 매체(medium)를 포함한다.
301 영상 획득 블록 302 얼굴 랜드마크 검출부
303 얼굴 특징점 검출부 304 모션 벡터 추출부
305 일반적인 위조 얼굴 분류기 306 모션 벡터 위조 얼굴 분류기
307 얼굴 인식 수행부 308 개인별 위조 얼굴 분류기

Claims (18)

  1. 위조 얼굴을 검출하는 방법에 있어서,
    이미지 획득 장치로부터 획득된 영상에 대한 모션 벡터를 추출하는 단계;
    상기 획득된 영상에 대한 특징 벡터를 추출하는 단계; 및
    상기 모션 벡터에 기반한 위조 얼굴 분류를 수행하고, 상기 특징 벡터에 기반한 일반 위조 얼굴 분류를 수행하여, 위조 얼굴 여부를 판정하는 단계를 포함하되,
    상기 모션 벡터에 기반한 위조 얼굴 분류, 또는 상기 특징 벡터에 기반한 일반 위조 얼굴 분류 중의 하나 이상에서 위조 얼굴이라고 분류되는 경우, 최종적으로 위조 얼굴이라고 판정하고,
    상기 모션 벡터에 기반한 위조 얼굴 분류 및 상기 특징 벡터에 기반한 일반 위조 얼굴 분류 모두에서 실제 얼굴이라고 분류되는 경우 개인별 위조 얼굴 분류를 추가적으로 수행하되,
    상기 개인별 위조 얼굴 분류는, 개인별 실제 얼굴 데이터, 개인별 실제 위조 얼굴 데이터, 또는 변환된 개인별 위조 얼굴 데이터 중의 하나 이상을 이용하여 학습된 분류기에 의해서 수행되는, 위조 얼굴 검출 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 개인별 실제 위조 얼굴 데이터는, 개인별 실제 얼굴을 촬영한 사진 또는 동영상을 촬영한 결과물인, 위조 얼굴 검출 방법.
  6. 제 5 항에 있어서,
    상기 변환된 위조 얼굴 데이터는, 상기 실제 위조 얼굴 데이터에 변환 행렬이 적용됨으로써 획득되며,
    상기 변환 행렬은 적응적으로 업데이트되는, 위조 얼굴 검출 방법.
  7. ◈청구항 7은(는) 설정등록료 납부시 포기되었습니다.◈
    제 1 항에 있어서,
    상기 획득된 영상으로부터 얼굴 랜드마크를 검출하는 단계를 더 포함하고,
    상기 특징 벡터는 검출된 얼굴 랜드마크에 대한 기하학적인 특징을 표현하는 기술자(descriptor) 정보인, 위조 얼굴 검출 방법.
  8. ◈청구항 8은(는) 설정등록료 납부시 포기되었습니다.◈
    제 1 항에 있어서,
    상기 획득된 영상으로부터 얼굴 랜드마크를 검출하는 단계를 더 포함하고,
    상기 모션 벡터는 검출된 얼굴 랜드마크의 움직임의 크기 및 방향을 나타내는 정보인, 위조 얼굴 검출 방법.
  9. 제 1 항에 있어서,
    상기 모션 벡터에 기반한 위조 얼굴 분류는,
    실제 얼굴에 대한 모션 벡터 특징 모델과, 위조 얼굴에 대한 모션 벡터 특징모델에 기반하여, 상기 획득된 영상의 위조 여부를 판정하는 단계를 포함하는, 위조 얼굴 검출 방법.
  10. 제 9 항에 있어서,
    상기 위조 얼굴에 대한 모션 벡터 특징 모델은,
    사진을 이용한 위조 얼굴에 대한 모션 벡터 특징 모델과,
    동영상을 이용한 위조 얼굴에 대한 모션 벡터 특징 모델을 포함하는, 위조 얼굴 검출 방법.
  11. 제 1 항에 있어서,
    상기 모션 벡터에 기반한 위조 얼굴 분류는,
    제 1 영역, 제 2 영역 및 제 3 영역의 각각에 대해서, 상기 획득된 영상의 연속하는 두 프레임 간에 관측되는 움직임 패턴을 계산하는 단계를 포함하고,
    상기 제 3 영역은 상기 제 2 영역을 포함하고, 상기 제 2 영역은 상기 제 1 영역을 포함하는, 위조 얼굴 검출 방법.
  12. 제 11 항에 있어서,
    상기 모션 벡터는,
    상기 제 1, 제 2 및 제 3 영역의 각각에서 평균 벡터를 계산하고,
    상기 제 1, 제 2 및 제 3 영역의 평균 벡터들을 결합함으로써 결정되는, 위조 얼굴 검출 방법.
  13. 제 11 항에 있어서,
    상기 제 1 영역은 얼굴 영역이고, 상기 제 2 영역은 헤드 영역이고, 상기 제 3 영역은 배경 영역인, 위조 얼굴 검출 방법.
  14. 제 1 항에 있어서,
    상기 특징 벡터에 기반한 일반 위조 얼굴 분류는,
    하나 이상의 실제 얼굴 데이터, 하나 이상의 실제 위조 얼굴 데이터, 또는 하나 이상의 변환된 위조 얼굴 데이터 중의 하나 이상을 이용하여 학습된 분류기에 의해서 수행되는, 위조 얼굴 검출 방법.
  15. 제 14 항에 있어서,
    상기 하나 이상의 실제 위조 얼굴 데이터의 각각은, 상기 하나 이상의 실제 얼굴을 촬영한 사진 또는 동영상을 촬영한 결과물의 각각에 대응하는, 위조 얼굴 검출 방법.
  16. 제 14 항에 있어서,
    상기 하나 이상의 변환된 위조 얼굴 데이터의 각각은, 상기 하나 이상의 실제 위조 얼굴 데이터의 각각에 변환 행렬이 적용됨으로써 획득되며,
    상기 변환 행렬은 적응적으로 업데이트되는, 위조 얼굴 검출 방법.
  17. 위조 얼굴을 검출하는 장치에 있어서,
    이미지 획득 장치로부터 획득된 영상에 대한 모션 벡터를 추출하는 모션 벡터 추출부;
    상기 획득된 영상에 대한 특징 벡터를 추출하는 특징 벡터 추출부;
    상기 모션 벡터에 기반한 위조 얼굴 분류기; 및
    상기 특징 벡터에 기반한 일반 위조 얼굴 분류기를 포함하고,
    상기 모션 벡터에 기반한 위조 얼굴 분류기의 분류 결과 및 상기 특징 벡터에 기반한 위조 얼굴 분류기의 분류 결과에 기초하여 위조 얼굴 여부가 판정되되,
    상기 모션 벡터에 기반한 위조 얼굴 분류, 또는 상기 특징 벡터에 기반한 일반 위조 얼굴 분류 중의 하나 이상에서 위조 얼굴이라고 분류되는 경우, 최종적으로 위조 얼굴이라고 판정하고,
    상기 모션 벡터에 기반한 위조 얼굴 분류 및 상기 특징 벡터에 기반한 일반 위조 얼굴 분류 모두에서 실제 얼굴이라고 분류되는 경우 개인별 위조 얼굴 분류를 추가적으로 수행하되,
    상기 개인별 위조 얼굴 분류는, 개인별 실제 얼굴 데이터, 개인별 실제 위조 얼굴 데이터, 또는 변환된 개인별 위조 얼굴 데이터 중의 하나 이상을 이용하여 학습된 분류기에 의해서 수행되는, 위조 얼굴 검출 장치.
  18. 위조 얼굴 검출 장치에 의해 실행가능한 명령들을 가지는 소프트웨어가 저장된 컴퓨터-판독가능한 매체에 있어서,
    상기 실행가능한 명령들은, 상기 위조 얼굴 검출 장치로 하여금, 이미지 획득 장치로부터 획득된 영상에 대한 모션 벡터를 추출하고, 상기 획득된 영상에 대한 특징 벡터를 추출하고, 상기 모션 벡터에 기반한 위조 얼굴 분류를 수행하고, 상기 특징 벡터에 기반한 일반 위조 얼굴 분류를 수행하여, 위조 얼굴 여부를 판정하도록 하되,
    상기 모션 벡터에 기반한 위조 얼굴 분류, 또는 상기 특징 벡터에 기반한 일반 위조 얼굴 분류 중의 하나 이상에서 위조 얼굴이라고 분류되는 경우, 최종적으로 위조 얼굴이라고 판정하고,
    상기 모션 벡터에 기반한 위조 얼굴 분류 및 상기 특징 벡터에 기반한 일반 위조 얼굴 분류 모두에서 실제 얼굴이라고 분류되는 경우 개인별 위조 얼굴 분류를 추가적으로 수행하되,
    상기 개인별 위조 얼굴 분류는, 개인별 실제 얼굴 데이터, 개인별 실제 위조 얼굴 데이터, 또는 변환된 개인별 위조 얼굴 데이터 중의 하나 이상을 이용하여 학습된 분류기에 의해서 수행되는, 컴퓨터-판독가능한 매체.
KR1020150096863A 2015-07-08 2015-07-08 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치 KR102462818B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150096863A KR102462818B1 (ko) 2015-07-08 2015-07-08 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
KR1020220142359A KR102596897B1 (ko) 2015-07-08 2022-10-31 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150096863A KR102462818B1 (ko) 2015-07-08 2015-07-08 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220142359A Division KR102596897B1 (ko) 2015-07-08 2022-10-31 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170006355A KR20170006355A (ko) 2017-01-18
KR102462818B1 true KR102462818B1 (ko) 2022-11-04

Family

ID=57992241

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020150096863A KR102462818B1 (ko) 2015-07-08 2015-07-08 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
KR1020220142359A KR102596897B1 (ko) 2015-07-08 2022-10-31 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220142359A KR102596897B1 (ko) 2015-07-08 2022-10-31 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치

Country Status (1)

Country Link
KR (2) KR102462818B1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101781361B1 (ko) * 2017-01-25 2017-09-26 대한민국 얼굴 비교를 통한 개인 식별 방법
KR101877816B1 (ko) * 2017-02-20 2018-07-12 주식회사 에스원 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단방법 및 이를 이용한 위조 얼굴 판단 시스템
KR102387571B1 (ko) 2017-03-27 2022-04-18 삼성전자주식회사 라이브니스 검사 방법 및 장치
KR102085427B1 (ko) * 2018-05-23 2020-03-05 한국과학기술원 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치
KR102178952B1 (ko) * 2018-11-28 2020-11-13 이노뎁 주식회사 압축영상에 대한 신택스 기반의 mrpn-cnn을 이용한 객체 분류 방법
CN111783505B (zh) * 2019-05-10 2025-01-03 北京京东尚科信息技术有限公司 伪造人脸的识别方法、装置和计算机可读存储介质
KR20210106790A (ko) 2020-02-21 2021-08-31 삼성전자주식회사 서버, 전자 장치 및 그들의 제어 방법
KR102463353B1 (ko) 2020-05-21 2022-11-07 경일대학교산학협력단 페이크 얼굴 검출 장치 및 검출 방법
CN111783608B (zh) * 2020-06-24 2024-03-19 南京烽火星空通信发展有限公司 一种换脸视频检测方法
CN112052728B (zh) * 2020-07-30 2024-04-02 广州市标准化研究院 一种便捷式人像识别防欺骗装置及其控制方法
CN112069891B (zh) * 2020-08-03 2023-08-18 武汉大学 一种基于光照特征的深度伪造人脸鉴别方法
KR102386918B1 (ko) * 2020-10-26 2022-04-14 주식회사 에이직랜드 Ａｉ 기반의 모바일 사용자 인증 장치 및 방법
KR102428916B1 (ko) * 2020-11-20 2022-08-03 오로라월드 주식회사 멀티-모달 기반의 감정 분류장치 및 방법
KR102612941B1 (ko) * 2020-12-24 2023-12-12 주식회사 유인원테크 디지털 합성 안면 및 디지털 위조 안면 검증 시스템
CN112784790B (zh) * 2021-01-29 2022-05-10 厦门大学 一种基于元学习的泛化性伪造脸检测方法
CN112949464B (zh) * 2021-02-26 2021-12-14 中国科学院自动化研究所 基于人脸三维形状的换脸伪造检测方法、系统及设备
CN113887573A (zh) * 2021-09-10 2022-01-04 合肥高维数据技术有限公司 基于视觉转换器的人脸伪造检测方法
CN113947794B (zh) * 2021-10-22 2024-07-05 浙江大学 基于头部姿态偏差校正的伪造换脸增强检测方法
CN115063870B (zh) * 2022-07-08 2024-04-30 广东警官学院(广东省公安司法管理干部学院) 一种基于面部动作单元的伪造视频人像检测方法
CN115273186A (zh) * 2022-07-18 2022-11-01 中国人民警察大学 基于图像特征融合的深度伪造人脸视频检测方法及系统
KR102755432B1 (ko) * 2022-12-30 2025-01-21 주식회사 픽스트리 동영상의 객체 시퀀스를 복원하는 장치 및 방법
CN116071089B (zh) * 2023-02-10 2023-12-05 成都新希望金融信息有限公司 一种欺诈识别方法、装置、电子设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100473600B1 (ko) * 2002-12-04 2005-03-10 삼성전자주식회사 얼굴 인식 시스템에서의 사진 판별 장치 및 방법
KR101159164B1 (ko) * 2010-02-04 2012-06-22 목포대학교산학협력단 위조 영상 판별 장치 및 그 방법
KR101443139B1 (ko) * 2011-09-30 2014-09-19 아이포콤 주식회사 단일 영상을 사용한 위조 얼굴 검출 방법

Also Published As

Publication number Publication date
KR20170006355A (ko) 2017-01-18
KR20220150868A (ko) 2022-11-11
KR102596897B1 (ko) 2023-10-31

Similar Documents

Publication Publication Date Title
KR102596897B1 (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
JP5629803B2 (ja) 画像処理装置、撮像装置、画像処理方法
JP4743823B2 (ja) 画像処理装置、撮像装置、画像処理方法
KR102147052B1 (ko) 얼굴 영상 기반의 감정 인식 시스템 및 방법
JP5010905B2 (ja) 顔認証装置
US8027521B1 (en) Method and system for robust human gender recognition using facial feature localization
US9098760B2 (en) Face recognizing apparatus and face recognizing method
JP6664163B2 (ja) 画像識別方法、画像識別装置及びプログラム
US8515136B2 (en) Image processing device, image device, image processing method
US8929595B2 (en) Dictionary creation using image similarity
CN105740780B (zh) 人脸活体检测的方法和装置
MX2014002827A (es) Aparato de reconocimiento de personas y metodo de reconocimiento de personas.
US9633284B2 (en) Image processing apparatus and image processing method of identifying object in image
JP7151875B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6527421B2 (ja) 人物認識装置及びそのプログラム
Kose et al. Mask spoofing in face recognition and countermeasures
JP4507679B2 (ja) 画像認識装置、画像抽出装置、画像抽出方法及びプログラム
KR101558547B1 (ko) 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템
CN111291701A (zh) 一种基于图像梯度和椭圆拟合算法的视线追踪方法
Wasnik et al. Presentation attack detection for smartphone based fingerphoto recognition using second order local structures
JP2015197708A (ja) オブジェクト識別装置、オブジェクト識別方法及びプログラム
JP5971712B2 (ja) 監視装置及び方法
JP2013218605A (ja) 画像認識装置、画像認識方法及びプログラム
CN113436735A (zh) 基于人脸结构度量的体重指数预测方法、设备和存储介质
KR100977259B1 (ko) 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20150708

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200706

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20150708

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20211228

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220729

A107 Divisional application of patent
GRNT Written decision to grant
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20221031

Patent event code: PA01071R01D

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20221031

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20221031

End annual number: 3

Start annual number: 1

PG1601 Publication of registration