KR101815697B1 - 위조 얼굴 판별 장치 및 방법 - Google Patents

위조 얼굴 판별 장치 및 방법 Download PDF

Info

Publication number
KR101815697B1
KR101815697B1 KR1020160132932A KR20160132932A KR101815697B1 KR 101815697 B1 KR101815697 B1 KR 101815697B1 KR 1020160132932 A KR1020160132932 A KR 1020160132932A KR 20160132932 A KR20160132932 A KR 20160132932A KR 101815697 B1 KR101815697 B1 KR 101815697B1
Authority
KR
South Korea
Prior art keywords
face
image information
image
viewpoint
converted
Prior art date
Application number
KR1020160132932A
Other languages
English (en)
Inventor
김휘준
주진선
조경석
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020160132932A priority Critical patent/KR101815697B1/ko
Application granted granted Critical
Publication of KR101815697B1 publication Critical patent/KR101815697B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G06K9/00295—
    • G06K9/00234—
    • G06K9/00268—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

위조 얼굴 판별 장치 및 방법이 개시된다. 위조 얼굴 판별 장치는, 2D 영상 정보를 이용하여 사람의 얼굴 영역을 검출하고, 검출한 얼굴 영역을 이용하여 얼굴의 위치 및 포즈 정보를 획득할 수 있다. 그리고 위조 얼굴 판별 장치는 검출한 얼굴 영역에 대응하는 3D 영상 정보에 대해서 실세계 좌표 변환하여 3D 얼굴을 생성하고, 상기 얼굴의 위치 및 포즈 정보를 이용하여 3D 얼굴을 시점 변환하며, 시점 변환된 3D 얼굴을 소정의 얼굴 템플릿과 비교하여 위조 얼굴 여부를 판별할 수 있다.

Description

위조 얼굴 판별 장치 및 방법{APPARATUS AND METHOD FOR DISCRIMINATING FAKE FACE}
본 발명은 위조 얼굴 판별 장치 및 방법에 관한 것이다.
사람의 얼굴에 대한 위조를 판별하는 방법은 2차원 영상을 기반으로 하는 인식 기술과 3차원 정보를 기반으로 하는 기술로 분류된다.
2차원 영상을 이용하여 위조 얼굴을 판별하는 방법은 사용자의 입 모양 또는 눈 깜빡임 변화를 이용하여 위조 얼굴을 판별한다. 이러한 방법은 얼굴 영역에서 눈 또는 입의 움직임 또는 변화를 전제하여야 하므로, 사용자의 움직임을 유도해야 하므로 사용자가 불편함을 느낄 수 있다. 그리고 얼굴의 특징 변화를 정확하게 인식하기 위해서는 그림자나 기타의 조명의 영향을 받지 않아야 하지만, 2차원 영상만을 이용할 경우에는 순간적인 외부 조명변화로 인해 얼굴 특징의 오검출 또는 미검출이 발생할 수 있다.
3차원 영상을 이용하여 위조 얼굴을 판별하는 방법은 다양한 각도에서 촬영한 다수의 2차원 영상을 이용하여 3차원 정보를 생성하여 위조 얼굴을 판별한다. 이러한 방법은 2차원 영상을 3차원 정보로 변환하기 위해 연산 시간이 필요하며 2차원 영상을 사용하므로 조명 변화에 민감한 단점이 있다.
한편, 열화상 카메라를 이용하여 위조 얼굴을 판별하는 방법이 있다. 이러한 방법은 얼굴의 열 분포를 이용하므로 위조 얼굴과 실제 얼굴을 쉽게 판별할 수 있는 나, 카메라 장비가 고가이므로 시스템 적용이 용이하지 않다.
본 발명이 해결하고자 하는 과제는 신뢰성이 높고 저비용으로 적용 가능한 위조 얼굴 판별 장치 및 방법을 제공하는 것이다.
본 발명의 실시예에 따르면, 위조 얼굴 판별 장치가 제공된다. 상기 위조 얼굴 판별 장치는, 외부로부터 입력되는 영상에서, 2D 영상 정보, 그리고 거리 정보인 3D 영상 정보를 센싱하는 영상 센싱부, 상기 2D 영상 정보를 이용하여 사람의 얼굴 영역을 검출하고, 상기 검출한 얼굴 영역을 이용하여 얼굴의 위치 및 포즈 정보를 획득하는 얼굴 영역 검출부, 상기 검출한 얼굴 영역에 대응하는 3D 영상 정보에 대해서 실세계 좌표 변환하여 3D 얼굴을 생성하며, 상기 얼굴의 위치 및 포즈 정보를 이용하여 상기 3D 얼굴을 시점 변환하는 3D 얼굴 생성 및 시점 변환부, 그리고 상기 시점 변환된 3D 얼굴을 소정의 얼굴 템플릿과 비교하여, 위조 얼굴 여부를 판별하는 3D 특징 추출 및 비교부를 포함할 수 있다.
상기 위조 얼굴 판별 장치는, 상기 시점 변환된 3D 얼굴을 이용하여 얼굴의 실제 크기를 계산하며, 상기 계산한 얼굴의 실제 크기를 소정의 크기와 비교하여 위조 얼굴 여부를 판별하는 얼굴 크기 확인부를 더 포함할 수 있다.
상기 위조 얼굴 판별 장치는, 상기 2D 영상 정보와 상기 3D 영상 정보를 서로 정합하는 영상 정합부를 더 포함할 수 있다.
상기 영상 정합부는, 상기 2D 영상 정보를 센싱하는 장치 및 상기 3D 영상 정보를 센싱하는 장치에 대한 물리적인 정보를 이용하여, 상기 2D 영상 정보와 상기 3D 영상 정보를 서로 정합할 수 있다.
상기 영상 정합부는, 상기 2D 영상 정보와 상기 3D 영상 정보 간에 템플릿 매칭을 통해, 상기 2D 영상 정보와 상기 3D 영상 정보를 서로 정합할 수 있다.
상기 시점 변환된 3D 얼굴은 정면 얼굴 또는 윗면 얼굴일 수 있다.
상기 3D 특징 추출 및 비교부는, 상기 시점 변환된 3D 얼굴에 대해서 컨투어맵을 생성하고, 상기 생성한 컨투어맵을 소정의 실제 얼굴 템플릿에 대한 컨투어맵과 모멘트 비교하여, 위조 얼굴 여부를 판별할 수 있다.
상기 3D 특징 추출 및 비교부는, 상기 시점 변환된 3D 얼굴에 대해서 소정의 기준점으로부터의 측지거리맵을 생성하고, 상기 생성한 측지거리맵을 소정의 실제 얼굴 템플릿에 대한 측지거리맵과 비교하여, 위조 얼굴 여부를 판별할 수 있다.
상기 3D 특징 추출 및 비교부는, 상기 시점 변환된 3D 얼굴을 이용하여 수평 또는 수직 방향 프로파일을 생성하고, 상기 생성한 프로파일을 소정의 실제 얼굴에 대한 프로파일과 비교하여, 위조 얼굴 여부를 판별할 수 있다.
본 발명의 다른 실시예에 따르면, 외부로부터 입력되는 영상에서 위조 얼굴 여부를 판별하는 방법이 제공된다. 상기 위조 얼굴 판별 방법은, 상기 영상에서, 2D 영상 정보, 그리고 거리 정보인 3D 영상 정보를 센싱하는 단계, 상기 2D 영상 정보를 이용하여 사람의 얼굴 영역을 검출하는 단계, 상기 검출한 얼굴 영역을 이용하여 얼굴의 위치 및 회전 각도를 획득하는 단계, 상기 검출한 얼굴 영역에 대응하는 3D 영상 정보에 대해서 실세계 좌표 변환하여 3D 얼굴을 생성하는 단계, 상기 얼굴의 위치 및 회전 각도를 이용하여, 상기 3D 얼굴을 소정의 시점으로 변환하는 단계, 그리고 상기 시점 변환된 3D 얼굴을 소정의 값과 비교하여, 위조 얼굴 여부를 판별하는 단계를 포함할 수 있다.
상기 위조 얼굴 판별 방법은, 상기 시점 변환된 3D 얼굴을 이용하여 얼굴의 실제 크기를 계산하는 단계, 그리고 상기 계산한 얼굴의 실제 크기를 소정의 크기와 비교하여 위조 얼굴 여부를 판별하는 단계를 더 포함할 수 있다.
상기 위조 얼굴 판별 방법은, 상기 2D 영상 정보와 상기 3D 영상 정보를 서로 정합 단계를 더 포함할 수 있다.
상기 소정의 시점은 정면 또는 윗면 일 수 있다.
상기 판별하는 단계는, 상기 시점 변환된 3D 얼굴에 대해서 컨투어맵을 생성하는 단계, 그리고 상기 생성한 컨투어맵을 소정의 실제 얼굴 템플릿에 대한 컨투어맵과 모멘트 비교하여, 위조 얼굴 여부를 판별하는 단계를 포함할 수 있다.
상기 판별하는 단계는, 상기 시점 변환된 3D 얼굴에 대해서 소정의 기준점으로부터의 측지거리맵을 생성하는 단계, 그리고 상기 생성한 측지거리맵을 소정의 실제 얼굴 템플릿에 대한 측지거리맵과 비교하여, 위조 얼굴 여부를 판별하는 단계를 포함할 수 있다.
상기 판별하는 단계는, 상기 시점 변환된 3D 얼굴을 이용하여 수평 또는 수직 방향 프로파일을 생성하는 단계, 그리고 상기 생성한 프로파일을 소정의 실제 얼굴에 대한 프로파일과 비교하여, 위조 얼굴 여부를 판별하는 단계를 포함할 수 있다.
상기 3D 영상 정보의 각 픽셀 값은 상기 3D 영상 정보를 센싱하는 장치로부터의 수평면에서의 거리일 수 있다.
본 발명의 실시예에 따르면, 2D 영상 정보와 3D 거리 정보를 이용함으로써, 신뢰성이 높고 적은 연산 시간으로서 위조얼굴을 판별할 수 있다.
그리고 본 발명의 실시예에 따르면, 2차원 얼굴검출 정보와 3차원 얼굴 특징 추출을 통해 위조 얼굴을 판별 한 후 사용자를 인증하면, 인증의 정확성 및 신뢰성을 높일 수 있는 장점이 있다.
도 1은 본 발명의 실시예에 따른 위조 얼굴을 판별하는 장치를 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 영상 센싱부가 획득한 영상을 나타내는 도면이다.
도 3a는 본 발명의 실시예에 따른 영상 센싱부의 설치 위치를 나타내는 도면이며,
도 3b는 본 발명의 실시예에 따른 영상 정합부가 3D 영상을 2D 영상에 맞게 정합시킨 결과를 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 얼굴 영역 검출부(130)가 검출한 얼굴 영역을 나타내는 도면이다.
도 5는 정면 3D 얼굴(즉, 실세계 좌표 값)로부터 서로 다른 시점으로 변환한 예시를 나타낸다.
도 6a는 정면 변환 방법을 적용한 경우를 나타내는 도면이며, 도 6b는 윗면 변환 방법을 적용한 경우를 나타내는 도면이다.
도 7a는 실제 사람의 얼굴 크기를 나타내는 도면이며, 도 7b는 위조 사진을 통한 얼굴 크기를 나타내는 도면이다.
도 8a는 컨투어 맵을 이용하는 방법을 나타내는 도면이고, 도 8b는 측지거리 맵을 이용하는 방법을 나타내는 도면이며, 도 8c는 프로파일 분포를 이용하는 방법을 나타내는 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이제 본 발명의 실시예에 따른 위조 얼굴 판별 장치 및 방법에 대해서 설명한다.
도 1은 본 발명의 실시예에 따른 위조 얼굴 판별 장치를 나타내는 블록도이다.
도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 위조 얼굴 판별 장치(100)는 영상 센싱부(110), 영상 정합부(120), 얼굴 영역 검출부(130), 3D 얼굴 생성 및 시점 변환부(140), 얼굴 크기 확인부(150), 그리고 3D 특징 추출 및 비교부(160)를 포함한다.
영상 센싱부(110)는 2D 영상과 3D 영상을 센싱한다. 영상 센싱부(110)는 일반적인 2D 카메라를 통해 2D 영상을 획득할 수 있다. 그리고 영상 센싱부(110)는 구조광, TOF(Time of Flight) 또는 스테레오비전 등의 3D 카메라를 통해 3D 영상(3D 거리 정보)를 획득할 수 있다. 도 2는 본 발명의 실시예에 따른 영상 센싱부(110)가 획득한 영상을 나타내는 도면이다. 도 2의 (a)는 2D 영상을 나타내고, 도 2의 (b)는 3D 영상(3D 거리 정보)을 나타낸다. 도 2의 (b)에 나타낸 3D 영상은 거리 정보를 포함하고 있으며 3D 영상의 각 픽셀의 값은 카메라로부터의 수평면에서의 거리를 의미한다. 도 2의 (b)에서는 거리 값을 그레이스케일로 나타내었으며, 가까운 곳은 어둡고 먼 곳은 밝게 표시하였다. 여기서, 그레이스케일 값이 0으로 나타난 부분(검은색)은 거리값이 센싱되지 않는 부분이다.
영상 정합부(120)는 영상 센싱부(110)가 센싱한 2D 영상과 3D 영상을 서로 정합한다. 도 3a는 본 발명의 실시예에 따른 영상 센싱부(110)의 설치 위치를 나타내는 도면이다. 도 3a에 나타낸 바와 같이 2D 영상을 센싱하는 2D 카메라(111)와 3D 영상을 센싱하는 3D 카메라(112)는 설치 위치가 서로 다르며 화각(FOV, field of view)이 서로 다르다. 이로 인해, 2D 영상과 3D 영상 내의 객체가 서로 정합이 맞지 않게 된다. 영상 정합부(120)는 서로 맞지 않는 영상 내의 객체에 대해서 정합을 수행한다. 도 3b는 본 발명의 실시예에 따른 영상 정합부(120)가 3D 영상(3D 거리 정보)을 2D 영상에 맞게 정합시킨 결과를 나타내는 도면이다. 도 3b와 달리, 영상 정합부(120)는 2D 영상을 3D 영상(3D 거리 정보)에 정합시킬 수도 있다.
2D 영상과 3D 영상을 정합시키는 방법은 다음의 두 방법이 사용될 수 있다.
첫 번째 방법은 선험적인 정보를 이용하는 방법이다. 이 방법은 2D 카메라(111)와 3D 카메라(112)의 설치 위치, 그리고 미리 알고 있는 화각 및 초점 거리 등의 정보를 이용하여 영상을 정합시킨다. 영상 정합부(120)는 아래의 수학식 1과 같이 두 카메라(111, 112)의 최대 영역(
Figure 112016099373990-pat00001
)(즉, 2D 영상과 3D 영상의 차이)을 구할 수 있다.
Figure 112016099373990-pat00002
수학식 1에서, f1은 2D 카메라(111)의 초점 거리를 나타내며, f2는 3D 카메라(112)의 초점 거리를 나타낸다. 그리고
Figure 112016099373990-pat00003
은 2D 카메라(111)의 화각 정보를 나타내며,
Figure 112016099373990-pat00004
는 3D 카메라(112)의 화각 정보를 나타낸다.
두 번째 방법은 템플릿 매칭을 이용하는 방법이다. 이 방법은 2D 영상과 3D 영상 간에 템플릿 매칭을 통해 상기 첫 번째 방법의 오차를 줄이고 정확도를 높일 수 있다. 영상 정합부(120)는 아래의 수학식 2와 같이 정규화된 상호 상관값(NCC, normalized cross correlation)이 최대인 곳을 찾아서 정합을 수행한다.
Figure 112016099373990-pat00005
수학식 2에서, n은 전체 픽셀의 개수를 나타내며, f, t는 각 영상의 (x, y) 좌표에서의 밝기 값을 나타낸다.
Figure 112016099373990-pat00006
는 각 영상의 밝기 값의 평균을 나타내며,
Figure 112016099373990-pat00007
는 각 영상의 밝기 값의 표준 편차를 나타낸다.
얼굴 영역 검출부(130)는 2D 영상을 이용하여 얼굴 영역(2D 얼굴 영역)을 검출하고 검출한 얼굴 영역(2D 얼굴 영역)을 이용하여 얼굴의 위치 및 포즈 정보를 획득한다. 여기서, 얼굴의 위치는 영상 내에서 얼굴이 차지하는 사각형의 좌표 값을 나타내며, 포즈 정보는 얼굴의 회전 각도(yaw, pitch, roll)를 나타낸다. 도 4는 본 발명의 실시예에 따른 얼굴 영역 검출부(130)가 검출한 얼굴 영역을 나타내는 도면이다. 도 4의 (a)는 2D 영상을 기반으로 한 얼굴 영역의 검출 결과를 나타내며, 도 4의 (b)는 2D 영상을 통해 검출한 얼굴 영역을 3D 영상에 표시한 것을 나타낸다. 도 4에서 사각형 부분이 검출한 얼굴 영역이다. 한편, 얼굴 영역을 검출하는 방법과 얼굴 영역을 이용하여 얼굴의 위치 및 포즈 정보를 얻는 방법은 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자라면 알 수 있는 바 구체적인 설명은 생략한다.
3D 얼굴 생성 및 시점 변환부(140)는 2D 얼굴 영역에 대응하는 3D 영상에 대해서 실세계 좌표 변환을 수행함으로써, 해당 영역의 3D 얼굴을 생성한다. 그리고 3D 얼굴 생성 및 시점 변환부(140)는 생성한 3D 얼굴을 원하고자 하는 시점(view point)으로 변환한다.
3D 얼굴 생성 및 시점 변환부(140)는 3D 카메라(112)의 화각 정보와 얼굴 영역 검출부(130)가 검출한 얼굴 위치 정보를 이용하여, 2D 얼굴 영역에 대응하는 3D 영상에 대해 각 픽셀의 위치 값(x, y, Z)을 실세계 좌표(X, Y, Z)로 변환하여 3D 얼굴을 생성한다. 즉, 3D 얼굴 생성 및 시점 변환부(140)는 2D 얼굴 영역에 대응하는 3D 영상에 대해 아래의 수학식 3과 같이 실세계 좌표로 변환한다.
Figure 112016099373990-pat00008
수학식 3에서, Z는 3D 카메라(112)를 통해 얻어진 거리 정보를 나타내며, x, y는 3D 영상의 픽셀 좌표를 나타낸다. X, Y는 실세계 좌표를 나타내고, fx, fy는 x, y 방향으로의 초점거리를 나타낸다. 그리고, cx, cy는 3D 영상의 중심점의 픽셀 좌표를 나타낸다. 도 5는 3D 얼굴 생성 및 시점 변환부(140)가 생성한 실세계 좌표를 나타내는 도면이다.
그리고 3D 얼굴 생성 및 시점 변환부(140)는 회전된 얼굴인 경우, 얼굴 영역 검출부(130)가 획득한 얼굴의 위치 및 포즈 정보를 이용하여 원하는 시점(view point)로 변환, 즉 뷰포트 변환(viewport transformation)을 수행한다. 여기서, 원하는 시점으로 변환하는 방법은 각 정보간의 거리를 유지시킬 수 있는 유클리디안 변환이 사용될 수 있다. 아래의 수학식 4는 유클리디안 변환 방법을 나타내는 수식이다.
Figure 112016099373990-pat00009
수학식 4에서 T는 유클리디안 변환 행렬을 나타낸다. 그리고 R은 회전변환 행렬, t는 평행이동 벡터를 나타낸다. 즉, 3D 얼굴 생성 및 시점 변환부(140)는 얼굴의 포즈 정보 및 거리 정보를 통해, 시점(view point)의 3차원 좌표를 구할 수 있다. 도 5는 정면 3D 얼굴(즉, 실세계 좌표 값)로부터 서로 다른 시점으로 변환한 예시를 나타낸다.
다시 말하면, 3D 얼굴 생성 및 시점 변환부(140)는 시점 변환으로서 정면 변환 또는 윗면 변환 한 후 얼굴의 깊이감을 재구성할 수 있다. 도 6a는 정면 변환 방법을 적용한 경우를 나타내는 도면이며, 도 6a의 좌측 도면에서는 편의상 각 픽셀의 값을 표시한 정면 변환 얼굴을 나타내었다. 도 6a에 나타낸 바와 같이, 3D 얼굴 생성 및 시점 변환부(140)는 옆 얼굴로부터 정면 얼굴로 시점을 변환한 후 코를 중심으로 깊이감을 계산하여 정면 얼굴을 생성한다. 도 6b는 윗면 변환 방법을 적용한 경우를 나타내는 도면이며, 도 6b의 좌측 도면에서는 편의상 각 픽셀의 값을 표시한 윗면 변환 얼굴을 나타내었다. 도 6b에 나타낸 바와 같이, 3D 얼굴 생성 및 시점 변환부(140)는 옆 얼굴로부터 윗면 얼굴로 시점을 변환한 후 머리 중심(정수리)으로 깊이감을 계산하여 윗면 얼굴을 생성한다.
얼굴 크기 확인부(150)는 시점 변환된 3D 얼굴을 이용하여, 얼굴의 실제 크기를 계산한다. 3D 얼굴에 대한 정보는 실세계 좌표 값을 포함하고 있으므로, 카메라로부터의 거리 z에 관계 없이 얼굴의 실제 크기를 계산할 수 있다. 도 7a는 실제 사람의 얼굴 크기를 나타내는 도면이며, 도 7b는 위조 사진을 통한 얼굴 크기를 나타내는 도면이다. 사람의 얼굴 크기의 범위는 경험적으로(heuristic) 소정의 범위의 크기를 가지므로, 도 7a에 나타낸 바와 같이 실제 사람의 얼굴 크기는 평균적으로
Figure 112016099373990-pat00010
이내에 존재한다. 그리고 도 7b에 나타낸 바와 같이, 실제 사람이 아니라 사진을 통한 위조 얼굴인 경우에는 얼굴의 크기는 상기 범위에서 벗어난 s2가 된다. 따라서, 얼굴 크기 확인부(150)는 계산한 실제 크기가 경험적으로 알고 있는 사람의 얼굴 크기의 범위인지를 통해 위조 얼굴임을 판별할 수 있다.
3D 특징 추출 및 비교부(160)는 3D 얼굴 생성 및 시점 변환부(140)에서 생성된 시점 변환된 3D 얼굴에 대해서 3D 특징을 추출하고 추출한 3D 특징과 소정의 특징을 비교하여 얼굴 위조 여부를 판별한다. 여기서, 3D 특징을 추출하고 소정의 특징을 비교하는 방법은 아래의 3가지 방법이 사용될 수 있다.
첫 번째 방법은 컨투어 맵(contour map)을 이용하는 방법이다. 도 8a는 컨투어 맵을 이용하는 방법을 나타내는 도면이다. 도 8a에 나타낸 바와 같이, 3D 특징 추출 및 비교부(160)는 시점 변환된 3D 얼굴을 이용하여, 동일한 거리 값을 갖는 등고선 지도(컨투어 맵)를 생성한다. 사진과 같은 위조 얼굴의 경우, 등고선의 형태가 실제 얼굴과는 다르다. 그리고 3D 특징 추출 및 비교부(160)는 생성한 등고선 지도와 실제 얼굴 템플릿의 컨투어맵간에 모멘트 비교(moments matching)를 통해 특징을 비교한다. 모멘트 비교는 아래의 수학식 5가 적용될 수 있다. 한편, 모멘트를 정규화 하거나 회전, 평행이동 스케일 등에 강인하도록 하기 위해, 휴 모멘트(Hu moments)가 사용될 수 있다.
Figure 112016099373990-pat00011
수학식 5에서, p, q는 모멘트 차수를 나타내고, x, y는 컨투어 평면의 좌표를 나타내며, f(x, y)는 컨투어 영상의 밝기값을 나타낸다. 모멘트의 비교는 놈(norm)을 사용하거나 역수의 놈(norm)을 사용할 수 있다. 한편, 휴 모멘트의 경우에는 해당 차수의 모멘트의 부호 값과 로그 값을 곱하여, 이를 기준 오브젝트의 모멘트 값으로 정규화한 최대값을 구하는 방식이 사용될 수 있다.
그리고, 3D 특징 추출 및 비교부(160)는 모멘트 비교를 통해 계산한 모멘트 비교 값이 사전에 학습된 임계치보다 클 경우, 실제의 얼굴이 아니고 위조 얼굴임을 판별한다.
두 번째 방법은 측지거리맵(geodesic distance map) 또는 벡터(vector)를 이용하는 방법이다. 도 8b는 측지거리 맵을 이용하는 방법을 나타내는 도면이다. 도 8b에 나타낸 바와 같이, 3D 특징 추출 및 비교부(160)는 시점 변환된 3D 얼굴을 이용하여 시점에 가장 가까운 점(기준점)으로부터의 측지거리맵을 생성할 수 있다. 그리고 3D 특징 추출 및 비교부(160)는 측지거리맵을 하나의 벡터로 표현하여 특징을 계산할 수 있다. 시점 변환된 3D 얼굴이 정면 얼굴인 경우에는 기준점은 코에서 가장 높은 점(예를 들면, 콧등)이 된다. 한편, 측정거리는 각 픽셀의 기준점으로부터 그래프 탐색을 통해 구현될 수 있다.
그리고 3D 특징 추출 및 비교부(160)는 상호 상관(cross correlation) 또는 놈(norm)을 통해 특징을 비교할 수 있다. 즉, 3D 특징 추출 및 비교부(160)는 3D 얼굴을 통해 생성한 측지거리맵과 사전에 학습된 얼굴 템플릿(실제 얼굴 템플릿)에 대한 측지거리맵 간에 상호상관을 통해 특징을 비교한다. 여기서, 3D 특징 추출 및 비교부(160)는 비교한 값이 임계치 보다 클 경우 위조 얼굴로서 판별한다. 그리고 3D 특징 추출 및 비교부(160)는 측지거리맵을 하나의 벡터로 표현한 값과 사전에 학습된 얼굴 템플릿에 대한 측지거리맵을 하나의 벡터로 표현한 값 사이에서, 두 벡터간의 거리를 구할 수 있다. 3D 특징 추출 및 비교부(160)는 두 벡터간의 거리가 임계치보다 클 경우 위조 얼굴로서 판별한다.
세 번째 방법은 프로파일 분포를 이용하는 방법이다. 도 8c는 프로파일 분포를 이용하는 방법을 나타내는 도면이다. 3D 특징 추출 및 비교부(160)는 시점 변환된 3D 얼굴을 이용하여, 기준점에 대한 수평 또는 수직방향 프로파일을 정규화함으로써 분포함수를 생성한다. 기준점에 대한 각 방향의 프로 파일은 시점변환된 3D 얼굴에 대해서 시점으로부터 z축에 수직한 평면에 사용한 2D 영상을 통해 생성될 수 있다. 또한 기준 점에 대한 각 방향의 프로 파일은 도 8c와 같이 기준점으로부터 임정 임계거리 이내의 픽셀 값의 평균 혹은 유의미한 통계적 값을 추출하여 생성될 수 있다.
그리고 3D 특징 추출 및 비교부(160)는 3D 얼굴을 통해 생성한 프로파일 분포 함수와 사전에 학습된 템플릿(실제 얼굴 템플릿)에 대한 프로파일 분포 함수를 비교하여 위조 얼굴을 판별한다. 분포 함수간의 비교는 배터채리아 거리(Battacharyya distance)를 통해 계산될 수 있다. 아래의 수학식 6은 배터채리아 거리(dB)를 계산하는 수식이다.
Figure 112016099373990-pat00012
수학식 6에서, f(x), t(x)는 각각 정규화된 프로파일 분포함수를 나타낸다. 한편, 분포함수 간의 거리는 배터채리아 거리 이외에도 에너지 거리와 같이 구해진 분포함수의 거리를 잘 분류할 수 있는 다른 통계적 거리 계산 방법들이 사용될 수 있다.
이와 같은 본 발명의 실시예에 따르면, 2D 영상 정보와 3D 거리 정보를 이용함으로써, 신뢰성이 높고 적은 연산 시간으로서 위조얼굴을 판별할 수 있다. 그리고 3D 거리 정보는 얼굴 영역에 대한 거리 정보이므로 단거리용 거리 센서를 통해 간단하게 구현할 수 있어, 저렴한 가격으로 위조얼굴을 판별할 수 있다. 한편, 본 발명의 실시예에 따르면, 2차원 얼굴검출 정보와 3차원 얼굴 특징 추출을 통해 위조 얼굴을 판별 한 후 사용자를 인증하면, 인증의 정확성 및 신뢰성을 높일 수 있는 장점이 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (17)

  1. 외부로부터 입력되는 영상에서, 2D 영상 정보, 그리고 거리 정보인 3D 영상 정보를 센싱하는 영상 센싱부,
    상기 2D 영상 정보를 이용하여 사람의 얼굴 영역을 검출하고, 상기 검출한 얼굴 영역을 이용하여 얼굴의 위치 및 포즈 정보를 획득하는 얼굴 영역 검출부,
    상기 검출한 얼굴 영역에 대응하는 상기 3D 영상 정보에 대해서 실세계 좌표 변환하여 3D 얼굴을 생성하며, 상기 얼굴의 위치 및 포즈 정보를 이용하여 상기 3D 얼굴을 시점 변환하는 3D 얼굴 생성 및 시점 변환부, 그리고
    상기 시점 변환된 3D 얼굴을 소정의 얼굴 템플릿과 비교하여, 위조 얼굴 여부를 판별하는 3D 특징 추출 및 비교부를 포함하는 위조 얼굴 판별 장치.
  2. 제1항에 있어서,
    상기 시점 변환된 3D 얼굴을 이용하여 얼굴의 실제 크기를 계산하며, 상기 계산한 얼굴의 실제 크기를 소정의 크기와 비교하여 위조 얼굴 여부를 판별하는 얼굴 크기 확인부를 더 포함하는 위조 얼굴 판별 장치.
  3. 제1항에 있어서,
    상기 2D 영상 정보와 상기 3D 영상 정보를 서로 정합하는 영상 정합부를 더 포함하는 위조 얼굴 판별 장치.
  4. 제3항에 있어서,
    상기 영상 정합부는, 상기 2D 영상 정보를 센싱하는 장치 및 상기 3D 영상 정보를 센싱하는 장치에 대한 물리적인 정보를 이용하여, 상기 2D 영상 정보와 상기 3D 영상 정보를 서로 정합하는 위조 얼굴 판별 장치.
  5. 제3항에 있어서,
    상기 영상 정합부는, 상기 2D 영상 정보와 상기 3D 영상 정보 간에 템플릿 매칭을 통해, 상기 2D 영상 정보와 상기 3D 영상 정보를 서로 정합하는 위조 얼굴 판별 장치.
  6. 제1항에 있어서,
    상기 시점 변환된 3D 얼굴은 정면 얼굴 또는 윗면 얼굴인 위조 얼굴 판별 장치.
  7. 제1항에 있어서,
    상기 3D 특징 추출 및 비교부는, 상기 시점 변환된 3D 얼굴에 대해서 컨투어맵을 생성하고, 상기 생성한 컨투어맵을 소정의 실제 얼굴 템플릿에 대한 컨투어맵과 모멘트 비교하여, 위조 얼굴 여부를 판별하는 위조 얼굴 판별 장치.
  8. 제1항에 있어서,
    상기 3D 특징 추출 및 비교부는, 상기 시점 변환된 3D 얼굴에 대해서 소정의 기준점으로부터의 측지거리맵을 생성하고, 상기 생성한 측지거리맵을 소정의 실제 얼굴 템플릿에 대한 측지거리맵과 비교하여, 위조 얼굴 여부를 판별하는 위조 얼굴 판별 장치.
  9. 제1항에 있어서,
    상기 3D 특징 추출 및 비교부는, 상기 시점 변환된 3D 얼굴을 이용하여 수평 또는 수직 방향 프로파일을 생성하고, 상기 생성한 프로파일을 소정의 실제 얼굴에 대한 프로파일과 비교하여, 위조 얼굴 여부를 판별하는 위조 얼굴 판별 장치.
  10. 외부로부터 입력되는 영상에서 위조 얼굴 여부를 판별하는 방법으로서,
    상기 영상에서, 2D 영상 정보, 그리고 거리 정보인 3D 영상 정보를 센싱하는 단계,
    상기 2D 영상 정보를 이용하여 사람의 얼굴 영역을 검출하는 단계,
    상기 검출한 얼굴 영역을 이용하여 얼굴의 위치 및 회전 각도를 획득하는 단계,
    상기 검출한 얼굴 영역에 대응하는 상기 3D 영상 정보에 대해서 실세계 좌표 변환하여 3D 얼굴을 생성하는 단계,
    상기 얼굴의 위치 및 회전 각도를 이용하여, 상기 3D 얼굴을 소정의 시점으로 변환하는 단계, 그리고
    상기 시점 변환된 3D 얼굴을 소정의 값과 비교하여, 위조 얼굴 여부를 판별하는 단계를 포함하는 위조 얼굴 판별 방법.
  11. 제10항에 있어서,
    상기 시점 변환된 3D 얼굴을 이용하여 얼굴의 실제 크기를 계산하는 단계, 그리고
    상기 계산한 얼굴의 실제 크기를 소정의 크기와 비교하여 위조 얼굴 여부를 판별하는 단계를 더 포함하는 위조 얼굴 판별 방법.
  12. 제10항에 있어서,
    상기 2D 영상 정보와 상기 3D 영상 정보를 서로 정합 단계를 더 포함하는 위조 얼굴 판별 방법.
  13. 제10항에 있어서,
    상기 소정의 시점은 정면 또는 윗면 인 위조 얼굴 판별 방법.
  14. 제10항에 있어서,
    상기 판별하는 단계는,
    상기 시점 변환된 3D 얼굴에 대해서 컨투어맵을 생성하는 단계, 그리고
    상기 생성한 컨투어맵을 소정의 실제 얼굴 템플릿에 대한 컨투어맵과 모멘트 비교하여, 위조 얼굴 여부를 판별하는 단계를 포함하는 위조 얼굴 판별 방법.
  15. 제10항에 있어서,
    상기 판별하는 단계는,
    상기 시점 변환된 3D 얼굴에 대해서 소정의 기준점으로부터의 측지거리맵을 생성하는 단계, 그리고
    상기 생성한 측지거리맵을 소정의 실제 얼굴 템플릿에 대한 측지거리맵과 비교하여, 위조 얼굴 여부를 판별하는 단계를 포함하는 위조 얼굴 판별 방법.
  16. 제10항에 있어서,
    상기 판별하는 단계는,
    상기 시점 변환된 3D 얼굴을 이용하여 수평 또는 수직 방향 프로파일을 생성하는 단계, 그리고
    상기 생성한 프로파일을 소정의 실제 얼굴에 대한 프로파일과 비교하여, 위조 얼굴 여부를 판별하는 단계를 포함하는 위조 얼굴 판별 방법.
  17. 제10항에 있어서,
    상기 3D 영상 정보의 각 픽셀 값은 상기 3D 영상 정보를 센싱하는 장치로부터의 수평면에서의 거리인 위조 얼굴 판별 방법.
KR1020160132932A 2016-10-13 2016-10-13 위조 얼굴 판별 장치 및 방법 KR101815697B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160132932A KR101815697B1 (ko) 2016-10-13 2016-10-13 위조 얼굴 판별 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160132932A KR101815697B1 (ko) 2016-10-13 2016-10-13 위조 얼굴 판별 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101815697B1 true KR101815697B1 (ko) 2018-01-05

Family

ID=61001595

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160132932A KR101815697B1 (ko) 2016-10-13 2016-10-13 위조 얼굴 판별 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101815697B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112784790A (zh) * 2021-01-29 2021-05-11 厦门大学 一种基于元学习的泛化性伪造脸检测方法
CN113947794A (zh) * 2021-10-22 2022-01-18 浙江大学 基于头部姿态偏差校正的伪造换脸增强检测方法
CN115063870A (zh) * 2022-07-08 2022-09-16 广东警官学院(广东省公安司法管理干部学院) 一种基于面部动作单元的伪造视频人像检测方法
US11869272B2 (en) 2019-11-21 2024-01-09 Samsung Electronics Co., Ltd. Liveness test method and apparatus and biometric authentication method and apparatus

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016099759A (ja) * 2014-11-20 2016-05-30 国立大学法人静岡大学 顔検出方法、顔検出装置、及び顔検出プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016099759A (ja) * 2014-11-20 2016-05-30 国立大学法人静岡大学 顔検出方法、顔検出装置、及び顔検出プログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11869272B2 (en) 2019-11-21 2024-01-09 Samsung Electronics Co., Ltd. Liveness test method and apparatus and biometric authentication method and apparatus
CN112784790A (zh) * 2021-01-29 2021-05-11 厦门大学 一种基于元学习的泛化性伪造脸检测方法
CN112784790B (zh) * 2021-01-29 2022-05-10 厦门大学 一种基于元学习的泛化性伪造脸检测方法
CN113947794A (zh) * 2021-10-22 2022-01-18 浙江大学 基于头部姿态偏差校正的伪造换脸增强检测方法
CN115063870A (zh) * 2022-07-08 2022-09-16 广东警官学院(广东省公安司法管理干部学院) 一种基于面部动作单元的伪造视频人像检测方法
CN115063870B (zh) * 2022-07-08 2024-04-30 广东警官学院(广东省公安司法管理干部学院) 一种基于面部动作单元的伪造视频人像检测方法

Similar Documents

Publication Publication Date Title
US9959455B2 (en) System and method for face recognition using three dimensions
US9818023B2 (en) Enhanced face detection using depth information
US12014571B2 (en) Method and apparatus with liveness verification
JP4653606B2 (ja) 画像認識装置、方法およびプログラム
CN105740778B (zh) 一种改进的三维人脸活体检测方法及其装置
KR101700595B1 (ko) 얼굴 인식 장치 및 그 방법
CN112232109B (zh) 一种活体人脸检测方法及系统
US11210557B2 (en) Recognition apparatus, recognition method, and recording medium
CN105740779B (zh) 人脸活体检测的方法和装置
KR20190097640A (ko) 영상 정합 방법 및 장치
KR20160029629A (ko) 얼굴 인식 방법 및 장치
US9495580B2 (en) Face recognition apparatus and method using plural face images
KR101903127B1 (ko) 시선방향 예측 방법 및 장치
Chansri et al. Hand gesture recognition for Thai sign language in complex background using fusion of depth and color video
CN106937532B (zh) 用于检测真正用户的系统和方法
KR20150065445A (ko) 얼굴 포즈를 이용한 정면 얼굴 검출 장치 및 방법
KR20210062381A (ko) 라이브니스 검사 방법 및 장치, 생체 인증 방법 및 장치
KR101815697B1 (ko) 위조 얼굴 판별 장치 및 방법
US20200065564A1 (en) Method for determining pose and for identifying a three-dimensional view of a face
CN108710841A (zh) 一种基于MEMs红外阵列传感器的人脸活体检测装置及方法
KR20150069799A (ko) 얼굴 인증 방법 및 그 장치
KR101795264B1 (ko) 얼굴 랜드마크 검출 장치 및 그 검증 방법
CN112801038B (zh) 一种多视点的人脸活体检测方法及系统
KR102483647B1 (ko) 라이브니스 검증 방법 및 장치
CN113128320A (zh) 基于tof相机的人脸活体检测方法、检测装置及电子设备

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant