KR101877816B1 - 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단방법 및 이를 이용한 위조 얼굴 판단 시스템 - Google Patents

단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단방법 및 이를 이용한 위조 얼굴 판단 시스템 Download PDF

Info

Publication number
KR101877816B1
KR101877816B1 KR1020170022341A KR20170022341A KR101877816B1 KR 101877816 B1 KR101877816 B1 KR 101877816B1 KR 1020170022341 A KR1020170022341 A KR 1020170022341A KR 20170022341 A KR20170022341 A KR 20170022341A KR 101877816 B1 KR101877816 B1 KR 101877816B1
Authority
KR
South Korea
Prior art keywords
face
image
matching
metric
detected
Prior art date
Application number
KR1020170022341A
Other languages
English (en)
Inventor
조현수
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020170022341A priority Critical patent/KR101877816B1/ko
Application granted granted Critical
Publication of KR101877816B1 publication Critical patent/KR101877816B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • G06K9/00288
    • G06K9/00248
    • G06K9/4633
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/48Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

본 발명 단일 가시광 카메라를 이용한 복합 사진-동영상 위조 얼굴 판단방법은 얼굴이 포함된 이미지를 입력받는 단계와, 입력된 이미지에서 얼굴을 검출하는 단계와, 검출된 얼굴 시퀸스를 수신하는 단계와, 얼굴 시퀸스가 5장 이상인지 여부를 판단하는 단계와, 얼굴 시퀸스가 5장 이상인 경우 위조 얼굴 통합 메저를 산정하는 단계와, 위조 얼굴 통합 메저가 트레쉬 홀드 이상인 경우 위조 사진으로 판단하는 단계를 포함하여 이루어지는 것을 특징으로 하는 것이다.

Description

단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단방법 및 이를 이용한 위조 얼굴 판단 시스템{Composite Photograph and Video Fake Face Judgement Method by Using Single Visible Camera and System thereof}
본 발명은 복합 사진 또는 동영상으로 전송되는 객체에 대한 위조 얼굴 판단에 관한 것이다. 일반적으로 위조 얼굴을 판단하는 방법은 적외선 라인 조명/스트럭쳐 조명을 이용하여 얼굴의 3D 모양을 구별하는 방식이 사용되었으며 이 경우에는 카메라 외에 3D 모양 인식을 위한 추가적인 적외선 조명부와 카메라가 필요한 것이다. 따라서 본 발명은 단일 가시광 카메라를 이용하여 얼굴 인식과 위조 얼굴을 판단하는 방법을 제공하는 것에 관한 것이다.
본 발명과 관련된 종래의 기술은 대한민국 등록특허 제10-1443139호(2014. 9. 19. 공고)에 개시되어 있는 것이다. 도 1은 상기 종래의 단일 영상을 사용한 위조 얼굴 검출 방법에 대한 설명도이다. 상기도 1에서 종래의 단일 영상을 사용한 위조 얼굴 검출 방법을 설명하기 위한 것으로 (a)는 얼굴 영상의 예이고, (b)는 퓨리에 변환된 결과의 절대값들을 로그-스케일(log-scale)로 나타낸 것이다. 그 후에 저주파 값을 퓨리에 변환된 결과의 중심에 위치시키도록 변환한 후, (c)와 같이, 퓨리에 변환된 결과의 중심을 기준으로, 정해진 개수의 동심원을 그리고, 각 동심원들 사이의 평균 에너지값을 계산한다. 마지막으로 이렇게 계산된 평균 에너지값을 1차원 벡터로 표현하여 최소-최대 정규화(min-max normalization) 과정을 거치게 된다. 이와 같은 과정들을 거치게 되면 (d)와 같은 특징벡터가 추출되게 된다. 이러한 파워스펙트럼 기반 특징벡터는 (a)와 같이 얼굴 영상 전체에서 추출될 수도 있지만, 임의로 얼굴 영상을 분할하고, 분할된 각 얼굴 영상 조각들에서 각각 특징 벡터를 추출하여 하나로 합칠 수도 있다. 이러한 특징벡터들을 실제 얼굴 영상들과 위조 얼굴 영상들에서 추출하여 서포트벡터머신(support vector machine) 등의 분류기로 학습함으로써 위조 얼굴 검출기를 생성할 수 있게 되는 것이다.
상기와 같이 구성된 종래의 위조 얼굴 검출기는 단일 카메라를 이용하여 얼굴 인식과 위조 얼굴 판별이 가능하지만 위조 얼굴 판별 성능이 저조한 문제점이 있는 것이다. 따라서 본 발명의 목적은 단일 가시광 카메라를 이용하여 위조 얼굴 판별 성능을 획기적으로 높이기 위한 것이다.
상기와 같은 목적을 가진 본 발명 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단방법은 얼굴이 포함된 이미지를 입력받는 단계와, 입력된 이미지에서 얼굴을 검출하는 단계와, 검출된 얼굴 시퀸스를 수신하는 단계와, 얼굴 시퀸스가 5장 이상인지 여부를 판단하는 단계와, 얼굴 시퀸스가 5장 이상인 경우 위조 얼굴 통합 메저를 산정하는 단계와, 위조 얼굴 통합 메저가 트레쉬 홀드 이상인 경우 위조 사진으로 판단하는 단계를 포함하여 이루어지는 것을 특징으로 하는 것이다.
상기와 같이 구성된 본 발명 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단방법 및 이를 이용한 위조 얼굴 판단 시스템은 단일 카메라를 이용함에도 불구하고 위조 얼굴 판별 성능이 우수한 효과가 있는 것이다. 또한, 본 발명의 다른 효과는 다양한 메저를 사용함으로 위조 얼굴 판별 에러를 줄일 수 있는 효과가 있는 것이다. 또한, 본 발명의 다른 효과는 시스템 구성이 간단하여 비용이 저렴한 효과가 있는 것이다.
도 1은 종래의 단일 영상을 사용한 위조 얼굴 검출 방법에 대한 설명도,
도 2는 본 발명에 적용되는 투영변환 설명도,
도 3은 본 발명에 관한 위조 얼굴과 실제 얼굴의 투영 변환에 의한 상호 정합 설명도,
도 4는 본 발명에 적용되는 위조 얼굴에서 존재하는 사각 틀 예시도,
도 5는 본 발명에 적용되는 것으로 Tiled Hough Transform을 이용한 사각 틀 예시도,
도 6은 본 발명에 적용되는 위조 얼굴에서 생성되는 반사광 및 반사광 변화 양상 예시도,
도 7은 본 발명에 적용되는 입력 영상에 대한 반사광 Free 영상과 반사광 영상의 예시도,
도 8은 본 발명 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단방법 제어 흐름도,
도 9는 본 발명 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단 시스템 구성도이다.
상기와 같은 목적을 가진 본 발명 단일 가시광 카메라를 이용한 복합 사진-동영상 위조 얼굴 판단방법 및 이를 이용한 위조 얼굴 판단 시스템을 도 2 내지 도 9를 기초로 하여 설명하면 다음과 같다.
도 2는 본 발명에 적용되는 투영변환 설명도 이다. 상기도 2에서 본 발명에 적용되는 투영 변한은 3차원 영상을 2차원 평면으로 변환하는 것으로 평면 사진의 경우에는 3D 상에서 회전을 시켜도 투영 변환을 통하여 상호 정합이 가능하지만 실제 얼굴의 경우에는 변환된 입력에 대하여 상호 정합이 불가능한 것이다. 예를 들어 투영 변환(Projective Transform) 매트릭스가 아래 1과 같은 경우
[아래 1]
Figure 112017017292913-pat00001
(x,y) 좌표로부터 (x',y')로 이동되는 투영 변환은
아래 식 1과 같다.
[식 1] :
Figure 112017017292913-pat00002
상기 식 (1)에서 3D 사진의 경우 상호 정합이 가능하지만 실제 얼굴의 경우 상호 정합이 불가능한 것을 나타내고 있는 것이다. 즉 투영 변환을 하면 2차원 좌표가 일치하지 아니하여 상호 정합이 불가능한 것임을 알 수 있는 것이다.
도 3은 본 발명에 관한 위조 얼굴과 실제 얼굴의 투영 변환에 의한 상호 정합 설명도이다. 상기도 3에서 좌측 위조 사진의 경우 투영 변환을 통하여 상호 정합이 가능한 것을 확인할 수 있으나 우측 실제 사진의 경우에는 투영 변환을 하면 좌표 값의 매칭이 일치하지 아니하여 상호 정합이 불가능함을 보여주고 있는 것이다. 즉 위조 사진의 경우 기준 입력에 대한 투영 변환을 한 좌표 값과 얼굴 시퀸스에 대한 투영 변환 좌표 값이 일치할 수 있으나 실제 얼굴의 경우 기준 입력에 투영 변환 값과 얼굴 시퀸스에 대한 투영 변환 값이 서로 상이한 것으로 상호 정합이 불가능함을 알 수 있는 것이다. 상기에서 적용한 투영 변환을 위하여는 투영 변환 매트릭스가 필요한바 상기 투영 변환 매트릭스는 카제(KAZE)의 영상 키포인트 매칭, 얼굴 특징점 매칭, 옵티컬 플로우 매칭, 이미지 매칭 방법을 통하여 구할 수 있는 것이다. 또한, 상기와 같은 다양한 방법의 매칭 방법 중에서 최대 매칭율을 갖는 방법을 통하여 신뢰성 있는 매칭율이 산출될 수 있으며 이때의 매칭율을 투영 변환 매칭 메저 값으로 하면 상기 메저 값이 높을 수록 위조 얼굴일 확률이 높은 것이다. 따라서 검출 얼굴 시퀸스에서 2장씩 모든 조합에 대하여 메저 값을 산정하고 최소 메저 값을 설정하면 실제 얼굴로 판별될 가능성이 높은 것이다. 즉 상기 최소 메저 값은 실제 얼굴의 얼굴 각도/표정/눈감빡임 등의 변화가 있을 때 매칭이 되지 않아 낮은 투영 변환 매칭 메저 값을 갖게되는 것이다.
도 4는 본 발명에 적용되는 위조 얼굴에서 존재하는 사각 틀 예시도 이다. 상기도 4에서 위조 얼굴에서 사각 틀은 스마트폰과 같은 전자 미디어 매체의 프레임에 해당하는 사각 틀로서 사진과 배경의 경계에서 사각 틀이 존재하는 것임을 나타내고 있는 것이다.
도 5는 본 발명에 적용되는 것으로 Tiled Hough Transform을 이용한 사각 틀 예시도 이다. 상기도 5에서 본 발명에 적용하는 것으로 사각 틀 메저 값을 산출하기 위한 Tiled Hough Transform을 이용한 사각 틀은 검출된 얼굴을 중심으로 얼굴 크기의 1/N(본 발명에서는 N=2임) 크기의 Tile 영상을 만든 후 각 타일에 Hough Transform의 피크 점(임계 값을 넘는)을 교차점의 경우와 배경의 선분이 검출되는 경우를 고려하여 3개까지 찾아서 각 타일에 존재하는 선분을 검출하고, 엣지 영상으로부터 검출된 선분과의 교집합 부분을 검출하여 선분의 위치/길이를 산출하면 이 선분의 연결성을 계산하여 얼굴을 포함하는 사각 틀을 찾을 수 있는 것이다. 따라서 각 타일에서 이 사각 틀을 이루는 선분의 피크 점 값들을 누적한 후에 사각 틀의 개수로 나누어 사각 틀 메저를 산출하는 것이다. 또한, 사각 틀 일부가 가려져 사각 틀의 선분이 검출되지 않는 타일이 있어도 사각 틀이 존재하는 N 개의 타일에서 0.8 N 개 이상의 타일에서 해당 사각형의 선분이 검출되면 사각 틀 검출에 성공한 것으로 판단할 수 있는 것이다. 구체적으로 사각 틀 메저 값 계산 과정을 설명하면 선분이 검출된 타일들로부터 영상의 엣지까지 모든 선분을 확장하고 교차하는 두 선분이 "45도 < 교차각도 < 135도"를 만족하며 만들어지는 사각형 내에 얼굴이 포함되는 사각형을 검출하고(조건 외 각도의 경우 얼굴 검출이 되지 아니함), 선분을 출력한 타일의 선분 피크 값의 평균 X (선분을 출력한 타일의 개수/사각 형 선분을 포함하는 타일의 개수)로 사각 틀 메저 값을 산정하는 것이다. 상기와 같은 사각 틀 메저 매칭 방식은 70㎝ 거리의 사용자를 얼굴 인식의 타겟으로 한 것으로 이 거리에서의 촬영 영역은 80㎝ X 60㎝ 이다. 상기와 같은 거리에서 카메라 영상 내에 사각 틀이 보이지 않는 위조 공격은 Blur 메저에 의하여 위조 얼굴을 용이하게 판별할 수 있는 것이다.
또한, 상기 Blur 메저 값에 의한 위조 얼굴 판별은 일반적으로 카메라는 고정 초점 렌즈를 장착하고 있는 것으로 특정 거리에서 초점이 맞으므로 거리가 멀거나 가까우면 Blur 가 발생하는 것이다. 상기와 같은 Blur를 기초로 한 위조 얼굴 판단은 얼굴 구성 요소에 특화시킨 Blur 메저를 사용하는 것으로 상기 얼굴 구성 요소에 특화시킨 Blur 메저 함수는 초점이 맞는 얼굴 영상으로부터 초점이 맞지 않는 얼굴 영상으로 변화할 때 가장 변화가 큰 주파수 성분을 선택하여 이루어지는 것이다. 또한, 일반적으로 Blur 메저는 주파수 공간상에서 고리 형태의 영역의 파워를 측정하여 계산되나 본 발명에서는 최소 Blur(초점이 잘 맞을 때) 위치로부터 ±5㎝ 씩 멀어지는 얼굴 영상을 학습 데이터로 취득하여 통계적으로 가장 파워가 큰 산발적 주파수 성분의 파워 합을 사용하는 것이다. 즉 카메라는 고정 초점 렌즈를 장착하고 있으므로 거리에 따른 얼굴의 크기는 일정하며 이에 따라 얼굴 크기에 따라 예측되는 Blur 메저가 존재하는 것으로 상기 학습에 사용한 얼굴 이미지와 그때의 얼굴 구성요소에 특화시킨 Blur 메저 값을 통계적으로 룩업(Lookup)테이블로 변환하며 상기 룩업 테이블에서 입력 얼굴 크기에 해당하는 얼굴 구성 요소에 특화시킨 Blur 메저 값과 입력 얼굴로부터 계산된 얼굴 구성요소에 특화시킨 Blur 메저 값의 차이가 위조 얼굴일 가능성을 나타내고 있는 것이다. 상기 Blur 메저를 이용하면 얼굴 크기가 아닌 위조 얼굴의 공격(스마트 폰, 테블릿 PC, 사진 출력물 등)에 있어서도 신뢰성 있는 메저 값이 산출되며 실제 얼굴과 같은 크기의 위조 얼굴인 경우에도 출력 장비(프린터, 액정 화면 등) 해상도의 영향으로 실제 얼굴과는 상이한 Blur 값을 갖게 되는 것이다.
도 6은 본 발명에 적용되는 위조 얼굴에서 생성되는 반사광 및 반사광 변화 양상 예시도 이다. 상기도 6에서 실제 얼굴과 위조 얼굴은 표면의 편평도와 반사율이 서로 상이하고 단일 영상 측면에서는 위조 얼굴에서 반사광(Specular)이 생기는 경우가 있으며 연속 영상 측면에서는 이 반사광의 형태 및 위치가 위조 얼굴의 각도 변화에 따라 변화하는 경우가 있음을 보여주고 있는 것이다. 상기와 같은 반사광 특성을 이용하여 위조 얼굴을 판별하기 위하여 반사광 메저를 사용할 수 있는 것이다. 즉 임의의 영상을 반사광 영상과 반사광 프리(free) 영상으로 분리할 수 있으며 학습 데이터의 위조 얼굴/실제 얼굴 영상에서 반사광 영상의 파워를 측정하여 임계치를 구하고 상기 임계치보다 높을수록 위조 얼굴일 확률이 높은 것으로 판단할 수 있는 것이다. 또한, 다른 반사광 메저는 검출 얼굴 시퀸스 상에서 반사광 이미지들의 차분 영상의 파워를 계산하고 반사광의 위치를 측정하면 실제 얼굴에서는 반사광이 존재하여도 그 형태나 위치가 변하지 않는 반면 위조 얼굴에서는 그 형태나 위치가 변할 수 있으므로 차분 영상의 파워가 최대치인 조합을 검출 얼굴 시퀸스에서 선택하고 그 차분 영상의 파워를 반사광 메저로 사용할 수 있는 것이다. 상기에서 차분 영상의 파워가 클 수록 위조 얼굴로 판단할 수 있는 것이다.
도 7은 본 발명에 적용되는 입력 영상에 대한 반사광 Free 영상과 반사광 영상의 예시도 이다. 상기도 7에서 본 발명에 적용되는 입력 영상에 대한 반사광 Free 영상과 반사광은 위조 영상일수록 반사광이 발생할 확률이 높으며 반사광의 형태 및 위치가 위조 얼굴의 각도에 따라 상이할 수 있음을 나타내고 있는 것이다.
도 8은 본 발명 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단방법 제어 흐름도이다. 상기도 8에서 본 발명 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단방법은 얼굴이 포함된 얼굴 이미지를 입력받는 단계(S11)와, 얼굴 이미지에서 얼굴을 검출하는 단계(S12)와, 검출된 얼굴 시퀸스를 수신하는 단계(S13)와, 검출된 얼굴 시퀸스가 0.5초 이상 5장 이상인지 여부를 판단하는 단계(S14)와, 얼굴 시퀸스가 0.5초 이상 검출된 영상이 5장 이상인 경우 위조 얼굴 통합 메저를 산정하는 단계(S15)와, 위조 얼굴 통합 메저가 트레쉬 홀드 이상인 경우 위조 사진으로 판단하는 단계(S16)를 포함하여 이루어지는 것이다. 또한, 상기 S14 단계에서 0.5초 이상 검출 얼굴 시퀸스가 5장인 아닌 경우 S13 단계부터 다시 시작하는 것을 특징으로 하는 것이다. 또한, 상기 S15 단계에서 통합 메저의 각 메저가 모두 임계치 이하인 경우 통합 메저의 합계를 산정하고 통합 메저 임계치와 비교하여 통합 메저의 합계가 통합 메저 임계치 이상인 경우 위조 얼굴로 판단하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 것이다. 상기 S15 단계에서 위조 얼굴 통합 메저를 산정하는 단계는 프로젝티브 매칭 메저, 블러(Blur) 메저, 사각 틀 메저 및 반사광 메저로 구성될 수 있는 것을 특징으로 하는 것이다. 또한, 상기 S15 단계는 4개의 메저를 독립적으로 사용하여 4개의 메저 중 임계 값을 넘는 메저가 있으면 위조 얼굴을 판단할 수 있는 것을 특징으로 하는 것이다. 또한, 상기 S15 단계에서 사각 틀 메저의 산정은 선분이 검출된 타일들로부터 영상의 엣지까지 모든 선분을 확장하고 교차하는 두 선분이 "45도 < 교차각도 < 135도"를 만족하며 만들어지는 사각형 내에 얼굴이 포함되는 사각형을 검출하고 선분을 출력한 타일의 선분 피크 값의 평균 X (선분을 출력한 타일의 개수/사각 형 선분을 포함하는 타일의 개수)로 산정하는 것을 특징으로 하는 것이다. 또한 상기 S15 단계에서 Blur 메저는 최소 Blur(초점이 잘 맞을 때) 위치로부터 ±5㎝ 씩 멀어지는 얼굴 영상을 학습 데이터로 취득하여 통계적으로 가장 변화가 큰 산발적 주파수 성분의 파워 합인 것을 특징으로 하는 것이다. 또한, 상기 S15 단계에서 투영 변환 매트릭스에 대하여 기준 입력을 투영 변환한 값과 얼굴 시퀸스에 대하여 투영 변환을 한 값과의 매칭율인 것을 특징으로 하는 것이다. 또한 상기 투영 변환 메트릭스는 영상 키포인트 매칭, 얼굴 특징점 매칭, 옵티컬 플로우 매칭, 이미지 매칭 방법으로 산출할 수 있는 것을 특징으로 하는 것이다. 또한, 상기 S15 단계에서 반사광 메저는 검출 얼굴 시퀸스 상에서 반사광 이미지들의 차분 영상의 파워인것을 특징으로 하는 것이다. 또한, 상기 S15 단계에서 통합 메저 중 사각 틀은 검출된 얼굴을 중심으로 얼굴 크기의 3배 크기 내에서 검색하는 것을 특징으로 하는 것이다,
도 9는 본 발명 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단 시스템 구성도이다. 상기도 9에서 본 발명 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단 시스템은 카메라, 스마트폰과 같이 위조 사진 또는 실물을 촬영하여 전송할 수 있는 것으로 얼굴을 포함하는 이미지를 제공하는 이미지 입력부(100)와 입력된 이미지에서 얼굴을 검출하는 얼굴 검출부(200)와, 얼굴 검출부로부터 0.5초 이상 5장이상 얼굴 이미지를 수신하는 얼굴 검출 수신부(300)와, 얼굴 검출 수신부에 저장된 검출 얼굴 시퀸스로부터 위조 판별 통합 메저를 산정하고 임계치(트레쉬 홀드)를 기준으로 하여 위조 얼굴을 판단하는 위조 얼굴 판단부(400) 및 위조 얼굴 판단부로부터 위조 얼굴 판단 결과를 수신하여 표출하는 표시부(500)로 구성된 것을 특징으로 하는 것이다. 상기에서 위조 얼굴 판단부는 프로젝티브 매칭 메저 또는 블러(Blur) 메저 또는 사각 틀 메저 또는 반사광 메저를 기초로 위조 얼굴을 판단하거나, 합산한 통합 메저를 기준으로 위조 얼굴을 판단하는 것을 특징으로 하는 것이다.
100 : 이미지 입력부, 200 : 얼굴 검출부,
300 : 검출 얼굴 수신부, 400 : 위조얼굴 판단부,
500 : 표시부

Claims (14)

  1. 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단방법에 있어서,
    상기 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단방법은,
    얼굴이 포함된 얼굴 이미지를 입력받는 단계(S11)와;
    얼굴 이미지에서 얼굴을 검출하는 단계(S12)와;
    검출된 얼굴 시퀸스를 수신하는 단계(S13)와;
    검출된 얼굴 시퀸스가 일정 시간 이상 N장 이상인지 여부를 판단하는 단계(S14)와;
    프로젝티브 매칭 메저, 블러(Blur) 메저, 사각 틀 메저, 반사광 메저를 독립적으로 사용하여 4개의 메저 중 임계 값을 넘는 메저가 있으면 위조 얼굴을 판단하는 것으로 얼굴 시퀸스가 일정시간 이상 N장 이상인 경우 위조 얼굴 통합 메저를 산정하는 단계(S15);
    및 산정된 위조 얼굴 통합 메저가 트레쉬 홀드 이상인 경우 위조 사진으로 판단하는 단계(S16)를 포함하여 이루어지는 것을 특징으로 하는 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단방법.
    여기서 N: 검출얼굴 시퀸스 수
  2. 제1항에 있어서,
    상기 일정 시간은 0.5초이고, N은 5인 것을 특징으로 하는 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단방법.
  3. 제1항에 있어서,
    상기 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단방법은,
    상기 S14 단계에서 0.5초 이상 검출 얼굴 시퀸스가 5장인 아닌 경우 S13 단계부터 다시 시작하는 것을 특징으로 하는 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단방법.
  4. 제1항에 있어서,
    상기 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단방법은,
    상기 S15 단계에서 통합 메저의 각 메저가 모두 임계치 이하인 경우 통합 메저의 합계를 산정하고 통합 메저 임계치와 비교하여 통합 메저의 합계가 통합 메저 임계치 이상인 경우 위조 얼굴로 판단하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단방법.
  5. 제1항에 있어서,
    상기 S15 단계에서 위조 얼굴 통합 메저를 산정하는 단계는,
    프로젝티브 매칭 메저 또는 블러(Blur) 메저 또는 사각 틀 메저 또는 반사광 메저로 구성될 수 있는 것을 특징으로 하는 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단방법.
  6. 삭제
  7. 제1항에 있어서,
    상기 사각 틀 메저의 산정은,
    선분이 검출된 타일들로부터 영상의 엣지까지 모든 선분을 확장하고 교차하는 두 선분이 "45도 < 교차각도 < 135도"를 만족하며 만들어지는 사각형 내에 얼굴이 포함되는 사각형을 검출하고 선분을 출력한 타일의 선분 피크 값의 평균 X (선분을 출력한 타일의 개수/사각형 선분을 포함하는 타일의 개수)로 산정하는 것을 특징으로 하는 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단방법.
  8. 제1항에 있어서,
    상기 Blur 메저는 최소 Blur(초점이 잘 맞을 때) 위치로부터 ±5㎝ 씩 멀어지는 얼굴 영상을 학습 데이터로 취득하여 통계적으로 가장 변화가 큰 산발적 주파수 성분의 파워 합인 것을 특징으로 하는 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단방법.
  9. 제1항에 있어서,
    상기 프로젝티브 매칭 메저는 투영 변환 매트릭스에 대하여 기준 입력을 투영 변환한 값과 얼굴 시퀸스에 대하여 투영 변환을 한 값과의 매칭율인 것을 특징으로 하는 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단방법.
  10. 제1항에 있어서,
    상기 반사광 메저는 검출 얼굴 시퀸스 상에서 반사광 이미지들의 차분 영상의 파워인것을 특징으로 하는 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단방법.
  11. 제7항에 있어서,
    상기 사각 틀 메저의 사각 틀은,
    검출된 얼굴을 중심으로 얼굴 크기의 3배 크기 내에서 검색하는 것을 특징으로 하는 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단방법.
  12. 제9항에 있어서,
    상기 투영 변환 메트릭스는,
    영상 키포인트 매칭, 얼굴 특징점 매칭, 옵티컬 플로우 매칭, 이미지 매칭 방법으로 산출할 수 있는 것을 특징으로 하는 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단방법.




  13. 삭제
  14. 삭제
KR1020170022341A 2017-02-20 2017-02-20 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단방법 및 이를 이용한 위조 얼굴 판단 시스템 KR101877816B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170022341A KR101877816B1 (ko) 2017-02-20 2017-02-20 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단방법 및 이를 이용한 위조 얼굴 판단 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170022341A KR101877816B1 (ko) 2017-02-20 2017-02-20 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단방법 및 이를 이용한 위조 얼굴 판단 시스템

Publications (1)

Publication Number Publication Date
KR101877816B1 true KR101877816B1 (ko) 2018-07-12

Family

ID=62919680

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170022341A KR101877816B1 (ko) 2017-02-20 2017-02-20 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단방법 및 이를 이용한 위조 얼굴 판단 시스템

Country Status (1)

Country Link
KR (1) KR101877816B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101993266B1 (ko) * 2018-12-19 2019-06-26 주식회사 로민 영상 위변조 검출을 위한 가변모델 설계 및 학습방법과, 이를 이용한 영상 위변조 검출방법
WO2023105635A1 (ja) * 2021-12-07 2023-06-15 富士通株式会社 判定装置、判定方法、および判定プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030091345A (ko) * 2002-05-27 2003-12-03 (주)워치비젼 살아있는 얼굴의 진위 여부 검사 시스템 및 그 방법
WO2010050206A1 (ja) * 2008-10-28 2010-05-06 日本電気株式会社 なりすまし検知システム、なりすまし検知方法及びなりすまし検知プログラム
KR20100058809A (ko) * 2008-11-25 2010-06-04 한국전자통신연구원 적외선 영상을 이용한 위조 얼굴 검출 방법 및 그 장치
KR20110102073A (ko) * 2010-03-10 2011-09-16 홍익대학교 산학협력단 얼굴 인식 시스템에서의 위조 검출 방법
KR20120083064A (ko) * 2011-01-17 2012-07-25 한국전자통신연구원 실제 얼굴 판별 장치 및 방법
KR20170006355A (ko) * 2015-07-08 2017-01-18 주식회사 케이티 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030091345A (ko) * 2002-05-27 2003-12-03 (주)워치비젼 살아있는 얼굴의 진위 여부 검사 시스템 및 그 방법
WO2010050206A1 (ja) * 2008-10-28 2010-05-06 日本電気株式会社 なりすまし検知システム、なりすまし検知方法及びなりすまし検知プログラム
KR20100058809A (ko) * 2008-11-25 2010-06-04 한국전자통신연구원 적외선 영상을 이용한 위조 얼굴 검출 방법 및 그 장치
KR20110102073A (ko) * 2010-03-10 2011-09-16 홍익대학교 산학협력단 얼굴 인식 시스템에서의 위조 검출 방법
KR20120083064A (ko) * 2011-01-17 2012-07-25 한국전자통신연구원 실제 얼굴 판별 장치 및 방법
KR20170006355A (ko) * 2015-07-08 2017-01-18 주식회사 케이티 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101993266B1 (ko) * 2018-12-19 2019-06-26 주식회사 로민 영상 위변조 검출을 위한 가변모델 설계 및 학습방법과, 이를 이용한 영상 위변조 검출방법
WO2023105635A1 (ja) * 2021-12-07 2023-06-15 富士通株式会社 判定装置、判定方法、および判定プログラム

Similar Documents

Publication Publication Date Title
CN107169405B (zh) 基于双目摄像机活体识别的方法及装置
US10074179B2 (en) Image measurement device
EP2072947B1 (en) Image processing device and image processing method
US10083522B2 (en) Image based measurement system
EP2071280B1 (en) Normal information generating device and normal information generating method
US7324670B2 (en) Face image processing apparatus and method
JP5521676B2 (ja) 画像処理装置及び画像処理プログラム
JP5951043B2 (ja) 画像計測装置
US9064178B2 (en) Edge detection apparatus, program and method for edge detection
TW201727537A (zh) 人臉識別系統及人臉識別方法
Ghilardi et al. A new approach for automatic detection of tactile paving surfaces in sidewalks
Stommel et al. Inpainting of missing values in the Kinect sensor's depth maps based on background estimates
KR101877816B1 (ko) 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단방법 및 이를 이용한 위조 얼굴 판단 시스템
JP4193342B2 (ja) 3次元データ生成装置
CN107613239B (zh) 视频通信背景显示方法和装置
EP2299388A2 (en) Apparatus and method for detecting face
US20130331145A1 (en) Measuring system for mobile three dimensional imaging system
TW201804368A (zh) 人臉識別方法
EP2866446B1 (en) Method and multi-camera portable device for producing stereo images
WO2020075237A1 (ja) 画像処理装置および画像処理方法
JP6175583B1 (ja) 画像処理装置、実寸法表示方法、及び実寸法表示処理プログラム
KR101300166B1 (ko) 홍채 검출 장치 및 방법
Ghasemi et al. Detecting planar surface using a light-field camera with application to distinguishing real scenes from printed photos
JP6161874B2 (ja) 撮像装置、長さ計測方法及びプログラム
RU2382407C1 (ru) Способ и система для обнаружения лица

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant