KR20110090731A - 위조 영상 판별 장치 및 그 방법 - Google Patents

위조 영상 판별 장치 및 그 방법 Download PDF

Info

Publication number
KR20110090731A
KR20110090731A KR1020100051996A KR20100051996A KR20110090731A KR 20110090731 A KR20110090731 A KR 20110090731A KR 1020100051996 A KR1020100051996 A KR 1020100051996A KR 20100051996 A KR20100051996 A KR 20100051996A KR 20110090731 A KR20110090731 A KR 20110090731A
Authority
KR
South Korea
Prior art keywords
background
image
block
counterfeit
learning
Prior art date
Application number
KR1020100051996A
Other languages
English (en)
Other versions
KR101159164B1 (ko
Inventor
유장희
김영환
최경호
박순영
문기영
Original Assignee
한국전자통신연구원
목포대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 목포대학교산학협력단 filed Critical 한국전자통신연구원
Priority to US13/017,651 priority Critical patent/US8515124B2/en
Publication of KR20110090731A publication Critical patent/KR20110090731A/ko
Application granted granted Critical
Publication of KR101159164B1 publication Critical patent/KR101159164B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images

Abstract

본 발명은 인증용 영상의 위조 방지를 위해 적외선 카메라 또는 열 적외선 카메라 등과 같은 별도 장치를 구비해야만 하는 종래 방식과는 달리, 배경 학습을 통해 생성한 인증용 입력 영상을 배경 영역과 움직임 객체 영역으로 분리하고, 배경 학습을 통해 얻은 학습 배경과 분리된 배경 영역간의 비교 결과와, 분리된 움직임 객체와 배경 영역의 움직임 정보를 이용하여 입력 영상이 실제 영상인지 혹은 위조 영상인지의 여부를 판별함으로써, 구조적으로 복잡하기 않으면서 저가격화가 가능할 뿐만 아니라 기존 시스템으로의 적용이 매우 용이한 얼굴 인식 시스템을 실현할 수 있으며, 또한 비교적 작은 추가 자원을 가지고 기존 시스템에 접목 가능하기 때문에 기존 시스템의 신뢰성과 보안성을 크게 높일 수 있을 뿐만 아니라 이를 통해 다양한 응용분야로의 적용을 실현하여 얼굴 인식 분야에서의 산업 활성화에 기여할 수 있는 것이다.

Description

위조 영상 판별 장치 및 그 방법{FAKE VIDEO DETECTING APPARATUS AND METHOD}
본 발명은 위조 영상 판별 기법에 관한 것으로, 더욱 상세하게는 연속적으로 입력되는 영상 정보를 이용한 얼굴 인식 분야에서 얼굴과 배경 정보의 결합을 통해 사진, 동영상 등을 이용한 잘못된 인식(인증) 성공을 방지하는데 적합한 위조 영상 판별 장치 및 그 방법에 관한 것이다.
본 발명은 지식경제부의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2007-S-020-03, 과제명: 프라이버시 보호형 바이오 인식 시스템 개발].
통상적으로, 출입 통제를 위한 첨단 보안 시스템의 경우 얼굴, 지문, 홍채, 음성 인식 등이 주로 사용되는데 이 시스템들의 경우 위조 문제가 상존하기 때문에 2중, 3중의 보안 시스템이 채택되고 있다.
위와 같은 얼굴, 홍채, 지문, 정맥, 음성, 서명, 걸음걸이 등 개인이 가진 행동학적 특성을 기반으로 하는 생체인식 기술은 개인의 신체적 특징을 이용한 정보이기 때문에 분실의 우려나 암기할 필요가 없는 장점을 갖는 반면에, 악의적으로 모방(위조) 가능한 단점 또한 갖는다. 여기에서, 본 발명은 얼굴 인식 기법의 개선에 관련된다.
따라서, 종래의 얼굴 인식 시스템에서는 인증(인식)용 영상의 위조 방지를 위해 별도의 장치, 즉 적외선 카메라 또는 열 적외선 카메라를 이용, 구체적으로 적외선 카메라의 vein map을 이용하거나 혹은 열 적외선 카메라를 통해 촬영한 얼굴의 열 분포를 이용하는 방식으로 종래 기술의 문제점(인증용 영상의 위조 문제)을 해결하고 있다.
그러나, 인증(인식)용 영상의 적외선 카메라의 vein map을 이용하거나 또는 열 적외선 카메라를 통해 촬영한 얼굴의 열 분포를 이용하는 종래 얼굴 인식 기술은 적외선 카메라 또는 열 적외선 카메라 등과 같은 별도의 장치를 부가해야만 하기 때문에 시스템이 복잡해지는 문제가 있으며, 그로 인해 전체 시스템의 가격이 상승하게 되어 보급화(다양한 적용)에 한계를 가질 수밖에 없는 문제가 있다.
또한, 종래 얼굴 인식 시스템이 널리 보급되지 못하고 있는 실정인데, 이것은 인식 성능의 문제뿐 아니라 현재 인식하려는 대상이 사진 혹은 동영상인지 여부를 판별해 내는 것이 기술적으로 어려워 보안 시스템으로서 강점을 갖지 못하기 때문이다.
본 발명은, 일 관점에 따라, 카메라를 통해 촬상되어 입력되는 영상을 획득하는 영상 획득 블록과, 상기 영상의 배경을 학습하여 학습 배경을 생성하는 배경 학습 블록과, 상기 카메라로부터 인증용의 입력 영상이 전달될 때 인증 대상자의 얼굴 영역을 추출하는 얼굴 추출 블록과, 상기 얼굴 영역이 제거된 입력 영상의 현재 배경과 상기 학습 배경을 비교하는 배경간 비교 블록과, 상기 얼굴 영역과 현재 배경 내 움직임 정보를 추출하여 비교하는 움직임 정보 비교 블록과, 상기 움직임 정보의 비교 결과와 배경의 비교 결과를 이용하여 상기 입력 영상의 위조 여부를 판별하는 위조 판별 블록을 포함하는 위조 영상 판별 장치를 제공한다.
본 발명의 배경 학습 블록은, 상기 카메라를 통해 기 설정된 시간동안 입력되는 다수의 배경 각각에 대해 픽셀의 평균과 광 분산을 산출하여 가우시안 혼합 모델(Gaussian Mixture Model)로 모델링하는 배경 학습을 통해 상기 학습 배경을 생성하는 것을 특징으로 한다.
본 발명의 배경 학습 블록은, 상기 모델링을 통해 생성되는 모델 중 상대적으로 가장 높은 가중치를 갖는 모델의 배경을 상기 학습 배경으로 선택하는 것을 특징으로 한다.
본 발명의 배경간 비교 블록은, SSIM(Structural Similarity Index Measure) 또는 MSE(Mean Square Error) 방식을 이용하여 상기 현재 배경과 학습 배경을 비교하는 것을 특징으로 한다.
본 발명의 움직임 정보 비교 블록은, 상기 얼굴 영역의 움직임 벡터 성분과 상기 현재 배경의 움직임 벡터 성분을 비교하는 것을 특징으로 한다.
본 발명의 움직임 정보 비교 블록은, 아래의 수학식과 같이 상기 현재 배경의 움직임 정보(BMI)를 산출하는
BMI=1-(Motioncur/Motionmax)
것을 특징으로 한다.
본 발명의 위조 판별 블록은, 상기 움직임 정보의 비교 결과와 상기 배경의 비교 결과를 이용하여 실제 영상 인덱스(LivenessIndex) 값을 산출하고, 이 산출된 실제 영상 인덱스 값에 의거하여 상기 입력 영상의 위조 여부를 판별하는 것을 특징으로 한다.
본 발명의 위조 판별 블록은, 아래의 수학식과 같이 상기 실제 영상 인덱스 값을 산출하는
LivenessIndex = αㅇSSIM + βㅇBMI
(상기 SSIM는 Structural Similarity Index Measure, 상기 BMI는 Background Motion Index, 상기 α와β는 두 값의 반영도임)
것을 특징으로 한다.
본 발명의 위조 판별 블록은, 상기 실제 영상 인덱스 값이 기 설정된 문턱치보다 클 때 상기 입력 영상을 위조 영상으로 판별하는 것을 특징으로 한다.
본 발명의 위조 영상 판별 장치는, 상기 얼굴 영역으로부터 눈의 깜박임을 검출하는 깜박임 검출 블록을 더 포함하고, 위조 판별 블록은, 상기 눈의 깜박임이 검출되지 않을 때 상기 움직임 정보의 비교 결과와 상기 배경의 비교 결과를 이용하여 상기 입력 영상의 위조 여부를 최종 판별하는 것을 특징으로 한다.
본 발명은, 다른 관점에 따라, 기준 배경을 생성하는 과정과, 카메라를 통해 촬상한 입력 영상으로부터 움직임 객체가 검출될 때 현재 프레임의 현재 배경과 상기 움직임 객체를 분리하는 과정과, 상기 기준 배경과 현재 배경의 일치 여부를 비교하는 과정과, 상기 움직임 객체와 현재 배경의 움직임 벡터 성분을 산출하여 비교하는 과정과, 배경의 일치 여부 비교 결과 값과 움직임 벡터 성분의 비교 결과 값을 이용하여 실제 영상(Liveness) 인덱스 값을 산출하는 과정과, 상기 산출된 실제 영상 인덱스 값에 의거하여 상기 입력 영상의 위조 여부를 판별하는 과정을 포함하는 위조 영상 판별 방법을 제공한다.
본 발명은 배경 학습을 통해 생성한 인증용 입력 영상을 배경 영역과 움직임 객체 영역으로 분리하고, 배경 학습을 통해 얻은 학습 배경과 분리된 배경 영역간의 비교 결과와, 분리된 움직임 객체와 배경 영역의 움직임 정보를 이용하여 입력 영상의 위조 여부를 판별하도록 함으로써, 구조적으로 복잡하기 않으면서 저가격화가 가능할 뿐만 아니라 기존의 시스템으로의 적용이 매우 용이한 얼굴 인식 시스템을 실현할 수 있다.
또한, 본 발명은 비교적 작은 추가 자원을 가지고 기존 시스템에 접목 가능하기 때문에 기존 시스템의 신뢰성과 보안성을 크게 높일 수 있을 뿐만 아니라 이를 통해 다양한 응용분야로의 적용을 실현하여 얼굴 인식 분야에서의 산업 활성화에 기여할 수 있다.
도 1은 본 발명의 실시에 따른 위조 영상 판별 장치의 블록구성도,
도 2는 본 발명의 실시 예에 따라 얼굴과 배경의 결합을 통해 위조 영상을 판별하는 과정을 도시한 순서도,
도 3은 본 발명에 따라 움직인 객체 영역과 현재 배경 영역의 움직임 벡터 성분에 의거하여 BMI를 산출하는 과정을 도시한 순서도.
본 발명의 기술요지는, 인증용 영상의 위조 방지를 위해 적외선 카메라 또는 열 적외선 카메라 등과 같은 별도 장치를 구비해야만 하는 전술한 종래 방식과는 달리, 배경 학습을 통해 생성한 인증용 입력 영상을 배경 영역과 움직임 객체 영역으로 분리하고, 배경 학습을 통해 얻은 학습 배경과 분리된 배경 영역간의 비교 결과와, 분리된 움직임 객체와 배경 영역의 움직임 정보를 이용하여 입력 영상이 실제 영상인지 혹은 위조 영상인지의 여부를 판별한다는 것으로, 본 발명은 이러한 기술적 수단을 통해 종래 방식에서의 문제점들을 효과적으로 개선할 수 있다.
여기에서, 움직임 정보는 분리된 움직임 객체와 배경 영역 내 특징점들의 움직임 벡터 정보를 의미할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 상세하게 설명한다.
아울러, 아래의 본 발명을 설명함에 있어서 공지 기능 또는 구성 등에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들인 것으로, 이는 사용자, 운용자 등의 의도 또는 관례 등에 따라 달라질 수 있음은 물론이다. 그러므로, 그 정의는 본 명세서의 전반에 걸쳐 기술되는 기술사상을 토대로 이루어져야 할 것이다.
도 1은 본 발명의 실시에 따른 위조 영상 판별 장치의 블록구성도로서, 영상 획득 블록(102), 배경 학습 블록(104), 저장 블록(106), 얼굴 추출 블록(108), 배경간 비교 블록(110), 움직임 정보 비교 블록(112) 및 위조 판별 블록(114)을 포함할 수 있으며, 깜박임 검출 블록(116)을 선택적으로 더 포함할 수 있다.
도 1을 참조하면, 영상 획득 블록(102)은, 예컨대 CCD 카메라 또는 USB 카메라 등을 포함하는 것으로, 카메라를 통해 촬상되는 입력 영상을 획득하여 배경 학습 블록(104) 및 얼굴 추출 블록(108)으로 각각 전달한다. 여기에서, 입력 영상은 인증 대상자의 얼굴(또는 움직임 객체)을 포함하는 인증용 영상이거나 혹은 인증 대상자의 얼굴을 포함하지 않는 일반 영상일 수 있다.
다음에, 배경 학습 블록(104)은 영상 획득 블록(102)으로부터 기 설정된 시간동안 입력되는 다수의 배경(입력 영상) 중 현재 배경을 기준으로 각 픽셀의 평균과 광 분산을 K개의 가우시안 혼합 모델(Gaussian Mixture Model)로 모델링하는 배경 학습을 수행하여 K개의 모델을 생성하고, 이 생성된 K개의 모델 중 상대적으로 가장 높은 가중치를 갖는 모델의 배경을 학습 배경(또는 기준 배경)으로 선택하여 저장 블록(106)에 저장하는 등의 기능을 제공한다.
즉, 배경 학습 블록(104)은 가장 높은 확률로 현재 프레임까지의 평균 배경을 추정하는데, 현재까지의 가장 높은 확률을 갖는 배경 모델을 지속적으로 생성하여 학습 배경을 갱신(업데이트)시킨다.
또한, 얼굴 추출 블록(108)은, 이 기술분야에 잘 알려진 얼굴 검출기(예컨대, Viola-Jones의 Face Detector)를 이용하여, 영상 획득 블록(102)으로부터 제공되는 입력 영상에 얼굴 영역(움직임 객체)이 존재하는 지의 여부를 검출(추출)하며, 여기에서의 검출 결과 입력 영역이 존재하는 것으로 판단될 때 마스킹 기법 등을 이용하여 입력 영상을 얼굴 영역(움직임 객체)과 현재 배경(얼굴 영역을 제외한 현재 배경 영역)으로 분리한다. 여기에서 배경간 비교 블록(110)으로는 현재 배경이 전달되고, 움직임 정보 비교 블록(112)으로는 얼굴 영역과 현재 배경으로 된 입력 영상이 전달되며, 선택적으로 깜박임 검출 블록(116)으로 얼굴 영역이 전달될 수 있다.
그리고, 배경간 비교 블록(110)은 얼굴 추출 블록(108)으로부터 전달되는 현재 배경과 저장 블록(106)에 저장된 학습 배경을 비교하여 배경 유사도 값을 결정하는 데, 이러한 배경의 비교는, 예컨대 SSIM(Structural Similarity Index Measure) 또는 MSE(Mean Square Error) 방식을 이용할 수 있으며, 배경의 비교 결과로서 얻어지는 배경 유사도 값(예컨대, SSIM 값)은 위조 판별 블록(114)으로 전달된다.
일반적으로, 위조 영상이 아닌 실제 영상에서는 얼굴을 제외한 배경 영역이 처음에 저장한 배경 영역(학습 배경 영역)과 동일하게 되며, 그에 따라 SSIM은 거의 "1"의 값을 갖게 된다. 그렇기 때문에 만일 위조 영상이 입력될 경우 배경 정보(배경 영역)가 차이가 나게 되어 SSIM의 값이 감소하게 되므로 이를 통해 위조 영상을 판별할 수 있게 된다.
다음에, 움직임 정보 비교 블록(112)은 얼굴 영역의 움직임 벡터 성분(움직임 정보)과 현재 배경 내의 움직임 벡터 성분을 추출(계산)한 후 비교하는데, 이러한 움직임 정보의 분석을 위해서는, 예컨대 이 기술분야야 잘 알려진 광류(Optical Flow) 측정 기법을 사용할 수 있으며, LK(Lucas-Kanade) 알고리즘을 이용할 수 있다. 여기에서, 계산된 광류의 벡터 성분 값들은 얼굴을 기준으로 한 얼굴 영역의 벡터 성분을 제외한 현재 배경 영역의 벡터 평균이 되는데, 이를 기준으로 아래의 수학식 1과 같이 BMI(Background Motion Index)(움직임 정보)를 산출하여 위조 판별 블록(114)으로 전달한다.
[수학식 1]
BMI = 1-(Motioncur/Motionmax)
즉, 움직임 정보 비교 블록(112)은 현재 시간의 t번째 프레임과 t-1번째 프레임에서 특징점을 추출하고, 추출된 각 특징점 간의 움직임 벡터를 산출하며, 산출된 움직임 벡터 성분이 현재 배경의 움직임 벡터 성분인지 혹은 움직임 객체(얼굴 영역)의 움직임 벡터 성분인지를 결정하고, 최대 움직임 벡터 성분을 기준으로 결정된 움직임 벡터 성분을 정규화함으로써 BMI를 산출한다.
일반적으로, BMI값은 움직임이 있는 경우에 감소하게 되므로, 만일 사람 대신에 움직임이 없는 사진이나 LCD 등의 디스플레이 영상을 카메라에 입력으로 넣을 경우 배경으로 판단되는 영역이 손 떨림 등으로 움직이게 되며, 사진, LCD 영상 등의 움직임으로 인해 BMI 값이 변화하게 되고, SSIM의 경우에는 정상적인 경우보다 그 수치가 크게 떨어지는 것을 알 수 있다.
다음에, 위조 판별 블록(114)은 배경간 비교 블록(110)으로부터 전달되는 배경 유사도 결과 값(배경의 비교 결과 값 : SSIM 값)과 움직임 정보 비교 블록(112)으로부터 제공되는 BMI 값(움직임 정보의 비교 결과 값)을 취합하여 아래의 수학식 2와 같이 실제 영상 인덱스(Liveness Index) 값을 산출한다. 하기의 수학식 2에서, α와β는 두 값(SSIM, BMI)의 반영도를 각각 나타낸다.
[수학식 2]
Liveness Index = αㅇSSIM + βㅇBMI
그리고, 위조 판별 블록(114)은 산출된 실제 영상 인덱스 값이 기 설정된 문턱치보다 클 때 해당 입력 영상을 위조 영상으로 판별하고, 그 이외일 때 입력 영상을 실제 영상으로 판별한다. 즉 위조 판별 블록(114)은 위조에 나타날 수 있는 값의 변화 특징을 분석하여 입력 영상의 위조 여부를 판별한다.
한편, 본 발명의 위조 영상 판별 장치는 깜박임 검출 블록(116)을 더 포함할 수 있는데, 이러한 깜박임 검출 블록(116)에서는 얼굴 추출 블록(108)으로부터 전달되는 얼굴 영역으로부터 눈의 깜박임 여부를 검출하며, 그 검출 결과를 위조 판별 블록(114)으로 전달한다.
그 결과, 위조 판별 블록(114)에서는 산출된 실제 영상 인덱스 값이 기 설정된 문턱치보다 작으면서 눈의 깜박임이 검출될 때 해당 입력 영상을 실제 영상으로 판별하게 된다. 즉, 위조 판별 블록(114)은 산출된 실제 영상 인덱스 값이 기 설정된 문턱치보다 비록 작더라도 눈의 깜박임이 검출되지 않으면, 해당 입력 영상을 위조 영상으로 판단하게 된다.
한편, 본 발명의 실시 예에서는 현재 프레임 내 현재 배경과의 비교 대상인 학습 배경을 가우시안 혼합 모델(Gaussian Mixture Model)을 이용하는 배경 학습을 통해 자동 생성하는 것으로 하여 설명하였으나, 본 발명이 반드시 이에 한정되는 것은 아니며, 사용자 지정(선택)의 배경 영상을 학습 배경으로 선택하도록 설정할 수도 있음은 물론이다.
다음에, 상술한 바와 같은 구성을 갖는 본 발명의 위조 영상 판별 장치를 이용하여 얼굴과 배경 정보의 결합을 통해 위조 영상을 판별하는 일련의 과정에 대하여 상세하게 설명한다.
도 2는 본 발명의 실시 예에 따라 얼굴과 배경의 결합을 통해 위조 영상을 판별하는 과정을 도시한 순서도이다.
도 2를 참조하면, 시스템이 셋팅되면, 배경 학습 블록(104)에서는 영상 획득 블록(102)으로부터 기 설정된 시간동안 입력되는 다수의 배경(입력 영상) 중 현재 배경을 기준으로 각 픽셀의 평균과 광 분산을 K개의 가우시안 혼합 모델(Gaussian Mixture Model)로 모델링하는 배경 학습을 수행함으로써(단계 202), K개의 모델을 생성하고 이 생성된 K개의 모델 중 상대적으로 가장 높은 가중치를 갖는 모델의 배경을 기준 배경(또는 학습 배경)으로 선택하여 저장 블록(106)에 저장한다(단계 204).
여기에서, 기준 배경은 가장 높은 확률로 현재 프레임까지의 평균 배경으로 추정되는데, 현재까지의 가장 높은 확률을 갖는 배경 모델을 지속적으로 생성하는 방식으로 갱신(업데이트)될 수 있다.
다음에, 얼굴 추출 블록(108)에서는 이 기술분야에 잘 알려진 얼굴 검출기(예컨대, Viola-Jones의 Face Detector)를 이용하여, 영상 획득 블록(102)으로부터 제공되는 입력 영상에 얼굴 영역(움직임 객체)이 존재하는 지의 여부를 검출(추출), 인증용 영상(인증 대상자의 얼굴 정보가 포함된 입력 영상)이 입력되는 지의 여부를 체크한다(단계 206). 여기서, 본 발명의 실시 예에서는 Viola-Jones의 Face Detector를 얼굴 검출기로 이용하는 것으로 설명하였으나 본 발명이 반드시 이에 한정되는 것은 아니며, 사용자 지정(선택)의 얼굴 검출기를 선택하도록 할 수 있음은 물론이다.
상기 단계(206)에서의 체크 결과, 입력 영상이 인증용 영상인 것으로 판단되면, 얼굴 추출 블록(108)에서는 마스킹 기법 등을 이용하여 입력 영상(현재 프레임)을 움직임 객체(얼굴 영역)와 현재 배경(얼굴 영역을 제외한 현재 배경 영역)으로 분리한 후(단계 208), 배경간 비교 블록(110)으로 분리된 현재 배경을 제공하고, 움직임 정보 비교 블록(112)으로 움직임 객체와 현재 배경으로 된 입력 영상을 제공한다. 여기에서, 깜박임 검출 블록(116)으로 분리된 움직임 객체가 제공되도록 설정될 수도 있다.
이에 응답하여, 배경간 비교 블록(110)에서는 현재 배경과 저장 블록(106)에 저장된 기준 배경(또는 학습 배경)을 비교하여 배경 유사도 값을 결정, 즉 SSIM 또는 MSE 방식을 이용하여 배경 유사도 값(예컨대, SSIM 값)을 결정한 후(단계 210), 위조 판단 블록(114)으로 전달한다.
이어서, 움직임 정보 비교 블록(112)에서는, 예컨대 광류 측정 기법 등을 이용하여, 움직임 객체(얼굴 영역) 내의 움직임 벡터 성분(움직임 정보)과 현재 배경 내의 움직임 벡터 성분을 산출(계산)하여 비교함으로써(단계 212), BMI(움직임 정보)를 산출하며, 이와 같이 산출되는 BMI 값은 위조 판별 블록(114)으로 전달되는데, 이와 같이 BMI 값을 산출하는 구체적인 과정에 대해서는 도 3을 참조하여 상세하게 설명한다.
도 3은 본 발명에 따라 움직인 객체 영역과 현재 배경 영역의 움직임 벡터 성분에 의거하여 BMI를 산출하는 과정을 도시한 순서도이다.
도 3을 참조하면, 움직임 정보 비교 블록(112)에서는 현재 시간의 t번째 프레임과 t-1번째 프레임에서 특징점을 추출하고(단계 302), 이 추출된 각 특징점 간의 움직임 벡터를 산출한다(단계 304).
다음에, 움직임 정보 비교 블록(112)은 산출된 움직임 벡터 성분이 현재 배경의 움직임 벡터 성분인지 혹은 움직임 객체(얼굴 영역)의 움직임 벡터 성분인지를 결정한다(단계 306).
이어서, 움직임 정보 비교 블록(112)은 최대 움직임 벡터 성분을 기준으로 결정된 움직임 벡터 성분을 정규화함으로써(단계 308), 해당 입력 영상에 대한 BMI(움직임 정보)를 산출하며(단계 310), 이와 같이 산출된 BMI 값은 위조 판별 블록(114)으로 전달된다.
다시, 도 2를 참조하면, 위조 판별 블록(114)에서는 배경간 비교 블록(110)으로부터 제공되는 배경 유사도 결과 값(배경의 비교 결과 값)과 움직임 정보 비교 블록(112)으로부터 제공되는 BMI 값(움직임 정보의 비교 결과 값)을 이용하여 실제 영상 인덱스(LI) 값을 산출한다(단계 214).
다음에, 위조 판별 블록(114)에서는 산출된 실제 영상 인덱스(LI) 값과 기 설정된 문턱치(n)간의 비교를 통해 입력 영상의 위조 여부를 판별(단계 216), 즉 비교 결과 LI가 n보다 작을 때 입력 영상을 실제 영상(정상의 인증용 영상)으로 판별하고(단계 218), 비교 결과 LI가 n보다 클 때 입력 영상을 위조 영상으로 판별한다(단계 220).
한편, 본 발명에서는 인증 대상자의 얼굴 영역에 있는 눈의 깜박임을 부가적으로 검출하여 위조 영상의 판별에 활용할 수 있다. 즉, 인증 대상자의 눈의 깜박임을 검출함으로써, 산출된 실제 영상 인덱스 값이 기 설정된 문턱치보다 작으면서 눈의 깜박임이 검출될 때 해당 입력 영상을 실제 영상으로 판별하고, 산출된 실제 영상 인덱스 값이 기 설정된 문턱치보다 비록 작더라도 눈의 깜박임이 검출되지 않으면, 해당 입력 영상을 위조 영상으로 판단한다.
이상의 설명에서는 본 발명의 바람직한 실시 예를 제시하여 설명하였으나 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함을 것을 쉽게 알 수 있을 것이다.
102 : 영상 획득 블록 104 : 배경 학습 블록
106 : 저장 블록 108 : 얼굴 추출 블록
110 : 배경간 비교 블록 112 : 움직임 정보 비교 블록
114 : 위조 판별 블록 116 : 깜박임 검출 블록

Claims (20)

  1. 카메라를 통해 촬상되어 입력되는 영상을 획득하는 영상 획득 블록과,
    상기 영상의 배경을 학습하여 학습 배경을 생성하는 배경 학습 블록과,
    상기 카메라로부터 인증용의 입력 영상이 전달될 때 인증 대상자의 얼굴 영역을 추출하는 얼굴 추출 블록과,
    상기 얼굴 영역이 제거된 입력 영상의 현재 배경과 상기 학습 배경을 비교하는 배경간 비교 블록과,
    상기 얼굴 영역과 현재 배경 내 움직임 정보를 추출하여 비교하는 움직임 정보 비교 블록과,
    상기 움직임 정보의 비교 결과와 배경의 비교 결과를 이용하여 상기 입력 영상의 위조 여부를 판별하는 위조 판별 블록
    을 포함하는 위조 영상 판별 장치.
  2. 제 1 항에 있어서,
    상기 배경 학습 블록은,
    상기 카메라를 통해 기 설정된 시간동안 입력되는 다수의 배경 각각에 대해 픽셀의 평균과 광 분산을 산출하여 가우시안 혼합 모델(Gaussian Mixture Model)로 모델링하는 배경 학습을 통해 상기 학습 배경을 생성하는
    것을 특징으로 하는 위조 영상 판별 장치.
  3. 제 2 항에 있어서,
    상기 배경 학습 블록은,
    상기 모델링을 통해 생성되는 모델 중 상대적으로 가장 높은 가중치를 갖는 모델의 배경을 상기 학습 배경으로 선택하는
    것을 특징으로 하는 위조 영상 판별 장치.
  4. 제 1 항에 있어서,
    상기 배경간 비교 블록은,
    SSIM(Structural Similarity Index Measure) 또는 MSE(Mean Square Error) 방식을 이용하여 상기 현재 배경과 학습 배경을 비교하는
    것을 특징으로 하는 위조 영상 판별 장치.
  5. 제 1 항에 있어서,
    상기 움직임 정보 비교 블록은,
    상기 얼굴 영역의 움직임 벡터 성분과 상기 현재 배경의 움직임 벡터 성분을 비교하는
    것을 특징으로 하는 위조 영상 판별 장치.
  6. 제 5 항에 있어서,
    상기 움직임 정보 비교 블록은,
    아래의 수학식과 같이 상기 현재 배경의 움직임 정보(BMI)를 산출하는
    BMI=1-(Motioncur/Motionmax)
    것을 특징으로 하는 위조 영상 판별 장치.
  7. 제 1 항에 있어서,
    상기 위조 판별 블록은,
    상기 움직임 정보의 비교 결과와 상기 배경의 비교 결과를 이용하여 실제 영상 인덱스(Liveness Index) 값을 산출하고, 이 산출된 실제 영상 인덱스 값에 의거하여 상기 입력 영상의 위조 여부를 판별하는
    것을 특징으로 하는 위조 영상 판별 장치.
  8. 제 7 항에 있어서,
    상기 위조 판별 블록은,
    아래의 수학식과 같이 상기 실제 영상 인덱스 값을 산출하는
    Liveness Index = αㅇSSIM + βㅇBMI
    (상기 SSIM는 Structural Similarity Index Measure, 상기 BMI는 Background Motion Index, 상기 α와β는 두 값의 반영도임)
    것을 특징으로 하는 위조 영상 판별 장치.
  9. 제 8 항에 있어서,
    상기 위조 판별 블록은,
    상기 실제 영상 인덱스 값이 기 설정된 문턱치보다 클 때 상기 입력 영상을 위조 영상으로 판별하는
    것을 특징으로 하는 위조 영상 판별 장치.
  10. 제 1 항에 있어서,
    상기 위조 영상 판별 장치는,
    상기 얼굴 영역으로부터 눈의 깜박임을 검출하는 깜박임 검출 블록
    을 더 포함하고,
    상기 위조 판별 블록은,
    상기 눈의 깜박임이 검출되지 않을 때 상기 움직임 정보의 비교 결과와 상기 배경의 비교 결과를 이용하여 상기 입력 영상의 위조 여부를 최종 판별하는
    것을 특징으로 하는 위조 영상 판별 장치.
  11. 기준 배경을 생성하는 과정과,
    카메라를 통해 촬상한 입력 영상으로부터 움직임 객체가 검출될 때 현재 프레임의 현재 배경과 상기 움직임 객체를 분리하는 과정과,
    상기 기준 배경과 현재 배경의 일치 여부를 비교하는 과정과,
    상기 움직임 객체와 현재 배경의 움직임 벡터 성분을 산출하여 비교하는 과정과,
    배경의 일치 여부 비교 결과 값과 움직임 벡터 성분의 비교 결과 값을 이용하여 실제 영상(Liveness) 인덱스 값을 산출하는 과정과,
    상기 산출된 실제 영상 인덱스 값에 의거하여 상기 입력 영상의 위조 여부를 판별하는 과정
    을 포함하는 위조 영상 판별 방법.
  12. 제 11 항에 있어서,
    상기 기준 배경은,
    상기 카메라로부터 기 설정된 시간동안 입력되는 다수의 배경 각각에 대해 픽셀의 평균과 광 분산을 산출하여 가우시안 혼합 모델(Gaussian Mixture Model)로 모델링하는 배경 학습을 통해 생성되는
    것을 특징으로 하는 위조 영상 판별 방법.
  13. 제 12 항에 있어서,
    상기 위조 영상 판별 방법은,
    상기 모델링을 통해 생성되는 모델 중 상대적으로 가장 높은 가중치를 갖는 모델의 배경을 상기 기준 배경으로 선택하는
    것을 특징으로 하는 위조 영상 판별 방법.
  14. 제 11 항에 있어서,
    상기 기준 배경은,
    사용자 선택의 배경인
    것을 특징으로 하는 위조 영상 판별 방법.
  15. 제 11 항에 있어서,
    상기 기준 배경과 현재 배경의 일치 여부를 비교하는 과정은,
    SSIM(Structural Similarity Index Measure) 방식을 이용하여 수행되는
    것을 특징으로 하는 위조 영상 판별 방법.
  16. 제 11 항에 있어서,
    상기 기준 배경과 현재 배경을 비교하는 과정은,
    MSE(Mean Square Error) 방식을 이용하여 수행되는
    것을 특징으로 하는 위조 영상 판별 방법.
  17. 제 16 항에 있어서,
    움직임 벡터 성분을 산출하여 비교하는 과정은,
    현재 시간의 t번째 프레임과 t-1번째 프레임에서 특징점을 추출하는 과정과,
    추출된 각 특징점 간의 움직임 벡터를 산출하는 과정과,
    산출된 움직임 벡터 성분이 상기 현재 배경의 움직임 벡터 성분인지 혹은 상기 움직임 객체의 움직임 벡터 성분인지를 결정하는 과정과,
    최대 움직임 벡터 성분을 기준으로 상기 결정된 움직임 벡터 성분을 정규화하는 과정과,
    상기 정규화된 움직임 벡터 성분에 의거하여 BMI(Background Motion Index)를 산출하는 과정
    을 포함하는 것을 특징으로 하는 위조 영상 판별 방법.
  18. 제 17 항에 있어서,
    상기 실제 영상(Liveness) 인덱스 값은,
    상기 SSIM과 BMI에 두 값의 반영도 α, β 값을 기준으로 합산하여 산출되는
    것을 특징으로 하는 위조 영상 판별 방법.
  19. 제 18 항에 있어서,
    상기 위조 영상 판별 방법은,
    상기 실제 영상 인덱스 값이 기 설정된 문턱치보다 클 때 상기 입력 영상을 위조 영상으로 판별하는
    것을 특징으로 하는 위조 영상 판별 방법.
  20. 제 19 항에 있어서,
    상기 위조 영상 판별 방법은,
    상기 분리된 움직임 객체의 얼굴로부터 눈의 깜박임 여부를 검출하는 과정
    을 더 포함하고,
    상기 판별하는 과정은,
    상기 눈의 깜박임이 검출되지 않을 때 상기 산출된 실제 영상 인덱스 값에 의거하여 상기 입력 영상의 위조 여부를 판별하는
    것을 특징으로 하는 위조 영상 판별 방법.
KR1020100051996A 2010-02-04 2010-06-01 위조 영상 판별 장치 및 그 방법 KR101159164B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/017,651 US8515124B2 (en) 2010-02-04 2011-01-31 Method and apparatus for determining fake image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20100010644 2010-02-04
KR1020100010644 2010-02-04

Publications (2)

Publication Number Publication Date
KR20110090731A true KR20110090731A (ko) 2011-08-10
KR101159164B1 KR101159164B1 (ko) 2012-06-22

Family

ID=44928457

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100051996A KR101159164B1 (ko) 2010-02-04 2010-06-01 위조 영상 판별 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101159164B1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101381343B1 (ko) * 2013-09-14 2014-04-04 주식회사 코어셀 얼굴인식기술을 이용하여 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법
KR20170006355A (ko) * 2015-07-08 2017-01-18 주식회사 케이티 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
KR20190128528A (ko) * 2018-05-08 2019-11-18 엘지전자 주식회사 전자 장치 및 그 제어 방법
KR20190133582A (ko) * 2018-05-23 2019-12-03 한국과학기술원 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치
WO2020149591A1 (en) * 2019-01-15 2020-07-23 Samsung Electronics Co., Ltd. Method and apparatus for detecting abnormality of caller
KR20200091799A (ko) * 2019-01-23 2020-07-31 건국대학교 산학협력단 딥 러닝을 통해 생성된 가짜 동영상의 무결성 검증 방법 및 시스템
US10803159B2 (en) 2018-05-14 2020-10-13 Lg Electronics Inc. Electronic device and method for controlling the same
CN112101155A (zh) * 2020-09-02 2020-12-18 北京博睿维讯科技有限公司 一种显示内容核实方法、装置、系统及存储介质
CN112200001A (zh) * 2020-09-11 2021-01-08 南京星耀智能科技有限公司 一种指定场景下深度伪造视频识别方法
KR20210144064A (ko) * 2020-05-21 2021-11-30 경일대학교산학협력단 페이크 얼굴 검출 장치 및 검출 방법
WO2022036145A1 (en) * 2020-08-13 2022-02-17 Argo AI, LLC Testing and validation of a camera under electromagnetic interference
KR20220151941A (ko) * 2021-05-07 2022-11-15 주식회사 카카오뱅크 신경망을 이용한 신분증 도용 탐지 서버 및 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102322029B1 (ko) 2015-03-27 2021-11-04 삼성전자주식회사 생체 정보 획득 방법 및 이를 위한 장치
KR102427861B1 (ko) * 2020-10-12 2022-08-01 국방과학연구소 수중 영상 데이터를 생성하는 장치 및 방법
KR102629848B1 (ko) 2021-08-26 2024-01-25 세종대학교산학협력단 가짜 영상 탐지 방법 및 이를 수행하기 위한 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100473600B1 (ko) * 2002-12-04 2005-03-10 삼성전자주식회사 얼굴 인식 시스템에서의 사진 판별 장치 및 방법
KR100706871B1 (ko) * 2005-08-22 2007-04-12 주식회사 아이디테크 감시영상에서 얼굴의 진위 여부를 구별하는 방법

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101381343B1 (ko) * 2013-09-14 2014-04-04 주식회사 코어셀 얼굴인식기술을 이용하여 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법
KR20170006355A (ko) * 2015-07-08 2017-01-18 주식회사 케이티 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
KR20220150868A (ko) * 2015-07-08 2022-11-11 주식회사 케이티 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
KR20190128528A (ko) * 2018-05-08 2019-11-18 엘지전자 주식회사 전자 장치 및 그 제어 방법
US10803159B2 (en) 2018-05-14 2020-10-13 Lg Electronics Inc. Electronic device and method for controlling the same
KR20190133582A (ko) * 2018-05-23 2019-12-03 한국과학기술원 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치
WO2020149591A1 (en) * 2019-01-15 2020-07-23 Samsung Electronics Co., Ltd. Method and apparatus for detecting abnormality of caller
US11178275B2 (en) 2019-01-15 2021-11-16 Samsung Electronics Co., Ltd. Method and apparatus for detecting abnormality of caller
KR20200091799A (ko) * 2019-01-23 2020-07-31 건국대학교 산학협력단 딥 러닝을 통해 생성된 가짜 동영상의 무결성 검증 방법 및 시스템
KR20210144064A (ko) * 2020-05-21 2021-11-30 경일대학교산학협력단 페이크 얼굴 검출 장치 및 검출 방법
US11341682B2 (en) 2020-08-13 2022-05-24 Argo AI, LLC Testing and validation of a camera under electromagnetic interference
WO2022036145A1 (en) * 2020-08-13 2022-02-17 Argo AI, LLC Testing and validation of a camera under electromagnetic interference
US11734857B2 (en) 2020-08-13 2023-08-22 Argo AI, LLC Testing and validation of a camera under electromagnetic interference
CN112101155A (zh) * 2020-09-02 2020-12-18 北京博睿维讯科技有限公司 一种显示内容核实方法、装置、系统及存储介质
CN112101155B (zh) * 2020-09-02 2024-04-26 北京博睿维讯科技有限公司 一种显示内容核实方法、装置、系统及存储介质
CN112200001A (zh) * 2020-09-11 2021-01-08 南京星耀智能科技有限公司 一种指定场景下深度伪造视频识别方法
KR20220151941A (ko) * 2021-05-07 2022-11-15 주식회사 카카오뱅크 신경망을 이용한 신분증 도용 탐지 서버 및 방법

Also Published As

Publication number Publication date
KR101159164B1 (ko) 2012-06-22

Similar Documents

Publication Publication Date Title
KR101159164B1 (ko) 위조 영상 판별 장치 및 그 방법
US8515124B2 (en) Method and apparatus for determining fake image
US10891466B2 (en) Face verification method and apparatus
US20210287026A1 (en) Method and apparatus with liveness verification
US9864756B2 (en) Method, apparatus for providing a notification on a face recognition environment, and computer-readable recording medium for executing the method
JP5010905B2 (ja) 顔認証装置
KR101415287B1 (ko) 라이브니스 검출을 위한 방법, 컴퓨터 판독가능한 저장 디바이스 및 컴퓨팅 디바이스
KR101393717B1 (ko) 얼굴 인식 기술
CN105893920B (zh) 一种人脸活体检测方法和装置
WO2016084072A1 (en) Anti-spoofing system and methods useful in conjunction therewith
CN111144293A (zh) 带交互式活体检测的人脸身份认证系统及其方法
KR20120139100A (ko) 얼굴 인증을 이용한 보안 장치 및 방법
US10922399B2 (en) Authentication verification using soft biometric traits
US20190384965A1 (en) A method for selecting frames used in face processing
KR20190136349A (ko) 3d 영상 기반의 얼굴 인증 방법 및 장치
JP5726596B2 (ja) 画像監視装置
WO2020195732A1 (ja) 画像処理装置、画像処理方法、およびプログラムが格納された記録媒体
KR101455666B1 (ko) 인증 장치 및 그 인증 방법
CN111066023A (zh) 检测系统、检测设备及其方法
CN107862298B (zh) 一种基于红外摄像装置下眨眼的活体检测方法
KR100825689B1 (ko) 얼굴 위장 판별 방법
JP5726595B2 (ja) 画像監視装置
CN109196517B (zh) 对照装置和对照方法
KR101799335B1 (ko) 단안 카메라를 이용한 위조 얼굴 판별 시스템 및 이를 이용한 위조 얼굴 판별 방법
KR20140134549A (ko) 연속 촬영 이미지에서의 고조점 이미지 추출 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150527

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160527

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee