KR20080037447A

KR20080037447A - 얼굴 영상의 위조 여부를 판별하는 방법 및 그 장치

Info

Publication number: KR20080037447A
Application number: KR1020060104615A
Authority: KR
Inventors: 지형근; 정성욱; 정윤수; 김기현; 유장희; 정교일
Original assignee: 한국전자통신연구원
Priority date: 2006-10-26
Filing date: 2006-10-26
Publication date: 2008-04-30
Also published as: KR100842258B1

Abstract

본 발명에 의한 얼굴 영상의 위조 여부를 판별하는 방법 및 그 장치는 연속적으로 입력되는 얼굴 영상에서 두 눈의 중심을 검출하는 단계; 상기 두 눈의 중심을 기초로 상기 얼굴 영상의 크기 및 조명에 대한 정규화를 수행하는 단계; 및 상기 정규화된 얼굴 영상에서 두 눈 영역을 검출한 후 눈의 움직임을 검출하여 상기 얼굴 영상의 위조여부를 판단하는 단계;를 포함하는 것을 특징으로 하며, 기존의 자원 제약적인 임베디드 얼굴 인식 시스템에서 추가적인 장비 없이 적은 계산량으로 사진과 같은 위조 얼굴과 실제 얼굴을 판별함으로써 부정 사용을 막아 얼굴 인식 시스템의 보안성 및 신뢰성을 높일 수 있다.

얼굴 인식, 위조 얼굴 판별, 이진화, 해밍거리

Description

얼굴 영상의 위조 여부를 판별하는 방법 및 그 장치{Methdo for detecting forged face image and apparatus thereof}

도 1은 본 발명에 의한 얼굴 영상의 위조 여부를 판별하는 방법이 적용되는 전체 얼굴 인식 과정을 보여주는 흐름도이다.

도 2는 도 1의 위조 얼굴 판별 과정(120)을 보다 상세하게 보여주는 흐름도이다.

도 3은 본 발명에 의한 얼굴 영상의 위조 여부를 판별하는 방법에 있어서, 얼굴 영역 정규화를 나타낸 도면이다.

도 4는 본 발명에 의한 얼굴 영상의 위조 여부를 판별하는 방법에 있어서, 눈 영역 이진화 영상을 나타낸 도면이다.

도 5는 본 발명에 의한 얼굴 영상의 위조 여부를 판별하는 방법에 있어서, 해밍거리(Hamming distance)를 이용한 위조 얼굴 판별 과정(260)을 보다 상세하게 보여주는 흐름도이다.

도 6은 얼굴 영상의 위조 여부를 판별하는 장치의 구성을 보여주는 블록도이다.

본 발명은 얼굴을 이용한 사용자 인증 시스템에서, 입력되는 얼굴 영상이 실제 얼굴인지 사진 영상인지를 판별하기 위한 방법 및 그 장치에 관한 것으로, 보다 상세하게는 연속적으로 입력되는 얼굴 영상에서 눈 영역을 검출하고 검출된 눈 영역들의 변화량을 계산하여 실제 얼굴인지 사진 영상인지를 판단하는 얼굴 영상의 위조 여부를 판별하는 방법 및 그 장치에 관한 것이다.

바이오 인식 기술은 개인의 신체 특징이나 행동 등의 정보를 이용한 개인 인증 기술이므로 분실하거나 암기할 필요가 없다는 장점이 있으며, 또한 개인의 바이오정보를 직접 시스템에 입력해야 하므로 보안적인 측면에서도 기존의 패스워드를 이용한 기술보다 안전하다는 장점이 있어 기존의 패스워드 및 ID 카드 기반의 개인 인증 기술을 대체할 차세대 기술로 각광받고 있다.

하지만 바이오 인식에서의 위조 바이오정보 생성 기술 또한 발전함에 따라 시스템에서의 바이오정보 입력 시 생기는 위조 바이오 정보의 문제는 바이오 인식의 신뢰성 및 보안성을 떨어뜨리는 가장 큰 요인이 되고 있으며, 종래의 일반적인 바이오 인식 알고리즘으로는 실제 바이오정보와 위조 바이오정보를 구별하는데 어려움이 있다.

얼굴 인식의 경우 자외선 카메라를 통해 촬영한 얼굴의 vein map을 이용하거나 열 적외선 카메라를 통해 촬영한 얼굴의 열 분포를 이용하면 위조 얼굴과 실제 얼굴을 쉽게 판별할 수 있으나 이러한 카메라 장비는 값이 무척 비싸 실제 시스템에 적용하는 데는 한계가 있다. 또한 사용자로 하여금 말을 하게 하거나 움직이도 록 지시하는 방법은 사용자로 하여금 불편함을 느끼게 만드는 문제점이 있다.

본 발명이 이루고자 하는 기술적 과제는 상기와 같은 종래의 문제점을 해결하기 위하여 제안된 것으로서, 자원 제약적인 임베디드 얼굴 인식 시스템에서 추가적인 장비를 사용하지 않고 기존의 카메라만을 이용하여 메모리의 사용량과 계산 복잡도를 줄이면서 입력 영상이 얼굴 사진과 같은 위조 얼굴인지 실제 살아있는 얼굴인지를 판별함으로써 얼굴 인식 시스템의 신뢰성 및 보안성을 높일 수 있는 얼굴 영상의 위조 여부를 판별하는 방법 및 그 장치를 제공하는데 있다.

상기의 기술적 과제를 이루기 위하여, 본 발명에 의한 얼굴 영상의 위조 여부를 판별하는 방법은 연속적으로 입력되는 얼굴 영상에서 두 눈의 중심을 검출하는 단계; 상기 두 눈의 중심을 기초로 상기 얼굴 영상의 크기 및 조명에 대한 정규화를 수행하는 단계; 및 상기 정규화된 얼굴 영상에서 두 눈 영역을 검출한 후 눈의 움직임을 검출하여 상기 얼굴 영상의 위조여부를 판단하는 단계;를 포함하는 것을 특징으로 한다.

상기의 기술적 과제를 이루기 위하여, 본 발명에 의한 얼굴 영상의 위조 여부를 판별하는 장치는 얼굴 영상을 연속적으로 획득하는 영상획득부; 상기 획득된 얼굴 영상에 대하여 두 눈의 중심을 기초로 크기 및 조명에 대한 정규화를 수행하는 정규화부; 정규화된 얼굴 영상에서 눈 영역을 추출하여 이진화하는 추출부; 및 상기 이진화된 눈영역의 변화량을 계산하여 그 값과 소정의 임계치를 비교하여 상 기 입력되는 얼굴 영상이 위조된 것인지의 여부를 결정하는 판별부;를 포함하는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 의한 위조 얼굴 판별 방법에 대하여 상세하게 설명한다. 도 1은 본 발명에 의한 얼굴 영상의 위조 여부를 판별하는 방법이 적용되는 전체 얼굴 인식 과정을 보여주는 흐름도이고, 도 2는 도 1의 위조 얼굴 판별 과정(120)을 보다 상세하게 보여주는 흐름도이다. 그리고 도 3은 본 발명에 의한 얼굴 영상의 위조 여부를 판별하는 방법에 있어서, 얼굴 영역 정규화를 나타낸 도면이며, 도 4는 본 발명에 의한 얼굴 영상의 위조 여부를 판별하는 방법에 있어서, 눈 영역 이진화 영상을 나타낸 도면이다. 한편 도 5는 본 발명에 의한 얼굴 영상의 위조 여부를 판별하는 방법에 있어서, 해밍거리(Hamming distance)를 이용한 위조 얼굴 판별 과정(260)을 보다 상세하게 보여주는 흐름도이다. 마지막으로 도 6은 얼굴 영상의 위조 여부를 판별하는 장치의 구성을 보여주는 블록도이다.

먼저 도 1을 참조하면서 전체의 흐름을 개괄적으로 살펴본다. 도 1에 도시된 바와 같이, 전체 얼굴 인식 과정은 연속되는 영상을 입력받아(110) 위조 얼굴인지 아닌지를 판별하게 된다(120). 위조 얼굴 판별 과정(120)에서는 입력된 입력 영상이 위조 얼굴 인지 실제 얼굴인지를 판단하게 된다(130). 실제 얼굴이면 본격적인 얼굴 인식과정을 거치게 되는 것이고(140), 위조 얼굴인 경우에는 얼굴 인식이 종료되게 된다.

이제 도 2를 참조하면서 본 발명에 의한 위조 얼굴 판별 과정을 살펴본다. 연속된 얼굴 영상에서 표정이나 얼굴의 구성요소들의 움직임은 거의 없으나 움직임 이 가장 많은 부분은 눈 영역이다. 눈 영역은 의식적으로 또는 비의식적으로 깜박임이나 눈동자의 움직임이 발생한다. 따라서 본 발명에서는 눈의 움직임을 검출하여 위조 얼굴을 판별하는 방법을 사용하였다.

영상이 획득되면(210) 영상에서 초기 얼굴 영역을 검출하고 검출된 얼굴 영역 내에서 두 눈의 중심을 검출한다(220).

그 다음, 얼굴 영역을 정규화(230)하게 되는데 크기 정규화와 조명 정규화를 수행한다. 먼저 220단계에서 검출된 두 눈의 중심을 이용하여 얼굴 영역에 대하여 크기정규화를 수행한다. 이는 인식코자 하는 대상물의 크기나 방향이 다를 수 있으므로, 이를 동일한 크기 및 방향으로 정규화하여 인식이 용이하도록 하기 위한 것이다. 그 다음으로, 상기 크기 정규화된 얼굴 영역을 조명에 대한 영향을 줄이기 위하여 히스토그램 평활화와 같은 방법을 이용하여 조명 정규화를 한다. 조명에 대한 전처리를 하는 이유는 이후에 눈 영역을 이진화하는 과정에서 조명에 의해 픽셀 값이 변하는 것을 방지하기 위함이다.

그리고, 상기 크기 및 조명에 대해 정규화된 얼굴 영상에서 두 눈의 중심을 기준으로 일정 눈 영역을 추출하고 기 설정된 임계치(여기서 임계치는 사용자가 상황에 따라 임의로 설정할 수 있으며, trial and error방식으로 설정될 수 있다)를 이용하여 이진화를 수행한 후 저장(240)하게 되는데 이 과정을 N회 반복한다(250). N회 반복하게 되면 왼쪽 눈 영역 N개(LeftEye1,2,...,N)와 오른쪽 눈 영역 N개(RightEye1,2,...,N)가 생성된다. 이 때 반복횟수도 사용자가 상황에 따라 임의로 설정할 수 있으며, trial and error방식으로 가장 적절한 횟수를 구하는 것이 바람직하다.

마지막으로, 상기 저장된 눈 영역들을 비교한 후 변화량을 계산하여 위조 얼굴인지 아닌지를 판단하게 된다(260).

따라서, 추가적인 장비나 사용자의 불편 없이 적은 양의 계산을 통하여 임베디드 환경에서 실시간으로 실제 얼굴인지 사진을 이용한 위조 얼굴인지를 판단할 수 있게 된다.

도 3은 상술한 위조 얼굴 판별 과정에 있어서, 얼굴 영역을 크기 및 조명에 대하여 정규화하는 과정(230)을 나타낸 도면으로서, 얼굴 영역의 정규화는 다음과 같이 이루어질 수 있다.

먼저 검출된 얼굴 영상의 두 눈을 살펴보면 310에서와 같이 고개가 기울어진 상태가 보통이므로, 두 눈을 잇는 선은 기울게 된다. 이 검출된 두 눈의 중심의 기울기를 이용하여, 영상을 회전시켜 영상의 기울기를 보정하고, 두 눈의 중심 사이의 거리를 이용해 일정한 크기만큼(여기서 그 크기는 사용자가 상황에 따라 임의로 설정할 수 있으며, trial and error방식으로 설정될 수 있다)의 얼굴 후보 영역을 클리핑하여 얼굴 영상을 만든다. 그리고, 클리핑된 얼굴 영상을 미리 설정된 기준 크기(여기서 기준 크기는 사용자가 상황에 따라 임의로 설정할 수 있으며, trial and error방식으로 설정될 수 있다)로 샘플링한다(320).

마지막으로 샘플링된 얼굴 영역을 조명에 대한 변화를 줄여주기 위하여 히스토그램 평활화와 같은 방법으로 조명 정규화 과정을 수행한다(330).

도 4는 상술한 위조 얼굴 판별 과정에 있어서, 눈 영역을 이진화한 결과를 보여주는 그림으로서, 눈 영역의 이진화는 다음과 같이 이루어질 수 있다.

상기 230단계에서 정규화한 얼굴 영상에서 두 눈의 중심을 기준으로 눈 영역을 추출한다. 그리고 미리 정해진 임계치(여기서 임계치는 사용자가 상황에 따라 임의로 설정할 수 있으며, trial and error방식으로 설정될 수 있다)를 이용하여 그레이 영상의 각 픽셀 값을 0과 1의 이진 영상으로 변환한다. 눈의 깜박임 뿐만 아니라 눈동자의 움직임에 의해서도 눈의 중심이 변화하기 때문에 그림에서 보여지는 바와 같이 사진 영상은 항상 일정한 눈의 중심이 검출되므로 연속된 얼굴의 눈 이진 영상이 거의 유사(410)하지만. 실제 얼굴의 경우에는 눈동자의 움직임이나 눈의 깜박임으로 인하여 눈 영역의 이진 영상 간에 차이가 발생한다(420).

도 5는 본 발명에 의한 위조 얼굴 판별 방법에서, 상기 이진화된 눈 영상들을 비교하여 변화량을 계산하고 위조 얼굴 여부를 판단하는 과정(260)을 상세히 나타낸 흐름도이다. 먼저 상기 이진화된 N개의 왼쪽 눈과 N개의 오른쪽 눈들을 입력받아(510) 해밍거리 방법을 이용하여 비교(520)하게 되는데, 총 비교횟수는 왼쪽 눈과 오른쪽 눈을 모두 합쳐 N(N-1)번이 된다. 해밍거리는 같은 비트수를 가진 두 개의 2진수의 대응하는 각 자리를 비교하여 서로 다른 자릿수의 개수를 나타내는 유사도 비교 방법이다. 해밍거리를 이용하여 계산된 변화량을 모두 더한 후에 사전에 정해진 임계치(여기서 임계치는 사용자가 상황에 따라 임의로 설정할 수 있으며, trial and error방식으로 설정될 수 있다)와 비교(530)하여 변화량이 임계치보다 작으면 실제 얼굴로 판단(550)하게 되고 임계치보다 크면 위조 얼굴로 판단(540)하게 된다.

이제, 도 6을 참조하면서 본 발명에 의한 얼굴 영상의 위조 여부를 판별하는 장치의 일 실시예를 설명하도록 한다. 먼저 영상획득부(610)는 외부 인식장치에서 제공하는 얼굴 영상을 연속적으로 수신한다. 정규화부(620)는 얼굴 영상에 대하여 두 눈의 중심을 기초로 크기 및 조명에 대한 정규화를 수행하는 기능을 수행한다. 상기 정규화부(620)를 자세히 설명하면, 상기 얼굴 영상에서 두 눈을 잇는 선분의 기울기를 구하여 영상의 기울기를 보정하여 얼굴 영상을 수평으로 만든다. 클리핑부(623)는 이렇게 기울기가 보정된 얼굴 영상에 대하여 일정한 크기만큼의 얼굴 영역을 클리핑한 후 소정의 크기로 샘플링하여 출력한다.

추출부(630)는 정규화된 얼굴 영상에서 눈 영역을 추출하여 이진화하여 출력한다. 판별부(640)는 상기 추출부(630)가 출력하는 이진화된 눈 영역의 변화량을 계산하여 그 값과 소정의 임계치를 비교하여 상기 입력되는 얼굴 영상이 위조된 것인지의 여부를 결정하게 된다. 이 때, 판별부는 이진화된 각각 N(N은 자연수)개의 왼쪽 눈과 오른 쪽 눈을 비교한 후 눈 영역의 변화량과 소정의 임계치를 비교하여 상기 얼굴 영상이 위조된 것인지의 여부를 결정하게 된다. 도 6의 설명에서 사용된 임계치 및 각 구성요소에서의 기능은 도 1내지 도 5를 참조한 상기 설명과 동일하므로 간략하게 서술하였다.

본 발명에 의한 얼굴 영상의 위조 여부를 판별하는 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD_ROM, 자기테이프, 플로피디스크 및 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.

이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

상술한 바와 같이, 본 발명에 의한 얼굴 영상의 위조 여부를 판별하는 방법 및 그 장치는 기존의 자원 제약적인 임베디드 얼굴 인식 시스템에서 추가적인 장비 없이 적은 계산량으로 사진과 같은 위조 얼굴과 실제 얼굴을 판별함으로써 부정 사용을 막아 얼굴 인식 시스템의 보안성 및 신뢰성을 높일 수 있다.

Claims

(a) 연속적으로 입력되는 얼굴 영상에서 두 눈의 중심을 검출하는 단계;

(b) 상기 두 눈의 중심을 기초로 상기 얼굴 영상의 크기 및 조명에 대한 정규화를 수행하는 단계; 및

(c) 상기 정규화된 얼굴 영상에서 두 눈 영역을 검출한 후 눈의 움직임을 검출하여 상기 얼굴 영상의 위조여부를 판단하는 단계;를 포함하는 것을 특징으로 하는 얼굴 영상의 위조 여부를 판별하는 방법.
제1항에 있어서, 상기 (b)단계는

(b1) 상기 두 눈을 잇는 선분의 중심의 기울기에 따라 상기 얼굴 영상을 회전시켜 기울기를 보정하는 단계;

(b2) 상기 두 눈의 중심 거리를 이용하여 얼굴 후보 영역을 클립핑하는 단계;

(b3) 상기 클립핑된 얼굴 후보 영역을 소정의 크기로 샘플링하여 정규화하는 단계; 및

(b4) 상기 정규화된 얼굴 영역에 대하여 조명에 대한 정규화를 수행하는 단계;로 이루어지는 것을 특징으로 하는 얼굴 영상의 위조 여부를 판별하는 방법.
제1항에 있어서, 상기 (c)단계는

(c1) 상기 두 눈의 중심을 기준으로 일정한 눈 영역을 추출하고 이진화하는 단계; 및

(c2) 상기 이진화된 눈 영역의 변화량을 계산하여 상기 얼굴 영상이 실제 얼굴 영상인지의 여부를 결정하는 단계;를 포함하는 것을 특징으로 하는 얼굴 영상의 위조 여부를 판별하는 방법.
제3항에 있어서, 상기 (c1)단계는

(c1) 상기 정규화된 얼굴 영상에서 상기 두 눈의 중심을 기준으로 일정 눈 영역을 추출하는 단계; 및

(c2) 상기 추출된 눈 영역을 소정의 임계치를 적용하여 이진화하는 단계;를 포함하는 것을 특징으로 하는 얼굴 영상의 위조 여부를 판별하는 방법.
제3항에 있어서, 상기 (c2)단계는

(c21) 상기 이진화된 각각 N(N은 자연수)개의 왼쪽 눈과 오른 쪽 눈을 비교한 후 눈 영역의 변화량과 소정의 임계치를 비교하여 상기 얼굴 영상이 위조된 것인지의 여부를 결정하는 단계;를 포함하는 것을 특징으로 하는 얼굴 영상의 위조 여부를 판별하는 방법.
제5항에 있어서,

상기 이진화된 각각 N개의 왼쪽 눈과 오른 쪽 눈의 비교는 해밍 거리 계산법 을 이용하여 비교하는 것을 특징으로 하는 얼굴 영상의 위조 얼굴 판단 방법.
얼굴 영상을 연속적으로 획득하는 영상획득부;

상기 획득된 얼굴 영상에 대하여 두 눈의 중심을 기초로 크기 및 조명에 대한 정규화를 수행하는 정규화부;

정규화된 얼굴 영상에서 눈 영역을 추출하여 이진화하는 추출부; 및

상기 이진화된 눈영역의 변화량을 계산하여 그 값과 소정의 임계치를 비교하여 상기 입력되는 얼굴 영상이 위조된 것인지의 여부를 결정하는 판별부;를 포함하는 것을 특징으로 하는 얼굴 영상의 위조 여부를 판별하는 장치.
제7항에 있어서, 상기 정규화부는

상기 두 눈을 잇는 선분의 기울기를 기초로 영상의 기울기를 보정하는 기울기보정부; 및

기울기가 보정된 얼굴 영상에 대하여 일정한 크기만큼의 얼굴 영역을 클리핑한 후 소정의 크기로 샘플링하여 출력하는 클리핑부;를 포함하는 것을 특징으로 하는 얼굴 영상의 위조 여부를 판별하는 장치.
제7항에 있어서, 상기 판별부는

이진화된 각각 N(N은 자연수)개의 왼쪽 눈과 오른 쪽 눈을 비교한 후 눈 영역의 변화량과 소정의 임계치를 비교하여 상기 얼굴 영상이 위조된 것인지의 여부 를 결정하는 것을 특징으로 하는 얼굴 영상의 위조 여부를 판별하는 장치.