KR101393717B1

KR101393717B1 - 얼굴 인식 기술

Info

Publication number: KR101393717B1
Application number: KR1020130073983A
Authority: KR
Inventors: 마이클 앤드류 시페; 헨리 윌 쉬네이더만; 마이클 크리스티안 네치바
Original assignee: 구글 인코포레이티드
Priority date: 2012-06-26
Filing date: 2013-06-26
Publication date: 2014-05-13
Also published as: EP2680192A2; US8457367B1; EP2680192B1; EP2680192A3; KR20140001164A; CN103514440A

Abstract

예시적인 방법은 유저의 얼굴의 제 1 이미지와 제 2 이미지를 수신하는 단계를 포함하며, 여기서 상기 이미지들 중 하나 또는 둘 다는 얼굴 인식에 의해 매치가 허여된다.
본 방법은 상기 제 1 이미지에서 적어도 하나의 얼굴 랜드마크(facial landmark)와 그리고 상기 제 2 이미지에서 적어도 하나의 대응하는 얼굴 랜드마크를 식별하는 것과, 제 1 이미지로부터 제 1 서브 이미지를 추출하는 것을 포함하며, 상기 제 1 서브 이미지는 적어도 하나의 얼굴 랜드마크의 표현(representation)을 포함한다. 본 방법은 상기 제 2 이미지로부터 제 2 서브 이미지를 추출 - 상기 제 2 서브 이미지는 제 2 이미지의 일부를 나타내고 상기 제 2 서브 이미지는 적어도 하나의 대응하는 얼굴 랜드마크의 표현을 포함한다 - 하고, 제 2 서브 이미지와 제 1 서브 이미지 사이에 얼굴 제스처를 나타낼 만큼 충분한 차이가 존재하는지 여부를 결정하는 것에 의해 얼굴 제스처를 검출하는 것과 그리고 상기 얼굴 제스처를 검출하는 것에 기초하여 컴퓨팅 디바이스에 의해 제어되는 하나 이상의 기능에 액세스하는 것에 대하여 유저에 인증을 거부할지 여부를 결정하는 것을 포함한다.

Description

얼굴 인식 기술{FACIAL RECOGNITION TECHNOLOGY}

본 발명은 얼굴 인식 기술에 관한 것이다.

유저는 디바이스를 "잠금 해제(unlock)"하는 것에 의해 컴퓨팅 디바이스(computing device)에 의해 제어되는 기능을 활성화하거나 이에 대한 액세스를 얻을 수 있다. 일부 경우에, 컴퓨팅 디바이스는 유저에 의해 제공된 인증 정보에 기초하여 잠금 해제를 허가하도록 구성될 수 있다. 인증 정보는 영숫자 패스코드(passcode)와 생체 정보(biometric information)를 포함하는 여러 형태를 취할 수 있다. 생체 정보의 예로는 지문, 망막 스캔 및 얼굴 이미지를 포함한다. 컴퓨팅 디바이스는 얼굴 인식 기술을 사용하여 얼굴 이미지 입력을 인증할 수 있다.

일례에서, 발명은 컴퓨팅 디바이스에 연결된 이미지 캡처 디바이스(capture device)로부터, 유저의 얼굴의 제 1 이미지와 유저의 얼굴의 제 2 이미지를 수신하는 단계를 포함한다. 본 방법은 제 1 이미지에 대해 제 2 이미지의 요우(yaw) 각도와 제 1 이미지에 대해 제 2 이미지의 피치(pitch) 각도 중 적어도 하나에 기초하여 라이브니스 제스처(liveness gesture)를 검출하는 단계를 더 포함하며, 여기서 요우 각도는 수평축을 따른 전이(transition)에 대응하고, 피치 각도는 수직축을 따른 전이에 대응한다. 본 방법은 요우 각도와 관련된 요우 각도 크기와 피치 각도와 관련된 피치 각도 크기 중 적어도 하나에 기초하여 라이브니스 스코어를 생성하는 단계, 상기 라이브니스 스코어를 임계값과 비교하는 단계, 및 상기 비교에 적어도 부분적으로 기초하여 상기 컴퓨팅 디바이스에 의해 제어되는 하나 이상의 기능에 액세스하는 것에 대하여 유저에 인증을 거부할지 여부를 결정하는 단계를 더 포함한다.

다른 예에서, 컴퓨터 판독가능한 저장 디바이스는 실행될 때 컴퓨팅 디바이스의 하나 이상의 프로세서로 하여금 동작을 수행하게 하는 명령으로 인코딩된다. 이 동작은 컴퓨팅 디바이스에 연결된 이미지 캡처 디바이스로부터 유저의 얼굴의 제 1 이미지와 유저의 얼굴의 제 2 이미지를 수신하는 동작을 포함한다. 이 동작은 제 1 이미지에 대해 제 2 이미지의 요우 각도와 제 1 이미지에 대해 제 2 이미지의 피치 각도 중 적어도 하나에 기초하여 라이브니스 제스처를 검출하는 동작을 더 포함하고, 여기서 요우 각도는 수직축을 중심으로 하는 전이에 대응하고, 피치 각도는 수평축을 중심으로 하는 전이에 대응한다. 이 동작은 요우 각도와 관련된 요우 각도 크기와 피치 각도와 관련된 피치 각도 크기 중 적어도 하나에 기초하여 라이브니스 스코어를 생성하는 단계, 상기 라이브니스 스코어를 임계값과 비교하는 단계, 및 상기 비교에 적어도 부분적으로 기초하여, 상기 컴퓨팅 디바이스에 의해 제어되는 하나 이상의 기능에 액세스하는 것에 대해 유저에 인증을 거부할지 여부를 결정하는 동작을 더 포함한다.

다른 예에서, 컴퓨팅 디바이스는 메모리, 적어도 하나의 프로세서, 이미지 캡처 디바이스, 얼굴 인식 모듈, 및 위조 방지 모듈(anti-spoofing module)을 포함한다. 이미지 캡처 디바이스는 유저의 얼굴의 제 1 이미지와 유저의 얼굴의 제 2 이미지를 캡처하도록 적어도 하나의 프로세서에 의해 동작가능하고, 상기 얼굴 인식 모듈은 얼굴 인식에 의해 제 1 이미지와 제 2 이미지 중 적어도 하나의 이미지와 매치(match)를 허여하도록 적어도 하나의 프로세서에 의해 동작가능하다. 위조 방지 모듈은 제 1 이미지에 대해 제 2 이미지의 요우 각도와 제 1 이미지에 대해 제 2 이미지의 피치 각도 중 적어도 하나에 기초하여 라이브니스 제스처를 검출하도록 적어도 하나의 프로세서에 의해 동작가능하며, 여기서 요우 각도는 수직 축을 중심으로 하는 전이에 대응하고, 피치 각도는 수평축을 중심으로 하는 전이에 대응한다. 위조 방지 모듈은 요우 각도와 관련된 요우 각도 크기와 피치 각도와 관련된 피치 각도 크기 중 적어도 하나에 기초하여 라이브니스 스코어를 생성하고, 상기 라이브니스 스코어를 임계값과 비교하고, 상기 비교에 적어도 부분적으로 기초하여 컴퓨팅 디바이스에 의해 제어되는 하나 이상의 기능에 액세스하는 것에 대하여 유저에 인증을 거부할지 여부를 결정하도록 적어도 하나의 프로세서에 의해 더 동작가능하다.

다른 예에서, 방법은 컴퓨팅 디바이스에 연결된 이미지 캡처 디바이스로부터 유저의 얼굴의 제 1 이미지와 유저의 얼굴의 제 2 이미지를 수신하는 단계를 포함한다. 본 방법은 제 1 이미지에서 적어도 하나의 얼굴 랜드마크(facial landmark)와 제 2 이미지에서 적어도 하나의 대응하는 얼굴 랜드마크를 식별하는 단계와, 상기 컴퓨팅 디바이스에 의하여 제 1 이미지로부터 제 1 서브 이미지를 추출하는 단계를 더 포함하며, 여기서 상기 제 1 서브 이미지는 제 1 이미지의 일부를 나타내고, 상기 제 1 서브 이미지는 적어도 하나의 얼굴 랜드마크의 표현(representation)을 포함한다. 본 방법은 상기 컴퓨팅 디바이스에 의해 제 2 이미지로부터 제 2 서브 이미지를 추출하는 단계 - 상기 제 2 서브 이미지는 제 2 이미지의 일부를 나타내고 상기 제 2 서브 이미지는 적어도 하나의 대응하는 얼굴 랜드마크의 표현을 포함한다 - 와, 컴퓨팅 디바이스에 의해 제 2 서브 이미지와 제 1 서브 이미지 사이에 얼굴 제스처를 나타낼만큼 충분한 차이가 존재하는지 여부를 결정하는 것에 의해 얼굴 제스처를 검출하는 단계를 더 포함한다. 본 방법은 얼굴 제스처를 검출하는 것에 적어도 부분적으로 기초하여 컴퓨팅 디바이스에 의해 제어되는 하나 이상의 기능에 액세스하는 것에 대하여 유저에 인증을 거부할지 여부를 결정하는 단계를 더 포함한다.

다른 예에서, 컴퓨터 판독가능한 저장 디바이스는 실행될 때 컴퓨팅 디바이스의 하나 이상의 프로세서로 하여금 동작을 수행하게 하는 명령으로 인코딩된다. 이 동작은 컴퓨팅 디바이스에 연결된 이미지 캡처 디바이스로부터 유저의 얼굴의 제 1 이미지와 유저의 얼굴의 제 2 이미지를 수신하는 동작을 포함한다. 이 동작은 제 1 이미지에서 적어도 하나의 얼굴 랜드마크와 제 2 이미지에서 적어도 하나의 대응하는 얼굴 랜드마크를 식별하는 동작과, 컴퓨팅 디바이스에 의해 제 1 이미지로부터 제 1 서브 이미지를 추출하는 동작을 더 포함하며, 여기서 제 1 서브 이미지는 제 1 이미지의 일부를 나타내고 제 1 서브 이미지는 적어도 하나의 얼굴 랜드마크의 표현을 포함한다. 이 동작은 컴퓨팅 디바이스에 의하여 제 2 이미지로부터 제 2 서브 이미지를 추출하는 동작 - 상기 제 2 서브 이미지는 제 2 이미지의 일부를 나타내고 제 2 서브 이미지는 적어도 하나의 대응하는 얼굴 랜드마크의 표현을 포함하며 - 과, 컴퓨팅 디바이스에 의하여 제 2 서브 이미지와 제 1 서브 이미지 사이에 얼굴 제스처를 나타낼 만큼 충분한 차이가 존재하는지 여부를 결정하는 것에 의해 얼굴 제스처를 검출하는 동작을 더 포함한다. 이 동작은 얼굴 제스처를 검출하는 것에 적어도 부분적으로 기초하여 컴퓨팅 디바이스에 의하여 제어된 하나 이상의 기능에 액세스하는 것에 대하여 유저에 인증을 거부할지 여부를 결정하는 동작을 더 포함한다.

다른 예에서, 컴퓨팅 디바이스는 메모리, 적어도 하나의 프로세서; 유저의 얼굴의 제 1 이미지와 유저의 얼굴의 제 2 이미지를 캡처하도록 적어도 하나의 프로세서에 의해 동작가능한 적어도 하나의 이미지 캡처 디바이스; 및 얼굴 인식에 의하여 제 1 이미지와 제 2 이미지 중 적어도 하나에 매치를 허여하도록 적어도 하나의 프로세서에 의해 동작가능한 얼굴 인식 모듈을 포함한다. 컴퓨팅 디바이스는 제 1 이미지에서 적어도 하나의 얼굴 랜드마크를 식별하도록 동작가능한 랜드마크 검출 모듈과 제 2 이미지에서 적어도 하나의 대응하는 얼굴 랜드마크와, 제 1 이미지로부터 제 1 서브 이미지를 추출하도록 동작가능한 서브 이미지 추출 모듈을 더 포함하며, 여기서 제 1 서브 이미지는 제 1 이미지의 일부를 나타내고 제 1 서브 이미지는 적어도 하나의 얼굴 랜드마크의 표현을 포함한다. 컴퓨팅 디바이스는 제 2 서브 이미지와 제 1 서브 이미지 간에 얼굴 제스처를 나타낼만큼 충분한 차이가 존재하는지 여부를 결정하는 것에 의해 얼굴 제스처를 검출하고, 이 얼굴 제스처를 검출하는 것에 적어도 부분적으로 기초하여, 컴퓨팅 디바이스에 의하여 제어되는 하나 이상의 기능에 액세스하는 것에 대하여 유저에 대한 인증을 거부할지 여부를 결정하도록 동작가능한 위조 방지 모듈을 더 포함한다.

도 1a 내지 도 1b는 본 발명의 하나 이상의 측면에 따라 캡처된 얼굴 이미지에서 가능한 위조를 검출하기 위한 예시적인 컴퓨팅 디바이스를 도시하는 개념도;
도 2는 본 발명의 하나 이상의 측면에 따라 캡처된 얼굴 이미지에서 가능한 위조를 검출하기 위한 예시적인 컴퓨팅 디바이스의 상세를 도시하는 블록도;
도 3은 본 발명의 하나 이상의 측면에 따라 얼굴 이미지에서 가능한 위조를 검출하도록 컴퓨팅 디바이스에 의해 식별된 각막광(corneal glint)을 포함하는 예시적인 얼굴 이미지를 도시하는 개념도;
도 4는 본 발명의 하나 이상의 측면에 따라 얼굴 이미지에서 가능한 위조를 검출하도록 컴퓨팅 디바이스에 의해 식별된 각막광을 포함하는 눈의 예시적인 이미지를 도시하는 개념도;
도 5는 본 발명의 하나 이상의 측면에 따라 캡처된 얼굴 이미지에서 가능한 위조를 검출하도록 컴퓨팅 디바이스에 의해 수행될 수 있는 예시적인 공정을 도시하는 흐름도;
도 6은 본 발명의 하나 이상의 측면에 따라 캡처된 얼굴 이미지에서 가능한 위조를 검출하도록 컴퓨팅 디바이스에 의해 수행될 수 있는 예시적인 공정을 도시하는 흐름도;
도 7은 얼굴 이미지가 피치와 요우를 각각 디스플레이할 수 있는 수평 x 축과 수직 y 축과 중첩된 얼굴 이미지를 도시하는 도면;
도 8a 내지 도 8c는 가변 크기와 방향의 피치를 디스플레이하는 얼굴 이미지를 도시하는 도면;
도 9a 내지 도 9e는 가변 크기와 방향의 요우를 디스플레이하는 얼굴 이미지를 도시하는 도면;
도 10a 내지 도 10c는 본 발명의 하나 이상의 측면에 따라 회전 각도 및/또는 하나 이상의 얼굴 랜드마크를 사용하여 가변 요우 크기를 분별할 수 있는 일련의 얼굴 이미지를 도시하는 도면;
도 11은 컴퓨팅 디바이스가 본 발명의 하나 이상의 위조 방지 기술을 수행할 수 있는 예시적인 공정을 도시하는 흐름도;
도 12는 추출된 서브 이미지로 표현된 우안과 입 영역을 포함하는 예시적인 얼굴 랜드마크를 갖는 얼굴 이미지를 도시하는 도면;
도 13은 닫힌 눈의 예시적인 이미지를 도시하는 개념도;
도 14는 열려 웃는 입을 도시하는 개념도;
도 15는 컴퓨팅 디바이스가 본 발명의 여러 위조 방지 기술을 수행할 수 있는 예시적인 공정을 도시하는 흐름도.

컴퓨팅 디바이스는 여러 시나리오에서 얼굴 인식 프로그램을 사용할 수 있다. 예를 들어, 컴퓨팅 디바이스는 얼굴 인식 프로그램을 사용하여 컴퓨팅 디바이스의 하나 이상의 기능에 액세스를 하거나 컴퓨팅 디바이스에 의하여 제어되는 기능에 액세스를 하려고 시도를 하는 유저를 인증할 수 있다. 일부 공통 시나리오에서 컴퓨팅 디바이스는 하나 이상의 허가된 유저(authorized user)의 얼굴의 이미지(또는 "등록 이미지")를 저장할 수 있다. 유저가 컴퓨팅 디바이스의 기능에 액세스(또는 "잠금 해제")하고자 시도할 때 컴퓨팅 디바이스는 인증을 위해 유저 얼굴의 이미지를 캡처할 수 있다. 컴퓨팅 디바이스는 얼굴 인식 프로그램을 사용하여 허가된 유저와 관련된 등록 이미지와 캡처된 얼굴 이미지를 비교할 수 있다. 얼굴 인식 프로그램이 캡처된 얼굴 이미지와 적어도 하나의 등록 이미지 사이에 허용가능한 매치 레벨을 결정하는 경우, 컴퓨팅 디바이스는 유저를 인증하고 잠금 해제 요청을 허여할 수 있다.

허가되지 않은 유저는 얼굴 인식 프로그램의 취약성을 레버리지(leverage)하여 오 인증(erroneous authentication)을 유발할 수 있다. 예를 들어, 허가되지 않은 유저는 "위조" 기술("spoofing" techniques)을 사용하여 컴퓨팅 디바이스를 잠금 해제하고자 시도할 수 있다. 위조에 의하여 오 인증을 유발하기 위해 허가되지 않은 유저는 컴퓨팅 디바이스에 의한 캡처를 위해 허가된 유저의 얼굴 이미지를 제시할 수 있다. 예를 들어, 허가되지 않은 유저는 허가된 유저의 얼굴의 인쇄된 화상을 디바이스에 제시하거나 또는 (예를 들어, 소셜 네트워킹 웹사이트로부터 허가된 유저의 프로파일 화상을 풀링(pulling up)하는 것에 의해) 제 2 컴퓨팅 디바이스 상에 허가된 유저의 비디오 또는 디지털 이미지를 획득할 수 있다. 따라서, 허가되지 않은 유저는 위조 방법을 사용하여 컴퓨팅 디바이스에 의해 구현되는 인증 제약을 극복하기 위해 컴퓨팅 디바이스의 기능에 액세스를 획득하고자 시도할 수 있다.

일반적으로, 본 발명은 위조에 의해 야기된 오 인증을 방지하는 기술에 관한 것이다. 컴퓨팅 디바이스는 위조로 의심 받는 시도를 검출하고 위조로 인한 오 인증을 방지하는 하나 이상의 위조 방지 프로그램을 구현할 수 있다. 일부 예에서, 위조 방지 기술은 컴퓨팅 디바이스의 하나 이상의 하드웨어 성분(hardware component)이 캡처된 얼굴 이미지의 객체(object)의 방향으로 광을 방출하도록 하는 프로그램에 의해 수행될 수 있다. 위조 방지 프로그램은 캡처된 얼굴 이미지 내에 하나 이상의 랜드마크를 식별하고 가능한 위조 징후(sign)에 대해 랜드마크를 분석할 수 있다. 예를 들어, 위조 방지 프로그램은 랜드마크로서 얼굴 이미지의 하나 또는 2개의 눈을 식별할 수 있다. 위조 방지 프로그램은 각막광과 같은 눈으로부터 방출된 광 중 임의의 반사광의 존재를 검출하도록 이미지를 분석할 수 있다. 이 분석에 기초하여 위조 방지 프로그램은 예상된 광이 검출될 때 잠금 상태로부터 잠금 해제된 상태로 컴퓨팅 디바이스를 전이하거나 또는 예상된 광이 검출되지 않을 때 컴퓨팅 디바이스에 대한 액세스를 방지할 수 있다.

본 명세서에 설명된 위조 방지 프로그램은 허가되지 않은 유저가 위조에 의해 오 인증을 유발하는 기회를 감소시키는 것과 같은 하나 이상의 잇점을 제공할 수 있다. 예를 들어, 위조 방지 프로그램은 얼굴 인식 프로그램으로 하여금 랜드마크의 분석된 이미지가 방출된 광의 반사광을 전혀 포함하지 않을 때 또는 이미지에서 반사된 광의 세기가 임계 세기 미만일 때 유저에 인증을 거부하게 할 수 있다. 다른 예에서, 위조 방지 프로그램은 컴퓨팅 디바이스로 하여금 가변 세기의 광을 방출하면서 2개 이상의 얼굴 이미지를 캡처하게 하고, 랜드마크가 하나의 얼굴 이미지로부터 다른 얼굴 이미지로 갈 때 가변 세기의 광을 충분히 반사하지 않는 경우 얼굴 인식 프로그램으로 하여금 인증을 거부하게 할 수 있다. 또 다른 예에서, 위조 방지 프로그램은 이미지 분석이 랜드마크로부터 반사된 광이 방출된 광의 예상된 주파수 성분(frequency content)과 충분히 매치하지 않는 것을 나타내는 경우 얼굴 인식 프로그램으로 하여금 유저에 인증을 거부하게 할 수 있다. 예를 들어, 컴퓨팅 디바이스는 대응하는 주파수 성분을 가지는 광의 반사광을 유저의 눈으로 유도할 것으로 예상되는 상이한 컬러나 주파수를 가지는 광 빔을 방출할 수 있다. 이런 방식으로, 본 발명의 기술은 위조에 의해 유발된 오 인증의 발생을 감소시킬 수 있다. 나아가, 위조 방지 프로그램은 얼굴 인식 프로그램의 사용량을 감소시킬 수 있어서 컴퓨팅 자원을 절약하고 전력 소비를 감소시킬 수 있다(예를 들어, 모바일 컴퓨팅 디바이스에서는 배터리 수명을 연장시킬 수 있다).

본 발명은 위조에 의해 유발된 오 인증을 방지하는 추가적인 기술을 더 기술한다. 컴퓨팅 디바이스는 위조로 의심받는 시도를 검출하고 위조로 인한 오 인증을 방지하는 하나 이상의 위조 방지 프로그램을 구현할 수 있다. 일부 예에서, 위조 방지 기술은 유저의 다수의 얼굴 이미지를 캡처하는 단계와, 라이브니스의 지시자(indication)에 대해 얼굴 이미지를 분석하는 단계를 포함할 수 있다. 라이브니스는 수직축 주위로 머리를 움직이는 것(예를 들어, 머리를 흔드는 것) 및/또는 수평축 주위로 머리를 움직이는 것(예를 들어, 머리를 끄떡이는 것)과 같은 특정 제스처에 의해 지시될 수 있다. 컴퓨팅 디바이스는 하나 이상의 라이브니스 제스처를 수행하도록 유저에게 명하는 프롬프트(prompt)를 제시할 수 있다. 위조 방지 프로그램은 여러 구현예에서 유저의 얼굴의 특정 배향(orientation)에 기초하여 라이브니스 제스처를 검출할 수 있다. 예를 들어, 위조 방지 프로그램은 수직축 주위로 유저의 머리를 움직이는 것에 대응하는 "요우" 각도를 검출할 수 있다. 유사하게, 위조 방지 프로그램은 수직 축 주위로 유저의 머리를 움직이는 것에 대응하는 "피치" 각도를 검출할 수 있다. 위조 방지 프로그램은 얼굴 이미지의 라이브니스 스코어를 얻기 위해 요우 및/또는 피치 각도의 크기를 추가적으로 결정할 수 있다. 이어서, 라이브니스 스코어가 미리 결정된 임계값을 초과하는 경우, 위조 방지 프로그램은 라이브니스 제스처가 적법한 생존하는 유저가 컴퓨팅 디바이스에 의해 제어되는 기능에 액세스를 시도하는 것을 입증하기에 적절한지를 결정할 수 있다. 적절한 라이브니스 제스처의 분석과 검출에 기초하여 위조 방지 프로그램은 잠금 상태로부터 잠금 해제 상태로 컴퓨팅 디바이스를 전이할 수 있다. 한편, 위조 방지 프로그램은 적절한 라이브니스 제스처가 검출되지 않을 때 컴퓨팅 디바이스에 의해 제어되는 기능에 액세스를 방지할 수 있다.

본 발명은 위조에 의해 유발된 오 인증을 방지하는 추가적인 기술을 더 기술한다. 컴퓨팅 디바이스는 위조로 의심받는 시도를 검출하고 위조로 인한 오 인증을 방지하는 하나 이상의 위조 방지 프로그램을 구현할 수 있다. 일부 예에서, 위조 방지 기술은 유저의 다수의 얼굴 이미지를 캡처하는 단계와, 라이브니스의 지시자에 대해 얼굴 이미지를 분석하는 단계를 포함할 수 있다. 라이브니스는 눈, 입, 및 얼굴의 다른 부분의 움직임과 같은 얼굴 제스처에 의해 지시될 수 있다. 위조 방지 프로그램은 여러 구현예에서 사람의 얼굴의 특정 영역에 기초하여 얼굴 제스처를 검출할 수 있다. 예를 들어, 위조 방지 프로그램은 랜드마크와 같이 얼굴 이미지의 하나 또는 2개의 눈을 식별할 수 있다. 위조 방지 프로그램은 하나 또는 2개의 눈과 관련된 이미지들 사이에 전이를 검출하고 분석할 수 있다. 임의의 검출된 전이를 사용하여, 위조 방지 프로그램은 깜박임(blink), 윙크(wink) 및 다른 것과 같은 얼굴 제스처를 검출할 수 있다. 컴퓨팅 디바이스는 하나 이상의 얼굴 제스처를 수행하도록 유저에 명하는 프롬프트를 제시할 수 있다. 만족스러운 얼굴 제스처의 분석과 검출에 기초하여 위조 방지 프로그램은 잠금 상태로부터 잠금 해제 상태로 컴퓨팅 디바이스를 전이시킬 수 있다. 한편, 위조 방지 프로그램은 만족스러운 얼굴 제스처가 검출되지 않을 때에는 컴퓨팅 디바이스에 의해 제어되는 기능에 액세스를 방지할 수 있다.

위조 방지 프로그램은 허가되지 않은 유저가 위조로 인한 오 인증을 유발하는 기회를 감소시키는 것과 같은 하나 이상의 잇점을 제공할 수 있다. 예를 들어, 위조 방지 프로그램은 얼굴 인식 프로그램으로 하여금 분석된 얼굴 이미지가 얼굴 제스처를 나타내지 않거나, 얼굴 제스처의 예상된 시리즈를 나타내지 않거나, 위조 방지 프로그램에 의해 추구되는 것과는 다른 얼굴 제스처를 나타내거나, 불충분한 품질/선명도(clarity)의 얼굴 제스처 등을 나타내는 경우, 유저에 인증을 거부하게 할 수 있다. 일부 구현예에서, 위조 방지 프로그램은 라이브니스를 수립하기 위해 얼굴 제스처의 조합을 검출할 수 있다. 예를 들어, 위조 방지 프로그램은 윙크(한쪽 눈만을 열고 닫고 여는 것) 이전에 깜박임(양쪽 눈을 모두 열고 닫고 여는 것)을 식별할 수 있다. 이들 및 다른 구현예에서, 위조 방지 프로그램은 랜드마크의 조합을 사용하여 얼굴 제스처를 검출할 수 있다. 예를 들어, 위조 방지 프로그램은 깜박임 제스처에 대해 랜드마크로서 눈을 사용하고, 웃는 제스처에 대해 랜드마크로서 입을 사용할 수 있다. 이런 방식으로, 본 발명의 기술은 위조에 의해 야기된 오 인증의 발생을 감소시킬 수 있다.

위조 방지 프로그램은 허가되지 않은 유저가 위조에 의한 오 인증을 유발하는 기회를 감소시키는 것과 같은 하나 이상의 잇점을 제공할 수 있다. 예를 들어, 위조 방지 프로그램은 분석된 얼굴 이미지가 적절한 라이브니스 제스처를 나타내지 않거나, 라이브니스 제스처의 적절한 세트, 시리즈, 또는 시퀀스를 나타내지 않거나, 위조 방지 프로그램이 추구하는 것과는 다른 라이브니스 제스처 등을 나타내는 경우 얼굴 인식 프로그램으로 하여금 유저에 인증을 거부하게 할 수 있다. 일부 구현예에서, 위조 방지 프로그램은 적법한 생존하는 유저가 컴퓨팅 디바이스를 잠금 해제하려는 시도를 하는 것을 수립하도록 라이브니스 제스처의 조합을 검출할 수 있다. 예를 들어, 위조 방지 프로그램은 위를 보는 것(이미지들 사이에 피치 각도로부터 분별됨) 이전에 유저의 머리를 좌측으로 기울이는 것(이미지들 사이에 요우 각도에 의해 분별됨)을 식별할 수 있다. 이들 및 다른 구현예에서, 위조 방지 프로그램은 요우 및 피치 각도의 조합을 사용하여 얼굴 제스처를 검출할 수 있다. 예를 들어, 위조 방지 프로그램은 이미지들 사이에 요우와 피치 각도의 동시적 전이를 포함할 수 있는 유저의 머리의 대각선 움직임을 검출할 수 있다. 이런 방식으로, 본 발명의 기술은 위조에 의해 유발된 오 인증의 발생을 감소시킬 수 있다.

도 1a 내지 도 1b는 본 발명의 하나 이상의 측면에 따라 캡처된 얼굴 이미지에서 가능한 위조를 검출하기 위한 예시적인 컴퓨팅 디바이스를 도시하는 개념도이다. 도 1a는 유저(예를 들어, 허가된 유저(126))와 관련된 얼굴 이미지를 캡처하고, 가능한 위조에 대해 캡처된 얼굴 이미지를 분석하고, 분석에 기초하여 인증을 허용하거나 거부할지 여부를 결정할 수 있는 컴퓨팅 디바이스(102)를 도시한다. 컴퓨팅 디바이스(102)는 특히 모바일 폰(스마트폰을 포함), 태블릿 컴퓨터, 넷북, 랩탑, 데스크탑, PDA(personal digital assistant), 셋탑 박스, 텔레비전, 생체 도어락, 시계, 차량 시동, 및 존재 검증 디바이스와 같은 여러 유형의 디바이스 중 하나 이상의 디바이스를 포함하거나 하나의 이상의 디바이스이거나 그 일부일 수 있다.

컴퓨팅 디바이스(102)는 카메라 렌즈(104)와 플래시벌브(flashbulb)(122)를 포함할 수 있다. 도 1a의 예에서, 카메라 렌즈(104)와 플래시벌브(122)는 컴퓨팅 디바이스(102)의 정면을 향하는 카메라(front-facing camera)의 일부이거나 이에 연결될 수 있다. 다른 예에서, 카메라 렌즈(104)와 플래시벌브(122) 중 하나 또는 둘 모두는 컴퓨팅 디바이스(102)의 뒷면을 향하는 카메라의 일부이거나 이에 연결될 수 있다. 정면을 향하는 카메라와 뒷면을 향하는 카메라 중 하나 또는 둘 모두는 정지 이미지, 비디오, 또는 이들 둘 모두를 캡처할 수 있다. 또 다른 예에서, 카메라 렌즈(104)와 플래시벌브(122)는 컴퓨팅 디바이스(102)의 단일 성분을 형성하도록 통합될 수 있다.

도 1a의 예에서, 컴퓨팅 디바이스(102)는 그래픽 유저 인터페이스(GUI: graphical user interface)(106)를 디스플레이하는 디스플레이 디바이스를 포함할 수 있다. GUI(106)는 터치스크린이나 존재 감지 디스플레이(presence-sensitive display)와 같은 입력/출력 가능 디바이스를 포함하는 여러 디스플레이 디바이스에 의해 디스플레이될 수 있다. 도 1a의 예에 도시된 바와 같이, GUI(106)는 잠금 지시기(120), 잠금 해제 프롬프트(108), 및 캡처 아이콘(112)과 같은 하나 이상의 GUI 요소를 포함할 수 있다.

컴퓨팅 디바이스(102)는 잠금 지시기(120)에 의해 도시된 "잠금" 모드에서 동작하도록 구성될 수 있다. 일부 예에서, 유저는 잠금 모드에서 동작하도록 컴퓨팅 디바이스(102)를 능동적으로 구성할 수 있다. 예를 들어, 유저는 잠금 모드에서 동작하도록 컴퓨팅 디바이스(102)를 구성하는데 미리 결정된 시간 기간 동안 버튼(버튼(110)과 같은 것)을 누를 수 있다. 이들 및 다른 예에서, 유저는 컴퓨팅 디바이스(102)의 입력/출력 가능 디스플레이를 사용하여 GUI(106)의 하나 이상의 요소를 탭핑(tap)하거나, 스와이프하거나(swipe) 또는 이와 상호작용할 수 있다. 컴퓨팅 디바이스(102)는 수동 수단에 의하여 잠금 모드에서 동작하도록 더 구성될 수 있다. 예를 들어, 미리 결정된"비활동(inactivity)"기간은 컴퓨팅 디바이스(102)를 잠금 모드에서 동작하도록 구성할 수 있다. 비활동은 유저 상호작용(예를 들어, 버튼을 누르는 것, 입력/출력 가능 디스플레이 디바이스에 접촉하는 것 등)의 부재로 인해 발생할 수 있다. 잠금 모드에서 동작하도록 컴퓨팅 디바이스(102)를 구성하는 미리 결정된 시간 기간은 컴퓨팅 디바이스(102)의 제조사에 의해 지정된 디폴트 시간 기간이거나 또는 허가된 유저(126)와 같은 허가된 유저에 의해 프로그래밍될 수 있다.

일부 예에서, 컴퓨팅 디바이스(102)는 잠금 모드에서 동작을 정지하도록 얼굴 인식 기술을 사용할 수 있다. 다시 말해, 허가된 유저(126)는 컴퓨팅 디바이스(102)의 허가된 유저인지 여부를 결정하기 위해 얼굴 인식 기술을 사용하는 인증 방법에 의하여 컴퓨팅 디바이스(102)를 "잠금 해제"할 수 있다. 보다 구체적으로, 허가된 유저(126)는 허가된 유저(126)의 얼굴을 나타내는 등록 이미지를 저장하는 것에 의해 컴퓨팅 디바이스(102)의 얼굴 인식 애플리케이션 또는 내장된 공정을 설정할 수 있다. 허가된 유저(126)는 컴퓨팅 디바이스(102)의 카메라가 카메라 렌즈(104)를 사용하여 인증을 캡처하도록 할 수 있다. 컴퓨팅 디바이스(102)는 컴퓨팅 디바이스(102)의 하나 이상의 저장 디바이스 및/또는 "클라우드 저장매체(cloud storage)"라고 일반적으로 알려진 원격 위치에 등록 이미지를 저장할 수 있다.

얼굴 인식 기술을 사용하여 컴퓨팅 디바이스(102)를 잠금 해제하기 위하여 (허가된 유저(126)와 같은) 유저는 자기의 얼굴의 적어도 일부를 나타내는 인증 이미지를 제공할 수 있다. 일부 예에서, 유저는 컴퓨팅 디바이스(102)의 카메라로 하여금 능동적으로 인증 이미지를 캡처하도록 할 수 있다. 예를 들어, 유저는 카메라 렌즈(104)를 향하고 버튼(110)을 눌러서 카메라로 하여금 인증 이미지를 캡처하게 할 수 있다. 다른 예에서, 유저는 GUI(106)에 포함된 캡처 아이콘(112)과 관련된 영역을 탭핑하거나 스와이프하거나 또는 이와 상호작용할 수 있다. 또 다른 예에서, 컴퓨팅 디바이스(102)는 유저가 카메라 렌즈(104)를 향하는 것에 응답하여 인증 이미지를 자동적으로 캡처할 수 있다. 도 1a의 예에 도시된 바와 같이, 컴퓨팅 디바이스(102)는 잠금 해제 프롬프트(108)를 포함하도록 GUI(106)를 디스플레이할 수 있다. 이 예에서, 잠금 해제 프롬프트(108)는 유저가 단순히 카메라 렌즈(104)를 포함하거나 이에 연결될 수 있는 카메라를 향하게 하여 컴퓨팅 디바이스(102)로 하여금 인증 이미지를 캡처하게 할 수 있는 것을 나타낸다. 예를 들어, 유저가 카메라 렌즈(104)를 향할 때, 컴퓨팅 디바이스(102)는 카메라 렌즈(104)를 통해 현재 캡처된 이미지가 사람의 얼굴의 표현을 포함하는지를 결정하기 위해 얼굴 인식 프로그램을 사용할 수 있다.

컴퓨팅 디바이스(102)는 등록 이미지와 캡처된 인증 이미지를 비교하고, 이미지들이 얼굴 인식을 위해 서로 충분히 유사한지 여부를 결정할 수 있다. 예를 들어, 컴퓨팅 디바이스(102)는 등록 이미지와 관련된 메트릭과 인증 이미지와 관련된 메트릭을 비교하기 위해 하나 이상의 얼굴 인식 프로그램을 사용할 수 있다. 메트릭의 일부 예로는 얼굴 요소들(동공과 동공, 입의 폭 등) 사이의 거리, 여러 얼굴 특징의 윤곽, 피부 톤이나 텍스처, 머리카락 및/또는 눈의 컬러에 대응하는 픽실레이션(pixilation) 및 많은 다른 것을 포함할 수 있다. 컴퓨팅 디바이스(102)에서 실행되는 얼굴 인식 프로그램은 단지 일부를 명명하면 기하학적 형상 및/또는 광메트릭 접근법, 3차원 모델링 및 인식 기술, 고유 얼굴을 사용하는 주 성분 분석, 선형 판별 분석, 탄성 다발 그래프 매칭, 패턴 매칭, 및 동적 링크 매칭과 같은 하나 이상의 인식 알고리즘을 사용하여 비교를 수행할 수 있다. 프로그래밍된 허용가능한 에러 마진과 같은 비교 기반 값에 기초하여 컴퓨팅 디바이스(102)에서 실행되는 얼굴 인식 프로그램은 인증 이미지와 등록 이미지가 얼굴 인식을 하는데 서로 충분히 유사한지 여부를 결정할 수 있다. 얼굴 인식 프로그램이 매치를 허여하는 경우에, 유저는 컴퓨팅 디바이스(102)를 성공적으로 잠금 해제할 수 있다. 그 역으로, 얼굴 인식 프로그램이 매치를 거부하는 경우, 유저는 컴퓨팅 디바이스(102)를 잠금해제할 수 없으며 컴퓨팅 디바이스(102)는 잠금 모드에서 계속 동작할 수 있다.

그러나, 허가되지 않은 유저가 일반적으로 사용되는 얼굴 인식 기술의 취약성을 이용하여 컴퓨팅 디바이스(102)를 잠금 해제하도록 액세스를 할 수 있다. 예를 들어, 허가되지 않은 유저가 컴퓨팅 디바이스(102)가 잠금 모드에 구성되어 있는 동안 컴퓨팅 디바이스(102)를 점유하는 경우, 허가되지 않은 유저는 잠금 해제 프롬프트(108)에 의해 요청되는 바와 같이 컴퓨팅 디바이스(102)를 잠금 해제하는 시도를 할 수 있다. 성공적으로 인증하기 위해 허가되지 않은 유저는 허가된 유저(126)의 시각적 표현을 포함하는 이미지(124)를 제시하는 것에 의해 컴퓨팅 디바이스(102)에서 실행되는 하나 이상의 얼굴 인식 프로그램을 위조할 수 있다. 이미지(124)는 인쇄된 형태의 정지 사진, 디지털 형태의 정지 사진, 또는 하나 이상의 비디오 프레임과 같은 여러 형태를 취할 수 있다. 이미지(124)가 디지털 정지 사진인 일례에서, 허가되지 않은 유저는 제 2 컴퓨팅 디바이스(예시의 편의를 위하여 미도시)를 사용하여 이미지(124)를 호출할 수 있다. 예를 들어, 허가되지 않은 유저는 인터넷을 사용하여 허가된 유저(126)가 소셜 네트워킹 웹사이트에 포스팅한 프로파일 화상에 액세스할 수 있다. 이미지(124)를 사용하여 허가되지 않은 유저는 컴퓨팅 디바이스(102)에서 실행되는 얼굴 인식 프로그램을 위조하고 컴퓨팅 디바이스(102)를 부정하게 잠금 해제하려는 시도를 할 수 있다.

컴퓨팅 디바이스(102)는 본 발명의 기술을 구현하여 이미지(124)를 사용하여 얼굴 인식 프로그램을 위조하려는 시도를 검출할 수 있다. 많은 경우에, 적법한 얼굴 이미지(즉, 재생된 이미지가 아니라 실제 사람 얼굴로부터 캡처된 이미지)는 하나 또는 둘 모두의 눈에 광(glint)을 포함할 수 있다. 보다 구체적으로, 적법한 얼굴 이미지는 하나 또는 둘 모두의 눈의 각막(정면을 향하는 부분)에 광을 디스플레이할 수 있다. 일부 경우에, 컴퓨팅 디바이스(102)는 플래시벌브를 사용하여 적법한 얼굴 이미지에 각막광을 유도할 수 있다. 허가되지 않은 유저가 (예를 들어, 이미지(124)를 사용하여) 컴퓨팅 디바이스(102)에서 실행되는 얼굴 인식 프로그램을 위조하려고 시도하는 경우에 캡처된 얼굴 이미지는 각막광이 없거나 감소된 것을 포함할 수 있거나 또는 이미지(124)가 유저의 비디오 표현인 경우에, 각막광의 외관 타이밍은 플래시벌브의 타이밍에 기초하여 예상되는 타이밍에 대응할 수 있다. 컴퓨팅 디바이스(102)는 본 발명의 기술을 구현하여 캡처된 얼굴 이미지가 적법한 얼굴 이미지를 구성하도록 적절한 각막광을 포함하는지 여부를 결정할 수 있다. 컴퓨팅 디바이스(102)가 캡처된 얼굴 이미지가 적절한 각막광을 포함하지 않는 것으로 결정하면, 컴퓨팅 디바이스(102)는 얼굴 인식 기술을 수행하기 전이라도 위조 시도를 검출하고 유저의 인증을 거부할 수 있다. 이런 방식으로 컴퓨팅 디바이스(102)는 위조에 의한 오 인증을 방지하기 위해 본 발명의 기술을 구현할 수 있다.

도 1b는 컴퓨팅 디바이스(102)가 위조에 의한 오 인증을 야기하는 시도를 검출한 후에 컴퓨팅 디바이스(102)의 거동을 도시하는 개념도이다. 설명된 바와 같이, 허가되지 않은 유저는 허가된 유저(126)를 나타내는 이미지(124)를 사용하여 컴퓨팅 디바이스(102)에서 실행되는 얼굴 인식 프로그램을 위조하는 시도를 할 수 있다. 컴퓨팅 디바이스(102)는 위조 시도를 검출하고 이 검출에 기초하여 얼굴 인식에 의한 인증을 거부하기 위해 본 발명의 하나 이상의 기술을 구현할 수 있다. 도 1b에 도시된 바와 같이 컴퓨팅 디바이스(102)는 수정된 GUI(116) 내에 실패 통지(failure notification)(118)를 디스플레이할 수 있다. 이 예에서, 실패 통지(118)는 얼굴 인식에 의한 인증 시도가 실패하였다는 것과 컴퓨팅 디바이스(102)가 이미지(124)를 사용하여 컴퓨팅 디바이스(102)를 잠금 해제하는 시도를 하는 유저에 액세스를 거부하였다는 것을 단순히 나타낸다. 다른 예에서, 컴퓨팅 디바이스(102)는 보다 상세한 통지, 예를 들어 인증 실패 뒤에 의심 되는 이유로 위조를 식별하는 통지를 디스플레이할 수 있다.

설명된 바와 같이, 적법한 얼굴 이미지는 각막광의 지시자를 포함할 수 있다. 컴퓨팅 디바이스(102)는 플래시벌브(122)나 일시적으로 밝아진 디스플레이를 사용하여 각막광을 유도할 수 있고, 유저의 주변으로부터 오는 자연적인 및/또는 인공적인 광이 각막광을 야기할 수 있고, 또는 그 임의의 조합이 각막광을 야기할 수 있다. 다른 구현예에서, 컴퓨팅 디바이스(102)는 플래시벌브(122)와는 다른 광원을 사용하여 각막광을 유도할 수 있다. 컴퓨팅 디바이스(102)는 플래시벌브(122) 대신에 또는 이에 추가하여 다른 광원을 사용할 수 있다. 다른 광원의 예로는 적외선 방출기(적외선 근접 센서에 사용되는 것과 같은), 발광 다이오드(LED 기반 근접 센서에 사용되는 것과 같은), 및 컴퓨팅 디바이스(102)의 디스플레이 디바이스(들)를 포함한다. 설명된 바와 같이 컴퓨팅 디바이스(102)는 각막광을 유도하기 위하여 스마트폰의 터치 스크린과 같은 디스플레이 디바이스를 임시적으로 밝게 할 수 있다. 추가적으로, 컴퓨팅 디바이스(102)는 각막광을 유도할만큼 충분한 휘도를 가지지만 인증 이미지를 과노출시키거나 "세탁"할만큼은 밝지 않은 광을 방출할 수 있다.

일부 예에서, 컴퓨팅 디바이스(102)는 적응 휘도 조절(adaptive brightness adjustment)이라고 알려진 기술로 인증 이미지의 개체의 주변에 있는 주변 광에 기초하여 방출된 광의 휘도를 변경시킬 수 있다. 적응 휘도 조절을 달성하기 위해 컴퓨팅 디바이스는 전용 주변 광 센서를 구비할 수 있다. 전용 주변 광 센서를 사용하여 컴퓨팅 디바이스(102)는 인증 이미지의 개체의 주변의 휘도를 분별할 수 있다. 분별된 휘도에 기초하여, 컴퓨팅 디바이스(102)는 전술된 플래시벌브(122) 및/또는 다른 광원에 의해 방출된 광빔(들)의 휘도를 변경시킬 수 있다.

일부 구현예에서, 컴퓨팅 디바이스(102)는 본 명세서에 설명된 위조 방지 기술의 로버스트니스(robustness)를 개선시키기 위해 "시간 변조"라고 알려진 기술을 사용할 수 있다. 시간 변조를 구현하기 위해 컴퓨팅 디바이스(102)는 플래시벌브(122) 및/또는 다른 광원을 사용하여 다수의 광빔의 방출을 개시할 수 있다. 컴퓨팅 디바이스(102)는 플래시벌브(122)로 하여금 미리 결정된 및/또는 랜덤 생성된 시간 간격으로 다수의 광빔을 방출하게 할 수 있다. 컴퓨팅 디바이스(102)는 다수 방출된 광빔의 일부나 전부와 관련된 인증 이미지를 캡처하고 각 캡처된 인증 이미지에서 각막광을 체크할 수 있다. 컴퓨팅 디바이스(102)가 캡처된 이미지의 특정 개수(예를 들어, 캡처된 이미지의 전부, 또는 이미지의 총 개수 내의 임계 수)에서 충분한 광을 검출하지 못하면, 컴퓨팅 디바이스(102)는 검출된 위조에 기초하여 유저의 인증을 거부할 수 있다. 이런 방식으로, 본 발명의 기술은 시간 변조를 포함하여 본 명세서에 설명된 위조 방지 조치에 로버스트니스를 추가하고 개선시킬 수 있다.

캡처된 얼굴 이미지가 적법하거나 위조에 기초한 것인지 여부를 결정하기 위해 컴퓨팅 디바이스(102)는 캡처된 얼굴 이미지에서 각막광을 검출하고 및/또는 각막광을 분석할 수 있다. 일례에서, 컴퓨팅 디바이스(102)는 "플래시(flash)"라고 일반적으로 알려진 광빔의 방출을 개시하기 위해 플래시벌브(122)를 사용할 수 있다. 각막광이 없거나 감소될 수 있는 어두운 조명과 같은 상태 하에서, 플래시는 적법한 얼굴 이미지에 존재하는 각막광을 유도할 수 있다. 컴퓨팅 디바이스(102)는 캡처된 얼굴 이미지가 적법한 얼굴 이미지를 구성할만큼 충분한 각막광을 포함하는지 여부를 결정할 수 있다. 여러 상황에서, 각막광은 플래시의 반사광을 포함하거나 완전히 반사광일 수 있다.

컴퓨팅 디바이스(102)는 여러 방식으로 각막광을 검출하고 분석할 수 있다. 일례에서, 컴퓨팅 디바이스(102)는 각막광을 유발하는 반사광의 세기를 측정하거나 예측할 수 있다. 이 세기는 광휘도(luminance), 휘도(luminosity), 광도(luminous intensity), 복사조도(illuminance), 광출사도(luminous emittance), 복사도(radiant intensity), 복사조도(irradiance), 복사휘도(radiance) 등과 같은 광학적 측정으로부터 유도되거나 및/또는 이에 직접 비례할 수 있다. 컴퓨팅 디바이스(102)는 하나 이상의 알려진 적법한 얼굴 이미지와 관련된 임계 세기를 이 세기와 비교할 수 있다. 캡처된 각막 광의 세기가 임계 세기 미만이라면, 컴퓨팅 디바이스(102)는 캡처된 얼굴 이미지를 위조에 기초한 것이라고 인식하고, 얼굴 인식에 기초한 인증에 대해 캡처된 얼굴 이미지를 평가하는 것을 거부할 수 있다.

여러 실시예에서, 컴퓨팅 디바이스(102)는 유저로부터 라이브니스의 지시자를 검출하는 것에 의해 위조를 검출할 수 있다. 일부 이러한 구현예에서 컴퓨팅 디바이스(102)는 라이브니스 제스처를 검출하는 시도를 하기 전에 캡처된 인증 이미지에 얼굴 인식 프로그램을 실행할 수 있다. 라이브니스 지시자에 대해 개체를 분석하기 전에 얼굴 인식 분석을 수행하는 것에 의해, 컴퓨팅 디바이스(102)는 가능한 위조 시도를 체크하기 전에 컴퓨팅 디바이스(102)에 의해 제어되는 기능에 액세스하는 것에 대해 적절한 인증 허가를 유저(예를 들어 허가된 유저(126))가 가지고 있는지를 결정할 수 있다. 다른 이러한 구현예에서 컴퓨팅 디바이스(102)는 인증 이미지의 개체로부터 라이브니스의 지시자를 제일 먼저 검출하고 이후 인증 이미지에 얼굴 인식을 수행할 수 있다. 얼굴 인식을 수행하기 전에 라이브니스를 테스트하는 것에 의해 컴퓨팅 디바이스(102)는 얼굴 인식 프로그램을 실행하기 전에 가능한 위조 기반 이미지를 제거할 수 있다. 다른 예시적인 구현예에서, 컴퓨팅 디바이스(102)는 라이브니스 지시자에 대해 개체를 분석함과 동시에 즉 동시에 병렬로 얼굴 인식 분석을 수행할 수 있다. 여러 경우에 "라이브리니스(liveliness)"라는 용어는 "라이브니스" 대신에 사용될 수 있다. 본 발명을 위하여 "라이브리니스" 및 "라이브니스"라는 용어는 동의어인 것으로 고려되고 상호교환가능하게 사용될 수 있다. 보다 구체적으로 "라이브니스" 및 "라이브리니스"라는 용어는 생명이 없는 객체(예를 들어, 위조에 사용된 이미지 또는 이와 유사한 것)와 살아있는 사람 사이의 구별(distinction)을 나타내기 위해 본 명세서에서 각각 사용될 수 있다.

컴퓨팅 디바이스(102)는 얼굴 인식과 라이브니스 검출을 수행하기 위한 특정 시퀀스를 선택하는데 여러 기준을 고려할 수 있다. 일부 예에서, 얼굴 인식 프로그램과 위조 방지 프로그램은 실행할 시간의 양을 서로 다르게 취할 수 있고 컴퓨팅 자원의 레벨을 다르게 연장할 수 있고 네트워크 및/또는 셀룰러 대역폭의 양 등을 서로 다르게 요구할 수 있다. 일례로서, 위조 방지 프로그램이 광 검출과 라이브니스 검출을 모두 수행하는 구현예에서, 위조 방지 프로그램의 실행은 얼굴 인식 프로그램의 실행보다 더 많은 시간이 소비되고 및/또는 자원이 소비될 수 있다. 이 예에서, 컴퓨팅 디바이스(102)는 라이브니스의 지시자를 검출하기 전에 얼굴 인식을 수행할 수 있다.

반대 예로서, 위조 방지 프로그램은 본 발명의 라이브니스 검출 기술을 실행하고 광 검출을 수행하지 않을 수 있다. 이러한 구현예에서 위조 방지 프로그램의 실행은 얼굴 인식 프로그램의 실행보다 더 적은 시간이 소비되고 및/또는 자원이 소비될 수 있다. 이 시나리오에서 컴퓨팅 디바이스(102)는 캡처된 인증 이미지에 얼굴 인식 분석을 수행하기 전에 위조 방지 프로그램을 실행(즉, 라이브니스 검출을 수행)할 수 있다. 이런 방식으로 컴퓨팅 디바이스(102)는 컴퓨팅 디바이스(102)가 라이브니스 검출과 얼굴 인식을 수행하는 시퀀스를 변경하는 것에 의해 시간과 컴퓨팅 자원을 보존할 수 있다. 이전 패러그래프에서 설명된 바와 같이 라이브니스 검출은 후술되는 바와 같이 라이브니스 제스처와 얼굴 제스처 중 하나 또는 둘 모두에 기초할 수 있다.

일부 예에서 컴퓨팅 디바이스(102)는 하나 이상의 제스처의 유저의 수행에 기초하여 라이브니스의 지시자를 검출할 수 있다. 컴퓨팅 디바이스(102)가 라이브니스를 검출하는 제스처는 "라이브니스 제스처"라고 본 명세서에 언급될 수 있다. 라이브니스 제스처의 일부 예시적인 예로는 하나 이상의 방향으로 유저의 머리를 움직이는 것을 포함할 수 있다. 예를 들어, 유저는 머리를 "흔들거나" 또는 "회전"시킬 수 있어서 수직(또는 y) 축 주위로 머리를 회전시킬 수 있다. 흔드는/회전시키는 제스처에 의해 생성된 회전 각도는 "요우" 또는 "헤딩(heading)" 각도라고 알려져 있다.

유사하게 라이브니스 제스처의 다른 예에서 유저는 수평(또는 x) 축 주위로 머리를 회전시키는 것에 의해 자기의 머리를 "끄떡"일 수 있다. 끄떡이는 제스처에 의해 생성된 회전 각도는 "피치" 또는 "엘리베이션(elevation)" 각도라고 알려질 수 있다. 요우 및 피치 각도는 오일러(Euler) 각도의 서브 세트인 테이트-브리안(Tait-Bryan) 각도로 종종 분류된다. 일반적으로 오일러 각도는 강체의 배향을 분별하거나 기술하는데 사용될 수 있다. 예를 들어, 얼굴 이미지의 문맥에서, 요우 각도는 개체의 머리가 우측으로부터 좌측으로 어느 정도 회전되었는지를 기술할 수 있다. 유사하게, 피치 각도는 개체의 머리가 위쪽으로 또는 아래쪽으로 어느 정도 향하는지를 기술할 수 있다. 제 3 및 마지막 테이트-브리안 각도는 "롤(roll)" 또는 "뱅크(bank)"라고도 종종 언급되며 깊이(또는 z) 축 주위로 유저의 머리의 회전을 기술하고 유저의 머리를 "세우는" 움직임을 반영할 수 있다.

얼굴 이미지는 기술된 테이트-브리안 각도 중 임의의 하나 이상의 각도의 일부 레벨을 디스플레이할 수 있다. 예를 들어, 개체가 위쪽으로 향하고 자기의 머리를 좌측으로 회전시키면, 개체의 대응하는 얼굴 이미지는 요우 각도와 피치 각도를 모두 디스플레이할 수 있다. 컴퓨팅 디바이스(102)에서 실행되는 위조 방지 프로그램은 본 발명의 기술을 구현하여 얼굴 이미지에서 나타난 개체의 머리의 요우, 피치, 및 롤 각도를 결정하고 결정된 각도를 사용하여 라이브니스 제스처의 여러 유형의 존재를 검출할 수 있다. 검출된 라이브니스 제스처(들)가 특정 파라미터(예를 들어, 임계 크기를 충족하는 것, 미리 결정된 제스처 특성에 매칭하는 것, 등)를 만족시키는 경우, 위조 방지 프로그램은 캡처된 인증 이미지가 적법한 것으로 결정할 수 있다. 그 역으로, 위조 방지 프로그램이 라이브니스 제스처를 검출하지 않거나 파라미터를 만족시키지 않는 라이브니스 제스처를 검출하는 경우, 위조 방지 프로그램은 위조 시도인 것으로 인증 시도를 식별하고 얼굴 인식 프로그램을 실행 및/또는 이에 의해 생성된 결과에 상관없이 컴퓨팅 디바이스(102)로 하여금 유저에 액세스를 거부하게 할 수 있다.

컴퓨팅 디바이스(102)에서 실행되는 위조 방지 프로그램은 여러 방식으로 라이브니스 제스처를 검출할 수 있다. 예를 들어, 위조 방지 프로그램은 컴퓨팅 디바이스(102)로 하여금 컴퓨팅 디바이스(102)에 의해 제어되는 기능에 액세스를 시도하는 유저의 다수의 얼굴 이미지를 캡처하게 할 수 있다. 위조 방지 프로그램은 캡처된 다수의 얼굴 이미지 중 다른 이미지에 대해 캡처된 다수의 얼굴 이미지 중 하나의 이미지의 요우 각도와 피치 각도 중 하나 또는 둘 모두에 기초하여 라이브니스 제스처를 검출할 수 있다. 예를 들어, 캡처된 다수의 얼굴 이미지의 제 2 이미지가 캡처된 다수의 얼굴 이미지의 제 1 이미지에 대해 요우 각도를 디스플레이하는 경우, 위조 방지 프로그램은 경우에 따라 유저가 자기의 머리를 우측으로 또는 좌측으로 회전시킨 것을 검출할 수 있다. 다른 예로서, 제 2 이미지가 제 1 이미지에 대해 피치 각도를 디스플레이하는 경우, 위조 방지 프로그램은 경우에 따라 유저가 자기의 머리를 위쪽으로 또는 아래쪽 방향으로 끄떡인 것을 검출할 수 있다. 머리 회전과 머리 끄떡임 중 하나 또는 둘 모두는 본 명세서에 설명된 기술 중 하나 이상에 따라 라이브니스 제스처를 형성할 수 있다.

제 1 이미지에 대해 제 2 이미지에 의해 디스플레이되는 요우 및/또는 피치 각도에 기초하여, 컴퓨팅 디바이스(102)에서 실행되는 위조 방지 프로그램은 요우 각도 크기 및/또는 피치 각도 크기를 분별할 수 있다. 예를 들어, 유저 머리를 유저의 우측으로 반쯤 회전(half-turn)시키는 것은 제 2 이미지로 하여금 제 1 이미지에 대해 45도 크기를 가지는 요우 각도를 디스플레이하게 할 수 있다. 유사하게, 유저의 머리를 위쪽 방향으로 반쯤 끄떡이는(half-nod) 것은 제 2 이미지로 하여금 제 1 이미지에 대해 45도 크기를 가지는 피치 각도를 디스플레이하게 할 수 있다.

이 예에서, 컴퓨팅 디바이스(102)에서 실행되는 위조 방지 프로그램은 요우 각도 크기와 피치 각도 크기 중 하나 또는 둘 모두에 기초하여 라이브니스 스코어를 생성할 수 있다. 예를 들어, 위조 방지 프로그램은 결정된 요우 각도 크기 및/또는 피치 각도 크기에 비례하는 라이브니스 스코어를 생성할 수 있다. 다시 말해, 요우 각도 크기 및/또는 피치 각도 크기가 더 크면 더 큰 라이브니스 스코어를 초래할 수 있다. 위조 방지 프로그램이 제 1 이미지에 대해 제 2 이미지에 의해 디스플레이된 요우 각도와 피치 각도를 모두 검출하는 예에서, 라이브니스 스코어는 요우 각도 크기와 피치 각도 크기 모두의 함수로부터 결정될 수 있다. 여러 시나리오에서, 위조 방지 프로그램은 피치 각도 크기에보다 요우 각도 크기에 상이한 가중치를 부여(attach)할 수 있다. 하나의 이러한 예에서, 요우 각도 크기가 피치 각도 크기보다 더 큰 가중치와 관련되는 경우, 약간의 요우 각도 크기만으로도 더 큰 피치 각도 크기가 야기하는 것보다 라이브니스 스코어에 보다 많은 사이즈가능한 증가를 야기할 수 있다.

추가적으로, 컴퓨팅 디바이스(102)에서 실행되는 위조 방지 프로그램은 생성된 라이브니스 스코어를 임계값과 비교할 수 있다. 예를 들어, 임계값은 미리 선택된 크기의 임계 라이브니스 제스처(요우 각도, 피치 각도, 또는 이들 둘 모두)와 관련된 라이브니스 스코어에 대응할 수 있다. 위조 방지 프로그램은 임계 라이브니스 제스처가 용이하게 위조될 수 없는 특성 및/또는 크기를 가지는지를 결정할 수 있다. 예를 들어, 위조 방지 프로그램은 2차원 위조 기반 이미지(예를 들어, 이미지(124))가 그 중심에 대해 회전될 때 롤을 나타낼 수 있으므로 롤 각도로부터 분별될 수 있는 임의의 라이브니스 지시자를 무시(disregard)할 수 있다. 다른 예로서, 위조 방지 프로그램은 특정 값 미만인 요우 및/또는 피치 각도 크기에 기초하여 라이브니스 지시자를 무시할 수 있다. 특정 값 미만의 요우 및/또는 피치 각도 크기를 무시하는 것에 의해 위조 방지 프로그램은 악의있는 유저가 서로 분별가능한 최소의 변화를 디스플레이하는 허가된 유저(126)의 다수의 위조 기반 이미지를 제시할 수 있는 시나리오에서 위조를 검출할 수 있다.

생성된 라이브니스 스코어와 임계값의 비교에 기초하여, 컴퓨팅 디바이스(102)에서 실행되는 위조 방지 프로그램은 컴퓨팅 디바이스에 의해 제어된 기능에 액세스하는 것에 대하여 유저에 인증을 거부할지 여부를 결정할 수 있다. 보다 구체적으로, 다수의 얼굴 이미지로부터 생성된 라이브니스 스코어는 임계값을 충족시키지 않는 경우, 위조 방지 프로그램은 컴퓨팅 디바이스(102)로 하여금 유저에 인증을 거부하게 할 수 있다. 인증의 거부는 다수의 얼굴 이미지 중 임의의 하나 이상의 이미지에 얼굴 인식 분석의 수행 및/또는 결과에 독립적일 수 있다. 예를 들어, 컴퓨팅 디바이스(102)가 위조 방지 프로그램을 실행하기 전에 얼굴 인식 프로그램을 실행하는 시나리오에서 컴퓨팅 디바이스(102)는 다수의 얼굴 이미지 중 하나 이상이 얼굴 인식 프로그램에 의해 매치가 허여되는 경우에도 인증을 거부할 수 있다. 다른 예로서, 컴퓨팅 디바이스(102)가 위조 방지 프로그램을 실행한 후에 얼굴 인식 프로그램을 실행하는 시나리오에서 컴퓨팅 디바이스(102)는 인증을 거부하고 다수의 얼굴 이미지 중 임의의 것에 얼굴 인식 프로그램을 실행하는 것을 거절(decline)할 수 있다. 이 구현예에서 얼굴 인식 프로그램을 실행하는 것을 거절하는 것에 의해 컴퓨팅 디바이스(102)는 시간, 컴퓨팅 자원, 네트워크 자원 등을 보존할 수 있다.

일부 예에서, 위조 방지 프로그램은 컴퓨팅 디바이스(102)로 하여금 유저에 하나 이상의 라이브니스 제스처를 수행하도록 프롬프트하게 할 수 있다. 일 구현예에서, 위조 방지 프로그램은 잠금 해제 프롬프트(108)로 하여금 하나 이상의 라이브니스 제스처를 수행할 명령을 포함하게 할 수 있다. 다른 구현예에서, 위조 방지 프로그램은 컴퓨팅 디바이스(102)로 하여금 GUI(106) 내 별개의 프롬프트를 디스플레이하게 하여 별개의 프롬프트가 라이브니스 제스처(들)를 유저에 수행하도록 하는 명령을 포함하도록 할 수 있다. 이들 및 다른 구현예에서, 위조 방지 프로그램은 컴퓨팅 디바이스(102)로 하여금 예를 들어 컴퓨팅 디바이스(102)의 스피커를 사용하는 것에 의해 오디오 프롬프트를 출력하게 할 수 있다. GUI(106)의 일부로 제공된 시각적 프롬프트와 유사하게, 오디오 프롬프트는 하나 이상의 라이브니스 제스처를 유저에 수행하게 명할 수 있다.

추가적으로, 위조 방지 프로그램은 유저가 뱅크(bank) 또는 풀(pool)로부터 하나 이상의 라이브니스 제스처를 수행하고 및/또는 랜덤하게 선택하게 하는 라이브니스 제스처를 미리 결정할 수 있다. 일례로서, 위조 방지 프로그램은 좌측 방향으로 유저의 머리를 반쯤 회전시키는 것을 포함하는 라이브니스 제스처를 유저에 수행하게 프롬프트할 수 있다. 보다 구체적으로, 반쯤 회전하는 것은 정면을 향하는(또는 "정면") 배향으로부터 유저의 좌측으로 유저의 머리를 회전시켜서 35도 내지 55도의 요우 각도를 형성하는 것을 포함할 수 있다. 반쯤 회전시킨 후에 유저의 머리의 배향은 본 명세서에서 "중간 프로파일" 배향(mid-profile orientation)이라고 언급될 수 있다.

다른 예로서, 위조 방지 프로그램은 유저의 머리를 우측 방향으로 완전히 회전(full-turn)시키는 것을 수행하도록 유저에 프롬프트할 수 있다. 완전히 회전시키는 것은 정면 배향으로부터 유저의 우측으로 유저의 머리를 회전시켜 80도 내지 100도의 요우 각도를 형성하는 것을 포함할 수 있다. 완전히 회전된 후의 유저의 머리의 배향은 본 명세서에서 "프로파일" 배향("profile" orientation)이라고 언급될 수 있다. 유저로부터 라이브니스 제스처를 검출할 때, 위조 방지 프로그램은 수행된 라이브니스 제스처가 프롬프트에서 지정된 미리 결정된 라이브니스 제스처와 적절히 매칭되는지 여부를 결정할 수 있다. 예를 들어, 위조 방지 프로그램은 절반 회전을 수행하도록 유저에 프롬프트하였으나, 위조 방지 프로그램은 유저가 완전한 회전을 수행한 것을 검출한 경우, 위조 방지 프로그램은 검출된 라이브니스 제스처가 미리 결정된 라이브니스 제스처와 매치되지 않는 것을 결정할 수 있다.

검출된 라이브니스 제스처가 미리 결정된 라이브니스 제스처와 매치되지 않는 상황에서, 위조 방지 프로그램은 유저의 얼굴 이미지에 대해 얼굴 인식 프로그램의 수행 및/또는 이에 의해 생성된 결과에 상관없이 컴퓨팅 디바이스(102)로 하여금 유저에 인증을 거부하게 할 수 있다. 역으로, 위조 방지 프로그램이 검출된 라이브니스 제스처가 미리 결정된 라이브니스 제스처와 일치하는 것으로 결정하면, 위조 방지 프로그램은 얼굴 인식 프로그램(예를 들어, 얼굴 인식 프로그램이 유저의 인증 이미지 등에 대해 매치를 결정하는 경우 인증을 허여하는 것)으로 인증 결정을 연기(defer)할 수 있다.

위조 방지 프로그램은 컴퓨팅 디바이스(102)로 하여금 유저의 2개의 얼굴 이미지를 캡처하는 것에 의해 요우 각도를 분별(이에 의해 프롬프트에서 지시된 라이브니스 제스처를 검출)할 수 있다. 일 구현예에서, 위조 방지 프로그램은 컴퓨팅 디바이스(102)로 하여금 라이브니스 제스처의 각 단계에서 유저에 프롬프트하도록 할 수 있다. 좌측으로 반쯤 회전하는 예에서, 위조 방지 프로그램은 유저의 머리가 정면 배향인 얼굴 이미지를 제시하도록 유저에게 프롬프트할 수 있다. 정면 배향인 유저의 얼굴의 제 1 이미지를 캡처한 후에 위조 방지 프로그램은 35도 내지 55도 범위의 각도만큼 자기의 머리를 좌측으로 회전하도록 유저에게 프롬프트할 수 있다. 위조 방지 프로그램은 컴퓨팅 디바이스(102)로 하여금 유저의 면의 제 2 이미지를 캡처하게 하고 제 2 이미지를 제 1 이미지와 비교하여 좌측으로 반쯤 회전한 것을 검출하게 할 수 있다.

일부 예에서, 위조 방지 프로그램은 컴퓨팅 디바이스(102)로 하여금 제 1 이미지를 캡처한 후에 미리 결정된 시간 경과 후에 제 2 이미지를 캡처하게 할 수 있다. 다른 예에서, 위조 방지 프로그램은 컴퓨팅 디바이스(102)로 하여금 예를 들어 GUI(106)에 제공된 버튼을 누르거나/작동시키는 것에 의해 하나의 이미지 또는 두 개의 이미지를 캡처하게 하도록 유저에게 프롬프트할 수 있다. 또 다른 예에서 위조 방지 프로그램은 컴퓨팅 디바이스(102)의 비디오 가능 카메라로 하여금 유저의 비디오 스트림을 캡처하게 하고 캡처된 비디오의 프레임을 추출하게 하여 제 1 및 제 2 이미지를 형성하게 할 수 있다. 이런 방식으로, 본 발명의 기술은 라이브니스 제스처를 검출하기 위한 얼굴 이미지를 얻는 여러 방식을 제공할 수 있다.

위조 방지 프로그램은 라이브니스 제스처를 검출하기 위하여 여러 방식으로 제 1 및 제 2 이미지를 비교할 수 있다. 예시적인 검출 구현예는 자세(pose) 기반 검출 기술, 랜드마크 기반 검출 기술 등을 포함할 수 있다. 자세 기반 및 랜드마크 기반 검출 기술은 아래 도 7 내지 도 10에 대하여 보다 상세히 설명된다. 추가적으로, 자세 기반 검출 기술의 기초를 형성하는 특정 측면은 자세 식별 기술을 포함한다. 자세 식별(또는 대안적으로, 머리의 배향 식별)을 위한 예시적인 기술은 그 전체 내용이 본 명세서에 참조 문헌으로 각각 병합된 미국 특허 번호 6,829,384호,"OBJECT FINDER FOR PHOTOGRAPHIC IMAGES", 미국 특허 번호 7,194,114호, "OBJECT FINDER FOR TWO-DIMENSIONAL IMAGES, AND SYSTEM FOR DETERMINING A SET OF SUB-CLASSIFIERS COMPOSING AN OBJECT FINDER", 및 미국 특허 번호 8,064,688호, "OBJECT RECOGNIZER AND DETECTOR FOR TWO-DIMENSIONAL IMAGES USING BAYESIAN NETWORK BASED CLASSIFIER"에 기술되어 있다.

일부 구현예에서, 컴퓨팅 디바이스(102)는 본 발명의 기술의 구현을 가능하게 하는 하드웨어 요소를 포함하거나 이에 액세스를 할 수 있다. 예를 들어, 컴퓨팅 디바이스(102)는 3차원 거리계(3D rangefinder)를 포함하거나 이에 연결될 수 있다. 3D 거리계는 원격 객체와의 거리, 원객 객체의 깊이 등을 결정하기 위해 레이저와 같은 기술을 포함할 수 있다. 컴퓨팅 디바이스(102)가 라이브니스 제스처 검출을 구현하기 위해 3D 거리계를 사용하는 일부 예에서, 컴퓨팅 디바이스(102)는 제 1 및 제 2 이미지에 대해 거리 및 깊이와 관련된 여러 얼굴 윤곽을 검출할 수 있다. 예를 들어, 제 1 얼굴 이미지의 캡처와 관련하여, 컴퓨팅 디바이스(102)는 3D 거리계를 사용하여 유저의 코의 끝까지의 거리, 유저의 눈까지의 거리 등 중 하나 이상을 분별할 수 있다. 추가적으로, 제 2 얼굴 이미지의 캡처와 관련하여, 컴퓨팅 디바이스(102)는 3D 거리계를 사용하여 동일한 얼굴 특징부까지의 거리를 분별할 수 있다.

수행된 라이브니스 제스처의 특성에 기초하여 위조 방지 프로그램은 얼굴 특징부까지의 거리의 특정 변화를 예상할 수 있다. 예를 들어, 우측으로 완전히 회전한 경우에, 유저의 코의 끝까지의 거리는 유저의 머리의 정면 배향과 프로파일 배향 사이의 차이에 기초하여 증가할 수 있다. 추가적으로, 3D 거리계는 유저의 머리가 정면 배향으로 자세를 취할 때와 비교해서 유저의 머리가 프로파일 배향으로 자세를 취할 때 더 적은 윤곽을 검출할 수 있다. 보다 구체적으로, 정면 배향으로 자세를 취하는 것은 두 눈의 깊이와 곡률, 코의 돌출, 입/입술, 턱 등과 관련된 윤곽을 노출할 수 있다. 이와 비교해서 프로파일 배향으로 자세를 취하는 것은 (보이지 않을 수도 있는) 하나의 눈과 관련된 윤곽이 부재하여 나머지 볼 수 있는 눈과 관련된 윤곽 등을 감소시킬 수 있다. 이런 방식으로 본 발명의 기술은 3D 거리계를 사용하여 구현되고 개선될 수 있다.

일부 예에서, 위조 방지 프로그램은 컴퓨팅 디바이스(102)로 하여금 더 큰 이미지 서브세트로부터 2개 이상의 이미지를 선택하게 한 다음 선택된 이미지를 사용하여 라이브니스 제스처를 검출하게 할 수 있다. 하나의 예시적인 예에서, 위조 방지 프로그램은 컴퓨팅 디바이스(102)로 하여금 유저의 3개의 얼굴 이미지를 캡처하게 할 수 있다. 위조 방지 프로그램은 3개의 캡처된 얼굴 이미지로부터 모든 가능한 쌍을 치환(permute)하고 각 쌍 내 이미지를 비교할 수 있다. 위조 방지 프로그램이 이들 비교 중 하나에 기초하여 (즉, 캡처된 얼굴 이미지의 단일 쌍으로) 만족스러운 라이브니스 제스처를 검출하면, 위조 방지 프로그램은 유저의 인증에 대해 얼굴 인식 프로그램으로 연기할 수 있다.

컴퓨팅 디바이스(102)가 비디오 캡처 능력을 가지는 이미지 캡처 디바이스를 구비하거나 이에 연결된 경우에, 위조 방지 프로그램은 캡처된 비디오 스트림의 여러 프레임으로부터 제 1 및 제 2 이미지를 선택할 수 있다. 하나의 예시적인 예에서, 위조 방지 프로그램은 캡처된 비디오 스트림의 프레임의 서브 세트(예를 들어, 쌍, 트라이어드(triads), 등)를 치환할 수 있다. 위조 방지 프로그램은 각 서브세트 내 프레임을 비교할 수 있다. 이 비교에 기초하여 위조 방지 프로그램은 하나 이상의 서브세트에서 라이브니스 제스처를 검출할 수 있다. 예를 들어, 한 쌍의 캡처된 프레임은 위쪽으로 끄덕임을 나타낼 만큼 충분한 피치를 나타낼 수 있다. 다른 예로서, 캡처된 프레임의 트라이어드는 좌측으로 완전히 회전한 것으로 전이하는 좌측으로 반쯤 회전한 것을 나타내는데 필요한 요우를 나타낼 수 있다. 또 다른 예에서, 캡처된 프레임의 쿼텟(quartet)은 우측으로 반쯤 회전한 다음, 위쪽으로 끄덕이는 움직인 다음, 우측으로 완전히 회전한 것을 나타내는데 충분한 요우와 피치를 나타낼 수 있다. 이 예에서, 쿼텟의 제 4 프레임은 쿼텟의 제 1 프레임과 비교할 때 80도 내지 100도의 요우 각도와 피치 각도를 디스플레이할 수 있다.

일부 예에서, 위조 방지 프로그램은 프레임의 여러 서브세트와 관련된 라이브니스 스코어를 계산하고 라이브니스 스코어에 기초하여 특정 서브세트를 선택할 수 있다. 예를 들어, 위조 방지 프로그램은 쌍에 대한 라이브니스 스코어가 위조 방지 프로그램에 만족스러운 라이브니스 제스처에 대응하는 경우 한 쌍의 프레임을 선택할 수 있다. 이런 방식으로, 본 발명의 기술은 프레임/이미지의 더 큰 수퍼세트의 프레임/이미지를 선택적으로 그룹화하는 것에 의해 라이브니스 제스처의 검출을 가능하게 할 수 있다.

일부 예에서, 위조 방지 프로그램은 더 강력한(robust) 인증 메커니즘을 제공하기 위해 얼굴 인식 프로그램과 협력하여 기능하도록 본 발명의 기술을 구현할 수 있다. 예를 들어, 위조 방지 프로그램은 얼굴 인식 프로그램으로 하여금 제 1 및 제 2 이미지가 일관된 유저 신원(identity)을 나타내는데 충분한 유사성을 디스플레이하는지 여부를 결정하게 할 수 있다. 보다 구체적으로, 제 1 및 제 2 이미지를 사용하여 라이브니스 제스처를 검출하는 위조 방지 프로그램과 관련하여 얼굴 인식 프로그램은 제 1 및 제 2 이미지를 분석하여 신원 검증을 위하여 이미지가 매치하는지 여부를 결정할 수 있다. 일부 예에서, 매치는 이미지의 유사성 스코어가 임계 유사성(또는 "유사성 스코어 임계값")을 충족하는지 여부에 기초할 수 있다. 이들 및 다른 예에서, 컴퓨팅 디바이스(102)는 제 1 이미지의 하나 이상의 특성을 제 2 이미지의 하나 이상의 대응하는 특성과 비교하는 것에 의해 얼굴 이미지가 일관된 유저의 신원에 순응하는지 여부를 결정할 수 있다. 이들 특성의 예로는 일부를 명명하면, 홍채 컬러, 눈, 코, 입, 등과 같은 얼굴 특징부의 치수, 머리 카락 컬러, 및 머리의 치수를 포함할 수 있다. 이런 방식으로, 본 발명의 기술은 다른 사람의 위조 기반 이미지를 사용하는 것에 의해 라이브니스 제스처를 복제(replicate)하려는 시도를 할 수 있는 악의있는 유저를 방지하면서도 위조 시도를 검출할 수 있다.

특정 구현예에서, 컴퓨팅 디바이스(102)는 얼굴 제스처 검출 및/또는 인식을 사용하여 본 발명의 위조 방지 기술을 수행할 수 있다. 설명된 바와 같이, 본 명세서에 설명된 위조 방지 기술은 깜박임, 윙크 및 사람의 얼굴의 범위 내에서 수행될 수 있는 다른 제스처와 같은 얼굴 제스처(또는 대안적으로, "안면 제스처")를 사용할 수 있다. 컴퓨팅 디바이스(102)는 여러 얼굴 특징부와 관련된 얼굴 제스처를 검출할 수 있다. 예로는 하나 또는 두 개의 눈(예를 들어, 깜박임, 윙크, 등), 입 영역(예를 들어, 웃는 것, 찡그리는 것, 유저의 치아를 보이는 것, 유저의 혀를 내미는 것, 등을 포함하는 제스처), 코(예를 들어, 코의 주름 제스처 등), 이마(예를 들어, 이마의 주름 제스처 등), 하나 또는 두 개의 눈썹(예를 들어, 눈썹 상승 및 압축 제스처 등), 및 여러 다른 것을 포함한다.

일부 구현예에서, 컴퓨팅 디바이스(102)는 특정 얼굴 랜드마크에 기초하여 얼굴 제스처를 검출할 수 있다. 특정 예에서 컴퓨팅 디바이스(102)는 다수의 캡처된 얼굴 이미지에서 얼굴 랜드마크를 식별할 수 있다. 특히, 컴퓨팅 디바이스(102)는 제 1 얼굴 이미지에서 하나 이상의 랜드마크를 식별하고 제 2 얼굴 이미지에서 하나 이상의 대응하는 랜드마크를 식별할 수 있다. 추가적으로, 컴퓨팅 디바이스(102)는 제 1 및 제 2 얼굴 이미지 각각으로부터 서브 이미지를 추출하되, 서브 이미지가 식별된 랜드마크의 표현을 포함하도록 추출할 수 있다. 컴퓨팅 디바이스(102)는 제 1 및 제 2 얼굴 이미지로부터 (예를 들어, 서브 이미지들 사이 거리 척도를 결정하는 것에 의해) 서브 이미지의 대응하는 세트를 비교할 수 있다. 거리 척도가 임계값을 충족하거나 초과하는 경우 컴퓨팅 디바이스(102)는 유저가 얼굴 제스처를 만족스럽게 수행하였다고 결정하고, 매치를 허여하는 얼굴 인식 프로그램에 따라 얼굴 인식 인증에 기초하여 컴퓨팅 디바이스(102)에 의해 제어되는 기능에 유저가 액세스할 수 있게 할 수 있다.

일례에서, 컴퓨팅 디바이스(102)는 깜박임 제스처를 검출하는 시도를 할 수 있다. 이 예에서, 컴퓨팅 디바이스(102)는 개별 랜드마크로 제 1 얼굴 이미지의 두 눈을 식별할 수 있다. 대안적으로, 컴퓨팅 디바이스(102)는 두 눈을 포함하는 유저의 얼굴(예를 들어, "안구 스트립(ocular strip)") 영역을 단일 랜드마크로 식별할 수 있다. 컴퓨팅 디바이스(102)는 식별된 얼굴 랜드마크(들)를 포함하는 제 1 얼굴 이미지로부터 제 1 서브 이미지를 추출할 수 있다. 추가적으로, 컴퓨팅 디바이스(102)는 대응하는 얼굴 랜드마크(들)를 포함하는 제 2 얼굴 이미지로부터 제 2 서브 이미지를 추출할 수 있다. 일부 구현예에서, 컴퓨팅 디바이스(102)는 제 2 서브 이미지가 제 1 서브 이미지보다 (예를 들어, 제 1 이미지의 사이즈의 20% 비율만큼) 더 크도록 서브 이미지를 추출할 수 있다. 컴퓨팅 디바이스(102)는 제 1 서브 이미지의 모든 상세가 제 2 서브 이미지에 포함되는 것을 보장하려는 시도로 더 큰 이미지로 제 2 서브 이미지를 추출할 수 있다. 추가적으로, 제 1 서브 이미지보다 더 큰 이미지로 제 2 서브 이미지를 추출하는 것에 의해 컴퓨팅 디바이스(102)는 2개의 서브 이미지들 사이에 대응하는 랜드마크의 보다 더 정확하고 정밀한 정렬을 보장할 수 있다. 이런 방식으로 대응하는 랜드마크의 더 우수한 정렬을 보장하는 것에 의해 컴퓨팅 디바이스(102)는 라이브니스 제스처나 얼굴 제스처의 수행과 무관한 다른 요인과 불량한 정렬로 야기된 임의의 거리를 완화할 수 있다.

유저가 위조 방지 목적을 위해 충분한 얼굴 제스처를 수행하였는지 여부를 검출하기 위해 컴퓨팅 디바이스(102)는 제 1 및 제 2 서브 이미지들 사이에 거리의 척도(measure)를 연산할 수 있다. 예를 들어 거리 척도를 연산하는 것은 여러 단계를 포함할 수 있다. 예를 들어, 컴퓨팅 디바이스(102)는 추출된 서브 이미지를 정규화하기 위하여 추출된 서브 이미지 중 하나 또는 둘 모두를 스케일링, 회전, 정정, 또는 조절할 수 있다. 이런 방식으로 추출된 서브 이미지를 조절(및/또는 정규화)하는 것은 컴퓨팅 디바이스(102)로 하여금 서브 이미지의 표준 정규화된 상관을 달성할 수 있게 할 수 있다. 서브 이미지를 정규화하는 것에 의해 컴퓨팅 디바이스(102)는 측정 파라미터를 형성하는 영역들의 위치와 영역 간의 공간과 같은 서브 이미지의 공유 속성의 불일치를 감소시킬 수 있다. 예로서, 컴퓨팅 디바이스(102)는 제 1 얼굴 이미지에 대해 제 2 얼굴 이미지에 의해 디스플레이되는 요우, 피치, 및 롤 각도 중 하나 이상을 보상하기 위하여 기초가 되는 서브 이미지 중 하나를 회전시킬 수 있다. 회전하는 예에서, 컴퓨팅 디바이스(102)는 서브 이미지의 배향을 정규화할 수 있다. 유사하게, 컴퓨팅 디바이스(102)는 서브 이미지의 사이즈를 정규화하기 위해 하나 또는 두 개의 서브 이미지를 스케일링할 수 있다. 컴퓨팅 디바이스(102)는 제 1 및 제 2 얼굴 이미지의 사이즈의 검출된 불일치에 기초하여 서브 이미지의 사이즈를 정규화할 수 있다. 이런 방식으로, 컴퓨팅 디바이스(102)는 서브 이미지로부터 얼굴 제스처를 검출하는 시도를 하기 전에 유저의 얼굴 제스처의 수행과 무관한 서브 이미지들 사이의 차이를 감소시킬 수 있다.

유저가 얼굴 제스처(이 예에서, 깜박임)를 수행하였는지 여부를 결정하기 위해 컴퓨팅 디바이스(102)는 서브 이미지들 간 거리를 측정할 수 있다. 컴퓨팅 디바이스(102)가 서브 이미지에 대해 다수의 정규화 동작을 수행하는 예에서, 컴퓨팅 디바이스(102)는 제 1 서브 이미지로부터 제 2 서브 이미지의 각 정규화된 버전까지의 거리를 측정할 수 있다. 컴퓨팅 디바이스(102)는 깜박임 검출을 위하여 다수의 거리 척도의 최소 거리를 선택할 수 있다. 최소 거리를 선택하는 것에 의해 컴퓨팅 디바이스(102)는 서브 이미지의 보다 정확히 정규화된 쌍으로부터 거리를 이용할 수 있다. 컴퓨팅 디바이스(102)는 측정된 거리(예를 들어, 선택된 최소 거리)가 서브 이미지들 간에 적절한 깜박임(또는 경우에 따라 다른 얼굴 제스처)으로 인정할 수 있을 만큼 충분한 거리를 나타내는지 여부를 결정할 수 있다. 예로서, 컴퓨팅 디바이스(102)는 충분한 차이가 존재하는지 여부를 결정하기 위하여 임계값과 측정된 값을 비교할 수 있다. 측정된 거리가 임계값을 충족하거나 초과하는 경우, 컴퓨팅 디바이스(102)는 깜박임 제스처를 검출할 수 있으나, 측정된 거리가 임계값 미만인 경우 컴퓨팅 디바이스(102)는 깜박임 제스처의 부재(실패)를 검출할 수 있다.

컴퓨팅 디바이스(102)는 서브 이미지의 대응하는 픽셀 위치들 사이에 차이에 기초하여 서브 이미지들 간 차이를 측정할 수 있다. 전술된 깜박임 제스처의 예에서 제 1 및 제 2 서브 이미지의 대응하는 픽셀 위치는 각막과 눈꺼풀 부분을 각각 나타낼 수 있다. 추가적으로, 눈꺼풀은 각막보다 더 적은 픽셀 전이를 포함할 수 있다. 보다 구체적으로, 각막은 공막, 홍채, 및 동공 중 2개 이상에 대하여 픽셀 전이(예를 들어, 대비 컬러)를 디스플레이할 수 있다. 역으로, 눈꺼풀은 상한(눈썹에 대하여)과 하한(속눈썹에 대하여)에서만 픽셀 전이를 디스플레이할 수 있다.

일부 예시적인 구현에서, 컴퓨팅 디바이스(102)는 3개의 얼굴 이미지( 및 3개의 얼굴 이미지 각각으로부터 하나씩 추출된 3개의 서브 이미지)를 사용하여 깜박임 제스처를 검출할 수 있다. 이들 구현예에서, 컴퓨팅 디바이스(102)는 깜박임 제스처를 검출하기 위하여 3개의 서브 이미지 중 임의의 2개 사이의 거리를 측정할 수 있다. 예를 들어, 컴퓨팅 디바이스(102)는 측정된 거리가 파라미터 세트를 만족하는 경우 깜박임 제스처를 검출할 수 있다. 하나의 예시적인 파라미터로서, 제 1 및 제 2 서브 이미지들 사이 측정된 거리는 (눈꺼풀의 닫힘에 대응하는) 임계 값을 충족하거나 초과하여야 한다. 다른 예시적인 파라미터로서, 제 1 및 제 3 서브 이미지들 사이의 측정된 거리는 (눈을 뜬 것을 나타내는 두 서브 이미지에 대응하는) 동일하거나 상이한 임계값 미만이어야 한다. 다른 예시적인 파라미터로서, 제 2 및 제 3 서브 이미지들 사이에 측정된 거리는 (눈꺼풀이 열린 것에 대응하는) 동일하거나 상이한 임계값을 충족하거나 초과하여야 한다. 컴퓨팅 디바이스(102)는 깜박임 제스처를 검출하기 위해 3개의 얼굴 이미지를 사용할 때 이들 파라미터 3개 모두 또는 이들 파라미터의 임의의 조합을 적용할 수 있다. 이런 방식으로, 본 발명의 기술은 이용가능한 정보의 양이 가변하는 얼굴 제스처를 검출하는 여러 방식을 제공할 수 있다.

설명된 바와 같이, 컴퓨팅 디바이스(102)는 여러 얼굴 제스처를 검출하기 위해 본 발명의 기술을 구현할 수 있다. 전술된 깜박임 제스처에 더하여, 컴퓨팅 디바이스(102)는 윙크, 눈을 뜬 동안 각막의 움직임(이하 "안구 운동"), 눈썹의 움직임 등과 같은 랜드마크로서 하나 또는 두 눈을 사용하는 다른 얼굴 제스처를 검출하는 기술을 구현할 수 있다. 추가적으로, 컴퓨팅 디바이스(102)는 입(또는 일반적으로 입 영역), 코, 이마, 및 다른 곳을 포함하는 다른 얼굴 랜드마크에 기초하여 얼굴 제스처를 검출할 수 있다. 이들 랜드마크와 관련된 얼굴 제스처는 예를 들어, 웃는 것, 찡그린 것, 혀를 내미는 것, 입을 여는 제스처, 코 주름, 이미 주름, 및 여러 다른 것을 포함할 수 있다.

윙크 제스처의 예로서, 컴퓨팅 디바이스(102)는 하나의 눈(예를 들어, 좌안)에 대하여 측정된 거리를 제 1 임계값과 비교하여 좌측 눈꺼풀이 열고 닫고 여는 움직임을 나타낼만큼 충분한 차이가 존재하는지 여부를 결정할 수 있다. 좌안에 대하여 충분한 차이를 검출한 경우, 컴퓨팅 디바이스(102)는 우안의 정적 상태(예를 들어, 우측 눈꺼풀의 연속적으로 열린 상태)를 검출할 수 있다. 보다 구체적으로, 컴퓨팅 디바이스(102)는 여러 얼굴 이미지에서 우안의 표현들 사이의 거리를 측정할 수 있고 이 거리를 제 2 임계값과 비교할 수 있다. 우안의 경우에, 컴퓨팅 디바이스(102)는 거리가 제 2 임계값 미만인지 여부를 결정할 수 있다. 다시 말해, 우안의 경우에, 컴퓨팅 디바이스(102)는 여러 얼굴 이미지에 걸쳐 충분한 유사성이 존재하는지 여부를 검출할 수 있다. 충분한 유사성이 우안이 정적 상태(즉, 열리거나 닫히지만, 2개 사이에 전이는 없이)에 남아있는 것을 나타낼 수 있다.

랜드마크로서 입을 사용할 때, 컴퓨팅 디바이스(102)는 설명된 바와 같이, 웃는 것, 찡그린 것, 혀를 내미는 것 및 입을 여는 제스처를 포함하는 얼굴 제스처를 검출할 수 있다. 하나의 특정 예로서, 컴퓨팅 디바이스(102)는 입을 열어 웃는 동작을 검출할 수 있다. 입을 열어 웃는 동작의 예에서, 얼굴 이미지는 시작점(예를 들어, 입이 닫힌 상태에 있어서 상대적으로 직선이거나 표현이 없는 위치에 있는)으로부터 종료점(예를 들어, 입이 열린 상태에 있어서 위쪽으로 굴곡된 위치에 있는)으로 전이를 디스플레이할 수 있다. 이 예에서, 얼굴 이미지 중 하나의 이미지(예를 들어, 제 2 얼굴 이미지)에서 유저의 입의 열린 상태는 닫힌 입을 나타내는 얼굴 이미지에 대해 추가적인 차이를 제공할 수 있다(이에 의해 측정된 거리를 증가시킬 수 있다). 예를 들어, 제 2 얼굴 이미지의 열린 입은 입술과 치아 사이에 대비에 의해 야기된 픽셀 전이를 포함할 수 있다. 역으로, 제 1 얼굴 이미지는 유저의 입이 닫힌 상태로 인해 입술-치아 대비와 관련된 더 적거나 전혀 없는 픽셀 전이를 포함할 수 있다. 입의 랜드마크와 관련된 픽셀 전이의 품질 및/또는 양이 상이한 것으로 인해 입을 열어 웃는 얼굴 제스처를 나타낼 만큼 충분한 차이(즉, 거리)가 얼굴 이미지들 사이에 존재할 수 있다. 입의 랜드마크에 대하여 충분한 차이를 야기할 수 있는 얼굴 제스처의 다른 예로는 다른 유형의 웃는 동작(예를 들어, 닫힌 입), 찡그린 것(예를 들어, 입 영역의 상이한 굴곡으로 인해), 혀를 내미는 것(예를 들어, 깊이 차이 등에 의해 야기된 픽셀 전이로부터 초래되는 것), 입을 여는 것(예를 들어, 열린 입의 표현과 입술 사이에 대비에 의해 야기된 픽셀 전이로부터 초래되는 것), 및 다른 것을 포함할 수 있다.

일부 구현예에서, 컴퓨팅 디바이스(102)는 특정 미리 결정된 얼굴 제스처를 수행하도록 유저에게 프롬프트하는 본 발명의 기술을 구현할 수 있다. 예로서, 컴퓨팅 디바이스(102)는 GUI(106)의 통지(108)와 유사한 통지를 출력하여 유저에 프롬프트 할 수 있다. 이들 구현예에서, 컴퓨팅 디바이스(102)는 검출된 얼굴 제스처가 미리 결정된 얼굴 제스처와 매치하는 경우에만 위조 방지를 위하여 유효 얼굴 제스처를 검출할 수 있다. 설명된 바와 같이, 입을 열어 웃는 것은 여러 상황에서 라이브니스를 나타내는 유효 얼굴 제스처일 수 있다. 그러나, 프롬프트에 지시된 미리 결정된 얼굴 제스처가 입을 열어 웃는 동작이 아니라면, 컴퓨팅 디바이스(102)는 입을 열어 웃는 동작을 수행하는 유저에 인증을 거부할 수 있다. 역으로, 검출된 얼굴 제스처가 미리 결정된 얼굴 제스처(예를 들어, 혀를 내미는 것)와 매치하는 경우에는, 컴퓨팅 디바이스(102)는 얼굴 인식 프로그램이 캡처된 얼굴 이미지 중 적어도 하나에 매치를 허여한 것을 가정하여 유저에 인증을 허여할 수 있다.

추가적으로, 컴퓨팅 디바이스(102)는 일부 구현예에서 얼굴 검출 능력을 구비할 수 있다. 특정 예에서, 컴퓨팅 디바이스(102)는 하나 이상의 얼굴 검출 프로그램을 실행할 수 있다. 설명된 바와 같이, 컴퓨팅 디바이스(102)는 비디오 캡처 능력을 가지는 이미지 캡처 디바이스를 포함하거나 이에 연결될 수 있다. 이어서 컴퓨팅 디바이스(102)는 이미지 캡처 디바이스에 의해 캡처된 비디오 스트림의 별개의 프레임으로 다수의 이미지(설명된 얼굴 이미지를 포함하는)를 수신할 수 있다. 이 구현예에서, 얼굴 검출 프로그램은 캡처된 비디오 스트림의 다수의 프레임( 및 종종 모든 프레임)을 분석할 수 있다. 보다 구체적으로, 얼굴 검출 프로그램은 이미지 및/또는 비디오 프레임을 분석하여 이미지/프레임이 사람의 얼굴의 표현을 포함하는지 여부를 결정할 수 있다. 컴퓨팅 디바이스(102)가 이 얼굴 검출 프로그램을 구비하는 구현예에서, 컴퓨팅 디바이스(102)는 캡처된 비디오 스트림의 다수의 프레임에 얼굴 검출을 수행하여 검출된 얼굴 또는 라이브니스의 적법성을 결정할 수 있다.

예를 들어, 컴퓨팅 디바이스(102)는 캡처된 비디오 스트림의 각 프레임에 얼굴 검출을 수행할 수 있다. 얼굴 검출이 비디오 스트림의 임의의 일부에 대하여 실패한 경우(즉, 비디오 스트림의 적어도 하나의 프레임이 사람의 얼굴의 표현을 포함하지 않는 경우), 컴퓨팅 디바이스(102)는 유저에 인증을 거부할 수 있다. 다른 예로서, 얼굴 검출 프로그램은 사람의 얼굴이 없을 수 있는 프레임의 허용가능한 임계값을 한정할 수 있다. 이들 예에서, 컴퓨팅 디바이스(102)는 비디오 스트림의 프레임이 얼굴 검출 분석에 실패하지만 실패된 프레임의 수가 한정된 임계값을 초과하지 않는 경우에 유저에 인증을 부여할 수 있다. 이런 방식으로, 본 발명의 기술은 상이한 얼굴 표현, 머리 배향 등을 보여주는 허가된 유저의 다수의 이미지를 검색하는 것에 의해 얼굴 또는 라이브니스 제스처를 위조하려는 악의 있는 유저에 의한 시도를 좌절시킬 수 있다.

본 발명의 하나 이상의 기술이 수행될 수 있는 예시적인 알고리즘이 변수와 이들 변수들이 나타내는 각 값의 리스트와 함께 아래에 제시된다.

알고리즘 1 : 위조 방지

1. 비디오 카메라로부터 출력될 때 이미지 프레임에 얼굴 검출 및 인식을 실행한다. 얼굴(F)이 등록 얼굴과 매치할 때 이를 인식된 얼굴의 세트 E= {F1, F2, F3, ..., FN}의 종단에 이를 추가한다. 결정 단계는 얼굴 랜드마크의 위치 및 얼굴에 대한 롤 각도의 예측값을 산출한다는 것이 주목된다.

2. N(세트 E에 있는 얼굴의 수)이 2 미만이라면, 단계 1로 가고, 그렇지 않으면 3으로 진행한다.

3. 알고리즘 2에 따라 라이브니스 L(E)을 계산한다.

4. L(E)= 참(True)이라면, 디바이스를 잠금 해제한다.

5. 인식 시간이 만료되면, 세트(S)를 소거(clear)하고 중지하며; 그렇지 않으면 단계 1로 간다.

알고리즘 2 : 라이브니스 척도 L(E)

1. N= 얼굴 세트(E)에 있는 요소의 수. 1로부터 N-1까지의 각 i에 대해, 얼굴(i)을 새로운 얼굴(N)과 비교하여 다음과 같이 특징 비교를 혼동할 수 있는 요인을 체크한다

a. 얼굴 검출 단계로부터 머리의 롤 회전 예측을 사용하여 과도한 상대적인 회전을 체크한다. 1로부터 N-1까지 각 i에 대해, 얼굴(i)을 새로운 얼굴(N)과 비교한다; 만약 Abs(RN-Ri) > Rmax 이라면(여기서 Ri는 얼굴(i)의 롤 각도이다), 거짓(False)으로 리턴하고, 그렇지 않으면 계속 진행한다.

b. 얼굴 검출 단계로부터 랜드마크 위치(pij)를 사용하여 움직임 블러(motion blur)를 체크한다:

i. 새로운 얼굴(FN)에 대해 랜드마크의 도심(centroid)(cN)을 계산한다: FN : cN=1/3 _j=1

³ pNj

ii.

이라면, 즉, 2개의 얼굴 사이의 거리가 임계값을 초과하면, 거짓으로 리턴하고, 그렇지 않으면 계속 진행한다.

c. 얼굴 검출 단계로부터 랜드마크 위치(pij)를 사용하여 과도한 상대적인 스케일을 체크한다:

i. 새로운 얼굴(FN)의 스케일(SN)을 계산한다: FN : SN=1/3 _j=1

³

, 즉 랜드마크의 도심으로부터 랜드마크의 평균 거리를 계산한다

ii. Max(SN/Si, Si/SN) > Smax 이라면, 거짓으로 리턴하고, 그렇지 않으면 계속 진행한다.

2. 얼굴 이미지를 (즉, 눈의 포인트들 사이의 라인이 수평이 되도록) 명목 위치(nominal position)로 회전시킨다.

3. 얼굴 이미지를 명목 사이즈로 스케일링한다.

4. 각 특징부(j)에 대해 사이즈(M*Wjx, M*Wjy)(인수 M으로 패딩(padding)된)의, 랜드마크 위치(pj)를 중심으로 하는, 얼굴 이미지의 서브 이미지를 한정한다.

5. 1부터 N-1까지 각 i에 대해, 얼굴(i)의 특징부를 얼굴(N)과 비교한다.

a. 각 특징부(j)(두 눈, 또는 입)에 대해,

i. 얼굴(Fj)의 더 작은 (사이즈 Wjx, Wjy) 서브 이미지(Iij)와 얼굴(FN)로부터 대응하는 서브 이미지와 상관시킨다. 더 큰 이미지 내에 더 작은 이미지의 각 가능한 위치에 대해, 비유사성 척도(예를 들어, 정규화된 유클리드 거리, 1-상관 계수)를 계산하여 상관 면(correlation plane)을 한정한다.

ii. 상관 면에 걸쳐 비유사성 척도의 최소값을 찾는다.

b. 특징부의 비유사성 척도로부터 라이브니스를 결정한다. 예를 들어, 모든 특징부의 비유사성이 거리 임계값(DL)을 초과하는 경우에는 라이브니스=참이고, 그렇지 않은 경우 거짓이다.

c. 얼굴(Fj)에 대해 라이브니스가 참이라면, 참으로 리턴하고, 그렇지 않은 경우 j=j+1 해서 단계 5로 진행한다.

6. 거짓으로 리턴한다.

함수 및 변수

파라미터

도 2는 본 발명의 하나 이상의 측면에 따라, 캡처된 얼굴 이미지에서 가능한 위조를 검출하기 위한 예시적인 컴퓨팅 디바이스의 상세를 도시하는 블록도이다. 컴퓨팅 디바이스(200)는 도 1a 내지 도 1b의 컴퓨팅 디바이스(102)의 하나의 비 제한적인 예일 수 있다. 도 2의 예에 도시된 바와 같이 컴퓨팅 디바이스(200)는 하나 이상의 프로세서(202), 메모리(204), 하나 이상의 저장 디바이스(206), 하나 이상의 입력 디바이스(208), 하나 이상의 출력 디바이스(210), 네트워크 인터페이스(212), 정면을 향하는 카메라(214), 및 하나 이상의 플래시벌브(216)를 포함한다. 하나 이상의 프로세서(202)는 일부 예에서 컴퓨팅 디바이스(200) 내에서 실행하기 위한 기능 및/또는 처리 명령을 구현하도록 구성된다. 예를 들어, 프로세서(202)는 메모리(204)에 저장된 명령 및/또는 저장 디바이스(206)에 저장된 명령을 처리할 수 있다. 이 명령은 운영 시스템(228), 위조 방지 모듈(220), 얼굴 인식 적격 모듈(222), 광 검출 모듈(224), 세기 모듈(226), 주파수 모듈(227), 및 하나 이상의 애플리케이션(230)의 성분(components)을 포함할 수 있다. 컴퓨팅 디바이스(200)는 특히 전력 공급원(예를 들어, 배터리), GPS(global positioning system) 수신기, 및 무선 주파수 식별(RFID) 리더(reader)와 같은 도 2에 미도시된 하나 이상의 추가적인 성분을 더 포함할 수 있다.

메모리(204)는 일례에서 동작 동안 컴퓨팅 디바이스(200) 내에 정보를 저장하도록 구성된다. 메모리(204)는 일부 예에서 컴퓨터 판독가능한 저장 매체 또는 컴퓨터 판독가능한 저장 디바이스로서 기술된다. 일부 예에서, 메모리(204)는 메모리(204)의 주 목적이 장기간 저장이 아닐 수 있는 것을 의미하는 일시적 메모리이다. 메모리(204)는 일례에서 메모리(204)가 전력을 수신하지 않을 때 메모리(204)는 저장된 컨텐츠를 유지하지 않는 것을 의미하는 휘발성 메모리로 기술된다. 휘바성 메모리의 예로는 RAM(random access memories), DRAM(dynamic random access memories), SRAM(static random access memories) 및 이 기술 분야에 알려진 다른 형태의 휘발성 메모리를 포함한다. 일부 예에서, 메모리(204)는 프로세서(202)에 의해 실행하기 위한 프로그램 명령을 저장하는데 사용된다. 메모리(204)는 일례에서, 컴퓨팅 디바이스(200)에서 실행되는 소프트웨어(예를 들어, 운영 시스템(228)) 또는 애플리케이션(예를 들어, 하나 이상의 애플리케이션(230))에 의해 사용되어 프로그램의 실행 동안 정보를 일시적으로 저장할 수 있다.

하나 이상의 저장 디바이스(206)는 일례에서 하나 이상의 컴퓨터 판독가능한 저장 매체 및/또는 컴퓨터 판독가능한 저장 디바이스를 더 포함한다. 일부 예에서, 저장 디바이스(206)는 메모리(204)보다 더 많은 정보의 양을 저장하도록 구성될 수 있다. 저장 디바이스(206)는 정보를 장기간 저장하도록 더 구성될 수 있다. 일부 예에서, 저장 디바이스(206)는 비휘발성 저장 요소를 포함한다. 이러한 비휘발성 저장 요소의 예로는 자기 하드 디스크, 광 디스크, 고체 상태 디스크, 플로피 디스크, 플래시 메모리, 전기적으로 프로그래밍가능한 메모리 형태(EPROM) 또는 전기적으로 소거가능하고 프로그래밍가능한 메모리, 및 이 기술 분야에 알려진 다른 형태의 비휘발성 메모리를 포함한다.

도 2에 도시된 바와 같이, 컴퓨팅 디바이스(200)는 하나 이상의 입력 디바이스(208)를 더 포함할 수 있다. 하나 이상의 입력 디바이스(208)는 촉각, 오디오, 비디오, 또는 생체 채널을 통해 유저로부터 입력을 수신하도록 구성될 수 있다. 입력 디바이스(208)의 예로는 키보드, 마우스, 터치스크린, 존재 감지 디스플레이, 마이크로폰, 하나 이상의 정지 및/또는 비디오 카메라, 지문 리더, 망막 스캐너, 또는 유저 또는 다른 소스로부터 입력을 검출하고 이 입력을 컴퓨팅 디바이스(200)에 또는 그 성분으로 중계할 수 있는 임의의 다른 디바이스를 포함할 수 있다. 도 2에서 별개로 도시되어 있으나, 정면을 향하는 카메라(214)와 플래시벌브(216) 중 하나 또는 둘 모두는 일부 경우에 입력 디바이스(208)의 일부일 수 있다.

컴퓨팅 디바이스(200)의 출력 디바이스(210)는 일례에서 시각적, 청각적인 또는 촉각적인 채널을 통해 유저에 출력을 제공하도록 구성될 수 있다. 출력 디바이스(210)는 비디오 그래픽 어댑터 카드, 액정 디스플레이(LCD) 모니터, 발광 다이오드(LED) 모니터, 음극선관(CRT) 모니터, 사운드 카드, 스피커 또는 유저에 지능적일 수 있는 출력을 생성할 수 있는 임의의 다른 디바이스를 포함할 수 있다. 출력 디바이스(210)는 터치스크린, 존재 감지 디스플레이 또는 이 기술 분야에 알려진 다른 입력/출력 가능 디스플레이를 더 포함할 수 있다.

컴퓨팅 디바이스(200)는 일례에서 네트워크 인터페이스(212)를 더 포함한다. 컴퓨팅 디바이스(200)는 일례에서 네트워크 인터페이스(212)를 사용하여 하나 이상의 무선 네트워크와 같은 하나 이상의 네트워크를 통해 외부 디바이스와 통신한다. 네트워크 인터페이스(212)는 이더넷 카드, 광학 트랜시버, 무선 주파수 트랜시버, 또는 정보를 송수신할 수 있는 임의의 다른 유형의 디바이스와 같은 네트워크 인터페이스 카드일 수 있다. 이러한 네트워크 인터페이스의 다른 예로는 이동 컴퓨팅 디바이스 및 USB에서 Bluetooth(등록상표), 3G, 4G, 및 WiFi(등록상표) 라디오를 포함할 수 있다. 일부 예에서 컴퓨팅 디바이스(200)는 네트워크 인터페이스(312)를 사용하여 네트워크를 통해 외부 디바이스와 무선으로 통신한다.

운영 시스템(228)은 컴퓨팅 디바이스(200) 및/또는 그 성분의 하나 이상의 기능을 제어할 수 있다. 예를 들어, 운영 시스템(228)은 애플리케이션(230)과 상호작용하며, 프로세서(202), 메모리(204), 저장 디바이스(206), 입력 디바이스(208), 및 출력 디바이스(210) 중 하나 이상과 애플리케이션(230) 간에 하나 이상의 상호작용을 가능하게 할 수 있다. 도 2에 도시된 바와 같이 운영 시스템(228)은 애플리케이션(230)과 위조 방지 모듈(220) 및 그 성분과 상호작용하거나 이에 연결될 수 있다. 일부 예에서, 위조 방지 모듈(220), 얼굴 인식 적격 모듈(222), 광 검출 모듈(224), 세기 모듈(226), 및 주파수 모듈(227) 중 하나 이상이 운영 시스템(228)에 포함될 수 있다. 이들 및 다른 예에서, 위조 방지 모듈(220), 얼굴 인식 적격 모듈(222), 광 검출 모듈(224), 세기 모듈(226), 및 주파수 모듈(227) 중 하나 이상은 애플리케이션(230)의 일부일 수 있다. 다른 예에서, 위조 방지 모듈(220), 얼굴 인식 적격 모듈(222), 광 검출 모듈(224), 세기 모듈(226), 및 주파수 모듈(227) 중 하나 이상은 네트워크 위치와 같은 컴퓨팅 디바이스(200)의 외부에 구현될 수 있다. 일부 이러한 경우에, 컴퓨팅 디바이스(200)는 네트워크 인터페이스(212)를 사용하여 "클라우드 컴퓨팅"이라고 일반적으로 알려진 방법을 통해 위조 방지 모듈(220)과 그 성분에 의해 제공된 기능에 액세스하고 이를 구현할 수 있다.

위조 방지 모듈(220)은 본 명세서에 기술된 기술 중 하나 이상을 구현할 수 있다. 예를 들어, 위조 방지 모듈(220)은 가능한 위조에 대해 정면을 향하는 카메라(214)에 의해 캡처된 인증 이미지를 분석하고, 운영 시스템(228) 및/또는 하나 이상의 애플리케이션(230)으로 하여금 이 분석에 기초하여 유저의 요청을 허가하거나 거부하여 인증을 처리하게 할 수 있다. 여러 예에서, 위조 방지 모듈(220)은 얼굴 인식 적격 모듈(222), 광 검출 모듈(224), 세기 모듈(226), 및 주파수 모듈(227) 중 하나 이상을 사용하여 인증 이미지를 분석할 수 있다.

컴퓨팅 디바이스(200)가 (예를 들어, 정면을 향하는 카메라(214)를 사용하여) 인증 이미지를 캡처한 후에 위조 방지 모듈(220)은 인증 이미지가 사람의 얼굴의 표현을 포함하는지 여부를 결정하는 것에 의해 인증 이미지를 분석하기 시작할 수 있다. 예를 들어, 얼굴 인식 적격 모듈(222)은 전술된 얼굴 인식 기술 중 하나를 구현하여 캡처된 이미지에서 사람의 얼굴의 표현을 검출할 수 있다. 여러 다른 예에서, 위조 방지 모듈(220)은 캡처된 이미지가 얼굴의 표현을 포함하는지 스스로 결정할 수 있고, 또는 광 검출 모듈(224), 세기 모듈(226), 및 주파수 모듈(227) 중 하나 이상이 캡처된 인증 이미지가 얼굴의 표현을 포함하는지 여부를 결정하도록 동작할 수 있다. 캡처된 인증 이미지가 사람의 얼굴의 표현을 포함하는지 여부를 결정하는 것에 의해, 위조 방지 모듈(220)은 광 검출 모듈(224), 세기 모듈(226), 및 주파수 모듈(227) 중 하나 이상이 얼굴 인식에 부적격한 이미지를 불필요하게 평가하는 경우를 제거할 수 있다.

위조 방지 모듈(220)은 위조에 특징적인 품질에 대해 캡처된 인증 이미지를 분석할 수 있다. 예를 들어, 광 검출 모듈(224)은 인증 이미지가 각막 광을 포함하는지 여부를 결정할 수 있다. 인증 이미지에서 각막 광이 존재한다는 것은 인증 이미지가 적법하다는 것(예를 들어, 인증 이미지의 개체가 실제 사람의 얼굴이라는 것)을 나타낼 수 있다. 역으로, 인증 이미지에서 각막 광이 없다는 것은 인증이 위조에 기반된 것이라는 것(예를 들어, 인증의 개체가 사람 얼굴의 재생된 이미지라는 것)을 나타낼 수 있다. 광 검출 모듈(224)은 인증 이미지에서 하나 또는 두 눈(보다 구체적으로, 하나 또는 두 개의 각막)을 제일 먼저 식별할 수 있다. 광 검출 모듈(224)은 눈(들)에 각막 광이 존재하는지 여부를 결정할 수 있다. 광 검출 모듈(224)이 각막 광이 인증 이미지에 없는 것으로 결정하면, 광 검출 모듈(224)은 컴퓨팅 디바이스(200)에서 실행되는 하나 이상의 얼굴 인식 프로그램이 인증 이미지에서 얼굴 인식 분석을 수행하는 것을 방지할 수 있다. 이런 방식으로, 광 검출 모듈(224)은 위조에 의해 야기된 오 인증을 방지하기 위해 본 발명의 기술을 구현할 수 있다.

일부 예에서, 위조 기반 인증 이미지는 각막 광의 일정 레벨을 포함할 수 있다. 예를 들어, 허가되지 않은 유저는 허가된 유저의 사진을 제시하는 것에 의해 얼굴 인식 프로그램을 위조하려는 시도를 할 수 있다. 사진은 허가된 유저를 직접 찍은 것일 수 있으므로 사진은 각막 광을 자체적으로 포함할 수 있다. 이 시나리오에서 위조 기반 인증 이미지는 사진에 나타난 각막 광을 캡처할 수 있다. 그러나, 위조 기반 인증 이미지에서 각막 광은 적법한 인증 이미지의 예상된 각막 광과 비교할 때 감소되거나 상이한 것일 수 있다. 이런 상황에서, 세기 모듈(226)과 주파수 모듈(227) 중 하나 또는 둘 모두는 본 발명의 기술을 구현하여 위조 시도를 검출하고 오 인증을 방지할 수 있다.

여러 구현예에서, 세기 모듈(226)은 인증 이미지에서 각막 광의 세기를 측정하고, 측정된 세기를 임계값 세기와 비교할 수 있다. 임계값 세기는 알려진 적법한 인증 이미지의 각막 광의 세기에 대응할 수 있다. 측정된 세기가 임계값 세기 미만이라면, 세기 모듈(226)은 컴퓨팅 디바이스(200)에서 실행되는 하나 이상의 얼굴 인식 프로그램이 인증 이미지에 얼굴 인식 분석을 수행하는 것을 방지할 수 있다.

추가적으로, 세기 모듈(226)은 다수의 방식으로 세기를 측정할 수 있다. 일부 예에서, 세기 모듈(226)은 광도(luminous intensity) 또는 복사 강도(radiant intensity)와 같은 각도 메트릭에 기초하여 세기를 측정할 수 있다. 다른 예에서, 세기 모듈(226)은 복사도(irradiance), 조도(illuminance), 광출사도(luminous emittance)와 같은 영역 메트릭에 기초하여 세기를 측정할 수 있다. 또 다른 예에서, 세기 모듈(226)은 복사휘도(radiance) 또는 광휘도(luminance)와 같은 각도 및 영역 메트릭의 조합에 기초하여 세기를 측정할 수 있다. 2개 이상의 방법으로 세기를 측정하는 것에 의해, 세기 모듈(226)은 임계값 세기와 측정된 세기를 비교하기 전에 세기의 보다 강력한 측정을 유도할 수 있다.

일부 구현예에서, 주파수 모듈(227)은 세기 모듈(226)에 의해 수행되는 기능을 보충하거나 지원하거나 대체할 수 있다. 주파수 모듈(227)은 각막 광과 관련된 하나 이상의 주파수를 측정하도록 동작할 수 있다. 주파수는 가시적인 및/또는 비가시적인 컬러 형태로 나타날 수 있다. 일부 예에서, 주파수 모듈(227)은 캡처된 인증 이미지에서의 각막 광에 대해 허용가능한 주파수 범위를 한정할 수 있다. 허용가능한 주파수 범위는 플래시벌브(216)에서 방출되는 각 광빔의 알려진 주파수에 기초할 수 있다. 예를 들어, 방출된 광빔의 주파수는 허용가능한 주파수 범위의 중간점(median point)일 수 있다. 각막 광의 주파수가 허용가능한 주파수 범위의 외부에 있는 경우(즉, 이 범위의 상한을 초과하거나 하한 미만이 경우), 주파수 모듈(227)은 컴퓨팅 디바이스(200)에서 실행되는 하나 이상의 얼굴 인식 프로그램이 인증 이미지에 얼굴 인식 분석을 수행하는 것을 방지할 수 있다.

일부 구현예는 강력함과 정확성을 개선시키도록 개선될 수 있다. 예를 들어, 주파수 모듈(227)은 컴퓨팅 디바이스(200)의 플래시벌브로 하여금 주파수가 변하는 2개 이상의 광빔을 방출하게 하고, 정면을 향하는 카메라(214)로 하여금 각 광빔과 관련된 별개의 인증 이미지를 캡처하게 할 수 있다. 이 예에서, 광빔의 각 주파수는 주파수 모듈(227)에 이용가능할 수 있다. 알려진 주파수에 기초하여 주파수 모듈(227)은 광빔의 주파수 간의 차이를 나타내는 주파수 계수를 계산할 수 있다. 주파수 모듈(227)은 인증 이미지의 각 각막광의 반영된 주파수를 측정할 수 있다. 반영된 주파수에 기초하여, 주파수 모듈(227)은 반영된 주파수들 간의 차이를 나타내는 "반영된 주파수 계수"를 계산할 수 있다. 주파수 모듈(227)은 방출된 광빔의 주파수 계수를 반영된 주파수 계수와 (예를 들어, 비를 계산하는 것에 의해) 비교할 수 있다. 계산된 비가 프로그래밍된 임계값 비를 초과하는 경우, 주파수 모듈(227)은 위조 시도를 검출할 수 있고, 컴퓨팅 디바이스(200)에서 실행되는 하나 이상의 얼굴 인식 프로그램이 인증 이미지에 얼굴 인식 분석을 수행하는 것을 방지할 수 있다.

컬러와 같은 광 특성이 광 주파수에 대하여 예시를 위하여 설명되지만, 이들 광 특성은 방출된 및/또는 반사된 광에 다른 유형의 분석을 하는 것에 의해 분별될 수 있다. 예를 들어, 컬러는 파장이라고 알려진 광 특성으로부터 분별될 수 있다. 이에 기초하여 컬러의 서브 스펙트럼은 "파장 범위"로 표현될 수 있다. 파장은 주파수의 수학적 역수(mathematical inverse)일 수 있다. 보다 구체적으로, 1을 주파수 값으로 나누는 것에 의해 알려진 주파수 값으로부터 파장을 유도할 수 있다. 이런 방식으로, 컴퓨팅 디바이스는 여러 방식으로 본 발명의 기술을 구현하여 각막 광의 품질을 분별할 수 있다.

일부 구현예에서, 주파수 모듈(227)은 플래시벌브(216)로 하여금 방출된 광빔(들)의 컬러를 변조하게 할 수 있다. 보다 구체적으로, 주파수 모듈(227)은 플래시벌브(216)로 하여금 방출된 광빔의 컬러를 변하게 할 수 있다. 이어서, 광 검출 모듈(224)은 임의의 검출된 각막 광의 컬러와 대응하는 광빔의 컬러를 비교할 수 있다. 주파수 모듈(227)은 추가적으로 플래시벌브(216)로 하여금 시리즈로 가변 컬러를 가지는 광빔의 시리즈를 방출하게 할 수 있다. 광 검출 모듈(224)은 시리즈의 각 광빔에 대응하는 각막 광을 검출하고, 각 검출된 각막 광의 컬러를 시리즈의 대응하는 광빔과 비교할 수 있다. 예를 들어, 광 검출 모듈(224)은 각막 광이 방출된 청색 광빔에 응답하여 청색일 때, 방출된 적색 광빔에 대하여 적색일 때 등과 같을 때 유저를 인증할 수 있다. 이런 방식으로, 컴퓨팅 디바이스(200)와 그 성분은 본 발명의 기술을 구현하여 가능한 위조 시도를 보다 강력하고 신뢰성 있게 검출할 수 있다.

도 2에 도시된 바와 같이 위조 방지 모듈(220)은 각도 모듈(232), 머리 배향 모듈(234), 랜드마크 검출 모듈(236), 및 프레임율 모듈(238)을 더 포함할 수 있다. 일부 구현예에서, 각도 모듈(232), 머리 배향 모듈(234), 랜드마크 검출 모듈(236), 및 프레임율 모듈(238) 중 하나 이상은 라이브니스 검출 모듈(명료함을 위해 미도시)에 포함될 수 있다. 여러 이러한 구현예에서, 라이브니스 모듈은 컴퓨팅 디바이스(200)의 이산 부분을 형성하거나 또는 위조 방지 모듈(220), 애플리케이션(230), 및 운영 시스템(228) 중 어느 것에 포함될 수 있다.

각도 모듈(232)은 컴퓨팅 디바이스(200) 및 그 성분(예를 들어, 정면을 향하는 카메라(214))에 의해 캡처된 얼굴 이미지와 관련된 각도를 결정하도록 구성되거나 동작될 수 있다. 도 1에 대하여 설명된 바와 같이 컴퓨팅 디바이스(200)는 얼굴 인식 인증에 의하여 컴퓨팅 디바이스(200)에 의해 제어되는 기능에 액세스를 하려는 시도를 하는 유저의 다수의 얼굴 이미지를 캡처할 수 있다. 일부 이러한 구현예에서, 각도 모듈(232)은 캡처된 다수의 얼굴 이미지의 상이한 얼굴 이미지에 걸쳐 디스플레이된 하나 이상의 각도를 결정하여 다수의 얼굴 이미지에 걸쳐 디스플레이된 하나 이상의 라이브니스 제스처를 검출하는 기능을 수행할 수 있다.

예를 들어, 각도 모듈(232)은 제 1 캡처된 얼굴 이미지에 대해 제 2 캡처된 얼굴 이미지에 의해 디스플레이된 요우 및/또는 피치와 같은 테이트-브리안 각도를 결정할 수 있다. 제 2 얼굴 이미지가 제 1 얼굴 이미지에 대해 요우 각도를 디스플레이하는 예에서, 위조 방지 모듈(220)은 유저의 머리를 흔드는 것으로 지시된 라이브니스 제스처를 검출할 수 있다. 여러 예에서, 각도 모듈(232)(및/또는 위조 방지 모듈(220)의 다른 성분)은 임계 각도와 검출된 각도를 비교할 수 있다. 유저의 머리를 흔드는 것에 의해 야기된 요우 각도의 예에서, 각도 모듈(232)은 유효 라이브니스 제스처를 구성하도록 요우의 최소 임계값(예를 들어, 25도)을 설정할 수 있다. 유사하게, 각도 모듈(232)은 라이브니스를 나타내도록 유저의 머리를 끄덕이는 것에 의해 야기된 피치 각도에 대해 임계값을 설정할 수 있다.

도 2에 도시된 바와 같이 위조 방지 모듈(220)은 머리 배향 모듈(234)을 더 포함할 수 있다. 머리 배향 모듈(234)은 여러 구현예에서 특정 얼굴 이미지에서 유저의 머리의 배향을 분류하도록 구성되거나 동작가능할 수 있다. 일부 예에서, 머리 배향 모듈(234)은 자세 검출 또는 자세 결정 기술을 사용하여 캡처된 얼굴 이미지에서 유저 머리의 배향을 결정할 수 있다. 여러 시나리오에서 머리 배향 모듈(234)은 검출된 자세를 전술된 바와 같이 정면 배향, 중간 프로파일 배향, 및 프로파일 배향과 같은 미리 결정된 배향과 매치할 수 있다.

머리 배향 모듈(234)은 제 1 캡처된 얼굴 이미지와 제 2 캡처된 얼굴 이미지 사이에 자세의 차이에 기초하여 라이브니스 제스처를 식별할 수 있다. 일부 예에서, 위조 방지 모듈(220)은 라이브니스의 지시자를 결정하기 위해 유저의 머리의 끄덕이는 동작을 찾을 수 있다. 미리 결정된 배향의 문맥에서, 끄덕이는 동작 동안 머리 자세는 전술된 정면 배향과 위쪽을 향하는 배향과 아래쪽을 향하는 배향 중 하나 이상에 순응할 수 있다. 일부 시나리오에서 위조 방지 모듈(220)은 위쪽으로 끄덕인 후에 아래쪽으로 끄덕이는 것과 같은 제스처의 시퀀스에 기초하여 라이브니스를 결정할 수 있다. 하나의 이러한 시나리오에서 위조 방지 모듈(220)은 4개의 캡처된 얼굴 이미지의 세트를 사용하여 라이브니스 제스처의 시퀀스가 만족스럽게 수행되었는지 여부를 결정할 수 있다.

이어서, 머리 배향 모듈(234)은 4개의 캡처된 얼굴 이미지 각각의 머리 자세를 미리 결정된 머리 배향과 매치할 수 있다. 전술된 예에서, 머리 배향 모듈(234)은 예를 들어 캡처된 얼굴 이미지에 있는 각 배향과 관련된 분류기 및/또는 얼굴 검출기를 사용하는 것에 의해 4개의 얼굴 이미지의 머리 자세를 각각 정면 배향, 위쪽을 향하는 배향, 정면 배향, 및 아래쪽을 향하는 배향과 매치하는 것을 찾을 수 있다. 예를 들어, 얼굴의 각도를 예측하기 위해 머리 배향 모듈(234)은 얼굴 검출기의 뱅크를 사용할 수 있고 여기서 각 검출기는 머리 각도의 특정 범위를 감지한다. 머리 배향 모듈(234)이 (예를 들어, 얼굴 검출기를 사용하여) 캡처된 순서로 4개의 얼굴 이미지가 상기 나열된 미리 결정된 머리 배향에 순응하는 것으로 결정하면, 머리 배향 모듈(234)은 위조 방지 목적을 위하여 유저가 라이브니스 제스처를 시리즈로 만족스럽게 수행한 것으로 결정할 수 있다. 역으로, 머리 배향 모듈(234)이 4개의 얼굴 이미지에 걸쳐 하나라도 순응하지 않은 경우를 검출하면, 위조 방지 모듈(220)은 컴퓨팅 디바이스(200)에서 실행되는 얼굴 인식 프로그램을 위조하는 시도를 유저가 하고 있는 것으로 결정하거나 또는 캡처된 얼굴 이미지가 요청된 라이브니스 제스처 시리즈의 미확정의 지시자(inconclusive indication)를 제공하는 것으로 결정할 수 있다. 비순응에 기여하는 인자의 예로는 자세의 부정확한 시퀀스, 하나 이상의 자세의 누락, 대응하는 미리 결정된 머리 배향과 매치하지 않는 하나 이상의 자세 및 다른 것을 포함한다. 비순응한 경우의 예로서 위조 방지 모듈(220)은 컴퓨팅 디바이스(200)로 하여금 얼굴 인식을 통해 인증을 시도하려는 유저에 인증을 거부하게 할 수 있다.

도 2에 도시된 바와 같이 위조 방지 모듈(220)은 랜드마크 검출 모듈(236)을 포함할 수 있다. 랜드마크 검출 모듈(236)은 라이브니스 제스처를 분별하기 위하여 얼굴 이미지에서 얼굴 랜드마크(또는 랜드마크의 조합)의 존재 및/또는 부재를 검출하도록 구성될 수 있다. 예를 들어, 머리 흔드는 동작의 예로서 얼굴 이미지의 눈은 직접적인 얼굴 랜드마크로 사용될 수 있다. 예를 들어, 유저가 좌측으로 완전히 회전(full-turn)한 것을 수행하면, 얼굴 이미지의 좌측 눈은 사이즈가 감소될 수 있고 종국적으로 시야에서 사라질 수 있다. 보다 구체적으로, 좌측 눈은 우측 프로파일 배향(예를 들어, 좌측으로 완전히 회전한 것이 완료될 때)에 순응하는 얼굴 이미지에서 보이지 않을 수 있다.

이러한 예에서, 랜드마크 검출 모듈(236)은 (전술된 정면 배향에 순응할 수 있는) 제 1 캡처된 얼굴 이미지에서 좌안과 우안 모두의 존재를 검출할 수 있다. 후속하는 (예를 들어, 제 2 , 제 3 , 등) 캡처된 얼굴 이미지에서, 랜드마크 검출 모듈(236)은 좌안이 없는 것을 검출할 수 있다. 랜드마크 검출 모듈(236)에 의해 검출된 제 1 얼굴 이미지로부터 후속하는 얼굴 이미지로 (즉, 좌안이 있는 것으로부터 없는 것으로) 전이한 것에 기초하여 위조 방지 모듈(220)은 유저가 위조 방지 목적을 위하여 라이브니스 제스처를 만족스럽게 수행한 것으로 결정할 수 있다. 랜드마크 검출 모듈(236)은 라이브니스 제스처의 검출시에 여러 얼굴 랜드마크를 사용할 수 있다. 예로는 정면 배향에서는 볼 수 있으나 중간 프로파일 배향과 프로파일 배향에서는 볼 수 없는 코 기저부(nose base)(코의 수직으로 하부 및 수평으로 중간 부분에 있는 지점), 여러 배향에 걸쳐 상이한 치수와 상세 레벨에서 볼 수 있는 귓볼 및 다른 것을 포함한다. 다른 예로는 프로파일 배향에서는 볼 수 없으나 (또는 없을 수 있으나) 정면 배향에서는 볼 수 있는 노즈 브리지(nose bridge)(홍채들 사이 중간 지점에 있는 코의 지점)일 수 있다.

도 2에 도시된 바와 같이, 위조 방지 모듈(220)은 프레임율 모듈(238)을 더 포함할 수 있다. 설명된 바와 같이, 컴퓨팅 디바이스(200)는 여러 예에서 (예를 들어, 정면을 향하는 카메라(214)가 비디오 캡처 능력을 구비하는 구현에서) 비디오 스트림의 프레임으로 얼굴 이미지를 캡처할 수 있다. 예를 들어, 위조 방지 모듈(220)은 정면을 향하는 카메라(214)에 의해 캡처된 비디오 스트림을 계속적으로 모니터링하여 비디오 스트림의 2개 이상의 프레임에 의해 지시된 라이브니스 제스처를 검출할 수 있다. 일부 이러한 시나리오에서 유저는 정면을 향하는 카메라(214) 앞에 허가된 유저의 2개의 위조 기반 이미지(예를 들어, 라이브니스 제스처를 나타낼만큼 충분히 상이한 자세의 이미지)를 제시하는 것에 의해 컴퓨팅 디바이스(200)에서 실행되는 얼굴 인식 프로그램을 위조하는 시도를 할 수 있다.

상기 예에 설명된 바와 같이 위조를 방지하기 위하여 위조 방지 모듈(220)은 프레임율 모듈(238)을 사용할 수 있다. 보다 구체적으로, 프레임율 모듈(238)은 비디오 스트림이 캡처되는 주파수를 모니터링하도록 구성될 수 있다. 주파수는 초당 프레임과 같이 단위 시간당 프레임의 수로 표시될 수 있다. 프레임율 모듈(238)이 캡처된 비디오 스트림의 프레임율이 유저가 얼굴 인식 프로그램을 위조할만큼 충분히 느리다(예를 들어, 임계 주파수 미만이다)고 결정하면, 위조 방지 모듈(220)은 캡처된 비디오 스트림이 위조를 받기 쉽다고 결정하고 얼굴 인식에 의한 유저 인증을 거부할 수 있다. 이런 방식으로, 프레임율 모듈(238)은 컴퓨팅 디바이스(200)가 비디오 스트림을 사용하여 라이브니스의 지시자를 결정할 때 위조에 의한 오 인증을 방지할 수 있다.

일부 구현예에서, 위조 방지 모듈(220)은 프레임율이 아닌 인자를 사용하여 캡처된 비디오 스트림의 적법성(legitimacy)을 결정할 수 있다. 하나의 이러한 구현예에서, 위조 방지 모듈(220)은 캡처된 비디오 스트림의 모든 프레임에 얼굴 검출을 연속적으로 수행할 수 있다. 얼굴 검출이 캡처된 비디오 스트림 동안 임의의 지점에서 실패하면, 위조 방지 모듈(220)은 유저가 비디오 스트림의 캡처 동안 항상 정면을 향하는 카메라(214) 앞에 있지 않을 수도 있으므로 캡처된 비디오 스트림은 위조 시도에 취약한 것으로 결정할 수 있다. 다른 구현예에서, 위조 방지 모듈(220)은 컴퓨팅 디바이스(200)의 얼굴 인식 프로그램으로 하여금 캡처된 비디오 스트림의 모든 프레임에 얼굴 인식을 연속적으로 수행하게 할 수 있다. 이 경우, 위조 방지 모듈(220)은 얼굴 인식이 캡처된 비디오 스트림 동안 임의의 지점에서 실패한 경우에 위조 시도로 결정할 수 있다. 이런 방식으로, 본 발명의 기술은 라이브니스를 나타내는 제스처를 검출하는데 비디오 스트림을 사용할 때 위조에 의한 오 인증을 회피하는 강력한 메커니즘을 제공할 수 있다.

도 2에 도시된 바와 같이 위조 방지 모듈(220)은 서브 이미지 모듈(240)을 더 포함할 수 있다. 서브 이미지 모듈(240)은 얼굴 랜드마크를 나타내는 서브 이미지를 추출하는 것과 같은 본 명세서에 설명된 특정 기술을 구현할 수 있다. 일부 특정 구현예에서, 서브 이미지 모듈(240)은 랜드마크 검출 모듈(236)과 조합하여 기능할 수 있다. 이 구현예에서, 랜드마크 검출 모듈(236)은 특정 얼굴 랜드마크를 서브 이미지 모듈(240)에 공급하거나 전달할 수 있다. 이에 응답하여 서브 이미지 모듈(240)은 다수의 캡처된 이미지의 각 얼굴 이미지로부터 서브 이미지를 추출하되, 추출된 서브 이미지가 공급된 얼굴 랜드마크의 표현을 포함하도록 추출할 수 있다. 설명된 바와 같이 서브 이미지 모듈(240)은 여러 캡처된 얼굴 이미지로부터 가변 사이즈의 서브 이미지를 추출할 수 있다. 일부 경우에 서브 이미지 모듈(240)은 추출된 서브 이미지 중 하나 이상의 서브 이미지를 조절하여 서브 이미지의 표준 정규화된 상관을 얻을 수 있다.

도 1에 대하여 설명된 바와 같이, 서브 이미지를 조절(또는 "정규화")하는 것은 서브 이미지 중 하나 이상을 회전, 스케일링, 또는 수정하여 얼굴 또는 라이브니스 제스처와는 다른 요인으로부터 발생하는 임의의 나머지 결함을 제거하는 것을 포함할 수 있다. 이 결함은 예를 들어, 과도한 회전 차이, 과도한 스케일링 차이 및 움직임 블러를 포함할 수 있다. 예를 들어, 이미지의 쌍의 상대적인 회전/스케일링이 임계값을 초과하면, 위조 방지 모듈(220)이 이 이미지의 쌍을 무시할 수 있다. 유사하게, 위조 방지 모듈(220)은 얼굴의 위치/스케일이 인접한 프레임들 간에 상당히 변한 경우 얼굴의 쌍을 무시하는(즉, 라이브니스에 대해 테스트하지 않는) 것에 의해 움직임 블러를 고려할 수 있다. 움직임 블러의 일부 예에서, 서브 이미지 모듈(240)은 움직임 블러로부터 발생하는 차이를 제거하거나 고려사항으로부터 제거하기 위해 서브 이미지를 정규화할 수 있다. 움직임 블러의 측면과 움직임 블러에 의해 야기된 문제는 그 전체 내용이 본 명세서에 참조 문헌으로 병합된 미국 특허 출원 번호 13/524745호, "FACIAL IMAGE QUALITY ASSESSMENT"에 기술된다. 유사하게, 이미지 사이즈의 불일치의 예로서, 위조 방지 모듈(220)(및/또는 그 성분)은 캡처된 얼굴 서브 이미지 및/또는 추출된 서브 이미지를 스케일링, 재사이즈, 절단(crop), 또는 조절할 수 있다.

컴퓨팅 디바이스(200)에 의해 제어되는 정면을 향하는 카메라(214) 또는 다른 이미지 캡처 디바이스가 비디오 캡처 능력을 포함하는 예에서, 얼굴 인식 적격 모듈(222)은 비디오 스트림의 프레임이 사람 얼굴의 표현을 포함하는지 여부를 결정할 수 있다. 특정 개수의 프레임(구성과 설정에 따라 변하는)이 사람 얼굴의 표현을 포함하지 않는 경우, 얼굴 인식 적격 모듈(222)은 위조 방지 모듈(220)로 하여금 유저에 인증을 거부하게 할 수 있다. 얼굴 인식 적격 모듈(222)은 컴퓨팅 디바이스(200)가 얼굴 제스처 또는 라이브니스 제스처를 검출하기 위하여 2개 이상의 정지 이미지(즉, 비디오 스트림으로부터가 아니라)를 획득하는 예에서 얼굴 검출 기술을 더 구현할 수 있다.

도 2에 도시된 구현예에서, 위조 방지 모듈(220)은 얼굴 인식 모듈(242)을 포함한다. 얼굴 인식 모듈(242)은 도 1의 컴퓨팅 디바이스(102)의 얼굴 인식 프로그램에 대하여 전술된 얼굴 인식 기술을 수행하도록 구성되거나 동작될 수 있다. 예로서, 얼굴 인식 모듈(242)은 예를 들어, 운영 시스템(228)에 의해 또는 애플리케이션(230)의 일부로서 위조 방지 모듈(220)과 독립적으로 구현될 수 있다. 얼굴 인식 모듈(242)은 얼굴 인식 인증을 위하여 (예를 들어, 정면을 향하는 카메라(214)를 사용하여) 컴퓨팅 디바이스(200)에 의하여 수신된 얼굴 이미지와 매치를 허가하거나 거부할 수 있다. 예로서, 얼굴 인식 모듈(242)은 허가된 유저의 얼굴의 등록 이미지 또는 다른(예를 들어, 수학적) 표현과 얼굴 이미지를 비교할 수 있다.

여러 구현예에서, 위조 방지 모듈(220)은 얼굴 및/또는 라이브니스 제스처를 검출하는 일부로서, 이용가능한 얼굴 이미지의 더 큰 수퍼세트(superset)로부터 다수의 얼굴 이미지를 선택할 수 있다. 하나의 예시적인 예에서, 정면을 향하는 카메라(214)는 얼굴 제스처 및/또는 라이브니스 제스처를 검출하기 위하여 3개의 얼굴 이미지를 캡처할 수 있다. 3개의 얼굴 이미지 중에서, 위조 방지 모듈(220)은 제 1 이미지와 제 2 이미지가 서로에 대하여 얼굴 및/또는 라이브니스 제스처를 디스플레이하는지를 결정할 수 있다. 이 경우에, 위조 방지 모듈(220)은 제 3 이미지를 무시하고, 제 1 이미지와 제 2 이미지에 의해 디스플레이된 얼굴 및/또는 라이브니스 제스처에 기초하여 유저에 인증을 허여할 수 있다. 이런 방식으로, 위조 방지 모듈(220)은 서로에 대하여 제 1 및 제 2 이미지에 의해 디스플레이된 검출된 얼굴 제스처에 기초하여 제 1 이미지와 제 2 이미지를 선택할 수 있다.

도 3은 본 발명의 하나 이상의 측면에 따라 얼굴 이미지에서 가능한 위조를 검출하기 위해 컴퓨팅 디바이스에 의해 식별된 각막광을 포함하는 예시적인 얼굴 이미지를 도시하는 개념도이다. 얼굴 이미지(300)는 위조에 기반한 것이든 적법한 것이든 컴퓨팅 디바이스(102 또는 200)와 같은 컴퓨팅 디바이스에 의해 캡처된 인증 이미지의 일례일 수 있다. 컴퓨팅 디바이스는 얼굴 이미지(300)가 위조에 기반한 것인지 또는 적법한 것인지 여부를 결정하기 위해 본 발명의 기술을 구현하여 각막광(306)을 검출하고 분석할 수 있다. 단지 예시의 편의를 위하여 도 3은 얼굴 이미지(300)의 개체의 우안의 각막광(306)에 대하여 설명된다. 동작시, 본 발명에 따른 컴퓨팅 디바이스는 각막광(306), 개체의 좌안의 각막광, 또는 이들 둘 모두를 검출하고 분석할 수 있다.

유사하게, 도 3은 비제한적인 예로 선택된 특정 얼굴 요소의 도시를 포함한다. 보다 구체적으로, 도 3은 홍채(302)와 동공(304)을 도시한다. 도 3에 도시된 바와 같이, 홍채(302)와 동공(304)은 각막광(306)과 같은 반사광을 보다 명확히 볼 수 있는 배경을 제공할 수 있다. 일부 예에서, 각막광(306)은 "캐치라이트(catchlight)" 또는 "캐치 라이트"라고 알려진 반사광을 포함하거나 이 반사광이거나 그 일부일 수 있다. 캐치라이트는 특히 주변이 밝게 빛나는 상황에서 각막의 주변의 반사광을 포함할 수 있다. 홍채(302) 및/또는 동공(304)의 특성은 밝게 빛나는 환경에 놓인 광 및 이미지를 반사하여 캐치라이트 현상을 야기할 수 있다.

설명된 바와 같이 본 발명에 따른 컴퓨팅 디바이스는 얼굴 이미지(300)에서 각막 광(306)의 존재를 검출하여 얼굴 이미지(300)가 적법한 것인지 또는 위조에 기반한 것인지 여부를 결정할 수 있다. 일부 예에서, 컴퓨팅 디바이스는 얼굴 이미지(300)가 각막광(306)의 존재에만 기초하여 적법한 것인지 결정할 수 있다. 다른 예에서, 컴퓨팅 디바이스는 각막 광(306)을 분석하고, 각막광(306)의 하나 이상의 분석된 품질이나 특성을 사용하여 얼굴 이미지(300)가 적법한 것인지 또는 위조에 기반한 것인지를 결정할 수 있다.

일부 예에서, 컴퓨팅 디바이스는 각막광(306)의 2개 이상의 반사광의 세기를 분석하여 얼굴 이미지(300)가 적법한 것인지 또는 위조에 기반한 것인지를 결정할 수 있다. 예를 들어, 컴퓨팅 디바이스는 2개의 상이한 얼굴 이미지를 캡처할 수 있다. 각 얼굴 이미지는 가변 세기의 광빔과 관련될 수 있다. 예를 들어, 제 1 얼굴 이미지를 캡처하는 동안 컴퓨팅 디바이스는 높은 세기를 가지는 플래시를 방출할 수 있다. 그러나, 제 2 얼굴 이미지를 캡처하는 동안 컴퓨팅 디바이스는 낮은 세기를 가지는 플래시를 방출할 수 있다.

알려진 세기에 기초하여 컴퓨팅 디바이스는 방출된 플래시의 세기들 간의 차이를 나타내는 세기 계수를 계산할 수 있다. 컴퓨팅 디바이스는 각 얼굴 이미지에서 각막 광(306)의 반사된 세기를 측정할 수 있다. 반사된 세기에 기초하여 컴퓨팅 디바이스는 반사된 세기들 간의 차이를 나타내는 "반사된 세기 계수"를 계산할 수 있다. 컴퓨팅 디바이스는 방출된 플래시의 세기 계수를 반사된 세기 계수와 (예를 들어 비를 계산하는 것에 의해) 비교할 수 있다. 계산된 비가 미리 프로그래밍된 임계값 비를 초과하거나 이와 다른 경우, 컴퓨팅 디바이스는 위조 시도를 검출할 수 있고, 컴퓨팅 디바이스에서 실행되는 하나 이상의 얼굴 인식 프로그램이 인증 이미지에 얼굴 인식 분석을 수행하는 것을 방지할 수 있다. 이 예에서, 제 1 얼굴 이미지는 컴퓨팅 디바이스가 제 2 얼굴 이미지와 비교할 수 있는 "레퍼런스 얼굴 이미지"로 사용될 수 있다.

도 4는 본 발명의 하나 이상의 측면에 따라 얼굴 이미지에서 가능한 위조를 검출하기 위해 컴퓨팅 디바이스에 의해 식별된 각막광을 포함하는 눈의 예시적인 이미지를 도시하는 개념도이다. 도 4는 홍채(404)와 동공(406)을 포함하는 눈(400)의 근접도를 도시한다. 홍채(404)와 동공(406) 부분은 각막 광(402)을 포함한다. 설명된 바와 같이 각막 광(402)은 눈(400) 부근에서 자연적 및/또는 인공적으로 만들어진 광원에 의해 야기될 수 있고, 광빔의 방출에 의해 유도될 수 있고, 또는 이들의 임의의 조합에 의해 야기될 수 있다.

도 4의 예에서, 각막 광(402)은 2개의 부분, 즉 샤프(sharp)한 하부 부분(408)과 블러(blur)한 상부 부분(410)을 포함한다. 일부 예에서, 블러한 상부 부분(410)은 "스펙큘러 하이라이트(specular highlight)"라고 알려진 일반 현상을 나타낼 수 있다. 스펙큘러 하이라이트는 눈(400)의 곡률, 눈(400) 주변 광의 밝기, 광원에 대한 눈(400)의 근접 정도, 및 여러 다른 인자로 인해 발생할 수 있다. 일부 예에서, 컴퓨팅 디바이스는 본 발명의 기술을 구현하여 스펙큘러 하이라이트의 존재에 기초하여 적법한 얼굴 이미지를 식별할 수 있다. 설명된 바와 같이 스펙큘러 하이라이트에 대한 일반적인 이유는 눈(400)의 곡률이고, 따라서, 위조에 사용되는 사진은 스펙큘러 하이라이트를 생성하는데 실패한다. 이런 방식으로, 본 발명의 기술은 스펙큘러 하이라이트의 현상을 이용하여 위조로 의심받는 시도를 검출할 수 있다.

다른 예로서, 각막광(402)의 블러한 상부 부분(410)은 안경 렌즈와 같이 눈(400)과는 다른 객체에 의해 야기된 반사광일 수 있다. 유저가 안경을 착용한 일부 예에서, 각막광(402)의 블러한 상부 부분(410)은 각막 광(402)의 더 샤프한 하부 부분으로부터 분리될 수 있다. 본 발명의 기술을 구현하는 컴퓨팅 디바이스는 각막광(402)의 하나 또는 두 부분을 인식하여 적법한 얼굴 이미지를 식별할 수 있다. 이런 방식으로, 본 발명의 기술은 각막광이 안경을 착용한 유저의 필요에 의해 왜곡되는 경우에도 허가된 유저에 의한 인증을 허용할 수 있다.

도 5는 본 발명의 하나 이상의 측면에 따라 캡처된 얼굴 이미지에서 가능한 위조를 검출하도록 컴퓨팅 디바이스에 의해 수행될 수 있는 예시적인 처리를 도시하는 흐름도이다. 처리(500)는 컴퓨팅 디바이스가 광빔의 방출을 개시(502)할 때 시작할 수 있다. 설명된 바와 같이 본 발명에 따라 광빔의 일례는 컴퓨팅 디바이스의 플래시벌브 또는 이에 연결된 플래시벌브에 의해 방출된 플래시일 수 있다. 컴퓨팅 디바이스는 얼굴의 이미지를 캡처한다(504). 이미지는 일부 예에서 얼굴 인식에 의한 인증을 위한 인증 이미지일 수 있다.

도 5의 예에서, 컴퓨팅 디바이스는 캡처된 얼굴 이미지에서 적어도 하나의 눈을 식별하고(506), 컴퓨팅 디바이스는 각막이 광의 반사광을 포함하는지 여부를 검출한다(508). 보다 구체적으로, 각막은 캡처된 얼굴 이미지에서 식별된 적어도 하나의 눈의 정면을 향하는 노출된 부분을 형성할 수 있다. 추가적으로, 반사광은 방출된 광빔과 관련될 수 있고 각막광을 포함하거나 각막광이거나 그 일부일 수 있다.

검출에 성공한 것에 기초하여 컴퓨팅 디바이스는 얼굴 인식에 의한 인증을 시도하는지 여부를 결정한다(510). 보다 구체적으로, 컴퓨팅 디바이스가 광의 반사광을 검출하지 못하면, 컴퓨팅 디바이스는 캡처된 얼굴 이미지에 하나 이상의 얼굴 인식 프로그램을 실행하지 않을 수 있다. 역으로, 컴퓨팅 디바이스가 광의 반사광을 성공적으로 검출하면, 컴퓨팅 디바이스는 캡처된 얼굴 이미지에 하나 이상의 얼굴 인식 프로그램을 실행할 수 있다. 얼굴 인식 프로그램이 캡처된 얼굴 이미지와 적어도 하나의 저장된 등록 이미지 사이에 매치를 분별할 수 있는지 여부에 기초하여 컴퓨팅 디바이스는 각각 인증을 허여하거나 거부할 수 있다.

도 6은 본 발명의 하나 이상의 측면에 따라 캡처된 얼굴 이미지에서 가능한 위조를 검출하도록 컴퓨팅 디바이스에 의해 수행될 수 있는 예시적인 처리를 도시하는 흐름도이다. 처리(600)는 본 발명에 따른 컴퓨팅 디바이스의 단 하나의 예시적인 동작일 뿐이다. 일반적으로 컴퓨팅 디바이스는 하나 이상의 얼굴 인식 프로그램이 인증 이미지를 평가한 후에 각막 광을 체크하는 처리(600)를 구현할 수 있다.

처리(602)는 컴퓨팅 디바이스가 레퍼런스 이미지를 캡처할 때 시작할 수 있다(602). 일부 예에서, 컴퓨팅 디바이스는 레퍼런스 이미지를 캡처하기 전에 플래시벌브, 디스플레이 기반 광원 등과 같은 광원을 비활성화할 수 있다. 컴퓨팅 디바이스는 사람 얼굴의 표현이 레퍼런스 이미지에 존재하는지 여부를 검출할 수 있다(604). 레퍼런스 이미지에 얼굴이 존재하지 않으면, 컴퓨팅 디바이스는 다시 자동적으로 또는 유저에게 다른 레퍼런스 이미지를 제시하도록 프롬프트하는 것에 의해 레퍼런스 이미지를 캡처할 수 있다.

컴퓨팅 디바이스가 레퍼런스 이미지에서 얼굴을 성공적으로 검출하면, 컴퓨팅 디바이스는 테스트 이미지를 캡처할 수 있다(606). 테스트 이미지를 캡처할 때에 컴퓨터 디바이스는 플래시벌브, 디스플레이 기반 광원 등과 같은 하나 이상의 광원을 활성화시킬 수 있다. 컴퓨팅 디바이스는 테스트 이미지에 얼굴 인식을 수행할 수 있다(608). 보다 구체적으로, 컴퓨팅 디바이스에서 실행되는 얼굴 인식 프로그램은 컴퓨팅 디바이스에 저장된 하나 이상의 등록 이미지와 테스트 이미지를 비교할 수 있다. 이 비교에 기초하여, 컴퓨팅 디바이스는 얼굴 인식을 위하여 테스트 이미지에 매치를 허여할지 여부를 결정할 수 있다(610). 테스트 이미지가 얼굴 인식 매치에 적합하지 않다면, 컴퓨팅 디바이스는 컴퓨팅 디바이스에 의해 제어되는 하나 이상의 기능에 액세스를 거부할 수 있다(614).

한편, 테스트 이미지가 얼굴 인식 매치에 적합한 경우, 컴퓨팅 디바이스는 테스트 이미지에 각막 광을 검출하는 시도를 할 수 있다(612). 컴퓨팅 디바이스는 객관적 또는 주관적인 접근법을 사용하여 각막광을 검출할 수 있다. 예시적인 객관적인 접근법에서 컴퓨팅 디바이스는 테스트 이미지만을 분석할 수 있다. 예시적인 주관적 접근법에서 컴퓨팅 디바이스는 레퍼런스 이미지와 테스트 이미지를 비교하는 것에 의해 각막광을 검출할 수 있다.

설명된 바와 같이, 컴퓨팅 디바이스는 비활성화된 광원(들)으로 레퍼런스 이미지를 캡처할 수 있다. 그러나, 컴퓨팅 디바이스는 하나 이상의 광원이 활성화된 상태에서 테스트 이미지를 캡처할 수 있다. 그 결과, 컴퓨팅 디바이스는 레퍼런스 이미지가 아니라 (테스트 이미지가 적법한 얼굴 이미지라면) 테스트 이미지에서 각막광을 유도할 수 있다. 테스트 이미지가 레퍼런스 이미지와 비교할 때 충분한 각막 광을 디스플레이하면, 컴퓨팅 디바이스는 단계(612)의 목적을 위하여 각막광을 검출할 수 있다.

각막광의 검출 결과에 기초하여, 컴퓨팅 디바이스는 여러 동작을 취할 수 있다. 컴퓨팅 디바이스는 각막광을 성공적으로 검출하면, 컴퓨팅 디바이스는 얼굴 인식 인증에 기초하여 컴퓨팅 디바이스에 의해 제어된 기능에 액세스를 허용할 수 있다(616). 얼굴 인식 매치(610)와 각막 광 검출(616)에 기초하여 컴퓨팅 디바이스는 테스트 이미지가 적법한 얼굴 이미지이고 위조에 기반한 것이 아니라고 결정할 수 있다. 그러나, 컴퓨팅 디바이스가 각막광을 검출하는데 실패하면, 컴퓨팅 디바이스는 얼굴 인식 인증에 의한 액세스를 거부할 수 있다(614). 각막광을 검출하는데 실패한데 기초하여, 컴퓨팅 디바이스는 테스트 이미지가 위조에 기반한 것이라고 결정하고 위조에 의한 오 인증을 방지할 수 있다.

처리(600) 단계들이 예시를 위하여 특정 순서로 기술되었으나, 디바이스는 본 발명의 하나 이상의 측면에 따라 가변 순서로 단계를 구현할 수 있다. 일부 예에서, 디바이스는 광의 검출과 얼굴 인식을 동시에(또는 실질적으로 동시에) 수행할 수 있다. 예를 들어, 이 디바이스는 광 검출과 얼굴 인식을 동시에 시작하거나 다른 것이 진행 중인 동안 하나의 것을 시작할 수 있다. 다른 예에서, 디바이스는 얼굴 인식 전에 광 검출을 수행할 수 있고 그 역으로도 수행할 수 있다. 디바이스가 얼굴 인식을 수행한 후에 광검출을 수행하는 예에서, 디바이스는 얼굴 인식의 결과에 상관없이 불충분한 광에 기초하여 인증을 거부할 수 있다. 이런 방식으로, 본 발명의 기술은 본 명세서에 설명된 위조 방지 목적을 달성하기 위하여 여러 순서로 구현될 수 있다.

예시를 위하여 컴퓨팅 디바이스를 잠금 해제하는 것에 대하여 주로 설명되었으나, 본 발명의 기술은 여러 시나리오로 구현될 수 있다. 일부 경우에 본 발명에 따른 컴퓨팅 디바이스는 도어락과 같은 다른 디바이스의 기능을 제어할 수 있다. 이들 예에서, 얼굴 인식 프로그램은 도어락으로 하여금 잠금 상태로부터 잠금 해제 상태로 전이하여 네트워크 인터페이스 또는 다른 통신 채널을 사용하여 얼굴 인식 매치를 통신하게 할 수 있다. 이 도어락은 예를 들어 귀중한 데이터와 문서를 포함하는 세이프박스(safebox), 자동차, 또는 의료 시설에서와 같이 통제 물질에 대해 사용된 저장 영역에의 액세스를 제어하는 것과 같은 여러 실제적인 시나리오에서 사용될 수 있다. 이러한 예에서, 컴퓨팅 디바이스는 본 발명의 기술을 구현하여 위조 시도를 검출하고 잠재적으로 감지된 상황에서 얼굴 인식에 의한 오 인증을 방지할 수 있다.

추가적으로, 본 발명의 기술은 깜박임을 검출하는 형태로 적용될 수 있다. 본 기술을 구현하는 디바이스는 광 검출 대신에 또는 광 검출을 보충하는 것으로 깜박임 검출을 수행할 수 있다. 일 구현예에서, 디바이스는 밝은 플래시의 형태로 광빔을 방출할 수 있다. 디바이스는 유저로 하여금 무의식적으로 깜박이게 할만큼 플래시를 충분히 밝게 할 수 있다. 디바이스는 적어도 하나의 캡처된 인증 이미지에서 깜박임(하나의 눈이나 두 개의 눈이 완전히 또는 부분적으로 닫힌)을 검출할 수 있다. 다른 구현예에서, 디바이스는 특정 시간 프레임 내에 유저가 깜박이게 명하는 메시지를 디스플레이할 수 있다. 하나의 이러한 구현예에서, 디바이스는 다수의 인증 이미지를 캡처하고, 유저가 깜박이도록 지시되는 시간에 대응하는 인증 이미지에서 유저가 깜박였는지를 검증할 수 있다. 다른 이러한 구현예에서, 디바이스는 단일 인증 이미지를 캡처하고 캡처된 이미지가 깜박임의 지시를 포함하는지를 검증할 수 있다. 본 명세서에 설명된 광검출 기술에 더하여 깜박임 검출이 구현될 때 깜박임 검출은 신뢰성과 강력함을 추가할 수 있다. 독립 방식으로 구현될 때 깜박임 검출은 캡처된 이미지가 유저의 정적 화상이나 미리 레코딩된 비디오가 아니라 유저의 응답 이미지인지를 검증하는 것에 의해 대안적인 위조 방지 조치를 제공할 수 있다. 이런 방식으로, 본 발명의 기술은 깜박임 검출을 사용하여 본 명세서에 설명된 위조 방지 조치를 수행 및/또는 개선시키는 것을 포함할 수 있다.

도 7은 얼굴 이미지(700)가 피치와 요우를 각각 디스플레이할 수 있는 수평 x 축(702)과 수직 y 축(704)과 중첩된 얼굴 이미지(700)를 도시한다. 설명된 바와 같이, 얼굴 이미지(700)는 y 축(704) 주위로 회전될 때 요우 각도를 디스플레이할 수 있다. 대안적으로, 유저가 좌측으로 또는 우측으로 회전된 얼굴 이미지는 얼굴 이미지(700)에 대하여 요우 각도를 디스플레이할 수 있다. 유사하게, 얼굴 이미지(700)는 x 축(702) 주위로 회전될 때 피치 각도를 디스플레이할 수 있고, 또는 유저가 위쪽으로 또는 아래쪽을 향하는 얼굴 이미지는 얼굴 이미지(700)에 대해 피치 각도를 디스플레이할 수 있다.

도 8a 내지 도 8c는 가변 크기와 방향의 피치를 디스플레이하는 얼굴 이미지를 도시한다. 도 8a는 0도(또는 0도에 가까운) 피치 각도를 가지는 정면을 향하는 얼굴 이미지(802)를 도시한다. 전술된 자세와 머리 배향의 문맥에서, 정면을 향하는 정면 이미지(802)는 정면 배향에 순응할 수 있다. 도 8a에 도시된 바와 같이, 정면을 향하는 정면 이미지(802)는 유저가 이미지 캡처 디바이스를 직접 향하는 동안 유저의 얼굴을 나타낼 수 있다.

도 8b는 위쪽을 향하는 얼굴 이미지(820)를 도시한다. 위쪽을 향하는 얼굴 이미지(820)는 도 8a에 도시된 정면을 향하는 얼굴 이미지(802)에 대해 피치의 분별가능하지 않은 레벨을 디스플레이할 수 있다. 예를 들어, 특정 측정 기술 하에서 위쪽을 향하는 얼굴 이미지(820)는 도 8a의 정면을 향하는 얼굴 이미지(802)에 대해 35도 내지 55도의 피치 각도를 디스플레이할 수 있다. 전술된 자세와 머리 배향의 문맥에서, 위쪽을 향하는 얼굴 이미지(820)는 위쪽을 향하는 배향에 순응할 수 있다.

도 8c는 아래쪽을 향하는 얼굴 이미지(840)를 도시한다. 아래쪽을 향하는 얼굴 이미지(840)는 도 8a의 정면을 향하는 얼굴 이미지(802)와 도 8b의 위쪽을 향하는 얼굴 이미지(820)에 대해 피치의 분별가능한 레벨을 디스플레이할 수 있다. 예를 들어, 특정 측정 기술 하에서, 아래쪽을 향하는 얼굴 이미지(840)는 도 8a의 정면을 향하는 얼굴 이미지(802)에 대해 35도 내지 55도의 피치 각도를 디스플레이할 수 있다. 이들 및 다른 측정 기술 하에서, 아래쪽을 향하는 얼굴 이미지(840)는 도 8b의 위쪽을 향하는 얼굴 이미지(820)에 대해 70도 내지 110도의 피치 각도를 디스플레이할 수 있다. 전술된 자세와 머리 배향의 문맥에서 아래쪽을 향하는 얼굴 이미지(840)는 아래쪽을 향하는 배향에 순응할 수 있다.

도 9a 내지 도 9e는 가변 크기와 방향의 요우를 디스플레이하는 얼굴 이미지를 도시한다. 도 9a는 0도(또는 0도에 가까운) 요우 각도를 가지는 정면을 향하는 얼굴 이미지(910)를 도시한다. 전술된 자세와 머리 배향의 문맥에서, 정면을 향하는 얼굴 이미지(910)는 정면 배향에 순응할 수 있다. 도 9a에 도시된 바와 같이 정면을 향하는 얼굴 이미지(910)는 유저가 이미지 캡처 디바이스를 직접 향하는 동안 유저의 얼굴을 나타낼 수 있다.

도 9b는 부분적으로 우측을 향하는 얼굴 이미지(920)를 도시한다. 부분적으로 우측을 향하는 얼굴 이미지(920)는 도 9a에 도시된 정면을 향하는 얼굴 이미지(910)에 대해 요우의 분별가능한 레벨을 디스플레이할 수 있다. 예를 들어, 특정 측정 기술 하에서 부분적으로 우측을 향하는 얼굴 이미지(920)는 도 9a의 정면을 향하는 얼굴 이미지(910)에 대하여 35도 내지 55도의 요우 각도를 디스플레이할 수 있다. 전술된 자세와 머리 배향의 문맥에서, 부분적으로 우측을 향하는 이미지(920)는 중간 프로파일 배향 또는 부분적인 프로파일 배향에 순응할 수 있다.

도 9c는 부분적으로 좌측을 향하는 얼굴 이미지(930)를 도시한다. 부분적으로 좌측을 향하는 얼굴 이미지(930)는 도 9a에 도시된 정면을 향하는 얼굴 이미지(910)에 대해 요우의 분별가능한 레벨을 디스플레이할 수 있다. 예를 들어, 특정 측정 기술 하에서, 부분적으로 좌측을 향하는 얼굴 이미지(920)는 도 9a의 정면을 향하는 얼굴 이미지(910)에 대해 35도 내지 55도의 요우 각도를 디스플레이할 수 있다. 추가적으로, 유사한 측정 기술 하에서, 부분적으로 좌측을 향하는 얼굴 이미지(930)는 도 9b의 부분적으로 우측을 향하는 얼굴 이미지(920)에 대해 70도 내지 110도의 요우 각도를 디스플레이할 수 있다. 전술된 자세와 머리 배향의 문맥에서, 부분적으로 좌측을 향하는 얼굴 이미지(930)는 중간 프로파일 배향 또는 부분적인 프로파일 배향에 순응할 수 있다.

도 9d는 우측을 향하는 얼굴 이미지(940)를 도시한다. 우측을 향하는 얼굴 이미지(940)는 도 9a에 도시된 정면을 향하는 얼굴 이미지(910)에 대해 요구의 분별가능한 레벨을 디스플레이할 수 있다. 예를 들어, 특정 측정 기술 하에서, 우측을 향하는 얼굴 이미지(940)는 도 9a의 정면을 향하는 얼굴 이미지(910)에 대해 80도 내지 110도의 요우 각도를 디스플레이할 수 있다. 추가적으로, 유사한 측정 기술 하에서, 우측을 향하는 얼굴 이미지(940)는 도 9b의 부분적으로 우측을 향하는 얼굴 이미지(920)에 대해 35도 내지 55도의 요우 각도를 디스플레이할 수 있다. 전술된 자세와 머리 배향의 문맥에서 우측을 향하는 얼굴 이미지(940)는 프로파일 배향에 순응할 수 있다.

도 9e는 좌측을 향하는 얼굴 이미지(950)를 도시한다. 좌측을 향하는 얼굴 이미지(950)는 도 9a에 도시된 정면을 향하는 얼굴 이미지(910)에 대해 요우의 분별가능한 레벨을 디스플레이할 수 있다. 예를 들어, 특정 측정 기술 하에서, 좌측을 향하는 얼굴 이미지(950)는 도 9a의 정면을 향하는 얼굴 이미지(910)에 대해 80도 내지 110도의 요우 각도를 디스플레이할 수 있다. 추가적으로, 유사한 측정 기술 하에서, 좌측을 향하는 얼굴 이미지(950)는 도 9b의 부분적으로 우측을 향하는 얼굴 이미지(920)에 대해 35도 내지 55도의 요우 각도를 디스플레이할 수 있다. 또한 유사한 측정 기술 하에서, 좌측을 향하는 얼굴 이미지(950)는 도 9d의 우측을 향하는 얼굴 이미지(940)에 대해 160도 내지 200도의 요우 각도를 디스플레이할 수 있다. 전술된 자세와 머리 배향의 문맥에서, 좌측을 향하는 얼굴 이미지(950)는 프로파일 배향에 순응할 수 있다.

도 10a 내지 도 10c는 본 발명의 하나 이상의 측면에 따라 회전 각도 및/또는 하나 이상의 얼굴 랜드마크를 사용하여 가변 요우 크기가 분별될 수 있는 얼굴 이미지의 시리즈를 도시한다. 도 10a 내지 도 10c 각각은 요우 각도를 형성하고 측정할 수 있는 y 축(1006)을 포함한다. 도 10a는 정면을 향하는 얼굴 이미지(즉, 정면 배향에서 얼굴 이미지)를 도시한다. 추가적으로, 도 10a는 좌안(1002)과 우측 귓불(1004)을 포함하는 얼굴 랜드마크를 포함한다. 도 10a에 도시된 바와 같이 좌안(1002)은 정면 배향의 얼굴 이미지에서 거의 전체 부분을 볼 수 있다. 역으로, 우측 귓불(1004)은 일부분만이 정면 배향의 얼굴 이미지에서 볼 수 있다.

도 10b는 중간 프로파일 배향의 얼굴 이미지, 보다 구체적으로 부분적으로 좌측을 향하는 얼굴 이미지를 도시한다. 도 10a의 정면을 향하는 얼굴 이미지에 대해, 도 10b의 부분적으로 좌측을 향하는 얼굴 이미지는 y 축(1006) 주위로 제 1 요우 각도(1022)를 디스플레이한다. 추가적으로, 도 10a의 것에 대응하는 랜드마크는 도 10b의 부분적으로 좌측을 향하는 얼굴 이미지에서는 상이한 크기로 보일 수 있다. 예를 들어, 도 10a의 정면을 향하는 얼굴 이미지와는 대조적으로, 좌안(1020)은 도 10b에서는 부분적으로만 볼 수 있다. 역으로, 우측 귓불(1024)은 도 10a의 정면을 향하는 얼굴 이미지에 비해서 도 10b의 부분적으로 좌측을 향하는 얼굴 이미지에서는 더 상세히 볼 수 있다.

도 10c는 프로파일 배향의 얼굴 이미지, 보다 구체적으로 좌측을 향하는 얼굴 이미지를 도시한다. 도 10a의 정면을 향하는 얼굴 이미지 및/또는 도 10b의 부분적으로 좌측을 향하는 얼굴 이미지에 대해, 도 10c의 좌측을 향하는 얼굴 이미지는 y 축(1006) 주위로 제 2 요우 각도(1024)를 디스플레이한다. 도 10c에 대하여 도 10a 내지 도 10b의 것에 대응하는 랜드마크는 보이지 않거나 도 10a 내지 도 10b의 얼굴 이미지에서보다 상이한 크기로 보일 수 있다. 예를 들어, 도 10c의 좌측을 향하는 얼굴 이미지는 유저의 좌안에 대응하는 가시적인 랜드마크를 포함하지 않는다. 이것은 완전히 볼 수 있는 및 부분적으로 볼 수 있는 좌안 랜드마크를 각각 포함하는 도 10a 및 도 10b와는 대조적이다. 역으로, 도 10c의 좌측을 향하는 얼굴 이미지는 도 10a 및 도 10b에서 각각 부분적으로 볼 수 있는 우측 귓불(1004, 1024)과는 대조적으로 완전히 볼 수 있는 우측 귓불(1044)을 포함한다.

도 11은 컴퓨팅 디바이스가 본 명세서에 설명된 하나 이상의 위조 방지 기술을 수행할 수 있는 예시적인 처리(1100)를 도시한다. 처리(1100)는 본 발명에 따라 여러 컴퓨팅 디바이스에 의하여 수행될 수 있지만, 단지 명료함을 위해 도 11은 도 1a 내지 도 1b의 컴퓨팅 디바이스(102)에 대해 기술된다. 처리(1100)는 컴퓨팅 디바이스(102)가 제 1 얼굴 이미지를 수신할 때 시작할 수 있다(단계 1101). 추가적으로, 컴퓨팅 디바이스(102)는 제 2 얼굴 이미지를 수신할 수 있으며 여기서 제 1 및 제 2 얼굴 이미지는 유저의 얼굴의 표현을 각각 포함한다(단계 1102). 컴퓨팅 디바이스(102)는 컴퓨팅 디바이스(102)에 포함되거나 이에 연결된 카메라와 같은 이미지 캡처 디바이스로부터 얼굴 이미지를 수신할 수 있다. 나아가, 수신된 얼굴 이미지의 적어도 하나는 컴퓨팅 디바이스(102)에 의해 제어된 얼굴 인식 프로그램에 의해 (예를 들어, 인증을 위하여) 매치가 부여될 수 있다.

컴퓨팅 디바이스(102)는 수신된 얼굴 이미지에 기초하여 라이브니스 제스처를 검출하는 시도를 할 수 있다(결정 블록 1104). 컴퓨팅 디바이스(102)가 수신된 얼굴 이미지에 기초하여 라이브니스 제스처를 검출하는데 실패하면, 컴퓨팅 디바이스(102)는 최초 캡처된 제 1 얼굴 이미지와 비교하기 위해 다시 한번 제 2 얼굴 이미지의 새로운 것을 수신할 수 있다(즉, 단계 1102로 리턴한다). 그러나, 컴퓨팅 디바이스(102)가 수신된 얼굴 이미지에 기초하여 라이브니스 제스처를 성공적으로 검출하면, 컴퓨팅 디바이스는 검출된 라이브니스 제스처의 하나 이상의 속성에 기초하여 라이브니스 스코어를 생성할 수 있다(단계 1106, 아래에서 보다 상세히 설명된다). 컴퓨팅 디바이스(102)는 제 1 얼굴 이미지와 제 2 얼굴 이미지의 특정 비교에 기초하여 라이브니스 제스처를 검출할 수 있다. 예를 들어, 컴퓨팅 디바이스(102)는 제 1 얼굴 이미지에 대해 제 2 얼굴 이미지에 의해 디스플레이된 요우 각도와 피치 각도 중 하나 또는 둘 모두에 기초하여 라이브니스 제스처를 검출할 수 있다. 설명된 바와 같이, 요우 각도는 수직(y) 축을 중심으로 하는 전이에 대응하고, 피치 각도는 수평(x) 축을 중심으로 하는 전이에 대응한다.

설명된 바와 같이, 컴퓨팅 디바이스(102)가 수신된 얼굴 이미지에 기초하여 라이브니스 제스처를 성공적으로 검출하면, 컴퓨팅 디바이스는 검출된 라이브니스 제스처의 하나 이상의 속성에 기초하여 라이브니스 스코어를 생성할 수 있다(단계 1106). 예를 들어, 컴퓨팅 디바이스(102)는 요우 각도 크기 및/또는 피치 각도 크기에 기초하여 라이브니스 스코어를 생성할 수 있다. 예로서, 라이브니스 스코어는 요우 각도 크기 및/또는 피치 각도 크기에 직접 비례할 수 있고, 즉 요우 각도 크기 및/또는 피치 각도 크기 중 더 큰 값이 라이브니스 스코어의 더 큰 값을 형성할 수 있다.

컴퓨팅 디바이스(102)는 생성된 라이브니스 스코어의 값이 임계값을 충족하는지 여부를 결정할 수 있다(결정 블록 1110). 임계값은 위조 방지 목적을 위하여 라이브 제스처의 최소 품질을 나타낼 수 있다. 생성된 라이브니스 스코어가 임계값을 충족하면, 컴퓨팅 디바이스(102)는 컴퓨팅 디바이스(102)에 의해 제어된 하나 이상의 기능에 대해 인증을 허가할 수 있다(단계 1116). 한편, 라이브니스 스코어가 임계값을 충족하지 않으면, 컴퓨팅 디바이스(102)는 하나 이상의 기능에 대해 유저 인증을 거부할 수 있다(단계 1114).

여러 구현예에서, 컴퓨팅 디바이스(102)는 인증을 초기에 거부한 후에 타이머를 실행할 수 있다. 타이머가 실행하는 동안, 컴퓨팅 디바이스(102)는 제 2 얼굴 이미지의 다른 것을 계속 모니터링할 수 있다. 보다 구체적으로, 컴퓨팅 디바이스(102)는 타이머가 만료되었는지 여부를 (예를 들어, 주기적으로) 체크할 수 있다(결정 블록 1118). 타이머가 만료되지 않았으면, 컴퓨팅 디바이스(102)는 제 2 얼굴 이미지의 다른 것을 수신할 수 있다(즉, 단계 1102로 리턴한다).

도 12는 추출된 서브 이미지로 표현된 우안(1208)과 입 영역(1206)을 포함하는 예시적인 얼굴 랜드마크를 구비하는 얼굴 이미지(1200)를 도시한다. 보다 구체적으로, 우안(1208)은 제 1 서브 이미지(1210)와 제 2 서브 이미지(1212)로 표현된다. 유사하게, 입 영역(1206)은 제 3 서브 이미지(1202)와 제 4 서브 이미지(1204)로 표현된다. 본 발명의 기술을 구현하는 컴퓨팅 디바이스는 공통 얼굴 이미지(예를 들어, "제 1 이미지")로부터 제 1 서브 이미지(1210)와 제 3 서브 이미지(1202)를 추출할 수 있다. 유사하게, 컴퓨팅 디바이스는 제 2 이미지로부터 제 2 서브 이미지(1212)와 제 4 서브 이미지(1204)를 추출할 수 있다. (제 3 서브 이미지(1202)와 제 4 서브 이미지(1204)와 유사한) 제 1 서브 이미지(1210)와 제 2 서브 이미지(1212)는 상이한 얼굴 이미지로부터 유래할 수 있으나, 모두 4개의 서브 이미지는 명료함과 비교 설명을 위하여 얼굴 이미지(1200)에 대해 본 명세서에 설명된다.

설명된 바와 같이 컴퓨팅 디바이스는 별개의 얼굴 이미지로부터 얼굴 랜드마크의 서브 이미지를 추출하고, 서브 이미지들 간에 측정된 거리의 계산을 포함하는 여러 방식 중 임의의 방식으로 서브 이미지를 비교할 수 있다. 예를 들어, 안구 운동의 제스처를 검출하는 일부로서, 컴퓨팅 디바이스는 제 1 서브 이미지(1210)와 제 2 서브 이미지(1212) 간의 거리를 연산할 수 있다. 유사하게, 찡그린 제스처를 검출하는 일부로서, 컴퓨팅 디바이스는 제 3 서브 이미지(1202)와 제 4 서브 이미지(1204) 간의 거리를 측정할 수 있다. 추가적으로, 이미의 주름이나 코의 주름을 검출하는 일부로서, 컴퓨팅 디바이스는 얼굴 이미지(1200)의 이마 영역과 코를 나타내는 서브 이미지들 간의 거리(명료함을 위해 미도시)를 측정할 수 있다. 추가적으로, 제 2 서브 이미지(1212)와 제 4 서브 이미지(1204)는 도 1에 대해 설명된 바와 같이 제 1 서브 이미지(1210)와 제 3 서브 이미지(1202)보다 더 크다.

일부 예에서, 얼굴 이미지(1200) 중 입 영역(1206)은 우안(1208)에 "보충적인 랜드마크"로 사용될 수 있다. 예를 들어, 컴퓨팅 디바이스는 얼굴 제스처의 시퀀스나 시리즈를 수행하도록 유저에 프롬프트할 수 있다. 이 시리즈는 우안(1208)과 입 영역(1206)과 같이 상이한 랜드마크에 기초한 얼굴 제스처를 포함할 수 있다. 예를 들어, 시리즈는 안구 운동과 찡그린 제스처를 포함할 수 있다(컴퓨팅 디바이스는 제스처를 수행하는 특정 순서를 지정할 수도 있고 지정하지 않을 수도 있다). 이 예에서, 우안(1208)은 주된 랜드마크를 형성할 수 있고 입 영역(1206)은 보충적인 랜드마크를 형성할 수 있으나 그 역으로 형성될 수도 있다. 일부 예에서, 주된 랜드마크는 우안(1208)과 좌측 눈썹(명료함을 위해 미도시)과 같은 보충적인 랜드마크를 가지는 공통 영역을 공유할 수 있다. 다른 예에서, 우안(1208)과 입 영역(1206)과 같이 주된 랜드마크와 보충적인 랜드마크는 공통 영역을 공유하지 않을 수 있다.

여러 구현예는 전술된 얼굴 제스처와 라이브니스 제스처의 임의의 조합을 요구할 수 있다. 여러 예에서, 수행되는 제스처의 순서는 관련이 될 수도 있고 관련이 없을 수도 있다. 일례로서, 본 발명의 기술을 구현하는 컴퓨팅 디바이스는 임의의 순서로 깜박임과 위쪽으로 끄덕임의 조합에 기초하여 인증을 허여할 수 있다. 다른 예에서, 컴퓨팅 디바이스는 윙크와 좌측으로 반쯤 회전하는 것의 시퀀스에 기초하여 이 특정 순서로만 인증을 허가할 수 있다. 이런 방식으로, 본 발명의 기술은 본 명세서에 설명된 얼굴 제스처와 라이브니스 제스처의 여러 그룹, 세트, 시리즈 및 시퀀스에 기초하여 위조 방지 조치를 할 수 있다.

도 13은 닫힌 눈(1300)의 예시적인 이미지를 도시하는 개념도이다. 닫힌 눈(1300)은 닫힌 상태에 있는 눈(400)(도 4)의 표현일 수 있다. 추가적으로, 닫힌 눈(1300)은 윙크나 깜박이는 제스처(즉, 하나의 눈이나 두 눈을 닫는 것을 수반하는 얼굴 제스처) 부분을 나타낼 수 있다. 도 14에 도시된 바와 같이, 닫힌 눈(1300)의 상당한 부분은 눈꺼풀(1310)이 차지한다. 설명된 바와 같이, 눈꺼풀(1310)이 커버하는 영역은 일관된 피부 컬러와 같은 요인 등으로 인해 픽셀 전이를 거의 디스플레이하지 않을 수 있다. 비교하면, 도 4의 눈(400)은 홍채(404), 동공(406), 광(402), 및 다른 것과 같은 특징부의 가시성으로 인해 더 많은 수의 픽셀 전이를 디스플레이할 수 있다. 본 발명의 기술을 구현하는 컴퓨팅 디바이스는 눈(400)을 닫힌 눈(1300)과 비교하여 이들 픽셀 전이의 차이와 다른 요인에 기초하여 측정된 거리를 획득할 수 있다. 측정된 거리에 기초하여 컴퓨팅 디바이스는 윙크 또는 깜박임과 같은 얼굴 제스처를 검출할 수 있다.

도 14는 입을 열어 웃는 동작(1400)을 도시하는 개념도이다. 입을 열어 웃는 동작(1400)은 하부 입술(1402), 치아(1404), 상부 입술(명료함을 위해 미도시), 및 다른 것과 같은 특정 얼굴 특징부를 포함할 수 있다. 입을 열어 웃는 동작(1400)은 입을 열어 웃는 제스처를 유저가 수행한 후에 입 영역(1206)의 상태(도 12에 도시)를 나타낼 수 있다. (닫힌 상태에 있고 무표정한 위치에 있는) 도 12의 입 영역(1206)과 비교하여, 입을 열어 웃는 동작(1400)은 더 큰 픽셀 전이(예를 들어, 하부 입술(1402)과 치아(1404) 사이)와 더 큰 곡률(웃는 동작의 위로 오목한 특성(concave-up nature)으로 인해)을 포함할 수 있다. 입 영역(1206)과 입을 열어 웃는 동작(1400)을 비교한 것에 기초하여 컴퓨팅 디바이스는 입을 열어 웃는 얼굴 제스처를 나타낼만큼 충분한 거리를 측정할 수 있다.

도 15는 컴퓨팅 디바이스가 본 발명의 여러 기술을 수행할 수 있는 예시적인 공정(1500)을 도시하는 흐름도이다. 처리(1500)가 여러 컴퓨팅 디바이스에 의해 수행될 수 있으나, 처리(1500)는 명료함을 위해 도 1a 내지 도 1b의 컴퓨팅 디바이스(102)에 대해 본 명세서에 설명된다. 처리(1100)는 컴퓨팅 디바이스(102)가 유저의 얼굴의 제 1 이미지를 수신할 때 시작할 수 있다(단계 1501). 추가적으로, 컴퓨팅 디바이스(102)는 유저의 얼굴의 제 2 이미지를 수신할 수 있다(단계 1502). 컴퓨팅 디바이스(102)는 이미지의 더 큰 수퍼세트(예를 들어, 유저의 얼굴 등의 제 3 이미지를 더 포함하는 수퍼세트)의 일부로 제 1 및 제 2 이미지를 수신할 수 있다. 일부 예에서 설명된 바와 같이 제 1 및 제 2 이미지는 비디오 캡처 능력을 가지는 카메라를 사용하여 컴퓨팅 디바이스에 의해 캡처된 비디오 스트림의 프레임을 형성할 수 있다.

컴퓨팅 디바이스(102)는 제 1 이미지에서 적어도 하나의 얼굴 랜드마크와 제 2 이미지에서 적어도 하나의 대응하는 얼굴 랜드마크를 식별할 수 있다(단계 1504). 설명된 바와 같이, 이 얼굴 랜드마크의 예로는 하나의 눈 또는 두 개의 눈(예를 들어, 안구 스트립), 입 영역, 및 다른 것을 포함할 수 있다. 컴퓨팅 디바이스(102)는 제 1 얼굴 이미지로부터 제 1 서브 이미지를 추출하되, 제 1 서브 이미지가 식별된 얼굴 랜드마크의 표현을 포함하도록 추출할 수 있다(단계 1506). 다수의 얼굴 랜드마크의 예에서, 컴퓨팅 디바이스(102)는 각 랜드마크에 대해 별개의 서브 이미지를 추출하고, 이 랜드마크를 단일 서브 이미지로 결합하는 등을 할 수 있다. 추가적으로, 컴퓨팅 디바이스(102)는 제 2 얼굴 이미지로부터 제 2 서브 이미지를 추출하되, 제 2 서브 이미지가 대응하는 얼굴 랜드마크의 표현을 포함하도록 추출할 수 있다(단계 1508). 예로서, 제 2 서브 이미지는 (예를 들어, 제 1 서브 이미지의 사이즈의 약 20% 인수만큼) 제 1 서브 이미지보다 더 클 수 있다.

제 1 서브 이미지를 제 2 서브 이미지와 비교한 것에 기초하여, 컴퓨팅 디바이스(102)는 얼굴 제스처를 나타낼 만큼 충분한 차이가 존재하는지 여부를 결정할 수 있다(결정 블록 1510). 설명된 바와 같이 컴퓨팅 디바이스는 서브 이미지들 간의 차이를 측정하는 것에 의해 서브 이미지를 비교하여 차이를 표현할 수 있다. 컴퓨팅 디바이스(102)가 이 비교에 기초하여 얼굴 제스처를 검출하면, 컴퓨팅 디바이스(102)는 위조 방지를 위하여 유저에 인증을 허가할 수 있다(단계 1516). 다시 말해, 얼굴 인식 프로그램이 제 1 및 제 2 얼굴 이미지 중 하나 또는 둘 모두와 매치를 부여하면, 컴퓨팅 디바이스(102)는 컴퓨팅 디바이스(102)에 의해 제어되는 하나 이상의 기능에 유저가 액세스하는 것을 허가할 수 있다. 그러나, 컴퓨팅 디바이스(102)가 이 비교에 기초하여 얼굴 제스처를 검출하지 못하면, 컴퓨팅 디바이스(102)는 유저에 인증을 거부할 수 있다(단계 1514). 이 경우에 컴퓨팅 디바이스(102)는 수행되는 경우 얼굴 인식 분석의 결과에 상관없이 인증을 거부할 수 있다.

여러 구현예에서, 컴퓨팅 디바이스(102)는 인증을 초기에 거부한 후에 타이머를 실행할 수 있다. 타이머가 실행되는 동안, 컴퓨팅 디바이스(102)는 제 2 얼굴 이미지의 다른 것을 계속 모니터링할 수 있다. 보다 구체적으로, 컴퓨팅 디바이스(102)는 타이머가 만료되었는지 여부를 (예를 들어, 주기적으로) 체크할 수 있다(결정 블록 1518). 타이머가 만료되지 않았다면, 컴퓨팅 디바이스(102)는 제 2 얼굴 이미지의 다른 것을 수신할 수 있다(즉, 단계 1502로 리턴한다).

본 명세서에 설명된 기술은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 적어도 부분적으로 구현될 수 있다. 예를 들어, 설명된 실시예의 여러 측면은 하나 이상의 마이크로프로세서, DSP(digital signal processor), ASIC(application specific integrated circuit), FPGA(field programmable gate array), 또는 임의의 다른 균등한 통합된 또는 이산 로직 회로, 및 이들 성분의 임의의 조합을 포함하는 하나 이상의 프로세서 내에 구현될 수 있다. "프로세서" 또는 "처리 회로"라는 용어는 일반적으로 전술된 로직 회로 중 임의의 것을 단독으로 말하거나 또는 다른 로직 회로와 조합된 것이거나 또는 임의의 다른 균등한 회로와 조합된 것을 말할 수 있다. 하드웨어를 포함하는 제어 유닛은 본 발명의 기술 중 하나 이상을 더 수행할 수 있다.

이러한 하드웨어, 소프트웨어 및 펌웨어는 동일한 디바이스 내에 또는 본 명세서에 설명된 여러 기술을 지원하는 별개의 디바이스 내에 구현될 수 있다. 나아가, 설명된 유닛, 모듈 또는 성분 중 임의의 것은 함께 구현되거나 별개이지만 상호 동작가능한 로직 디바이스로서 별개로 구현될 수 있다. 모듈이나 유닛으로 상이한 특징을 도시하는 것은 여러 기능적 측면을 하이라이트하려는 의도일 뿐 이러한 모듈이나 유닛이 별개의 하드웨어, 펌웨어, 또는 소프트웨어 성분으로 실현되는 것을 반드시 의미하는 것은 아니다. 오히려, 하나 이상의 모듈이나 유닛과 관련된 기능은 별개의 하드웨어, 펌웨어 또는 소프트웨어 성분에 의해 수행되거나 또는 공통이거나 별개의 하드웨어, 펌웨어, 또는 소프트웨어 성분 내에 통합될 수 있다.

본 명세서에 설명된 기술은 명령으로 인코딩된 컴퓨터 판독가능한 저장 매체를 포함하는 제조 물품에 구현되거나 인코딩될 수도 있다. 인코딩된 컴퓨터 판독가능한 저장 매체를 포함하는 제조 물품에 매립되거나 인코딩된 명령은 예를 들어 컴퓨터 판독가능한 저장 매체에 포함되거나 인코딩된 명령이 하나 이상의 프로세서에 의해 실행될 때 하나 이상의 프로그래밍 가능한 프로세서 또는 다른 프로세서로 하여금 본 명세서에 설명된 기술 중 하나 이상을 구현하게 할 수 있다. 컴퓨터 판독가능한 저장 매체는 RAM(random access memory), ROM(read only memory), PROM(programmable read only memory), EPROM(erasable programmable read only memory), EEPROM(electronically erasable programmable read only memory), 플래시 메모리, 하드 디스크, 콤팩트 디스크 ROM(CD-ROM), 플로피 디스크, 디스켓, 자기 매체, 광 매체, 또는 다른 컴퓨터 판독가능한 매체를 포함할 수 있다. 컴퓨터 판독가능한 매체의 추가적인 예로는 컴퓨터 판독가능한 저장 디바이스, 컴퓨터 판독가능한 메모리, 및 유형적인 컴퓨터 판독가능한 매체를 포함한다. 일부 예에서, 제조 물품은 하나 이상의 컴퓨터 판독가능한 저장 매체를 포함할 수 있다.

일부 예에서, 컴퓨터 판독가능한 매체 및/또는 컴퓨터 판독가능한 저장 디바이스는 비일시적인 매체 및/또는 비일시적인 디바이스를 포함할 수 있다. "비일시적인"이라는 용어는 저장 매체가 유형적이고 반송파 또는 전파되는 신호로 구현된 것이 아니라는 것을 의미할 수 있다. 특정 예에서, 비일시적인 저장 매체는 시간에 따라 변할 수 있는 데이터를 (예를 들어, RAM 또는 캐시에) 저장할 수 있다.

여러 예가 설명되었다. 이들 및 다른 예는 이하 청구범위 내에 있다.

Claims

라이브니스 검출(liveness detection) 방법으로서,
컴퓨팅 디바이스에 연결된 이미지 캡처 디바이스로부터, 유저의 얼굴의 제 1 이미지와 유저의 얼굴의 제 2 이미지를 수신하는 단계와;
상기 제 1 이미지에서 적어도 하나의 얼굴 랜드마크(facial landmark)와 그리고 상기 제 2 이미지에서 적어도 하나의 대응하는 얼굴 랜드마크를 식별하는 단계와;
상기 컴퓨팅 디바이스에 의하여, 상기 제 1 이미지로부터 제 1 서브 이미지를 추출하는 단계와, 상기 제 1 서브 이미지는 상기 제 1 이미지의 일부를 나타내고, 상기 제 1 서브 이미지는 적어도 하나의 얼굴 랜드마크의 표현(representation)을 포함하며;
상기 컴퓨팅 디바이스에 의하여, 상기 제 2 이미지로부터 제 2 서브 이미지를 추출하는 단계와, 상기 제 2 서브 이미지는 상기 제 2 이미지의 일부를 나타내고 상기 제 2 서브 이미지는 적어도 하나의 대응하는 얼굴 랜드마크의 표현을 포함하며;
상기 컴퓨팅 디바이스에 의하여, 상기 제 2 서브 이미지와 상기 제 1 서브 이미지 사이에 얼굴 제스처를 나타낼 만큼 충분한 차이가 존재하는지 여부를 결정하는 것에 의해 상기 얼굴 제스처를 검출하는 단계와;
상기 컴퓨팅 디바이스에 의하여, 상기 유저의 얼굴의 제 1 이미지와 상기 유저의 얼굴의 제 2 이미지 사이의 유사성을 결정하는 것에 적어도 부분적으로 기초하여 상기 유저의 얼굴의 제 1 이미지와 상기 유저의 얼굴의 제 2 이미지가 일관된 유저 신원(consistent user identity)과 관련되는지를 결정하는 단계와; 그리고
상기 얼굴 제스처를 검출하는 것과 그리고 상기 유저의 얼굴의 제 1 이미지와 상기 유저의 얼굴의 제 2 이미지가 상기 일관된 유저 신원과 관련되는지를 결정하는 것에 적어도 부분적으로 기초하여, 상기 컴퓨팅 디바이스에 의해 제어되는 하나 이상의 기능에 액세스하는 것에 대하여 유저에 인증을 거부할지 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 라이브니스 검출 방법.
제 1 항에 있어서,
상기 유저에게 미리 결정된 얼굴 제스처를 수행하도록 프롬프트하는 단계;
상기 검출된 얼굴 제스처가 상기 미리 결정된 얼굴 제스처와 매치하는지 여부를 결정하는 단계;
상기 검출된 얼굴 제스처가 상기 미리 결정된 얼굴 제스처와 매치하지 않는 경우, 상기 컴퓨팅 디바이스에 의해 제어되는 하나 이상의 기능에 액세스하는 것에 대하여 상기 유저에 인증을 거부하는 단계; 및
상기 검출된 얼굴 제스처가 상기 미리 결정된 얼굴 제스처와 매치하는 경우, 상기 컴퓨팅 디바이스에 의해 제어되는 하나 이상의 기능에 액세스하는 것에 대하여 상기 유저에 인증을 허여하는 단계를 더 포함하는 것을 특징으로 하는 라이브니스 검출 방법.
제 1 항에 있어서,
상기 적어도 하나의 얼굴 랜드마크는 눈, 눈썹, 입 영역, 이마 영역, 코 중 적어도 하나를 포함하고, 상기 나타낼 얼굴 제스처는 깜박임 제스처, 윙크 제스처, 안구 움직임, 웃는 제스처, 찡그림 제스처, 혀 내밈 제스처, 입 벌림 제스처, 눈썹 움직임 제스처, 이마 주름 제스처, 코 주름 제스처 중 적어도 하나를 포함하는 것을 특징으로 하는 라이브니스 검출 방법.
제 1 항에 있어서,
상기 이미지 캡처 디바이스는 비디오 캡처 성능을 가지며,
상기 제 1 이미지와 상기 제 2 이미지 중 적어도 하나는 상기 이미지 캡처 디바이스로부터 수신된 비디오 데이터의 일부를 형성하는 것을 특징으로 하는 라이브니스 검출 방법.
제 1 항에 있어서,
상기 제 1 이미지와 상기 제 2 이미지 각각에 대해 얼굴 인식 분석을 수행하는 단계;
상기 제 1 이미지와 제 2 이미지 중 적어도 하나가 상기 얼굴 인식 분석에 실패한 경우, 상기 컴퓨팅 디바이스에 의해 제어되는 하나 이상의 기능에 액세스하는 것에 대하여 상기 유저에 인증을 거부하는 단계; 및
상기 제 1 이미지와 상기 제 2 이미지 모두가 상기 얼굴 인식 분석을 통과하고 상기 얼굴 제스처가 검출되는 경우, 상기 컴퓨팅 디바이스에 의해 제어되는 하나 이상의 기능에 액세스하는 것에 대하여 상기 유저에 인증을 허여하는 단계를 더 포함하는 것을 특징으로 하는 라이브니스 검출 방법.
제 1 항에 있어서,
상기 제 1 서브 이미지 및 상기 제 2 서브 이미지의 표준 정규화된 상관(standard normalized correlation)을 얻기 위해 상기 제 1 서브 이미지와 상기 제 2 서브 이미지 중 하나 또는 이들 둘 다를 조절(adjust)하는 것을 특징으로 하는 라이브니스 검출 방법.
제 6 항에 있어서,
상기 제 1 서브 이미지와 상기 제 2 서브 이미지 중 하나 또는 이들 둘 다는, 1) 상기 제 1 서브 이미지와 상기 제 2 서브 이미지 중 하나 또는 이들 둘 다를 회전시키는 것과 2) 상기 제 1 서브 이미지와 상기 제 2 서브 이미지 중 하나 또는 이들 둘 다를 스케일링하는 것 중 적어도 하나에 의해 조절되는 것을 특징으로 하는 라이브니스 검출 방법.
제 7 항에 있어서,
상기 제 1 서브 이미지와 상기 제 2 서브 이미지 중 하나 또는 이들 둘 다를 스케일링하는 것은 상기 제 1 서브 이미지와 상기 제 2 서브 이미지 사이의 이미지 사이즈 불일치를 정정(correction)하는 것과 관련되는 것을 특징으로 하는 라이브니스 검출 방법.
제 1 항에 있어서,
상기 제 1 이미지와 상기 제 2 이미지를 수신하는 단계는, 적어도 상기 제 1 이미지, 제 2 이미지 및 제 3 이미지를 포함하는 복수의 이미지들로부터 상기 제 1 이미지 및 제 2 이미지를 선택하는 것을 포함하는 것을 특징으로 하는 라이브니스 검출 방법.
제 9 항에 있어서,
상기 제 1 이미지 및 제 2 이미지를 선택하는 것은 적어도 부분적으로 상기 검출된 얼굴 제스처에 기초하여 선택하는 것을 포함하는 것을 특징으로 하는 라이브니스 검출 방법.
제 1 항에 있어서,
상기 제 1 이미지 및 상기 제 2 이미지를 비디오 스트림의 프레임들로서 수신하는 단계와;
상기 비디오 스트림이 연속적인 프레임 캡처를 나타낼 만큼 충분히 높은 프레임을 갖는지를 결정하는 단계와;
상기 비디오 스트림의 각 프레임이 사람 얼굴의 표현을 포함하는지를 결정하는 단계와;
만일 상기 비디오 프레임의 프레임들 중 적어도 하나가 사람 얼굴의 표현을 포함하고 있지 않으면, 상기 컴퓨팅 디바이스에 의해 제어되는 하나 이상의 기능에 액세스하는 것에 대하여 상기 유저에 인증을 거부하는 단계와; 그리고
만일 상기 제 1 이미지와 상기 제 2 이미지 각각이 상기 사람 얼굴의 표현을 포함하고 있으면, 상기 컴퓨팅 디바이스에 의해 제어되는 하나 이상의 기능에 액세스하는 것에 대하여 상기 유저에 인증을 허여하는 단계를 더 포함하는 것을 특징으로 하는 라이브니스 검출 방법.
제 1 항에 있어서,
일관적인 유저 신원을 나타낼 상기 유저의 얼굴의 제 1 이미지와 상기 유저의 얼굴의 제 2 이미지 사이의 유사성을 결정하는 것은, 1) 상기 제 1 이미지와 상기 제 2 이미지 각각에 대해 얼굴 인식 분석을 수행하는 단계와, 2)상기 제 1 이미지의 하나 이상의 특징을 상기 제 2 이미지의 하나 이상의 대응하는 특징과 비교하는 단계와, 3) 상기 비교에 기초하여 유사성 스코어를 결정하는 단계를 더 포함하며, 상기 유사성은 상기 유사성 스코어가 유사성 스코어 임계치를 초과할 때 존재하는 것으로 결정되는 것을 특징으로 하는 라이브니스 검출 방법.
제 1 항에 있어서,
상기 나타낼 얼굴 제스처는 제 1 얼굴 제스처이며,
상기 라이브니스 검출 방법은:
상기 이미지 캡처 디바이스로부터, 상기 유저의 얼굴의 제 3 이미지와 상기 유저의 얼굴의 제 4 이미지를 수신하는 단계와;
상기 제 3 이미지로부터 제 3 서브 이미지 및 상기 제4 이미지로부터 제 4 서브 이미지를 추출하는 단계와, 상기 제 3 서브 이미지는 보충적(supplementary)인 얼굴 랜드마크의 표현을 포함하고, 상기 제 4 서브 이미지는 대응하는 보충적인 얼굴 랜드마크의 표현을 포함하며;
만일 상기 제 2 서브 이미지와 상기 제 1 서브 이미지 사이에 상기 제 1 얼굴 제스처를 나타낼 만큼 충분한 차이가 존재하는 경우, 상기 제 3 서브 이미지와 상기 제 4 서브 이미지 사이에 상기 제 2 얼굴 제스처를 나타낼 만큼 충분한 차이가 존재하는지를 결정하는 것에 적어도 부분적으로 기초하여 제 2 얼굴 제스처를 검출하는 단계를 포함하고,
상기 유저에 인증을 거부할지 여부를 결정하는 단계는 상기 검출된 제 1 얼굴 제스처와 상기 검출된 제 2 얼굴 제스처에 적어도 부분적으로 기초하여, 상기 컴퓨팅 디바이스에 의해 제어되는 하나 이상의 기능에 액세스하는 것에 대하여 유저에 인증을 거부할지 여부를 결정하는 것을 포함하는 것을 특징으로 하는 라이브니스 검출 방법.
제 12 항에 있어서,
상기 유저에게 상기 제 1 얼굴 제스처와 상기 제 2 얼굴 제스처를 포함하는 일련의 얼굴 제스처를 수행하도록 프롬프트하는 단계를 더 포함하는 것을 특징으로 하는 라이브니스 검출 방법.
제 13 항에 있어서,
상기 적어도 하나의 랜드마크는 상기 보충적인 얼굴 랜드마크와 공통 영역을 공유하는 것을 특징으로 하는 라이브니스 검출 방법.
제 13 항에 있어서,
상기 적어도 하나의 랜드마크는 상기 보충적인 얼굴 랜드마크와 공통 영역을 공유하지 않는 것을 특징으로 하는 라이브니스 검출 방법.
제 1 항에 있어서,
상기 제 2 서브 이미지는 상기 제 1 이미지로부터 추출된 상기 제 1 서브 이미지보다 큰 것을 특징으로 하는 라이브니스 검출 방법.
제 1 항에 있어서,
상기 제 1 이미지에 대한 상기 제 2 이미지의 요우(yaw) 각도와 상기 제 1 이미지에 대한 상기 제 2 이미지의 피치(pitch) 각도 중 적어도 하나에 기초하여 라이브니스 제스처(liveness gesture)를 검출하는 단계와, 상기 요우 각도는 수직축을 중심으로 하는 전이(transition)에 대응하고 상기 피치 각도는 수평축을 중심으로 하는 전이에 대응하며;
상기 요우 각도와 관련된 요우 각도 크기와 상기 피치 각도와 관련된 피치 각도 크기 중 적어도 하나에 기초하여 라이브니스 스코어를 생성하는 단계; 및
상기 라이브니스 스코어를 임계값과 비교하는 단계를 더 포함하며,
상기 컴퓨팅 디바이스에 의해 제어되는 하나 이상의 기능에 액세스하는 것에 대하여 유저에 인증을 거부할지 여부를 결정하는 단계는 상기 비교에 더 기초하는 것을 특징으로 하는 라이브니스 검출 방법.
제 1 항에 있어서,
상기 이미지 캡처 디바이스로부터, 상기 유저의 얼굴의 제 3 이미지와 상기 유저의 얼굴의 제 4 이미지를 수신하는 단계와;
상기 제 3 이미지에 대한 상기 제 4 이미지의 요우 각도와 상기 제 3 이미지에 대한 상기 제 4 이미지의 피치 각도 중 적어도 하나에 기초하여 라이브니스 제스처를 검출하는 단계와, 상기 요우 각도는 수직축을 중심으로 하는 전이에 대응하고 상기 피치 각도는 수평축을 중심으로 하는 전이에 대응하며;
상기 요우 각도와 관련된 요우 각도 크기와 상기 피치 각도와 관련된 피치 각도 크기 중 적어도 하나에 기초하여 라이브니스 스코어를 생성하는 단계; 및
상기 라이브니스 스코어를 임계값과 비교하는 단계를 더 포함하며,
상기 컴퓨팅 디바이스에 의해 제어되는 하나 이상의 기능에 액세스하는 것에 대하여 유저에 인증을 거부할지 여부를 결정하는 단계는 상기 비교에 더 기초하는 것을 특징으로 하는 라이브니스 검출 방법.
제 18 항에 있어서,
상기 컴퓨팅 디바이스에 의해 제어되는 하나 이상의 기능에 액세스하는 것에 대하여 유저에 인증을 거부할지 여부를 결정하는 단계는 상기 라이브니스 제스처 및 상기 얼굴 제스처와 관련된 순서에 더 기초하는 것을 특징으로 하는 라이브니스 검출 방법.
제 1 항에 있어서,
상기 유저의 얼굴의 제 1 이미지 또는 상기 유저의 얼굴의 제 2 이미지에 움직임 블러(motion blur)가 존재하는지 여부를 결정하는 단계와; 그리고
만일 상기 유저의 얼굴의 제 1 이미지 또는 상기 유저의 얼굴의 제 2 이미지에 움직임 블러가 존재하는 경우, 상기 얼굴 제스처를 검출하기 위해 상기 유저의 얼굴의 제 1 이미지 및 상기 유저의 얼굴의 제 2 이미지 둘 다를 무시(disregard)하는 단계를 더 포함하는 것을 특징으로 하는 라이브니스 검출 방법.
메모리와;
적어도 하나의 프로세서와;
상기 적어도 하나의 프로세서에 의해 동작가능하고, 유저의 얼굴의 제 1 이미지와 상기 유저의 얼굴의 제 2 이미지를 캡처하는 이미지 캡처 디바이스와;
상기 적어도 하나의 프로세서에 의해 동작가능하고 상기 얼굴 인식에 의하여 상기 제 1 이미지와 상기 제 2 이미지 중 적어도 하나에 매치를 허여하는 얼굴 인식 모듈과;
상기 적어도 하나의 프로세서에 의해 동작가능하고 상기 제 1 이미지에서의 적어도 하나의 얼굴 랜드마크와 상기 제 2 이미지에서의 적어도 하나의 대응하는 얼굴 랜드마크를 식별하는 랜드마크 검출 모듈과;
상기 적어도 하나의 프로세서에 의해 동작가능하고 상기 제 1 이미지로부터 제 1 서브 이미지를 추출 - 상기 제 1 서브 이미지는 제 1 이미지의 일부를 나타내고, 상기 제 1 서브 이미지는 적어도 하나의 얼굴 랜드마크의 표현을 포함하며 - 하고, 상기 제 2 이미지로부터 제 2 서브 이미지를 추출 - 상기 제 2 서브 이미지는 제 2 이미지의 일부를 나타내고 상기 제 2 서브 이미지는 적어도 하나의 대응하는 얼굴 랜드마크의 표현을 포함하며 - 하는 서브 이미지 추출 모듈과;
상기 적어도 하나의 프로세서에 의해 동작가능하고 상기 제 2 서브 이미지와 제 1 서브 이미지 사이에 얼굴 제스처를 나타낼 만큼 충분한 차이가 존재하는지 여부를 결정하는 것에 의해 얼굴 제스처를 검출하고, 상기 유저의 얼굴의 제 1 이미지와 상기 유저의 얼굴의 제 2 이미지 사이의 유사성을 결정하는 것에 적어도 부분적으로 기초하여 상기 유저의 얼굴의 제 1 이미지와 상기 유저의 얼굴의 제 2 이미지가 일관된 유저 신원과 관련되는지를 결정하고, 상기 얼굴 제스처를 검출하는 것과 그리고 상기 유저의 얼굴의 제 1 이미지와 상기 유저의 얼굴의 제 2 이미지가 상기 일관된 유저 신원과 관련되는지를 결정하는 것에 적어도 부분적으로 기초하여, 컴퓨팅 디바이스에 의해 제어되는 하나 이상의 기능에 액세스하는 것에 대하여 유저에 인증을 거부할지 여부를 결정하는 위조 방지 모듈을 포함하는 것을 특징으로 하는 컴퓨팅 디바이스.
명령들이 인코딩된 컴퓨터 판독가능한 저장 디바이스로서, 상기 명령은 실행될 때 컴퓨팅 디바이스의 하나 이상의 프로세서로 하여금,
컴퓨팅 디바이스에 연결된 이미지 캡처 디바이스로부터, 유저의 얼굴의 제 1 이미지와 유저의 얼굴의 제 2 이미지를 수신하는 동작과;
상기 제 1 이미지에서 적어도 하나의 얼굴 랜드마크와 그리고 상기 제 2 이미지에서 적어도 하나의 대응하는 얼굴 랜드마크를 식별하는 동작과;
상기 컴퓨팅 디바이스에 의하여, 제 1 이미지로부터 제 1 서브 이미지를 추출하는 동작과, 상기 제 1 서브 이미지는 제 1 이미지의 일부를 나타내고, 상기 제 1 서브 이미지는 적어도 하나의 얼굴 랜드마크의 표현을 포함하며;
상기 컴퓨팅 디바이스에 의하여, 상기 제 2 이미지로부터 제 2 서브 이미지를 추출하는 동작과, 상기 제 2 서브 이미지는 제 2 이미지의 일부를 나타내고 상기 제 2 서브 이미지는 적어도 하나의 대응하는 얼굴 랜드마크의 표현을 포함하며;
상기 컴퓨팅 디바이스에 의하여, 상기 제 2 서브 이미지와 제 1 서브 이미지 사이에 얼굴 제스처를 나타낼 만큼 충분한 차이가 존재하는지 여부를 결정하는 것에 의해 상기 얼굴 제스처를 검출하는 동작과;
상기 컴퓨팅 디바이스에 의하여, 상기 유저의 얼굴의 제 1 이미지와 상기 유저의 얼굴의 제 2 이미지 사이의 유사성을 결정하는 것에 적어도 부분적으로 기초하여 상기 유저의 얼굴의 제 1 이미지와 상기 유저의 얼굴의 제 2 이미지가 일관된 유저 신원(consistent user identity)과 관련되는지를 결정하는 동작과; 그리고
상기 얼굴 제스처를 검출하는 것과 그리고 상기 유저의 얼굴의 제 1 이미지와 상기 유저의 얼굴의 제 2 이미지가 상기 일관된 유저 신원과 관련되는지를 결정하는 것에 적어도 부분적으로 기초하여, 상기 컴퓨팅 디바이스에 의해 제어되는 하나 이상의 기능에 액세스하는 것에 대하여 유저에 인증을 거부할지 여부를 결정하는 동작을 포함하는 동작을 수행하도록 된 것을 특징으로 하는 컴퓨터 판독가능 저장 다바이스.
제 1 항에 있어서,
상기 유저의 얼굴의 제 1 이미지와 상기 유저의 얼굴의 제 2 이미지가 각각 공통 유저 신원(common user identity)과 관련되는지를 결정하는 것은, 적어도 부분적으로 상기 제 1 이미지의 하나 이상의 특징과 상기 제 2 이미지의 대응하는 하나 이상의 특징을 비교하는 것에 기초하여 결정하는 것을 포함하는 것을 특징으로 하는 라이브니스 검출 방법.
제 24 항에 있어서,
상기 제 1 이미지의 하나 이상의 특징과 상기 제 2 이미지의 대응하는 하나 이상의 특징을 비교하는 것은 홍채 컬러, 눈의 치수, 코의 치수, 입의 치수, 머리 카락 컬러, 머리 치수 중 하나 이상을 비교하는 것을 포함하는 것을 특징으로 하는 라이브니스 검출 방법.