KR102274370B1 - 안면인식장치 및 안면인식 방법 - Google Patents

Abstract

본 발명은, 안면 인식 기술에 있어서, 일반 카메라를 이용하는 경우 사진이나 영상 형태의 사용자 얼굴을 구별해내기 어려운 취약점 및 자의적인 안면 인식 시도가 아닌 상태의 사용자 얼굴을 구별해내기 어려운 취약점을 해결하기 위한 기술에 관한 것이다.

Description

안면인식장치 및 안면인식 방법{FACIAL RECOGNITION DEVICE AND FACIAL RECOGNITION CONTROL METHOD}

본 발명은, 안면 인식 기술과 관련된 것으로, 보다 구체적으로 안면 인식 기술이 갖는 취약점을 해결하기 위한 기술에 관한 것이다.

스마트폰 기술이 발전하고 스마트폰 사용이 일반화되면서, 현재는 한 명의 사용자 당 1개 이상의 스마트폰을 보유/소지하고 있는 시대라고 할 수 있다.

이처럼 스마트폰이 사용이 일상화 되면서, 금융 분야 등 개인 인증이 필수적인 서비스 분야에서는 보안 기술로서 공인인증서를 기반으로 사용자를 인증하는 방식에서 지문/홍채/안면(사용자 얼굴) 인식을 기반으로 사용자를 인증하는 방식을 채택하는 추세이다.

지문/홍채 인식 기반의 인증 방식의 경우, 지문/홍채 인식 기술에서 복사한 지문/홍채를 구별해내기 어려운 취약점이 있다.

한편, 안면 인식 기반의 인증 방식의 경우, 안면 인식 기술에서 사진이나 영상 형태의 가짜 사용자 얼굴을 구별해내기 어려운 취약점이 있다.

이에, 최근에는 안면 인식 기술이 갖는 취약점을 극복하기 위해, TOF(Time of Flight) 방식 3D 카메라 인식 기술이 등장하였다.

하지만, TOF 방식 3D 카메라 인식 기술은, TOF 센서와 TOF 센서의 센싱값을 입력/처리할 수 있는 고성능 카메라가 있어야 하기 때문에, 일반 카메라를 구비한 일반 스마트폰으로는 이용할 수 없다.

더 나아가, 안면 인식 기반의 인증 방식의 경우, 안면 인식 기술에서 정신을 잃거나 자고 있는 등 자의적으로 안면 인식을 시도하고자 하는 상태가 아닌 실제 사용자의 얼굴을 구별해내기 어려운 취약점도 있다.

이에, 본 발명에서는, 안면 인식 기술에 있어서, 일반 카메라를 이용하는 경우 사진이나 영상 형태의 사용자 얼굴을 구별해내기 어려운 취약점 및 자의적인 안면 인식 시도가 아닌 상태의 사용자 얼굴을 구별해내기 어려운 취약점을 해결할 수 있는 방안을 제안하고자 한다.

본 발명은 상기한 사정을 감안하여 창출된 것으로서, 본 발명에서 도달하고자 하는 목적은, 안면 인식 기술에 있어서, 일반 카메라를 이용하는 경우 사진이나 영상 형태의 사용자 얼굴을 구별해내기 어려운 취약점 및 자의적인 안면 인식 시도가 아닌 상태의 실제 사용자 얼굴을 구별해내기 어려운 취약점을 해결할 수 있는 방안을 실현하는데 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 안면인식 방법은, 카메라를 통해 촬영되는 촬영 화면에서 사용자 얼굴을 인식하는 인식단계; 사용자 얼굴이 인식되면, 사용자로 하여금 얼굴 움직임을 유도하는 가상 객체를 상기 촬영 화면 상에 표시하는 표시단계; 상기 가상 객체 표시 후, 상기 인식된 사용자 얼굴에서의 움직임을 식별하는 움직임식별단계; 및 상기 식별한 움직임 및 상기 표시한 가상 객체를 근거로, 상기 인식된 사용자 얼굴이 자의적으로 안면 인식을 시도하는 사용자의 얼굴인지 여부를 판별하는 판별단계를 포함한다.

구체적으로 상기 표시단계는, 상기 안면 인식을 통해 접근하고자 하는 접근 대상에 기 부여된 보안등급에 따라, 표시하는 가상 객체의 개수를 상이하게 할 수 있다.

구체적으로, 상기 표시단계는, 랜덤하게 선택되는 적어도 하나의 가상 객체를 순차적으로 표시하거나, 또는 사용자에 의해 기 선택된 적어도 하나의 가상 객체를 순차적으로 표시할 수 있다.

구체적으로, 상기 인식된 사용자 얼굴이 자의적으로 안면 인식을 시도하는 실제 사용자의 얼굴인 것으로 판별되면, 상기 인식된 사용자 얼굴 및 기 저장된 사용자의 얼굴 정보를 비교하여 정당한 사용자인지 여부를 인증하는 안면인식단계를 더 포함할 수 있다.

구체적으로, 상기 얼굴 정보는, 기 촬영한 상기 사용자의 얼굴 이미지로부터 추출 및 디지털 코드로 변환된 얼굴 특장점이 암호화된 후, 2 이상의 저장노드에 분산 저장되는 정보일 수 있다.

구체적으로, 상기 인식된 사용자 얼굴이 자의적으로 안면 인식을 시도하는 실제 사용자의 얼굴이 아닌 것으로 판별되면, 화면 캡쳐 후 기 지정된 신고처에 신고하는 신고단계를 더 포함할 수 있다.

구체적으로,상기 인식된 사용자 얼굴이 자의적으로 안면 인식을 시도하는 실제 사용자의 얼굴이 아닌 것으로 판별되면, 상기 인식된 사용자 얼굴이 이미지 형태의 가짜 얼굴인지 판별하는 추가 판별단계; 상기 추가 판별단계에서 상기 인식된 사용자 얼굴이 이미지 형태의 가짜 얼굴인 것으로 판별되면, 화면 캡쳐 후 기 지정된 신고처에 신고하는 신고단계를 더 포함할 수 있다.

구체적으로, 상기 추가 판별단계는, 사용자 얼굴이 인식되면 상기 카메라의 노출값을 조정하여, 상기 카메라의 노출값을 조정한 후 촬영되는 촬영 화면에서 사용자 얼굴을 인식한 인식 결과 및 상기 노출값 조정 이전에 사용자 얼굴을 인식한 인식 결과를 근거로, 상기 노출값 조정 이전에 인식된 사용자 얼굴이 이미지 형태의 가짜 얼굴인지 판별할 수 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 안면인식장치는, 카메라를 통해 촬영되는 촬영 화면에서 사용자 얼굴을 인식하는 인식부; 사용자 얼굴이 인식되면, 사용자로 하여금 얼굴 움직임을 유도하는 가상 객체를 상기 촬영 화면 상에 표시하는 가상객체표시부; 상기 가상 객체 표시 후, 상기 인식된 사용자 얼굴에서의 움직임을 식별하는 움직임식별부; 및 상기 식별한 움직임 및 상기 표시한 가상 객체를 근거로, 상기 인식된 사용자 얼굴이 자의적으로 안면 인식을 시도하는 사용자의 얼굴인지 여부를 판별하는 판별부를 포함한다.

구체적으로, 상기 가상객체표시부는, 상기 안면 인식을 통해 접근하고자 하는 접근 대상에 기 부여된 보안등급에 따라, 표시하는 가상 객체의 개수를 상이하게 할 수 있다.

구체적으로, 상기 가상객체표시부는, 랜덤하게 선택되는 적어도 하나의 가상 객체를 순차적으로 표시하거나, 또는 사용자에 의해 기 선택된 적어도 하나의 가상 객체를 순차적으로 표시할 수 있다.

구체적으로, 상기 인식된 사용자 얼굴이 자의적으로 안면 인식을 시도하는 실제 사용자의 얼굴인 것으로 판별되면, 상기 인식된 사용자 얼굴 및 기 저장된 사용자의 얼굴 정보를 비교하여 정당한 사용자인지 여부를 인증하는 안면인식부를 더 포함할 수 있다.

구체적으로, 상기 얼굴 정보는, 기 촬영한 상기 사용자의 얼굴 이미지로부터 추출 및 디지털 코드로 변환된 얼굴 특장점이 암호화된 후, 2 이상의 저장노드에 분산 저장되는 정보일 수 있다.

구체적으로, 상기 인식된 사용자 얼굴이 자의적으로 안면 인식을 시도하는 실제 사용자의 얼굴이 아닌 것으로 판별되면, 화면 캡쳐 후 기 지정된 신고처에 신고하는 신고부를 더 포함할 수 있다.

이에, 본 발명에 따른 안면인식장치 및 안면인식 방법에 의하면, 일반 카메라를 이용하는 경우에도 사진이나 영상 형태의 가짜 사용자 얼굴이 아닌 실제 사용자 얼굴, 그리고 자의적으로 안면 인식을 시도하는 실제 사용자 얼굴을 판별해낼 수 있기 때문에, 사용자 얼굴로 부당하게 인증 처리할 수 있는 안면 인식의 취약점을 해결하는 효과를 기대할 수 있다.

도 1은 본 발명의 일 실시예에 따른 안면인식 환경을 보여주는 예시도.
도 2는 본 발명의 일 실시예에 따른 안면인식장치의 구성을 보여주는 블록도.
도 3 내지 도 7은 본 발명의 일 실시예에 따른 안면인식 방법에서 사용자 얼굴을 판별해내는 과정을 설명하기 위한 예시도.
도 8은 본 발명의 일 실시예에 따른 안면인식 방법의 동작 흐름을 보여주는 동작 흐름도.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시예에 대하여 설명한다.

최근, 스마트폰이 사용이 일상화 되면서, 금융 분야 등 개인 인증이 필수적인 서비스 분야에서는 보안 기술로서 공인인증서를 기반으로 사용자를 인증하는 방식에서 지문/홍채/안면(사용자 얼굴) 인식을 기반으로 사용자를 인증하는 방식을 채택하는 추세이다.

지문/홍채 인식 기반의 인증 방식의 경우, 지문/홍채 인식 기술에서 복사한 지문/홍채를 구별해내기 어려운 취약점이 있다.

한편, 안면 인식 기반의 인증 방식의 경우, 안면 인식 기술에서 사진이나 영상 형태의 가짜 사용자 얼굴을 구별해내기 어려운 취약점이 있다.

이에, 최근에는 안면 인식 기술이 갖는 취약점을 극복하기 위해, TOF(Time of Flight) 방식 3D 카메라 인식 기술이 등장하였다.

하지만, TOF 방식 3D 카메라 인식 기술은, TOF 센서와 TOF 센서의 센싱값을 입력/처리할 수 있는 고성능 카메라가 있어야 하기 때문에, 일반 카메라를 구비한 일반 스마트폰으로는 이용할 수 없다.

특히, 안면 인식 기능의 인증 방식의 경우, 안면 인식 기술에서 정신을 잃거나 자고 있는 등 자의적으로 안면 인식을 시도하고자 하는 상태가 아닌 실제 사용자의 얼굴을 구별해내기 어려운 취약점도 있다.

이로 인해, 제3자가 악의적인 목적으로 자의적으로 안면 인식을 시도하고자 하는 상태가 아닌 실제 사용자의 얼굴을 허락 없이 도용하는 경우, 이러한 도용을 막을 수 없는 단점이 있다.

이에, 본 발명에서는, 안면 인식 기술에 있어서, 일반 카메라를 이용하는 경우 사진이나 영상 형태의 사용자 얼굴을 구별해내기 어려운 취약점 및 자의적인 안면 인식 시도가 아닌 상태의 사용자 얼굴을 구별해내기 어려운 취약점을 해결할 수 있는 방안을 실현하고자 한다.

보다 구체적으로, 본 발명에서는, 위 실현하고자 하는 방안을 구현해 내는 안면인식 방법 및 안면인식장치를 제안하고자 한다.

도 1은, 본 발명의 일 실시예에 따른 안면인식 환경을 보여주고 있다.

도 1에 도시된 바와 같이, 사용자(1)가 자신의 얼굴(사용자 얼굴)을 기반으로 안면 인식 기능을 통해 보안을 요구하는 접근(예: 은행 서비스, 출입 통제 서비스 등)을 시도하고자 하는 경우, 사용자(1)는 카메라(10)를 통해 자신의 얼굴(사용자 얼굴)이 촬영될 수 있도록 한다.

본 발명에서 제안하는 안면인식장치(100)는, 카메라(10)를 통해 촬영된 촬영 화면에서 사용자 얼굴을 인식한다.

이때, 카메라(10)는, TOF(Time of Flight) 센서를 구비하거나 TOF 센서의 센싱값을 입력/처리할 수 있는 고성능 카메라가 아닌, 일반적인 카메라를 의미한다.

그리고, 이러한 카메라(10)는, 기 등록된 디바이스(예: 스마트폰)에 탑재된 카메라일 수 있고 보안장치(예: 출입문 통제장치 등)와 유선 또는 무선 통신을 통해 연동하는 카메라일 수 있다.

즉, 본 발명에 따른 안면인식 장치(방법)은, 일반 카메라를 통해 촬영되는 촬영 화면에서 사용자 얼굴을 인식한다.

한편, 도 1에서는 본 발명의 안면인식장치(100)가 카메라(10)를 구비하는 디바이스(예: 스마트폰)에 구현되는 구조로 도시하고 있으나 이는 일 실시예일 뿐이며, 안면인식장치(100)가 카메라(10)와 유선 또는 무선 통신을 통해 연동하는 보안장치(예: 출입문 통제장치 등)에 구현되는 구조일 수도 있다.

본 발명에서 제안하는 안면인식장치(100)는, 카메라(10)를 통해 촬영된 촬영 화면에서 사용자 얼굴이 인식되면, 사용자로 하여금 얼굴 움직임을 유도하는 가상 객체를 상기 촬영 화면 상에 표시하는 표시하고, 가상 객체 표시 후 인식된 사용자 얼굴에서의 움직임을 식별한다.

이에, 본 발명에서 제안하는 안면인식장치(100)는, 식별한 움직임 및 표시한 가상 객체를 근거로, 앞서 인식된 사용자 얼굴이 자의적으로 안면 인식을 시도하는 사용자의 얼굴인지 여부를 판별한다.

이하에서는, 도 2를 참조하여 본 발명의 실시예에 따른 안면인식장치(100)의 각 기능부를 구체적으로 설명하겠다.

도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 안면인식장치(100)는, 인식부(30), 가상객체표시부(40),움직임식별부(50), 판별부(60)를 포함한다.

도 2는, 안면인식장치(100)가 카메라(10)를 구비하는 디바이스(예: 스마트폰)에 구현되는 경우를 실시예로서 도시하고 있으며, 이러한 실시예에 따라 안면인식장치(100)는, 카메라(10)를 포함할 수 있다.

더 나아가 본 발명의 실시예에 따른 안면인식장치(100)는, 안면인식부(70), 신고부(80)를 더 포함할 수 있다.

이러한 안면인식장치(100)의 구성 전체 내지는 적어도 일부는 하드웨어 모듈 형태 또는 소프트웨어 모듈 형태로 구현되거나, 하드웨어 모듈과 소프트웨어 모듈이 조합된 형태로도 구현될 수 있다.

여기서, 소프트웨어 모듈이란, 예컨대, 안면인식장치(100) 내에서 연산을 제어하는 프로세서에 의해 실행되는 명령어로 이해될 수 있으며, 이러한 명령어는 안면인식장치(100) 내 메모리에 탑재된 형태를 가질 수 있을 것이다.

결국, 본 발명의 일 실시예에 따른 안면인식장치(100)는 전술한 구성을 통해, 본 발명에서 제안하는 방안 즉 일반 카메라를 이용하는 경우 발생할 수 있는 취약점(실제 사용자의 얼굴을 구별해내기 어려운 취약점)을 해결할 수 있는 방안을 실현하며, 이하에서는 이를 실현하기 위한 안면인식장치(100) 내 각 구성에 대해 보다 구체적으로 설명하기로 한다.

인식부(30)는, 카메라를 통해 촬영되는 촬영 화면에서 사용자 얼굴을 인식하는 기능을 담당한다.

예를 들면, 인식부(30)는, 안면 인식 기능을 통해 보안 접근(예: 은행 서비스, 출입 통제 서비스 등)을 시도하는 이벤트가 인지되는 경우, 카메라(10)를 통해 촬영되는 촬영 화면에서 사용자 얼굴을 인식할 수 있다.

이때, 촬영 화면에서 사용자 얼굴을 인식해내는 기술은, 기존의 인식 기술을 채택할 수 있다.

일 예를 들면, 인식부(30)는, 카메라(10)를 통해 촬영되는 촬영 화면에서, 눈 또는 피부색 등을 검출하는 검출 과정을 거쳐 얼굴영역을 구분하고, 구분한 얼굴영역의 이미지를 사용자 얼굴로 인식할 수 있다.

가상객체표시부(40)는, 사용자 얼굴이 인식되면, 사용자로 하여금 얼굴 움직임을 유도하는 가상 객체를 촬영 화면 상에 표시하는 기능을 담당한다.

즉, 가상객체표시부(40)는, 인식부(30)에서 사용자 얼굴이 인식되면, 사용자의 얼굴 움직임을 유도하는 가상 객체를 사용자가 인지할 수 있도록 가시화시켜 촬영 화면 상에 표시하는 것이다.

예를 들면, 본 발명에서 가상객체표시부(40)는, AR(Augmented Reality) 증강현실 기술을 기반으로, 전술의 가상 객체(이하, 오브젝트)를 촬영 화면 상에 표시할 수 있다.

더 나아가 본 발명에서는, 전술의 가상 객체 즉 오브젝트를 표시하는 개수에 따라, 보안등급을 구분하는 방식을 적용할 수 있다.

일 예에 따르면, 가상객체표시부(40)는, 금번 안면 인식을 통해 접근하고자 하는 접근 대상에 기 부여된 보안등급에 따라, 표시하는 가상 객체 즉 오브젝트의 개수를 상이하게 할 수 있다.

구체적으로는, 가상객체표시부(40)는, 접근 대상에 기 부여된 보안등급이 높을수록 표시하는 오브젝트의 개수를 많게 하고, 보안등급이 낮을수록 표시하는 오브젝트의 개수를 적게 할 수 있다.

예를 들어, 은행 서비스에 로그인하는 보안 접근 시도인 경우라면 금번 안면 인식을 통해 접근하고자 하는 접근 대상은 은행서버(미도시)이며, 이 경우 접근 대상의 보안등급은 높을 수 있다.

또 다른 예를 들어, 출입 통제 서비스에 승인을 요청하는 보안 접근 시도인 경우라면 금번 안면 인식을 통해 접근하고자 하는 접근 대상은 통제서버(미도시)이며, 이 경우 접근 대상의 보안등급은 은행서버 보다는 낮을 수 있다.

물론, 본 발명에서는, 접근 대상 별로 운용자 또는 사용자에 의해 보안등급이 설정되는 것도 가능할 것이다.

가상객체표시부(40)는, 인식부(30)에서 사용자 얼굴이 인식되면, 금번 안면 인식을 통해 접근하고자 하는 접근 대상에 기 부여된 보안등급에 따른 상이한 개수의 가상 객체 즉 오브젝트를 촬영 화면 상에 표시할 수 있다.

가상 객체 즉 오브젝트를 표시하는 일 실시예를 설명하면 다음과 같다.

먼저, 가상객체표시부(40)는, 랜덤하게 선택되는 적어도 하나의 가상 객체를 순차적으로 표시할 수 있다.

즉, 접근 대상에 기 부여된 보안등급에 따라 5개의 가상 객체 즉 오브젝트를 표시하는 경우로 가정하여 설명하면, 가상객체표시부(40)는, 표시 가능한 전체 오브젝트 중 금번 접근 대상에 대해 선택 가능한 후보군에서 랜덤하게 5개의 오브젝트를 선택한 후, 선택한 5개의 오브젝트를 순차적으로 표시할 수 있다.

또는 가상객체표시부(40)는, 사용자에 의해 기 선택된 적어도 하나의 가상 객체를 순차적으로 표시할 수 있다.

즉, 접근 대상에 기 부여된 보안등급에 따라 5개의 가상 객체 즉 오브젝트를 표시하는 경우로 가정하여 설명하면, 가상객체표시부(40)는, 표시 가능한 전체 오브젝트 중 금번 접근 대상에 대해 사용자에 의해 기 선택된 5개의 오브젝트를 순차적으로 표시할 수 있다.

움직임식별부(50)는, 가상객체표시부(40)에서 가상 객체 즉 오브젝트 표시 후, 인식부(30)에서 인식된 사용자 얼굴에서의 움직임을 식별하는 기능을 담당한다.

이때, 사용자 얼굴의 움직임을 식별해내는 기술은, 기존의 식별 기술을 채택할 수 있다.

일 예를 들면, 움직임식별부(50)는, 카메라(10)를 통해 촬영되는 촬영 화면에서, 눈 또는 피부색 등을 검출하는 검출 과정을 거쳐 얼굴영역을 구분하고, 구분한 얼굴영역의 이미지를 기 정의된 프레임 단위 비교하여 사용자 얼굴의 움직임을 식별할 수 있다.

판별부(50)는 움직임식별부(50)에서 식별한 움직임 및 가상객체표시부(40)에서 표시한 가상 객체를 근거로, 인식된 사용자 얼굴이 자의적으로 안면 인식을 시도하는 사용자의 얼굴인지 여부를 판별하는 기능을 담당한다.

즉, 판별부(50)는, 움직임식별부(50)에서 식별한 사용자 얼굴에서의 움직임 및 가상객체표시부(40)에서 촬영 화면 상에 표시한 가상 객체 즉 오브젝트를 근거로, 사진이나 영상 형태의 가짜 사용자 얼굴이 아니면서 자의적으로 안면 인식을 시도하는 실제 사용자 얼굴 만을 판별해내는 것이다.

도 3은, 안면인식을 통해 로그인할 수 있는 시작화면을 보여주고 있다.

예를 들면, 사용자는 등록된 디바이스(예: 스마트폰)에서 은행 서비스에 접속하기 위한 앱 또는 프로그램을 실행할 수 있고, 이에 디바이스(예: 스마트폰) 화면에는 앱 또는 프로그램(이하, 은행 앱)의 시작화면이 표시될 수 있다.

도 4는, 도 2에 도시된 은행 앱의 시작화면에서 로그인을 선택한 후, 카메라를 통해 촬영되는 촬영 화면에서 사용자 얼굴이 인식되는 일 실시예를 보여주고 있다.

예를 들면, 사용자는 자신의 스마트폰에서 셀프 카메라 모드로 전환한 후, 사용자 자신의 얼굴을 스마트폰 카메라로 촬영할 수 있다.

이에, 본 발명에 따른 안면인식장치(100, 인식부(30))는, 도 4에 도시된 바와 같이 촬영 화면에서 사용자 얼굴(1)을 인식할 수 있다.

그리고, 본 발명에 따른 안면인식장치(100, 가상객체표시부(40))는, 사용자 얼굴이 인식되면, 사용자로 하여금 얼굴 움직임을 유도하는 가상 객체 예컨대 AR 기반의 오브젝트를 촬영 화면 상에 표시한다.

그리고, 본 발명에 따른 안면인식장치(100, 움직임식별부(50))는, 가상 객체 즉 오브젝트 표시 후, 사용자 얼굴(1)에서의 움직임을 식별한다.

그리고, 본 발명에 따른 안면인식장치(100, 판별부(60))는, 식별한 사용자 얼굴(1)에서의 움직임 및 촬영 화면 상에 표시한 오브젝트를 근거로, 인식된 사용자 얼굴(1)이 자의적으로 안면 인식을 시도하는 사용자의 얼굴인지 여부를 판별한다.

이로써, 본 발명에 따른 안면인식장치(100)은, 식별한 사용자 얼굴(1)에서의 움직임 및 촬영 화면 상에 표시한 오브젝트를 근거로, 사진이나 영상 형태의 가짜 사용자 얼굴이 아니면서 자의적으로 안면 인식을 시도하는 실제 사용자 얼굴 만을 판별해낼 수 있다.

도 5는 본 발명에서 자의적으로 안면 인식을 시도하는 실제 사용자 얼굴을 판별해내는 과정을 설명하기 위한 일 예를 도시하고 있다.

구체적으로 설명하면, 본 발명에서는, 촬영 화면에서 사용자 얼굴(1)을 인식하면, 인식한 시점에 AR 증강현실 기술 기반의 오브젝트를 화면 내 사용자의 얼굴에 표시함으로써, 상호작용을 지시할 수 있다.

자의적으로 안면 인식을 시도하는 사용자라면, 사용자는 화면에 표시되는 오브젝트의 지시에 따라 얼굴을 움직임으로써 상호작용할 수 있다.

이때, 오브젝트는, 게임 형태로 상호작용을 지시하기 위한 오브젝트일 수 있다.

그리고, 본 발명에서는, 게임 내 오브젝트들을 이용해 사용자 얼굴 판별을 위한 게임(오브젝트 표시)을 진행할 때마다, 랜덤으로 지시하는 항목을 다르게 할 수 있다.

예를 들면, 본 발명에서는, 사용자가 보는 화면에 상하좌우 4방향 또는 8방향을 지시하는 화살표 오브젝트를 한번씩 출현시켜, 화살표 오브젝트를 쳐다보도록 지시할 수 있다.

자의적으로 안면 인식을 시도하는 사용자라면, 사용자는 화면에 표시되는 지시에 따라 출현되는 화살표 오브젝트를 한번씩 쳐다볼 것이다.

이에, 본 발명에 따른 안면인식 방법은, 화살표 오브젝트 표시 후, 사용자 얼굴(1)에서의 움직임 즉 출현되는 화살표 오브젝트를 한번씩 쳐다보는 움직임을 식별할 수 있다.

한편, 도 5에서는, 사과를 먹는 방식으로 사용자 얼굴을 판별하는 게임을 예로서 도시하고 있다.

도 5 (A)와 같이, 본 발명에서는, 사용자가 보는 화면에 얼굴 하단에 사과 오브젝트(2)를 표시하여 사과 오브젝트를 베어먹도록 지시할 수 있다.

도 5 (B)와 같이, 자의적으로 안면 인식을 시도하는 사용자라면, 사용자는 화면에 표시되는 지시에 따라 입을 움직여 사과 오브젝트(2)를 베어 먹는 움직임을 취할 것이다.

이에, 본 발명에 따르면, 사과 오브젝트(2) 표시 후, 사용자 얼굴(1)에서의 움직임 즉 사과 오브젝트(2)를 입으로 베어 먹는 움직임을 식별할 수 있다.

이때, 게임을 진행하면서 표시(출현)하는 오브젝트의 개수에 따라, 보안등급을 구분하는 방식을 적용할 수 있으며, 오브젝트 개수가 많을수록 보안등급은 높을 수 있다.

만약, 사용자 얼굴(1)이 사진이나 영상 형태의 가짜 사용자 얼굴이라면, 오브젝트의 지시에 따라 얼굴을 움직이는 상호작용이 불가능할 것이며, 사용자 얼굴 판별을 위한 게임을 통과하여 다음 단계(예: 안면 인식)로 진입할 수 있는 확률은 극도로 낮을 것이다.

시간은 걸리지만, 게임의 단계(게임을 진행하면서 표시(출현)하는 오브젝트의 개수)가 많아질수록, 가짜 사용자 얼굴이 다음 단계(예: 안면 인식)로 진입할 수 있는 확률은 0에 가깝게 된다.

또한, 정신을 잃거나 자고 있는 등 자의적으로 안면 인식을 시도하고자 하는 상태가 아닌 사용자라면, 화면에 표시되는 지시에 따라 얼굴을 움직이지 않을 것이며, 사용자 얼굴 판별을 위한 게임을 통과하여 다음 단계(예: 안면 인식)로 진입할 수 있는 확률은 극도로 낮을 것이다.

이에, 본 발명에 따른 안면인식장치(100)는, 오브젝트(예: 화살표, 사과 등) 표시 후 식별한 사용자 얼굴(1)에서의 움직임 및 촬영 화면 상에 표시한 오브젝트(예: 화살표, 사과 등)를 근거로, 해당 오브젝트에 따른 지시와 매칭되는 움직임인 경우 앞서 인식한 사용자 얼굴(1)이 자의적으로 안면 인식을 시도하는 실제 사용자의 얼굴인 것으로 판별할 수 있다.

이에, 본 발명에 따른 안면인식장치(100)는, 사용자 얼굴(1)이 자의적으로 안면 인식을 시도하는 실제 사용자의 얼굴인 것으로 판별하면, 인식된 사용자 얼굴(1)을 안면 인식 기능(프로세스)에 사용할 수 있다.

예를 들면, 본 발명에 따른 안면인식장치(100)는, 촬영하여 인식한 사용자 얼굴과 기 저장된 사용자의 얼굴 정보를 비교하여 정당한 사용자인지 여부를 인증하는 방식의 안면 인식 프로세스(기술)에서, 금번 판별한 사용자 얼굴(1)을 사용하도록 제공할 수 있다.

안면인식부(70)는, 전술의 안면 인식 기능(프로세스)을 실현하는 기능부일 수 있다.

즉, 안면인식부(70)는, 인식된 사용자 얼굴(1)이 자의적으로 안면 인식을 시도하는 실제 사용자의 얼굴인 것으로 판별되면, 인식된 사용자 얼굴(1) 및 기 저장된 사용자(1)의 얼굴 정보를 비교하여 정당한 사용자인지 여부를 인증하는 방식으로, 안면 인식 기능을 수행할 수 있다.

전술과 같이, 안면인식장치(100)가 카메라(10)를 구비하는 디바이스(예: 스마트폰)에 구현되는 경우를 가정하면, 안면인식부(70)는, 디바이스(예: 스마트폰)의 기기식별자를 기준으로 외부 저장노드에서 기 저장된 사용자(1)의 얼굴 정보를 검색 및 확인할 수 있다.

여기서, 기 저장(등록)된 사용자의 얼굴 정보는, 기 촬영한 사용자(1)의 얼굴 이미지로부터 추출 및 디지털 코드로 변환된 얼굴 특장점이 암호화된 후, 2 이상의 저장노드에 분산 저장되는 정보일 수 있다.

즉, 본 발명에서는, 사용자(1)의 얼굴을 촬영하여 획득되는 얼굴 이미지로부터 얼굴 특장점을 추출하여 디지털 코드로 변환한 후 암호화하고, 이처럼 암호화한 얼굴 특장점을 2 이상의 저장노드에 분산 저장하는 방식으로, 사용자의 얼굴 정보를 저장/관리할 수 있다.

이렇게 되면, 본 발명에서는, 사용자의 얼굴 이미지 자체를 저장하지 않고, 얼굴 특장점을 2 이상의 저장노드에 분산 저장하므로, 안면 인식 기술에 있어서 악의적 해킹을 방지하는 효과까지 도출할 수 있다.

이에, 도 6에 도시된 바와 같이, 안면인식부(70, 안면 인식 프로세스)에서 금번 사용자 얼굴(1)이 정당한 사용자로 인증되면, 은행 앱에서 성공적으로 로그인이 수행되어 은행 서비스를 이용할 수 있게 된다.

한편, 도 7은 본 발명에서 자의적으로 안면 인식을 시도하는 실제 사용자 얼굴을 판별해내는 과정을 설명하기 위한 일 예를 도시하고 있다.

도 7 (A)와 같이, 본 발명에서는, 사용자가 보는 화면에 "XX은행을 읽어주세요"와 같은 텍스트 오브젝트(3)을 표시하여 오브젝트에 따른 동작을 지시할 수 있다.

이외에도, "눈을 깜빡이세요", "오른쪽 눈을 윙크하세요", "입을 벌리세요" 등 다양한 동작을 지시하는 텍스트 오브젝트를 랜덤하게 표시할 수 있다.

도 7 (A)의 경우, 자의적으로 안면 인식을 시도하는 사용자라면, 사용자는 화면에 표시되는 지시에 따라 텍스트 오브젝트(3)에서 "XX 은행"을 읽는 움직임을 취할 것이다.

만약, 정신을 잃거나 자고 있는 등 자의적으로 안면 인식을 시도하고자 하는 상태가 아닌 사용자라면, 화면에 표시되는 지시에 따라 얼굴을 움직이지 않을 것이다.

도 7 (B)에서는, 사용자가 화면에 표시되는 지시에 따라 얼굴을 움직이지 않는 지시 불이행 상황을 도시하고 있다.

이 경우, 본 발명에 따른 안면인식장치(100, 움직임식별부(50))는, 텍스트 오브젝트 표시 후, 사용자 얼굴(1)에서의 움직임을 식별하지 못하거나 어떠한 움직임을 식별할 수도 있다.

이후, 본 발명에 따른 안면인식장치(100, 판별부(60))는, 오브젝트(예: 텍스트 등) 표시 후 식별한 사용자 얼굴(1)에서의 움직임 및 촬영 화면 상에 표시한 오브젝트(예: 텍스트 등)를 근거로, 해당 오브젝트에 따른 지시와 매칭되는 움직임인 경우 앞서 인식한 사용자 얼굴(1)이 자의적으로 안면 인식을 시도하는 실제 사용자의 얼굴인 것으로 판별할 수 있다.

하지만 도 7 (B)에 도시된 바와 같이 사용자가 화면에 표시되는 지시에 따라 얼굴을 움직이지 않는 지시 불이행 상황이라면, 본 발명에 따른 안면인식장치(100, 판별부(60))는, 오브젝트(예: 텍스트 등) 표시 후 식별한 사용자 얼굴(1)에서의 움직임 및 촬영 화면 상에 표시한 오브젝트(예: 텍스트 등)를 근거로, 해당 오브젝트에 따른 지시와 매칭되는 움직임이 아니라고 판단할 것이며, 앞서 인식한 사용자 얼굴(1)이 자의적으로 안면 인식을 시도하는 실제 사용자의 얼굴이 아니라고 판별할 수 있다.

이에, 본 발명에 따른 안면인식장치(100)는, 전술과 같이 앞서 인식한 사용자 얼굴(1)이 자의적으로 안면 인식을 시도하는 실제 사용자의 얼굴이 아니라고 판별하면, 인식된 사용자 얼굴(1)을 안면 인식 기능(프로세스)에 사용하지 않을 것이다.

신고부(80)는, 인식된 사용자 얼굴이 자의적으로 안면 인식을 시도하는 실제 사용자의 얼굴이 아닌 것으로 판별되면, 화면 캡쳐 후 기 지정된 신고처에 신고하는 기능을 담당한다.

즉, 신고부(80)는, 전술과 같이 앞서 인식한 사용자 얼굴(1)이 자의적으로 안면 인식을 시도하는 실제 사용자의 얼굴이 아니라고 판별하면, 인식한 사용자 얼굴(1)은 사진이나 영상 형태의 가짜 사용자 얼굴이거나 제3자가 악의적으로 도용한 실제 사용자의 얼굴일 가능성이 있으므로, 화면 캡쳐(예: 스크린 샷) 후 기 지정된 신고처(예: 경찰서 등)으로 신고할 수 있다.

헌데, 인식한 사용자 얼굴(1)이 자의적으로 안면 인식을 시도하는 실제 사용자의 얼굴이 맞지만, 사용자가 촬영 화면 상에 표시된 오브젝트(예: 텍스트 등)에 따른 지시를 잘못 이해하거나 동작을 잘못 취하는 경우, 앞서 인식한 사용자 얼굴(1)이 자의적으로 안면 인식을 시도하는 실제 사용자의 얼굴이 아니라고 판별되는 오판 상황이 발생할 수도 있다.

본 발명에서는, 전술의 오판 상황을 회피하기 위해, 다음과 같은 추가적인 실시예를 제시할 수 있다.

판별부(60)는, 전술과 같이 오브젝트(예: 텍스트 등) 표시 후 식별한 사용자 얼굴(1)에서의 움직임 및 촬영 화면 상에 표시한 오브젝트(예: 텍스트 등)를 근거로 판별한 결과, 인식된 사용자 얼굴(1)이 자의적으로 안면 인식을 시도하는 실제 사용자의 얼굴이 아닌 것으로 판별한 경우, 금번 인식된 사용자 얼굴(1)이 이미지 형태의 가짜 얼굴인지를 추가적으로 판별한다.

이때, 사용자 얼굴(1)이 이미지 형태의 가짜 얼굴인지를 추가적으로 판별하는 방식은, 인식부(30)에 의해 사용자 얼굴(1)이 인식되면 카메라(10)의 노출값을 조정하여, 카메라(10)의 노출값을 조정한 후 촬영되는 촬영 화면에서 사용자 얼굴을 인식한 인식 결과 및 노출값 조정 이전에 사용자 얼굴(1)을 인식한 인식 결과를 근거로, 노출값 조정 이전에 인식된 사용자 얼굴(1)이 이미지 형태의 가짜 얼굴인지 판별하는 방식이다.

카메라 노출값을 높여 카메라로 받아들여지는 빛의 양을 많아지도록 하면, 촬영 화면에 포함된 실제 사용자 얼굴은 굴곡이 있기 때문에 인식될 수 있으나, 기기 화면, 사진 등 평면상태로 표시된 이미지 형태의 가짜 사용자 얼굴은 기기의 화면 밝기로 인해 인식되지 못할 것이다.

반대로, 카메라 노출값을 낮춰 카메라로 받아들여지는 빛의 양을 적어지도록 하면, 촬영 화면에 포함된 실제 사용자 얼굴은 인식되지 못하나, 기기 화면에 표시된 이미지 형태의 가짜 사용자 얼굴은 기기의 화면 밝기로 인해 인식될 것이다.

이에 구체적인 실시예에 따르면, 판별부(60)는, 카메라 노출값 조정 이전에 인식된 초기 인식 결과 즉 사용자 얼굴(1)이 카메라 노출값을 낮춘(제1노출값) 후 인식한 제1인식 결과에서는 인식되고 카메라 노출값을 높인(제2노출값) 후 인식한 제2인식 결과에서는 인식되지 않는다면, 사용자 얼굴(1)을 이미지 형태의 가짜 얼굴로 판별할 수 있다.

반면, 판별부(60)는, 카메라 노출값 조정 이전에 인식된 초기 인식 결과 즉 사용자 얼굴(1)이 카메라 노출값을 낮춘(제1노출값) 후 인식한 제1인식 결과에서는 인식되지 않고 카메라 노출값을 높인(제2노출값) 후 인식한 제2인식 결과에서는 인식된다면, 사용자 얼굴(1)을 실제 사용자 얼굴로 판별할 수 있다.

신고부(80)는, 전술한 판별부(60)의 추가 판별을 거쳐 사용자 얼굴(1)이 이미지 형태의 가짜 얼굴인 것으로 판별되면, 전술의 사용자 얼굴(1)에서의 움직임 및 촬영 화면 상에 표시한 오브젝트(예: 텍스트 등)를 근거로 판별한 결과는 오판이 아닌 것이므로, 화면 캡쳐(예: 스크린 샷) 후 기 지정된 신고처(예: 경찰서 등)으로 신고한다.

반면, 신고부(80)는, 전술한 판별부(60)의 추가 판별을 거쳐 사용자 얼굴(1)이 실제 사용자 얼굴인 것으로 판별되면, 전술의 사용자 얼굴(1)에서의 움직임 및 촬영 화면 상에 표시한 오브젝트(예: 텍스트 등)를 근거로 판별한 결과는 실제 사용자가 오브젝트(예: 텍스트 등)에 따른 지시를 잘못 이해하거나 동작을 잘못 취하는 경우일 것이므로, 신고는 하지 않을 수 있다.

물론, 신고부(80)는, 전술한 판별부(60)의 추가 판별을 거쳐 사용자 얼굴(1)이 실제 사용자 얼굴인 것으로 판별되더라도 그 횟수가 일정 횟수를 넘게 되면, 화면 캡쳐(예: 스크린 샷) 후 기 지정된 신고처(예: 경찰서 등)으로 신고할 수도 있다.

이상 설명한 바와 같이, 본 발명에 따른 안면인식장치(100)에 의하면, 고성능/고가의 TOF 방식 3D 카메라 인식 기술을 사용하지 않고 일반 카메라를 이용하는 경우에도, 사진이나 영상 형태의 가짜 사용자 얼굴이 아닌 실제 사용자 얼굴, 그리고 자의적으로 안면 인식을 시도하는 실제 사용자 얼굴을 판별해낼 수 있기 때문에, 사용자 얼굴로 부당하게 인증 처리할 수 있는 안면 인식의 취약점을 해결하는 효과를 기대할 수 있다.

이하에서는, 도 8을 참조하여 본 발명의 일 실시예에 따른 안면인식 방법의 동작 흐름을 설명하겠다.

설명의 편의를 위해, 본 발명의 안면인식 방법을 수행하는 디바이스로서 안면인식장치(100)을 언급하여 설명하도록 한다.

본 발명의 안면인식 방법에 따르면 안면인식장치(100)는, 안면 인식 기능을 통해 보안 접근(예: 은행 서비스, 출입 통제 서비스 등)을 시도하는 이벤트가 인지되는 경우, 카메라(10)를 통해 촬영되는 촬영 화면에서 사용자 얼굴을 인식할 수 있다(S10).

본 발명의 안면인식 방법에 따르면 안면인식장치(100)는, S10단계에서 사용자 얼굴이 인식되면, 사용자로 하여금 얼굴 움직임을 유도하는 가상 객체 예컨대 AR 기반의 오브젝트를 촬영 화면 상에 표시할 수 있다(S20).

구체적으로 설명하면, 안면인식장치(100)는, 가상 객체 즉 오브젝트를 표시하는 개수에 따라, 보안등급을 구분하는 방식을 적용할 수 있다.

일 예에 따르면, 안면인식장치(100)는, 금번 안면 인식을 통해 접근하고자 하는 접근 대상에 기 부여된 보안등급에 따라, 표시하는 가상 객체 즉 오브젝트의 개수를 상이하게 할 수 있다.

이에, 안면인식장치(100)는, 접근 대상에 기 부여된 보안등급이 높을수록 표시하는 오브젝트의 개수를 많게 하고, 보안등급이 낮을수록 표시하는 오브젝트의 개수를 적게 할 수 있다.

예를 들어, 은행 서비스에 로그인하는 보안 접근 시도인 경우라면 금번 안면 인식을 통해 접근하고자 하는 접근 대상은 은행서버(미도시)이며, 이 경우 접근 대상의 보안등급은 높을 수 있다.

또 다른 예를 들어, 출입 통제 서비스에 승인을 요청하는 보안 접근 시도인 경우라면 금번 안면 인식을 통해 접근하고자 하는 접근 대상은 통제서버(미도시)이며, 이 경우 접근 대상의 보안등급은 은행서버 보다는 낮을 수 있다.

물론, 본 발명에서는, 접근 대상 별로 운용자 또는 사용자에 의해 보안등급이 설정되는 것도 가능할 것이다.

이에 안면인식장치(100)는, S10단계에서 사용자 얼굴이 인식되면, 금번 안면 인식을 통해 접근하고자 하는 접근 대상에 기 부여된 보안등급에 따른 상이한 개수의 가상 객체 즉 오브젝트를 촬영 화면 상에 표시할 수 있다(S20).

더 나아가 가상 객체 즉 오브젝트를 표시하는 일 실시예를 설명하면 다음과 같다.

먼저, 안면인식장치(100)는, S20단계에서 랜덤하게 선택되는 적어도 하나의 가상 객체를 순차적으로 표시할 수 있다.

즉, 접근 대상에 기 부여된 보안등급에 따라 5개의 가상 객체 즉 오브젝트를 표시하는 경우로 가정하여 설명하면, 안면인식장치(100)는, 표시 가능한 전체 오브젝트 중 금번 접근 대상에 대해 선택 가능한 후보군에서 랜덤하게 5개의 오브젝트를 선택한 후, 선택한 5개의 오브젝트를 순차적으로 표시할 수 있다.

또는 안면인식장치(100)는, S20단계에서 사용자에 의해 기 선택된 적어도 하나의 가상 객체를 순차적으로 표시할 수 있다.

즉, 접근 대상에 기 부여된 보안등급에 따라 5개의 가상 객체 즉 오브젝트를 표시하는 경우로 가정하여 설명하면, 안면인식장치(100)는, 표시 가능한 전체 오브젝트 중 금번 접근 대상에 대해 사용자에 의해 기 선택된 5개의 오브젝트를 순차적으로 표시할 수 있다.

이에, 본 발명에서는, 이상 설명한 방식으로 가상 객체 즉 오브젝트를 표시하는 과정을, 사용자 얼굴이 바라보는 방향을 인식 후 그 방향에 오브젝트들을 순차 표시하여 오브젝트에 따른 지시를 따르도록 하는 AR 게임 형태로 서비스할 수 있고, 오브젝트에 따른 지시를 수행하는 입 모양을 이용한 페이스 모션 형태로 서비스할 수도 있고, 더 나아가 핸드 모션을 이용하여 오브젝트에 따른 지시를 수행하는 핸드 제스쳐를 인식하는 핸드 제스쳐 형태로 서비스할 수도 있다.

본 발명의 안면인식 방법에 따르면 안면인식장치(100)는, S20단계에서 가상 객체 즉 오브젝트 표시 후, S10단계에서 인식된 사용자 얼굴에서의 움직임을 식별한다(S30).

본 발명의 안면인식 방법에 따르면 안면인식장치(100)는, S30단계에서 식별한 사용자 얼굴에서의 움직임 및 S20단계에서 촬영 화면 상에 표시한 가상 객체 즉 오브젝트를 근거로, 사진이나 영상 형태의 가짜 사용자 얼굴이 아니면서 자의적으로 안면 인식을 시도하는 실제 사용자 얼굴을 판별할 수 있다(S40).

도 5를 참조하여 설명하면, 안면인식장치(100)는, 오브젝트(예: 화살표, 사과 등) 표시 후 식별한 사용자 얼굴(1)에서의 움직임 및 촬영 화면 상에 표시한 오브젝트(예: 화살표, 사과 등)를 근거로, 해당 오브젝트에 따른 지시와 매칭되는 움직임인 경우 앞서 인식한 사용자 얼굴(1)이 자의적으로 안면 인식을 시도하는 실제 사용자의 얼굴인 것으로 판별할 수 있다(S40 Yes).

본 발명의 안면인식 방법에 따르면 안면인식장치(100)는, 사용자 얼굴(1)이 자의적으로 안면 인식을 시도하는 실제 사용자의 얼굴인 것으로 판별하면(S40 Yes), 인식된 사용자 얼굴(1) 및 기 저장된 사용자(1)의 얼굴 정보를 비교하여 정당한 사용자인지 여부를 인증하는 방식으로, 안면 인식 기능을 수행할 수 있다(S50).

이에, 본 발명의 안면인식 방법에 따르면 안면인식장치(100)는, 안면 인식 기능을 수행한 결과 금번 사용자 얼굴(1)이 정당한 사용자로 인증되면(S60 Yes), 금번 안면 인식을 통해 접근하고자 하는 접근 대상에 접근이 허용되며, 예컨대 도 6에 도시된 바와 같이 은행 앱에서 성공적으로 로그인이 수행되고 은행 서비스를 이용할 수 있게 된다(S70).

그리고, 본 발명의 안면인식 방법에 따르면 안면인식장치(100)는, 전술과 같이 앞서 인식한 사용자 얼굴(1)이 자의적으로 안면 인식을 시도하는 실제 사용자의 얼굴이 아니라고 판별하면(S40 No), 인식한 사용자 얼굴(1)은 사진이나 영상 형태의 가짜 사용자 얼굴이거나 제3자가 악의적으로 도용한 실제 사용자의 얼굴일 가능성이 있으므로, 화면 캡쳐(예: 스크린 샷) 후 기 지정된 신고처(예: 경찰서 등)으로 신고할 수 있다(S47).

한편, 인식한 사용자 얼굴(1)이 자의적으로 안면 인식을 시도하는 실제 사용자의 얼굴이 맞지만, 사용자가 촬영 화면 상에 표시된 오브젝트(예: 텍스트 등)에 따른 지시를 잘못 이해하거나 동작을 잘못 취하는 경우, 앞서 인식한 사용자 얼굴(1)이 자의적으로 안면 인식을 시도하는 실제 사용자의 얼굴이 아니라고 판별되는 오판 상황이 발생할 수도 있다.

본 발명의 안면인식 방법에 따르면 전술의 오판 상황을 회피하기 위해, 안면인식장치(100)는, 인식된 사용자 얼굴(1)이 자의적으로 안면 인식을 시도하는 실제 사용자의 얼굴이 아닌 것으로 판별한 경우(S40 No), 금번 인식된 사용자 얼굴(1)이 이미지 형태의 가짜 얼굴인지를 추가적으로 판별한다(S43).

구체적인 실시예에 따르면, 안면인식장치(100)는, S10단계에서 사용자 얼굴(1)이 인식되면 카메라(10)의 노출값을 조정하여, 카메라(10)의 노출값을 조정한 후 촬영되는 촬영 화면에서 사용자 얼굴을 인식한 인식 결과 및 노출값 조정 이전에 사용자 얼굴(1)을 인식한 인식 결과를 근거로, 노출값 조정 이전에 인식된 사용자 얼굴(1)이 이미지 형태의 가짜 얼굴인지 판별할 수 있다(S43).

예를 들면, 안면인식장치(100)는, 카메라 노출값 조정 이전에 인식된 초기 인식 결과 즉 사용자 얼굴(1)이 카메라 노출값을 낮춘(제1노출값) 후 인식한 제1인식 결과에서는 인식되고 카메라 노출값을 높인(제2노출값) 후 인식한 제2인식 결과에서는 인식되지 않는다면, 사용자 얼굴(1)을 이미지 형태의 가짜 얼굴로 판별할 수 있다.

반면, 안면인식장치(100)는, 카메라 노출값 조정 이전에 인식된 초기 인식 결과 즉 사용자 얼굴(1)이 카메라 노출값을 낮춘(제1노출값) 후 인식한 제1인식 결과에서는 인식되지 않고 카메라 노출값을 높인(제2노출값) 후 인식한 제2인식 결과에서는 인식된다면, 사용자 얼굴(1)을 실제 사용자 얼굴로 판별할 수 있다.

안면인식장치(100)는, 전술한 S43단계의 추가 판별을 거쳐 사용자 얼굴(1)이 이미지 형태의 가짜 얼굴인 것으로 판별되면, 전술의 사용자 얼굴(1)에서의 움직임 및 촬영 화면 상에 표시한 오브젝트(예: 텍스트 등)를 근거로 판별한 결과는 오판이 아닌 것이므로, 화면 캡쳐(예: 스크린 샷) 후 기 지정된 신고처(예: 경찰서 등)으로 신고한다.

이상 설명한 바와 같이, 본 발명에 따른 안면인식 방법에 의하면, 고성능/고가의 TOF 방식 3D 카메라 인식 기술을 사용하지 않고 일반 카메라를 이용하는 경우에도, 사진이나 영상 형태의 가짜 사용자 얼굴이 아닌 실제 사용자 얼굴, 그리고 자의적으로 안면 인식을 시도하는 실제 사용자 얼굴을 판별해낼 수 있기 때문에, 사용자 얼굴로 부당하게 인증 처리할 수 있는 안면 인식의 취약점을 해결하는 효과를 기대할 수 있다.

한편, 본 명세서에서 설명하는 안면인식 방법의 기능적인 동작과 주제의 구현물들은 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다.　 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 제어 시스템의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다.

컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.

본 명세서에서 "시스템"이나 "장치"라 함은 예컨대 프로그래머블 프로세서, 컴퓨터 혹은 다중 프로세서나 컴퓨터를 포함하여 데이터를 제어하기 위한 모든 기구, 장치 및 기계를 포괄한다. 제어 시스템은, 하드웨어에 부가하여, 예컨대 프로세서 펌웨어를 구성하는 코드, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제 혹은 이들 중 하나 이상의 조합 등 요청 시 컴퓨터 프로그램에 대한 실행 환경을 형성하는 코드를 포함할 수 있다.

컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.

한편, 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체는, 예컨대 EPROM, EEPROM 및 플래시메모리 장치와 같은 반도체 메모리 장치, 예컨대 내부 하드디스크나 외장형 디스크와 같은 자기 디스크, 자기광학 디스크 및 CD-ROM과 DVD-ROM 디스크를 포함하여 모든 형태의 비휘발성 메모리, 매체 및 메모리 장치를 포함할 수 있다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다.

본 명세서에서 설명한 주제의 구현물은 예컨대 데이터 서버와 같은 백엔드 컴포넌트를 포함하거나, 예컨대 어플리케이션 서버와 같은 미들웨어 컴포넌트를 포함하거나, 예컨대 사용자가 본 명세서에서 설명한 주제의 구현물과 상호 작용할 수 있는 웹 브라우저나 그래픽 유저 인터페이스를 갖는 클라이언트 컴퓨터와 같은 프론트엔드 컴포넌트 혹은 그러한 백엔드, 미들웨어 혹은 프론트엔드 컴포넌트의 하나 이상의 모든 조합을 포함하는 연산 시스템에서 구현될 수도 있다. 시스템의 컴포넌트는 예컨대 통신 네트워크와 같은 디지털 데이터 통신의 어떠한 형태나 매체에 의해서도 상호 접속 가능하다.

본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 마찬가지로, 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.

또한, 본 명세서에서는 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다

이와 같이, 본 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하려는 의도가 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (14)

1. 카메라를 통해 촬영되는 촬영 화면에서 사용자 얼굴을 인식하는 인식단계;
   사용자 얼굴이 인식되면, 사용자로 하여금 얼굴 움직임을 유도하는 가상 객체를 상기 촬영 화면 상에 표시하는 표시단계;
   상기 가상 객체 표시 후, 상기 인식된 사용자 얼굴에서의 움직임을 식별하는 움직임식별단계; 및
   상기 식별한 움직임 및 상기 표시한 가상 객체를 근거로, 상기 인식된 사용자 얼굴이 자의적으로 안면 인식을 시도하는 사용자의 얼굴인지 여부를 판별하는 판별단계를 포함하며;
   상기 표시단계는,
   상기 사용자가 상기 안면 인식을 통해 접근하고자 하는 접근 대상에 기 부여된 보안등급에 따라, 보안등급이 높을수록 표시하는 가상 객체의 개수를 많게 하고 보안등급이 낮을수록 표시하는 가상 객체의 개수를 적게 하는 것을 특징으로 하는 안면인식 방법.
2. 삭제
3. 제 1 항에 있어서,
   상기 표시단계는,
   표시 가능한 전체 가상 객체 중 상기 접근 대상에 대해 선택 가능한 후보군에서, 상기 접근 대상의 보안등급에 따른 개수의 가상 객체가 랜덤하게 선택되면 선택된 가상 객체를 순차적으로 표시하거나, 또는
   상기 표시 가능한 전체 가상 객체 중 상기 접근 대상에 대해 선택 가능한 후보군에서, 상기 접근 대상의 보안등급에 따른 개수의 가상 객체가 사용자에 의해 선택되면 선택된 가상 객체를 순차적으로 표시하는 것을 특징으로 하는 안면인식 방법.
4. 제 1 항에 있어서,
   상기 인식된 사용자 얼굴이 자의적으로 안면 인식을 시도하는 실제 사용자의 얼굴인 것으로 판별되면, 상기 인식된 사용자 얼굴 및 기 저장된 사용자의 얼굴 정보를 비교하여 정당한 사용자인지 여부를 인증하는 안면인식단계를 더 포함하는 것을 특징으로 하는 안면인식 방법.
5. 제 4 항에 있어서,
   상기 얼굴 정보는,
   기 촬영한 상기 사용자의 얼굴 이미지로부터 추출 및 디지털 코드로 변환된 얼굴 특장점이 암호화된 후, 2 이상의 저장노드에 분산 저장되는 정보인 것을 특징으로 하는 안면인식 방법.
6. 제 1 항에 있어서,
   상기 인식된 사용자 얼굴이 자의적으로 안면 인식을 시도하는 실제 사용자의 얼굴이 아닌 것으로 판별되면, 화면 캡쳐 후 기 지정된 신고처에 신고하는 신고단계를 더 포함하는 것을 특징으로 하는 안면인식 방법.
7. 제 1 항에 있어서,
   상기 인식된 사용자 얼굴이 자의적으로 안면 인식을 시도하는 실제 사용자의 얼굴이 아닌 것으로 판별되면, 상기 인식된 사용자 얼굴이 이미지 형태의 가짜 얼굴인지 판별하는 추가 판별단계;
   상기 추가 판별단계에서 상기 인식된 사용자 얼굴이 이미지 형태의 가짜 얼굴인 것으로 판별되면, 화면 캡쳐 후 기 지정된 신고처에 신고하는 신고단계를 더 포함하는 것을 특징으로 하는 안면인식 방법.
8. 제 7 항에 있어서,
   상기 추가 판별단계는,
   사용자 얼굴이 인식되면 상기 카메라의 노출값을 조정하여, 상기 카메라의 노출값을 조정한 후 촬영되는 촬영 화면에서 사용자 얼굴을 인식한 인식 결과 및 상기 노출값 조정 이전에 사용자 얼굴을 인식한 인식 결과를 근거로,
   상기 노출값 조정 이전에 인식된 사용자 얼굴이 이미지 형태의 가짜 얼굴인지 판별하는 것을 특징으로 하는 안면인식 방법.
9. 카메라를 통해 촬영되는 촬영 화면에서 사용자 얼굴을 인식하는 인식부;
   사용자 얼굴이 인식되면, 사용자로 하여금 얼굴 움직임을 유도하는 가상 객체를 상기 촬영 화면 상에 표시하는 가상객체표시부;
   상기 가상 객체 표시 후, 상기 인식된 사용자 얼굴에서의 움직임을 식별하는 움직임식별부; 및
   상기 식별한 움직임 및 상기 표시한 가상 객체를 근거로, 상기 인식된 사용자 얼굴이 자의적으로 안면 인식을 시도하는 사용자의 얼굴인지 여부를 판별하는 판별부를 포함하며;
   상기 가상객체표시부는,
   상기 사용자가 상기 안면 인식을 통해 접근하고자 하는 접근 대상에 기 부여된 보안등급에 따라, 보안등급이 높을수록 표시하는 가상 객체의 개수를 많게 하고 보안등급이 낮을수록 표시하는 가상 객체의 개수를 적게 하는 것을 특징으로 하는 안면인식장치.
10. 삭제
11. 제 9 항에 있어서,
    상기 가상객체표시부는,
    표시 가능한 전체 가상 객체 중 상기 접근 대상에 대해 선택 가능한 후보군에서, 상기 접근 대상의 보안등급에 따른 개수의 가상 객체가 랜덤하게 선택되면 선택된 가상 객체를 순차적으로 표시하거나, 또는
    상기 표시 가능한 전체 가상 객체 중 상기 접근 대상에 대해 선택 가능한 후보군에서, 상기 접근 대상의 보안등급에 따른 개수의 가상 객체가 사용자에 의해 선택되면 선택된 가상 객체를 순차적으로 표시하는 것을 특징으로 하는 안면인식장치.
12. 제 9 항에 있어서,
    상기 인식된 사용자 얼굴이 자의적으로 안면 인식을 시도하는 실제 사용자의 얼굴인 것으로 판별되면, 상기 인식된 사용자 얼굴 및 기 저장된 사용자의 얼굴 정보를 비교하여 정당한 사용자인지 여부를 인증하는 안면인식부를 더 포함하는 것을 특징으로 하는 안면인식장치.
13. 제 12 항에 있어서,
    상기 얼굴 정보는,
    기 촬영한 상기 사용자의 얼굴 이미지로부터 추출 및 디지털 코드로 변환된 얼굴 특장점이 암호화된 후, 2 이상의 저장노드에 분산 저장되는 정보인 것을 특징으로 하는 안면인식장치.
14. 제 9 항에 있어서,
    상기 인식된 사용자 얼굴이 자의적으로 안면 인식을 시도하는 실제 사용자의 얼굴이 아닌 것으로 판별되면, 화면 캡쳐 후 기 지정된 신고처에 신고하는 신고부를 더 포함하는 것을 특징으로 하는 안면인식장치.

Images