KR102347336B1 - 응시점 판단 방법 및 장치, 전자 기기 및 컴퓨터 저장 매체 - Google Patents

Abstract

본 발명의 실시예는 응시점 판단 방법 및 장치, 전자 기기 및 컴퓨터 저장 매체를 개시하며, 여기서, 방법은, 이미지에서의 얼굴의 적어도 한쪽의 눈의 안부 특징점의 2 차원 좌표를 획득하는 단계 - 상기 안부 특징점은 안구 중심 영역 특징점을 포함함 - ; 상기 안구 중심 영역 특징점의 2 차원 좌표에 기반하여, 상기 이미지에서의 상기 얼굴에 대응하는 3 차원 얼굴 모델에서의 대응되는 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표를 획득하는 단계; 상기 안부 특징점에서의 상기 안구 중심 영역 특징점 이외의 특징점의 2 차원 좌표 및 상기 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표에 따라, 상기 이미지의 상기 얼굴의 눈 응시점 위치에 대한 판단 결과를 얻는 단계를 포함한다.

Description

응시점 판단 방법 및 장치, 전자 기기 및 컴퓨터 저장 매체

본 출원은 2018년 9월 28일에 중국 특허청에 제출된 출원 번호가 CN201811141352.3인 중국 특허 출원의 우선권을 주장하며, 그 전체 내용은 참조로 본 출원에 인용된다.

본 발명은 컴퓨터 기술 분야에 관한 것이지만, 컴퓨터 기술 분야에 한정되지 않으며, 특히, 응시점 판단 방법 및 장치, 전자 기기 및 컴퓨터 저장 매체에 관한 것이다.

얼굴 식별은 근년에 컴퓨터 비전(Vision), 모드 식별, 신경망 및 인공 지능 등 기술의 급속한 발전과 더불어 나타난 새로운 바이오 식별 기술이다. 얼굴 식별은 주로 얼굴 특징점에 의해 제공되는 얼굴의 각 기관의 위치, 형태 및 얼굴 외윤곽 등 기하학적 정보에 기반하여, 신분 식별을 진행하므로, 얼굴 식별 과정에서 얼굴 특징점의 포지셔닝은 매우 중요하다. 현재, 얼굴 특징점의 포지셔닝은 딥 러닝을 통해 높은 정밀도를 획득할 수 있다.

본 발명의 실시예는 응시점 판단 기술 방안을 제공한다.

본 발명의 실시예의 일 측면에 의하면,

이미지에서의 얼굴의 적어도 한쪽의 눈의 안부 특징점의 2 차원 좌표를 획득하는 단계 - 상기 안부 특징점은 안구 중심 영역 특징점을 포함함 - ;

상기 안구 중심 영역 특징점의 2 차원 좌표에 기반하여, 상기 이미지에서의 상기 얼굴에 대응하는 3 차원 얼굴 모델에서의 대응되는 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표를 획득하는 단계;

상기 안부 특징점에서의 상기 안구 중심 영역 특징점 이외의 특징점의 2 차원 좌표 및 상기 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표에 따라, 상기 이미지의 상기 얼굴의 눈 응시점 위치에 대한 판단 결과를 얻는 단계를 포함하는 응시점 판단 방법을 제공한다.

본 발명의 실시예의 다른 일 측면에 의하면,

이미지에서의 얼굴의 적어도 한쪽의 눈의 안부 특징점의 2 차원 좌표를 획득하며 - 상기 안부 특징점은 안구 중심 영역 특징점을 포함함 - ; 및 상기 안구 중심 영역 특징점의 2 차원 좌표에 기반하여, 상기 이미지에서의 상기 얼굴에 대응하는 3 차원 얼굴 모델에서의 대응되는 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표를 획득하도록 구성된 획득 유닛;

상기 안부 특징점에서의 상기 안구 중심 영역 특징점 이외의 특징점의 2 차원 좌표 및 상기 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표에 따라, 상기 이미지의 상기 얼굴의 눈 응시점 위치에 대한 판단 결과를 얻도록 구성된 판단 유닛을 포함하는 응시점 판단 장치를 제공한다.

본 발명의 실시예의 또 다른 일 측면에 의하면, 상기 임의의 한 실시예에 따른 장치를 포함하는 전자 기기를 제공한다.

본 발명의 실시예의 또 다른 일 측면에 의하면,

수행 가능한 명령어를 저장하도록 구성된 메모리; 및

상기 수행 가능한 명령어를 수행하여 상기 임의의 한 실시예에 따른 방법을 완성하기 위해, 상기 메모리와 통신하도록 구성된 프로세서를 포함하는 전자 기기를 제공한다.

본 발명의 실시예의 또 다른 일 측면에 의하면, 컴퓨터 판독 가능한 코드를 포함하는 컴퓨터 프로그램을 제공하며, 상기 컴퓨터 판독 가능한 코드가 장치에서 실행될 때, 상기 장치의 프로세서는 상기 임의의 한 실시예에 따른 방법을 구현하기 위한 명령어를 수행한다.

본 발명의 실시예의 또 다른 일 측면에 의하면, 컴퓨터 판독 가능한 명령어를 저장하기 위한 컴퓨터 프로그램 제품을 제공하며, 상기 명령어가 수행될 때, 컴퓨터로 하여금 상기 임의의 한 실시예에 따른 방법의 동작을 수행하도록 한다.

본 발명의 상기 실시예에 의해 제공된 응시점 판단 방법 및 장치, 전자 기기 및 컴퓨터 저장 매체에 기반하여, 이미지에서의 얼굴의 적어도 한쪽의 눈의 안부 특징점의 2 차원 좌표를 획득하여 - 안부 특징점은 안구 중심 영역 특징점을 포함함 -, 안구 중심 영역 특징점의 2 차원 좌표에 기반하여, 이미지에서의 얼굴에 대응하는 3 차원 얼굴 모델에서의 대응되는 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표를 획득하며, 안부 특징점에서의 안구 중심 영역 특징점 이외의 특징점의 2 차원 좌표 및 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표에 따라, 이미지에서의 얼굴의 눈 응시점 위치에 대한 판단 결과을 얻고, 이미지에서의 얼굴의 눈 주위의 보다 미세한 정보에 대한 학습을 이용하여, 눈 상태에 대한 보다 정확한 판단을 구현할 수 있음으로써, 보다 정확한 눈 상태 정보를 획득할 수 있다.

아래 도면과 실시예를 통해, 본 발명의 기술 방안을 보다 상세하게 설명한다.

명세서의 일부분으로 구성되는 도면은 본 발명의 실시예를 설명하며, 설명과 함께 본 발명의 원리를 해석한다.
도면을 참조하면, 아래의 상세한 설명에 따라, 본 발명을 더욱 명확하게 이해할 수 있다.
도 1은 본 발명의 일부 실시예의 응시점 판단 방법의 흐름도이다.
도 2a 및 도 2b는 본 발명의 응시점 판단 방법의 한 응용 실시예의 모식도이다.
도 3은 본 발명의 실시예의 기설정 데이터 세트에 따라 기설정 데이터 세트에서의 각 이미지의 얼굴 안부 특징점의 좌표를 획득하는 흐름도이다.
도 4는 본 발명의 실시예의 기설정 데이터 세트에서의 각 이미지의 얼굴 안부 특징점의 좌표에 따라 신경망에 대해 훈련을 진행하는 흐름도이다.
도 5는 본 발명의 일부 실시예의 응시점 판단 장치의 구조 모식도이다.
도 6은 본 발명의 일부 실시예의 응시점 판단 장치에서의 획득 유닛의 구조 모식도이다.
도 7은 본 발명의 일부 실시예의 전자 기기의 구조 모식도이다.

이하, 도면을 참조하여 본 발명의 다양한 예시적 실시예를 상세하게 설명한다. 유의해야 할 것은, 달리 구체적 설명이 없는 경우, 이러한 실시예에 기재한 부품과 단계의 상대적 배치, 수의 표현 형식 및 수치는 본 발명의 범위를 한정하지 않는다.

아울러, 알아둬야 할 것은, 설명의 편의 상, 도면에 표시한 각 부분의 크기는 실제 축척 관계에 따라 그려진 것이 아니다.

이하, 적어도 하나의 예시적 실시예에 대한 설명은 실제로 설명하기 위한 것 뿐이지, 본 발명 및 그의 응용 또는 사용에 대한 어떠한 한정도 아니다.

당업자에게 공지된 기술, 방법 및 장치에 대해서는 상세하게 논의되지 않을 수 있지만, 적절한 경우, 상기 기술, 방법 및 장치는 명세서의 일부분으로 고려되어야 한다.

유의해야 할 것은, 유사한 부호 및 문자는 아래의 도면에서 유사한 항목을 나타내므로, 일단 어느 한 항이 한 도면에서 정의되면, 후속 도면에서 이에 대해 추가로 논의할 필요가 없다.

본 발명의 실시예는 수많은 다른 범용 또는 전용 컴퓨팅 시스템 환경 또는 구성과 함께 동작할 수 있는 컴퓨터 시스템/서버에 적용될 수 있다. 컴퓨터 시스템/서버와 함께 사용되는 널리 알려진 컴퓨팅 시스템, 환경 및 구성 중 적어도 하나의 예로서, 퍼스널 컴퓨터 시스템, 서버 컴퓨터 시스템, 씬 클라이언트, 리치 클라이언트, 핸드 헬드 또는 랩톱 장치, 마이크로 프로세서 기반 스템, 셋톱 박스, 프로그래머블 가전 제품, 네트워크 개인용 컴퓨터, 소형 컴퓨터 시스템?p대형 컴퓨터 시스템 및 상기 임의의 시스템을 포함하는 분산 클라우드 컴퓨팅 기술 환경 등을 포함한지만 이에 한정되지 않는다.

컴퓨터 시스템/서버는 컴퓨터 시스템에 의해 수행되는 컴퓨터 시스템 수행 가능한 명령어（예를 들어 프로그램 모듈）의 일반 맥락 환경에서 설명될 수 있다. 일반적으로, 프로그램 모듈은 특정된 작업을 수행하거나 또는 특정된 추상 데이터 유형을 구현하는 루틴, 프로그램, 목표 프로그램, 컴포넌트, 논리, 데이터 구조 등을 포함할 수 있다. 컴퓨터 시스템/서버는 분산 클라우드 컴퓨팅 환경에서 실시될 수 있으며, 분산 클라우드 컴퓨팅 환경에서, 통신 네트워크를 통해 연결된 원격 처리 장치에 의해 작업이 수행된다. 분산 클라우드 컴퓨팅 환경에서, 프로그램 모듈은 저장 장치를 포함하는 로컬 또는 원격 컴퓨팅 시스템 저장 매체에 위치할 수 있다.

도 1은 본 발명의 일부 실시예의 응시점 판단 방법의 흐름도로서, 상기 방법은, 서버 또는 단말기 장치에 의해 수행되며, 예를 들어, 단말기 장치는 휴대폰, 컴퓨터, 차량 탑재 장치 등을 포함하며, 도 1에 도시된 바와 같이, 상기 방법은 아래와 같은 단계를 포함한다.

단계 102에 있어서, 이미지에서의 얼굴의 적어도 한쪽의 눈의 안부 특징점의 2 차원 좌표를 획득한다.

본 발명의 실시예에서, 응시점 판단을 위한 이미지는 이미지 수집 장치로부터 획득되거나, 저장 장치로부터 획득될 수 있으며, 예를 들어, 이미지 수집 장치는 비디오 카메라, 카메라, 스캐너 등을 포함할 수 있고, 저장 장치는 하드 디스크, 광 디스크, 플로피 디스크 등을 포함할 수 있으며, 본 발명의 실시예는 응시점 판단을 진행하는 이미지에 대한 획득 방식을 한정하지 않는다. 여기서, 안부 특징점은 안구 중심 영역 특징점을 포함하며, 일부 실시예에서, 안부 특징점은 또한, 안검선 특징점 및 안구 윤곽 특징점을 포함하고, 본 발명의 실시예는 이에 대해 한정하지 않는다.

일례로, 사람의 두 눈은 동시에 한 방향을 응시하기 때문에, 이미지에서의 얼굴의 한쪽 눈의 안부 특징점의 2 차원 좌표를 획득하여, 이미지에서의 얼굴의 두 눈의 응시점에 대해 판단을 진행할 수 있다. 다른 일례로, 이미지에서의 얼굴의 양쪽 눈의 안부 특징점의 2 차원 좌표를 획득하여, 이미지에서의 얼굴의 두 눈의 응시점에 대해 판단을 진행할 수 있다.

일부 실시예에서, 이미지에 대해 특징 추출을 진행하여, 이미지에서의 얼굴 특징점의 2 차원 좌표를 획득한 후, 이미지에서의 얼굴 특징점의 2 차원 좌표에 기반하여, 이미지에서의 얼굴의 적어도 한쪽의 눈의 안부 특징점의 2 차원 좌표를 획득할 수 있다. 예를 들어, 이미지에 대해 특징 추출을 진행하여, 이미지에서의 얼굴의 106 개 특징점의 2 차원 좌표를 획득한 후, 상기 106 개 특징점의 2 차원 좌표에 기반하여, 이미지에서의 얼굴의 적어도 한쪽의 눈의 안부 특징점의 2 차원 좌표를 획득할 수 있다.

일부 실시예에서, 이미지에서의 얼굴 눈영역의 특징점의 2 차원 좌표에 따라, 이미지로부터 대응되는 눈영역을 포함하는 직사각형 이미지를 절취한 후, 직사각형 이미지에 대해 특징 추출을 진행하여, 이미지에서의 얼굴의 적어도 한쪽의 눈의 안부 특징점의 2 차원 좌표를 획득할 수 있다.

일례로, 이미지에서의 얼굴의 한쪽 눈영역의 특징점의 2 차원 좌표에 따라, 이미지로부터 대응되는 눈영역을 포함하는 한 장의 직사각형 이미지를 절취한 후, 직사각형 이미지에 대해 특징 추출을 진행하여, 이미지에서의 얼굴의 한쪽 눈의 안부 특징점의 2 차원 좌표를 획득할 수 있다.

다른 일례로, 이미지에서의 얼굴의 한쪽 눈영역의 특징점의 2 차원 좌표에 따라, 이미지로부터 대응되는 눈영역을 포함하는 한 장의 직사각형 이미지를 절취한 후, 직사각형 이미지에 대해 미러링 처리를 진행하여, 직사각형 이미지 및 미러링 처리 후의 직사각형 이미지에 대해 특징 추출을 진행함으로써, 이미지에서의 얼굴의 양쪽 눈의 안부 특징점의 2 차원 좌표를 획득할 수 있다.

일부 실시예에서, 신경망 또는 다른 머신 러닝의 방법을 통해, 이미지에 대해 특징 추출을 진행할 수 있다. 일례로, 신경망은 컨볼루션 신경망을 사용할 수 있다. 본 발명의 실시예는 이미지에 대해 특징 추출을 진행하는 방법에 대해 한정하지 않는다.

단계 104에 있어서, 안구 중심 영역 특징점의 2 차원 좌표에 기반하여, 이미지에서의 얼굴에 대응하는 3 차원 얼굴 모델에서의 대응되는 안구 중심 영역 특징점이 기설정 3 차원 좌표계에서의 3 차원 좌표를 획득한다.

일부 실시예에서, 이미지에서의 얼굴에 따라, 대응되는 3 차원 얼굴 모델을 생성한 후, 안구 중심 영역 특징점의 2 차원 좌표에 기반하여, 3 차원 얼굴 모델에서의 대응되는 안구 중심 영역 특징점이 기설정 3 차원 좌표계에서의 3 차원 좌표를 획득할 수 있다. 일부 실시예에서, 이미지에서의 얼굴의 키포인트를 기설정하여, 이미지에서의 얼굴의 키포인트와 선험적 3 차원 얼굴 모델의 키포인트 사이의 대응 관계에 따라, 얼굴에 대응하는 3 차원 얼굴 모델을 생성하며, 예를 들어, 복수 개의 키포인트는 얼굴 외윤곽 키포인트, 안부 키포인트, 눈썹 키포인트, 입술 키포인트, 코 키포인트 등을 포함할 수 있고, 본 발명의 실시예는 키포인트의 유형 및 수에 대해 한정하지 않는다.

일부 실시예에서, 기설정 3 차원 좌표계는 기설정된 원칙에 따라 결정되며, 예를 들어, 3 차원 좌표계의 좌표 원점은 휴대폰 전방 카메라의 중심점이고, 3 차원 좌표계의 X 축의 정방향은 좌표 원점으로부터 휴대폰 전방 카메라의 수평 방향을 따라 왼쪽으로 향하는 방향이며, 3 차원 좌표계의 Y 축의 정방향은 좌표 원점으로부터 휴대폰 전방 카메라의 수직 방향을 따라 위로 향하는 방향이고, 3 차원 좌표계의 Z 축의 정방향은 휴대폰 전방 카메라와 수직되어 좌표 원점으로부터 휴대폰 전방 카메라의 외측으로 향하는 방향이다.

단계 106에 있어서, 안부 특징점에서의 안구 중심 영역 특징점 이외의 특징점의 2 차원 좌표 및 안구 중심 영역 특징점이 기설정 3 차원 좌표계에서의 3 차원 좌표에 따라, 이미지에서의 얼굴의 눈 응시점 위치에 대한 판단 결과를 얻는다.

일부 실시예에서, 안부 특징점에서의 안구 중심 영역 특징점 이외의 특징점의 2 차원 좌표 및 안구 중심 영역 특징점이 기설정 3 차원 좌표계에서의 3 차원 좌표에 따라, 이미지에서의 얼굴의 눈의 응시 점수를 얻은 후, 응시 점수를 기설정 임계값과 비교하여, 이미지에서의 얼굴의 눈 응시점 위치에 대한 판단 결과를 얻는다. 일부 실시예에서, 안부 특징점에서의 안구 중심 영역 특징점 이외의 특징점의 2 차원 좌표 및 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표에 딸라, 신경망 또는 다른 머신 러닝의 방법을 통해, 이미지에서의 얼굴의 눈의 응시 점수를 얻을 수 있다. 일례로, 신경망은 전체 연결 계층 및 ReLU 계층에 의해 구성된 간단한 네트워크 구조를 이용할 수 있다. 본 발명의 실시예는 이미지에서의 얼굴의 눈의 응시 점수를 획득하는 방법에 대해 한정하지 않는다.

일부 실시예에서, 안구 중심 영역 특징점의 2 차원 좌표에 기반하여, 이미지에서의 얼굴에 대응하는 3 차원 얼굴 모델에서의 대응되는 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표를 획득한 후, 기설정된 포맷에 따라, 안부 특징점에서의 안구 중심 영역 특징점 이외의 특징점의 2 차원 좌표 및 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표의 포맷에 대해 조정할 수 있음으로써, 포맷 조정 후의 안부 특징점에서의 안구 중심 영역 특징점 이외의 특징점의 2 차원 좌표 및 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표에 따라, 신경망을 통해, 이미지에서의 얼굴의 눈의 응시 점수를 얻을 수 있다. 일례로, 포맷 조정은 데이터 순서의 조정이며, 즉, 안부 특징점에서의 안구 중심 영역 특징점 이외의 특징점의 2 차원 좌표 및 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표의 순서에 대해 조정하여, 이를 신경망을 훈련시킬 때의 데이터 순서와 일치하도록 한다.

일부 실시예에서, 판단 결과는, 이미지에서의 얼굴의 눈 응시점이 기설정 영역 내에 있는 것, 및 이미지에서의 얼굴의 눈 응시점이 기설정 영역 밖에 있는 것을 포함할 수 있다. 응시 점수를 기설정 임계값과 비교하여, 응시 점수가 기설정 임계값보다 큰 것에 따라, 이미지에서의 얼굴의 눈 응시점이 기설정 영역 내에 있는 판단 결과를 얻을 수 있으며; 응시 점수가 기설정 임계값보다 작거나 같은 것에 따라, 이미지에서의 얼굴의 눈 응시점이 기설정 영역 밖에 있는 판단 결과를 얻을 수 있다. 일례로, 기설정 영역은 스크린 영역의 일부 또는 전부를 포함할 수 있으며, 즉, 본 발명의 실시예는 이미지에서의 얼굴의 눈 응시점이 스크린 영역 내에 있는지 여부를 판단하거나, 이미지에서의 얼굴의 눈 응시점이 스크린의 특정 영역 내에 있는지 여부를 판단하기 위한 것이다.

일부 실시예에서, 기설정 임계값은 진양성 비율과 위양성 비율의 차이 값을 포함할 수 있으며, 여기서, 진양성 비율(true positive rate)은 이미지에서의 얼굴의 눈 응시점이 기설정 영역 내에 있을 경우에 정확하게 판단하는 비율을 포함할 수 있고, 위양성 비율(false positive rate)은 이미지에서의 얼굴의 눈 응시점이 기설정 영역 밖에 있는 경우에 틀리게 판단하는 비율을 포함할 수 있다.

일부 실시예에서, 응시 점수를 기설정 임계값과 비교하여, 이미지에서의 얼굴의 눈 응시점 위치에 대한 판단 결과를 얻은 후, 판단 결과에 따라, 이미지에 대해 상응한 처리를 진행할 수 있다. 일례로, 이미지에서의 얼굴의 눈 응시점이 기설정 영역 내에 있는 것에 응답하여, 제1 기설정 디스플레이 방식에 따라 이미지를 디스플레이할 수 있으며, 이미지에서의 얼굴의 눈 응시점이 기설정 영역 밖에 있는 것에 응답하여, 제2 기설정 디스플레이 방식에 따라, 이미지를 디스플레이할 수 있다. 일례로, 제1 기설정 디스플레이 방식 및 제2 기설정 디스플레이 방식은 디스플레이 이미지에 상이한 색상의 테두리를 구성하도록 하는 것이며, 예를 들어, 도 2a 및 2b에 도시된 바와 같이, 이미지에서의 얼굴의 눈 응시점이 기설정 영역 내에 있는 것에 응답하여, 디스플레이의 이미지에 빨간색 테두리를 구성하고, 이미지에서의 얼굴의 눈 응시점이 기설정 영역 밖에 있는 것에 응답하여, 디스플레이 이미지에 파란색 테두리를 구성한다.

일부 실시예에서, 본 발명의 실시예의 방법은 이미지에서의 얼굴의 표정에 대해 식별하기 위해 사용될 수 있으며, 이미지에서의 얼굴의 눈 응시점 위치에 대한 판단을 통해, 이미지 내의 사람이 현재 상황을 아는지 여부를 결정함으로써, 단말기 지불, 단말기 잠금, 단말기 잠금 해제에 사용되어, 지불, 잠금, 잠금 해제의 안전성을 보장한다.

본 발명의 상기 실시예에 의해 제공된 응시점 판단 방법에 기반하여, 이미지에서의 얼굴의 적어도 한쪽의 눈의 안부 특징점의 2 차원 좌표를 획득하여 - 안부 특징점은 안구 중심 영역 특징점을 포함함 -, 안구 중심 영역 특징점의 2 차원 좌표에 기반하여, 이미지에서의 얼굴에 대응하는 3 차원 얼굴 모델에서의 대응되는 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표를 획득하며, 안부 특징점에서의 안구 중심 영역 특징점 이외의 특징점의 2 차원 좌표 및 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표에 따라, 이미지에서의 얼굴의 눈 응시점 위치에 대한 판단 결과를 얻고, 이미지에서의 얼굴의 눈 주위의 보다 미세한 정보에 대한 학습을 이용하여, 눈 상태에 대한 보다 정확한 판단을 구현할 수 있음으로써, 보다 정확한 눈 상태 정보를 획득할 수 있다.

상기 각 실시예에 있어서, 안부 특징점에서의 안구 중심 영역 특징점 이외의 특징점의 2 차원 좌표 및 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표에 따라, 신경망을 통해, 이미지에서의 얼굴의 눈 응시점 위치에 대한 판단 결과를 얻을 경우, 사용되는 신경망이 종래의 신경망이 아니기 때문에, 먼저 상기 신경망을 훈련시켜야 하며, 또한, 상기 신경망의 입력이 종래의 이미지가 아니고, 이미지에서의 얼굴 안부 특징점의 좌표이기 때문에, 기설정 데이터 세트 중의 이미지에 따라 상기 신경망을 훈련시키기 전에, 먼저 기설정 데이터 세트 중의 이미지의 얼굴 안부 특징점의 좌표를 획득할 필요가 있다.

아래 도 3 및 도 4의 실시예를 참조하여, 기설정 데이터 세트에 따라, 기설정 데이터 세트 중의 각 이미지의 얼굴 안부 특징점의 좌표를 획득하는 프로세스, 및 기설정 데이터 세트 중의 각 이미지의 얼굴 안부 특징점의 좌표에 따라 신경망을 훈련시키는 프로세스를 상세하게 설명한다.

이해해야 할 것은, 도 3 및 도 4에 도시된 예는 단지 당업자가 본 발명의 기술 방안을 더 잘 이해하도록 돕기 위한 것이지, 본 발명을 한정하기 위한 것으로 이해해서는 안된다. 당업자는 도 3 및 도 4에 기반하여 다양한 변형을 진행할 수 있으며, 이러한 변형도 본 발명의 기술 방의 일부분으로 이해해야 한다.

도 3에 도시된 바와 같이, 상기 방법은 다음 단계를 포함한다.

단계 302에 있어서, 이미지에서의 얼굴의 양쪽 눈의 안검선 특징점의 2 차원 좌표, 안구 윤곽 특징점의 2 차원 좌표 및 안구 중심 영역 특징점의 2 차원 좌표를 획득한다.

본 발명의 실시예에서, 이미지는 기설정 데이터 세트로부터 획득된 것이며, 기설정 데이터 세트 중의 각 이미지에는 모두 이미지에서의 얼굴의 눈 응시점 위치가 표시되어 있고, 여기서, 기설정 데이터 세트는 기존의 얼굴 식별 데이터 세트를 사용할 수 있으며, 본 발명의 실시예는 이에 대해 한정하지 않는다.

일부 실시예에서, 이미지에 대해 특징 추출을 진행하여, 이미지에서의 얼굴 특징점의 2 차원 좌표를 획득한 후, 이미지에서의 얼굴의 한쪽 눈영역의 특징점의 2 차원 좌표에 따라, 이미지로부터 대응되는 눈영역을 포함하는 한 장의 직사각형 이미지를 절취하며, 직사각형 이미지에 대해 미러링 처리를 진행하여, 직사각형 이미지 및 미러링 처리 후의 직사각형 이미지에 대해 특징 추출을 진행함으로써, 이미지에서의 얼굴의 양쪽 눈의 안검선 특징점의 2 차원 좌표, 안구 윤곽 특징점의 2 차원 좌표 및 안구 중심 영역 특징점의 2 차원 좌표를 획득한다.

일부 실시예에서, 신경망 또는 다른 머신 러닝의 방법을 통해 이미지에 대해 특징 추출을 진행할 수 있다. 일례로, 신경망은 컨볼루션 신경망을 사용할 수 있다. 본 발명의 실시예은 이미지에 대해 특징 추출을 진행하는 방법에 대해 한정하지 않는다. 예를 들어, 신경망을 통해 이미지에 대해 특징 추출을 진행하여, 이미지에서의 얼굴의 106 개 특징점의 2 차원 좌표를 획득할 수 있다.

단계 304에 있어어, 안구 중심 영역 특징점의 2 차원 좌표에 기반하여, 이미지에서의 얼굴에 대응하는 3 차원 얼굴 모델에서의 양쪽 눈의 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표를 획득한다.

일부 실시예에서, 이미지에서의 얼굴에 따라, 대응되는 3 차원 얼굴 모델을 생성한 후, 안구 중심 영역 특징점의 2 차원 좌표에 기반하여, 3 차원 얼굴 모델에서의 대응되는 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표를 획득할 수 있다. 일부 실시예에서, 이미지에서의 얼굴의 키포인트를 기설정하여, 이미지에서의 얼굴의 키포인트와 선험적 3 차원 얼굴 모델의 키포인트 사이의 대응 관계에 따라, 얼굴에 대응하는 3 차원 얼굴 모델을 생성할 수 있으며, 예를 들어, 복수 개의 키포인트는 얼굴 외윤곽 키포인트, 안부 키포인트, 눈썹 키포인트, 입술 키포인트, 코 키포인트 등을 포함할 수 있고, 본 발명의 실시예는 키포인트의 유형 및 수에 대해 한정하지 않는다.

일부 실시예에서, 안구 중심 영역 특징점의 2 차원 좌표에 기반하여, 이미지에서의 얼굴에 대응하는 3 차원 얼굴 모델에서의 양쪽 눈의 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표를 획득한 후, 또한, 기설정된 포맷에 따라, 안검선 특징점의 2 차원 좌표, 안구 윤곽 특징점의 2 차원 좌표 및 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표를 파일에 저장할 수 있다. 일례로, 기설정된 포맷은 안검선 특징점의 2 차원 좌표, 안구 윤곽 특징점의 2 차원 좌표 및 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표의 순서일 수 있다.

일부 실시예에서, 안검선 특징점의 2 차원 좌표, 안구 윤곽 특징점의 2 차원 좌표 및 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표를 파일에 저장 할 때, 기설정 데이터 세트에서의 각 이미지얼굴 안부 특징점의 좌표를 테스트 세트와 훈련 세트로 나누어, 신경망에 대해 훈련 및 테스트를 각각 진행하기 위해 사용될 수 있다.

도 4에 도시된 바와 같이, 상기 방법은 다음 단계를 포함한다.

단계 402에 있어서, 훈련 세트 중의 훈련 샘플의 안검선 특징점의 2 차원 좌표, 안구 윤곽 특징점의 2 차원 좌표 및 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표에 따라, 신경망을 통해, 이미지에서의 얼굴의 눈 응시점 위치에 대한 판단 결과 및 훈련 샘플에 대응하는 이미지에 표시한 이미지에서의 얼굴의 눈 응시점 위치 사이의 손실을 얻으며, 상기 손실에 기반하여 역 전파를 통해 신경망의 파라미터를 업데이트한다.

본 발명의 실시예에서, 기설정 데이터 세트 중의 이미지에 따라 훈련 세트 중의 훈련 샘플을 획득할 수 있으며, 여기서, 훈련 세트 중의 각 훈련 샘플은 안검선 특징점의 2 차원 좌표, 안구 윤곽 특징점의 2 차원 좌표 및 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표에 의해 구성되고, 기설정 데이터 세트 중의 각 이미지에는 모두 이미지에서의 얼굴의 눈 응시점 위치가 표시되어 있으며, 기설정 데이터 세트는 기존의 얼굴 식별데이터 세트를 사용할 수 있고, 본 발명의 실시예는 이에 대해 한정하지 않는다.

일례로, 신경망은 전체 연결 계층 및 ReLU 계층에 의해 구성된 간단한 네트워크 구조를 사용할 수 있다. 일부 실시예에서, 경사 하강법(gradient descent) 등 신경망의 훈련 방법을 사용하여 신경망을 훈련시킬 수 있으며, 본 발명의 실시예는 이에 대해 한정하지 않는다.

단계 404에 있어서, 기설정 횟수로 신경망을 훈련시킨 후, 테스트 세트 중의 테스트 샘플의 안검선 특징점의 2 차원 좌표, 안구 윤곽 특징점의 2 차원 좌표 및 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표에 따라, 신경망을 통해 이미지에서의 얼굴의 눈 응시점 위치에 대한 판단 결과에 대한 정확도을 얻으며, 상기 정확도에 따라 신경망에 대한 훈련을 중단한다.

본 발명의 실시예에서, 기설정 데이터 세트 중의 이미지에 따라 테스트 세트 중의 테스트 샘플을 획득할 수 있으며, 여기서, 테스트 세트 중의 각 테스트 샘플은 안검선 특징점의 2 차원 좌표, 안구 윤곽 특징점의 2 차원 좌표 및 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표에 의해 구성되고, 기설정 데이터 세트 중의 각 이미지에는 모두 이미지에서의 얼굴의 눈 응시점 위치가 표시되어 있으며, 테스트 세트 및 훈련 세트는 동일한 기설정 데이터 세트에 의해 획득될 수 있고, 상이한 기설정 데이터 세트에 의해 획득될 수도 있으며, 본 발명의 실시예는 이에 대해 한정하지 않고, 기설정 데이터 세트는 기존의 얼굴 식별 데이터 세트를 사용할 수 있으며, 본 발명의 실시예는 이에 대해 한정하지 않는다.

일부 실시예에서, 신경망의 작업이 상대적으로 간단하기 때문에, 과적합 현상이 쉽게 나타날 수 있어, 훈련 세트에 의해 획득된 손실은 변경되지 않고, 테스트 세트에 의해 획득된 정확도가 상승하기 시작하면, 네트워크의 훈련을 앞당겨 종료시킬 수 있다.

상기 각 실시예에 있어서, 신경망에 대한 훈련이 완성된 후, 테스트 세트에 따라, 이미지에서의 얼굴의 눈 응시점 위치 판단에 대한 기설정 임계값을 결정할 수 있다.

테스트 샘플을 신경망에 입력하여, 신경망이 각 테스트 샘플에 대응하는 이미지에 대한 응시 점수를 획득한 후, 각 응시 점수를 대응되는 이미지의 표시와 비교하여, 응시 점수가 현재 임계값보다 큰 것은 기설정 영역을 응시하는 것으로 결정하고, 응시 점수가 현재 임계값보다 작거나 같은 것은 기설정 영역을 응시하지 않는 것으로 결정하며, 각 테스트 샘플은, 진양성(True_positive)으로 점수가 현재 임계값보다 큰 것을 나타내고 양성（응시）으로 표시하며, 위음성(False_negative)으로 점수가 현재 임계값보다 작거나 같은 것을 나타내고 양성（응시）으로 표시하며, 위양성(False_positive)으로 점수가 현재 임계값보다 큰 것을 나타내고 음성（비 응시）으로 표시하며, 진음성(True_negative)으로 점수가 현재 임계값보다 작거나 같은 것을 나타내고 음성（비 응시）으로 표시하는 것을 통해 기록하며, 기록된 결과에 따라, 진양성 비율(True positive rate, Tpr) 및 위양성 비율（False positive rate, Fpr）을 얻으며, 여기서, Tpr=True_positive/(True_positive+False_negative)는 이미지에서의 얼굴의 눈이 기설정 영역을 응시할 때 정확하게 판단하는 비율을 표시하고, Fpr=False_positive/(True_negative+False_positive)는, 이미지에서의 얼굴의 눈이 기설정 영역을 응시하지 않을 때 틀리게 판단하는 비율을 표시하며, 최대 Mx=Tpr-Fpr 경우의 임계값을 기설정 임계값으로 선택하고, 전체 정확도를 저장한다.

일부 실시예에서, 상기 진양성 비율을 제1 비율라 할 수 있으며; 상기 위양성 비율은 제2 비율이라 할 수 있다. 상기 "진양성"과 "위양성"은 두가지 비율을 구분하기 위한 명칭이다.

도 5는 본 발명의 일부 실시예의 응시점 판단 장치의 구조 모식도로서, 상기 장치는 서버 또는 휴대폰, 컴퓨터, 차량 탑재 장치 등을 포함하는 단말기 장치에 설치되어 수행되며, 도 5에 도시된 바와 같이, 상기 장치는 획득 유닛(510) 및 판단 유닛(520)을 포함한다.

획득 유닛(510)은, 이미지에서의 얼굴의 적어도 한쪽의 눈의 안부 특징점의 2 차원 좌표를 획득하도록 구성된다.

본 발명의 실시예에서, 응시점 판단을 위한 이미지는 이미지 수집 장치로부터 획득된 것일 수 있고, 저장 장치로부터 획득된 것일 수도 있으며, 예를 들어, 이미지 수집 장치는 비디오 카메라, 카메라, 스캐너 등을 포함할 수 있고, 저장 장치는 하드 디스크, 광 디스크, 플로피 디스크 등을 포함할 수 있으며, 본 발명의 실시예는 응시점 판단을 진행하는 이미지의 획득 방식에 대해 한정하지 않는다. 여기서, 안부 특징점은 안구 중심 영역 특징점을 포함하며, 일부 실시예에서, 안부 특징점은 또한, 안검선 특징점 및 안구 윤곽 특징점을 포함하고, 본 발명의 실시예는 이에 한정되지 않는다.

일례로, 일반적으로 사람의 두 눈은 동시에 동일한 방향을 응시하기 때문에, 획득 유닛(510)은 이미지에서의 얼굴의 한쪽 눈의 안부 특징점의 2 차원 좌표를 획득하여, 이미지에서의 얼굴의 두 눈의 응시점에 대해 판단을 진행할 수 있다. 다른 일례로, 획득 유닛(510)은 이미지에서의 얼굴의 양쪽 눈의 안부 특징점의 2 차원 좌표를 획득하여, 이미지에서의 얼굴의 두 눈의 응시점에 대해 판단을 진행할 수 있다.

일부 실시예에서, 획득 유닛(510)은 이미지에 대해 특징 추출을 진행하여, 이미지에서의 얼굴 특징점의 2 차원 좌표를 획득한 후, 이미지에서의 얼굴 특징점의 2 차원 좌표에 기반하여, 이미지에서의 얼굴의 적어도 한쪽의 눈의 안부 특징점의 2 차원 좌표를 획득할 수 있다. 예를 들어, 획득 유닛(510)은 이미지에 대해 특징 추출을 진행하여, 이미지에서의 얼굴의 106 개 특징점의 2 차원 좌표를 획득한 후, 상기 106 개 특징점의 2 차원 좌표에 기반하여, 이미지에서의 얼굴의 적어도 한쪽의 눈의 안부 특징점의 2 차원 좌표를 획득할 수 있다.

일부 실시예에서, 도 6에 도시된 바와 같이, 획득 유닛(510)은 절취 서브 유닛(511) 및 추출 서브 유닛(512)를 포함할 수 있다. 여기서, 절취 서브 유닛(511)은 이미지에서의 얼굴 눈영역의 특징점의 2 차원 좌표에 따라, 이미지로부터 대응되는 눈영역을 포함하는 직사각형 이미지를 절취할 수 있으며, 추출 서브 유닛(512)은 직사각형 이미지에 대해 특징 추출을 진행하여, 이미지에서의 얼굴의 적어도 한쪽의 눈의 안부 특징점의 2 차원 좌표를 획득할 수 있다.

일례로, 절취 서브 유닛(511)은 이미지에서의 얼굴의 한쪽 눈영역의 특징점의 2 차원 좌표에 따라, 이미지로부터 대응되는 눈영역을 포함하는 한 장의 직사각형 이미지을 절취할 수 있으며, 추출 서브 유닛(512)은 직사각형 이미지에 대해 특징 추출을 진행하여, 이미지에서의 얼굴의 한쪽 눈의 안부 특징점의 2 차원 좌표를 획득할 수 있다.

다른 일례로, 획득 유닛(510)은 또한, 미러링 서브 유닛(513)을 포함할 수 있으며, 절취 서브 유닛(511)이 이미지에서의 얼굴의 한쪽 눈영역의 특징점의 2 차원 좌표에 따라, 이미지로부터 대응되는 눈영역을 포함하는 한 장의 직사각형 이미지를 절취할 수 있고, 미러링 서브 유닛(513)은 직사각형 이미지에 대해 미러링 처리를 진행할 수 있으며; 추출 서브 유닛(512)은 직사각형 이미지 및 미러링 처리 후의 직사각형 이미지에 대해 특징 추출을 진행하여, 이미지에서의 얼굴의 양쪽 눈의 안부 특징점의 2 차원 좌표를 획득할 수 있다.

일부 실시예에서, 신경망 또는 다른 머신 러닝의 방법을 통해 이미지에 대해 특징 추출을 진행할 수 있다. 일례로, 신경망은 컨볼루션 신경망을 사용할 수 있다. 본 발명의 실시예는 이미지에 대해 특징 추출을 진행는 방법에 대해 한정하지 않는다.

획득 유닛(510)은, 또한 안구 중심 영역 특징점의 2 차원 좌표에 기반하여, 이미지에서의 얼굴에 대응하는 3 차원 얼굴 모델에서의 대응되는 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표를 획득하기 위한 것이다.

일부 실시예에서, 획득 유닛(510)은, 이미지에서의 얼굴에 따라, 대응되는 3 차원 얼굴 모델을 생성한 후, 안구 중심 영역 특징점의 2 차원 좌표에 기반하여, 3 차원 얼굴 모델에서의 대응되는 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표를 획득할 수 있다. 일부 실시예에서, 이미지에서의 얼굴의 키포인트를 기설정할 수 있으며, 획득 유닛(510)은 이미지에서의 얼굴의 키포인트와 선험적 3 차원 얼굴 모델의 키포인트 사이의 대응 관계에 따라, 얼굴에 대응하는 3 차원 얼굴 모델을 생성하고, 예를 들어, 복수 개의 키포인트는 얼굴 외윤곽 키포인트, 안부 키포인트, 눈썹 키포인트, 입술 키포인트, 코 키포인트 등을 포함할 수 있고, 본 발명의 실시예는 키포인트의 유형 및 수에 대해 한정하지 않는다.

일부 실시예에서, 기설정 3 차원 좌표계는 기설정의 원칙에 따라 결정되며, 예를 들어, 3 차원 좌표계의 좌표 원점은 휴대폰 전방 카메라의 중심점이고, 3 차원 좌표계의 X 축 정방향은 좌표 원점으로부터 휴대폰 전방 카메라의 수평 방향을 따라 왼쪽으로 향하는 방향이며, 3 차원 좌표계의 Y 축의 정방향은 좌표 원점으로부터 휴대폰 전방 카메라의 수직 방향을 따라 위로 향하는 방향이고, 3 차원 좌표계의 Z 축의 정방향은 휴대폰 전방 카메라와 수직되어 좌표 원점으로부터 휴대폰 전방 카메라의 외측으로 향하는 방향이다.

판단 유닛(520)은, 안부 특징점에서의 안구 중심 영역 특징점 이외의 특징점의 2 차원 좌표 및 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표에 따라, 이미지에서의 얼굴의 눈 응시점 위치에 대한 판단 결과를 얻도록 구성된다.

일부 실시예에서, 판단 유닛(520)은 안부 특징점에서의 안구 중심 영역 특징점 이외의 특징점의 2 차원 좌표 및 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표에 따라, 이미지에서의 얼굴의 눈의 응시 점수를 얻은 후, 응시 점수를 기설정 임계값과 비교하여, 이미지에서의 얼굴의 눈 응시점 위치에 대한 판단 결과를 얻을 수 있다. 일부 실시예에서, 판단 유닛(520)은 안부 특징점에서의 안구 중심 영역 특징점 이외의 특징점의 2 차원 좌표 및 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표에 따라, 신경망 또는 다른 머신 러닝의 방법을 통해, 이미지에서의 얼굴의 눈의 응시 점수를 얻을 수 있다. 일례로, 신경망은 전체 연결 계층 및 ReLU 계층에 의해 구성된 간단한 네트워크 구조를 이용할 수 있다. 본 발명의 실시예는 이미지에서의 얼굴의 눈의 응시 점수를 획득하는 방법에 대해 한정하지 않는다.

일부 실시예에서, 상기 장치는 또한 조정 유닛을 포함할 수 있으며, 획득 유닛(510)이 안구 중심 영역 특징점의 2 차원 좌표에 기반하여, 이미지에서의 얼굴에 대응하는 3 차원 얼굴 모델에서의 대응되는 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표를 획득한 후, 조정 유닛은 기설정된 포맷에 따라, 안부 특징점에서의 안구 중심 영역 특징점 이외의 특징점의 2 차원 좌표 및 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표의 포맷에 대해 조정함으로써, 판단 유닛(520)이 포맷 조정 후의 안부 특징점에서의 안구 중심 영역 특징점 이외의 특징점의 2 차원 좌표 및 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표에 따라, 신경망을 통해 이미지에서의 얼굴의 눈의 응시 점수를 얻을 수 있다. 일례로, 포맷 조정은 데이터 순서의 조정이면, 즉, 안부 특징점에서의 안구 중심 영역 특징점 이외의 특징점의 2 차원 좌표 및 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표의 순서에 대해 조정하여, 신경망을 훈련시킬 때의 데이터 순서와 일치하도록 한다.

일부 실시예에서, 판단 결과는 이미지에서의 얼굴의 눈 응시점이 기설정 영역 내에 있는 것, 및 이미지에서의 얼굴의 눈 응시점이 기설정 영역 밖에 있는 것을 포함할 수 있다. 판단 유닛(520)은 응시 점수를 기설정 임계값과 비교하여, 응시 점수가 기설정 임계값보다 큰 것에 따라, 이미지에서의 얼굴의 눈 응시점이 기설정 영역 내에 있는 판단 결과를 얻을 수 있으며; 응시 점수가 기설정 임계값보다 작거나 같은 것에 따라, 이미지에서의 얼굴의 눈 응시점이 기설정 영역 밖에 있는 판단 결과를 얻을 수 있다. 일례로, 기설정 영역은 스크린 영역의 일부 또는 전부를 포함할 수 있으며, 즉, 본 발명의 실시예는 이미지에서의 얼굴의 눈 응시점이 스크린 영역 내에 있는지 여부를 판단하거나, 이미지에서의 얼굴의 눈 응시점이 스크린의 특정 영역 내에 있는지 여부를 판단하기 위한 것이다.

일부 실시예에서, 기설정 임계값은 진양성 비율과 위양성 비율의 차이 값을 포함할 수 있으며, 여기서, 진양성 비율은 이미지에서의 얼굴의 눈 응시점이 기설정 영역 내에 있을 경우에 정확하게 판단하는 비율을 포함할 수 있고, 위양성 비율은 이미지에서의 얼굴의 눈 응시점이 기설정 영역 밖에 있는 경우에 틀리게 판단하는 비율을 포함할 수 있다.

일부 실시예에서, 상기 장치는 또한 처리 유닛을 포함할 수 있다. 처리 유닛은 응시 점수를 기설정 임계값과 비교하여, 이미지에서의 얼굴의 눈 응시점 위치에 대한 판단 결과를 얻은 후, 또한, 판단 결과에 따라, 이미지에 대해 상응한 처리를 진행할 수 있다. 일례로, 처리 유닛은 이미지에서의 얼굴의 눈 응시점이 기설정 영역 내에 있는 것에 응답하여, 제1 기설정 디스플레이 방식에 따라 이미지를 디스플레이할 수 있으며, 이미지에서의 얼굴의 눈 응시점이 기설정 영역 밖에 있는 것에 응답하여, 제2 기설정 디스플레이 방식에 따라 이미지를 디스플레이할 수 있다. 일례로, 제1 기설정 디스플레이 방식 및 제2 기설정 디스플레이 방식은 디스플레이 이미지에 상이한 색상의 테두리를 구성하도록 하는 것이며, 예를 들어, 도 2a 및 2b에 도시된 바와 같이, 처리 유닛은 이미지에서의 얼굴의 눈 응시점이 기설정 영역 내에 있는 것에 응답하여, 디스플레이의 이미지에 빨간색 테두리를 구성하고, 이미지에서의 얼굴의 눈 응시점이 기설정 영역 밖에 있는 것에 응답하여, 디스플레이 이미지에 파란색 테두리를 구성한다.

일부 실시예에서, 본 발명의 실시예의 장치는 이미지에서의 얼굴의 표정에 대해 식별하기 위해 사용될 수 있으며, 이미지에서의 얼굴의 눈 응시점 위치에 대한 판단을 통해, 이미지 내의 사람이 현재 상황을 아는지 여부를 결정함으로써, 단말기 지불, 단말기 잠금, 단말기 잠금 해제에 사용되어, 지불, 잠금, 잠금 해제의 안전성을 보장한다.

본 발명의 상기 실시예에 의해 제공된 응시점 판단 장치에 기반하여, 이미지에서의 얼굴의 적어도 한쪽의 눈의 안부 특징점의 2 차원 좌표를 획득하여 - 안부 특징점은 안구 중심 영역 특징점을 포함함 -, 안구 중심 영역 특징점의 2 차원 좌표에 기반하여, 이미지에서의 얼굴에 대응하는 3 차원 얼굴 모델에서의 대응되는 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표를 획득하며, 안부 특징점에서의 안구 중심 영역 특징점 이외의 특징점의 2 차원 좌표 및 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표에 따라, 이미지에서의 얼굴의 눈 응시점 위치에 대한 판단 결과를 얻고, 이미지에서의 얼굴의 눈 주위의 보다 미세한 정보에 대한 학습을 이용하여, 눈 상태에 대한 보다 정확한 판단을 구현할 수 있음으로써, 보다 정확한 눈 상태 정보를 획득할 수 있다.

본 발명의 실시예는 또한 이동 단말기, 퍼스널 컴퓨터（PC）, 태블릿 컴퓨터, 서버 등과 같은 것일 수 있는 전자 기기를 포함한다. 이하, 도 7을 참조하면, 본 출원의 실시예의 단말기 장치 또는 서버를 구현하기 적절한 전자 기기(700)의 구조 모식도이며, 도 7에 도시된 바와 같이, 전자 기기(700)는 하나 또는 복수 개의 프로세서, 통신부 등을 포함하고, 상기 하나 또는 복수 개의 프로세서는 예를 들어, 하나 또는 복수 개의 중앙 처리 장치（CPU)(701）, 및 하나 또는 복수 개의 가속 유닛(713) 중 적어도 하나이며, 가속 유닛(713)은 GPU, FPGA, 다른 유형의 전용 프로세서 등을 포함할 수 있지만 이에 한정되지 않고, 프로세서는 판독 전용 메모리（ROM)(702）에 저장된 수행 가능한 명령어 또는 저장 부분(708)로부터 랜덤 액세스 메모리（RAM)(703）에 로딩된 수행 가능한 명령어에 의해, 다양한 적절한 동작과 처리를 수행할 수 있다. 통신부(712)는 네트워크 카드를 포함할 수 있지만 이에 한정되지는 않으며, 상기 네트워크 카드는 인피니 밴드(Infiniband, IB) 네트워크 카드를 포함할 수 있지만 이에 한정되지는 않고, 프로세서는 수행 가능한 명령어를 수행하기 위해, 판독 전용 메모리(702) 및 랜덤 액세스 메모리(703) 중 적어도 하나와 통신하며, 버스(704)를 통해 통신부(712)와 연결되고, 통신부(712)를 통해 다른 목표 장치와 통신함으로써, 예를 들어, 이미지에서의 얼굴의 적어도 한쪽의 눈의 안부 특징점의 2 차원 좌표를 획득하는 단계 - 상기 안부 특징점은 안구 중심 영역 특징점을 포함함 - ; 상기 안구 중심 영역 특징점의 2 차원 좌표에 기반하여, 상기 이미지에서의 상기 얼굴에 대응하는 3 차원 얼굴 모델에서의 대응되는 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표를 획득하는 단계; 상기 안부 특징점에서의 상기 안구 중심 영역 특징점 이외의 특징점의 2 차원 좌표 및 상기 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표에 따라, 상기 이미지의 상기 얼굴의 눈 응시점 위치에 대한 판단 결과를 얻는 단계와 같은 본 출원의 실시예에 의해 제공된 임의의 방법에 대응하는 단계를 완성한다.

또한, RAM(703)에는 장치 동작에 필요한 다양한 프로그램 및 데이터가 저장될 수 있다. CPU(701), ROM(702) 및 RAM(703)은 버스(704)를 통해 서로 연결된다. RAM(703)을 구비한 경우, ROM(702)은 선택적 모듈이다. RAM(703)은 수행 가능한 명령어를 저장하거나, 또는 실행 시, ROM(702)에 수행 가능한 명령어를 기록하며, 수행 가능한 명령어는 중앙 처리 장치(701)로 하여금 상기 통신 방법에 대응하는 단계를 수행하도록 한다. 입/출력（I/O） 인터페이스(705)는 또한 버스(704)에 연결된다. 통신부(712)는 통합 설치될 수 있으며, 복수 개의 서브 모듈（예를 들어, 복수 개의 IB 네트워크 카드）를 갖고, 버스에 링크되도록 설치될 수 있다.

키보드, 마우스 등을 포함하는 입력 부분(706) ; 음극선 관(CRT), 액정 디스플레이(LCD) 및 스피커 등을 포함하는 출력 부분(707); 하드 디스크 등을 포함하는 저장 부분(708); 및 LAN 카드, 모뎀 등과 같은 네트워크 인터페이스 카드를 포함하는 통신 인터페이스(709) 등 부품은 I/O 인터페이스(705)에 연결된다. 통신 부분(709)는 인터넷과 같은 네트워크를 통해 통신 처리를 수행한다. 드라이버(710)도 필요에 따라 I/O 인터페이스(705)에 연결된다. 자기 디스크, 광 디스크, 광 자기 디스크, 반도체 메모리 등과 같은 제거 가능한 매체(711)는, 필요에 따라 드라이버(710)에 설치되어, 그로부터 판독된 컴퓨터 프로그램이 필요에 따라 저장 부분(708)에 저장되도록 한다.

유의해야 할 것은, 도 7에 도시된 바와 같은 아키텍처는 선택적 구현 방식일 뿐이며, 구체적인 실시 과정에서는, 실제 요구에 따라, 상기 도 7의 부품 수 및 유형을 선택, 삭제, 추가 또는 교체할 수 있으며; 가속 유닛(713) 및 CPU(701)는 분리하여 설치하거나 또는 가속 유닛(713)을 CPU(701)에 통합시킬 수 있으며, 통신부(712)는 분리하여 설치할 수 있고, CPU(701) 또는 가속 유닛(713)에 통합하여 설치할 수도 있는 등과 같이 상이한 기능 부품 설치에 있어서 분리 설치 또는 통합 설치 등 구현 방식을 사용할 수도 있다. 이러한 교체 가능한 실시 형태는 모두 본 발명의 보호 범위에 속한다.

일부 실시예에서, 본 발명의 실시예에 따르면, 흐름도를 참조하여 설명한 전술한 과정은 컴퓨터 소프트웨어 프로그램으로서 구현될 수 있다. 예를 들어, 본 발명의 실시예는 유형적으로 머신 판독 가능한 매체에 포함된 컴퓨터 프로그램을 포함하는 컴퓨터 프로그램 제품을 포함하며, 컴퓨터 프로그램은 흐름도에 도시된 방법을 수행하기 위한 프로그램 코드를 포함하고, 프로그램 코드는, 이미지에서의 얼굴의 적어도 한쪽의 눈의 안부 특징점의 2 차원 좌표를 획득하는 단계 - 상기 안부 특징점은 안구 중심 영역 특징점을 포함함 - ; 상기 안구 중심 영역 특징점의 2 차원 좌표에 기반하여, 상기 이미지에서의 상기 얼굴에 대응하는 3 차원 얼굴 모델에서의 대응되는 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표를 획득하는 단계; 상기 안부 특징점에서의 상기 안구 중심 영역 특징점 이외의 특징점의 2 차원 좌표 및 상기 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표에 따라, 상기 이미지의 상기 얼굴의 눈 응시점 위치에 대한 판단 결과를 얻는 단계와 같은 본 출원의 실시예에 의해 제공된 방법 단계에 대응되는 명령어를 포함할 수 있다. 이러한 실시예에서, 상기 컴퓨터 프로그램은 통신 부분(709)을 통해 네트워크로부터 다운로드 및 설치될 수 있는 것, 및 제거 가능한 매체(711)로부터 설치되는 것 중 적어도 하나를 진행할 수 있다. 상기 컴퓨터 프로그램이 중앙 처리 장치（CPU, 701）에 의해 수행될 경우, 본 출원의 방법에서 한정한 상기 기능을 수행한다.

하나 또는 복수 개의 선택적 실시 형태에서, 본 발명의 실시예는 또한 컴퓨터 판독 가능한 명령어를 저장하기 위한 컴퓨터 프로그램 제품을 제공하며, 상기 명령어가 수행될 때, 컴퓨터로 하여금 상기 임의의 가능한 구현 방식에서의 응시점 판단 방법을 수행하도록 한다.

상기 컴퓨터 프로그램 제품은 구체적으로 하드웨어, 소프트웨어 또는 이들의 결합된 방식에 의해 구현될 수 있다. 선택적 예에 있어서, 상기 컴퓨터 프로그램 제품은 구체적으로 컴퓨터 저장 매체로 구현되며, 다른 하나의 선택적 예에 있어서, 상기 컴퓨터 프로그램 제품은 구체적으로 소프트웨어 개발 키트（Software Development Kit, SDK） 등과 같은 소프트웨어 제품으로 구현될 수 있다.

하나 또는 복수 개의 선택적 실시 형태에서, 본 발명의 실시예는 또한 응시점 판단 방법 및 이에 대응한 장치, 전자 기기, 컴퓨터 저장 매체, 컴퓨터 프로그램 및 컴퓨터 프로그램 제품을 제공하며, 여기서, 상기 방법은, 제1 장치가 제2 장치로 응시점 판단 지시를 송신하는 단계 - 상기 지시가 제2 장치로 하여금 상기 임의의 가능한 실시예에서의 응시점 판단 방법을 수행하도록 함 - ; 제1 장치가 제2 장치에 의해 송신된 응시점 판단의 결과를 수신하는 단계를 포함한다.

일부 실시예에서, 상기 응시점 판단 지시는 구체적으로 호출 명령어일 수 있으며, 제1 장치는 호출의 방식을 통해 제2 장치가 응시점 판단을 수행하도록 지시할 수 있고, 상응적으로, 호출 명령어를 수신하는 것에 응답하여, 제2 장치는 상기 응시점 판단 방법에서의 임의의 실시예 중의 단계 및 프로세스 중 적어도 하나를 수행할 수 있다.

이해해야 할 것은, 본 발명의 실시예에서의 "제1", "제2" 등 용어는 단지 구분하기 위한 것이지, 본 발명의 실시예를 한정하기 위한 것이 아님을 이해해야 한다.

또한, 본 발명에 있어서, "복수 개"는 둘 또는 둘 이상을 의미하며, "적어도 하나"는 하나, 둘 또는 둘 이상을 의미할 수 있음을 이해해야 한다.

또한, 본 발명에서 언급된 임의의 부품, 데이터 또는 구조는 일반적으로 명확하게 한정되지 않거나 또는 문맥 상 상반적 계시가 주어지지 않은 경우에는 하나 또는 복수 개로 이해해야 한다

또한, 본 발명의 각 실시예들의 설명은 각 실시예들 사이의 상이한 부분을 치중하여 강조하였으며, 이들의 동일하거나 유사한 부분은 서로 참조될 수 있다. 간결성을 위해, 일일히 설명하지 않음을 이해해야 한다.

본 발명의 방법 및 장치는 다수의 형태로 구현할 수 있다. 예를 들어, 소프트웨어, 하드웨어, 펌웨어 또는 소프트웨어, 하드웨어, 펌웨어의 임의의 조합에 의해 본 발명의 방법 및 장치를 구현할 수 있다. 특별히 달리 언급되지 않는 한, 상기 방법의 단계의 상기 순서는 단지 설명을 위한 것뿐이며, 본 발명의 방법의 단계는 상기에서 구체적으로 설명한 순서에 한정되지 않는다. 또한, 일부 실시예에서, 본 발명은 기록 매체에 기록된 프로그램으로 구현될 수 있으며, 이러한 프로그램은 본 발명의 방법을 구현하기 위한 머신 판독 가능한 명령어를 포함한다. 따라서, 본 발명은 또한 본 발명의 방법을 수행하기 위한 프로그램을 저장하는 기록 매체를 포함한다.

본 발명의 설명은 예시 및 설명을 목적으로 제시되었으며, 완전하게 개시하거나 또는 본 발명이 개시된 형태에 한정된 것은 아니다. 많은 수정 및 변화는 당업자에게 있어서 자명한 것이다. 실시예에 대한 선택 및 설명은 본 출원의 원리 및 실제 응용을 더욱 잘 설명하기 위한 것이며, 당업자가 본 출원을 이해하고 특정 용도에 적합한 다양한 수정을 가진 각종 실시예를 디자인하도록 하기 위한 것이다.

Claims (35)

1. 응시점 판단 방법으로서,
   얼굴을 포함하는 이미지에서의 얼굴의 적어도 한쪽의 눈의 안부 특징점의 2 차원 좌표를 획득하는 단계 - 상기 안부 특징점은 안구 중심 영역 특징점을 포함함 - ;
   상기 안구 중심 영역 특징점의 2 차원 좌표에 기반하여, 상기 이미지에서의 상기 얼굴에 대응하는 3 차원 얼굴 모델에서의 대응되는 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표를 획득하는 단계; 및
   상기 안부 특징점에서의 상기 안구 중심 영역 특징점 이외의 특징점의 2 차원 좌표 및 상기 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표에 따라, 상기 이미지의 상기 얼굴의 눈 응시점 위치에 대한 판단 결과를 얻는 단계를 포함하며,
   상기 얼굴을 포함하는 이미지에서의 얼굴의 적어도 한쪽의 눈의 안부 특징점의 2 차원 좌표를 획득하는 단계는,
   상기 이미지에 대해 특징 추출을 진행하여, 상기 이미지에서의 얼굴 특징점의 2 차원 좌표를 획득하는 단계; 및
   상기 이미지에서의 상기 얼굴 특징점의 2 차원 좌표에 기반하여, 상기 이미지에서의 상기 얼굴의 적어도 한쪽의 눈의 안부 특징점의 2 차원 좌표를 획득하는 단계를 포함하고,
   상기 이미지에서의 상기 얼굴 특징점의 2 차원 좌표에 기반하여, 상기 이미지에서의 상기 얼굴의 적어도 한쪽의 눈의 안부 특징점의 2 차원 좌표를 획득하는 단계는,
   상기 이미지에서의 얼굴의 눈영역의 특징점의 2 차원 좌표에 따라, 상기 이미지로부터 대응되는 눈영역을 포함하는 직사각형 이미지를 절취하는 단계; 및
   상기 직사각형 이미지에 대해 특징 추출을 진행하여, 상기 이미지에서의 상기 얼굴의 적어도 한쪽의 눈의 안부 특징점의 2 차원 좌표를 획득하는 단계를 포함하며,
   상기 안부 특징점에서의 상기 안구 중심 영역 특징점 이외의 특징점의 2 차원 좌표 및 상기 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표에 따라, 상기 이미지의 상기 얼굴의 눈 응시점 위치에 대한 판단 결과를 얻는 단계는,
   상기 안부 특징점에서의 상기 안구 중심 영역 특징점 이외의 특징점의 2 차원 좌표 및 상기 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표에 따라, 상기 이미지에서 상기 얼굴의 눈의 응시 점수를 얻는 단계; 및
   상기 응시 점수를 기설정 임계값과 비교하여, 상기 이미지의 상기 얼굴의 눈 응시점 위치에 대한 판단 결과를 얻는 단계를 포함하는 것을 특징으로 하는 응시점 판단 방법.
2. 제1항에 있어서,
   상기 안부 특징점은 안검선 특징점 및 안구 윤곽 특징점을 더 포함하는 것을 특징으로 하는 응시점 판단 방법.
3. 삭제
4. 삭제
5. 제1항에 있어서,
   상기 이미지에서의 상기 얼굴의 눈영역의 특징점의 2 차원 좌표에 따라, 상기 이미지로부터 대응되는 눈영역을 포함하는 직사각형 이미지를 절취하는 단계는,
   상기 이미지에서의 상기 얼굴의 한쪽 눈영역의 특징점의 2 차원 좌표에 따라, 상기 이미지로부터 대응되는 눈영역을 포함하는 한 장의 직사각형 이미지를 절취하는 단계를 포함하며,
   상기 직사각형 이미지에 대해 특징 추출을 진행하여, 상기 이미지에서의 상기 얼굴의 적어도 한쪽의 눈의 안부 특징점의 2 차원 좌표를 획득하는 단계는,
   상기 직사각형 이미지에 대해 특징 추출을 진행하여, 상기 이미지에서의 상기 얼굴의 한쪽 눈의 안부 특징점의 2 차원 좌표를 획득하는 단계; 또는,
   상기 직사각형 이미지에 대해 미러링 처리를 진행하는 단계;
   상기 직사각형 이미지 및 상기 미러링 처리 후의 직사각형 이미지에 대해 특징 추출을 진행하여, 상기 이미지에서의 상기 얼굴의 양쪽 눈의 안부 특징점의 2 차원 좌표를 획득하는 단계를 포함하는 것을 특징으로 하는 응시점 판단 방법.
6. 제1항 또는 제2항에 있어서,
   상기 안구 중심 영역 특징점의 2 차원 좌표에 기반하여, 상기 이미지에서의 상기 얼굴에 대응하는 3 차원 얼굴 모델에서의 대응되는 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표를 획득하는 단계는,
   상기 이미지에서의 상기 얼굴에 따라, 대응되는 3 차원 얼굴 모델을 생성하는 단계; 및
   상기 안구 중심 영역 특징점의 2 차원 좌표에 기반하여, 상기 3 차원 얼굴 모델에서의 대응되는 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표를 획득하는 단계를 포함하는 것을 특징으로 하는 응시점 판단 방법.
7. 제6항에 있어서,
   상기 이미지에서의 상기 얼굴에 따라, 대응되는 3 차원 얼굴 모델을 생성하는 단계는,
   상기 이미지에서의 상기 얼굴의 키포인트와 선험적 3 차원 얼굴 모델의 키포인트 사이의 대응 관계에 따라, 상기 얼굴에 대응하는 3 차원 얼굴 모델을 생성하는 단계를 포함하는 것을 특징으로 하는 응시점 판단 방법.
8. 삭제
9. 제1항에 있어서,
   상기 응시 점수를 기설정 임계값과 비교하여, 상기 이미지의 상기 얼굴의 눈 응시점 위치에 대한 판단 결과를 얻는 단계는,
   상기 응시 점수가 상기 기설정 임계값보다 큰 것에 따라, 상기 이미지에서 상기 얼굴의 눈 응시점이 기설정 영역 내에 있는 것을 얻는 단계; 또는
   상기 응시 점수가 상기 기설정 임계값보다 작거나 같은 것에 따라, 상기 이미지에서 상기 얼굴의 눈 응시점이 기설정 영역 밖에 있는 것을 얻는 단계를 포함하는 것을 특징으로 하는 응시점 판단 방법.
10. 제9항에 있어서,
    상기 기설정 임계값은 진양성 비율과 위양성 비율의 차이 값을 포함하며; 상기 진양성 비율은 이미지에서의 얼굴의 눈 응시점이 기설정 영역 내에 있을 경우에 정확하게 판단하는 비율을 포함하고; 상기 위양성 비율은 이미지에서의 얼굴의 눈 응시점이 기 설정 영역 밖에 있을 경우에 틀리게 판단하는 비율을 포함하는것을 특징으로 하는 응시점 판단 방법.
11. 제9항에 있어서,
    상기 기설정 영역은 스크린 영역의 일부 또는 전부를 포함하는 것을 특징으로 하는 응시점 판단 방법.
12. 제9항에 있어서,
    상기 응시 점수를 기설정 임계값과 비교하여, 상기 이미지의 상기 얼굴의 눈 응시점 위치에 대한 판단 결과를 얻은 후,
    상기 판단 결과에 따라, 상기 이미지에 대해 상응한 처리를 진행하는 단계를 더 포함하는 것을 특징으로 하는 응시점 판단 방법.
13. 제12항에 있어서,
    상기 판단 결과에 따라, 상기 이미지에 대해 상응한 처리를 진행하는 단계는,
    상기 이미지에서 상기 얼굴의 눈 응시점이 기설정 영역 내에 있는 것에 응답하여, 제1 기설정 디스플레이 방식에 따라, 상기 이미지를 디스플레이하는 단계; 및
    상기 이미지에서 상기 얼굴의 눈 응시점이 기설정 영역 밖에 있는 것에 응답하여, 제2 기설정 디스플레이 방식에 따라, 상기 이미지를 디스플레이하는 단계를 포함하는 것을 특징으로 하는 응시점 판단 방법.
14. 제1항에 있어서,
    상기 안부 특징점에서의 상기 안구 중심 영역 특징점 이외의 특징점의 2 차원 좌표 및 상기 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표에 따라, 상기 이미지에서 상기 얼굴의 눈의 응시 점수를 얻는 단계는,
    상기 안부 특징점에서의 상기 안구 중심 영역 특징점 이외의 특징점의 2 차원 좌표 및 상기 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표에 따라, 신경망을 통해, 상기 이미지에서 상기 얼굴의 눈의 응시 점수를 얻는 단계를 포함하는 것을 특징으로 하는 응시점 판단 방법.
15. 제14항에 있어서,
    상기 안구 중심 영역 특징점의 2 차원 좌표에 기반하여, 상기 이미지에서의 상기 얼굴에 대응하는 3 차원 얼굴 모델에서의 대응되는 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표를 획득한 후,
    기설정된 포맷에 따라, 상기 안부 특징점에서의 상기 안구 중심 영역 특징점 이외의 특징점의 2 차원 좌표 및 상기 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표의 포맷에 대해 조정하는 단계를 더 포함하며,
    상기 안부 특징점에서의 상기 안구 중심 영역 특징점 이외의 특징점의 2 차원 좌표 및 상기 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표에 따라, 신경망을 통해, 상기 이미지에서 상기 얼굴의 눈의 응시 점수를 얻는 단계는,
    포맷 조정 후의 상기 안부 특징점에서의 상기 안구 중심 영역 특징점 이외의 특징점의 2 차원 좌표 및 상기 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표에 따라, 신경망을 통해, 상기 이미지에서 상기 얼굴의 눈의 응시 점수를 얻는 단계를 포함하는 것을 특징으로 하는 응시점 판단 방법.
16. 제1항 또는 제2항에 있어서,
    표정 식별, 단말기 지불, 단말기 잠금, 단말기 잠금 해제 중 어느 하나 또는 임의의 조합에 적용되는 것을 특징으로 하는 응시점 판단 방법.
17. 응시점 판단 장치로서,
    얼굴을 포함하는 이미지에서의 얼굴의 적어도 한쪽의 눈의 안부 특징점의 2 차원 좌표를 획득하며 - 상기 안부 특징점은 안구 중심 영역 특징점을 포함함 - ; 및 상기 안구 중심 영역 특징점의 2 차원 좌표에 기반하여, 상기 이미지에서의 상기 얼굴에 대응하는 3 차원 얼굴 모델에서의 대응되는 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표를 획득하도록 구성된 획득 유닛; 및
    상기 안부 특징점에서의 상기 안구 중심 영역 특징점 이외의 특징점의 2 차원 좌표 및 상기 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표에 따라, 상기 이미지의 상기 얼굴의 눈 응시점 위치에 대한 판단 결과를 얻도록 구성된 판단 유닛을 포함하고,
    상기 획득 유닛은 또한 상기 이미지에 대해 특징 추출을 진행하여, 상기 이미지에서의 얼굴 특징점의 2 차원 좌표를 획득하고;
    상기 이미지에서의 상기 얼굴 특징점의 2 차원 좌표에 기반하여, 상기 이미지에서의 상기 얼굴의 적어도 한쪽의 눈의 안부 특징점의 2 차원 좌표를 획득하며;
    상기 이미지에서의 상기 얼굴의 눈영역의 특징점의 2 차원 좌표에 따라, 상기 이미지로부터 대응되는 눈영역을 포함하는 직사각형 이미지를 절취하고; 및
    상기 직사각형 이미지에 대해 특징 추출을 진행하여, 상기 이미지에서의 상기 얼굴의 적어도 한쪽의 눈의 안부 특징점의 2 차원 좌표를 획득하도록 구성되고,
    상기 판단 유닛은 또한 상기 안부 특징점에서의 상기 안구 중심 영역 특징점 이외의 특징점의 2 차원 좌표 및 상기 안구 중심 영역 특징점의 기설정 3 차원 좌표계에서의 3 차원 좌표에 따라, 상기 이미지에서 상기 얼굴의 눈의 응시 점수를 얻고; 및
    상기 응시 점수를 기설정 임계값과 비교하여, 상기 이미지의 상기 얼굴의 눈 응시점 위치에 대한 판단 결과를 얻도록 구성된 것임을 특징으로 하는 응시점 판단 장치.
18. 전자 기기로서,
    수행 가능한 명령어를 저장하도록 구성된 메모리; 및
    상기 수행 가능한 명령어를 수행하여 제1항 또는 제2항에 따른 응시점 판단 방법을 완성하기 위해, 상기 메모리와 통신하도록 구성된 프로세서를 포함하는 것을 특징으로 하는 전자 기기.
19. 컴퓨터 판독 가능한 명령어를 저장하기 위한 컴퓨터 저장 매체로서,
    상기 명령어가 수행될 때, 제1항 또는 제2항에 따른 응시점 판단 방법을 구현하는 것을 특징으로 하는 컴퓨터 저장 매체.
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제
31. 삭제
32. 삭제
33. 삭제
34. 삭제
35. 삭제

Images