KR102391792B1

KR102391792B1 - 생체 검출 방법, 장치 및 시스템, 전자 기기 및 저장 매체

Info

Publication number: KR102391792B1
Application number: KR1020207015615A
Authority: KR
Inventors: 티안펭 바오; 리웨이 우; 카이 양
Original assignee: 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date: 2018-07-27
Filing date: 2019-04-11
Publication date: 2022-04-28
Also published as: JP2021503659A; KR20200081450A; US20200279120A1; WO2020019760A1; US11321575B2; SG11202005080VA; JP7026225B2; CN110852134A

Abstract

본 발명은 생체 검출 방법, 장치 및 시스템, 전자 기기 및 저장 매체에 관한 것이다. 상기 방법은, 깊이 센서에 의해 수집된 제1 깊이 맵 및 이미지 센서에 의해 수집된 제1 목표 이미지를 획득하는 단계; 상기 제1 깊이 맵에 대해 품질 검출을 수행하여, 상기 제1 깊이 맵의 품질 검출 결과를 얻는 단계; 및 상기 제1 깊이 맵의 품질 검출 결과에 기반하여, 상기 제1 목표 이미지에서 목표 대상의 생체 검출 결과를 결정하는 단계를 포함한다. 본 발명은 생체 검출의 정확성을 향상시킬 수 있다.

Description

생체 검출 방법, 장치 및 시스템, 전자 기기 및 저장 매체

관련 출원의 상호 참조

본 출원은 2018년 7월 27일에 중국 특허청에 제출한 출원 번호가 201810846587.6이고, 출원 명칭이 “생체 검출 방법, 장치 및 시스템, 전자 기기 및 저장 매체”인 중국 특허 출원의 우선권을 요청하며, 그 전부 내용을 원용하여 본 출원에 결합하였다.

본 발명은 컴퓨터 비전 기술 분야에 관한 것으로, 특히 생체 검출 방법, 장치 및 시스템, 전자 기기 및 저장 매체에 관한 것이다.

현재, 얼굴 인식 기술은 얼굴 잠금해제, 얼굴 인식 지불, 무인 슈퍼마켓 및 비디오 감시 등 시나리오에 널리 사용된다. 그러나, 얼굴 인식 기술은, 얼굴의 실물 사진, 얼굴의 디지털 사진 또는 얼굴을 포함하는 비디오 등 형태의 비생체 얼굴에 의해 공격 받을 위험이 있다. 따라서, 생체 검출은 얼굴 인식에서 필수적인 부분이다. 본 발명은 공개 번호가 CN105407069A(공개일: 2016.03.16)인 중국 특허 출원을 선행기술문헌으로 한다.

이를 감안하여, 본 발명은 생체 검출 기술방안을 제공한다.

본 발명의 일 측면에 따르면, 생체 검출 방법을 제공하며, 상기 방법은, 깊이 센서에 의해 수집된 제1 깊이 맵 및 이미지 센서에 의해 수집된 제1 목표 이미지를 획득하는 단계; 상기 제1 깊이 맵에 대해 품질 검출을 수행하여, 상기 제1 깊이 맵의 품질 검출 결과를 얻는 단계; 및 상기 제1 깊이 맵의 품질 검출 결과에 기반하여, 상기 제1 목표 이미지에서 목표 대상의 생체 검출 결과를 결정하는 단계를 포함한다.

하나의 가능한 구현형태에 있어서, 상기 깊이 센서는 비행 시간(Time Of Flight, TOF) 센서 또는 구조광 센서이다.

하나의 가능한 구현형태에 있어서, 상기 이미지 센서는 RGB 센서 또는 근적외선 센서이다.

하나의 가능한 구현형태에 있어서, 상기 제1 깊이 맵에 대해 품질 검출을 수행하여, 상기 제1 깊이 맵의 품질 검출 결과를 얻는 단계는, 상기 제1 깊이 맵에서 상기 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치를 결정하는 단계; 및 상기 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치에 기반하여, 상기 제1 깊이 맵의 품질 검출 결과를 얻는 단계를 포함한다.

하나의 가능한 구현형태에 있어서, 상기 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치에 기반하여, 상기 제1 깊이 맵의 품질 검출 결과를 얻는 단계는, 상기 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치가 상기 목표 대상에 대응하는 영역에서 차지하는 비율에 기반하여, 상기 제1 깊이 맵의 품질 검출 결과를 얻는 단계를 포함한다.

하나의 가능한 구현형태에 있어서, 상기 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치에 기반하여, 상기 제1 깊이 맵의 품질 검출 결과를 얻는 단계는, 상기 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치 및 상기 적어도 하나의 실효 위치에 대응하는 가중치에 기반하여, 상기 제1 깊이 맵의 품질 검출 결과를 얻는 단계를 포함한다.

하나의 가능한 구현형태에 있어서, 상기 제1 깊이 맵에서 상기 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치를 결정하는 단계는, 상기 목표 대상에 대응하는 영역에서 깊이 값이 0인 위치를 상기 실효 위치로 결정하는 단계를 포함한다.

하나의 가능한 구현형태에 있어서, 상기 방법은, 상기 제1 목표 이미지에 대해 키포인트 검출을 수행하여, 상기 목표 대상의 키포인트 정보를 얻는 단계; 및 상기 목표 대상의 키포인트 정보에 기반하여, 상기 제1 깊이 맵으로부터 상기 목표 대상에 대응하는 영역을 결정하는 단계를 더 포함한다.

하나의 가능한 구현형태에 있어서, 상기 제1 깊이 맵에 대해 품질 검출을 수행하여, 상기 제1 깊이 맵의 품질 검출 결과를 얻는 단계는, 상기 제1 깊이 맵을 제1 뉴럴 네트워크에 입력하여 처리를 수행함으로써, 상기 제1 깊이 맵에 대응하는 품질 신뢰도를 얻는 단계; 및 제1 깊이 맵에 대응하는 품질 신뢰도에 기반하여, 상기 제1 깊이 맵의 품질 검출 결과를 얻는 단계를 포함한다.

하나의 가능한 구현형태에 있어서, 상기 제1 깊이 맵에 대응하는 품질 신뢰도에 기반하여, 상기 제1 깊이 맵의 품질 검출 결과를 얻는 단계는, 상기 제1 깊이 맵에 대응하는 품질 신뢰도가 제1 임계값보다 큰 것에 응답하여, 상기 제1 깊이 맵의 품질 검출 결과를 품질 합격인 것으로 결정하는 단계; 및 상기 제1 깊이 맵에 대응하는 품질 신뢰도가 상기 제1 임계값보다 작거나 같은 것에 응답하여, 상기 제1 깊이 맵의 품질 검출 결과를 품질 불합격인 것으로 결정하는 단계 중 적어도 하나를 포함한다.

하나의 가능한 구현형태에 있어서, 상기 제1 목표 이미지에 대해 키포인트 검출을 수행하기 전에, 상기 방법은, 상기 깊이 센서의 파라미터 및 상기 이미지 센서의 파라미터에 따라, 상기 제1 깊이 맵 및 상기 제1 목표 이미지를 정렬시키는 단계를 더 포함한다.

하나의 가능한 구현형태에 있어서, 상기 제1 깊이 맵의 품질 검출 결과에 기반하여, 상기 제1 목표 이미지에서 목표 대상의 생체 검출 결과를 결정하는 단계는, 상기 제1 깊이 맵의 품질 검출 결과가 품질 합격인 것에 응답하여, 상기 제1 깊이 맵 및 상기 제1 목표 이미지에 기반하여, 상기 목표 대상의 생체 검출 결과를 얻는 단계를 포함한다.

하나의 가능한 구현형태에 있어서, 상기 제1 깊이 맵 및 상기 제1 목표 이미지에 기반하여, 상기 목표 대상의 생체 검출 결과를 얻는 단계는, 상기 제1 깊이 맵 및 상기 제1 목표 이미지에 포함된 상기 목표 대상의 키포인트 정보에 기반하여, 상기 목표 대상의 생체 검출 결과를 얻는 단계를 포함한다.

하나의 가능한 구현형태에 있어서, 상기 제1 깊이 맵 및 상기 제1 목표 이미지에 포함된 상기 목표 대상의 키포인트 정보에 기반하여, 상기 목표 대상의 생체 검출 결과를 얻는 단계는, 상기 제1 깊이 맵 및 상기 목표 대상의 키포인트 정보에 기반하여, 제1 특징 정보를 얻는 단계; 상기 목표 대상의 키포인트 정보에 기반하여, 제2 특징 정보를 얻는 단계; 및 상기 제1 특징 정보 및 상기 제2 특징 정보에 기반하여, 상기 목표 대상의 생체 검출 결과를 결정하는 단계를 포함한다.

하나의 가능한 구현형태에 있어서, 상기 제1 깊이 맵 및 상기 목표 대상의 키포인트 정보에 기반하여, 제1 특징 정보를 얻는 단계는, 상기 제1 깊이 맵 및 상기 목표 대상의 키포인트 정보를 제2 뉴럴 네트워크에 입력하여 처리를 수행함으로써, 제1 특징 정보를 얻는 단계를 포함하며; 상기 목표 대상의 키포인트 정보에 기반하여, 제2 특징 정보를 얻는 단계는, 상기 제1 목표 이미지 및 상기 목표 대상의 키포인트 정보를 제3 뉴럴 네트워크에 입력하여 처리를 수행함으로써, 제2 특징 정보를 얻는 단계를 포함한다.

하나의 가능한 구현형태에 있어서, 상기 제1 깊이 맵 및 상기 목표 대상의 키포인트 정보에 기반하여, 제1 특징 정보를 얻는 단계는, 상기 제1 깊이 맵 및 상기 목표 대상의 키포인트 정보에 대해 컨볼루션 처리를 수행하여, 제1 컨볼루션 결과를 얻는 단계; 상기 제1 컨볼루션 결과에 대해 다운 샘플링 처리를 수행하여, 제1 다운 샘플링 결과를 얻는 단계; 및 상기 제1 다운 샘플링 결과에 기반하여, 제1 특징 정보를 얻는 단계를 포함한다.

하나의 가능한 구현형태에 있어서, 상기 목표 대상의 키포인트 정보에 기반하여, 제2 특징 정보를 얻는 단계는, 상기 제1 목표 이미지 및 상기 목표 대상의 키포인트 정보에 대해 컨볼루션 처리를 수행하여, 제2 컨볼루션 결과를 얻는 단계; 상기 제2 컨볼루션 결과에 대해 다운 샘플링 처리를 수행하여, 제2 다운 샘플링 결과를 얻는 단계; 및 상기 제2 다운 샘플링 결과에 기반하여, 제2 특징 정보를 얻는 단계를 포함한다.

하나의 가능한 구현형태에 있어서, 상기 제1 특징 정보 및 상기 제2 특징 정보에 기반하여, 상기 목표 대상의 생체 검출 결과를 결정하는 단계는, 상기 제1 특징 정보 및 상기 제2 특징 정보에 대해 완전 연결 처리를 수행하여, 제3 특징 정보를 얻는 단계; 및 상기 제3 특징 정보에 따라, 상기 목표 대상의 생체 검출 결과를 결정하는 단계를 포함한다.

하나의 가능한 구현형태에 있어서, 상기 제3 특징 정보에 따라, 생체 검출 결과를 결정하는 단계는, 상기 제3 특징 정보에 기반하여, 상기 목표 대상이 생체일 확률을 얻는 단계; 및 상기 목표 대상이 생체일 확률에 따라, 상기 목표 대상의 생체 검출 결과를 결정하는 단계를 포함한다.

하나의 가능한 구현형태에 있어서, 상기 제1 깊이 맵의 품질 검출 결과에 기반하여, 상기 제1 목표 이미지에서 목표 대상의 생체 검출 결과를 결정하는 단계는, 상기 제1 깊이 맵의 품질 검출 결과가 품질 불합격인 것에 응답하여, 상기 제1 깊이 맵을 사용하지 않는 조건 하에서 상기 목표 대상에 대해 생체 검출을 수행함으로써, 상기 목표 대상의 생체 검출 결과를 얻는 단계를 포함한다.

하나의 가능한 구현형태에 있어서, 상기 제1 깊이 맵의 품질 검출 결과에 기반하여, 상기 제1 목표 이미지에서 목표 대상의 생체 검출 결과를 결정하는 단계는, 상기 제1 깊이 맵의 품질 검출 결과가 품질 불합격이고 상기 제1 목표 이미지가 속하는 비디오 시퀀스에 대한 품질 검출 재시도 횟수가 제2 임계값에 도달한 것에 응답하여, 상기 제1 깊이 맵을 사용하지 않는 조건 하에서 상기 목표 대상에 대해 생체 검출을 수행함으로써, 상기 목표 대상의 생체 검출 결과를 얻는 단계를 포함한다.

본 발명의 일 측면에 따르면, 생체 검출 장치를 제공하며, 상기 장치는, 깊이 센서에 의해 수집된 제1 깊이 맵 및 이미지 센서에 의해 수집된 제1 목표 이미지를 획득하기 위한 획득 모듈; 상기 제1 깊이 맵에 대해 품질 검출을 수행하여, 상기 제1 깊이 맵의 품질 검출 결과를 얻기 위한 품질 검출 모듈; 및 상기 제1 깊이 맵의 품질 검출 결과에 기반하여, 상기 제1 목표 이미지에서 목표 대상의 생체 검출 결과를 결정하기 위한 제1 결정 모듈을 포함한다.

하나의 가능한 구현형태에 있어서, 상기 깊이 센서는 비행 시간(TOF) 센서 또는 구조광 센서이다.

하나의 가능한 구현형태에 있어서, 상기 품질 검출 모듈은, 상기 제1 깊이 맵에서 상기 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치를 결정하기 위한 제1 결정 서브 모듈; 및 상기 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치에 기반하여, 상기 제1 깊이 맵의 품질 검출 결과를 얻기 위한 제2 결정 서브 모듈을 포함한다.

하나의 가능한 구현형태에 있어서, 상기 제2 결정 서브 모듈은, 상기 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치가 상기 목표 대상에 대응하는 영역에서 차지하는 비율에 기반하여, 상기 제1 깊이 맵의 품질 검출 결과를 얻기 위한 것이다.

하나의 가능한 구현형태에 있어서, 상기 제2 결정 서브 모듈은, 상기 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치 및 상기 적어도 하나의 실효 위치에 대응하는 가중치에 기반하여, 상기 제1 깊이 맵의 품질 검출 결과를 얻기 위한 것이다.

하나의 가능한 구현형태에 있어서, 상기 제1 결정 서브 모듈은, 상기 목표 대상에 대응하는 영역에서 깊이 값이 0인 위치를 상기 실효 위치로 결정하는 단계를 포함한다.

하나의 가능한 구현형태에 있어서, 상기 장치는, 상기 제1 목표 이미지에 대해 키포인트 검출을 수행하여, 상기 목표 대상의 키포인트 정보를 얻기 위한 키포인트 검출 모듈; 및 상기 목표 대상의 키포인트 정보에 기반하여, 상기 제1 깊이 맵으로부터 상기 목표 대상에 대응하는 영역을 결정하기 위한 제2 결정 모듈을 더 포함한다.

하나의 가능한 구현형태에 있어서, 상기 품질 검출 모듈은, 상기 제1 깊이 맵을 제1 뉴럴 네트워크에 입력하여 처리를 수행함으로써, 상기 제1 깊이 맵에 대응하는 품질 신뢰도를 얻기 위한 처리 서브 모듈; 및 제1 깊이 맵에 대응하는 품질 신뢰도에 기반하여, 상기 제1 깊이 맵의 품질 검출 결과를 얻기 위한 제3 결정 서브 모듈을 포함한다.

하나의 가능한 구현형태에 있어서, 상기 제3 결정 서브 모듈은, 상기 제1 깊이 맵에 대응하는 품질 신뢰도가 제1 임계값보다 큰 것에 응답하여, 상기 제1 깊이 맵의 품질 검출 결과를 품질 합격인 것으로 결정하는 것; 및 상기 제1 깊이 맵에 대응하는 품질 신뢰도가 상기 제1 임계값보다 작거나 같은 것에 응답하여, 상기 제1 깊이 맵의 품질 검출 결과를 품질 불합격인 것으로 결정하는 것 중 적어도 하나를 위한 것이다.

하나의 가능한 구현형태에 있어서, 상기 장치는, 상기 깊이 센서의 파라미터 및 상기 이미지 센서의 파라미터에 따라, 상기 제1 깊이 맵 및 상기 제1 목표 이미지를 정렬시키기 위한 정렬 모듈을 더 포함한다.

하나의 가능한 구현형태에 있어서, 상기 제1 결정 모듈은, 상기 제1 깊이 맵의 품질 검출 결과가 품질 합격인 것에 응답하여, 상기 제1 깊이 맵 및 상기 제1 목표 이미지에 기반하여, 상기 목표 대상의 생체 검출 결과를 얻기 위한 것이다.

하나의 가능한 구현형태에 있어서, 상기 제1 결정 모듈은, 상기 제1 깊이 맵 및 상기 제1 목표 이미지에 포함된 상기 목표 대상의 키포인트 정보에 기반하여, 상기 목표 대상의 생체 검출 결과를 얻기 위한 것이다.

하나의 가능한 구현형태에 있어서, 상기 제1 결정 모듈은, 상기 제1 깊이 맵 및 상기 목표 대상의 키포인트 정보에 기반하여, 제1 특징 정보를 얻기 위한 제4 결정 서브 모듈; 상기 목표 대상의 키포인트 정보에 기반하여, 제2 특징 정보를 얻기 위한 제5 결정 서브 모듈; 및 상기 제1 특징 정보 및 상기 제2 특징 정보에 기반하여, 상기 목표 대상의 생체 검출 결과를 결정하기 위한 제6 결정 서브 모듈을 포함한다.

하나의 가능한 구현형태에 있어서, 상기 제4 결정 서브 모듈은, 상기 제1 깊이 맵 및 상기 목표 대상의 키포인트 정보를 제2 뉴럴 네트워크에 입력하여 처리를 수행함으로써, 제1 특징 정보를 얻고; 상기 제5 결정 서브 모듈은, 상기 제1 목표 이미지 및 상기 목표 대상의 키포인트 정보를 제3 뉴럴 네트워크에 입력하여 처리를 수행함으로써, 제2 특징 정보를 얻기 위한 것이다.

하나의 가능한 구현형태에 있어서, 상기 제4 결정 서브 모듈은, 상기 제1 깊이 맵 및 상기 목표 대상의 키포인트 정보에 대해 컨볼루션 처리를 수행하여, 제1 컨볼루션 결과를 얻고; 상기 제1 컨볼루션 결과에 대해 다운 샘플링 처리를 수행하여, 제1 다운 샘플링 결과를 얻으며; 상기 제1 다운 샘플링 결과에 기반하여, 제1 특징 정보를 얻기 위한 것이다.

하나의 가능한 구현형태에 있어서, 상기 제5 결정 서브 모듈은, 상기 제1 목표 이미지 및 상기 목표 대상의 키포인트 정보에 대해 컨볼루션 처리를 수행하여, 제2 컨볼루션 결과를 얻고; 상기 제2 컨볼루션 결과에 대해 다운 샘플링 처리를 수행하여, 제2 다운 샘플링 결과를 얻으며; 상기 제2 다운 샘플링 결과에 기반하여, 제2 특징 정보를 얻기 위한 것이다.

하나의 가능한 구현형태에 있어서, 상기 제6 결정 서브 모듈은, 상기 제1 특징 정보 및 상기 제2 특징 정보에 대해 완전 연결 처리를 수행하여, 제3 특징 정보를 얻고; 상기 제3 특징 정보에 따라, 상기 목표 대상의 생체 검출 결과를 결정하기 위한 것이다.

하나의 가능한 구현형태에 있어서, 상기 제6 결정 서브 모듈은, 상기 제3 특징 정보에 기반하여, 상기 목표 대상이 생체일 확률을 얻고; 상기 목표 대상이 생체일 확률에 따라, 상기 목표 대상의 생체 검출 결과를 결정하기 위한 것이다.

하나의 가능한 구현형태에 있어서, 상기 제1 결정 모듈은, 상기 제1 깊이 맵의 품질 검출 결과가 품질 불합격인 것에 응답하여, 상기 제1 깊이 맵을 사용하지 않는 조건 하에서 상기 목표 대상에 대해 생체 검출을 수행함으로써, 상기 목표 대상의 생체 검출 결과를 얻기 위한 것이다.

하나의 가능한 구현형태에 있어서, 상기 제1 결정 모듈은, 상기 제1 깊이 맵의 품질 검출 결과가 품질 불합격이고 상기 제1 목표 이미지가 속하는 비디오 시퀀스에 대한 품질 검출 재시도 횟수가 제2 임계값에 도달한 것에 응답하여, 상기 목표 대상의 생체 검출 결과를 비생체인 것으로 결정하거나, 상기 제1 깊이 맵을 사용하지 않는 조건 하에서 상기 목표 대상에 대해 생체 검출을 수행하여, 상기 목표 대상의 생체 검출 결과를 얻기 위한 것이다.

본 발명의 일 측면에 따르면, 전자 기기를 제공하며, 상기 전자 기기는, 프로세서; 및 프로세서 실행 가능한 명령어를 저장하기 위한 메모리를 포함하고; 여기서, 상기 프로세서는 상기 생체 검출 방법 실행하도록 구성된다.

본 발명의 일 측면에 따르면, 컴퓨터 프로그램 명령어가 저장된 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 컴퓨터 판독 가능 저장 매체는, 상기 컴퓨터 프로그램 명령어가 프로세서에 의해 실행될 때, 상기 생체 검출 방법을 구현한다.

본 발명의 일 측면에 따르면, 생체 검출 시스템을 제공하며, 상기 생체 검출 시스템은, 상기 전자 기기, 상기 깊이 센서 및 상기 이미지 센서를 포함한다.

본 발명의 일 측면에 따르면, 생체 검출 시스템을 제공하며, 상기 생체 검출 시스템은, 상기 컴퓨터 판독 가능한 저장 매체, 상기 깊이 센서 및 상기 이미지 센서를 포함한다.

본 발명의 일 측면에 따르면, 전자 기기를 제공하며, 상기 전자 기기는, 목표 대상의제1 깊이 맵을 검출하기 위한 깊이 센서; 상기 목표 대상을 포함하는 제1 목표 이미지를 수집하기 위한 이미지 센서; 및 상기 제1 깊이 맵에 대해 품질 검출을 수행하여, 상기 제1 깊이 맵의 품질 검출 결과를 얻고, 상기 제1 깊이 맵의 품질 검출 결과에 기반하여, 상기 제1 목표 이미지에서 목표 대상의 생체 검출 결과를 결정하기 위한 프로세서를 포함한다.

하나의 가능한 구현형태에 있어서, 상기 프로세서는, 상기 제1 깊이 맵에서 상기 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치를 결정하고; 상기 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치에 기반하여, 상기 제1 깊이 맵의 품질 검출 결과를 얻기 위한 것이다.

하나의 가능한 구현형태에 있어서, 상기 프로세서는, 상기 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치가 상기 목표 대상에 대응하는 영역에서 차지하는 비율에 기반하여, 상기 제1 깊이 맵의 품질 검출 결과를 얻기 위한 것이다.

하나의 가능한 구현형태에 있어서, 상기 프로세서는, 상기 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치 및 상기 적어도 하나의 실효 위치에 대응하는 가중치에 기반하여, 상기 제1 깊이 맵의 품질 검출 결과를 얻기 위한 것이다.

하나의 가능한 구현형태에 있어서, 상기 프로세서는, 상기 목표 대상에 대응하는 영역에서 깊이 값이 0인 위치를 상기 실효 위치로 결정하기 위한 것이다.

하나의 가능한 구현형태에 있어서, 상기 프로세서는 또한, 상기 제1 목표 이미지에 대해 키포인트 검출을 수행하여, 상기 목표 대상의 키포인트 정보를 얻고; 상기 목표 대상의 키포인트 정보에 기반하여, 상기 제1 깊이 맵으로부터 상기 목표 대상에 대응하는 영역을 결정하기 위한 것이다.

하나의 가능한 구현형태에 있어서, 상기 프로세서는, 상기 제1 깊이 맵을 제1 뉴럴 네트워크에 입력하여 처리를 수행함으로써, 상기 제1 깊이 맵에 대응하는 품질 신뢰도를 얻고; 제1 깊이 맵에 대응하는 품질 신뢰도에 기반하여, 상기 제1 깊이 맵의 품질 검출 결과를 얻기 위한 것이다.

하나의 가능한 구현형태에 있어서, 상기 프로세서는, 상기 제1 깊이 맵에 대응하는 품질 신뢰도가 제1 임계값보다 큰 것에 응답하여, 상기 제1 깊이 맵의 품질 검출 결과를 품질 합격인 것으로 결정하는 것; 및 상기 제1 깊이 맵에 대응하는 품질 신뢰도가 상기 제1 임계값보다 작거나 같은 것에 응답하여, 상기 제1 깊이 맵의 품질 검출 결과를 품질 불합격인 것으로 결정하는 것 중 적어도 하나를 위한 것이다.

하나의 가능한 구현형태에 있어서, 상기 프로세서는 또한, 상기 깊이 센서의 파라미터 및 상기 이미지 센서의 파라미터에 따라, 상기 제1 깊이 맵 및 상기 제1 목표 이미지를 정렬시키기 위한 것이다.

하나의 가능한 구현형태에 있어서, 상기 프로세서는, 상기 제1 깊이 맵의 품질 검출 결과가 품질 합격인 것에 응답하여, 상기 제1 깊이 맵 및 상기 제1 목표 이미지에 기반하여, 상기 목표 대상의 생체 검출 결과를 얻기 위한 것이다.

하나의 가능한 구현형태에 있어서, 상기 프로세서는, 상기 제1 깊이 맵 및 상기 제1 목표 이미지에 포함된 상기 목표 대상의 키포인트 정보에 기반하여, 상기 목표 대상의 생체 검출 결과를 얻기 위한 것이다.

하나의 가능한 구현형태에 있어서, 상기 프로세서는, 상기 제1 깊이 맵 및 상기 목표 대상의 키포인트 정보에 기반하여, 제1 특징 정보를 얻고; 상기 목표 대상의 키포인트 정보에 기반하여, 제2 특징 정보를 얻으며; 상기 제1 특징 정보 및 상기 제2 특징 정보에 기반하여, 상기 목표 대상의 생체 검출 결과를 결정하기 위한 것이다.

하나의 가능한 구현형태에 있어서, 상기 프로세서는, 상기 제1 깊이 맵 및 상기 목표 대상의 키포인트 정보를 제2 뉴럴 네트워크에 입력하여 처리를 수행함으로써, 제1 특징 정보를 얻기 위한 것이며; 상기 목표 대상의 키포인트 정보에 기반하여, 제2 특징 정보를 얻는 단계는, 상기 제1 목표 이미지 및 상기 목표 대상의 키포인트 정보를 제3 뉴럴 네트워크에 입력하여 처리를 수행함으로써, 제2 특징 정보를 얻는 단계를 포함한다.

하나의 가능한 구현형태에 있어서, 상기 프로세서는, 상기 제1 깊이 맵 및 상기 목표 대상의 키포인트 정보에 대해 컨볼루션 처리를 수행하여, 제1 컨볼루션 결과를 얻고; 상기 제1 컨볼루션 결과에 대해 다운 샘플링 처리를 수행하여, 제1 다운 샘플링 결과를 얻으며; 상기 제1 다운 샘플링 결과에 기반하여, 제1 특징 정보를 얻기 위한 것이다.

하나의 가능한 구현형태에 있어서, 상기 프로세서는, 상기 제1 목표 이미지 및 상기 목표 대상의 키포인트 정보에 대해 컨볼루션 처리를 수행하여, 제2 컨볼루션 결과를 얻고; 상기 제2 컨볼루션 결과에 대해 다운 샘플링 처리를 수행하여, 제2 다운 샘플링 결과를 얻으며; 상기 제2 다운 샘플링 결과에 기반하여, 제2 특징 정보를 얻기 위한 것이다.

하나의 가능한 구현형태에 있어서, 상기 프로세서는, 상기 제1 특징 정보 및 상기 제2 특징 정보에 대해 완전 연결 처리를 수행하여, 제3 특징 정보를 얻고; 상기 제3 특징 정보에 따라, 상기 목표 대상의 생체 검출 결과를 결정하기 위한 것이다.

하나의 가능한 구현형태에 있어서, 상기 프로세서는, 상기 제3 특징 정보에 기반하여, 상기 목표 대상이 생체일 확률을 얻고; 상기 목표 대상이 생체일 확률에 따라, 상기 목표 대상의 생체 검출 결과를 결정하기 위한 것이다.

하나의 가능한 구현형태에 있어서, 상기 프로세서는, 상기 제1 깊이 맵의 품질 검출 결과가 품질 불합격인 것에 응답하여, 상기 제1 깊이 맵을 사용하지 않는 조건 하에서 상기 목표 대상에 대해 생체 검출을 수행함으로써, 상기 목표 대상의 생체 검출 결과를 얻기 위한 것이다.

하나의 가능한 구현형태에 있어서, 상기 프로세서는, 상기 제1 깊이 맵의 품질 검출 결과가 품질 불합격이고 상기 제1 목표 이미지가 속하는 비디오 시퀀스에 대한 품질 검출 재시도 횟수가 제2 임계값에 도달한 것에 응답하여, 상기 목표 대상의 생체 검출 결과를 비생체인 것으로 결정하거나, 상기 제1 깊이 맵을 사용하지 않는 조건 하에서 상기 목표 대상에 대해 생체 검출을 수행하여, 상기 목표 대상의 생체 검출 결과를 얻기 위한 것이다.

본 발명의 생체 검출 방법에 따르면, 깊이 센서에 의해 수집된 제1 깊이 맵 및 이미지 센서에 의해 수집된 제1 목표 이미지를 획득함으로써, 제1 깊이 맵에 대해 품질 검출을 수행하여, 제1 깊이 맵의 품질 검출 결과를 얻으며, 제1 깊이 맵의 품질 검출 결과에 기반하여 제1 목표 이미지에서 목표 대상의 생체 검출 결과를 결정함으로써, 생체 검출의 정확성을 향상시킨다.

아래의 도면을 참조하여 예시적 실시예에 대한 상세한 설명에 따라, 본 발명의 다른 특징 및 측면이 보다 명확해질 것이다.

본 명세서에 포함되고 본 명세서의 일부를 구성하는 도면은 본 명세서와 함께 본 발명의 예시적 실시예, 특징 및 측면을 설명하며, 본 발명의 원리를 설명하기 위해 사용된다.
도 1은 본 발명의 실시예에 따른 생체 검출 방법의 흐름도를 도시한다.
도 2는 본 발명의 실시예에 따른 생체 검출 방법에서 제1 깊이 맵에 대해 품질 검출을 수행하는 일 예시적인 흐름도를 도시한다.
도 3은 본 발명의 실시예에 따른 생체 검출 방법에서 제1 깊이 맵에 대해 품질 검출을 수행하는 다른 예시적인 흐름도를 도시한다.
도 4는 본 발명의 실시예에 따른 생체 검출 방법에서 제1 깊이 맵 및 제1 목표 이미지에 기반하여 목표 대상의 생체 검출 결과를 얻는 일 예시적인 흐름도를 도시한다.
도 5는 본 발명의 실시예에 따른 생체 검출 방법에서 제1 깊이 맵 및 목표 대상의 키포인트 정보에 기반하여, 제1 특징 정보를 얻는 일 예시적인 흐름도를 도시한다.
도 6은 본 발명의 실시예에 따른 생체 검출 방법에서 목표 대상의 키포인트 정보에 따라, 제2 특징 정보를 얻는 일 예시적인 흐름도를 도시한다.
도 7은 본 발명의 실시예에 따른 생체 검출 방법에서 제1 특징 정보 및 제2 특징 정보에 따라, 목표 대상의 생체 검출 결과를 결정하는 일 예시적인 흐름도를 도시한다.
도 8은 본 발명의 실시예에 따른 생체 검출 방법에서 제3 특징 정보에 따라, 목표 대상의 생체 검출 결과를 결정하는 일 예시적인 흐름도를 도시한다.
도 9는 본 발명의 실시예에 따른 생체 검출 장치의 블록도를 도시한다.
도 10은 본 발명의 실시예에 따른 생체 검출 장치의 일 예시적인 블록도를 도시한다.
도 11은 본 발명의 실시예에 따른 전자 기기의 일 예시적인 블록도를 도시한다.
도 12는 본 발명의 실시예에 따른 전자 기기의 다른 예시적인 블록도를 도시한다.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 예시적인 실시예, 특징 및 측면을 상세하게 설명한다. 도면에서 동일한 도면 부호는 동일하거나 유사한 기능을 갖는 요소를 나타낸다. 실시예의 다양한 측면이 도면에 도시되어 있지만, 특별히 언급되지 않는 한, 도면을 비율에 따라 그릴 필요는 없다.

본문에서 용어 “예시적”은 “예, 실시예 또는 설명으로 사용됨”을 의미한다. 본문에서 “예시적”으로 설명된 임의의 실시예는 다른 실시예보다 우수하거나 더 좋은 것으로 해석될 필요는 없다.

또한, 본 발명을 보다 잘 설명하기 위해, 아래의 구체적인 실시형태에서 많은 세부사항들이 제공된다. 당업자는 본 발명이 일부 세부사항 없어도 여전히 구현될 수 있음을 이해해야 한다. 본 발명의 요지를 선명하게 하기 위해, 일부 예에서, 당업자에게 잘 알려진 방법, 수단, 요소 및 회로는 본 발명의 취지가 명백해지도록 상세하게 설명되지 않는다.

도 1은 본 발명의 실시예에 따른 생체 검출 방법의 흐름도를 도시한다. 상기 방법은 휴대전화, 태블릿 컴퓨터, 디지털 카메라 또는 액세스 제어 기기 등 얼굴 인식 기능을 갖는 단말 기기에 적용 가능하다. 상기 방법은 온라인 계정 등록, 액세스 제어 시스템, 얼굴 잠금해제, 얼굴 인식 지불, 보조 운전, 무인 슈퍼마켓, 비디오 모니터링, 현금 자동 인출기(Automatic Teller Machine, ATM), 스테이션 티켓 확인기, 공항 티켓 검사기 또는 지능형 빌딩 등 시나리오에 적용될 수 있다. 일부 가능한 구현형태에 있어서, 상기 생체 검출 방법은 메모리에 저장된 컴퓨터 판독 가능한 명령어를 호출함으로써 프로세서에 의해 구현될 수 있다.

도 1에 도시된 바와 같이, 상기 방법은 단계 S11 내지 단계 S13을 포함한다.

단계 S11에서, 깊이 센서에 의해 수집된 제1 깊이 맵 및 이미지 센서에 의해 수집된 제1 목표 이미지를 획득한다.

본 발명의 실시예에서, 목표 이미지는 목표 대상을 포함하며, 여기서, 목표 이미지는 정적 이미지 또는 비디오 프레임 이미지일 수 있으며, 예를 들어, 목표 이미지는 비디오 시퀀스로부터 선택된 이미지일 수 있고, 다양한 방식으로 비디오 시퀀스로부터 이미지를 선택할 수 있으며, 하나의 구체적인 예에서, 목표 이미지는 비디오 시퀀스로부터 선택된 기설정된 품질 조건을 만족하는 이미지이고, 상기 기설정된 품질 조건은, 목표 대상을 포함하는지 여부, 목표 대상이 이미지 중심 영역에 위치하는지 여부, 목표 대상이 이미지에 완전히 포함되어 있는지 여부, 목표 대상이 이미지에서 차지하는 비율, 목표 대상의 상태 또는 자세, 이미지 선명도, 이미지 노출도 중 하나 또는 임의의 조합을 포함할 수 있으며, 본 발명의 실시예는 이를 한정하지 않는다.

목표 대상은 얼굴, 인체, 동물 또는 다른 생체 대상의 적어도 일부일 수 있으며, 본 발명의 실시예는 이를 한정하지 않는다. 하나의 가능한 구현형태에 있어서, 목표 대상은 얼굴이다.

제1 깊이 맵 및 제1 목표 이미지는 서로 대응되며, 예를 들어, 제1 깊이 맵 및 제1 목표 이미지는 깊이 센서 및 이미지 센서가 동일한 시나리오에 대해 수집한 것이며, 또는 제1 깊이 맵 및 제1 목표 이미지는 깊이 센서 및 이미지 센서가 동일한 시각에 동일한 목표 영역에 대해 수집한 것이며, 본 발명의 실시예는 이를 한정하지 않는다.

본 발명의 실시예에서, 깊이 센서는 깊이 정보를 수집하기 위한 것이며, 이미지 센서는 2 차원 이미지를 수집하기 위한 것이다.

일부 실시예에 있어서, 깊이 센서는 3 차원 센서이다. 예를 들어, 깊이 센서는 비행 시간(Time of Flight, TOF) 센서 또는 구조광 센서일 수 있다. 여기서, 구조광 센서는 인코딩된 구조광 센서 또는 스펙클 구조광 센서일 수 있다. 3 차원 센서를 통해 목표 대상의 깊이 맵을 획득하여, 고정밀도의 깊이 맵을 획득할 수 있다. 본 발명의 실시예는 목표 대상을 포함하는 깊이 맵을 사용하여 생체 검출을 수행함으로써, 목표 대상의 깊이 정보를 충분히 마이닝할 수 있으므로, 생체 검출의 정확성을 향상시킬 수 있다. 예를 들어, 목표 대상이 얼굴인 경우, 본 발명의 실시예에서, 얼굴을 포함하는 깊이 맵을 사용하여 생체 검출을 수행함으로써, 얼굴 데이터의 깊이 정보를 충분히 마이닝할 수 있으므로, 얼굴 검출의 정확성을 향상시킬 수 있다.

일부 실시예에 있어서, 이미지 센서는 RGB(빨간색(Red); 초록색(Green); 파란색(Blue)) 센서 또는 근적외선 센서이다. 이미지 센서가 RGB 센서인 경우, 이미지 센서에 의해 수집된 목표 이미지는 RGB 이미지이다. 이미지 센서가 근적외선 센서인 경우, 이미지 센서에 의해 수집된 목표 이미지는 근적외선 이미지이다. 여기서, 근적외선 이미지는 광점이 있는 근적외선 이미지이거나, 광점이 없는 근적외선 이미지일 수 있다.

설명해야 할 것은, 깊이 센서는 TOF 센서 및 구조광 센서를 예로 들어 설명하고, 이미지 센서는 RGB 센서 및 근적외선 센서를 예로 들어 설명하지만, 당업자는 본 발명의 실시예가 이에 한정되지 않는다는 것을 이해할 수 있다. 당업자는 깊이 맵 및 이미지에 대한 수집을 각각 구현할 수 있는 한, 실제 응용 요구에 따라 깊이 센서 및 이미지 센서의 타입을 선택할 수 있다.

단계 S12에서, 제1 깊이 맵에 대해 품질 검출을 수행하여, 제1 깊이 맵의 품질 검출 결과를 얻는다.

여기서, 일부 구현형태에 있어서, 제1 깊이 맵의 품질 검출 결과는 품질 합격 또는 품질 불합격이다.

일부 특정 시나리오(예컨대, 실외에 강한 빛이 있는 시나리오)에서, 깊이 센서(예를 들어, TOF 센서 또는 구조광 센서)는 깊이 맵의 대면적 실효 또는 완전한 실효의 상황이 쉽게 발생할 수 있다. 또한, 정상적인 조명 하에서, 검은색 머리 또는 검은색 안경테 등 요인은 안경의 빛 반사로 인해, 깊이 맵의 국부 실효를 무작위로 야기할 수 있다. 일부 특수 용지는 인쇄된 얼굴 사진으로 하여금 깊이 맵의 대면적 실효 또는 국부 실효와 유사한 효과를 생성할 수 있도록 한다. 또한, 깊이 센서의 능동 광원(active light source)을 차단함으로써, 깊이 맵이 실효될 수도 있으며, 동시에 비생체가 이미지 센서에서의 이미징은 정상이다. 따라서, 목표 대상의 깊이 맵이 실효한 경우에, 목표 대상의 깊이 맵은 생체 및 비생체를 구별하기에 불충분하며, 심지어 역효과를 일으킬 수 있다. 따라서, 본 발명의 실시예에서, 제1 깊이 맵에 대해 품질 검출을 수행하고, 품질 검출 결과가 불합격이면 적절한 처리를 수행함으로써, 제1 깊이 맵이 생체 검출에서 역효과를 일으키는 것을 방지한다.

단계 S13에서, 제1 깊이 맵의 품질 검출 결과에 기반하여 , 제1 목표 이미지에서 목표 대상의 생체 검출 결과를 결정한다.

여기서, 일부 구현형태에 있어서, 목표 대상의 생체 검출 결과는 목표 대상이 생체이거나 목표 대상이 비생체일 수 있다.

일부 실시예에 있어서, 제1 깊이 맵의 품질 검출 결과에 기반하여 , 제1 목표 이미지에서 목표 대상의 생체 검출 결과를 결정하는 단계는, 제1 깊이 맵의 품질 검출 결과가 품질 합격인 것에 응답하여, 제1 깊이 맵 및 제1 목표 이미지에 기반하여, 목표 대상의 생체 검출 결과를 얻는 단계를 포함한다.

일부 실시예에 있어서, 제1 깊이 맵 및 제1 목표 이미지에 기반하여, 목표 대상의 생체 검출 결과를 얻는 단계는, 제1 깊이 맵 및 제1 목표 이미지에 포함된 목표 대상의 키포인트 정보에 기반하여, 목표 대상의 생체 검출 결과를 얻는 단계를 포함한다. 하나의 구체적인 예에서, 제1 목표 이미지에 포함된 목표 대상의 키포인트 정보를 획득할 수 있고, 제1 깊이 맵 및 제1 목표 이미지에 포함된 목표 대상의 키포인트 정보에 기반하여, 목표 대상의 생체 검출 결과를 얻는다.

상기 구현형태에서, 제1 깊이 맵의 품질 검출 결과가 품질 합격이면, 제1 깊이 맵 및 제1 목표 이미지에 포함된 목표 대상의 키포인트 정보를 결합하여 생체 검출을 수행한다. 생체 검출에 깊이 맵을 추가함으로써, 고화질 및 이음새 없는 이미지 타입(이런 타입의 공격은 단안 생체 검출 기술을 쉽게 공략할 수 있음)의 공격을 효과적으로 방어할 수 있으므로, 생체 검출의 정확성을 향상시킬 수 있다.

일부 다른 실시예에서, 제1 깊이 맵의 품질 검출 결과에 기반하여 , 제1 목표 이미지에서 목표 대상의 생체 검출 결과를 결정하는 단계는, 제1 깊이 맵의 품질 검출 결과가 품질 불합격인 것에 응답하여, 목표 대상의 생체 검출 결과를 비생체인 것으로 결정하는 단계를 포함한다. 예를 들어, 어느 응용 시나리오에서 실외에 강한 빛이 있는 시나리오를 고려할 필요가 없거나, 깊이 맵 품질의 불합격 확률이 기설정된 확률보다 훨씬 낮은 경우, 제1 깊이 맵의 품질 검출 결과가 품질 불합격이면, 목표 대상의 생체 검출 결과를 목표 대상이 비생체인 것으로 바로 결정할 수 있다. 여기서, 기설정된 확률은 생체를 비생체로 잘못 결정할 기설정된 최대 확률을 나타낸다.

일부 다른 실시예에서, 제1 깊이 맵의 품질 검출 결과에 기반하여, 제1 목표 이미지에서 목표 대상의 생체 검출 결과를 결정하는 단계는, 제1 깊이 맵의 품질 검출 결과가 품질 불합격인 것에 응답하여, 제1 깊이 맵을 사용하지 않는 조건 하에서, 목표 대상에 대해 생체 검출을 수행하여, 목표 대상의 생체 검출 결과를 얻는 단계를 포함하며, 다시 말해서, 제1 목표 이미지에 대한 처리 결과에 기반하여, 목표 대상의 생체 검출 결과를 얻는다. 상기 구현형태에서, 제1 깊이 맵의 품질 검출 결과가 품질 불합격이면, 단안 생체 검출 기술에 기반하여 목표 대상의 생체 검출 결과를 얻을 수 있다. 본 발명의 실시예는 목표 이미지에 대한 처리 결과에 기반하여, 목표 대상의 생체 검출 결과를 얻는 구현에 대해 한정하지 않는다. 예를 들어, 어느 응용 시나리오에서 실외에 강한 빛이 있는 시나리오를 고려해야 하는 경우, 실외의 강한 빛 아래에서, 깊이 맵은 품질이 불합격일 확률이 크다. 이 경우, 단안 생체 검출 기술을 통해 생체 검출을 수행하여, 생체를 비생체로 잘못 결정하는 것을 최대한 방지할 수 있다.

일부 다른 실시예에서, 제1 목표 이미지는 비디오 시퀀스로부터 선택한 이미지와 같은 비디오 프레임 이미지일 수 있으며, 이 경우, 비디오 시퀀스에서 선택된 어느 이미지에 대응하는 깊이 맵에 대해 품질 검출을 수행할 수 있으며, 품질 검출 결과가 품질 불합격이면, 비디오 시퀀스에서 선택된 다른 이미지에 대응하는 깊이 맵에 대해 품질 검출을 수행하고, 재시도 횟수가 최대 재시도 횟수에 도달할 때까지 또는 품질 합격된 깊이 맵을 검출할 때까지 또는 어느 품질이 합격된 깊이 맵에 기반하여 목표 대상의 생체 검출 결과가 생체일 때까지, 재시도 횟수에 1을 추가하며, 본 발명의 실시예는 이를 한정하지 않는다.

하나의 구체적인 예에서, 제1 깊이 맵의 품질 검출 결과에 기반하여, 제1 목표 이미지에서 목표 대상의 생체 검출 결과를 결정하는 단계는, 제1 깊이 맵의 품질 검출 결과가 품질 불합격이고, 제1 목표 이미지가 속하는 비디오 시퀀스에 대한 품질 검출 재시도 횟수가 제2 임계값에 도달하는 것에 응답하여, 목표 대상의 생체 검출 결과를 비생체인 것으로 결정하거나, 제1 깊이 맵을 사용하지 않는 조건 하에서, 목표 대상에 대해 생체 검출을 수행하여, 목표 대상의 생체 검출 결과를 얻는 단계를 포함한다. 상기 구현형태에서, 제1 깊이 맵의 품질 검출 결과가 품질 불합격이고, 제1 목표 이미지가 속하는 비디오 시퀀스에 대한 품질 검출 재시도 횟수가 제2 임계값에 도달하면, 목표 대상의 생체 검출 결과를 비생체인 것으로 바로 결정하거나, 단안 생체 검출 기술에 기반하여 목표 대상의 생체 검출 결과를 얻는다.

일부 다른 실시예에서, 제1 깊이 맵의 품질 검출 결과에 기반하여, 제1 목표 이미지에서 목표 대상의 생체 검출 결과를 결정하는 단계는, 제1 깊이 맵의 품질 검출 결과가 품질 불합격이고, 제1 목표 이미지가 속하는 비디오 시퀀스에 대한 품질 검출 재시도 횟수가 제2 임계값에 도달하지 않은 것에 응답하여, 목표 이미지가 속하는 비디오 시퀀스 중의 제2 목표 이미지에 대응하는 제2 깊이 맵에 대해 품질 검출을 수행하여, 제2 깊이 맵의 품질 검출 결과를 얻는 단계; 및 제2 깊이 맵의 품질 검출 결과에 기반하여, 목표 대상의 생체 검출 결과를 얻는 단계를 포함한다. 하나의 구체적인 예에서, 제2 깊이 맵의 품질 검출 결과가 품질 합격이면, 제2 깊이 맵 및 제2 목표 이미지에 기반하여 목표 대상의 생체 검출 결과를 얻는다. 다른 구체적인 예에서, 제2 깊이 맵의 품질 검출 결과가 품질 불합격이면, 현재 품질 검출 재시도 횟수가 제2 임계값에 도달하는지 여부를 결정할 수 있고, 제2 임계값에 도달하면, 목표 대상이 생체가 아닌 것으로 결정하거나, 제2 목표 이미지에 대한 처리 결과에 기반하여 목표 대상의 생체 검출 결과를 결정하며, 본 발명의 실시예는 이를 한정하지 않는다.

본 발명의 실시예에 따르면, 깊이 센서에 의해 수집된 제1 깊이 맵 및 이미지 센서에 의해 수집된 제1 목표 이미지를 획득하고, 제1 깊이 맵에 대해 품질 검출을 수행하여, 제1 깊이 맵의 품질 검출 결과를 얻으며, 제1 깊이 맵의 품질 검출 결과에 기반하여 제1 목표 이미지에서 목표 대상의 생체 검출 결과를 결정함으로써, 생체 검출의 정확성을 향상시킨다.

도 2는 본 발명의 실시예에 따른 생체 검출 방법에서 단계 S12의 일 예시적 흐름도를 도시한다. 도 2에 도시된 바와 같이, 단계 S12는 단계 S121 내지 단계 S122를 포함한다.

단계 S121에서, 제1 깊이 맵에서 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치를 결정한다.

일부 실시예에 있어서, 제1 깊이 맵 중의 적어도 하나의 픽셀 포인트 중 각 픽셀 포인트의 깊이 값에 기반하여, 또는 목표 대상에 대응하는 영역에 포함된 적어도 하나의 픽셀 포인트 중 각 픽셀 포인트의 깊이 값에 기반하여, 목표 대상에 대응하는 영역의 실효 위치를 결정할 수 있다.

하나의 구체적인 예에서, 깊이 센서는 실효된 위치의 깊이 값을 디폴트로 0으로 설정하고, 이 경우, 목표 대상에 대응하는 영역에서 깊이 값이 0인 위치를 실효 위치로 결정할 수 있다.

다른 구체적인 예에서, 깊이 센서는 실효된 위치의 깊이 값을 하나 또는 복수 개의 기설정된 수치 또는 기설정된 범위로 설정하면, 목표 대상에 대응하는 영역에서 깊이 값이 기설정된 수치와 같거나 기설정된 범위에 속하는 위치를 실효 위치로 결정한다.

본 발명의 실시예는 다른 통계적 방식에 기반하여 목표 대상에 대응하는 영역에서의 실효 위치를 결정할 수도 있으며, 본 발명의 실시예는 이를 한정하지 않는다.

단계 S122에서, 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치에 기반하여, 제1 깊이 맵의 품질 검출 결과를 얻는다.

일부 실시예에 있어서, 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치에 기반하여, 제1 깊이 맵의 품질 검출 결과를 얻는 단계는, 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치가 목표 대상에 대응하는 영역에서 차지하는 비율에 기반하여, 제1 깊이 맵의 품질 검출 결과를 얻는 단계를 포함한다.

선택적으로, 실효 위치 또는 실효 픽셀 포인트의 개수가 목표 대상에 대응하는 영역에 포함된 총 위치 개수 또는 총 픽셀 포인트 개수에서 차지하는 비율에 기반하여, 제1 깊이 맵 또는 목표 대상에 대응하는 영역의 품질 검출 결과를 얻을 수 있다.

일 예로서, 제1 깊이 맵에서 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치에 포함된 픽셀 포인트 개수를 결정할 수 있고; 제1 깊이 맵에서 목표 대상에 대응하는 영역에 포함된 총 픽셀 포인트 개수를 결정하며; 상기 적어도 하나의 실효 위치에 포함된 픽셀 포인트 개수와 목표 대상에 대응하는 영역에 포함된 총 픽셀 포인트 개수 사이의 비율을 계산하며, 상기 비율을 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치가 목표 대상에 대응하는 영역에서 차지하는 비율로 사용된다.

일 예로서, 얻은 상기 비율과 기설정된 수치(예를 들어, 제3 임계값)를 비교하여 제1 깊이 맵의 품질 검출 결과를 결정할 수 있다. 예를 들어, 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치가 목표 대상에 대응하는 영역에서 차지하는 비율이 제3 임계값보다 작거나 같으면, 제1 깊이 맵의 품질 검출 결과를 품질 합격인 것으로 결정한다. 또 예를 들어, 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치가 목표 대상에 대응하는 영역에서 차지하는 비율이 제3 임계값보다 크면, 제1 깊이 맵의 품질 검출 결과를 품질 불합격인 것으로 결정한다.

상기 구현형태에서, 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치가 목표 대상에 대응하는 영역에서 차지하는 비율이 제3 임계값보다 크면, 나머지 깊이 맵은 생체 및 비생체를 구별하기에 불충분하고, 이 경우, 제1 깊이 맵의 품질 검출 결과를 품질 불합격인 것으로 결정할 수 있다.

상기 구현형태에서, 제1 깊이 맵에서 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치가 목표 대상에 대응하는 영역에서 차지하는 비율에 기반하여, 제1 깊이 맵의 품질 검출 결과를 얻으며, 이로써, 직관적이고 간단한 방법으로서, 통계량의 방법을 이용하여 제1 깊이 맵에 대해 품질 판단을 수행한다.

본 발명의 실시예에서, 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치가 목표 대상에 대응하는 영역에서 차지하는 비율과 제3 임계값의 차이가 크면(예를 들어, 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치가 목표 대상에 대응하는 영역에서 차지하는 비율이 제3 임계값보다 훨씬 크거나, 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치가 목표 대상에 대응하는 영역에서 차지하는 비율이 제3 임계값보다 훨씬 작음), 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치가 목표 대상에 대응하는 영역에서 차지하는 비율과 제3 임계값을 비교함으로써, 정확한 품질 검출 결과를 획득할 수 있다.

상기 구현형태에서, 목표 대상에 대응하는 영역에서의 각 위치는 동일한 것으로 간주된다. 일부 다른 실시예에서, 목표 대상에 대응하는 영역에서의 상이한 위치에 상이한 가중치를 할당할 수 있고, 목표 대상에 대응하는 영역에서의 실효 위치 및 실효 위치의 가중치에 기반하여, 깊이 맵의 품질 검출 결과를 결정한다. 이 경우, 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치에 기반하여, 제1 깊이 맵의 품질 검출 결과를 얻는 단계는, 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치 및 적어도 하나의 실효 위치에 대응하는 가중치에 기반하여, 제1 깊이 맵의 품질 검출 결과를 얻는 단계를 포함한다.

예를 들어, 깊이가 실효된 동일한 개수의 픽셀 포인트가 있는 경우, 상기 픽셀 포인트가 얼굴 가장자리 또는 볼 등 중요하지 않은 부위에 나타나면, 생체 검출에 대한 영향은 크지 않으며; 상기 픽셀 포인트가 눈, 코와 같은 중요한 부위에 나타나면, 생체 검출에 대해 큰 간섭을 초래할 것이다. 따라서, 상이한 위치의 깊이가 실효된 픽셀은 깊이 맵의 품질에 미치는 영향은 상이하며, 따라서, 상이한 위치에 상이한 가중치를 부여함으로써, 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치 및 적어도 하나의 실효 위치에 대응하는 가중치에 기반하여, 제1 깊이 맵의 품질 검출 결과를 얻어, 보다 정확한 품질 검출 결과를 획득할 수 있다.

일 예로서, 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치 및 적어도 하나의 실효 위치에 대응하는 가중치에 기반하여, 제1 깊이 맵의 품질 검출 결과를 얻는 단계는, 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치 및 적어도 하나의 실효 위치에 대응하는 가중치에 기반하여, 제1 깊이 맵에 대응하는 품질 신뢰도를 얻는 단계; 및 제1 깊이 맵에 대응하는 품질 신뢰도에 기반하여, 제1 깊이 맵의 품질 검출 결과를 얻는 단계를 포함한다.

본 발명의 실시예에서, 다양한 방식으로 품질 신뢰도를 결정할 수 있다. 예를 들어, 적어도 하나의 실효 위치를 뉴럴 네트워크에 입력하여 처리를 수행함으로써, 깊이 맵에 대응하는 품질 신뢰도를 얻을 수 있으며, 이 경우, 실효 위치에 대응하는 가중치는 뉴럴 네트워크를 훈련시킴으로써 얻을 수 있다. 또는, 상기 가중치는 미리 설정될 수 있고, 이 경우, 적어도 하나의 실효 위치 및 이에 대응하는 가중치를 뉴럴 네트워크에 입력하여 처리를 수행함으로써, 깊이 맵에 대응하는 품질 신뢰도를 얻을 수 있으며, 본 발명의 실시예는 이를 한정하지 않는다.

선택적으로, 품질 신뢰도와 기설정된 수치를 비교함으로써, 제1 깊이 맵의 품질 검출 결과를 결정할 수 있으며, 예를 들어, 품질 신뢰도가 제4 임계값보다 크거나 같으면, 제1 깊이 맵을 품질 합격인 것으로 결정하지만, 본 발명의 실시예는 이를 한정하지 않는다.

본 발명의 실시예에서, 예를 들어, 눈, 코 등 중요한 부위에 대해 비교적 높은 가중치를 부여하고, 다른 중요하지 않은 부위에 비교적 낮은 가중치를 부여할 수 있으며, 상이한 위치의 가중치 및 실효 픽셀 수에 기반하여, 제1 깊이 맵의 품질 신뢰도를 얻는다. 여기서, 중요한 부위의 가중치는 중요하지 않은 부위의 가중치보다 크지만, 상이한 위치의 가중치 할당은 실제 상황에 기반하여 결정될 수 있으며, 발명 실시예는 이를 한정하지 않는다.

도 3은 본 발명의 실시예에 따른 생체 검출 방법에서 단계 S12의 다른 일 예시적 흐름도를 도시한다. 도 3에 도시된 바와 같이, 단계 S12는 단계 S123 내지 단계 S124를 포함한다.

단계 S123에서, 제1 깊이 맵을 제1 뉴럴 네트워크에 입력하여 처리를 수행함으로써, 제1 깊이 맵에 대응하는 품질 신뢰도를 얻는다.

상기 예에서, 제1 깊이 맵을 뉴럴 네트워크에 입력하거나, 제1 깊이 맵에서 목표 대상에 대응하는 영역을 뉴럴 네트워크에 입력할 수 있으며, 본 발명의 실시예는 이를 한정하지 않는다.

일부 실시예에 있어서, 제1 뉴럴 네트워크는 제1 깊이 맵 또는 목표 대상에 대응하는 영역에 대해 처리를 수행함으로써, 목표 대상에 대응하는 영역에서의 적어도 하나의 실효 위치를 얻을 수 있다. 다음, 뉴럴 네트워크 또는 다른 방식을 통해, 상기 적어도 하나의 실효 위치에 기반하여, 깊이 맵의 품질 검출 결과를 결정할 수 있다.

일 예에서, 제1 뉴럴 네트워크는 목표 대상에 대응하는 영역의 상이한 실효 위치에 대해 상이한 가중치를 부여할 수 있다.

일부 실시예에 있어서, 깊이 맵의 훈련 데이터는 합격된 깊이 맵 및 불합격된 깊이 맵으로 수동으로 분류될 수 있으며, 다음 2 가지 타입의 이미지, 즉 합격된 깊이 맵 및 불합격된 깊이 맵을 사용하여 제1 뉴럴 네트워크를 훈련시킨다.

단계 S124에서, 제1 깊이 맵에 대응하는 품질 신뢰도에 기반하여, 제1 깊이 맵의 품질 검출 결과를 얻는다.

일부 실시예에 있어서, 제1 깊이 맵에 대응하는 품질 신뢰도에 기반하여, 제1 깊이 맵의 품질 검출 결과를 얻는 단계는, 제1 깊이 맵에 대응하는 품질 신뢰도가 제1 임계값보다 큰 것에 응답하여, 제1 깊이 맵의 품질 검출 결과를 품질 합격인 것으로 결정하는 단계; 및 제1 깊이 맵에 대응하는 품질 신뢰도가 제1 임계값보다 작거나 같은 것에 응답하여, 제1 깊이 맵의 품질 검출 결과를 품질 불합격인 것으로 결정하는 단계 중 적어도 하나를 포함한다.

본 발명의 실시예에서, 제1 깊이 맵으로부터 목표 대상에 대응하는 영역을 결정할 수 있다. 일부 실시예에 있어서, 상기 방법은, 제1 목표 이미지에 대해 키포인트 검출을 수행하여, 목표 대상의 키포인트 정보를 얻는 단계; 및 목표 대상의 키포인트 정보에 기반하여, 제1 깊이 맵으로부터 목표 대상에 대응하는 영역을 결정하는 단계를 더 포함한다.

여기서, 목표 대상의 키포인트 정보는 목표 대상의 키포인트의 위치 정보를 포함할 수 있다.

본 발명의 실시예에서, 목표 대상이 얼굴이면, 목표 대상의 키포인트는 눈 키포인트, 눈썹 키포인트, 코 키포인트, 입 키포인트 및 얼굴 윤곽 키포인트 등 중 하나 또는 복수 개를 포함할 수 있다. 여기서, 눈 키포인트는 눈 윤곽 키포인트, 안각 키포인트 및 동공 키포인트 등 중 하나 또는 복수 개를 포함할 수 있다.

일부 실시예에 있어서, 목표 대상의 키포인트 정보에 기반하여, 제1 깊이 맵으로부터 목표 대상에 대응하는 영역을 결정하는 단계는, 목표 대상의 윤곽 키포인트에 기반하여, 제1 깊이 맵으로부터 목표 대상에 대응하는 영역을 결정하는 단계를 포함한다. 예를 들어, 목표 대상이 얼굴이면, 얼굴 윤곽 키포인트에 따라, 제1 깊이 맵으로부터 얼굴에 대응하는 영역을 결정할 수 있다.

선택적으로, 목표 대상의 키포인트 정보에 기반하여, 목표 대상의 윤곽을 결정할 수 있고, 목표 대상의 윤곽이 위치하는 영역을 목표 대상에 대응하는 영역으로 결정하거나, 목표 대상의 윤곽이 위치하는 영역을 일정 배수로 확대한 후 얻은 영역을 목표 대상에 대응하는 영역으로 결정하며, 예를 들어, 목표 대상의 키포인트 정보에 기반하여 결정된 타원형 영역을 목표 대상에 대응하는 영역으로 결정하거나, 상기 타원형 영역의 최소 외접 직사각형 영역을 목표 대상에 대응하는 영역으로 결정하지만, 본 발명의 실시예는 이를 한정하지 않는다.

일부 실시예에 있어서, 제1 목표 이미지에 대해 키포인트 검출을 수행하기 전에, 상기 방법은, 깊이 센서의 파라미터 및 이미지 센서의 파라미터에 따라, 제1 깊이 맵 및 제1 목표 이미지를 정렬시키는 단계를 더 포함한다.

일 예로서, 변환 처리 후의 제1 깊이 맵 및 제1 목표 이미지가 정렬되도록, 제1 깊이 맵에 대해 변환 처리를 수행할 수 있다. 예를 들어, 깊이 센서의 파라미터 매트릭스 및 이미지 센서의 파라미터 매트릭스에 따라, 깊이 센서의 파라미터 매트릭스로부터 이미지 센서의 파라미터 매트릭스로의 변환 매트릭스를 결정할 수 있으며; 상기 변환 매트릭스에 따라, 제1 깊이 맵을 변환한다.

다른 일 예로서, 제1 목표 이미지에 대해 변환 처리를 수행하여, 변환 처리 후의 제1 목표 이미지와 제1 깊이 맵은 정렬된다. 예를 들어, 깊이 센서의 파라미터 매트릭스 및 이미지 센서의 파라미터 매트릭스에 따라, 이미지 센서의 파라미터 매트릭스로부터 깊이 센서의 파라미터 매트릭스로의 변환 매트릭스를 결정할 수 있으며; 상기 변환 매트릭스에 따라, 제1 목표 이미지를 변환한다.

본 발명의 실시예에서, 깊이 센서의 파라미터는 깊이 센서의 내부 파라미터 및 외부 파라미터 중 적어도 하나를 포함할 수 있고, 이미지 센서의 파라미터는 이미지 센서의 내부 파라미터 및 외부 파라미터 중 적어도 하나를 포함할 수 있다.

본 발명의 실시예에서, 제1 깊이 맵 및 제1 목표 이미지를 정렬시킴으로써, 제1 깊이 맵 및 제1 목표 이미지에서의 해당 부분의 2 개의 이미지에서의 위치를 동일하게 할 수 있다.

도 4는 본 발명의 실시예에 따른 생체 검출 방법에서 단계 S13의 일 예시적 흐름도를 도시한다. 도 4에 도시된 바와 같이, 단계 S13은 단계 S131 내지 단계 S133을 포함할 수 있다.

단계 S131에서, 제1 깊이 맵 및 목표 대상의 키포인트 정보에 기반하여, 제1 특징 정보를 얻는다.

일부 실시예에 있어서, 제1 깊이 맵 및 목표 대상의 키포인트 정보에 기반하여, 제1 특징 정보를 얻는 단계는, 제1 깊이 맵을 및 목표 대상의 키포인트 정보를 제2 뉴럴 네트워크에 입력하여 처리를 수행함으로써, 제1 특징 정보를 얻는 단계를 포함한다.

일 예로서, 제2 뉴럴 네트워크는 컨볼루션 계층, 다운 샘플링 계층 및 완전 연결 계층을 포함할 수 있다.

예를 들어, 제2 뉴럴 네트워크는 1 단계 컨볼루션 계층, 1 단계 다운 샘플링 계층 및 1 단계 완전 연결 계층을 포함할 수 있다. 여기서, 상기 단계 컨볼루션 계층은 하나 또는 복수 개의 컨볼루션 계층을 포함할 수 있고, 상기 단계 다운 샘플링 계층은 하나 또는 복수 개의 다운 샘플링 계층을 포함할 수 있으며, 상기 단계 완전 연결 계층은 하나 또는 복수 개의 완전 연결 계층을 포함할 수 있다.

다른 예에서, 제2 뉴럴 네트워크는 멀티 단계 컨볼루션 계층, 멀티 단계 다운 샘플링 계층 및 1 단계 완전 연결 계층을 포함할 수 있다. 여기서, 컨볼루션 계층의 각 단계는 하나 또는 복수 개의 컨볼루션 계층을 포함할 수 있고, 다운 샘플링 계층의 각 단계는 하나 또는 복수 개의 다운 샘플링 계층을 포함할 수 있으며, 완전 연결 계층의 상기 단계는 하나 또는 복수 개의 완전 연결 계층을 포함할 수 있다. 여기서, 제i 단계 컨볼루션 계층 후, 제i 단계 다운 샘플링 계층을 캐스케이드하고, 제i 단계 다운 샘플링 계층 후, 제i+1 단계 컨볼루션 계층을 캐스케이드하며, 제n 단계 다운 샘플링 계층 후, 완전 연결 계층을 캐스케이드하며, 여기서, i 및 n은 모두 양의 정수이고, 1≤i≤n, n은 제2 뉴럴 네트워크에서 컨볼루션 계층 및 다운 샘플링 계층의 단계 수를 나타낸다.

다른 일 예로서, 제2 뉴럴 네트워크는 컨볼루션 계층, 다운 샘플링 계층, 정규화 계층 및 완전 연결 계층을 포함할 수 있다.

예를 들어, 제2 뉴럴 네트워크는 1 단계 컨볼루션 계층, 하나의 정규화 계층, 1 단계 다운 샘플링 계층 및 1 단계 완전 연결 계층을 포함할 수 있다. 여기서, 상기 단계 컨볼루션 계층은 하나 또는 복수 개의 컨볼루션 계층을 포함할 수 있고, 상기 단계 다운 샘플링 계층은 하나 또는 복수 개의 다운 샘플링 계층을 포함할 수 있으며, 상기 단계 완전 연결 계층은 하나 또는 복수 개의 완전 연결 계층을 포함할 수 있다.

다른 예에서, 제2 뉴럴 네트워크는 멀티 단계 컨볼루션 계층, 복수 개의 정규화 계층, 멀티 단계 다운 샘플링 계층 및 1 단계 완전 연결 계층을 포함할 수 있다. 여기서, 컨볼루션 계층의 각 단계는 하나 또는 복수 개의 컨볼루션 계층을 포함할 수 있고, 다운 샘플링 계층의 각 단계는 하나 또는 복수 개의 다운 샘플링 계층을 포함할 수 있으며, 완전 연결 계층의 상기 단계는 하나 또는 복수 개의 완전 연결 계층을 포함할 수 있다. 여기서, 제i 단계 컨볼루션 계층 후, 제i 단계 정규화 계층을 캐스케이드하고, i 번째 정규화 계층 후, 제i 단계 다운 샘플링 계층을 캐스케이드하며, 제i 단계 다운 샘플링 계층후, 제i+1 단계 컨볼루션 계층을 캐스케이드하며, 제n 단계 다운 샘플링 계층 후, 완전 연결 계층을 캐스케이드하며, 여기서, i 및 n은 모두 양의 정수이고, 1≤i≤n이며, n은 제2 뉴럴 네트워크에서 컨볼루션 계층, 다운 샘플링 계층의 단계 수 및 정규화 계층의 개수를 나타낸다.

단계 S132에서, 목표 대상의 키포인트 정보에 기반하여, 제2 특징 정보를 얻는다.

일부 실시예에 있어서, 목표 대상의 키포인트 정보에 기반하여, 제2 특징 정보를 얻는 단계는, 제1 목표 이미지 및 목표 대상의 키포인트 정보를 제3 뉴럴 네트워크에 입력하여 처리를 수행함으로써, 제2 특징 정보를 얻는 단계를 포함한다.

일 예로서, 제3 뉴럴 네트워크는 컨볼루션 계층, 다운 샘플링 계층 및 완전 연결 계층을 포함할 수 있다.

예를 들어, 제3 뉴럴 네트워크는 1 단계 컨볼루션 계층, 1 단계 다운 샘플링 계층 및 1 단계 완전 연결 계층을 포함할 수 있다. 여기서, 상기 단계 컨볼루션 계층은 하나 또는 복수 개의 컨볼루션 계층을 포함할 수 있고, 상기 단계 다운 샘플링 계층은 하나 또는 복수 개의 다운 샘플링 계층을 포함할 수 있으며, 상기 단계 완전 연결 계층은 하나 또는 복수 개의 완전 연결 계층을 포함할 수 있다.

다른 예에서, 제3 뉴럴 네트워크는 멀티 단계 컨볼루션 계층, 멀티 단계 다운 샘플링 계층 및 1 단계 완전 연결 계층을 포함할 수 있다. 여기서, 각 단계 컨볼루션 계층은 하나 또는 복수 개의 컨볼루션 계층을 포함할 수 있고, 각 단계 다운 샘플링 계층은 하나 또는 복수 개의 다운 샘플링 계층을 포함할 수 있으며, 상기 단계 완전 연결 계층은 하나 또는 복수 개의 완전 연결 계층을 포함할 수 있다. 여기서, 제j 단계 컨볼루션 계층 후, 제j 단계 다운 샘플링 계층을 캐스케이드하고, 제j 단계 다운 샘플링 계층 후, 제j+1 단계 컨볼루션 계층을 캐스케이드하며, 제m 단계 다운 샘플링 계층 후, 완전 연결 계층을 캐스케이드하며, 여기서, j 및 m은 모두 양의 정수이고, 1≤j≤m이며, m은 제3 뉴럴 네트워크에서 컨볼루션 계층 및 다운 샘플링 계층의 단계 수를 나타낸다.

다른 일 예로서, 제3 뉴럴 네트워크는 컨볼루션 계층, 다운 샘플링 계층, 정규화 계층 및 완전 연결 계층을 포함할 수 있다.

예를 들어, 제3 뉴럴 네트워크는 1 단계 컨볼루션 계층, 하나의 정규화 계층, 1 단계 다운 샘플링 계층 및 1 단계 완전 연결 계층을 포함할 수 있다. 여기서, 상기 단계 컨볼루션 계층은 하나 또는 복수 개의 컨볼루션 계층을 포함할 수 있고, 상기 단계 다운 샘플링 계층은 하나 또는 복수 개의 다운 샘플링 계층을 포함할 수 있으며, 상기 단계 완전 연결 계층은 하나 또는 복수 개의 완전 연결 계층을 포함할 수 있다.

다른 예에서, 제3 뉴럴 네트워크는 멀티 단계 컨볼루션 계층, 복수 개의 정규화 계층, 멀티 단계 다운 샘플링 계층 및 1 단계 완전 연결 계층을 포함할 수 있다. 여기서, 각 단계 컨볼루션 계층은 하나 또는 복수 개의 컨볼루션 계층을 포함할 수 있고, 각 단계 다운 샘플링 계층은 하나 또는 복수 개의 다운 샘플링 계층을 포함할 수 있으며, 상기 단계 완전 연결 계층은 하나 또는 복수 개의 완전 연결 계층을 포함할 수 있다. 여기서, 제j 단계 컨볼루션 계층 후, 제j 단계 정규화 계층을 캐스케이드하고, 제j 단계 정규화 계층 후, 제j 단계 다운 샘플링 계층을 캐스케이드하며, 제j 단계 다운 샘플링 계층 후, 제j+1 단계 컨볼루션 계층을 캐스케이드하며, 제m 단계 다운 샘플링 계층 후, 완전 연결 계층을 캐스케이드하며, 여기서, j 및 m은 모두 양의 정수이고, 1≤j≤m이며, m은 제3 뉴럴 네트워크에서 컨볼루션 계층, 다운 샘플링 계층의 단계 수 및 정규화 계층의 개수를 나타낸다.

일부 실시예에 있어서, 제2 뉴럴 네트워크 및 제3 뉴럴 네트워크는 동일한 네트워크 구조를 갖는다.

단계 S133에서, 제1 특징 정보 및 제2 특징 정보에 기반하여, 목표 대상의 생체 검출 결과를 결정한다.

설명해야 할 것은, 본 발명의 실시예는 단계 S131 및 단계 S132가 단계 S133 이전에 실행되는 한, 단계 S131 및 단계 S132의 실행 순서를 한정하지 않는다. 예를 들어, 단계 S131이 먼저 실행된 후 단계 S132가 실행될 수 있거나, 단계 S132가 먼저 실행된 후 단계 S131이 실행될 수 있거나, 단계 S131 및 단계 S132가 동시에 실행될 수 있다.

도 5는 본 발명의 실시예에 따른 생체 검출 방법에서 제1 깊이 맵 및 목표 대상의 키포인트 정보에 기반하여, 제1 특징 정보를 얻는 일 예시적인 흐름도를 도시한다. 도 5에 도시된 바와 같이, 제1 깊이 맵 및 목표 대상의 키포인트 정보에 기반하여, 제1 특징 정보를 얻는 단계는, 단계 S1311 내지 단계 S1313을 포함한다.

단계 S1311에서, 제1 깊이 맵 및 목표 대상의 키포인트 정보에 대해 컨볼루션 처리를 수행하여, 제1 컨볼루션 결과를 얻는다.

단계 S1312에서, 제1 컨볼루션 결과에 대해 다운 샘플링 처리를 수행하여, 제1 다운 샘플링 결과를 얻는다.

일부 실시예에 있어서, 1 단계 컨볼루션 계층 및 1 단계 다운 샘플링 계층을 통해, 제1 깊이 맵 및 목표 대상의 키포인트 정보에 대해 컨볼루션 처리 및 다운 샘플링 처리를 수행할 수 있다. 여기서, 상기 단계 컨볼루션 계층은 하나 또는 복수 개의 컨볼루션 계층을 포함할 수 있고, 상기 단계 다운 샘플링 계층은 하나 또는 복수 개의 다운 샘플링 계층을 포함할 수 있다.

일부 다른 실시예에서, 멀티 단계 컨볼루션 계층 및 멀티 단계 다운 샘플링 계층을 통해 제1 깊이 맵 및 목표 대상의 키포인트 정보에 대해 컨볼루션 처리 및 다운 샘플링 처리를 수행할 수 있다. 여기서, 각 단계 컨볼루션 계층은 하나 또는 복수 개의 컨볼루션 계층을 포함할 수 있으며, 각 단계 다운 샘플링 계층은 하나 또는 복수 개의 다운 샘플링 계층을 포함할 수 있다.

일부 실시예에 있어서, 제1 컨볼루션 결과에 대해 다운 샘플링 처리를 수행하여, 제1 다운 샘플링 결과를 얻는 단계는, 제1 컨볼루션 결과에 대해 정규화 처리를 수행하여, 제1 정규화 결과를 얻는 단계; 및 제1 정규화 결과에 대해 다운 샘플링 처리를 수행하여, 제1 다운 샘플링 결과를 얻는 단계를 포함할 수 있다.

단계 S1313에서, 제1 다운 샘플링 결과에 기반하여, 제1 특징 정보를 얻는다.

일부 실시예에 있어서, 제1 다운 샘플링 결과를 완전 연결 계층에 입력하여, 완전 연결 계층을 통해 제1 다운 샘플링 결과에 대해 완전 연결 처리를 수행함으로써, 제1 특징 정보를 얻을 수 있다다.

도 6은 본 발명의 실시예에 따른 생체 검출 방법에서 목표 대상의 키포인트 정보에 따라, 제2 특징 정보를 얻는 일 예시적인 흐름도를 도시한다. 도 6에 도시된 바와 같이, 목표 대상의 키포인트 정보에 기반하여, 제2 특징 정보를 얻는 단계는, 단계 S1321 내지 단계 S1323을 포함할 수 있다.

단계 S1321에서, 제1 목표 이미지 및 목표 대상의 키포인트 정보에 대해 컨볼루션 처리를 수행하여, 제2 컨볼루션 결과를 얻는다.

단계 S1322에서, 제2 컨볼루션 결과에 대해 다운 샘플링 처리를 수행하여, 제2 다운 샘플링 결과를 얻는다.

일부 실시예에 있어서, 1 단계 컨볼루션 계층 및 1 단계 다운 샘플링 계층을 통해 제1 목표 이미지 및 목표 대상의 키포인트 정보에 대해 컨볼루션 처리 및 다운 샘플링 처리를 수행할 수 있다. 여기서, 상기 단계 컨볼루션 계층은 하나 또는 복수 개의 컨볼루션 계층을 포함할 수 있으며, 상기 단계 다운 샘플링 계층은 하나 또는 복수 개의 다운 샘플링 계층을 포함할 수 있다.

일부 다른 실시예에서, 멀티 단계 컨볼루션 계층 및 멀티 단계 다운 샘플링 계층을 통해, 제1 목표 이미지 및 목표 대상의 키포인트 정보에 대해 컨볼루션 처리 및 다운 샘플링 처리를 수행할 수 있다. 여기서, 각 단계 컨볼루션 계층은 하나 또는 복수 개의 컨볼루션 계층을 포함할 수 있으며, 각 단계 다운 샘플링 계층은 하나 또는 복수 개의 다운 샘플링 계층을 포함할 수 있다.

일부 실시예에 있어서, 제2 컨볼루션 결과에 대해 다운 샘플링 처리를 수행하여, 제2 다운 샘플링 결과를 얻는 단계는, 제2 컨볼루션 결과에 대해 정규화 처리를 수행하여, 제2 정규화 결과를 얻는 단계; 및 제2 정규화 결과에 대해 다운 샘플링 처리를 수행하여, 제2 다운 샘플링 결과를 얻는 단계를 포함할 수 있다.

단계 S1323에서, 제2 다운 샘플링 결과에 기반하여, 제2 특징 정보를 얻는다.

일부 실시예에 있어서, 제2 다운 샘플링 결과를 완전 연결 계층에 입력하여, 완전 연결 계층을 통해 제2 다운 샘플링 결과에 대해 완전 연결 처리를 수행함으로써, 제2 특징 정보를 얻는다.

도 7은 본 발명의 실시예에 따른 생체 검출 방법에서 제1 특징 정보 및 제2 특징 정보에 따라, 목표 대상의 생체 검출 결과를 결정하는 일 예시적인 흐름도를 도시한다. 도 7에 도시된 바와 같이, 제1 특징 정보 및 제2 특징 정보에 기반하여, 목표 대상의 생체 검출 결과를 결정하는 단계는, 단계 S1331 및 단계 S1332를 포함할 수 있다.

단계 S1331에서, 제1 특징 정보 및 제2 특징 정보에 대해 완전 연결 처리를 수행하여, 제3 특징 정보를 얻는다.

일부 실시예에 있어서, 완전 연결 계층을 통해 제1 특징 정보 및 제2 특징 정보에 대해 완전 연결 처리를 수행하여, 제3 특징 정보를 얻는다.

단계 S1332에서, 제3 특징 정보에 따라, 목표 대상의 생체 검출 결과를 결정한다.

도 8은 본 발명의 실시예에 따른 생체 검출 방법에서 제3 특징 정보에 따라, 목표 대상의 생체 검출 결과를 결정하는 일 예시적인 흐름도를 도시한다. 도 8에 도시된 바와 같이, 제3 특징 정보에 따라, 목표 대상의 생체 검출 결과를 결정하는 단계는, 단계 S13321 및 단계 S13322를 포함할 수 있다.

단계 S13321에서, 제3 특징 정보에 기반하여, 목표 대상이 생체일 확률을 얻는다.

일부 실시예에 있어서, 제3 특징 정보를 Softmax 계층에 입력하여, Softmax 계층을 통해 목표 대상이 생체일 확률을 얻을 수 있다.

일 예로서, Softmax 계층은 2 개의 뉴런(Neuron)을 포함할 수 있으며, 여기서, 하나의 뉴런은 목표 대상이 생체일 확률을 나타내고, 다른 하나의 뉴런은 목표 대상이 비생체일 확률을 나타낸다.

단계 S13322에서, 목표 대상이 생체일 확률에 따라, 목표 대상의 생체 검출 결과를 결정한다.

일부 실시예에 있어서, 목표 대상이 생체일 확률에 따라, 목표 대상의 생체 검출 결과를 결정하는 단계는, 목표 대상이 생체일 확률이 제4 임계값보다 크면, 목표 대상의 생체 검출 결과를 목표 대상이 생체인 것으로 결정하는 단계; 및 목표 대상이 생체일 확률이 제4 임계값보다 작거나 같으면, 목표 대상의 생체 검출 결과를 비생체인 것으로 결정하는 단계를 포함한다.

설명해야 할 것은, 도 8에 도시된 프로세스로 단계 S1332의 구현형태을 위에서 설명하였지만, 당업자는 본 발명이 이에 한정되지 않음을 이해할 수 있다. 일부 다른 실시예에서, 제3 특징 정보에 기반하여, 목표 대상이 비생체일 확률을 얻을 수 있으며, 목표 대상이 비생체일 확률에 따라, 목표 대상의 생체 검출 결과를 결정한다. 상기 구현형태에서, 목표 대상이 비생체일 확률이 제5 임계값보다 크면, 목표 대상의 생체 검출 결과를 목표 대상이 비생체인 것으로 결정하며; 목표 대상이 비생체일 확률이 제5 임계값보다 작거나 같으면, 목표 대상의 생체 검출 결과를 생체인 것으로 결정한다.

본 발명의 실시예는 깊이 맵 실효 타입의 비생체 공격을 근본적으로 방어할 수 있어, 생체 검출의 정확성 및 보안성을 향상시키고, 신뢰성이 더욱 높다.

이해할 수 있는 것은, 본 발명에서 언급된 상기 각 방법 실시예는, 객관적 법칙을 벗어나지 않는 조건 하에서, 모두 서로 결합되어 결합된 실시예를 형성할 수 있으며, 편폭의 제한으로, 더이상 설명하지 않는다.

또한, 본 발명은 생체 검출 장치, 생체 검출 시스템, 전자 기기, 컴퓨터 판독 가능 저장 매체 및 프로그램을 제공하며, 상기 모두는 본 발명에서 제공하는 생체 검출 방법 중 임의의 방법을 구현하기 위해 사용될 수 있으며, 해당 기술방안 및 설명은 방법 부분의 해당 기재를 참조하며, 더이상 설명하지 않는다.

도 9는 본 발명의 실시예에 따른 생체 검출 장치의 블록도를 도시한다. 도 9에 도시된 바와 같이, 상기 장치는, 깊이 센서에 의해 수집된 제1 깊이 맵 및 이미지 센서에 의해 수집된 제1 목표 이미지를 획득하기 위한 획득 모듈(21); 제1 깊이 맵에 대해 품질 검출을 수행하여, 제1 깊이 맵의 품질 검출 결과를 얻기 위한 품질 검출 모듈(22); 및 제1 깊이 맵의 품질 검출 결과에 기반하여, 제1 목표 이미지에서 목표 대상의 생체 검출 결과를 결정하기 위한 제1 결정 모듈(23)을 포함한다.

일부 실시예에 있어서, 깊이 센서는 비행 시간(TOF) 센서 또는 구조광 센서이다.

일부 실시예에 있어서, 이미지 센서는 RGB 센서 또는 근적외선 센서이다.

도 10은 본 발명의 실시예에 따른 생체 검출 장치의 일 예시적인 블록도를 도시한다. 도 10에 도시된 바와 같이,

일부 실시예에 있어서, 품질 검출 모듈(22)은, 제1 깊이 맵에서 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치를 결정하기 위한 제1 결정 서브 모듈(221); 및 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치에 기반하여, 제1 깊이 맵의 품질 검출 결과를 얻기 위한 제2 결정 서브 모듈(222)을 포함한다.

일부 실시예에 있어서, 제2 결정 서브 모듈(222)은, 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치가 목표 대상에 대응하는 영역에서 차지하는 비율에 기반하여, 제1 깊이 맵의 품질 검출 결과를 얻기 위한 것이다.

일부 실시예에 있어서, 제2 결정 서브 모듈(222)은, 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치 및 적어도 하나의 실효 위치에 대응하는 가중치에 기반하여, 제1 깊이 맵의 품질 검출 결과를 얻기 위한 것이다.

일부 실시예에 있어서, 제1 결정 서브 모듈(221)은, 목표 대상에 대응하는 영역에서 깊이 값이 0인 위치를 실효 위치로 결정하기 위한 것이다.

일부 실시예에 있어서, 상기 장치는, 제1 목표 이미지에 대해 키포인트 검출을 수행하여, 목표 대상의 키포인트 정보를 얻기 위한 키포인트 검출 모듈(24); 및 목표 대상의 키포인트 정보에 기반하여, 제1 깊이 맵으로부터 목표 대상에 대응하는 영역을 결정하기 위한 제2 결정 모듈(25)을 더 포함한다.

일부 실시예에 있어서, 품질 검출 모듈(22)은, 제1 깊이 맵을 제1 뉴럴 네트워크에 입력하여 처리를 수행함으로써, 제1 깊이 맵에 대응하는 품질 신뢰도를 얻기 위한 처리 서브 모듈(223); 및 제1 깊이 맵에 대응하는 품질 신뢰도에 기반하여, 제1 깊이 맵의 품질 검출 결과를 얻기 위한 제3 결정 서브 모듈(224)을 포함한다.

일부 실시예에 있어서, 제3 결정 서브 모듈(224)은, 제1 깊이 맵에 대응하는 품질 신뢰도가 제1 임계값보다 큰 것에 응답하여, 제1 깊이 맵의 품질 검출 결과를 품질 합격인 것으로 결정하는 것; 및 제1 깊이 맵에 대응하는 품질 신뢰도가 제1 임계값보다 작거나 같은 것에 응답하여, 제1 깊이 맵의 품질 검출 결과를 품질 불합격인 것으로 결정하는 것 중 적어도 하나를 위한 것이다.

일부 실시예에 있어서, 상기 장치는, 깊이 센서의 파라미터 및 이미지 센서의 파라미터에 따라, 제1 깊이 맵 및 제1 목표 이미지를 정렬시키기 위한 정렬 모듈(26)을 더 포함한다.

일부 실시예에 있어서, 제1 결정 모듈(23)은, 제1 깊이 맵의 품질 검출 결과가 품질 합격인 것에 응답하여, 제1 깊이 맵 및 제1 목표 이미지에 기반하여, 목표 대상의 생체 검출 결과를 얻기 위한 것이다.

일부 실시예에 있어서, 제1 결정 모듈(23)은, 제1 깊이 맵 및 제1 목표 이미지에 포함된 목표 대상의 키포인트 정보에 기반하여, 목표 대상의 생체 검출 결과를 얻기 위한 것이다.

일부 실시예에 있어서, 제1 결정 모듈(23)은, 제1 깊이 맵 및 목표 대상의 키포인트 정보에 기반하여, 제1 특징 정보를 얻기 위한 제4 결정 서브 모듈(231); 목표 대상의 키포인트 정보에 기반하여, 제2 특징 정보를 얻기 위한 제5 결정 서브 모듈(232); 및 제1 특징 정보 및 제2 특징 정보에 기반하여, 목표 대상의 생체 검출 결과를 결정하기 위한 제6 결정 서브 모듈(233)을 포함한다.

일부 실시예에 있어서, 제4 결정 서브 모듈(231)은, 제1 깊이 맵을 및 목표 대상의 키포인트 정보를 제2 뉴럴 네트워크에 입력하여 처리를 수행함으로써, 제1 특징 정보를 얻기 위한 것이며; 제5 결정 서브 모듈(232)은, 제1 목표 이미지 및 목표 대상의 키포인트 정보를 3 뉴럴 네트워크에 입력하여 처리를 수행함으로써, 제2 특징 정보를 얻기 위한 것이다.

일부 실시예에 있어서, 제4 결정 서브 모듈(231)은, 제1 깊이 맵 및 목표 대상의 키포인트 정보에 대해 컨볼루션 처리를 수행하여, 제1 컨볼루션 결과를 얻고, 제1 컨볼루션 결과에 대해 다운 샘플링 처리를 수행하여, 제1 다운 샘플링 결과를 얻으며; 제1 다운 샘플링 결과에 기반하여, 제1 특징 정보를 얻기 위한 것이다.

일부 실시예에 있어서, 제5 결정 서브 모듈(232)은, 제1 목표 이미지 및 목표 대상의 키포인트 정보에 대해 컨볼루션 처리를 수행하여, 제2 컨볼루션 결과를 얻고; 제2 컨볼루션 결과에 대해 다운 샘플링 처리를 수행하여, 제2 다운 샘플링 결과를 얻으며; 제2 다운 샘플링 결과에 기반하여, 제2 특징 정보를 얻기 위한 것이다.

일부 실시예에 있어서, 제6 결정 서브 모듈(233)은, 제1 특징 정보 및 제2 특징 정보에 대해 완전 연결 처리를 수행하여, 제3 특징 정보를 얻고; 제3 특징 정보에 따라, 목표 대상의 생체 검출 결과를 결정하기 위한 것이다.

일부 실시예에 있어서, 제6 결정 서브 모듈(233)은, 제3 특징 정보에 기반하여, 목표 대상이 생체일 확률을 얻고; 목표 대상이 생체일 확률에 따라, 목표 대상의 생체 검출 결과를 결정하기 위한 것이다.

일부 실시예에 있어서, 제1 결정 모듈(23)은, 제1 깊이 맵의 품질 검출 결과가 품질 불합격인 것에 응답하여, 제1 깊이 맵을 사용하지 않는 조건 하에서, 목표 대상에 대해 생체 검출을 수행하여, 목표 대상의 생체 검출 결과를 얻기 위한 것이다.

일부 실시예에 있어서, 제1 결정 모듈(23)은, 제1 깊이 맵의 품질 검출 결과가 품질 불합격이고, 제1 목표 이미지가 속하는 비디오 시퀀스에 대한 품질 검출 재시도 횟수가 제2 임계값에 도달하는 것에 응답하여, 목표 대상의 생체 검출 결과를 비생체인 것으로 결정하거나, 제1 깊이 맵을 사용하지 않는 조건 하에서, 목표 대상에 대해 생체 검출을 수행하여, 목표 대상의 생체 검출 결과를 얻기 위한 것이다.

일부 실시예에 있어서, 제1 결정 모듈(23)은, 제1 깊이 맵의 품질 검출 결과가 품질 불합격이고, 제1 목표 이미지가 속하는 비디오 시퀀스에 대한 품질 검출 재시도 횟수가 제2 임계값에 도달하지 않은 것에 응답하여, 목표 이미지가 속하는 비디오 시퀀스 중의 제2 목표 이미지에 대응하는 제2 깊이 맵에 대해 품질 검출을 수행하여, 제2 깊이 맵의 품질 검출 결과를 얻기 위한 품질 검출 서브 모듈(234); 및 제2 깊이 맵의 품질 검출 결과에 기반하여, 목표 대상의 생체 검출 결과를 얻기 위한 제7 결정 서브 모듈(235)을 포함한다.

본 발명의 실시예는 깊이 센서에 의해 수집된 제1 깊이 맵 및 이미지 센서에 의해 수집된 제1 목표 이미지를 획득함으로써, 제1 깊이 맵에 대해 품질 검출을 수행하여, 제1 깊이 맵의 품질 검출 결과를 얻고, 제1 깊이 맵의 품질 검출 결과에 기반하여 제1 목표 이미지에서 목표 대상의 생체 검출 결과를 결정함으로써, 생체 검출의 정확성을 향상시킨다.

일부 예에서, 상기 장치는 전술한 다양한 가능한 방법을 실행하기 위한 것이며, 그에 따라, 상기 장치는 전술한 방법 중의 다양한 가능한 단계 또는 프로세스를 구현하기 위한 유닛 또는 모듈을 포함하며, 간결함을 위해 여기서 더이상 설명하지 않는다.

본 발명의 실시예는 전자 기기를 제공하며, 프로세서; 프로세서 실행 가능한 명령어를 저장하기 위한 메모리를 포함하고; 여기서, 상기 프로세서는 상기 방법을 실행하도록 구성된다.

본 발명의 실시예는 또한 컴퓨터 프로그램 명령어가 저장된 컴퓨터 판독 가능 저장 매체를 제공하며, 컴퓨터 프로그램 명령어가 프로세서에 의해 실행될 때, 상기 방법을 구현한다. 컴퓨터 판독 가능한 저장 매체는 비휘발성 컴퓨터 판독 가능 저장 매체일 수 있다.

본 발명의 실시예는 또한 상기 전자 기기, 깊이 센서 및 이미지 센서를 포함하는 생체 검출 시스템을 제공한다.

본 발명의 실시예는 상기 컴퓨터 판독 가능한 저장 매체, 깊이 센서 및 이미지 센서를 포함하는 생체 검출 시스템을 제공한다.

도 11은 본 발명의 실시예에 따른 전자 기기의 일 예시적인 블록도를 도시한다. 도 11에 도시된 바와 같이, 상기 전자 기기는, 목표 대상의 깊이 맵을 검출하기 위한 깊이 센서(31); 목표 대상을 포함하는 목표 이미지를 수집하기 위한 이미지 센서(32); 및 제1 깊이 맵에 대해 품질 검출을 수행하여, 제1 깊이 맵의 품질 검출 결과를 얻고, 제1 깊이 맵의 품질 검출 결과에 기반하여, 제1 목표 이미지에서 목표 대상의 생체 검출 결과를 결정하기 위한 프로세서(33)를 포함한다.

일부 실시예에 있어서, 상기 프로세서(33)는 또한, 제1 깊이 맵에서 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치를 결정하고; 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치에 기반하여, 제1 깊이 맵의 품질 검출 결과를 얻기 위한 것이다.

일부 실시예에 있어서, 상기 프로세서(33)는, 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치가 목표 대상에 대응하는 영역에서 차지하는 비율에 기반하여, 제1 깊이 맵의 품질 검출 결과를 얻기 위한 것이다.

일부 실시예에 있어서, 상기 프로세서(33)는, 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치 및 적어도 하나의 실효 위치에 대응하는 가중치에 기반하여, 제1 깊이 맵의 품질 검출 결과를 얻기 위한 것이다.

일부 실시예에 있어서, 상기 프로세서(33)는, 목표 대상에 대응하는 영역에서 깊이 값이 0인 위치를 실효 위치로 결정하기 위한 것이다.

일부 실시예에 있어서, 상기 프로세서(33)는 또한, 제1 목표 이미지에 대해 키포인트 검출을 수행하여, 목표 대상의 키포인트 정보를 얻고; 목표 대상의 키포인트 정보에 기반하여, 제1 깊이 맵으로부터 목표 대상에 대응하는 영역을 결정하기 위한 것이다.

일부 실시예에 있어서, 상기 프로세서(33)는, 제1 깊이 맵을 제1 뉴럴 네트워크에 입력하여 처리를 수행함으로써, 제1 깊이 맵에 대응하는 품질 신뢰도를 얻고; 제1 깊이 맵에 대응하는 품질 신뢰도에 기반하여, 제1 깊이 맵의 품질 검출 결과를 얻기 위한 것이다.

일부 실시예에 있어서, 상기 프로세서(33)는, 제1 깊이 맵에 대응하는 품질 신뢰도가 제1 임계값보다 큰 것에 응답하여, 제1 깊이 맵의 품질 검출 결과를 품질 합격인 것으로 결정하는 것; 및 제1 깊이 맵에 대응하는 품질 신뢰도가 제1 임계값보다 작거나 같은 것에 응답하여, 제1 깊이 맵의 품질 검출 결과를 품질 불합격인 것으로 결정하는 것 중 적어도 하나를 위한 것이다.

일부 실시예에 있어서, 상기 프로세서(33)는 또한, 깊이 센서의 파라미터 및 이미지 센서의 파라미터에 따라, 제1 깊이 맵 및 제1 목표 이미지를 정렬시키기 위한 것이다.

일부 실시예에 있어서, 상기 프로세서(33)는, 제1 깊이 맵의 품질 검출 결과가 품질 합격인 것에 응답하여, 제1 깊이 맵 및 제1 목표 이미지에 포함된 목표 대상의 키포인트 정보에 기반하여, 목표 대상의 생체 검출 결과를 얻기 위한 것이다.

일부 실시예에 있어서, 상기 프로세서(33)는, 제1 깊이 맵 및 목표 대상의 키포인트 정보에 기반하여, 제1 특징 정보를 얻고; 목표 대상의 키포인트 정보에 기반하여, 제2 특징 정보를 얻으며; 제1 특징 정보 및 제2 특징 정보에 기반하여, 목표 대상의 생체 검출 결과를 결정하기 위한 것이다.

일부 실시예에 있어서, 상기 프로세서(33)는, 제1 깊이 맵 및 목표 대상의 키포인트 정보를 제2 뉴럴 네트워크에 입력하여 처리를 수행함으로써, 제1 특징 정보를 얻기 위한 것이고; 목표 대상의 키포인트 정보에 기반하여, 제2 특징 정보를 얻는 단계는, 제1 목표 이미지 및 목표 대상의 키포인트 정보를 제3 뉴럴 네트워크에 입력하여 처리를 수행함으로써, 제2 특징 정보를 얻는 단계를 포함한다.

일부 실시예에 있어서, 상기 프로세서(33)는, 제1 깊이 맵 및 목표 대상의 키포인트 정보에 대해 컨볼루션 처리를 수행하여, 제1 컨볼루션 결과를 얻고; 제1 컨볼루션 결과에 대해 다운 샘플링 처리를 수행하여, 제1 다운 샘플링 결과를 얻으며; 제1 다운 샘플링 결과에 기반하여, 제1 특징 정보를 얻기 위한 것이다.

일부 실시예에 있어서, 상기 프로세서(33)는, 제1 목표 이미지 및 목표 대상의 키포인트 정보에 대해 컨볼루션 처리를 수행하여, 제2 컨볼루션 결과를 얻고; 제2 컨볼루션 결과에 대해 다운 샘플링 처리를 수행하여, 제2 다운 샘플링 결과를 얻으며; 제2 다운 샘플링 결과에 기반하여, 제2 특징 정보를 얻기 위한 것이다.

일부 실시예에 있어서, 상기 프로세서(33)는, 제1 특징 정보 및 제2 특징 정보에 대해 완전 연결 처리를 수행하여, 제3 특징 정보를 얻고; 제3 특징 정보에 따라, 목표 대상의 생체 검출 결과를 결정하기 위한 것이다.

일부 실시예에 있어서, 상기 프로세서(33)는, 제3 특징 정보에 기반하여, 목표 대상이 생체일 확률을 얻고; 목표 대상이 생체일 확률에 따라, 목표 대상의 생체 검출 결과를 결정하기 위한 것이다.

일부 실시예에 있어서, 상기 프로세서(33)는, 제1 깊이 맵의 품질 검출 결과가 품질 불합격인 것에 응답하여, 제1 깊이 맵을 사용하지 않는 조건 하에서, 목표 대상에 대해 생체 검출을 수행하여, 목표 대상의 생체 검출 결과를 얻기 위한 것이다.

일부 실시예에 있어서, 상기 프로세서(33)는, 제1 깊이 맵의 품질 검출 결과가 품질 불합격이고, 제1 목표 이미지가 속하는 비디오 시퀀스에 대한 품질 검출 재시도 횟수가 제2 임계값에 도달하는 것에 응답하여, 제1 깊이 맵을 사용하지 않는 조건 하에서, 목표 대상에 대해 생체 검출을 수행하여, 목표 대상의 생체 검출 결과를 얻기 위한 것이다.

일부 실시예에 있어서, 상기 프로세서(33)는, 제1 깊이 맵의 품질 검출 결과가 품질 불합격이고, 제1 목표 이미지가 속하는 비디오 시퀀스에 대한 품질 검출 재시도 횟수가 제2 임계값에 도달하지 않은 것에 응답하여, 목표 대상의 생체 검출 결과를 비생체인 것으로 결정하거나, 목표 이미지가 속하는 비디오 시퀀스 중의 제2 목표 이미지에 대응하는 제2 깊이 맵에 대해 품질 검출을 수행하여, 제2 깊이 맵의 품질 검출 결과를 얻고; 제2 깊이 맵의 품질 검출 결과에 기반하여, 목표 대상의 생체 검출 결과를 얻기 위한 것이다.

전자 기기는 단말, 서버 또는 다른 형태의 기기로 제공될 수 있다.

도 12는 본 발명의 실시예에 따른 전자 기기의 다른 예시적인 블록도를 도시한다. 예를 들어, 전자 기기(800)는 휴대폰, 컴퓨터, 디지털 방송 단말, 메시지 송수신 기기, 게임 콘솔, 태블릿 기기, 의료 기기, 운동 기기, 개인 휴대 정보 단말 등 단말일 수 있다.

도 12를 참조하면, 전자 기기(800)는 처리 컴포넌트(802), 메모리(804), 전원 컴포넌트(806), 멀티미디어 컴포넌트(808), 오디오 컴포넌트(810), 입력/출력(I/O) 인터페이스(812), 센서 컴포넌트(814), 및 통신 컴포넌트(816) 중 하나 또는 복수 개를 포함할 수 있다.

처리 컴포넌트(802)는 일반적으로 디스플레이, 전화통화, 데이터 통신, 카메라 동작 및 기록 동작과 같은 전자 기기(800)의 전반적인 동작을 제어한다. 처리 컴포넌트(802)는 상기 방법 단계의 전부 또는 일부를 구현하기 위한 명령어를 실행하기 위한 하나 또는 복수 개의 프로세서(820)를 포함할 수 있다. 또한, 처리 컴포넌트(802)는 처리 컴포넌트(802) 및 다른 컴포넌트 사이의 인터랙션을 용이하게 하기 위한 하나 또는 복수 개의 모듈을 포함할 수 있다. 예를 들어, 처리 컴포넌트(802)는 멀티미디어 컴포넌트(808) 및 처리 컴포넌트(802) 사이의 인터랙션을 용이하게 하기 위한 멀티미디어 모듈을 포함할 수 있다.

메모리(804)는 전자 기기(800)의 동작을 지원하기 위해 다양한 타입의 데이터를 저장하도록 구성된다. 이러한 데이터의 예는 전자 기기(800)에서 동작하는 임의의 애플리케이션 또는 방법에 사용되는 명령어, 연락처 데이터, 연락처 목록 데이터, 메시지, 사진, 비디오 등을 포함한다. 메모리(804)는 정적 랜덤 액세스 메모리(Static Random Access Memory, SRAM), 전기적 소거 가능한 프로그래머블 읽기 전용 메모리(Electrically Erasable Programmable Read Only Memory, EEPROM), 소거 가능한 프로그래머블 읽기 전용 메모리(Erasable Programmable Read Only Memory, EPROM), 프로그래머블 읽기 전용 메모리(Programmable Read Only Memory, PROM), 읽기 전용 메모리(Read Only Memory, ROM), 자기 메모리, 플래시 메모리, 자기 디스크 또는 광 디스크 중 어느 한 타입의 휘발성 또는 비휘발성 저장 기기 또는 이들의 조합에 의해 구현될 수 있다.

전원 컴포넌트(806)는 전자 기기(800)의 다양한 컴포넌트에 전력을 제공한다. 전원 컴포넌트(806)는 전력 관리 시스템, 하나 또는 복수 개의 전원, 및 전자 기기(800)에 대한 전력 생성, 관리 및 분배와 관련된 다른 컴포넌트를 포함할 수 있다.

멀티미디어 컴포넌트(808)는 하나의 출력 인터페이스를 제공하는 상기 전자 기기(800) 및 사용자 사이의 스크린을 포함할 수 있다. 일부 실시예에 있어서, 스크린은 액정 디스플레이(LCD) 및 터치 패널(TP)을 포함할 수 있다. 스크린이 터치 패널을 포함하는 경우, 스크린은 사용자로부터의 입력 신호를 수신하기 위한 터치 스크린으로서 구현될 수 있다. 터치 패널은 터치, 스와이프 및 터치 패널 상의 제스처를 감지하기 위한 하나 또는 복수 개의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 스와이프 동작의 경계를 감지할 뿐만 아니라, 상기 터치 또는 슬라이딩 동작과 관련된 지속 시간 및 압력을 감지할 수 있다. 일부 실시예에 있어서, 멀티미디어 컴포넌트(808)는 하나의 전방 카메라 및 후방 카메라 중 적어도 하나를 포함한다. 전자 기기(800)가 촬영 모드 또는 비디오 모드와 같은 동작 모드인 경우, 전방 카메라 및 후방 카메라 중 적어도 하나는 외부의 멀티미디어 데이터를 수신할 수 있다. 전방 카메라 및 후방 카메라는 각각 하나의 고정된 광학 렌즈 시스템이거나 초점 거리 및 광학 줌 기능을 가질 수 있다.

오디오 컴포넌트(810)는 오디오 신호를 출력 및/또는 입력하도록 구성된다. 예를 들어, 오디오 컴포넌트(810)는 하나의 마이크(MIC)를 포함하고, 전자 기기(800)가 통화 모드, 녹음 모드 및 음성 인식과 같은 동작 모드에 있을 때 외부 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 메모리(804)에 추가로 저장되거나 통신 컴포넌트(816)에 의해 전송될 수 있다. 일부 실시예에 있어서, 오디오 컴포넌트(810)는 오디오 신호를 출력하기 위한 스피커를 더 포함한다.

I/O 인터페이스(812)는 처리 컴포넌트(802) 및 외부 인터페이스 모듈 사이에 인터페이스를 제공하며, 상기 외부 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등일 수 있다. 이러한 버튼은 홈 버튼, 볼륨 버튼, 시작 버튼 및 잠금 버튼을 포함할 수 있지만 이에 한정되지 않는다.

센서 컴포넌트(814)는 전자 기기(800)에 대해 다양한 측면의 상태 평가를 제공하기 위한 하나 또는 복수 개의 센서를 포함한다. 예를 들어, 센서 컴포넌트(814)는 전자 기기(800)의 온/오프 상태, 상기 컴포넌트가 전자 기기(800)에 대한 디스플레이 및 키패드와 같은 컴포넌트의 상대적 위치를 검출할 수 있으며, 센서 컴포넌트(814)는 또한, 전자 기기(800) 또는 전자 기기(800)의 하나의 컴포넌트의 위치 변화, 사용자가 전자 기기(800)와의 접촉의 존재 또는 부재, 전자 기기(800) 방향 또는 가속/감속 및 전자 기기(800)의 온도 변화를 검출할 수 있다. 센서 컴포넌트(814)는 아무런 물리적 접촉이 없을 때 근처 물체의 존재를 검출하도록 구성된 근접 센서를 포함할 수 있다. 센서 컴포넌트(814)는 또한 이미징 응용에 사용하기 위한, CMOS 또는 CCD 이미지 센서와 같은 광 센서를 포함할 수 있다. 일부 실시예에 있어서, 상기 센서 컴포넌트(814)는 가속도 센서, 자이로스코프 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.

통신 컴포넌트(816)는 전자 기기(800) 및 다른 기기 사이의 유선 또는 무선 방식의 통신을 용이하게 하도록 구성된다. 전자 기기(800)는 WiFi, 2G 또는 3G, 또는 이들의 조합과 같은 통신 표준에 기반한 무선 네트워크에 액세스할 수 있다. 일 예시적 실시예에서, 통신 컴포넌트(816)는 방송 채널을 통해 외부 방송 관리 시스템으로부터의 방송 신호 또는 방송 관련 정보를 수신한다. 일 예시적 실시예에서, 상기 통신 컴포넌트(816)는 근거리 통신을 촉진하는 근거리 통신(NFC) 모듈을 더 포함한다. 예를 들어, NFC 모듈은 무선 주파수 식별자(Radio Frequency Identification, RFID) 기술, 적외선 통신 규격(Infrared Data Association, IrDA) 기술, 초광대역 (Ultra Wideband, UWB) 기술, 블루투스(Bluetooth, BT) 기술 및 다른 기술을 기반으로 구현될 수 있다.

예시적 실시예에서, 전자 기기(800)는 상기 방법을 실행하기 위해, 하나 또는 복수 개의 주문형 집적 회로(ApplicationSpecificIntegratedCircuit, ASIC), 디지털 신호 프로세서(Digital Signal Processor, DSP), 디지털 신호 처리 장치(Digital Signal Processing Devices, DSPD), 프로그래머블 논리 장치(Programmable Logic Device, PLD), 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자 소자에 의해 구현될 수 있다.

예시적 실시예에서 또한, 컴퓨터 프로그램 명령어를 포함하는 메모리(804)와 같은 비휘발성 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 컴퓨터 프로그램 명령어는 상기 방법을 완성하기 위해 전자 기기(800)의 프로세서(820)에 의해 실행될 수 있다.

본 발명은 시스템, 방법 및/또는 컴퓨터 프로그램 제품일 수 있다. 컴퓨터 프로그램 제품은 프로세서로 하여금 본 발명의 각 측면을 구현하하도록 하는 컴퓨터 판독 가능 프로그램 명령어를 포함하는 컴퓨터 판독 가능한 저장 매체를 포함할 수 있다.

컴퓨터 판독 가능한 저장 매체는 명령어 실행 기기에 의해 사용되는 명령어를 보유 및 저장할 수 있는 유형의 기기일 수 있다. 컴퓨터 판독 가능 저장 매체는 예를 들어, 전자 저장 기기, 자기 저장 기기, 광 저장 기기, 전자기 저장 기기, 반도체 저장 기기 또는 상기 임의의 적절한 조합일 수 있지만 이에 한정되지 않는다. 컴퓨터 판독 가능 저장 매체의 보다 구체적인 예(수없이 많은 리스트)는, 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(Random Access Memory, RAM), 판독 전용 메모리(Read Only Memory, ROM), 소거 가능한 프로그래머블 판독 전용 메모리(Erasable Programmable Read Only Memory, EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(Static Random Access Memory, SRAM), 컴팩트 디스크 판독 전용 메모리(Compact Disk Read-Only Memory, CD-ROM), 디지털 다기능 디스크(Digital Versatile Disc, DVD), 메모리 스틱, 플로피 디스크, 명령어가 저장된 펀치 카드 또는 그루브의 융기 구조와 같은 기계적으로 인코딩된 기기, 및 상기 임의의 적절한 조합을 포함한다. 본문에서 사용된 컴퓨터 판독 가능 저장 매체는 전파 또는 다른 자유 전파 전자기파, 도파관 또는 다른 전송 매체를 통해 전파되는 전자기파(예를 들어, 광섬유 케이블을 통과하는 광 펄스), 또는 전선을 통해 전송되는 전자 신호와 같은 일시적인 신호로 해석되어서는 안된다.

본문에서 설명된 컴퓨터 판독 가능 프로그램 명령어는 컴퓨터 판독 가능 저장 매체로부터 각각의 컴퓨팅/처리 기기로 다운로드 될 수 있거나, 인터넷, 근거리 통신망(LAN), 광역 통신망(WAN) 및 무선 네트워크 중 적어도 하나와 같은 네트워크를 통해, 외부 컴퓨터 또는 외부 저장 기기로 다운로드될 수 있다. 네트워크는 구리 전송 케이블, 광 섬유 전송, 무선 전송, 라우터, 방화벽, 스위치, 게이트웨이 컴퓨터 및 에지 서버 중 적어도 하나를 포함할 수있다. 각 컴퓨팅/처리 기기 중의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터 판독 가능 프로그램 명령어를 수신하고, 각 컴퓨팅/처리 기기 중의 컴퓨터 판독 가능 저장 매체에 저장하기 위한 상기 컴퓨터 판독 가능 프로그램 명령어를 전달한다.

본 발명 동작을 실행하기 위한 컴퓨터 프로그램 명령어는 어셈블러 명령어, 명령어 집합 구조(Instruction set architecture, ISA) 명령어, 기계 명령어, 기계 의존 명령어, 마이크로 코드, 펌웨어 명령어, 상태 설정 데이터, 또는 하나 또는 복수 개의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 목표 코드일 수 있으며, 상기 프로그래밍 언어는 스몰토크(Smalltalk), C++ 등과 같은 객체 지향 프로그래밍 언어 및 “C” 언어와 같은 종래의 절차적 프로그래밍 언어를 포함한다. 컴퓨터 판독 가능프로그램 명령어는 사용자 컴퓨터에서 완전히 또는 부분적으로 실행될 수 있으며, 독렵형 소프트웨어 패키지로서 부분적으로 사용자 컴퓨터에서, 부분적으로 원격 컴퓨터에서 또는 완전히 원격 컴퓨터 또는 서버에서 실행될 수 있다. 원격 컴퓨터와 관련된 시나리오에서, 원격 컴퓨터는 LAN 또는 WAN을 포함한 모든 유형의 네트워크를 통해 사용자의 컴퓨터에 연결되거나 외부 컴퓨터에 연결(예를 들어, 인터넷 서비스 제공 업체를 사용하여 인터넷을 통해 연결됨)될 수 있다. 일부 실시예에 있어서, 컴퓨터 판독 가능 프로그램 명령어의 상태 정보를 이용하여 프로그램 가능 논리 회로, 필드 프로그램 가능 게이트 어레이(Field Programmable Gate Array, FPGA) 또는 프로그램 가능 논리 어레이(Programmable Logic Array, PLA)와 같은 전자 회로를 맞춤 제작함으로써, 상기 전자 회로는 컴퓨터 판독 가능 프로그램 명령어를 실행할 수 있으므로, 본 발명의 각 측면을 구현한다.

본 발명의 각 측면은 본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및 블록도 중 적어도 하나를 참조하여 설명된다. 이해해야 할 것은, 흐름도 및 블록도 중 적어도 하나의 각 블록; 흐름도 및 블록도 중 적어도 하나의 각 블록의 조합은, 모두 컴퓨터 판독 가능 프로그램 명령어에 의해 구현될 수 있다.

이러한 컴퓨터 판독 가능 프로그램 명령어는 범용 컴퓨터, 특수 목적 컴퓨터 또는 다른 프로그래머블 데이터 처리 장치의 프로세서에 제공됨으로써, 기계를 생성하며, 이러한 명령어가 컴퓨터나 다른 프로그래머블 데이터 처리 장치의 프로세서를 통해 실행될 때, 흐름도 및 블록도 중 하나 또는 복수 개의 블록에서 규정한 기능/동작을 구현하기 위한 장치를 생성한다. 이러한 컴퓨터 판독 가능 프로그램 명령어를 컴퓨터 판독 가능 저장 매체에 저장할 수도 있으며, 이러한 명령어는 컴퓨터, 프로그래머블 데이터 처리 장치 및 다른 기기 중 적어도 하나로 하여금 특정 방식으로 작업하도록 함으로써, 명령어가 저장된 컴퓨터 판독 가능 매체는 흐름도 및 블록도 중 하나 또는 복수 개의 블록에서 규정된 기능/동작의 각 측면의 명령어를 포함하는 제조물품을 포함한다.

컴퓨터 판독 가능프로그램 명령어는 컴퓨터, 다른 프로그래머블 데이터 처리 장치, 또는 다른 기기에 로딩되어, 컴퓨터, 다른 프로그래머블 데이터 처리 장치 또는 다른 기기에서 일련의 동작 단계가 실행되도록 하여, 컴퓨터가 구현하는 과정을 생성함으로써, 컴퓨터, 다른 프로그래머블 데이터 처리 장치, 또는 다른 기기에서 실행되는 명령어로 하여금 흐름도 및 블록도 중 하나 또는 복수 개의 블록에서 규정된 기능/동작을 구현하도록 한다.

도면의 흐름도 및 블록도는 본 발명의 복수 개의 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 구현 가능한 체계 아키텍처, 기능 및 동작을 도시한다. 이러한 점에서, 흐름도 또는 블록도의 각 블록은 규정된 논리 기능을 구현하기 위한 하나 또는 복수 개의 실행 가능한 명령어를 포함하는 하나의 모듈, 프로그램 세그먼트 또는 명령어의 일부를 나타낼 수 있다. 일부 대안적인 구현에서, 블록에 표시된 기능은 도면에 표시된 순서와 다른 순서로 발생할 수 있다. 예를 들어, 2 개의 연속적인 블록은 실제로 기본상 병행하여 실행될 수 있거나, 이들은 때로는 역순으로 실행될 수 있으며, 이는 관련된 기능에 따라 결정된다. 유의해야 할 것은, 블록도 및 흐름도 중 적어도 하나의 각 블록, 블록도 및 흐름도 중 적어도 하나의 블록의 조합은, 규정된 기능 또는 동작을 실행하는 특수 목적의 하드웨어 기반 시스템에 의해 구현될 수 있으며, 또는 특수 목적 하드웨어와 컴퓨터 명령어의 조합으로 구현될 수 있다.

이상 본 발명의 각 실시예를 설명하였고, 상기 설명은 예시적이고, 비제한적이며, 개시된 각 실시예를 한정하지 않는다. 당업자에게는 기술된 실시예의 범위 및 사상을 벗어나지 않고 많은 수정 및 변형은 명백한 것이다. 본문에서 사용된 용어 선택은 각 실시예의 원리, 실제 응용 또는 시장 기술에 대한 기술 개선을 가장 잘 해석하거나 당업자가 본문에서 개시한 실시예를 잘 이해할 수 있도록 한다.

Claims

생체 검출 방법으로서,
깊이 센서에 의해 수집된 제1 깊이 맵 및 이미지 센서에 의해 수집된 제1 목표 이미지를 획득하는 단계;
상기 제1 깊이 맵에 대해 품질 검출을 수행하여, 상기 제1 깊이 맵의 품질 검출 결과를 얻는 단계 - 상기 품질 검출 결과는 제1 깊이 맵의 품질 합격 또는 불합격인 것임 - ; 및
상기 제1 깊이 맵의 품질 검출 결과에 기반하여, 상기 제1 목표 이미지에서 목표 대상의 생체 검출 결과를 결정하는 단계를 포함하고,
상기 제1 깊이 맵에 대해 품질 검출을 수행하여, 상기 제1 깊이 맵의 품질 검출 결과를 얻는 단계는,
상기 제1 깊이 맵에서 상기 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치를 결정하는 단계; 및
상기 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치에 기반하여, 상기 제1 깊이 맵의 품질 검출 결과를 얻는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
제1항에 있어서,
상기 깊이 센서는 비행 시간(TOF) 센서 또는 구조광 센서이며,
또는
상기 이미지 센서는 RGB 센서 또는 근적외선 센서인 것을 특징으로 하는 생체 검출 방법.
삭제
제1항에 있어서,
상기 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치에 기반하여, 상기 제1 깊이 맵의 품질 검출 결과를 얻는 단계는,
상기 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치가 상기 목표 대상에 대응하는 영역에서 차지하는 비율에 기반하여, 상기 제1 깊이 맵의 품질 검출 결과를 얻는 단계; 또는
상기 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치 및 상기 적어도 하나의 실효 위치에 대응하는 가중치에 기반하여, 상기 제1 깊이 맵의 품질 검출 결과를 얻는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
제1항에 있어서,
상기 제1 깊이 맵에서 상기 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치를 결정하는 단계는,
상기 목표 대상에 대응하는 영역에서 깊이 값이 0인 위치를 상기 실효 위치로 결정하는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
제1항에 있어서,
상기 생체 검출 방법은,
상기 제1 목표 이미지에 대해 키포인트 검출을 수행하여, 상기 목표 대상의 키포인트 정보를 얻는 단계; 및
상기 목표 대상의 키포인트 정보에 기반하여, 상기 제1 깊이 맵으로부터 상기 목표 대상에 대응하는 영역을 결정하는 단계를 더 포함하는 것을 특징으로 하는 생체 검출 방법.
제1항에 있어서,
상기 제1 깊이 맵에 대해 품질 검출을 수행하여, 상기 제1 깊이 맵의 품질 검출 결과를 얻는 단계는,
상기 제1 깊이 맵을 제1 뉴럴 네트워크에 입력하여 처리를 수행함으로써, 상기 제1 깊이 맵에 대응하는 품질 신뢰도를 얻는 단계; 및
제1 깊이 맵에 대응하는 품질 신뢰도에 기반하여, 상기 제1 깊이 맵의 품질 검출 결과를 얻는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
제1항에 있어서,
상기 제1 깊이 맵의 품질 검출 결과에 기반하여, 상기 제1 목표 이미지에서 목표 대상의 생체 검출 결과를 결정하는 단계는,
상기 제1 깊이 맵의 품질 검출 결과가 품질 합격인 것에 응답하여, 상기 제1 깊이 맵 및 상기 제1 목표 이미지에 기반하여, 상기 목표 대상의 생체 검출 결과를 얻는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
제8항에 있어서,
상기 제1 깊이 맵 및 상기 제1 목표 이미지에 기반하여, 상기 목표 대상의 생체 검출 결과를 얻는 단계는,
상기 제1 깊이 맵 및 상기 제1 목표 이미지에 포함된 상기 목표 대상의 키포인트 정보에 기반하여, 상기 목표 대상의 생체 검출 결과를 얻는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
제9항에 있어서,
상기 제1 깊이 맵 및 상기 제1 목표 이미지에 포함된 상기 목표 대상의 키포인트 정보에 기반하여, 상기 목표 대상의 생체 검출 결과를 얻는 단계는,
상기 제1 깊이 맵 및 상기 목표 대상의 키포인트 정보에 기반하여, 제1 특징 정보를 얻는 단계;
상기 목표 대상의 키포인트 정보에 기반하여, 제2 특징 정보를 얻는 단계; 및
상기 제1 특징 정보 및 상기 제2 특징 정보에 기반하여, 상기 목표 대상의 생체 검출 결과를 결정하는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
제10항에 있어서,
상기 제1 깊이 맵 및 상기 목표 대상의 키포인트 정보에 기반하여, 제1 특징 정보를 얻는 단계는,
상기 제1 깊이 맵 및 상기 목표 대상의 키포인트 정보를 제2 뉴럴 네트워크에 입력하여 처리를 수행함으로써, 제1 특징 정보를 얻는 단계를 포함하며;
상기 목표 대상의 키포인트 정보에 기반하여, 제2 특징 정보를 얻는 단계는,
상기 제1 목표 이미지 및 상기 목표 대상의 키포인트 정보를 제3 뉴럴 네트워크에 입력하여 처리를 수행함으로써, 제2 특징 정보를 얻는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
제10항에 있어서,
상기 제1 깊이 맵 및 상기 목표 대상의 키포인트 정보에 기반하여, 제1 특징 정보를 얻는 단계는,
상기 제1 깊이 맵 및 상기 목표 대상의 키포인트 정보에 대해 컨볼루션 처리를 수행하여, 제1 컨볼루션 결과를 얻는 단계;
상기 제1 컨볼루션 결과에 대해 다운 샘플링 처리를 수행하여, 제1 다운 샘플링 결과를 얻는 단계; 및
상기 제1 다운 샘플링 결과에 기반하여, 제1 특징 정보를 얻는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
제10항에 있어서,
상기 제1 특징 정보 및 상기 제2 특징 정보에 기반하여, 상기 목표 대상의 생체 검출 결과를 결정하는 단계는,
상기 제1 특징 정보 및 상기 제2 특징 정보에 대해 완전 연결 처리를 수행하여, 제3 특징 정보를 얻는 단계; 및
상기 제3 특징 정보에 따라, 상기 목표 대상의 생체 검출 결과를 결정하는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
제13항에 있어서,
상기 제3 특징 정보에 따라, 생체 검출 결과를 결정하는 단계는,
상기 제3 특징 정보에 기반하여, 상기 목표 대상이 생체일 확률을 얻는 단계; 및
상기 목표 대상이 생체일 확률에 따라, 상기 목표 대상의 생체 검출 결과를 결정하는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
제1항에 있어서,
상기 제1 깊이 맵의 품질 검출 결과에 기반하여, 상기 제1 목표 이미지에서 목표 대상의 생체 검출 결과를 결정하는 단계는,
상기 제1 깊이 맵의 품질 검출 결과가 품질 불합격인 것에 응답하여, 상기 제1 깊이 맵을 사용하지 않는 조건 하에서 상기 목표 대상에 대해 생체 검출을 수행함으로써, 상기 목표 대상의 생체 검출 결과를 얻는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
제1항에 있어서,
상기 제1 깊이 맵의 품질 검출 결과에 기반하여, 상기 제1 목표 이미지에서 목표 대상의 생체 검출 결과를 결정하는 단계는,
상기 제1 깊이 맵의 품질 검출 결과가 품질 불합격이고 상기 제1 목표 이미지가 속하는 비디오 시퀀스에 대한 품질 검출 재시도 횟수가 제2 임계값에 도달한 것에 응답하여, 상기 목표 대상의 생체 검출 결과를 비생체인 것으로 결정하거나, 상기 제1 깊이 맵을 사용하지 않는 조건 하에서 상기 목표 대상에 대해 생체 검출을 수행하여, 상기 목표 대상의 생체 검출 결과를 얻는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
생체 검출 장치로서,
깊이 센서에 의해 수집된 제1 깊이 맵 및 이미지 센서에 의해 수집된 제1 목표 이미지를 획득하기 위한 획득 모듈;
상기 제1 깊이 맵에 대해 품질 검출을 수행하여, 상기 제1 깊이 맵의 품질 검출 결과를 얻기 위한 품질 검출 모듈 - 상기 품질 검출 결과는 제1 깊이 맵의 품질 합격 또는 불합격인 것임 - ; 및
상기 제1 깊이 맵의 품질 검출 결과에 기반하여, 상기 제1 목표 이미지에서 목표 대상의 생체 검출 결과를 결정하기 위한 제1 결정 모듈을 포함하고,
상기 품질 검출 모듈은 또한, 상기 제1 깊이 맵에서 상기 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치를 결정하고;
상기 목표 대상에 대응하는 영역의 적어도 하나의 실효 위치에 기반하여, 상기 제1 깊이 맵의 품질 검출 결과를 얻는 것을 특징으로 하는 생체 검출 장치.
전자 기기로서
프로세서; 및
프로세서 실행 가능한 명령어를 저장하기 위한 메모리를 포함하고,
제1항, 제2항, 제4항 내지 제16항 중 어느 한 항에 따른 방법을 실행하기 위해, 상기 프로세서는 메모리에 저장된 상기 명령어를 호출하도록 구성되는 것을 특징으로 하는 전자 기기.
컴퓨터 프로그램 명령어가 저장된 컴퓨터 판독 가능 저장 매체로서,
상기 컴퓨터 프로그램 명령어가 프로세서에 의해 실행될 때, 제1항, 제2항, 제4항 내지 제16항 중 어느 한 항에 따른 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.
생체 검출 시스템으로서,
제18항에 따른 전자 기기, 깊이 센서 및 이미지 센서를 포함하는 것을 특징으로 하는 생체 검출 시스템.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제