KR20200050994A

KR20200050994A - 생체 검출 방법 및 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체

Info

Publication number: KR20200050994A
Application number: KR1020207009471A
Authority: KR
Inventors: 티안펭 바오; 리웨이 우; 루이 장; 카이 양
Original assignee: 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date: 2018-09-07
Filing date: 2019-04-22
Publication date: 2020-05-12
Also published as: CN110889312A; JP6975848B2; JP2020535529A; CN110889312B; US20200410267A1; KR102324697B1; SG11202003136QA; US11222222B2; WO2020048140A1

Abstract

본 발명은 생체 검출의 정확성을 향상시키는 생체 검출 방법 및 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체에 관한 것이다. 상기 방법은, 수집된 이미지에 대해 특징 추출을 수행하여, 이미지 특징 정보를 획득하는 단계; 상기 이미지 특징 정보에 기반하여 상기 이미지의 모달리티 분류 결과를 결정하는 단계 - 상기 모달리티 분류 결과는 이미지가 적어도 하나의 모달리티 중의 타겟 모달리티에 대응됨을 지시함 - ; 및 상기 이미지의 모달리티 분류 결과에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하는 단계를 포함한다.

Description

생체 검출 방법 및 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체

관련 출원의 상호 참조

본 출원은 2018년 9월 7일에 중국 특허청에 제출한 출원 번호가 201811046177.X이고, 발명의 명칭이 “생체 검출 방법 및 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체”인 중국 특허 출원의 우선권을 요청하며, 그 전부 내용을 원용하여 본 출원에 결합하였다.

본 발명은 컴퓨터 시각 분야에 관한 것이며, 특히 생체 검출 방법 및 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체에 관한 것이다.

인공 지능 기술의 빠른 발전과 광범위한 응용으로 인해 보안 문제가 점차 대중의 관심을 끌고 있다. 얼굴 인식 기술이 다양한 신원 인증의 실시 시나리오에 사용됨에 있어서, 얼굴 위조 방지는 필수적인 부분이다. 얼굴 위조 방지는, 생체 검출이라고도 지칭하며, 카메라 앞의 얼굴이 생체로부터의 얼굴인지 아니면 종이 사진/스크린 사진/가면과 같은 가짜 얼굴인지를 구별하는 기술이다.

본 발명의 실시예는 생체 검출 기술 방안을 제공한다.

본 발명의 실시예의 일 측면에 따르면, 생체 검출 방법을 제공하며, 상기 방법은, 수집된 이미지에 대해 특징 추출을 수행하여, 이미지 특징 정보를 획득하는 단계; 상기 이미지 특징 정보에 기반하여 상기 이미지의 모달리티 분류 결과를 결정하는 단계 - 상기 모달리티 분류 결과는 상기 이미지가 적어도 하나의 모달리티 중의 타겟 모달리티에 대응함을 지시함 - ; 및 상기 이미지의 모달리티 분류 결과에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하는 단계를 포함한다.

일부 선택적인 실시예에서, 상기 이미지 특징 정보에 기반하여 상기 이미지의 모달리티 분류 결과를 결정하는 단계는, 상기 이미지 특징 정보에 기반하여 분류 처리를 수행함으로써, 상기 이미지가 적어도 하나의 모달리티 중 각 모달리티에 속하는 분류 확률을 획득하는 단계; 및 상기 적어도 하나의 모달리티 중 각 모달리티의 분류 확률에 기반하여, 상기 이미지가 속하는 타겟 모달리티를 결정하는 단계를 포함한다.

일부 선택적인 실시예에서, 상기 이미지의 모달리티 분류 결과에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하는 단계는, 상기 이미지의 모달리티 분류 결과 및 상기 이미지 특징 정보에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하는 단계를 포함한다.

일부 선택적인 실시예에서, 상기 이미지의 모달리티 분류 결과 및 상기 이미지 특징 정보에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하는 단계는, 상기 이미지 특징 정보를 상기 이미지의 모달리티 분류 결과와 병합하여, 병합 결과를 획득하는 단계; 및 상기 병합 결과에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하는 단계를 포함한다.

일부 선택적인 실시예에서, 상기 이미지의 모달리티 분류 결과 및 상기 이미지 특징 정보에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하는 단계는, 상기 이미지 특징 정보에 기반하여 상기 적어도 하나의 모달리티 중 각 모달리티에 대응하는 진위 예측 확률을 획득하는 단계; 및 상기 모달리티 분류 결과 및 상기 적어도 하나의 모달리티 중 각 모달리티에 대응하는 진위 예측 확률에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하는 단계를 포함한다.

일부 선택적인 실시예에서, 상기 모달리티 분류 결과는 상기 이미지가 적어도 하나의 모달리티 중 각 모달리티에 속하는 분류 확률을 포함하고; 상기 모달리티 분류 결과 및 상기 적어도 하나의 모달리티 중 각 모달리티에 대응하는 진위 예측 확률에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하는 단계는, 상기 적어도 하나의 모달리티 중 각 모달리티의 분류 확률을 상기 각 모달리티에 대응하는 가중치로 하여, 상기 적어도 하나의 모달리티 중 각 모달리티의 진위 예측 확률에 대해 가중합을 수행함으로써, 타겟 진위 예측 확률을 획득하는 단계; 및 상기 타겟 진위 예측 확률에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하는 단계를 포함한다.

일부 선택적인 실시예에서, 상기 모달리티 분류 결과 및 상기 적어도 하나의 모달리티 중 각 모달리티에 대응하는 진위 예측 확률에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하는 단계는, 상기 모달리티 분류 결과에 포함된 적어도 하나의 모달리티 중 각 모달리티에 대응하는 분류 확률에 기반하여, 상기 적어도 하나의 진위 예측 확률로부터 타겟 진위 예측 확률을 결정하는 단계; 및 상기 타겟 진위 예측 확률에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하는 단계를 포함한다.

일부 선택적인 실시예에서, 상기 모달리티 분류 결과에 포함된 적어도 하나의 모달리티 중 각 모달리티에 대응하는 분류 확률에 기반하여, 상기 적어도 하나의 진위 예측 확률로부터 타겟 진위 예측 확률을 결정하는 단계는, 상기 모달리티 분류 결과에 포함된 적어도 하나의 분류 확률 중에, 기설정된 확률보다 크거나 같은 분류 확률이 존재하는 것에 응답하여, 상기 기설정된 확률보다 크거나 같은 분류 확률에 대응하는 모달리티를 타겟 모달리티로 결정하고, 상기 타겟 모달리티의 진위 예측 확률을 상기 타겟 진위 예측 확률로 결정하는 단계를 포함한다.

일부 선택적인 실시예에서, 상기 수집된 이미지에 대해 특징 추출을 수행하여, 이미지 특징 정보를 획득하기 전에, 듀얼 채널 카메라를 통해 타겟에 대해 이미지 수집을 수행하여, 상기 이미지를 획득하는 단계를 더 포함한다.

일부 선택적인 실시예에서, 상기 적어도 하나의 모달리티는, 듀얼 채널 모달리티 및 RGB 모달리티를 포함한다.

일부 선택적인 실시예에서, 상기 방법은 생체 검출 네트워크를 이용하여 구현되고, 상기 수집된 이미지에 대해 특징 추출을 수행하여, 이미지 특징 정보를 획득하기 전에, 상기 방법은, 샘플 데이터 세트에 기반하여 초기 생체 검출 네트워크를 훈련시킴으로써, 상기 생체 검출 네트워크를 얻는 단계 - 상기 샘플 데이터 세트는 적어도 두 가지 모달리티의 샘플 이미지를 포함함 - 를 더 포함한다.

본 발명의 실시예의 다른 측면에 따르면, 생체 검출 방법을 제공하며, 상기 방법은, 제1 모달리티의 이미지를 획득하는 단계; 및 생체 검출 네트워크를 통해 상기 이미지에 대해 생체 검출을 진행하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하는 단계 - 상기 생체 검출 네트워크는 샘플 이미지 세트에 기반하여 초기 생체 검출 네트워크에 대해 훈련을 수행함으로써 얻어지고, 상기 샘플 이미지 세트는 상기 제1 모달리티의 샘플 이미지 및 제2 모달리티의 샘플 이미지를 포함함 - 를 포함한다.

일부 선택적인 실시예에서, 상기 생체 검출 네트워크를 통해 상기 이미지에 대해 생체 검출을 진행하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하는 단계는, 생체 검출 네트워크를 통해 상기 이미지에 대해 특징 추출을 수행하여, 이미지 특징 정보를 획득하는 단계; 및 상기 이미지 특징 정보에 기반하여, 생체 검출 네트워크를 통해 상기 이미지 중의 타겟 객체가 생체인지를 결정하는 단계를 포함한다.

일부 선택적인 실시예에서, 상기 방법은, 상기 샘플 이미지 세트 중의 샘플 이미지에 대해 특징 추출을 수행하여, 샘플 특징 정보를 획득하는 단계; 상기 샘플 특징 정보에 기반하여, 상기 샘플 이미지의 샘플 모달리티 분류 결과를 결정하는 단계 - 상기 샘플 모달리티 분류 결과는 상기 샘플 이미지가 적어도 하나의 모달리티 중의 샘플 모달리티에 대응함을 지시함 - ; 상기 샘플 모달리티 분류 결과에 기반하여, 상기 샘플 이미지의 예측 진위 결과를 결정하는 단계; 및 상기 예측 진위 결과 및 상기 샘플 이미지의 태그된 진위 정보에 기반하여, 상기 초기 생체 검출 네트워크를 훈련시키는 네트워크 파라미터를 조정하는 단계를 더 포함한다.

일부 선택적인 실시예에서, 상기 샘플 특징 정보에 기반하여, 상기 샘플 이미지의 샘플 모달리티 분류 결과를 결정하는 단계는, 상기 샘플 특징 정보에 기반하여, 상기 샘플 이미지가 상기 제1 모달리티에 속하는 분류 확률 및 상기 샘플 이미지가 상기 제2 모달리티에 속하는 분류 확률을 결정하는 단계; 및 상기 샘플 이미지가 상기 제1 모달리티에 속하는 분류 확률 및 상기 샘플 이미지가 상기 제2 모달리티에 속하는 분류 확률에 기반하여, 상기 샘플 이미지가 속하는 샘플 모달리티를 결정하는 단계를 포함한다.

일부 선택적인 실시예에서, 상기 샘플 모달리티 분류 결과에 기반하여, 상기 샘플 이미지의 예측 진위 결과를 결정하는 단계는, 상기 샘플 모달리티 분류 결과 및 상기 샘플 특징 정보에 기반하여, 상기 샘플 이미지의 예측 진위 결과를 결정하는 단계를 포함한다.

일부 선택적인 실시예에서, 상기 샘플 모달리티 분류 결과 및 상기 샘플 특징 정보에 기반하여, 상기 샘플 이미지의 예측 진위 결과를 결정하는 단계는, 상기 샘플 특징 정보를 상기 샘플 이미지의 샘플 모달리티 분류 결과와 병합하여, 샘플 병합 결과를 획득하는 단계; 및 상기 샘플 병합 결과에 기반하여, 상기 샘플 이미지의 예측 진위 결과를 결정하는 단계를 포함한다.

일부 선택적인 실시예에서, 상기 제1 모달리티는 근적외선 모달리티이고, 상기 제2 모달리티는 RGB 모달리티이다.

본 발명의 실시예의 다른 측면에 따르면, 생체 검출 장치를 제공하며, 수집된 이미지에 대해 특징 추출을 수행하여, 이미지 특징 정보를 획득하기 위한 특징 추출 유닛; 상기 이미지 특징 정보에 기반하여, 상기 이미지의 모달리티 분류 결과를 결정하기 위한 모달리티 분류 유닛 - 상기 모달리티 분류 결과는 상기 이미지가 적어도 하나의 모달리티 중의 타겟 모달리티에 대응함을 지시함 - ; 및 상기 이미지의 모달리티 분류 결과에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하기 위한 생체 검출 유닛을 포함한다.

일부 선택적인 실시예에서, 상기 모달리티 분류 유닛은, 상기 이미지 특징 정보에 기반하여 분류 처리를 수행함으로써, 상기 이미지가 적어도 하나의 모달리티 중 각 모달리티에 속하는 분류 확률을 획득하고; 상기 적어도 하나의 모달리티 중 각 모달리티의 분류 확률에 기반하여, 상기 이미지가 속하는 타겟 모달리티를 결정하기 위한 것이다.

일부 선택적인 실시예에서, 상기 생체 검출 유닛은, 상기 이미지의 모달리티 분류 결과 및 상기 이미지 특징 정보에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하기 위한 것이다.

일부 선택적인 실시예에서, 상기 생체 검출 유닛은, 상기 이미지 특징 정보를 상기 이미지의 모달리티 분류 결과와 병합하여, 병합 결과를 획득하고; 상기 병합 결과에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하기 위한 것이다.

일부 선택적인 실시예에서, 상기 생체 검출 유닛은, 상기 이미지 특징 정보에 기반하여 상기 적어도 하나의 모달리티 중 각 모달리티에 대응하는 진위 예측 확률을 획득하기 위한 진위 예측 확률 모듈; 및 상기 모달리티 분류 결과 및 상기 적어도 하나의 모달리티 중 각 모달리티에 대응하는 진위 예측 확률에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하기 위한 결과 결정 모듈을 포함한다.

일부 선택적인 실시예에서, 상기 모달리티 분류 결과는 상기 이미지가 적어도 하나의 모달리티 중 각 모달리티에 속하는 분류 확률을 포함하고; 상기 결과 결정 모듈은, 상기 적어도 하나의 모달리티 중 각 모달리티의 분류 확률을 상기 각 모달리티에 대응하는 가중치로 하여, 상기 적어도 하나의 모달리티 중 각 모달리티의 진위 예측 확률에 대해 가중합을 수행함으로써, 타겟 진위 예측 확률을 획득하고; 상기 타겟 진위 예측 확률에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하기 위한 것이다.

일부 선택적인 실시예에서, 상기 결과 결정 모듈이 상기 모달리티 분류 결과 및 상기 적어도 하나의 모달리티 중 각 모달리티에 대응하는 진위 예측 확률에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정할 때, 상기 결과 결정 모듈은 상기 모달리티 분류 결과에 포함된 적어도 하나의 모달리티 중 각 모달리티에 대응하는 분류 확률에 기반하여, 상기 적어도 하나의 진위 예측 확률로부터 타겟 진위 예측 확률을 결정하고; 상기 결과 결정 모듈상기 타겟 진위 예측 확률에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하기 위한 것이다.

일부 선택적인 실시예에서, 상기 결과 결정 모듈이 상기 모달리티 분류 결과에 포함된 적어도 하나의 모달리티 중 각 모달리티에 대응하는 분류 확률에 기반하여, 상기 적어도 하나의 진위 예측 확률로부터 타겟 진위 예측 확률을 결정할 때, 상기 모달리티 분류 결과에 포함된 적어도 하나의 분류 확률 중에, 기설정된 확률보다 크거나 같은 분류 확률이 존재하는 것에 응답하여, 상기 결과 결정 모듈은, 상기 기설정된 확률보다 크거나 같은 분류 확률에 대응하는 모달리티를 타겟 모달리티로 결정하고, 상기 타겟 모달리티의 진위 예측 확률을 상기 타겟 진위 예측 확률로 결정하기 위한 것이다.

일부 선택적인 실시예에서, 상기 생체 검출 장치는, 듀얼 채널 카메라를 통해 이미지 수집을 수행하여, 상기 이미지를 획득하기 위한 이미지 수집 유닛을 더 포함한다.

일부 선택적인 실시예에서, 상기 장치는 생체 검출 네트워크를 이용하여 구현되고; 상기 생체 검출 장치는, 샘플 데이터 세트에 기반하여 초기 생체 검출 네트워크를 훈련시킴으로써, 상기 생체 검출 네트워크를 얻기 위한 네트워크 훈련 유닛 - 상기 샘플 데이터 세트는 적어도 두 가지 모달리티의 샘플 이미지를 포함함 - 을 더 포함한다.

본 발명의 실시예의 다른 측면에 따르면, 생체 검출 장치를 제공하며, 제1 모달리티의 이미지를 획득하기 위한 이미지 획득 유닛; 및 생체 검출 네트워크를 통해 상기 이미지에 대해 생체 검출을 진행하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하기 위한 타겟 검출 유닛 - 상기 생체 검출 네트워크는 샘플 이미지 세트에 기반하여 초기 생체 검출 네트워크에 대해 훈련을 수행함으로써 얻어지고, 상기 샘플 이미지 세트는 상기 제1 모달리티의 샘플 이미지 및 제2 모달리티의 샘플 이미지를 포함함 - 을 포함한다.

일부 선택적인 실시예에서, 상기 타겟 검출 유닛은, 생체 검출 네트워크를 통해 상기 이미지에 대해 특징 추출을 수행하여, 이미지 특징 정보를 획득하고; 상기 이미지 특징 정보에 기반하여, 생체 검출 네트워크를 통해 상기 이미지 중의 타겟 객체가 생체인지를 결정하기 위한 것이다.

일부 선택적인 실시예에서, 상기 생체 검출 장치는, 상기 샘플 이미지 세트 중의 샘플 이미지에 대해 특징 추출을 수행하여, 샘플 특징 정보를 획득하고; 상기 샘플 특징 정보에 기반하여 상기 샘플 이미지의 샘플 모달리티 분류 결과를 결정하며 - 상기 샘플 모달리티 분류 결과는 상기 샘플 이미지가 적어도 하나의 모달리티 중의 샘플 모달리티에 대응함을 지시함 - ; 상기 샘플 모달리티 분류 결과에 기반하여, 상기 샘플 이미지의 예측 진위 결과를 결정하며; 상기 예측 진위 결과 및 상기 샘플 이미지의 태그된 진위 정보에 기반하여, 상기 초기 생체 검출 네트워크를 훈련시키는 네트워크 파라미터를 조정하기 위한 검출 네트워크 훈련 유닛을 더 포함한다.

일부 선택적인 실시예에서, 상기 검출 네트워크 훈련 유닛은, 상기 샘플 특징 정보에 기반하여 상기 샘플 이미지의 샘플 모달리티 분류 결과를 결정할 때, 상기 샘플 특징 정보에 기반하여, 상기 샘플 이미지가 상기 제1 모달리티에 속하는 분류 확률 및 상기 샘플 이미지가 상기 제2 모달리티에 속하는 분류 확률을 결정하고; 상기 샘플 이미지가 상기 제1 모달리티에 속하는 분류 확률 및 상기 샘플 이미지가 상기 제2 모달리티에 속하는 분류 확률에 기반하여, 상기 샘플 이미지가 속하는 샘플 모달리티를 결정하기 위한 것이다.

일부 선택적인 실시예에서, 상기 검출 네트워크 훈련 유닛은, 상기 샘플 모달리티 분류 결과에 기반하여, 상기 샘플 이미지의 예측 진위 결과를 결정할 때, 상기 샘플 모달리티 분류 결과 및 상기 샘플 특징 정보에 기반하여, 상기 샘플 이미지의 예측 진위 결과를 결정하기 위한 것이다.

일부 선택적인 실시예에서, 상기 검출 네트워크 훈련 유닛은, 상기 샘플 모달리티 분류 결과 및 상기 샘플 특징 정보에 기반하여, 상기 샘플 이미지의 예측 진위 결과를 결정할 때, 상기 샘플 특징 정보를 상기 샘플 이미지의 샘플 모달리티 분류 결과와 병합하여, 샘플 병합 결과를 획득하고; 상기 샘플 병합 결과에 기반하여, 상기 샘플 이미지의 예측 진위 결과를 결정하기 위한 것이다.

본 발명의 실시예의 다른 측면에 따르면, 프로세서를 포함하는 전자 기기를 제공하며, 상기 프로세서는 상기 어느 한 항에 따른 생체 검출 장치를 포함한다.

본 발명의 실시예의 다른 측면에 따르면, 전자 기기를 제공하며, 상기 전자 기기는 실행 가능한 명령어를 저장하기 위한 메모리; 및 상기 메모리와 통신함으로써, 상기 어느 한 항에 따른 생체 검출 방법의 단계를 완료하도록 상기 실행 가능한 명령어를 실행하기 위한 프로세서를 포함한다.

본 발명의 실시예의 다른 측면에 따르면, 컴퓨터 판독 가능한 명령어를 저장하기 위한 컴퓨터 판독 가능한 저장 매체를 제공하며, 상기 명령어가 실행될 때 상기 어느 한 항에 따른 생체 검출 방법의 단계를 실행한다.

본 발명의 실시예의 다른 측면에 따르면, 컴퓨터 판독 가능한 코드를 포함하는 컴퓨터 프로그램 제품을 제공하며, 상기 컴퓨터 판독 가능한 코드가 기기에서 작동될 때, 상기 기기 중의 프로세서는 상기 어느 한 항에 따른 생체 검출 방법을 구현하기 위한 명령어를 실행한다.

본 발명의 실시예의 다른 일 측면에 따르면, 컴퓨터 판독 가능한 명령어를 저장하기 위한 다른 컴퓨터 프로그램 제품을 제공하며, 상기 명령어가 실행될 때 컴퓨터로 하여금 상기 임의의 가능한 구현 방식에 따른 생체 검출 방법의 단계를 실행하도록 한다.

하나의 선택적인 실시형태에서, 상기 컴퓨터 프로그램 제품은 구체적으로 컴퓨터 저장 매체이며, 다른 하나의 선택적인 실시형태에서, 상기 컴퓨터 프로그램 제품은 구체적으로 소프트웨어 제품이며, 예를 들어, SDK 등이다.

본 발명의 실시예에 따르면, 또한 다른 생체 검출 방법 및 장치, 전자 기기, 컴퓨터 저장 매체, 컴퓨터 프로그램 제품을 제공하며, 여기서, 수집된 이미지에 대해 특징 추출을 수행하여, 이미지 특징 정보를 획득하고; 이미지 특징 정보에 기반하여 이미지의 모달리티 분류 결과를 결정하며, 모달리티 분류 결과는 이미지가 적어도 하나의 모달리티 중의 타겟 모달리티에 대응하는 것을 지시하며; 이미지의 모달리티 분류 결과에 기반하여, 이미지 중의 타겟 객체가 생체인지를 결정한다.

본 발명의 상기 실시예에 기반하여 제공된 생체 검출 방법 및 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체는, 수집된 이미지에 대해 특징 추출을 수행하여, 이미지 특징 정보를 획득하고; 이미지 특징 정보에 기반하여 이미지의 모달리티 분류 결과를 결정하고, 모달리티 분류 결과는 이미지가 적어도 하나의 모달리티 중의 타겟 모달리티에 대응하는 것을 지시하며; 이미지의 모달리티 분류 결과에 기반하여, 이미지 중의 타겟 객체가 생체인지를 결정하며; 이미지의 모달리티에 대해 예측을 수행하고, 모달리티 분류 결과와 결합하여 타겟 객체가 생체인지를 판단함으로써, 생체 검출의 상이한 모달리티에 대한 호환성을 향상시켜, 검출 결과가 더욱 정확하다.

아래에 도면 및 실시예를 통해, 본 발명의 기술방안을 더 상세히 설명한다.

본 명세서의 일부를 구성하는 도면은 본 발명의 실시예를 설명하고, 본 발명의 원리를 설명과 함께 설명하기 위한 것이다. 이하의 상세한 설명에 따르면, 본 발명은 첨부 도면을 참조하여 더욱 명확하게 이해될 수 있다.
도 1은 본 발명의 실시예에 의해 제공된 생체 검출 방법의 흐름도이다.
도 2는 본 발명의 실시예에 의해 제공된 생체 검출 네트워크 훈련 과정의 흐름 예시도이다.
도 3은 본 발명의 실시예에 의해 제공된 생체 검출 네트워크의 구조 예시도이다.
도 4는 본 발명의 실시예의 생체 검출 장치의 구조 예시도이다.
도 5는 본 발명의 생체 검출 방법의 일 예의 흐름 예시도이다.
도 6은 본 발명의 실시예의 다른 생체 검출 장치의 구조 예시도이다.
도 7은 본 발명의 실시예의 기술방안을 구현하기 위한 전자 기기의 예의 구조 예시도이다.

이하, 도면을 참조하여 본 발명의 다양한 예시적 실시예를 상세히 설명한다. 유의해야 할 것은, 달리 구체적으로 업급되지 않는 한, 이러한 실시예들에서 제시된 구성 요소, 단계의 상대적 배열, 숫자 표현 및 값은 본 발명의 범위를 한정하지 않는다. 또한, 설명의 편의를 위해, 도면에 도시된 각 부분의 크기는 실제 비율로 도시되지 않았다는 것을 이해해야한다.

적어도 하나의 예시적 실시예에 대한 다음의 설명은 실제로 예시적일 뿐이며, 본 발명 및 그 응용 또는 이용을 한정하려는 것은 아니다. 관련 기술 분야의 통상의 기술자에게 공지된 기술, 방법 및 기기는 상세하게 논의되지 않을 수 있지만, 적절한 경우, 상기 기술, 방법 및 기기는 명세서의 일부로 간주되어야 한다.

유의해야 할 것은, 다음의 도면에서 유사한 참조 번호 및 문자는 유사한 항목을 표시하므로, 어느 한 항목이 하나의 도면에서 정의되면, 후속 도면에서 추가로 논의될 필요가 없다.

관련 기술에서, 센서의 관점에서, 카메라는 주로 단안 카메라 및 쌍안 카메라로 구분된다.

단안 카메라는 RGB 카메라, 근적외선 카메라 및 듀얼 채널 카메라를 포함하지만 이에 한정되지 않으며, 여기서, 듀얼 채널 카메라는 동시에 가시 광선 스펙트럼 및 근적외선 스펙트럼의 광선을 통해 중첩 및 이미징을 진행할 수 있다. 근적외선 카메라및 듀얼 채널 카메라를 포함한 모든 비 RGB 카메라를 총칭하여 신형 단안 카메라라고 지칭한다. 근적외선 카메라 및 듀얼 채널 카메라에는 모두 활성 광원이 구비되고, 어두운 조명 하에 능동 조명을 통해 선명한 이미지를 얻을 수 있으므로, 일반적인 RGB 카메라가 어두운 조명 하에 이미징이 나쁜 문제를 해결한다. 그러나 상기 두 카메라는 중요한 구별점이 있는 바, 근적외선 카메라는 매번 사용될 때 활성 광선을 발사해야 하며, 듀얼 채널 카메라는 필요에 따라 활성 광원을 켤지 여부를 제어할 수 있으며, 여기서, 활성 광원을 끈 상태에서 듀얼 채널 이미지는 RGB 이미지와 뚜렷한 차이가 없으며, 일반적으로 전력 소비 절약을 고려하여, 듀얼 채널 카메라는 어두운 조명 조건(예를 들어, 외부 조명 강도가 조명 강도 임계값보다 낮음)에서만 활성 광원을 개시한다.

하드웨어 이미징 원리의 상이함으로 인해, 근적외선 이미지이든, 활성 광원 개시 상태의 듀얼 채널 이미지이든 간에, 모두 RGB 이미지와 큰 차이가 있다. 본 발명에서, 상이한 이미징 원리에 의해 얻어진 이미지를 상이한 "모달(modal)"의 이미지라고 지칭한다.

본 발명의 실시예는 듀얼 채널 카메라에 의해 수집된 이미지에 적용될 수 있으며, 여기서, 듀얼 채널 카메라를 통해 획득된 이미지는 두 가지 모달리티, 즉 듀얼 채널 모달리티 및 RGB 모달리티에 대응하며, 여기서, 듀얼 채널 카메라의 활성 광원이 켜진 상태에서 수집된 이미지는 듀얼 채널 모달리티에 속하고, 활성 광원이 꺼진 상태에서 수집된 이미지는 RGB 모달리티에 속한다. 또는, 본 발명의 실시예는 다른 타입의 신형 단안 카메라에 의해 수집된 이미지에도 적용될 수 있으며, 본 발명의 실시예는 이를 한정하지 않는다.

도 1은 본 발명의 실시예에 의해 제공된 생체 검출 방법의 흐름도이다.

단계 110에 있어서, 수집된 이미지에 대해 특징 추출을 수행하여, 이미지 특징 정보를 획득한다.

일부 선택적인 실시예에서, 듀얼 채널 카메라 또는 다른 타입의 신형 단안 카메라를 통해 이미지 수집을 수행하여, 이미지를 획득하고, 여기서, 상기 이미지는 타겟 객체를 포함하고, 상기 타겟 객체가 생체인지를 검출할 수 있으며, 예를 들어, 상기 타겟 객체가 실제 얼굴인지를 검출하여, 위조 얼굴 현상의 발생을 방지한다.

선택적으로, 이미지에 대해 특징 추출을 수행하는 것은 딥 뉴럴 네트워크 또는 다른 타입의 기계 학습 알고리즘을 통해 구현될 수 있으며, 본 발명의 실시예는 특징 추출에 대한 구체적인 구현을 한정하지 않는다.

특징 추출에 의해 획득된 이미지 특징 정보는 특징맵 또는 특징 텐서 또는 적어도 하나의 채널 중 각 채널에 대응하는 특징 매트릭스 등일 수 있으며, 본 발명의 실시예는 이를 한정하지 않는다.

단계 120에 있어서, 이미지 특징 정보에 기반하여 이미지의 모달리티 분류 결과를 결정한다.

여기서, 모달리티 분류 결과는 이미지가 적어도 하나의 모달리티 중의 타겟 모달리티에 대응하는 것을 지시한다. 일부 선택적인 실시예에서, 상기 적어도 하나의 모달리티는 기설정된 복수 개의 모달리티일 수 있으며, 모달리티 분류 결과는 이미지가 상기 복수 개의 모달리티 중의 어느 모달리티에 속하는지를 지시한다.

단계 120에서, 다양한 방식으로 이미지의 모달리티 분류 결과를 결정할 수 있다. 일부 선택적인 실시예에서, 이미지 특징 정보에 기반하여 분류 처리를 수행하여, 이미지가 적어도 하나의 모달리티 중 각 모달리티에 속하는 분류 확률을 획득하고, 적어도 하나의 모달리티 중 각 모달리티의 분류 확률에 기반하여, 이미지가 속하는 타겟 모달리티를 결정한다.

구체적으로, 이미지 특징 정보에 기반하여 각 모달리티의 분류 확률을 획득할 수 있으며, 여기서, 모달리티의 분류 확률은 상기 이미지가 상기 모달리티에 속하는 확률을 나타내며, 예를 들어, 적어도 하나의 모달리티는 두 가지 모달리티, 즉 모달리티 1 및 모달리티 2를 의미할 수 있으며, 이미지 특징 정보에 기반하여 두 개의 분류 확률을 획득하며, 여기서, 모달리티 1의 분류 확률은 0.9이고, 모달리티 2의 분류 확률은 0.5이며, 이때, 모달리티 1의 분류 확률 및 모달리티 2의 분류 확률에 기반하여 이미지가 속하는 모달리티를 결정할 수 있다. 일 예에서, 임계값을 미리 설정하고, 상기 임계값에 도달하는 분류 확률에 대응하는 모달리티를 이미지가 속하는 모달리티로 결정하며, 예를 들어, 임계값을 0.8로 설정하면, 이때, 모달리티 1의 분류 확률이 0.9로서 임계값보다 크고, 모달리티 2의 분류 확률이 임계값보다 작으면, 모달리티 1을 이미지가 속하는 모달리티, 즉 타겟 모달리티로 사용할 수 있다. 다른 일 예에서, 두 개의 분류 확률 중의 최대 수치에 대응하는 모달리티를 이미지가 속하는 모달리티로 결정할 수 있다. 본 발명의 실시예는 적어도 하나의 분류 확률 중 각 분류 확률에 기반하여 타겟 모달리티를 결정하는 구체적인 구현에 대해 한정을 하지 않는다.

다른 일부 선택적인 실시예에서, 이 두 개의 분류 확률을 직접 모달리티 분류 결과로 사용할 수 있으며, 즉 모달리티 분류 결과는 적어도 하나의 모달리티 중 각 모달리티에 대응하는 분류 확률을 포함한다. 이때, 선택적으로, 모달리티 분류 결과 중 각 모달리티에 대응하는 분류 확률에 기반하여, 이미지 중 타겟 객체의 생체 검출 결과를 결정할 수 있으며, 예를 들어, 각 모달리티에 대응하는 분류 확률을 상기 모달리티의 가중치로 하여, 생체 검출 결과를 얻으며, 본 발명의 실시예는 이를 한정하지 않는다.

선택적으로, 본 발명의 실시예는 정확한 모달리티 분류 결과를 획득하기 위해 모달리티 분류기를 통해 이미지 특징 정보에 기반하여 이미지에 대해 분류 처리를 수행할 수 있으며, 모달리티 분류기는 분류 네트워크일 수 있고, 상기 분류 네트워크는 이미지 특징 정보를 입력함으로써, 적어도 하나의 모달리티 중 각 모달리티의 분류 확률 또는 이미지의 모달리티 분류 결과를 출력할 수 있으며, 본 발명의 실시예는 이를 한정하지 않는다.

단계 130에 있어서, 이미지의 모달리티 분류 결과에 기반하여, 이미지 중의 타겟 객체가 생체인지를 결정한다.

본 발명의 실시예에서, 이미지가 속하는 모달리티에 기반하여 이미지의 생체 검출 결과를 결정하므로, 상이한 모달리티의 이미지를 더욱 맞춤식으로 검출할 수 있어, 생체 검출의 정확도를 향상시킨다.

본 발명의 상기 실시예에 의해 제공된 생체 검출 방법에 기반하여, 수집된 이미지에 대해 특징 추출을 수행하여, 이미지 특징 정보를 획득하고; 이미지 특징 정보에 기반하여 이미지의 모달리티 분류 결과를 결정하고, 모달리티 분류 결과는 이미지가 적어도 하나의 모달리티 중의 타겟 모달리티에 대응하는 것을 지시하며; 이미지의 모달리티 분류 결과에 기반하여, 이미지 중의 타겟 객체가 생체인지를 결정하며; 이미지의 모달리티에 대해 예측을 수행하고, 모달리티 분류 결과와 결합하여 타겟 객체가 생체인지를 판단함으로써, 생체 검출의 상이한 모달리티에 대한 호환성을 향상시켜, 검출 결과가 더욱 정확하다.

일부 선택적인 실시예에서, 단계 130은,

이미지의 모달리티 분류 결과 및 이미지 특징 정보에 기반하여, 이미지 중의 타겟 객체가 생체인지를 결정한다.

이때, 모달리티 분류 결과에 기반할 뿐만 아니라, 이미지 특징 정보에 결합하여, 타겟 객체가 생체인지를 결정하며, 모달리티 분류 결과는 이미지 특징 정보에 기반하여 획득된 현재 이미지가 어느 모달리티에 속하는 결과이며, 이미지 특징 정보는 이미지의 특징을 나타내며, 이미지 특징 정보 및 모달리티 분류 결과를 결합하여 얻은 생체 검출 결과는 더욱 정확하다.

선택적으로, 이미지의 모달리티 분류 결과 및 이미지 특징 정보에 기반하여, 이미지 중의 타겟 객체가 생체인지를 결정하는 단계는, 이미지 특징 정보와 이미지의 모달리티 분류 결과를 병합하여, 병합 결과를 획득하는 단계; 및 병합 결과에 기반하여, 이미지 중의 타겟 객체가 생체인지를 결정하는 단계를 포함한다.

선택적으로, 병합은 모달리티 분류 결과를 이미지 특징 정보에 융합 또는 연결하는 것일 수 있으며, 예를 들어, 모달리티 분류 결과와 이미지 특징 정보를 차원 상에서 중첩하는 것, 또는 이미지 특징 정보 및 모달리티 분류 결과를 요소별로 합칠 수 있는 것, 또는 다른 타입의 병합이며, 본 발명의 실시예는 이를 한정하지 않는다.

선택적으로, 병합 결과를 진위 분류기에 입력할 수 있으며, 여기서, 선택적으로, 진위 분류기는 병합 결과에 따라 분류 확률 벡터를 획득하고, 분류 확률 벡터는 두 개의 값을 포함하되, 여기서, 하나의 값은 타겟이 생체일 확률을 나타내고, 다른 값은 타겟이 생체가 아닐 확률을 나타내며, 이 두 개의 값에 따라 생체 검출 결과를 결정한다. 일 예에서, 이 두 개의 값을 비교함으로서 생체 검출 결과를 결정하며, 예를 들어, 생체일 확률이 생체가 아닐 확률보다 큰 경우, 상기 타겟 객체가 생체인 것으로 결정할 수 있으며, 또 예를 들어, 생체가 아닐 확률이 생체일 확률보다 큰 경우, 상기 타겟 객체가 생체가 아닌 것으로 결정할 수 있다. 다른 일 예에서, 확률 및 기설정된 임계값을 비교함으로써 타겟 객체가 생체인지를 결정하며, 예를 들어, 생체일 확률이 기설정된 임계값보다 큰 경우, 타겟 객체가 생체인 것으로 결정하는 등이며, 본 발명의 실시예는 이를 한정하지 않는다.

일부 선택적인 실시예에서, 모달리티 분류 결과는 타겟 모달리티의 식별자 정보를 포함하고, 이에 상응하여, 이미지의 모달리티 분류 결과 및 이미지 특징 정보에 기반하여, 이미지 중의 타겟 객체가 생체인지를 결정하는 단계는,

타겟 모달리티에 기반하여 이미지 특징 정보에 대해 처리를 수행함으로써, 타겟 모달리티에 대응하는 진위 예측 확률을 얻는 단계; 및

타겟 모달리티에 대응하는 진위 예측 확률에 기반하여, 이미지 중의 타겟 객체가 생체인지를 결정하는 단계를 포함한다.

이때, 타겟 모달리티의 상이함에 기반하여 이미지 특징 정보에 대해 상이한 처리를 수행할 수 있으며, 예를 들어, 상이한 진위 분류기를 이용하여 상이한 모달리티의 이미지 특징 정보에 대해 처리를 수행하며, 여기서, 상이한 진위 분류기는 상이한 네트워크 파라미터에 대응하거나, 상이한 진위 분류 알고리즘 또는 상이한 알고리즘 파라미터를 이용하여 상이한 모달리티의 이미지 특징 정보에 대해 처리를 수행함으로써, 진위 분류 확률을 얻으며, 본 발명의 실시예는 이를 한정하지 않는다.

다른 일부 선택적인 실시예에서, 이미지의 모달리티 분류 결과 및 이미지 특징 정보에 기반하여, 이미지 중의 타겟 객체가 생체인지를 결정하는 단계는,

이미지 특징 정보에 기반하여 적어도 하나의 모달리티 중 각 모달리티에 대응하는 진위 예측 확률을 획득하는 단계; 및

모달리티 분류 결과 및 적어도 하나의 모달리티 중 각 모달리티에 대응하는 진위 예측 확률에 기반하여, 이미지 중의 타겟 객체가 생체인지를 결정하는 단계를 포함한다.

본 발명의 실시예에서, 각 모달리티에 대응하는 진위 예측 확률을 각각 획득한 다음, 상이한 모달리티에 대응하는 진위 예측 확률 및 모달리티 분류 결과를 결합하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정함으로써, 생체 검출의 정확성을 향상시킨다.

선택적으로, 진위 분류기가 이미지 특징 정보에 대해 처리를 수행하는 것을 통해 진위 예측 확률을 획득한다. 일부 선택적인 실시예에서, 진위 분류기는 상이한 모달리티에 대해 각각 처리를 수행하는 적어도 하나의 서브 분류기를 포함하며, 선택적으로, 진위 분류기 중의 적어도 하나의 서브 분류기가 이미지 특징 정보에 대해 분류 처리를 수행하는 것을 통해, 적어도 하나의 진위 예측 확률을 획득한다. 다음, 모달리티 분류기에 의해 얻은 모달리티 분류 결과 및 진위 분류기에 의해 얻은 진위 예측 확률을 결합하여, 타겟 객체가 생체인지를 결정한다.

다른 일부 선택적인 실시예에서, 모달리티 분류 결과는 이미지가 적어도 하나의 모달리티 중 각 모달리티에 속하는 분류 확률을 포함한다.

이에 상응하여, 모달리티 분류 결과 및 적어도 하나의 모달리티 중 각 모달리티에 대응하는 진위 예측 확률에 기반하여, 이미지 중의 타겟 객체가 생체인지를 결정하는 단계는,

적어도 하나의 모달리티 중 각 모달리티의 분류 확률을 상기 각 모달리티에 대응하는 가중치로 하여, 적어도 하나의 모달리티 중 각 모달리티의 진위 예측 확률에 대해 가중합을 수행함으로써, 타겟 진위 예측 확률을 획득하는 단계; 및

타겟 진위 예측 확률에 기반하여, 이미지 중의 타겟 객체가 생체인지를 결정하는 단계를 포함한다.

본 발명의 실시예는 각 모달리티에 대응하는 분류 확률을 가중치로 하여 각 모달리티에 대응하는 진위 예측 확률에 대해 소프트 가중(즉, 가중합)을 수행하고, 소프트 가중의 결과를 타겟 객체가 생체인지의 확률 벡터로 사용하며, 선택적으로, 또한 출력된 확률 벡터 중 두 개의 값의 합이 1이 되도록 소프트 가중의 결과를 정규화할 수 있지만, 본 발명의 실시예는 이에 한정되지 않는다.

다른 일부 선택적인 실시예에서, 모달리티 분류 결과 및 적어도 하나의 모달리티 중 각 모달리티에 대응하는 진위 예측 확률에 기반하여, 이미지 중의 타겟 객체가 생체인지를 결정하는 단계는,

모달리티 분류 결과에 포함된 적어도 하나의 모달리티 중 각 모달리티에 대응하는 분류 확률에 기반하여, 적어도 하나의 진위 예측 확률로부터 타겟 진위 예측 확률을 결정하고, 타겟 진위 예측 확률에 기반하여, 이미지 중의 타겟 객체가 생체인지를 결정하는 단계를 포함한다.

선택적으로, 모달리티 분류 결과에 포함된 적어도 하나의 분류 확률에 기반하여, 적어도 하나의 모달리티로부터 타겟 모달리티를 결정하고, 타겟 모달리티의 진위 예측 확률을 타겟 진위 예측 확률로 결정할 수 있다. 예를 들어, 적어도 하나의 분류 확률 중에, 기설정된 확률보다 크거나 같은 분류 확률이 존재하는 것에 응답하여, 기설정된 확률보다 크거나 같은 분류 확률에 대응하는 모달리티를 타겟 모달리티로 결정하지만, 본 발명의 실시예는 이에 한정되지 않는다.

이미지에 대응하는 모달리티를 결정하기 위해, 적어도 하나의 분류 확률을 기설정된 확률과 각각 비교하여, 기설정된 확률보다 크거나 같은 분류 확률에 대응하는 모달리티를 타겟 모달리티로 결정할 수 있고, 또한 적어도 하나의 분류 확률을 크기에 따라 배열하여, 가장 큰 분류 확률을 타겟 모달리티로 결정하며, 본 발명의 실시예는 타겟 모달리티를 결정하는 구체적인 방식을 한정하지 않는다.

본 발명의 실시예는 적어도 하나의 모달리티의 분류 확률에 기반하여 적어도 하나의 모달리티에 대응하는 진위 예측 확률로부터 하나의 진위 예측 확률을 결정하여 이미지에 대응하는 타겟 진위 예측 확률로 사용하며, 여기서, 적어도 하나의 모달리티의 분류 확률로부터 결정된 하나의 모달리티는 상기 이미지의 모달리티이며, 상기 모달리티에 기반하여 이에 대응하는 진위 예측 확률을 획득할 수 있으며, 이러한 방식은 단 하나의 모달리티의 단안 카메라에 의해 획득된 이미지에 대해 처리를 수행할 수 있고, 또한 소프트 가중의 한 가지 특수한 형태로서, 다양한 모달리티의 단안 카메라에 의해 획득된 이미지에 대해 처리를 수행할 수 있다.

일부 선택적인 실시예에서, 본 발명의 실시예의 방법은 생체 검출 네트워크를 이용하여 구현된다. 선택적으로, 생체 검출 네트워크를 이용하여 수집된 이미지에 대해 생체 검출을 진행함으로써, 이미지의 생체 검출 결과를 얻는다. 예를 들어, 수집된 이미지를 생체 검출 네트워크에 직접 입력하여 생체 검출을 수행하거나, 수집된 이미지에 대해 전처리를 수행한 후 생체 검출 네트워크에 입력하여 생체 검출을 수행하며, 본 발명의 실시예는 이를 한정하지 않는다.단계 110 전에, 상기 방법은, 샘플 데이터 세트에 기반하여 초기 생체 검출 네트워크를 훈련시킴으로써, 상기 생체 검출 네트워크를 얻는다. 여기서, 샘플 데이터 세트는 적어도 두 가지 모달리티의 샘플 이미지를 포함하고, 샘플 이미지는 태그된 진위 정보를 포함하고, 태그된 진위 정보는 샘플 이미지 중의 타겟 객체가 생체인지를 나타낸다.

더 나은 생체 검출을 획득하는 것을 구현하기 위해, 생체 검출 네트워크에 대해 훈련을 수행해야 하고, 상이한 모달리티에 대해 분류를 수행해야 하므로, 네트워크 중의 모달리티 분류기를 훈련시키기 위해 샘플 데이터 세트는 적어도 두 가지 모달리티의 샘플 이미지를 포함한다.

선택적으로, 생체 검출 네트워크는 딥 뉴럴 네트워크, 모달리티 분류기 및 진위 분류기를 포함하며;

샘플 데이터 세트에 기반하여 초기 생체 검출 네트워크를 훈련시킴으로써, 상기 생체 검출 네트워크를 얻는 단계는,

딥 뉴럴 네트워크에 기반하여 샘플 데이터 세트 중의 각 샘플 이미지에 대해 특징 추출을 수행하여, 적어도 두 개의 샘플 특징 정보를 획득하는 단계;

모달리티 분류기에 기반하여 적어도 두 개의 샘플 특징 정보에 대해 각각 처리를 수행함으로써, 적어도두 개의 샘플 모달리티 분류 결과를 획득하는 단계;

진위 분류기를 이용하여, 적어도 두 개의 샘플 모달리티 분류 결과 및 적어도 두 개의 샘플 특징 정보에 기반하여, 샘플 데이터 세트 중의 각 샘플 이미지의 예측 진위 결과를 각각 획득하는 단계; 및

예측 진위 결과 및 태그된 진위 정보에 기반하여 초기 생체 검출 네트워크를 훈련시킴으로써, 상기 생체 검출 네트워크를 얻는 단계를 포함한다.

본 발명의 실시예에서, 파라미터 공유된 딥 뉴럴 네트워크를 통해 모든 샘플 이미지에 대해 특징 추출을 수행하고, 모달리티 분류기를 통해 특징에 기반하여 상이한 모달리티 분류 결과를 획득하고, 진위 분류기를 통해 샘플 이미지의 진위 결과를 예측하여, 딥 뉴럴 네트워크, 모달리티 분류기 및 진위 분류기의 훈련을 구현한다.

도 2는 본 발명의 실시예에 의해 제공된 생체 검출 네트워크 훈련 과정의 흐름 예시도이다. 도 2에 도시된 바와 같이, 상기 생체 검출 네트워크는 딥 뉴럴 네트워크, 모달리티 분류기 및 진위 분류기를 포함하고, 모달리티 1 데이터가 듀얼 채널 카메라에 의해 획득된 듀얼 채널 모달리티의 이미지이고, 모달리티 2 데이터가 듀얼 채널 카메라에 의해 획득된 RGB 모달리티의 이미지라고 가정한다. 모달리티 1 데이터 및 모달리티 2 데이터는 훈련된 가중치 공유된 딥 뉴럴 네트워크를 통해, 각자의 특징 벡터를 획득할 수 있다. 두 타입의 특징 벡터는 유사한 위조 단서 정보를 포함하고, 또한 각자 모달리티의 특유의 정보를 암시한다. 예를 들어, 듀얼 채널 모달리티의 이미지는 선명하게 붉을 것이다. 모달리티 1 데이터 및 모달리티 2 데이터의 특징 벡터를 이용함으로써, 모달리티 분류기를 통해 샘플 모달리티 분류 결과를 획득한 다음, 샘플 모달리티 분류 결과 및 특징 벡터를 진위 분류기에 입력하여, 진위 분류기를 통해 예측 진위 결과(즉, 샘플 이미지가 위조 특징을 포함하는지를 판단)를 획득하며, 예측 진위 결과 및 태그된 진위 정보에 기반하여 손실을 결정할 수 있으며, 결정된 손실에 기반하여 훈련 진위 분류기, 모달리티 분류기 및 가중치 공유된 딥 뉴럴 네트워크를 훈련시키는 것을 구현한다.

도 3은 본 발명의 실시예에 의해 제공된 생체 검출 네트워크의 구조 예시도이다. 도 3에 도시된 바와 같이, 본 발명의 실시예에서, 훈련된 생체 검출 네트워크는 응용 과정에서, 생체 검출 네트워크는 가중치 공유된 딥 뉴럴 네트워크, 모달리티 분류기 및 진위 분류기를 포함하며; 이미지를 가중치 공유된 딥 뉴럴 네트워크에 입력하여, 이미지에 대응하는 이미지 특징 정보를 획득하며, 이미지 특징 정보를 모달리티 분류기에 입력하여 모달리티 분류 결과를 획득하며, 모달리티 분류 결과 및 이미지 특징 정보가 진위 분류기에 의해 처리된 것에 기반하여, 타겟 객체가 생체인지에 관한 판단 결과를 획득할 수 있다.

듀얼 채널 카메라는 외부 광원이 켜지고 꺼질 때 두 가지 모달리티의 이미지를 얻으며, 두 가지 모달리티는 모두 알고리즘 사용 단계에서 발생할 수 있다.

상기 실시예에 기반하여 제공된 생체 검출 방법은 다중 모달리티 얼굴 위조 방지 방법을 구현할 수 있고, 상기 방법은 사용 동안 모달리티 분류기의 출력을 융합하여, 더 높은 정확도를 얻을 수 있다. 다시 말해서, 다중 모달리티 얼굴 위조 방지 방법의 진위 분류기의 입력은 복수 개의 진위 예측 확률 중의 어느 하나의 진위 예측 확률(벡터 형태로 나타낼 수 있음) 및 이에 대응하는 모달리티 분류 결과를 포함하며, 진위 분류기의 출력 데이터는 위조 특징의 확률을 포함하며, 위조 특징을 포함하는 확률에 기반하여 수집된 얼굴이 생체인지를 결정할 수 있다. 구체적인 구현 방식은, 1. 모달리티 데이터에 대응하는 진위 예측 확률 및 예측된 모달리티 분류 결과를 새로운 특징 벡터로 병합하며; 2. 모달리티 데이터에 대응하는 진위 예측 확률을 다양한 가능한 모달리티에 따라 확률 예측 을 수행하고, 예측된 모달리티 분류 결과를 이용하여 확률에 대해 소프트 가중을 수행하며; 3. 모달리티 데이터에 대응하는 진위 예측 확률을 다양한 가능한 모달리티에 따라 확률 예측을 각각 수행하고, 예측된 모달리티 분류 결과를 이용하여 확률에 대해 하드 가중(즉, 예측된 모달리티 번호에 대응하는 확률을 최종적인 판단으로 직접 선택하여, 모달리티 데이터가 위조 정보를 포함하는지를 판단하기 위한 것임)을 수행한다.

본 발명의 실시예에서, 듀얼 채널 단안 카메라가 외부 광원이 켜진 경우와 꺼진 경우에 이미지 차이가 큰 특수성에 대해, 모달리티 분류기를 제공함으로써, 알고리즘을 사용할 때 두 가지 상이한 모달리티 데이터의 차이가 크므로 인해, 통합된 임계값을 사용할 수 없는 문제를 해결였다. 본 발명은 다양한 진위 분류기의 구현방식을 제공하고, 모달리티 분류기의 출력 정보를 완전히 이용한다. 관련 기술의 진위 분류기는 모달리티 관련 정보를 고려하지 않고, 다만 특징을 입력한다.

가중치 공유된 딥 뉴럴 네트워크를 이용하여, 상이한 모달리티의 데이터를 완전히 이용할 수 있으므로, 일반화 능력이 더욱 강한 알고리즘을 얻는다.

모달리티 분류기를 이용하여, 데이터의 모달리티에 대해 예측을 수행하여, 진위 분류기의 추가 입력으로서 사용함으로써, 진위 분류기가 두 가지 모달리티 데이터에 대한 호환성 문제를 해결한다.

특정 응용에서, 본 발명의 다중 모달리티 방법은 듀얼 채널 단안 카메라를 포함하는 휴대전화의 얼굴 잠금해제 제품에 사용될 수 있다. 본 발명의 다중 모달리티 얼굴 위조 방지 방법은 듀얼 채널 카메라 또는 다른 다중 모달리티 단안 카메라를 포함하는 맞춤형 기기에 사용되어, 얼굴 위조 방지를 진행할 수 있다. 본 발명의 모달리티 분류기는 또한, 외부 광원이 켜져 있는지를 예측하는데 사용될 수 있고, 이러한 정보는 외부에 제공될 수 있으며, 촬영 기능 및 외부 광원 동기화가 제대로 이루어지지 않은 하드웨어에 추가적인 도움을 제공할 수 있다.

당업자는 상기 방법 실시예를 구현하기 위한 모든 또는 일부 단계는 프로그램 명령어와 관련되는 하드웨어를 통해 완료될 수 있으며, 전술한 프로그램은 컴퓨터 판독 가능 저장 매체에 저장될 수 있으며, 상기 프로그램이 수행될 때, 상기 방법 실시예를 포함하는 단계를 수행하며; 전술한 저장 매체는 판독 전용 메모리(Read Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크 또는 광 디스크와 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.

도 4는 본 발명의 실시예의 생체 검출 장치의 구조 예시도이다. 일부 실시예에서, 상기 장치는 본 발명의 상기 각 방법의 실시예를 구현하기 위한 것이다. 도 4에 도시된 바와 같이, 상기 생체 검출 장치는,

수집된 이미지에 대해 특징 추출을 수행하여, 이미지 특징 정보를 획득하기 위한 특징 추출 유닛(41)을 포함한다.

모달리티 분류 유닛(42)은, 이미지 특징 정보에 기반하여, 이미지의 모달리티 분류 결과를 결정하기 위한 것이다.

생체 검출 유닛(43)은, 이미지의 모달리티 분류 결과에 기반하여, 이미지 중의 타겟 객체가 생체인지를 결정하기 위한 것이다.

일부 선택적인 실시예에서, 모달리티 분류 유닛(42)은, 이미지 특징 정보에 기반하여 분류 처리를 수행함으로써, 이미지가 적어도 하나의 모달리티 중 각 모달리티에 속하는 분류 확률을 획득하고; 적어도 하나의 모달리티 중 각 모달리티의 분류 확률에 기반하여, 이미지가 속하는 타겟 모달리티를 결정하기 위한 것이다.

일부 선택적인 실시예에서, 이미지 특징 정보에 기반하여 각 모달리티의 분류 확률을 획득할 수 있으며, 여기서, 모달리티의 분류 확률은 상기 이미지가 상기 모달리티에 속하는 확률을 나타내며, 예를 들어, 적어도 하나의 모달리티는 두 가지 모달리티, 즉 모달리티 1 및 달리티 2를 의미할 수 있으며, 이미지 특징 정보에 기반하여 두 개의 분류 확률을 획득하며, 여기서, 모달리티 1의 분류 확률은 0.9이고, 모달리티 2의 분류 확률은 0.5이며, 이때, 모달리티 1의 분류 확률 및 모달리티 2의 분류 확률에 기반하여 이미지가 속하는 모달리티를 결정할 수 있다. 일 예에서, 임계값을 미리 설정하고, 상기 임계값에 도달하는 분류 확률에 대응하는 모달리티는 이미지가 속하는 모달리티로 결정되며, 예를 들어, 임계값을 0.8로 설정하면, 이때, 모달리티 1의 분류 확률이 0.9로서 임계값보다 크고, 모달리티 2의 분류 확률이 임계값보다 작으면, 모달리티 1을 이미지가 속하는 모달리티, 즉 타겟 모달리티로 사용할 수 있다. 다른 일 예에서, 두 개의 분류 확률 중의 최대 수치에 대응하는 모달리티를 이미지가 속하는 모달리티로 결정할 수 있다. 본 발명의 실시예는 적어도 하나의 분류 확률 중 각 분류 확률에 기반하여 타겟 모달리티를 결정하는 구체적인 구현에 대해 한정을 하지 않는다.

일부 선택적인 실시예에서, 생체 검출 유닛(43)은, 이미지의 모달리티 분류 결과 및 이미지 특징 정보에 기반하여, 이미지 중의 타겟 객체가 생체인지를 결정하기 위한 것이다.

선택적으로, 하나의 선택적인 실시예에서, 생체 검출 유닛(43)은, 이미지 특징 정보와 이미지의 모달리티 분류 결과를 병합하여, 병합 결과를 획득하고; 병합 결과에 기반하여, 이미지 중의 타겟 객체가 생체인지를 결정하기 위한 것이다.

선택적으로, 다른 선택적인 실시예에서, 생체 검출 유닛(43)은,

이미지 특징 정보에 기반하여 적어도 하나의 모달리티 중 각 모달리티에 대응하는 진위 예측 확률을 획득하기 위한 진위 예측 확률 모듈; 및

모달리티 분류 결과 및 적어도 하나의 모달리티 중 각 모달리티에 대응하는 진위 예측 확률에 기반하여, 이미지 중의 타겟 객체가 생체인지를 결정하기 위한 결과 결정 모듈을 포함한다.

선택적으로, 모달리티 분류 결과는 이미지가 적어도 하나의 모달리티 중 각 모달리티에 속하는 분류 확률을 포함하며;

결과 결정 모듈은, 적어도 하나의 모달리티 중 각 모달리티의 분류 확률을 각 모달리티에 대응하는 가중치로 하여, 적어도 하나의 모달리티 중 각 모달리티의 진위 예측 확률에 대해 가중합을 수행함으로써, 타겟 진위 예측 확률을 획득하고; 타겟 진위 예측 확률에 기반하여, 이미지 중의 타겟 객체가 생체인지를 결정하기 위한 것이다.

선택적으로, 결과 결정 모듈은 모달리티 분류 결과 및 적어도 하나의 모달리티 중 각 모달리티에 대응하는 진위 예측 확률에 기반하여, 이미지 중의 타겟 객체가 생체인지를 결정할 때, 모달리티 분류 결과에 포함된 적어도 하나의 모달리티 중 각 모달리티에 대응하는 분류 확률에 기반하여, 적어도 하나의 진위 예측 확률로부터 타겟 진위 예측 확률을 결정하기 위한 것이며; 결과 결정 모듈은 타겟 진위 예측 확률에 기반하여, 이미지 중의 타겟 객체가 생체인지를 결정한다.

선택적으로, 결과 결정 모듈은 모달리티 분류 결과에 포함된 적어도 하나의 모달리티 중 각 모달리티에 대응하는 분류 확률에 기반하여, 적어도 하나의 진위 예측 확률로부터 타겟 진위 예측 확률을 결정하기 위한 것이며, 모달리티 분류 결과에 포함된 적어도 하나의 분류 확률 중에, 기설정된 확률보다 크거나 같은 분류 확률이 존재하는 것에 응답하여, 기설정된 확률보다 크거나 같은 분류 확률에 대응하는 모달리티를 타겟 모달리티로 결정하고, 타겟 모달리티의 진위 예측 확률을 타겟 진위 예측 확률로 결정하는 단계를 포함한다.

선택적으로, 본 발명의 실시예는 장치는,

듀얼 채널 카메라를 통해 이미지 수집을 수행하여, 이미지를 획득하기 위한 이미지 수집 유닛을 더 포함한다.

선택적으로, 적어도 하나의 모달리티는, 듀얼 채널 모달리티 및 RGB 모달리티를 포함한다.

일부 선택적인 실시예에서, 본 발명의 실시예의 장치는 생체 검출 네트워크를 이용하여 구현한다.

본 발명의 실시예는 장치는, 샘플 데이터 세트에 기반하여 초기 생체 검출 네트워크를 훈련시킴으로써, 상기 생체 검출 네트워크를 얻기 위한 네트워크 훈련 유닛을 더 포함한다. 여기서, 샘플 데이터 세트는 적어도 두 가지 모달리티의 샘플 이미지를 포함하고, 샘플 이미지는 태그된 진위 정보를 포함하고, 태그된 진위 정보는 샘플 이미지 중의 타겟 객체가 생체인지를 나타낸다.

더 나은 생체 검출을 획득하는 것을 구현하기 위해, 생체 검출 네트워크에 대해 훈련을 수행해야 하며, 상이한 모달리티에 대해 분류를 수행해야 하므로, 네트워크 중의 모달리티 분류기를 훈련시키기 위해 샘플 데이터 세트는 적어도 두 가지 모달리티의 샘플 이미지를 포함한다.

도 5는 본 발명의 생체 검출 방법의 일 예의 흐름 예시도이다.

단계 510에 있어서, 제1 모달리티의 이미지를 획득한다.

선택적으로, 근적외선 카메라 또는 다른 타입의 신형 단안 카메라(즉 RGB 카메라가 아님)를 통해 타겟 객체의 이미지를 수집한다. 이때, 종래의 RGB 카메라가 어두울 때 이미징 품질이 저하되는 문제를 해결하였지만, 근적외선 카메라 등 신형 단안 카메라에 의해 수집된 이미지와 비교하면 RGB 카메라에 의해 수집된 이미지를 획득하기가 더욱 어렵다. 신형 단안 카메라에 의해 수집된 이미지 데이터(예를 들어, 근적외선 데이터)는 인터넷에 자원이 극히 적으며, 신형 단안 카메라에 의해 수집된 데이터는 개수나 다양성 면에서 모두 RGB 데이터보다 못하다. 현재 실제 사용되는 생체 기술은 모두 딥 러닝에 기반하여 구현되며, 데이터의 개수 및 다양성은 알고리즘의 일반화 능력에 중요한 영향을 미친다. 따라서, 본 발명의 실시예에서 생체 검출을 위한 뉴럴 네트워크는 훈련 과정에서, RGB 데이터를 결합하여 상기 뉴럴 뉴럴 네트워크에 대해 교차 모달리티 훈련을 수행함으로써, 훈련 데이터의 부족으로 인한 모델의 성능이 저하되는 문제를 해결한다.

단계 520에 있어서, 생체 검출 네트워크를 통해 상기 이미지에 대해 생체 검출을 진행하여, 이미지 중의 타겟 객체가 생체인지를 결정한다.

여기서, 생체 검출 네트워크는 샘플 이미지 세트에 기반하여 초기 생체 검출 네트워크에 대해 훈련을 수행함으로써 얻어지고, 샘플 이미지 세트는 제1 모달리티의 샘플 이미지 및 제2 모달리티의 샘플 이미지를 포함한다.

본 발명의 실시예에서, 생체 검출 네트워크는 제1 모달리티의 이미지에 포함된 타겟 객체가 생체인지를 결정하기 위한 것이고, 상기 생체 검출 네트워크의 훈련 샘플 세트는 제1 모달리티의 샘플 이미지 및 제1 모달리티와 상이한 제2 모달리티의 샘플 이미지를 포함하며, 여기서, 선택적으로, 상기 제2 모달리티의 샘플 이미지의 개수는 제1 모달리티의 샘플 이미지의 개수보다 크거나 같을 수 있으며, 상기 교차 모달리티 훈련된 뉴럴 네트워크를 통해 제1 모달리티의 이미지에 대한 생체 검출을 구현한다.

본 발명의 실시예에서, 생체 검출 네트워크는 다양한 방식으로 제1 모달리티의 이미지에 대해 생체 검출을 구현할 수 있다. 일부 선택적인 실시예에서, 생체 검출 네트워크는 이미지에 대해 특징 추출을 수행하여, 이미지 특징 정보를 획득하고, 이미지 특징 정보에 기반하여, 이미지 중의 타겟 객체가 생체인지를 결정한다.

일부 선택적인 실시예에서, 신형 단안 카메라에 의해 수집된 이미지는 제1 모달리티(근적외선 모달리티)에 속하고, 예를 들어, 근적외선 카메라에 의해 수집된 이미지는 제1 모달리티에 속하며, 제2 모달리티는 RGB 모달리티이며, 즉 RGB 카메라에 의해 수집된 이미지는 제2 모달리티에 속한다. 훈련 과정에서, 적외선 카메라에 의해 수집된 이미지를 제1 모달리티 데이터로 하고, RGB 데이터를 제2 모달리티 데이터로 할 수 있으며, 제1 모달리티 데이터 및 제2 모달리티 데이터는 시각적으로 차이가 크지만, 그 중에 포함된 일부 위조 생체의 단서는 유사성을 갖는다. 예를 들어, 종이 사진은 이미지에서 뚜렷한 가장자리를 노출시키며, 스크린 사진은 빛의 반사로 인해 하나의 로컬 영역의 하이라이트가 나타날 수 있다. 파라미터 공유된 딥 러닝 네트워크 및 상이한 모달리티 데이터의 합습 작업을 통해, 상이한 모달리티 사이의 유사한 단서가 학습될 수 있다. 여기서, 제1 모달리티 데이터는 제1 모달리티에서 특유의 위조 단서를 제공하고, 제2 모달리티 데이터는 다양한 일반적인 위조 단서를 제공한다. 상이한 모달리티 데이터의 공통 작용은 최종 딥 러닝 네트워크가 제1 모달리티 특유의 위조 정보를 학습하고, 다양한 일반적인 위조 단서를 볼 수 있게 하여, 과적합으로 인해 알고리즘의 일반화 능력이 약해지지 않도록 한다.

본 발명의 실시예에서, 제2 모달리티의 이미지를 결합함으로써, 생체 검출 네트워크에 대해 훈련을 수행하여, 제1 모달리티의 이미지 개수가 너무 적음으로 인한 훈련 과정의 과적합 현상을 방지하고, 훈련된 생체 검출 네트워크로 하여금 제1 모달리티의 이미지의 타겟 객체가 생체인지를 정확하게 판단하도록 할 수 있다.

일부 선택적인 실시예에서, 샘플 이미지 세트에 기반하여 초기 생체 검출 네트워크를 훈련시키는 단계는,

샘플 이미지에 대해 특징 추출을 수행하여, 샘플 특징 정보를 획득하는 단계; 샘플 특징 정보에 기반하여 샘플 이미지의 샘플 모달리티 분류 결과를 결정하는 단계 - 샘플 모달리티 분류 결과는 샘플 이미지가 적어도 하나의 모달리티 중의 샘플 모달리티에 대응하는 것을 지시함 - ; 샘플 모달리티 분류 결과에 기반하여, 샘플 이미지의 예측 진위 결과를 결정하는 단계; 및 예측 진위 결과 및 샘플 이미지의 태그된 진위 정보에 기반하여, 상기 초기 생체 검출 네트워크의 네트워크 파라미터를 조정하는 단계를 포함한다.

본 발명의 실시예에서, 생체 검출 네트워크는 초기 생체 검출 네트워크에 기반하여 훈련되어 획득되며, 훈련 과정에서, 탬플릿 이미지는 두 가지 모달리티를 포함하므로, 샘플 모달리티 분류 결과와 결합하여 샘플 이미지의 예측 진위 결과를 결정할 필요가 있으며, 훈련이 완료된 후, 초기 생체 검출 네트워크 중의 모달리티 분류의 부분(예를 들어, 모달리티 분류기)을 제거하면, 본 발명에서 생체 검출을 구현하기 위한 생체 검출 네트워크 이다.

선택적으로, 샘플 특징 정보에 기반하여, 샘플 이미지의 샘플 모달리티 분류 결과를 결정하는 단계는,

샘플 특징 정보에 기반하여, 샘플 이미지가 제1 모달리티에 속하는 분류 확률 및 샘플 이미지가 제2 모달리티에 속하는 분류 확률을 결정하며; 샘플 이미지가 제1 모달리티에 속하는 분류 확률 및 샘플 이미지가 제2 모달리티에 속하는 분류 확률에 기반하여, 샘플 이미지가 속하는 샘플 모달리티를 결정하는 단계를 포함한다.

구체적으로, 샘플 특징 정보에 기반하여 각 모달리티의 분류 확률을 획득할 수 있으며, 여기서, 모달리티의 분류 확률은 상기 샘플 이미지가 상기 모달리티에 속하는 분류 확률을 나타내고, 예를 들어, 적어도 하나의 모달리티는 두 가지 모달리티, 즉 제1 모달리티 및 제2 모달리티를 의미할 수 있으며, 샘플 특징 정보에 기반하여 두 개의 분류 확률을 획득하며, 여기서, 제1 모달리티의 분류 확률은 0.9이고, 제2 모달리티의 분류 확률은 0.5이며, 이때, 제1 모달리티의 분류 확률 및 제2 모달리티의 분류 확률에 기반하여 샘플 이미지가 속하는 모달리티를 결정할 수 있다. 일 예에서, 임계값을 미리 설정하고, 상기 임계값에 도달하는 분류 확률에 대응하는 모달리티는 샘플 이미지가 속하는 모달리티로 결정되며, 예를 들어, 임계값을 0.8로 설정하면, 이때, 제1 모달리티의 분류 확률이 0.9로서 임계값보다 크고, 제2 모달리티의 분류 확률이 임계값보다 작으면, 제1 모달리티를 샘플 이미지가 속하는 모달리티, 즉 타겟 모달리티로 사용할 수 있다. 다른 일 예에서, 두 개의 분류 확률 중의 최대 수치에 대응하는 모달리티를 이미지가 속하는 모달리티로 결정할 수 있다. 본 발명의 실시예는 적어도 하나의 분류 확률 중 각 분류 확률에 기반하여 타겟 모달리티를 결정하는 구체적인 구현에 대해 한정을 하지 않는다.

다른 일부 선택적인 실시예에서, 이 두 개의 분류 확률을 샘플 모달리티 분류 결과로 사용할 수 있으며, 즉 모달리티 분류 결과는 적어도 하나의 모달리티 중 각 모달리티에 대응하는 분류 확률을 포함한다. 이때, 선택적으로, 샘플 모달리티 분류 결과 중 각 모달리티에 대응하는 분류 확률에 기반하여, 샘플 이미지 중 타겟 객체의 예측 진위 결과를 결정할 수 있으며, 예를 들어, 각 모달리티에 대응하는 분류 확률을 상기 모달리티의 가중치로 하여, 예측 진위 결과를 얻으며, 본 발명의 실시예는 이를 한정하지 않는다.

선택적으로, 본 발명의 실시예는 정확한 모달리티 분류 결과를 획득하기 위해 모달리티 분류기를 통해 샘플 특징 정보에 기반하여 샘플 이미지에 대해 분류 처리를 수행할 수 있으며, 모달리티 분류기는 분류 네트워크일 수 있고, 상기 분류 네트워크는 샘플 특징 정보를 입력으로 사용하여, 적어도 하나의 모달리티 중 각 모달리티의 분류 확률 또는 샘플 이미지의 샘플 모달리티 분류 결과를 출력할 수 있으며, 본 발명의 실시예는 이를 한정하지 않는다.

선택적으로, 샘플 모달리티 분류 결과에 기반하여, 샘플 이미지의 예측 진위 결과를 결정하는 단계는,

샘플 모달리티 분류 결과 및 샘플 특징 정보에 기반하여, 샘플 이미지의 예측 진위 결과를 결정하는 단계를 포함한다.

본 발명의 실시예에서는, 샘플 모달리티 분류 결과에 기반할 뿐만 아니라, 샘플 특징 정보를 결합하여, 샘플 이미지 중 타겟 객체가 생체인지를 결정하며, 샘플 모달리티 분류 결과는 샘플 특징 정보에 기반하여 획득된 현재 샘플 이미지가 어느 모달리티에 속하는 결과이며, 샘플 특징 정보는 샘플 이미지의 특징을 나타내고, 샘플 특징 정보 및 샘플 모달리티 분류 결과를 결합하여 얻은 예측 진위 결과는 더욱 정확하다.

선택적으로, 샘플 모달리티 분류 결과 및 샘플 특징 정보에 기반하여, 샘플 이미지의 예측 진위 결과를 결정하는 단계는,

샘플 특징 정보를 샘플 이미지의 샘플 모달리티 분류 결과와 병합하여, 샘플 병합 결과를 획득하는 단계; 및

샘플 병합 결과에 기반하여, 샘플 이미지의 예측 진위 결과를 결정하는 단계를 포함한다.

선택적으로, 병합은 샘플 모달리티 분류 결과를 샘플 특징 정보와 융합 또는 연결하는 것일 수 있으며, 예를 들어, 샘플 모달리티 분류 결과와 샘플 특징 정보를 차원 상에서 중첩하는 것, 또는 샘플 특징 정보 및 샘플 모달리티 분류 결과를 요소별로 합칠 수 있는 것, 또는 다른 타입의 병합이며, 본 발명의 실시예는 이를 한정하지 않는다.

선택적으로, 샘플 병합 결과를 진위 분류기에 입력할 수 있으며, 여기서, 선택적으로, 진위 분류기는 샘플 병합 결과에 다라 분류 확률 벡터를 획득하고, 분류 확률 벡터는 두 개의 값을 포함하되, 여기서, 하나의 값은 타겟이 생체일 확률을 나타내고, 다른 값은 타겟이 생체가 아닐 확률을 나타내며, 이 두 개의 값에 따라 예측 진위 결과를 결정한다. 일 예에서, 이 두 개의 값을 비교함으로써 예측 진위 결과를 결정하며, 예를 들어, 생체일 확률이 생체가 아닐 확률보다 큰 경우, 상기 타겟 객체가 생체인 것으로 예측할 수 있으며, 또 예를 들어, 생체가 아닐 확률이 생체일 확률보다 큰 경우, 상기 타겟 객체가 생체가 아닌 것으로 예측할 수 있다. 다른 일 예에서, 확률 및 기설정된 임계값을 비교함으로써 타겟 객체가 생체인지를 결정하며, 예를 들어, 생체일 확률이 기설정된 임계값보다 큰 경우, 타겟 객체가 생체인 것으로 예측하는 등이며, 본 발명의 실시예는 이를 한정하지 않는다.

본 발명의 실시예는 하나의 선택적인 예에서, 제1 모달리티 데이터의 획득 방식이 단일하므로, 얻은 얼굴 데이터는 개수 및 다양성 면에서 딥 러닝 알고리즘의 요구사항에 도달할 수 없다. 제1 모달리티 데이터만 사용하여 알고리즘을 수행하는 학습은 종종 과적합을 초래한다. 제2 모달리티 데이터의 획득 방식은 다양하며, 자체적으로 수집하거나, 학술 표준 데이터 세트로부터 획득하거나, 네트워크로부터 페치할 수 있으며, 최종적으로 얻은 데이터 개수 및 다양성은 제1 모달리티 데이터의 개수 및 다양성을 훨씬 초과한다.

특정 응용에서, 본 발명의 교차 모달리티 방법은 근적외선 단안 카메라를 포함하는 휴대폰의 얼굴 잠금해제 제품에 적용될 수 있다. 본 발명의 교차 모달리티 얼굴 위조 방지 방법은 또한 근적외선 카메라를 포함하는 맞춤형 기기에 사용되어, 얼굴위조 방지에 사용될 수 있다.

당업자는 상기 방법의 실시예를 구현하기 위한 모든 단계 또는 일부 단계는 프로그램 명령어와 관련된 하드웨어를 통해 달성되고, 전술한 프로그램은 컴퓨터 판독 가능 저장 매체에 저장될 수 있으며, 상기 프로그램이 실행될 때, 상기 방법의 실시예를 포함하는 단계가 실행되며; 전술한 저장 매체는 판독 전용 메모리(Read Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크 또는 광 디스크와 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다는 것을 이해할 수 있다.

도 6은 본 발명의 실시예의 다른 생체 검출 장치의 구조 예시도이다. 일부 실시예에서, 상기 장치는 본 발명의 상기 각 방법의 실시예를 구현하도록 구성되지만, 본 발명의 실시예는 이에 한정되지 않는다. 도 6에 도시된 바와 같이, 상기 생체 검출 장치는,

제1 모달리티의 이미지를 획득하기 위한 이미지 획득 유닛(61); 및

생체 검출 네트워크를 통해 이미지에 대해 생체 검출을 진행하여, 이미지 중의 타겟 객체가 생체인지를 결정하기 위한 타겟 검출 유닛(62)을 포함한다. 여기서, 생체 검출 네트워크는 샘플 이미지 세트에 기반하여 초기 생체 검출 네트워크에 대해 훈련을 수행함으로써 얻어지고, 샘플 이미지 세트는 제1 모달리티의 샘플 이미지 및 제2 모달리티의 샘플 이미지를 포함한다.

일부 선택적인 실시예에서, 신형 단안 카메라에 의해 수집된 이미지는 제1 모달리티에 속하고, 예를 들어, 근적외선 카메라에 의해 수집된 이미지는 제1 모달리티에 속하며, 제2 모달리티는 RGB 모달리티이며, 즉 RGB 카메라에 의해 수집된 이미지는 제2 모달리티에 속한다. 훈련 과정에서, 적외선 카메라에 의해 수집된 이미지를 제1 모달리티 데이터로 하고, RGB 데이터를 제2 모달리티 데이터로 할 수 있으며, 제1 모달리티 데이터 및 제2 모달리티 데이터는 시각적으로 차이가 크지만, 그 중에 포함된 일부 위조 생체의 단서는 유사성을 갖는다. 예를 들어, 종이 사진은 이미지에서 뚜렷한 가장자리를 노출시키며, 스크린 사진은 빛의 반사로 인해 하나의 로컬 영역의 하이라이트가 나타날 수 있다. 파라미터 공유된 딥 러닝 네트워크 및 상이한 모달리티 데이터의 합습 작업을 통해, 상이한 모달리티 사이의 유사한 단서가 학습될 수 있다. 여기서, 제1 모달리티 데이터는 제1 모달리티에서 특유의 위조 단서를 제공하고, 제2 모달리티 데이터는 다양한 일반적인 위조 단서를 제공한다. 상이한 모달리티 데이터의 공통 작용은 최종 딥 러닝 네트워크가 제1 모달리티 특유의 위조 정보를 학습하고, 다양한 일반적인 위조 단서를 볼 수 있게 하여, 과적합으로 인해 알고리즘의 일반화 능력이 약해지지 않도록 한다.

본 발명의 실시예에서, 제2 모달리티의 이미지를 결합함으로써, 생체 검출 네트워크에 대해 훈련을 수행하여, 제1 모달리티의 이미지가 너무 적음으로 인한 훈련 과정의 과적합 현상을 방지하고, 훈련된 생체 검출 네트워크로 하여금 제1 모달리티의 이미지의 타겟 객체가 생체인지를 더욱 정확하게 판단하도록 할 수 있다.

선택적으로, 타겟 검출 유닛(62)은, 생체 검출 네트워크를 통해 이미지에 대해 특징 추출을 수행하여, 이미지 특징 정보를 획득하고; 이미지 특징 정보에 기반하여, 생체 검출 네트워크를 통해 이미지 중의 타겟 객체가 생체인지를 결정하기 위한 것이다.

일부 선택적인 실시예에서, 본 발명의 실시예는 장치는,

샘플 이미지 세트 중의 샘플 이미지에 대해 특징 추출을 수행하여, 샘플 특징 정보를 획득하고; 샘플 특징 정보에 기반하여 샘플 이미지의 샘플 모달리티 분류 결과를 결정하며 - 샘플 모달리티 분류 결과는 샘플 이미지가 적어도 하나의 모달리티 중의 샘플 모달리티에 대응함을 지시함 - ; 샘플 모달리티 분류 결과에 기반하여, 샘플 이미지의 예측 진위 결과를 결정하며; 예측 진위 결과 및 샘플 이미지의 태그된 진위 정보에 기반하여, 상기 초기 생체 검출 네트워크의 네트워크 파라미터를 조정하기 위한 검출 네트워크 훈련 유닛을 더 포함한다.

본 발명의 실시예에서, 생체 검출 네트워크는 초기 생체 검출 네트워크에 기반하여 훈련되어 획득되며, 훈련 과정에서, 탬플릿 이미지는 두 가지 모달리티를 포함하므로, 샘플 모달리티 분류 결과와 결합하여 샘플 이미지의 예측 진위 결과를 결정할 필요가 있으며, 훈련이 완료된 후, 초기 생체 검출 네트워크 중의 모달리티 분류의 부분을 제거하면(예를 들어, 모달리티 분류기), 본 발명에서 생체 검출을 구현하기 위한 생체 검출 네트워크 이다.

선택적으로, 검출 네트워크 훈련 유닛은 샘플 특징 정보에 기반하여 샘플 이미지의 샘플 모달리티 분류 결과를 결정할 때, 샘플 특징 정보에 기반하여 분류 처리를 수행함으로써, 샘플 이미지가 제1 모달리티에 속하는 분류 확률 및 샘플 이미지가 제2 모달리티에 속하는 분류 확률을 획득하고; 제1 모달리티에 속하는 분류 확률 및 제2 모달리티에 속하는 분류 확률에 기반하여, 샘플 이미지의 샘플 모달리티 분류 결과를 결정하기 위한 것이다.

선택적으로, 검출 네트워크 훈련 유닛은, 샘플 모달리티 분류 결과에 기반하여, 샘플 이미지의 예측 진위 결과를 결정할 때, 샘플 모달리티 분류 결과 및 샘플 특징 정보에 기반하여, 샘플 이미지의 예측 진위 결과를 결정하기 위한 것이다.

선택적으로, 검출 네트워크 훈련 유닛은, 샘플 모달리티 분류 결과 및 샘플 특징 정보에 기반하여, 샘플 이미지의 예측 진위 결과를 결정할 때, 샘플 특징 정보를 샘플 이미지의 샘플 모달리티 분류 결과와 병합하여, 샘플 병합 결과를 획득하고; 샘플 병합 결과에 기반하여, 샘플 이미지의 예측 진위 결과를 결정하기 위한 것이다.

본 발명의 실시예의 다른 측면에 따르면, 프로세서를 포함하는 기기를 제공하며, 상기 프로세서는 상기 실시예 중 어느 한 생체 검출 장치를 포함한다.

본 발명의 실시예의 다른 측면에 따르면, 전자 기기를 제공하며, 상기 전자 기기는 실행 가능한 명령어를 저장하기 위한 메모리; 및 상기 실시예 중 어느 한 생체 검출 방법의 단계를 완료하도록 실행 가능한 명령어를 실행하기 위해 메모리와 통신하기 위한 프로세서를 포함한다

본 발명의 실시예의 다른 측면에 따르면, 컴퓨터 판독 가능한 명령어를 저장하기 위한 컴퓨터 판독 가능한 저장 매체를 제공하며, 명령어가 실행될 때 상기 실시예 중 어느 한 생체 검출 방법의 단계를 실행한다.

본 발명의 실시예의 다른 측면에 따르면, 컴퓨터 판독 가능한 코드를 포함하는 컴퓨터 프로그램 제품을 제공하며, 컴퓨터 판독 가능한 코드가 기기에서 작동될 때, 기기 중의 프로세서는 상기 실시예 중 어느 한 생체 검출 방법을 구현하기 위한 명령어를 실행한다.

하나 또는 복수 개의 선택적인 실시형태에서, 본 발명의 실시예는 컴퓨터 판독 가능한 명령어를 제공하기 위한 컴퓨터 프로그램 제품을 제공하며, 명령어가 실행될 때 컴퓨터로 하여금 상기 임의의 가능한 구현방식 중의 생체 검출 방법의 단계를 실행하도록 한다.

상기 컴퓨터 프로그램 제품은 구체적으로 하드웨어, 소프트웨어 또는 이들의 조합에 의해 구현될 수 있다. 하나의 선택적인 예에서, 상기 컴퓨터 프로그램 제품은 구체적으로 컴퓨터 저장 매체로 구현되며, 다른 하나의 선택적인 예에서, 상기 컴퓨터 프로그램 제품은 구체적으로 소프트웨어 개발 키트(Software Development Kit, SDK) 등과 같은 소프트웨어 제품으로 구현된다.

본 발명의 실시예에 따르면, 또한 생체 검출 방법 및 장치, 전자 기기, 컴퓨터 저장 매체, 컴퓨터 프로그램 제품을 제공하며, 여기서, 수집된 이미지에 대해 특징 추출을 수행하여, 이미지 특징 정보를 획득하고; 이미지 특징 정보에 기반하여 이미지의 모달리티 분류 결과를 결정하며, 모달리티 분류 결과는 이미지가 적어도 하나의 모달리티 중의 타겟 모달리티에 대응하는 것을 지시하며; 이미지의 모달리티 분류 결과에 기반하여, 이미지 중의 타겟 객체가 생체인지를 결정한다.

일부 실시예에서, 상기 이미지 처리 지시는 구체적으로 호출 명령어일 수 있으며, 제1 장치는 호출을 통해 제2 장치로 하여금 이미지 처리를 실행하도록 지시할 수 있으며, 이에 상응하여, 호출 명령어를 수신하는 것에 응답하여, 제2 장치는 상기 이미지 처리 방법 중의 실시예 중 어느 한 단계 및/또는 프로세스를 실행할 수 있다.

이해해야 할 것은, 본 발명의 실시예에서 "제1", "제2" 등 용어들은 다만 구별을 위해 이용되며, 본 발명의 시시예들에 대한 한정으로서 이해되지 않아야 한다. 또한 이해해야 할 것은, 본 발명에서, "복수 개의"는 둘 이상을 의미할 수 있고, "적어도 하나"는 하나 또는 둘 이상을 의미할 수 있다. 또한 이해해야 할 것은, 본 발명에서 언급된 임의의 컴포넌트, 데이터 또는 구조에 대해 문맥상 명백한 한정이 없거나 반대 동기가 없는 경우, 일반적으로 하나 또는 복수 개로 이해될 수 있다. 또한 이해해야 할 것은, 본 발명은 각 실시예의 설명에 대해 각 실시예 사이의 차이점에 초점을 맞추고, 실시예의 동일하거나 유사한 부분은 서로 참조될 수 있으며, 간결함을 위해 더이상 설명하지 않는다.

본 발명의 실시예는 또한 이동 단말, 개인용 컴퓨터(PC), 태블릿, 서버와 같은 것일 수 있는 전자 기기를 제공한다. 도 7은 본 발명의 실시예의 기술방안을 구현하기 위한 전자 기기의 예의 구조 예시도이다. 도 7에 도시된 바와 같이, 상기 전자 기기는 하나 또는 복수 개의 프로세서, 통신부 등을 포함하며, 상기 하나 또는 복수 개의 프로세서는 예를 들어, 하나 또는 복수 개의 중앙 처리 장치(CPU)(701) 및 하나 또는 복수 개의 그래픽 처리 장치(GPU)(713) 중 적어도 하나이며, 프로세서는 판독 전용 메모리(ROM)(702)에 저장된 수행 가능 명령어 또는 저장 부분(708)으로부터 랜덤 액세스 메모리(RAM)(703)에 로딩된 수행 가능 명령어에 따라 다양한 적절한 동작 및 처리를 수행할 수 있다. 통신부(712)는 인피니밴드(Infiniband, IB) 네트워크 카드를 포함할 수 있지만 이에 한정되지 않는다.

프로세서는 판독 가능한 메모리(702) 및/또는 랜덤 액세스 메모리(703)와 통신하여 실행 가능한 명령어를 실행할 수 있고, 버스(704)를 통해 통신부(712)와 연결되고, 통신부(712)를 통해 다른 타겟 기기와 통신함으로써, 본 발명의 실시예에 의해 제공되는 방법 중 어느 하나에 대응되는 단계를 수행하며, 예를 들어, 수집된 이미지에 대해 특징 추출을 수행하여, 이미지 특징 정보를 획득하고; 이미지 특징 정보에 기반하여 이미지의 모달리티 분류 결과를 결정하고, 모달리티 분류 결과는 이미지가 적어도 하나의 모달리티 중의 타겟 모달리티에 대응하는 것을 지시하며; 이미지의 모달리티 분류 결과에 기반하여, 이미지 중의 타겟 객체가 생체인지를 결정한다.

또한, RAM(703)에는 장치의 동작에 필요한 다양한 프로그램 및 데이터가 더 저장될 수 있다. CPU(701), ROM(702) 및 RAM(703)은 통신 버스(704)를 통해 서로 연결된다. RAM(703)이 있는 경우, ROM(702)은 선택적 모듈이다. RAM(703)은 실행 가능 명령어를 저장하고, 또는 작동될 경우, ROM(702)에 실행 가능 명령어를 기록하며, 실행 가능 명령어는 CPU(701)로 하여금 상기 통신 방법에 대응하는 단계를 실행하도록 한다. 입력/출력(I/O) 인터페이스(705)도 버스(704)에 연결된다. 통신부(712)는 통합될 수 있거나, 버스에 연결된 복수 개의 서브 모듈(예를 들어 복수 개의 IB 랜 카드)을 갖도록 구성될 수 있다.

다음의 구성 요소, 즉 키보드, 마우스 등을 포함하는 입력 부분(706); 음극 선관(CRT), 액정 디스플레이(LCD), 스피커 등을 포함하는 출력 부분(707); 하드웨어 등을 포함하는 저장 부분(708); 및 LAN 카드, 모뎀 등을 포함하는 네트워크 인터페이스의 통신 부분(709)은 I/O 인터페이스(705)에 연결된다. 통신 부분(709)은 인터넷과 같은 네트워크를 통해 통신 처리를 실행한다. 드라이버(710)는 필요에 따라 I/O 인터페이스(705)에 연결될 수도 있다. 자기 디스크, 광 디스크, 광 자기 디스크, 반도체 메모리 등과 같은 탈착 가능한 매체(711)는 필요에 따라 탈착 가능한 매체로부터 판독된 컴퓨터 프로그램이 저장 부분(708)에 설치되도록 필요에 따라 드라이버(710)에 장착된다.

설명해야 할 것은, 도 7에 도시된 아키텍처는 다만 선택적인 구현 방식일 뿐, 구체적인 실천 과정에서, 상기 도 7의 구성 요소의 개수 및 타입은 실제 필요에 따라 선택, 감소, 증가 또는 교체되며; 상이한 기능적 구성 요소 설치에서 분리 설치 또는 통합 설치 등 구현 방식을 사용할 수 있으며, 예를 들어 GPU(713) 및 CPU(701)는 분리 설치되거나 GPU(713) 가 CPU(701)에 통합되며, 통신부는 CPU(713) 또는 GPU(701)에 분리 설치 또는 통합 설치될 수 있는 등이다. 이들 대안적인 실시형태는 모두 본 발명에 개시된 보호 범위에 속한다.

특히, 본 발명의 실시예에 따른 흐름도를 참조하여 설명된 과정은 컴퓨터 소프트웨어 프로그램에 의해 구현될 수 있다. 예를 들어, 본 발명의 실시예는 기계 판독 가능한 매체에 유형적으로 포함된 컴퓨터 프로그램을 포함하는 컴퓨터 프로그램 제품을 포함하며, 컴퓨터 프로그램은 흐름도에 도시된 방법의 프로그램 코드를 실행하기 위한 것이며, 프로그램 코드는 본 발명의 실시예에 의해 제공된 방법의 단계에 대응하는 명령어를 포함하며, 예를 들어, 수집된 이미지에 대해 특징 추출을 수행하여, 이미지 특징 정보를 획득하고; 이미지 특징 정보에 기반하여 이미지의 모달리티 분류 결과를 결정하고, 모달리티 분류 결과는 이미지가 적어도 하나의 모달리티 중의 타겟 모달리티에 대응하는 것을 지시하며; 이미지의 모달리티 분류 결과에 기반하여, 이미지 중의 타겟 객체가 생체인지를 결정한다. 이러한 실시예에 있어서, 상기 컴퓨터 프로그램은 통신 부분(709)을 통해 네트워크로부터 다운로드 및 설치될 수 있는 것 및 탈착 가능한 매체(711)로부터 설치될 수 있는 것 중 적어도 하나이다. 상기 컴퓨터 프로그램은 중앙 처리 장치(CPU)(701)에 의해 실행될 때, 본 출원의 방법에 정의된 상기 기능의 단계를 실행한다.

본 개시의 방법과 장치는 많은 방식으로 구현될 수 있다. 예를 들어, 본 개시의 방법과 장치는 소프트웨어, 하드웨어, 펌웨어 또는 소프트웨어, 하드웨어, 펌웨어의 임의의 조합으로 구현될 수 있다. 달리 구체적으로 언급되지 않는 한, 방법을 위한 상기 단계의 상기 순서는 다만 구체적인 설명을 위한 것이며, 본 발명의 실시형태의 방법의 단계를 한정하려는 것은 아니다. 또한, 일부 실시예에서, 본 발명은 기록 매체에 기록된 프로그램으로서 구현될 수도 있으며, 이들 프로그램은 본 발명의 방법을 구현하기 위한 기계 판독 가능한 명령어를 포함한다. 따라서, 본 발명은 본 발명에 따른 방법들을 실행하기 위한 프로그램을 저장하는 기록 매체를 더 포함한다.

본 발명의 설명은 예시 및 설명을 목적으로 제공되며, 누락되지 않는 형태로 한정하거나 본 출원을 개시된 형태로 한정하려는 것은 아니다. 많은 보정과 변경이 본 기술분야의 통상의 기술자에게 명백하다. 실시예들은 본 발명의 원리 및 실제 응용을 더 잘 설명하고, 본 기술분야의 통상의 기술자로 하여금 특정 용도에 적합한 다양한 수정들을 갖는 다양한 실시예들을 설계하기 위해 본 발명을 이해하도록 하기 위해 선택되고 설명된다.

Claims

생체 검출 방법으로서,
수집된 이미지에 대해 특징 추출을 수행하여, 이미지 특징 정보를 획득하는 단계;
상기 이미지 특징 정보에 기반하여, 상기 이미지의 모달리티 분류 결과를 결정하는 단계 - 상기 모달리티 분류 결과는 상기 이미지가 적어도 하나의 모달리티 중의 타겟 모달리티에 대응함을 지시함 - ; 및
상기 이미지의 모달리티 분류 결과에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
제1항에 있어서,
상기 이미지 특징 정보에 기반하여, 상기 이미지의 모달리티 분류 결과를 결정하는 단계는,
상기 이미지 특징 정보에 기반하여 분류 처리를 수행함으로써, 상기 이미지가 적어도 하나의 모달리티 중 각 모달리티에 속하는 분류 확률을 획득하는 단계; 및
상기 적어도 하나의 모달리티 중 각 모달리티의 분류 확률에 기반하여, 상기 이미지가 속하는 타겟 모달리티를 결정하는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
제1항 또는 제2항에 있어서,
상기 이미지의 모달리티 분류 결과에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하는 단계는,
상기 이미지의 모달리티 분류 결과 및 상기 이미지 특징 정보에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
제3항에 있어서,
상기 이미지의 모달리티 분류 결과 및 상기 이미지 특징 정보에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하는 단계는,
상기 이미지 특징 정보를 상기 이미지의 모달리티 분류 결과와 병합하여, 병합 결과를 획득하는 단계; 및
상기 병합 결과에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
제3항에 있어서,
상기 이미지의 모달리티 분류 결과 및 상기 이미지 특징 정보에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하는 단계는,
상기 이미지 특징 정보에 기반하여, 상기 적어도 하나의 모달리티 중 각 모달리티에 대응하는 진위 예측 확률을 획득하는 단계; 및
상기 모달리티 분류 결과 및 상기 적어도 하나의 모달리티 중 각 모달리티에 대응하는 진위 예측 확률에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
제5항에 있어서,
상기 모달리티 분류 결과는 상기 이미지가 적어도 하나의 모달리티 중 각 모달리티에 속하는 분류 확률을 포함하고;
상기 모달리티 분류 결과 및 상기 적어도 하나의 모달리티 중 각 모달리티에 대응하는 진위 예측 확률에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하는 단계는,
상기 적어도 하나의 모달리티 중 각 모달리티의 분류 확률을 상기 각 모달리티에 대응하는 가중치로 하여, 상기 적어도 하나의 모달리티 중 각 모달리티의 진위 예측 확률에 대해 가중합을 수행함으로써, 타겟 진위 예측 확률을 획득하는 단계; 및
상기 타겟 진위 예측 확률에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
제5항에 있어서,
상기 모달리티 분류 결과 및 상기 적어도 하나의 모달리티 중 각 모달리티에 대응하는 진위 예측 확률에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하는 단계는,
상기 모달리티 분류 결과에 포함된 적어도 하나의 모달리티 중 각 모달리티에 대응하는 분류 확률에 기반하여, 상기 적어도 하나의 진위 예측 확률로부터 타겟 진위 예측 확률을 결정하는 단계; 및
상기 타겟 진위 예측 확률에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
제7항에 있어서,
상기 모달리티 분류 결과에 포함된 적어도 하나의 모달리티 중 각 모달리티에 대응하는 분류 확률에 기반하여, 상기 적어도 하나의 진위 예측 확률로부터 타겟 진위 예측 확률을 결정하는 단계는,
상기 모달리티 분류 결과에 포함된 적어도 하나의 분류 확률 중에, 기설정된 확률보다 크거나 같은 분류 확률이 존재하는 것에 응답하여, 상기 기설정된 확률보다 크거나 같은 분류 확률에 대응하는 모달리티를 타겟 모달리티로 결정하고, 상기 타겟 모달리티의 진위 예측 확률을 상기 타겟 진위 예측 확률로 결정하는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
제1항 내지 제8항 중 어느 한 항에 있어서,
상기 수집된 이미지에 대해 특징 추출을 수행하여, 이미지 특징 정보를 획득하기 전에,
듀얼 채널 카메라를 통해 이미지 수집을 수행하여, 상기 이미지를 획득하는 단계를 더 포함하는 것을 특징으로 하는 생체 검출 방법.
제9항에 있어서,
상기 적어도 하나의 모달리티는, 듀얼 채널 모달리티 및 RGB 모달리티를 포함하는 것을 특징으로 하는 생체 검출 방법.
제1항 내지 제10항 중 어느 한 항에 있어서,
상기 생체 검출 방법은 생체 검출 네트워크를 이용하여 구현되고,
상기 수집된 이미지에 대해 특징 추출을 수행하여, 이미지 특징 정보를 획득하기 전에, 상기 생체 검출 방법은,
샘플 데이터 세트에 기반하여 초기 생체 검출 네트워크를 훈련시킴으로써, 상기 생체 검출 네트워크를 얻는 단계 - 상기 샘플 데이터 세트는 적어도 두 가지 모달리티의 샘플 이미지를 포함함 - 를 더 포함하는 것을 특징으로 하는 생체 검출 방법.
생체 검출 방법으로서,
제1 모달리티의 이미지를 획득하는 단계; 및
생체 검출 네트워크를 통해 상기 이미지에 대해 생체 검출을 진행하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하는 단계 - 상기 생체 검출 네트워크는 샘플 이미지 세트에 기반하여 초기 생체 검출 네트워크에 대해 훈련을 수행함으로써 얻어지고, 상기 샘플 이미지 세트는 상기 제1 모달리티의 샘플 이미지 및 제2 모달리티의 샘플 이미지를 포함함 - 를 포함하는 것을 특징으로 하는 생체 검출 방법.
제12항에 있어서,
상기 생체 검출 네트워크를 통해 상기 이미지에 대해 생체 검출을 진행하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하는 단계는,
생체 검출 네트워크를 통해 상기 이미지에 대해 특징 추출을 수행하여, 이미지 특징 정보를 획득하는 단계; 및
상기 이미지 특징 정보에 기반하여, 상기 생체 검출 네트워크를 통해 상기 이미지 중의 타겟 객체가 생체인지를 결정하는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
제12항 또는 제13항에 있어서,
상기 생체 검출 방법은,
상기 샘플 이미지 세트 중의 샘플 이미지에 대해 특징 추출을 수행하여, 샘플 특징 정보를 획득하는 단계;
상기 샘플 특징 정보에 기반하여, 상기 샘플 이미지의 샘플 모달리티 분류 결과를 결정하는 단계 - 상기 샘플 모달리티 분류 결과는 상기 샘플 이미지가 적어도 하나의 모달리티 중의 샘플 모달리티에 대응함을 지시함 - ;
상기 샘플 모달리티 분류 결과에 기반하여, 상기 샘플 이미지의 예측 진위 결과를 결정하는 단계; 및
상기 예측 진위 결과 및 상기 샘플 이미지의 태그된 진위 정보에 기반하여, 상기 초기 생체 검출 네트워크의 네트워크 파라미터를 조정하는 단계를 더 포함하는 것을 특징으로 하는 생체 검출 방법.
제14항에 있어서,
상기 샘플 특징 정보에 기반하여, 상기 샘플 이미지의 샘플 모달리티 분류 결과를 결정하는 단계는,
상기 샘플 특징 정보에 기반하여, 상기 샘플 이미지가 상기 제1 모달리티에 속하는 분류 확률 및 상기 샘플 이미지가 상기 제2 모달리티에 속하는 분류 확률을 결정하는 단계; 및
상기 샘플 이미지가 상기 제1 모달리티에 속하는 분류 확률 및 상기 샘플 이미지가 상기 제2 모달리티에 속하는 분류 확률에 기반하여, 상기 샘플 이미지가 속하는 샘플 모달리티를 결정하는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
제14항 또는 제15항에 있어서,
상기 샘플 모달리티 분류 결과에 기반하여, 상기 샘플 이미지의 예측 진위 결과를 결정하는 단계는,
상기 샘플 모달리티 분류 결과 및 상기 샘플 특징 정보에 기반하여, 상기 샘플 이미지의 예측 진위 결과를 결정하는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
제16항에 있어서,
상기 샘플 모달리티 분류 결과 및 상기 샘플 특징 정보에 기반하여, 상기 샘플 이미지의 예측 진위 결과를 결정하는 단계는,
상기 샘플 특징 정보를 상기 샘플 이미지의 샘플 모달리티 분류 결과와 병합하여, 샘플 병합 결과를 획득하는 단계; 및
상기 샘플 병합 결과에 기반하여, 상기 샘플 이미지의 예측 진위 결과를 결정하는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
제12항 내지 제17항 중 어느 한 항에 있어서,
상기 제1 모달리티는 근적외선 모달리티이고, 상기 제2 모달리티는 RGB 모달리티인 것을 특징으로 하는 생체 검출 방법.
생체 검출 장치로서,
수집된 이미지에 대해 특징 추출을 수행하여, 이미지 특징 정보를 획득하기 위한 특징 추출 유닛;
상기 이미지 특징 정보에 기반하여, 상기 이미지의 모달리티 분류 결과를 결정하기 위한 모달리티 분류 유닛 - 상기 모달리티 분류 결과는 상기 이미지가 적어도 하나의 모달리티 중의 타겟 모달리티에 대응함을 지시함 - ; 및
상기 이미지의 모달리티 분류 결과에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하기 위한 생체 검출 유닛을 포함하는 것을 특징으로 하는 생체 검출 장치.
제19항에 있어서,
상기 모달리티 분류 유닛은,
상기 이미지 특징 정보에 기반하여 분류 처리를 수행함으로써, 상기 이미지가 적어도 하나의 모달리티 중 각 모달리티에 속하는 분류 확률을 획득하고;
상기 적어도 하나의 모달리티 중 각 모달리티의 분류 확률에 기반하여, 상기 이미지가 속하는 타겟 모달리티를 결정하기 위한 것임을 특징으로 하는 생체 검출 장치.
제19항 또는 제20항에 있어서,
상기 이미지의 모달리티 분류 결과 및 상기 이미지 특징 정보에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하기 위한 상기 생체 검출 유닛 포함하는 것을 특징으로 하는 생체 검출 장치.
제21항에 있어서,
상기 생체 검출 유닛은,
상기 이미지 특징 정보를 상기 이미지의 모달리티 분류 결과와 병합하여, 병합 결과를 획득하고;
상기 병합 결과에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하기 위한 것임을 특징으로 하는 생체 검출 장치.
제21항에 있어서,
상기 생체 검출 유닛은,
상기 이미지 특징 정보에 기반하여 상기 적어도 하나의 모달리티 중 각 모달리티에 대응하는 진위 예측 확률을 획득하기 위한 진위 예측 확률 모듈; 및
상기 모달리티 분류 결과 및 상기 적어도 하나의 모달리티 중 각 모달리티에 대응하는 진위 예측 확률에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하기 위한 결과 결정 모듈을 포함하는 것을 특징으로 하는 생체 검출 장치.
제23항에 있어서,
상기 모달리티 분류 결과는 상기 이미지가 적어도 하나의 모달리티 중 각 모달리티에 속하는 분류 확률을 포함하고;
상기 결과 결정 모듈은, 상기 적어도 하나의 모달리티 중 각 모달리티의 분류 확률을 상기 각 모달리티에 대응하는 가중치로 하여, 상기 적어도 하나의 모달리티 중 각 모달리티의 진위 예측 확률에 대해 가중합을 수행함으로써, 타겟 진위 예측 확률을 획득하고; 상기 타겟 진위 예측 확률에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하기 위한 것임을 특징으로 하는 생체 검출 장치.
제23항에 있어서,
상기 결과 결정 모듈은, 상기 모달리티 분류 결과 및 상기 적어도 하나의 모달리티 중 각 모달리티에 대응하는 진위 예측 확률에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하기 위한 것이며,
상기 결과 결정 모듈이 상기 모달리티 분류 결과에 포함된 적어도 하나의 모달리티 중 각 모달리티에 대응하는 분류 확률에 기반하여, 상기 적어도 하나의 진위 예측 확률로부터 타겟 진위 예측 확률을 결정는 단계; 및
상기 결과 결정 모듈이 상기 타겟 진위 예측 확률에 기반하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하는 단계를 포함하는 것을 특징으로 하는 생체 검출 장치.
제25항에 있어서,
상기 결과 결정 모듈은, 상기 모달리티 분류 결과에 포함된 적어도 하나의 모달리티 중 각 모달리티에 대응하는 분류 확률에 기반하여, 상기 적어도 하나의 진위 예측 확률로부터 타겟 진위 예측 확률을 결정하기 위한 것이며,
상기 모달리티 분류 결과에 포함된 적어도 하나의 분류 확률 중에, 기설정된 확률보다 크거나 같은 분류 확률이 존재하는 것에 응답하여, 상기 결과 결정 모듈이 상기 기설정된 확률보다 크거나 같은 분류 확률에 대응하는 모달리티를 타겟 모달리티로 결정하고, 상기 타겟 모달리티의 진위 예측 확률을 상기 타겟 진위 예측 확률로 결정하는 단계를 포함하는 것을 특징으로 하는 생체 검출 장치.
제19항 내지 제26항 중 어느 한 항에 있어서,
상기 생체 검출 장치는,
듀얼 채널 카메라를 통해 이미지 수집을 수행하여, 상기 이미지를 획득하기 위한 이미지 수집 유닛을 더 포함하는 것을 특징으로 하는 생체 검출 장치.
제27항에 있어서,
상기 적어도 하나의 모달리티는, 듀얼 채널 모달리티 및 RGB 모달리티를 포함하는 것을 특징으로 하는 생체 검출 장치.
제19항 내지 제28항 중 어느 한 항에 있어서,
상기 생체 검출 장치는 생체 검출 네트워크를 이용하여 구현되고,
상기 생체 검출 장치는,
샘플 데이터 세트에 기반하여 초기 생체 검출 네트워크를 훈련시킴으로써, 상기 생체 검출 네트워크를 얻기 위한 네트워크 훈련 유닛 - 상기 샘플 데이터 세트는 적어도 두 가지 모달리티의 샘플 이미지를 포함함 - 을 더 포함하는 것을 특징으로 하는 생체 검출 장치.
생체 검출 장치로서,
제1 모달리티의 이미지를 획득하기 위한 이미지 획득 유닛; 및
생체 검출 네트워크를 통해 상기 이미지에 대해 생체 검출을 진행하여, 상기 이미지 중의 타겟 객체가 생체인지를 결정하기 위한 타겟 검출 유닛 - 상기 생체 검출 네트워크는 샘플 이미지 세트에 기반하여 초기 생체 검출 네트워크에 대해 훈련을 수행함으로써 얻어지고, 상기 샘플 이미지 세트는 상기 제1 모달리티의 샘플 이미지 및 제2 모달리티의 샘플 이미지를 포함함 - 을 포함하는 것을 특징으로 하는 생체 검출 장치.
제30항에 있어서,
생체 검출 네트워크를 통해 상기 이미지에 대해 특징 추출을 수행하여, 이미지 특징 정보를 획득하고; 상기 이미지 특징 정보에 기반하여, 생체 검출 네트워크를 통해 상기 이미지 중의 타겟 객체가 생체인지를 결정하기 위한 상기 타겟 검출 유닛을 포함하는 것을 특징으로 하는 생체 검출 장치.
제30항 또는 제31항에 있어서,
상기 생체 검출 장치는,
상기 샘플 이미지 세트 중의 샘플 이미지에 대해 특징 추출을 수행하여, 샘플 특징 정보를 획득하고; 상기 샘플 특징 정보에 기반하여상기 샘플 이미지의 샘플 모달리티 분류 결과를 결정하고 - 상기 샘플 모달리티 분류 결과는 상기 샘플 이미지가 적어도 하나의 모달리티 중의 샘플 모달리티에 대응함을 지시함 - ; 상기 샘플 모달리티 분류 결과에 기반하여, 상기 샘플 이미지의 예측 진위 결과를 결정하며; 상기 예측 진위 결과 및 상기 샘플 이미지의 태그된 진위 정보에 기반하여, 상기 초기 생체 검출 네트워크의 네트워크 파라미터를 조정하기 위한 검출 네트워크 훈련 유닛을 더 포함하는 것을 특징으로 하는 생체 검출 장치.
제32항에 있어서,
상기 검출 네트워크 훈련 유닛은, 상기 샘플 특징 정보에 기반하여 상기 샘플 이미지의 샘플 모달리티 분류 결과를 결정할 때, 상기 샘플 특징 정보에 기반하여, 상기 샘플 이미지가 상기 제1 모달리티에 속하는 분류 확률 및 상기 샘플 이미지가 상기 제2 모달리티에 속하는 분류 확률을 결정하고; 상기 샘플 이미지가 상기 제1 모달리티에 속하는 분류 확률 및 상기 샘플 이미지가 상기 제2 모달리티에 속하는 분류 확률에 기반하여, 상기 샘플 이미지가 속하는 샘플 모달리티를 결정하기 위한 것임을 특징으로 하는 생체 검출 장치.
제31항 또는 제32항에 있어서,
상기 검출 네트워크 훈련 유닛은, 상기 샘플 모달리티 분류 결과에 기반하여, 상기 샘플 이미지의 예측 진위 결과를 결정할 때, 상기 샘플 모달리티 분류 결과 및 상기 샘플 특징 정보에 기반하여, 상기 샘플 이미지의 예측 진위 결과를 결정하기 위한 것임을 특징으로 하는 생체 검출 장치.
제34항에 있어서,
상기 검출 네트워크 훈련 유닛은, 상기 샘플 모달리티 분류 결과 및 상기 샘플 특징 정보에 기반하여, 상기 샘플 이미지의 예측 진위 결과를 결정할 때, 상기 샘플 특징 정보를 상기 샘플 이미지의 샘플 모달리티 분류 결과와 병합하여, 샘플 병합 결과를 획득하고; 상기 샘플 병합 결과에 기반하여, 상기 샘플 이미지의 예측 진위 결과를 결정하기 위한 것임을 특징으로 하는 생체 검출 장치.
제30항 내지 제35항 중 어느 한 항에 있어서,
상기 제1 모달리티는 근적외선 모달리티이고, 상기 제2 모달리티는 RGB 모달리티인 것을 특징으로 하는 생체 검출 방법.
전자 기기로서,
프로세서를 포함하며, 상기 프로세서는 제19항 내지 제29항 중 어느 한 항에 따른 생체 검출 장치 또는 제30항 내지 제36항 중 어느 한 항에 따른 생체 검출 장치를 포함하는 것을 특징으로 하는 전자 기기.
전자 기기로서,
실행 가능한 명령어를 저장하기 위한 메모리; 및
메모리와 통신함으로써, 제1항 내지 제11항 중 어느 한 항에 따른 생체 검출 방법 또는 제12항 내지 제18항 중 어느 한 항에 따른 생체 검출 방법의 단계를 완료하도록 상기 실행 가능한 명령어를 실행하기 위한 프로세서를 포함하는 것을 특징으로 하는 전자 기기.
컴퓨터 판독 가능한 명령어를 저장하기 위한 컴퓨터 판독 가능한 저장 매체로서,
상기 명령어가 실행될 때 제1항 내지 제11항 중 어느 한 항에 따른 생체 검출 방법 또는 제12항 내지 제18항 중 어느 한 항에 따른 생체 검출 방법의 단계를 실행하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
컴퓨터 판독 가능한 코드를 포함하는 컴퓨터 프로그램 제품으로서,
상기 컴퓨터 판독 가능한 코드가 기기에서 작동될 때, 상기 기기 중의 프로세서는 제1항 내지 제11항 중 어느 한 항에 따른 생체 검출 방법 또는 제12항 내지 제18항 중 어느 한 항에 따른 생체 검출 방법을 구현하기 위한 명령어를 실행하는 것을 특징으로 하는 컴퓨터 프로그램 제품.