KR102385463B1

KR102385463B1 - 얼굴 특징 추출 모델 학습 방법, 얼굴 특징 추출 방법, 장치, 디바이스 및 저장 매체

Info

Publication number: KR102385463B1
Application number: KR1020207026394A
Authority: KR
Inventors: 쉬펑 야오; 궈치앙 쉬
Original assignee: 원 커넥트 스마트 테크놀로지 컴퍼니 리미티드 (썬전)
Priority date: 2019-06-21
Filing date: 2019-11-29
Publication date: 2022-04-12
Also published as: EP3989104A4; EP3989104A1; JP2021532434A; US20230119593A1; CN110472494A; WO2020253127A1; JP6994588B2; KR20200145827A

Abstract

본 발명은 얼굴 특징 추출 모델 학습 방법, 얼굴 특징 추출 방법, 장치, 디바이스 및 저장 매체를 개시하며, 상기 학습 방법은 얼굴 학습 데이터를 복수의 원본 학생 네트워크에 각각 입력하는 단계; 얼굴 검증 데이터를 각 후보 학생 네트워크에 각각 입력하는 단계; 각 얼굴 특징 검증 데이터를 소정의 교사 네트워크에 각각 입력하는 단계; 및 복수의 후보 얼굴 특징 데이터를 스크리닝하여 얼굴 특징 추출 모델을 확정하는 단계를 포함한다.

Description

얼굴 특징 추출 모델 학습 방법, 얼굴 특징 추출 방법, 장치, 디바이스 및 저장 매체

본 출원은 생체 인식 분야에 관한 것으로, 더욱 상세하게는 얼굴 특징 추출 모델 학습 방법, 얼굴 특징 추출 방법, 장치, 디바이스 및 저장 매체에 관한 것이다.

최근 사람 얼굴로 대표되는 생체 특징 검출 인식이 신분 확인, 스마트 교육 등과 같은 많은 분야에서 널리 사용되고 있다. 사람 얼굴 인식 기술은 특징 추출 모델을 통해 사람 얼굴 특징을 추출하고, 해당 사람 얼굴 특징을 통해 신분 확인 또는 표적 검출을 수행하는 것을 의미한다. 종래의 특징 추출 모델은 인체 얼굴에서 특징 추출을 수행할 때 추출 정확도가 높지 않아 실제 응용 상황에서의 사용 요건을 충족시키기가 어렵다.

본 출원은 2019년 07월 05일 중국특허국에 출원된 출원번호 제201910606508.9호, 발명의 명칭 “얼굴 특징 추출 모델 학습 방법, 얼굴 특징 추출 방법, 장치, 디바이스 및 저장 매체” 중국 특허출원을 우선권으로 주장하고, 상기 명세서의 개시 내용은 전체로서 원용에 의하여 본 출원의 명세서에 포함된다.

본 출원은 얼굴 특징 추출 모델 학습 방법, 얼굴 특징 추출 방법, 장치, 디바이스 및 저장 매체를 제공함으로써, 얼굴 특징 추출 모델의 특징에 대한 추출 정확도를 향상시켜 인체 얼굴 동작 인식을 위한 중요한 기준을 제공한다.

제1 양태에 있어서, 본 출원은 얼굴 특징 추출 모델 학습 방법을 제공하며, 여기에는,

얼굴 학습 데이터를 복수의 원본 학생 네트워크에 각각 입력하여 모델 학습을 수행하여, 각 상기 원본 학생 네트워크에 대응하는 후보 학생 네트워크를 획득하는 단계;

얼굴 검증 데이터를 각 상기 후보 학생 네트워크에 각각 입력하여, 각 상기 후보 학생 네트워크에 대응하는 얼굴 특징 검증 데이터를 출력하는 단계;

각 상기 얼굴 특징 검증 데이터를 소정의 교사 네트워크에 각각 입력하여, 각 상기 얼굴 특징 검증 데이터에 대응하는 후보 얼굴 특징 데이터를 출력하는 단계; 및

소정의 특징 스크리닝 규칙에 기초하여, 복수의 상기 후보 얼굴 특징 데이터에 대하여 스크리닝을 수행하여, 목표 샘플 특징을 획득하고, 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크를 얼굴 특징 추출 모델로 확정하는 단계가 포함된다.

제2 양태에 있어서, 본 출원은 얼굴 특징 추출 방법을 더 제공하며, 여기에는,

목표 이미지를 획득하는 단계;

상기 목표 이미지에 대하여 이미지 처리를 수행하여, 목표 처리 이미지를 획득하는 단계; 및

상기 목표 처리 이미지를 얼굴 특징 추출 모델에 입력하여, 목표 얼굴 특징을 출력하는 단계가 포함되고, 여기에서 상기 얼굴 특징 추출 모델은 상기 얼굴 특징 추출 모델 학습 방법으로 학습하여 모델을 획득한다.

제3 양태에 있어서, 본 출원은 얼굴 특징 추출 모델 학습 장치를 더 제공하며, 여기에는,

얼굴 학습 데이터를 복수의 원본 학생 네트워크에 각각 입력하여 모델 학습을 수행하여, 각 상기 원본 학생 네트워크에 대응하는 후보 학생 네트워크를 획득하도록 구성되는 모델 학습유닛;

얼굴 검증 데이터를 각 상기 후보 학생 네트워크에 각각 입력하여, 각 상기 후보 학생 네트워크에 대응하는 얼굴 특징 검증 데이터를 출력하도록 구성되는 데이터 출력유닛;

각 상기 얼굴 특징 검증 데이터를 소정의 교사 네트워크에 각각 입력하여, 각 상기 얼굴 특징 검증 데이터에 대응하는 후보 얼굴 특징 데이터를 출력하도록 구성되는 데이터 입력유닛; 및

소정의 특징 스크리닝 규칙에 기초하여, 복수의 상기 후보 얼굴 특징 데이터에 대하여 스크리닝을 수행하여, 목표 샘플 특징을 획득하고, 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크를 얼굴 특징 추출 모델로 확정하도록 구성되는 모델 확정유닛이 포함된다.

제4 양태에 있어서, 본 출원은 얼굴 특징 추출 장치를 더 제공하며, 여기에는,

목표 이미지를 획득하도록 구성되는 이미지 획득유닛;

상기 목표 이미지에 대하여 이미지 처리를 수행하여, 목표 처리 이미지를 획득하도록 구성되는 이미지 처리유닛; 및

상기 목표 처리 이미지를 얼굴 특징 추출 모델에 입력하여, 목표 얼굴 특징을 출력하도록 구성되는 이미지 입력유닛이 포함되고, 여기에서 상기 얼굴 특징 추출 모델은 상기와 같은 얼굴 특징 추출 모델 학습 방법으로 학습하여 모델을 획득한다.

제5 양태에 있어서, 본 출원은 컴퓨터 디바이스를 더 제공하며, 상기 컴퓨터 디바이스는 메모리 및 프로세서를 포함하고; 상기 메모리는 컴퓨터 프로그램을 저장하도록 구성되고; 상기 프로세서는 상기 컴퓨터 프로그램을 실행하고 상기 컴퓨터 프로그램이 실행될 때 상기와 같은 얼굴 특징 추출 모델 학습 방법 또는 얼굴 특징 추출 방법을 구현하도록 구성된다.

제6 양태에 있어서, 본 출원은 컴퓨터 판독 가능 저장 매체를 더 제공하며, 상기 컴퓨터 판독 가능 저장 매체에는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때 상기 프로세서는 상기와 같은 얼굴 특징 추출 모델 학습 방법 또는 얼굴 특징 추출 방법을 구현한다.

본 출원은 얼굴 특징 추출 모델 학습 방법, 얼굴 특징 추출 방법, 장치, 디바이스 및 저장 매체를 개시하며, 얼굴 학습 데이터를 복수의 원본 학생 네트워크에 각각 입력하여 모델 학습을 수행하여, 각 상기 원본 학생 네트워크에 대응하는 후보 학생 네트워크를 획득하고; 얼굴 검증 데이터를 각 상기 후보 학생 네트워크에 각각 입력하여, 각 상기 후보 학생 네트워크에 대응하는 얼굴 특징 검증 데이터를 출력하고; 각 상기 얼굴 특징 검증 데이터를 소정의 교사 네트워크에 각각 입력하여, 각 상기 얼굴 특징 검증 데이터에 대응하는 후보 얼굴 특징 데이터를 출력하고; 소정의 특징 스크리닝 규칙에 기초하여, 복수의 상기 후보 얼굴 특징 데이터에 대하여 스크리닝을 수행하여, 목표 샘플 특징을 획득하고, 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크를 얼굴 특징 추출 모델로 확정한다. 또한 얼굴 특징 추출 모델의 특징 추출의 정확도를 향상시킨다.

본 출원의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위하여, 이하에서는 실시예의 설명에 사용된 도면을 간략하게 소개한다. 이하 설명에 사용된 도면은 본 출원의 일부 실시예들이며, 본 발명이 속한 기술분야의 당업자는 창의적인 작업 없이 이러한 도면을 기반으로 다른 도면을 얻을 수 있다.
도 1은 본 출원 실시예에서 제공하는 이미지 세트 마킹 방법의 개략적인 흐름도이다.
도 2는 도 1에서 이미지 세트 마킹 방법의 하위 단계의 개략적인 흐름도이다.
도 3은 도 1에서 이미지 세트 마킹 방법의 하위 단계의 개략적인 흐름도이다.
도 4는 도 1에서 제1 스크리닝 이미지 세트의 획득 단계의 개략적인 흐름도이다.
도 5는 본 출원 실시예에서 제공하는 얼굴 특징 추출 모델 학습 방법의 개략적인 흐름도이다.
도 6은 도 5에서 얼굴 특징 추출 모델 학습 방법의 하위 단계의 개략적인 흐름도이다.
도 7은 도 5에서 얼굴 특징 추출 모델 학습 방법의 하위 단계의 개략적인 흐름도이다.
도 8은 손실값을 확정하는 단계의 개략적인 흐름도이다.
도 9는 본 출원의 일 실시예에서 제공하는 얼굴 특징 추출 방법의 단계의 개략적인 흐름도이다.
도 10은 본 출원의 일 실시예에서 제공하는 얼굴 특징 추출 방법의 응용 상황의 개략도이다.
도 11은 본 출원 실시예에서 제공하는 얼굴 특징 추출 모델 학습 장치의 개략적인 블록도이다.
도 12는 도 11에서 얼굴 특징 추출 모델 학습 장치의 하위 유닛의 개략적인 블록도이다.
도 13은 본 출원 실시예에서 제공하는 얼굴 특징 추출 장치의 개략적인 블록도이다.
도 14는 본 출원의 일 실시예에서 제공하는 컴퓨터 디바이스 구조의 개략적인 블록도이다.

이하에서는 본 출원의 실시예의 첨부 도면을 참고하여 본 출원 실시예의 기술적 해결책을 명확하고 완전하게 설명한다. 이하에 설명된 실시예는 본 출원의 모든 실시예가 아닌 일부 실시예에 불과하다. 본 출원의 실시예를 기반으로, 창의적인 작업 없이 본 발명이 속한 기술분야의 당업자에 의해 획득된 다른 모든 실시예는 본 출원의 보호범위에 속한다.

도면에 도시된 흐름도는 예시일 뿐이며, 반드시 모든 내용 및 조작/단계를 포함할 필요가 없으며 설명된 순서대로 실행되지 않아도 된다. 예를 들어, 일부 조작/단계는 분해, 조립 또는 부분적 결합이 가능하므로 실제 실행 순서는 실제 상황에 따라 변경될 수 있다.

본 출원의 실시예는 얼굴 특징 추출 모델 학습 방법, 얼굴 특징 추출 방법, 장치, 컴퓨터 디바이스 및 저장 매체를 제공한다. 얼굴 특징 추출 모델은 인체 얼굴 동작 인식 장면에서 인체 얼굴 동작에 대하여 얼굴 특징 추출을 수행하는 데 사용될 수 있다.

이하에서는 첨부 도면을 참고하여 본 출원의 일부 실시예를 상세히 설명하기로 한다. 충돌이 없는 상황에서 이하의 실시예 및 실시예 중의 특징은 서로 결합될 수 있다.

도 1에서 도시하는 바와 같이, 도 1은 본 출원 실시예에 따른 이미지 세트 마킹 방법의 단계에 대한 개략적인 흐름도이다.

머신 러닝 과정에 있어서, 사람 얼굴 샘플 이미지에 대하여 라벨링을 수행해야만 모델의 테스트 학습을 수행할 수 있다. 통상적으로 사람 얼굴 샘플 이미지에 대하여 직접 라벨링을 수행하여 상응하는 얼굴 학습 데이터를 획득한다. 그러나 사람 얼굴 샘플 이미지는 현재 모델이 쉽게 인식할 수 있는 상황이 존재하기 때문에, 이러한 이미지에 라벨링을 수행한 후 학습을 수행하면 통상적으로 원하는 효과를 얻지 못하며, 대량의 라벨링 인력 낭비를 초래하여 머신 러닝의 전체적인 효율이 떨어진다.

도 1에서 도시하는 바와 같이, 모델 학습의 효율성 및 머신 러닝의 전체 효율성을 개선하기 위하여 본 출원은 사람 얼굴 이미지를 마킹하여 얼굴 특징 추출 모델에 대하여 모델 훈련을 수행하기 위한 이미지 세트의 마킹 방법을 제공한다. 여기에서, 상기 방법은 구체적으로 단계 S110 내지 단계 S150을 포함한다.

단계 S110: 소정의 선택 규칙에 따라 복수의 원본 사람 얼굴 이미지에서 라벨링되지 않은 이미지를 선택하여 사람 얼굴 샘플 이미지 세트를 획득한다.

구체적으로, 원본 사람 얼굴 이미지는 인터넷에서 획득한 대량 이미지를 말한다. 이러한 이미지는 처리되지 않은 이미지이다. 머신 러닝은 이러한 이미지에 대하여 식별 처리를 수행하여 식별 결과를 획득하거나, 또는 그중 상응하는 이미지를 선택하여 테스트 학습 처리를 수행하여 상기 머신 러닝에 더욱 적합한 데이터를 획득하고, 이를 통해 소정의 목표에 따라 머신 러닝이 수행되어 더욱 우수한 머신 러닝 모델을 획득하도록 만든다.

따라서, 대량의 원본 사람 얼굴 이미지에서 라벨링되지 않은 사람 얼굴 샘플 이미지를 선택해야 하며, 모든 사람 얼굴 샘플 이미지는 사람 얼굴 샘플 이미지 세트를 구성한다. 여기에서, 소정의 선택 규칙은 특정 이미지 생성 소스의 이미지를 사람 얼굴 샘플 이미지로 선택할 수 있는데, 예를 들어 소정의 채널을 통해 Yale 사람 얼굴 데이터베이스 중의 사람 얼굴 이미지를 사람 얼굴 샘플 이미지로 선택할 수 있다. 물론 이미지의 산출 시간 등에 따라 선택할 수도 있는데, 예를 들어 법정 휴일 동안의 사람 얼굴 이미지를 사람 얼굴 샘플 이미지로 선택할 수 있다. 모든 사람 얼굴 샘플 이미지의 집합은 사람 얼굴 샘플 이미지 세트로 구성된다.

단계 S120: 상기 사람 얼굴 샘플 이미지 세트에 대하여 불확실성 분석을 수행하여 분석 결과를 획득한다.

여기에서, 상기 사람 얼굴 샘플 이미지 세트에는 복수의 라벨링되지 않은 이미지가 포함된다. 각 사람 얼굴 샘플 이미지 세트에 대하여 불확실성 분석을 수행하여 분석 결과를 획득하는 상기 단계는 구체적으로,

각 상기 사람 얼굴 샘플 이미지 세트에 대하여 최소 신뢰도 분석, 마진 샘플링 분석 및 정보 엔트로피 분석 중 적어도 하나를 수행하여, 각 상기 사람 얼굴 샘플 이미지 세트의 불확실성 수치를 획득하는 단계를 포함한다.

구체적으로, 불확실성은 최소 신뢰도, 마진 샘플링 및 정보 엔트로피 중 적어도 하나에 의해 측정될 수 있다. 구체적으로, 그 분석 결과는 수치 방식으로 구현될 수 있다. 예를 들어, 수치가 클수록 불확실성이 높다. 물론 분석 결과는 불확실성을 복수 등급으로 나누어 비교하는 등의 방식을 이용하여 불확실성을 보여줄 수도 있다.

도 2에서 도시하는 바와 같이, 일 실시예에 있어서 상기 각 사람 얼굴 샘플 이미지 세트에 대하여 불확실성 분석을 수행하는 구체적인 과정, 즉 단계 S120에는 구체적으로 하위 단계 S121, S122 및 S123이 포함된다.

단계 S121: 상기 사람 얼굴 샘플 이미지 세트 중의 이미지에 대하여 최소 신뢰도 분석을 수행하여, 각 상기 이미지에 대응하는 제1 불확실성 수치를 획득한다.

구체적으로, 이미지의 불확실성은 이미지의 마킹 값이라고도 부른다. 최소 신뢰도 분석, 즉 Least confidence는 하기와 같이 정의할 수 있다.

여기에서,

는 상기 제1 불확실성 수치를 나타내고,

는 유형을 나타내고,

는 샘플 x의 예측 확률 분포 중의 확률을 나타내고,

는 모델 예측 확률 분포를 나타내고,

가 클수록 샘플 x의 불확실성이 높다는 것을 나타내며, 즉 상응하는 라벨링 처리를 수행해야 한다.

단계 S122: 상기 사람 얼굴 샘플 이미지 세트 중의 이미지에 대하여 마진 샘플링 분석을 수행하여, 각 상기 이미지에 대응하는 제2 불확실성 수치를 획득한다.

구체적으로 마진 샘플링 분석, 즉 Margin sampling은 하기와 같이 정의할 수 있다.

여기에서,

는 상기 제2 불확실성 수치를 나타내고,

는 샘플 x의 예측 확률 분포 중 최대 확률을 나타내고,

는 샘플 x의 예측 확률 분포 중 두 번째로 큰 확률을 나타내고, 여기에서

는 각각 모델 θ 예측의 최대 확률과 두 번째로 큰 확률에 대응하는 유형이고,

는 모델 예측 확률 분포를 나타내고,

단계 S123: 상기 사람 얼굴 샘플 이미지 세트 중의 이미지에 대하여 정보 엔트로피 분석을 수행하여, 각 상기 이미지에 대응하는 제3 불확실성 수치를 획득한다.

구체적으로 정보 엔트로피 분석은 하기와 같이 정의할 수 있다.

여기에서,

는 상기 제3 불확실성 수치를 나타내고,

는 샘플 x의 예측 확률을 나타내고,

은 모델 예측 확률 분포를 나타내고,

단계 S130: 상기 분석 결과에 따라, 상기 사람 얼굴 샘플 이미지 세트에 대하여 스크리닝 처리를 수행하여 라벨링 대상 이미지 세트를 획득한다.

구체적으로 상기 분석 결과에는 상기 사람 얼굴 샘플 이미지 세트 중 각 이미지에 대응하는 불확실성 수치가 포함된다.

일 실시예에 있어서, 단계 S130은 구체적으로,

제1 불확실성 수치, 제2 불확실성 수치 및 제3 불확실성 수치에 따라 상기 사람 얼굴 샘플 이미지 세트에 대하여 스크리닝 처리를 수행하여 라벨링 대상 이미지 세트를 획득하는 단계를 포함한다.

도 3에서 도시하는 바와 같이, 상기 분석 결과에 따라 상기 사람 얼굴 샘플 이미지 세트에 대하여 스크리닝 처리를 수행하여 라벨링 대상 이미지 세트를 획득하는 단계, 즉 단계 S130은 구체적으로 하위 단계 S131 내지 S134를 포함한다.

단계 S131: 제1 불확실성 수치에 따라 상기 사람 얼굴 샘플 이미지 세트 중의 이미지에 대하여 스크리닝 처리를 수행하여 제1 스크리닝 이미지 세트를 획득한다.

구체적으로 최소 신뢰도 분석에 기초하여 해당 분석 방법에 대응하는 제1 불확실성 수치를 획득할 수 있다. 상기 제1 불확실성 수치에 따라 상기 사람 얼굴 샘플 이미지 세트 중의 이미지에 대하여 스크리닝 처리를 수행하여 상응하는 제1 스크리닝 이미지 세트를 획득할 수 있다.

단계 S132: 제2 불확실성 수치에 따라 상기 사람 얼굴 샘플 이미지 세트 중의 이미지에 대하여 스크리닝 처리를 수행하여 제2 스크리닝 이미지 세트를 획득한다.

구체적으로 마진 샘플링 분석에 기초하여 해당 분석 방법에 대응하는 제2 불확실성 수치를 획득할 수 있다. 상기 제2 불확실성 수치에 따라 상기 사람 얼굴 샘플 이미지 세트 중의 이미지에 대하여 스크리닝 처리를 수행하여 상응하는 제2 스크리닝 이미지 세트를 획득할 수 있다.

단계 S133: 제3 불확실성 수치에 따라 상기 사람 얼굴 샘플 이미지 세트 중의 이미지에 대하여 스크리닝 처리를 수행하여 제3 스크리닝 이미지 세트를 획득한다.

구체적으로 정보 엔트로피 분석에 기초하여 해당 분석 방법에 대응하는 제3 불확실성 수치를 획득할 수 있다. 상기 제3 불확실성 수치에 따라 상기 사람 얼굴 샘플 이미지 세트 중의 이미지에 대하여 스크리닝 처리를 수행하여 상응하는 제3 스크리닝 이미지 세트를 획득할 수 있다.

단계 S134: 상기 제1 스크리닝 이미지 세트, 제2 스크리닝 이미지 세트 및 제3 스크리닝 이미지 세트에 따라 상기 라벨링 대상 이미지 세트를 구성한다.

구체적으로 제1 스크리닝 이미지 세트, 제2 스크리닝 이미지 세트 및 제3 스크리닝 이미지 세트는 함께 라벨링 대상 이미지 세트를 구성한다. 또한 라벨링 대상 이미지 세트 중의 이미지 수량이 증가하는 동시에 라벨링 대상 이미지 세트의 이미지 다양성이 증가하여, 라벨링 대상 이미지 세트 중의 이미지가 풍부해지고 모델의 학습 효율이 향상되며 학습 시간이 효과적으로 단축되어 모델이 더욱 견고해진다.

불확실성 수치를 제1 불확실성 수치로 사용한 예로 설명하기로 한다. 일 실시예에 있어서, 상기 제1 불확실성 수치에 따라 상기 사람 얼굴 샘플 이미지 세트 중의 이미지에 대하여 스크리닝 처리를 수행하여 제1 스크리닝 이미지 세트를 획득하는데, 즉 단계 S131은,

상기 사람 얼굴 샘플 이미지 세트 중의 이미지에 대하여, 대응하는 불확실성 수치에 따라 내림차순으로 정렬하고, 소정 수량의 대응하는 상기 이미지를 라벨링 대상 이미지로 설정하며, 모든 상기 라벨링 대상 이미지를 라벨링 대상 이미지 세트로 설정하는 단계를 포함한다.

구체적으로, 사람 얼굴 샘플 이미지 세트 중의 이미지를 대응하는 불확실성 수치 크기에 따라 내림차순으로 배열함으로써, 순서가 앞인 이미지는 모두 불확실성이 비교적 높은 이미지로 유지할 수 있으며, 다시 선택을 통해 데이터의 불확실성 정도를 유지하고, 나아가 학습 모델에 사용되는 이미지 훈련 효율을 비교적 높은 수준으로 보장한다.

여기에서, 소정의 수량은 응용 환경에 따라 상응하는 선택을 수행할 수 있으며, 일정한 비율에 따라 소정의 수량을 설정할 수도 있다. 예를 들어, 사람 얼굴 샘플 이미지 세트 중 총 이미지 수량의 85%를 라벨링 대상 이미지로 선택할 수 있고, 이때 소정의 수량은 바로 총 수량의 85%이다.

다른 일 실시예에 있어서, 도 4에서 도시하는 바와 같이, 상기 제1 불확실성 수치에 따라 상기 사람 얼굴 샘플 이미지 세트에 대하여 스크리닝 처리를 수행하여, 제1 스크리닝 이미지 세트를 획득하는데, 즉 단계 S131은 구체적으로 하위 단계 S1311, S1312 및 S1313을 포함한다.

단계 S1311: 각 상기 이미지의 대응하는 불확실성 수치가 소정의 불확실성 임계값보다 큰지의 여부를 판단한다.

구체적으로 불확실성 수치는 실제 작업 환경에 따라 설정된다.

단계 S1312: 상기 불확실성 수치가 상기 불확실성 임계값보다 큰 경우, 대응하는 상기 사람 얼굴 샘플 이미지 세트를 라벨링 대상 이미지로 설정한다.

사람 얼굴 샘플 이미지 세트 중 특정 하나의 이미지의 불확실성 수치가 불확실성 임계값보다 큰 경우, 해당 이미지가 라벨링 규칙에 부합한다는 것을 나타내며, 나아가 이에 대하여 라벨링 처리를 수행한다.

단계 S1313: 모든 상기 라벨링 대상 이미지를 라벨링 대상 이미지 세트로 설정한다.

불확실성 수치가 제2 불확실성 수치 또는 제3 불확실성 수치일 때, 상기 단계를 참조할 수 있으므로, 여기에서 반복하여 설명하지 않음을 이해할 수 있다.

단계 S140: 상기 라벨링 대상 이미지 세트 중의 이미지에 대하여 라벨링 처리를 수행하여, 이미 라벨링된 사람 얼굴 이미지 세트를 획득한다.

라벨링 처리는 각 상기 라벨링 대상 이미지와 각각의 대응하는 유형에 대하여 일대일 대응하는 관계를 형성한다는 것을 말하며, 즉 대응하는 이미 라벨링된 이미지를 획득할 수 있고, 상기 이미 라벨링된 이미지는 바로 상기 얼굴 검증 데이터이다.

일 실시예에 있어서, 상기 라벨링 대상 이미지에 대하여 라벨링 처리를 수행하는데, 즉 단계 S140는 라벨링 임의 입력의 상기 라벨링 대상 이미지에 대응하는 라벨링 정보를 수신하는 단계; 및 검토 결과에 따라 라벨링 정보와 상기 라벨링 대상 이미지에 대응 관계를 형성하여 이미 라벨링된 사람 얼굴 이미지 세트를 획득하는 단계를 포함하고, 여기에서 상기 검토 결과는 검토자가 라벨링 정보에 대하여 검토 처리를 수행하여 획득된 것이다.

상기 이미지 라벨링 방법은 사람 얼굴 샘플 이미지 세트에 대하여 최소 신뢰도 분석, 마진 샘플링 분석 및 정보 엔트로피 분석을 수행하여 각각 대응하는 불확실성 결과를 획득한 후 3가지의 불확실성 분석 결과를 병합함으로써 상이한 각도에서 이미지의 불확실성을 분석하며, 라벨링 대상 이미지의 수량을 증가시키는 동시에 라벨링 대상 이미지의 다양성도 증가시킨다. 각 라벨링 대상 이미지에 대한 라벨링은 모델 학습 효율을 향상시켜 보다 적은 데이터로 보다 우수한 결과를 얻으며 머신 러닝의 전체 효율을 향상시킬 수 있다.

도 5에서 도시하는 바와 같이, 도 5는 본 출원의 실시예에서 제공하는 얼굴 특징 추출 모델 학습 방법 단계의 개략적인 흐름도이다.

상기 학습 방법은 복수의 원본 학생 네트워크를 선택하여 모델 학습을 수행함으로써 대응하는 후보 학생 네트워크를 획득할 수 있다. 복수는 2개, 3개 또는 그 이상일 수 있다. 원본 학생 네트워크는 YOLO9000, AlexNet 또는 VGGNet 등의 네트워크일 수 있다. 이하에서는 복수를 2개로 하며, 2개의 원본 학생 네트워크는 각각 YOLO9000 네트워크와 VGGNet 네트워크를 예로 들어 설명한다.

도 1에서 도시하는 바와 같이, 상기 얼굴 특징 추출 모델 학습 방법은 구체적으로 단계 S210 내지 단계 S240을 포함한다.

단계 S210: 얼굴 학습 데이터를 복수의 원본 학생 네트워크에 각각 입력하여 모델 학습을 수행하여, 각 상기 원본 학생 네트워크에 대응하는 후보 학생 네트워크를 획득한다.

구체적으로 얼굴 학습 데이터는 원본 학생 네트워크에 대하여 모델 학습을 수행하는 데 사용되며, 여기에는 훈련 서브 데이터 및 테스트 서브 데이터가 포함된다. 여기에서, 테스트 서브 데이터는 상기 이미지 마킹 방법으로 마킹하여 획득한 데이터이며, 이는 후보 학생 네트워크를 테스트하여 해당 후보 학생 네트워크가 학습 요건을 충족하는지 여부를 결정하는 데에 사용된다. 여기에서, 얼굴 학습 데이터를 YOLO9000 네트워크에 입력하여 모델 학습을 수행함으로써 제1 후보 학생 네트워크를 획득한다. 상기 얼굴 학습 데이터를 VGGNet 네트워크에 입력하여 모델 학습을 수행함으로써 제2 후보 학생 네트워크를 획득한다.

단계 S220: 얼굴 검증 데이터를 각 상기 후보 학생 네트워크에 각각 입력하여, 각 상기 후보 학생 네트워크에 대응하는 얼굴 특징 검증 데이터를 출력한다.

구체적으로 얼굴 검증 데이터는 상기 이미지 마킹 방법으로 마킹하여 획득한 데이터일 수도 있다. 여기에서, 얼굴 검증 데이터를 제1 후보 학생 네트워크에 입력하여 제1 얼굴 특징 검증 데이터를 획득한다. 상기 얼굴 검증 데이터를 제2 후보 학생 네트워크에 입력하여 제2 얼굴 특징 검증 데이터를 획득한다.

단계 S230: 각 상기 얼굴 특징 검증 데이터를 소정의 교사 네트워크에 각각 입력하여, 각 상기 얼굴 특징 검증 데이터에 대응하는 후보 얼굴 특징 데이터를 출력한다.

여기에서, 교사 네트워크는 미리 학습된 YOLO9000일 수 있다. 구체적으로, 제1 얼굴 특징 검증 데이터를 상기 교사 네트워크에 입력하고, 제1 후보 얼굴 특징 데이터를 출력한다. 제2 얼굴 특징 검증 데이터를 상기 교사 네트워크에 입력하고, 제2 후보 얼굴 특징 데이터를 출력한다.

단계 240: 소정의 특징 스크리닝 규칙에 기초하여, 복수의 상기 후보 얼굴 특징 데이터에 대하여 스크리닝을 수행하여, 목표 샘플 특징을 획득하고, 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크를 얼굴 특징 추출 모델로 확정한다.

구체적으로, 소정의 특징 스크리닝 규칙은 구체적인 응용 상황에 따라 설정할 수 있다. 일 실시예에 있어서, 도 6에서 도시하는 바와 같이, 소정의 특징 스크리닝 규칙에 기초하여, 복수의 상기 후보 얼굴 특징 데이터에 대하여 스크리닝을 수행하여 목표 샘플 특징을 획득하는 단계는 하위 단계 S241 및 S242을 포함한다.

단계 S241: 각 상기 후보 얼굴 특징 데이터와 소정의 사람 얼굴 이미지를 교정하는 얼굴 특징 교정 데이터를 기반으로, 각 상기 후보 얼굴 특징 데이터에 대응하는 정확도를 계산한다.

구체적으로 사람 얼굴 이미지 교정은 구체적인 상황에 따라 설정할 수 있다. 여기에서, 제1 후보 얼굴 특징 데이터에 따라 제1 정확도를 계산한다. 제2 후보 얼굴 특징 데이터에 따라 제2 정확도를 계산한다.

보다 구체적으로, 제1 후보 얼굴 특징 데이터와 소정의 사람 얼굴 이미지를 교정하는 얼굴 특징 교정 데이터를 미리 학습된 신경망 모델에 입력하여 제1 후보 얼굴 특징 데이터에 대응하는 제1 정확도를 출력한다. 제2 후보 얼굴 특징 데이터와 소정의 사람 얼굴 이미지를 교정하는 얼굴 특징 교정 데이터를 상기 신경망 모델에 입력하여 제2 후보 얼굴 특징 데이터에 대응하는 제2 정확도를 출력한다. 상기 신경망 모델은 구체적으로 미리 학습된 GoogLeNet 모델일 수 있으며, 물론 다른 네트워크 모델일 수도 있다.

단계 S242: 최대의 정확도에 대응하는 후보 얼굴 특징 데이터를 목표 샘플 특징으로 확정한다.

예를 들어, 제1 정확도가 제2 정확도보다 작은 경우, 제2 정확도에 대응하는 제2 후보 얼굴 특징 데이터를 목표 샘플 특징으로 확정한다. 제2 후보 얼굴 특징 데이터에 대응하는 제2 후보 학생 네트워크를 얼굴 특징 추출 모델로 확정한다.

도 7에서 도시하는 바와 같이, 일 실시예에 있어서 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크를 얼굴 특징 추출 모델로 확정하는 단계는 하위 단계 S243, S244 및 S245를 포함한다.

단계 S243: 상기 목표 샘플 특징에 따라 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크의 손실값을 계산한다.

여기에서, 도 8에서 도시하는 바와 같이, 상기 목표 샘플 특징에 따라 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크의 손실값을 계산하는 구체적인 과정, 즉 단계 S243은 하위 단계 S2431 및 S2432를 포함한다.

단계 S2431: 제1 손실 함수 및 제2 손실 함수에 기초하여, 상기 목표 샘플 특징에 따라 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크의 제1 하위 손실값 및 제2 하위 손실값을 확정한다.

구체적으로, 제1 손실 함수에 기초하여, 상기 목표 샘플 특징에 따라 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크의 제1 하위 손실값을 확정한다. 제2 손실 함수에 기초하여, 상기 목표 샘플 특징에 따라 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크의 제2 하위 손실값을 확정한다.

여기에서, 상기 제1 손실 함수는 하기와 같다.

여기에서,

는 제1 하위 손실값이고,

는 얼굴 학습 데이터 중 제k 이미지의 목표 샘플 특징의 특징 벡터이고,

은 얼굴 학습 데이터 중 제k 이미지의 라벨 벡터이고, m은 각 배치(batch)의 얼굴 학습 데이터 중 이미지 수량이다.

상기 제2 손실 함수는 하기와 같다.

여기에서,

는 제2 하위 손실값이고,

은 얼굴 학습 데이터 중 제k 이미지의 중심이고, m은 각 배치의 얼굴 학습 데이터 중 이미지 수량이다.

단계 S2432: 손실값 병합 공식에 기초하여, 상기 제1 하위 손실값 및 제2 하위 손실값에 따라 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크의 손실값을 확정한다.

구체적으로 상기 손실값 병합 공식은 하기와 같다.

여기에서, J는 상기 손실값이고, w₁과 w₂는 가중치이다.

제1 손실 함수와 제2 손실 함수를 결합하여 얼굴 특징 추출 모델 재학습의 손실 함수로 사용하여, 학습된 얼굴 특징 추출 모델이 응집성을 갖도록 하며, 대량의 고품질 얼굴 학습 데이터 세트가 없는 상황에서도 정확하게 특징 데이터를 추출할 수 있도록 하고, 동시에 얼굴 특징 추출 모델 재학습 시 수렴 속도가 느려지고 과적합 현상이 나타나는 것을 방지한다.

단계 S244: 상기 손실값이 소정의 손실 임계값보다 작은 경우, 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크를 얼굴 특징 추출 모델로 확정한다.

구체적으로, 상기 손실값이 소정의 손실 임계값보다 작을 경우, 이는 목표 샘플 특징에 대응하는 후보 학생 네트워크가 이미 수렴되었음을 나타내며, 상기 후보 학생 네트워크를 얼굴 특징 추출 모델로 확정한다.

단계 S245: 상기 손실값이 소정의 손실 임계값보다 작지 않은 경우, 상기 손실값에 따라 상기 후보 학생 네트워크의 파라미터를 조정한다.

구체적으로, 상기 손실값이 소정의 손실 임계값보다 작지 않은 경우, 이는 목표 샘플 특징에 대응하는 후보 학생 네트워크가 수렴되지 않았다는 것을 나타내므로, 후보 학생 네트워크에 대하여 계속하여 학습을 수행해야 하며, 상기 손실값에 따라 상기 손실값이 손실 임계값보다 작아질 때까지 상기 후보 학생 네트워크의 파라미터를 조정하고, 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크를 얼굴 특징 추출 모델로 확정하는 단계, 즉 단계 S244를 실행한다.

상기 얼굴 특징 추출 모델 학습 방법은 상기 마킹 방법으로 마킹한 얼굴 학습 데이터로 복수의 원본 학생 네트워크에 대하여 모델 학습을 수행한 후 교사 네트워크와 얼굴 검증 데이터를 통해 이에 대한 스크리닝을 수행함으로써, 특징 추출 정확도가 가장 바람직한 후보 학생 네트워크를 얼굴 특징 추출 모델로 획득한다. 상기 훈련 방법은 일부 얼굴 학습 데이터 및 얼굴 검증 데이터의 다양성을 강화하고 모델 학습의 효율을 개선하며, 모델에서 추출하는 얼굴 특징의 정확도를 향상시켜 인체 얼굴 동작 인식을 위한 중요한 기준을 제공한다.

도 9에서 도시하는 바와 같이, 도 9는 본 출원의 일 실시예에서 제공하는 얼굴 특징 추출 방법 단계의 개략적인 흐름도이다. 도 10에서 도시하는 바와 같이, 도 10은 본 출원의 일 실시예에서 제공하는 얼굴 특징 추출 방법의 응용 상황의 개략도이다. 여기에서, 상기 얼굴 특징 추출 방법은 단말 디바이스(610, 620), 네트워크(630) 및 서버(640)를 포함하는 시스템에 적용될 수 있다.

네트워크(640)는 단말 디바이스(610, 620)와 서버(640) 사이에 통신 링크를 제공하는 매체로 사용된다. 네트워크(630)는 유선, 무선 통신 링크 또는 광섬유 케이블 등과 같은 다양한 연결 유형을 포함할 수 있다.

사용자는 단말 디바이스(610, 620)를 사용하여 네트워크(630)를 통해 서버(640)와 상호 작용하여 요청 명령 등을 수신 또는 전송할 수 있다. 단말 디바이스(610, 620) 상에는 이미지 처리 애플리케이션, 웹 브라우저 애플리케이션, 검색 애플리케이션, 인스턴트 메시징 툴 등과 같은 다양한 통신 클라이언트 애플리케이션이 설치될 수 있다.

구체적으로, 상기 얼굴 특징 추출 방법은 구체적으로 단계 S310 내지 단계 S330을 포함한다.

단계 S310: 목표 이미지를 획득한다.

구체적으로, 상기 인식 대상 이미지에는 인식 대상 사람 얼굴 목표가 포함되며, 이는 RGB(Red Green Blue, 적녹청) 모드의 이미지와 같은 가시광 이미지일 수 있다. 물론 상기 인식 대상 이미지는 근적외선(Near Infrared, NIR) 이미지일 수도 있다.

본 실시예의 실행 주체에는 가시광 이미지를 수집하기 위한 카메라 또는 근적외선 이미지를 수집하기 위한 카메라가 설치될 수 있다. 사용자는 가동시킬 카메라를 선택한 다음, 선택한 카메라로 촬영하여(사용자의 머리 또는 얼굴의 셀프 촬영을 이용) 인식 대상 이미지를 획득할 수 있다.

단계 S320: 상기 목표 이미지에 대하여 이미지 처리를 수행하여, 목표 처리 이미지를 획득한다.

얼굴 특징 추출 모델의 정확도를 향상시키기 위하여, 목표 이미지를 획득한 후 목표 이미지에 대한 이미지 처리 작업을 수행하여 상기 목표 이미지의 이미지 파라미터를 변경해야 한다.

여기에서, 이미지 처리 작업에는 크기 조정, 자르기 처리, 회전 처리 및 이미지 알고리즘 처리 등이 포함된다. 이미지 알고리즘 처리에는 색온도 알고리즘 조정, 노출 알고리즘 조정 등이 포함된다. 이러한 이미지 처리 작업은 목표 이미지를 실제 촬영한 사진에 더 가깝게 만들 수 있다.

이에 상응하여, 이미지 파라미터에는 크기 정보, 픽셀 크기, 명암비, 선명도 및 색포화도 등이 포함된다.

단계 S330: 상기 목표 처리 이미지를 얼굴 특징 추출 모델에 입력하여 목표 얼굴 특징을 출력한다.

여기에서, 상기 얼굴 특징 추출 모델은 상기 얼굴 특징 추출 모델 학습 방법으로 학습하여 획득한 모델이다.

상기 얼굴 특징 추출 방법은 목표 이미지를 획득하고, 상기 목표 이미지에 대한 이미지 처리를 수행하고, 상기 목표 처리 이미지를 얼굴 특징 추출 모델에 입력함으로써 얼굴 특징 추출의 정확도를 높이므로 실제 응용 상황에 적용하기가 용이하다.

도 11에서 도시하는 바와 같이, 도 11은 본 출원의 실시예에서 제공하는 얼굴 특징 추출 모델 학습 장치의 개략적인 블록도이며, 상기 얼굴 특징 추출 모델 학습 장치는 전술한 어느 하나의 얼굴 특징 추출 모델 학습 방법을 실행하는 데 사용된다. 여기에서, 상기 얼굴 특징 추출 모델 학습 장치는 서버 또는 단말기에 탑재될 수 있다.

여기에서, 서버는 독립 서버 또는 서버 클러스터일 수 있다. 상기 단말기는 휴대폰, 태블릿 컴퓨터, 노트북 컴퓨터, 데스크탑 컴퓨터, 개인 휴대 정보 단말기 및 웨어러블 디바이스 등과 같은 전자 디바이스일 수 있다.

도 11에서 도시하는 바와 같이, 얼굴 특징 추출 모델 학습 장치(400)에는 모델 학습유닛(410), 데이터 출력유닛(420), 데이터 입력유닛(430) 및 모델 확정유닛(440)이 포함된다.

모델 학습유닛(410)은 얼굴 학습 데이터를 복수의 원본 학생 네트워크에 각각 입력하여 모델 학습을 수행하여, 각 상기 원본 학생 네트워크에 대응하는 후보 학생 네트워크를 획득하도록 구성된다.

데이터 출력유닛(420)은 얼굴 검증 데이터를 각 상기 후보 학생 네트워크에 각각 입력하여, 각 상기 후보 학생 네트워크에 대응하는 얼굴 특징 검증 데이터를 출력하도록 구성된다.

데이터 입력유닛(430)은 각 상기 얼굴 특징 검증 데이터를 소정의 교사 네트워크에 각각 입력하여, 각 상기 얼굴 특징 검증 데이터에 대응하는 후보 얼굴 특징 데이터를 출력하도록 구성된다.

모델 확정유닛(440)은 소정의 특징 스크리닝 규칙에 기초하여, 복수의 상기 후보 얼굴 특징 데이터에 대하여 스크리닝을 수행하여, 목표 샘플 특징을 획득하고, 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크를 얼굴 특징 추출 모델로 확정하도록 구성된다.

도 11에서 도시하는 바와 같이, 일 실시예에 있어서, 상기 얼굴 특징 추출 모델 학습 장치(400)에는 결과 획득유닛(450), 이미지 스크리닝유닛(460) 및 이미지 라벨링유닛(470)이 더 포함된다.

결과 획득유닛(450)은 사람 얼굴 샘플 이미지 세트에 대하여 불확실성 분석을 수행하여 분석 결과를 획득하도록 구성되며, 상기 사람 얼굴 샘플 이미지 세트에는 복수의 라벨링되지 않은 이미지가 포함된다.

이미지 스크리닝유닛(460)은 상기 분석 결과에 따라 상기 사람 얼굴 샘플 이미지 세트에 대하여 스크리닝 처리를 수행하여 라벨링 대상 이미지 세트를 획득하도록 구성된다.

이미지 라벨링유닛(470)은 상기 라벨링 대상 이미지 세트 중의 이미지에 대하여 라벨링 처리를 수행하여 얼굴 검증 데이터를 획득하도록 구성된다.

도 12에서 도시하는 바와 같이, 일 실시예에 있어서 상기 모델 확정유닛(440)은 정확도 계산 서브 유닛(441) 및 특징 확정 서브 유닛(442)을 포함한다.

정확도 계산 서브 유닛(441)은 각 상기 후보 얼굴 특징 데이터와 소정의 사람 얼굴 이미지를 교정하는 얼굴 특징 교정 데이터를 기반으로, 각 상기 후보 얼굴 특징 데이터에 대응하는 정확도를 계산하도록 구성된다.

특징 확정 서브 유닛(442)은 최대의 정확도에 대응하는 후보 얼굴 특징 데이터를 목표 샘플 특징으로 확정하도록 구성된다.

도 12에서 도시하는 바와 같이, 일 실시예에 있어서 상기 모델 확정유닛(440)은 손실값 확정 서브 유닛(443) 및 모델 확정 서브 유닛(444)을 더 포함한다.

손실값 확정 서브 유닛(443)은 상기 목표 샘플 특징에 따라 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크의 손실값을 계산하도록 구성된다.

모델 확정 서브 유닛(444)은 상기 손실값이 소정의 손실 임계값보다 작은 경우, 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크를 얼굴 특징 추출 모델로 확정하도록 구성된다.

도 12에서 도시하는 바와 같이, 일 실시예에 있어서 상기 손실값 확정 서브 유닛(443)은 서브 손실값 확정 서브 유닛(4431) 및 손실값 병합 서브 유닛(4432)을 포함한다.

서브 손실값 확정 서브 유닛(4431)은 제1 손실 함수 및 제2 손실 함수에 기초하여, 상기 목표 샘플 특징에 따라 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크의 제1 하위 손실값 및 제2 하위 손실값을 확정하도록 구성된다.

손실값 병합 서브 유닛(4432)은 손실값 병합 공식에 기초하여, 상기 제1 하위 손실값 및 상기 제2 하위 손실값에 따라 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크의 손실값을 확정하도록 구성된다.

상기 제1 손실 함수는 하기와 같다.

여기에서,

는 제1 하위 손실값이고,

은 얼굴 학습 데이터 중 제k 이미지의 라벨 벡터이고, m은 각 배치의 얼굴 학습 데이터 중 이미지 수량이다.

상기 제2 손실 함수는 하기와 같다.

여기에서,

는 제2 하위 손실값이고,

상기 손실값 병합 공식은 하기와 같다.

여기에서, J는 상기 손실값이고, w₁과 w₂는 가중치이다.

도 13에서 도시하는 바와 같이, 도 13은 본 출원의 실시예에서 제공하는 얼굴 특징 추출 장치의 개략적인 블록도이며, 상기 얼굴 특징 추출 장치는 전술한 얼굴 특징 추출 방법을 실행하는 데 사용된다. 여기에서, 상기 얼굴 특징 추출 장치는 서버 또는 단말기에 탑재될 수 있다.

도 13에서 도시하는 바와 같이, 상기 얼굴 특징 추출 장치(500)는 이미지 획득유닛(510), 이미지 처리유닛(520) 및 이미지 입력유닛(530)을 포함한다.

이미지 획득유닛(510)은 목표 이미지를 획득하도록 구성된다.

이미지 처리유닛(520)은 상기 목표 이미지에 대하여 이미지 처리를 수행하여 목표 처리 이미지를 획득하도록 구성된다.

이미지 입력유닛(530)은 상기 목표 처리 이미지를 얼굴 특징 추출 모델에 입력하여 목표 얼굴 특징을 출력하도록 구성된다. 여기에서, 상기 얼굴 특징 추출 모델은 상기 얼굴 특징 추출 모델 학습 방법으로 학습하여 획득한 모델이다.

본 발명이 속한 기술분야의 당업자는 설명의 편의성 및 간결성을 위하여 상기에 설명된 얼굴 특징 추출 모델 학습 장치 및 각 유닛의 구체적인 작업 과정이 전술한 얼굴 특징 추출 모델 학습 방법 실시예 중의 대응되는 과정을 참조할 수 있음을 명확하게 이해할 수 있으므로 여기에서 반복하여 설명하지 않는다.

상기 장치는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 상기 컴퓨터 프로그램은 도 14에 도시된 컴퓨터 디바이스 상에서 실행될 수 있다.

도 14에서 도시하는 바와 같이, 도 14는 본 출원의 실시예에서 제공하는 컴퓨터 디바이스의 개략적인 블록도이다. 상기 컴퓨터 디바이스는 서버 또는 단말기일 수 있다.

도 14에서 도시하는 바와 같이, 상기 컴퓨터 디바이스에는 시스템 버스를 통해 연결되는 프로세서, 메모리 및 네트워크 인터페이스가 포함되며, 여기에서 메모리는 비휘발성 저장 매체 및 내장 메모리가 포함될 수 있다.

비휘발성 저장 매체는 운영시스템 및 컴퓨터 프로그램을 저장할 수 있다. 상기 컴퓨터 프로그램에는 프로그램 명령이 포함되고, 상기 프로그램 명령이 실행될 때 프로세서는 얼굴 특징 추출 모델 학습 방법을 실행할 수 있다.

프로세서는 계산 및 제어 기능을 제공하고 전체 컴퓨터 디바이스의 운행을 지원하는 데 사용된다.

내장 메모리는 비휘발성 저장 매체 중의 컴퓨터 프로그램의 운행을 위한 환경을 제공하며, 프로세서에 의해 상기 컴퓨터 프로그램이 실행될 때 프로세서는 얼굴 특징 추출 모델 학습 방법을 실행할 수 있다.

상기 네트워크 인터페이스는 할당된 태스크 전송 등과 같은 네트워크 통신에 사용된다. 본 발명이 속한 기술분야의 당업자는 도 14에 도시된 구조가 본 출원의 기술적 해결책과 관련된 일부 구조의 블록도일 뿐이며 본 출원의 기술적 해결책이 적용되는 컴퓨터 디바이스를 제한하지 않는다는 것을 이해할 수 있다. 구체적인 컴퓨터 디바이스에는 도면에 도시된 것보다 더 많거나 적은 부품, 또는 특정 부품의 조합을 포함하거나 상이한 부품 배치를 가질 수 있다.

프로세서는 중앙 처리 장치(Central Processing Unit, CPU)일 수 있고, 상기 프로세서는 다른 범용 프로세서, 디지털 신호 프로세서(Digital Signal Processor, DSP), 특정 용도 집적 회로(Application Specific Integrated Circuits, ASIC), 필드 프로그래머블 게이트 어레이(Field-Programmable Gate Array, FPGA) 또는 기타 프로그램 가능 논리 장치, 이산 게이트 또는 트랜지스터 논리 장치, 이산 하드웨어 컴포넌트 등을 더 포함할 수 있다. 여기에서, 범용 프로세서는 마이크로 프로세서일 수 있으며, 또는 상기 프로세서는 임의의 통상적인 프로세서 등일 수 있다.

여기에서, 상기 프로세서는 메모리에 저장된 컴퓨터 프로그램을 실행하여 하기 단계를 구현하는 데 사용된다.

얼굴 학습 데이터를 복수의 원본 학생 네트워크에 각각 입력하여 모델 학습을 수행하여, 각 상기 원본 학생 네트워크에 대응하는 후보 학생 네트워크를 획득하고; 얼굴 검증 데이터를 각 상기 후보 학생 네트워크에 각각 입력하여, 각 상기 후보 학생 네트워크에 대응하는 얼굴 특징 검증 데이터를 출력하고; 각 상기 얼굴 특징 검증 데이터를 소정의 교사 네트워크에 각각 입력하여, 각 상기 얼굴 특징 검증 데이터에 대응하는 후보 얼굴 특징 데이터를 출력하고; 소정의 특징 스크리닝 규칙에 기초하여, 복수의 상기 후보 얼굴 특징 데이터에 대하여 스크리닝을 수행하여, 목표 샘플 특징을 획득하고, 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크를 얼굴 특징 추출 모델로 확정한다.

일 실시예에 있어서, 상기 프로세서는 얼굴 검증 데이터를 각 상기 후보 학생 네트워크에 각각 입력하여 각 상기 후보 학생 네트워크에 대응하는 얼굴 특징 검증 데이터를 출력하는 상기 단계를 구현하기 전에,

사람 얼굴 샘플 이미지 세트에 대하여 불확실성 분석을 수행하여 분석 결과를 획득하는 단계-상기 사람 얼굴 샘플 이미지 세트에는 복수의 라벨링되지 않은 이미지가 포함됨-; 상기 분석 결과에 따라 상기 사람 얼굴 샘플 이미지 세트에 대하여 스크리닝 처리를 수행하여 라벨링 대상 이미지 세트를 획득하는 단계; 및 상기 라벨링 대상 이미지 세트 중의 이미지에 대하여 라벨링 처리를 수행하여 얼굴 검증 데이터를 획득하는 단계를 더 구현하는 데 사용된다.

일 실시예에 있어서, 상기 프로세서는 소정의 특징 스크리닝 규칙에 기초하여 복수의 상기 후보 얼굴 특징 데이터에 대하여 스크리닝을 수행하여 목표 샘플 특징을 획득하는 상기 단계를 구현할 때,

각 상기 후보 얼굴 특징 데이터와 소정의 사람 얼굴 이미지를 교정하는 얼굴 특징 교정 데이터를 기반으로 각 상기 후보 얼굴 특징 데이터에 대응하는 정확도를 계산하는 단계; 및 최대의 정확도에 대응하는 후보 얼굴 특징 데이터를 목표 샘플 특징으로 확정하는 단계를 구현하는 데 사용된다.

일 실시예에 있어서, 상기 프로세서는 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크를 얼굴 특징 추출 모델로 확정하는 상기 단계를 구현할 때,

상기 목표 샘플 특징에 따라 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크의 손실값을 계산하는 단계; 및 상기 손실값이 소정의 손실 임계값보다 작은 경우, 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크를 얼굴 특징 추출 모델로 확정하는 단계를 구현하는 데 사용된다.

일 실시예에 있어서, 상기 프로세서는 상기 목표 샘플 특징에 따라 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크의 손실값을 계산하는 상기 단계를 구현할 때,

제1 손실 함수 및 제2 손실 함수에 기초하여, 상기 목표 샘플 특징에 따라 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크의 제1 하위 손실값 및 제2 하위 손실값을 확정하는 단계; 및 손실값 병합 공식에 기초하여, 상기 제1 하위 손실값 및 상기 제2 하위 손실값에 따라 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크의 손실값을 확정하는 단계를 구현하는 데 사용된다.

상기 제1 손실 함수는 하기와 같다.

여기에서,

는 제1 하위 손실값이고,

상기 제2 손실 함수는 하기와 같다.

여기에서,

는 제2 하위 손실값이고,

상기 손실값 병합 공식은 하기와 같다.

여기에서, J는 상기 손실값이고, w₁과 w₂는 가중치이다.

여기에서, 다른 일 실시예에 있어서, 상기 프로세서는 메모리에 저장된 컴퓨터 프로그램을 실행하여,

목표 이미지를 획득하는 단계; 상기 목표 이미지에 대하여 이미지 처리를 수행하여, 목표 처리 이미지를 획득하는 단계; 및 상기 목표 처리 이미지를 얼굴 특징 추출 모델에 입력하여 목표 얼굴 특징을 출력하는 단계를 구현하는 데 사용된다. 여기에서, 상기 얼굴 특징 추출 모델은 상기 얼굴 특징 추출 모델 학습 방법으로 학습하여 획득한 모델이다.

본 출원의 실시예는 컴퓨터 판독 가능 저장 매체를 더 제공하며, 상기 컴퓨터 판독 가능 저장 매체에는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램은 프로그램 명령을 포함하고, 상기 프로세서는 상기 프로그램 명령을 실행하여 본 출원 실시예에서 제공하는 얼굴 특징 추출 모델 학습 방법 또는 얼굴 특징 추출 방법을 구현한다.

여기에서, 상기 컴퓨터 판독 가능 저장 매체는 전술한 실시예에서 상기 컴퓨터 디바이스의 내장 메모리 유닛일 수 있으며, 예를 들어 상기 컴퓨터 디바이스의 하드 디스크 또는 메모리가 있다. 상기 컴퓨터 판독 가능 저장 매체는 상기 컴퓨터 디바이스의 외장 메모리 디바이스일 수도 있으며, 예를 들어 상기 컴퓨터 디바이스 상에 탑재된 삽입식 하드 디스크, 스마트 메모리 카드(Smart Media Card, SMC), 보안 디지털(Secure Digital, SD) 카드, 플래시 카드(Flash Card) 등이 있다.

상기 내용은 본 출원의 구체적인 실시예에 불과하며 본 출원의 보호범위를 제한하지 않는다. 본 발명이 속한 기술분야의 당업자는 본 출원에 개시된 기술 범위 내에서 동등한 수준의 다양한 수정 또는 치환을 용이하게 수행할 수 있으며 이러한 수정 또는 치환은 모두 본 출원의 보호범위 내에 속한다. 따라서 본 출원의 보호 범위는 청구범위의 보호 범위를 기준으로 한다.

Claims

얼굴 특징 추출 모델 학습 방법에 있어서,
얼굴 학습 데이터를 복수의 원본 학생 네트워크에 각각 입력하여 모델 학습을 수행함으로써 각 상기 원본 학생 네트워크에 대응하는 후보 학생 네트워크를 획득하는 단계;
얼굴 검증 데이터를 각 상기 후보 학생 네트워크에 각각 입력하여 각 상기 후보 학생 네트워크에 대응하는 얼굴 특징 검증 데이터를 출력하는 단계;
각 상기 얼굴 특징 검증 데이터를 소정의 교사 네트워크에 각각 입력하여 각 상기 얼굴 특징 검증 데이터에 대응하는 후보 얼굴 특징 데이터를 출력하는 단계;
소정의 특징 스크리닝 규칙을 기반으로 복수의 상기 후보 얼굴 특징 데이터를 스크리닝하여 목표 샘플 특징을 획득하는 단계;
제1 손실 함수 및 제2 손실 함수를 기반으로 상기 목표 샘플 특징에 따라 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크의 제1 하위 손실값 및 제2 하위 손실값을 확정하는 단계;
손실값 병합 공식을 기반으로 상기 제1 하위 손실값 및 상기 제2 하위 손실값에 따라 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크의 손실값을 확정하는 단계; 및
상기 손실값이 소정의 손실 임계값보다 작은 경우, 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크를 얼굴 특징 추출 모델로 확정하는 단계;를 포함하고,
상기 제1 손실 함수는 하기와 같고,

여기에서,
는 제1 하위 손실값이고,
는 얼굴 학습 데이터 중 제k 이미지의 목표 샘플 특징의 특징 벡터이고,
은 얼굴 학습 데이터 중 제k 이미지의 라벨 벡터이고, m은 각 배치의 얼굴 학습 데이터 중 이미지 수량이고,
상기 제2 손실 함수는 하기와 같고,

여기에서,
는 제2 하위 손실값이고,
는 얼굴 학습 데이터 중 제k 이미지의 목표 샘플 특징의 특징 벡터이고,
은 얼굴 학습 데이터 중 제k 이미지의 중심이고, m은 각 배치의 얼굴 학습 데이터 중 이미지 수량이고,
상기 손실값 병합 공식은 하기와 같고,

여기에서 J는 상기 손실값이고, w₁과 w₂는 가중치인 얼굴 특징 추출 모델 학습 방법.
제1항에 있어서,
얼굴 검증 데이터를 각 상기 후보 학생 네트워크에 각각 입력하여 각 상기 후보 학생 네트워크에 대응하는 얼굴 특징 검증 데이터를 출력하는 상기 단계를 구현하기 전에,
사람 얼굴 샘플 이미지 세트에 대하여 불확실성 분석을 수행하여 분석 결과를 획득하는 단계-상기 사람 얼굴 샘플 이미지 세트에는 복수의 라벨링되지 않은 이미지가 포함됨-;
상기 분석 결과에 따라 상기 사람 얼굴 샘플 이미지 세트에 대하여 스크리닝 처리를 수행하여 라벨링 대상 이미지 세트를 획득하는 단계; 및
상기 라벨링 대상 이미지 세트 중의 이미지에 대하여 라벨링 처리를 수행하여 얼굴 검증 데이터를 획득하는 단계;를 더 포함하는 얼굴 특징 추출 모델 학습 방법.
제2항에 있어서,
사람 얼굴 샘플 이미지 세트에 대하여 불확실성 분석을 수행하여 분석 결과를 획득하는 상기 단계-상기 사람 얼굴 샘플 이미지 세트에는 복수의 라벨링되지 않은 이미지가 포함됨-는,
상기 사람 얼굴 샘플 이미지 세트 중의 이미지에 대하여 최소 신뢰도 분석을 수행하여 각 상기 이미지에 대응하는 제1 불확실성 수치를 획득하는 단계;
상기 사람 얼굴 샘플 이미지 세트 중의 이미지에 대하여 마진 샘플링 분석을 수행하여 각 상기 이미지에 대응하는 제2 불확실성 수치를 획득하는 단계; 및
상기 사람 얼굴 샘플 이미지 세트 중의 이미지에 대하여 정보 엔트로피 분석을 수행하여 각 상기 이미지에 대응하는 제3 불확실성 수치를 획득하는 단계;를 포함하는 얼굴 특징 추출 모델 학습 방법.
제2항에 있어서,
상기 분석 결과는 제1 불확실성 수치, 제2 불확실성 수치 및 제3 불확실성 수치를 포함하고, 상기 분석 결과에 따라 상기 사람 얼굴 샘플 이미지 세트에 대하여 스크리닝 처리를 수행하여 라벨링 대상 이미지 세트를 획득하는 상기 단계는,
제1 불확실성 수치에 따라 상기 사람 얼굴 샘플 이미지 세트 중의 이미지에 대하여 스크리닝 처리를 수행하여 제1 스크리닝 이미지 세트를 획득하는 단계;
제2 불확실성 수치에 따라 상기 사람 얼굴 샘플 이미지 세트 중의 이미지에 대하여 스크리닝 처리를 수행하여 제2 스크리닝 이미지 세트를 획득하는 단계;
제3 불확실성 수치에 따라 상기 사람 얼굴 샘플 이미지 세트 중의 이미지에 대하여 스크리닝 처리를 수행하여 제3 스크리닝 이미지 세트를 획득하는 단계; 및
상기 제1 스크리닝 이미지 세트, 제2 스크리닝 이미지 세트 및 제3 스크리닝 이미지 세트에 따라 상기 라벨링 대상 이미지 세트를 구성하는 단계;를 포함하는 얼굴 특징 추출 모델 학습 방법.
제1항에 있어서,
소정의 특징 스크리닝 규칙에 기초하여 복수의 상기 후보 얼굴 특징 데이터에 대하여 스크리닝을 수행하여 목표 샘플 특징을 획득하는 상기 단계는,
각 상기 후보 얼굴 특징 데이터와 소정의 사람 얼굴 이미지를 교정하는 얼굴 특징 교정 데이터를 기반으로 각 상기 후보 얼굴 특징 데이터에 대응하는 정확도를 계산하는 단계; 및
최대의 정확도에 대응하는 후보 얼굴 특징 데이터를 목표 샘플 특징으로 확정하는 단계;를 포함하는 얼굴 특징 추출 모델 학습 방법.
얼굴 특징 추출 방법에 있어서,
목표 이미지를 획득하는 단계;
상기 목표 이미지에 대하여 이미지 처리를 수행하여, 목표 처리 이미지를 획득하는 단계; 및
상기 목표 처리 이미지를 얼굴 특징 추출 모델에 입력하여 목표 얼굴 특징을 출력하는 단계를 포함하고; 여기에서 상기 얼굴 특징 추출 모델은 제1항 내지 제5항 중 어느 한 항에 따른 얼굴 특징 추출 모델 학습 방법으로 학습하여 모델을 획득하는 얼굴 특징 추출 방법.
얼굴 특징 추출 모델 학습 장치에 있어서,
얼굴 학습 데이터를 복수의 원본 학생 네트워크에 각각 입력하여 모델 학습을 수행하여, 각 상기 원본 학생 네트워크에 대응하는 후보 학생 네트워크를 획득하도록 구성되는 모델 학습유닛;
얼굴 검증 데이터를 각 상기 후보 학생 네트워크에 각각 입력하여, 각 상기 후보 학생 네트워크에 대응하는 얼굴 특징 검증 데이터를 출력하도록 구성되는 데이터 출력유닛;
각 상기 얼굴 특징 검증 데이터를 소정의 교사 네트워크에 각각 입력하여, 각 상기 얼굴 특징 검증 데이터에 대응하는 후보 얼굴 특징 데이터를 출력하도록 구성되는 데이터 입력유닛; 및
소정의 특징 스크리닝 규칙을 기반으로 복수의 상기 후보 얼굴 특징 데이터를 스크리닝하여 목표 샘플 특징을 획득하는 모델 확정유닛을 포함하고,
제1 손실 함수 및 제2 손실 함수를 기반으로 상기 목표 샘플 특징에 따라 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크의 제1 하위 손실값 및 제2 하위 손실값을 확정하고;
손실값 병합 공식을 기반으로 상기 제1 하위 손실값 및 상기 제2 하위 손실값에 따라 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크의 손실값을 확정하고;
상기 손실값이 소정의 손실 임계값보다 작은 경우, 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크를 얼굴 특징 추출 모델로 확정하고,
상기 제1 손실 함수는 하기와 같고,

여기에서,
는 제1 하위 손실값이고,
는 얼굴 학습 데이터 중 제k 이미지의 목표 샘플 특징의 특징 벡터이고,
은 얼굴 학습 데이터 중 제k 이미지의 라벨 벡터이고, m은 각 배치의 얼굴 학습 데이터 중 이미지 수량이고,
상기 제2 손실 함수는 하기와 같고,

여기에서,
는 제2 하위 손실값이고,
는 얼굴 학습 데이터 중 제k 이미지의 목표 샘플 특징의 특징 벡터이고,
은 얼굴 학습 데이터 중 제k 이미지의 중심이고, m은 각 배치의 얼굴 학습 데이터 중 이미지 수량이고,
상기 손실값 병합 공식은 하기와 같고,

여기에서 J는 상기 손실값이고, w₁과 w₂는 가중치인 얼굴 특징 추출 모델 학습 장치.
얼굴 특징 추출 장치에 있어서,
목표 이미지를 획득하도록 구성되는 이미지 획득유닛;
상기 목표 이미지에 대하여 이미지 처리를 수행하여, 목표 처리 이미지를 획득하도록 구성되는 이미지 처리유닛; 및
상기 목표 처리 이미지를 얼굴 특징 추출 모델에 입력하여 목표 얼굴 특징을 출력하도록 구성되는 이미지 입력유닛을 포함하고,
여기에서, 상기 얼굴 특징 추출 모델은 제1항 내지 제5항 중 어느 한 항에 따른 얼굴 특징 추출 모델 학습 방법으로 학습하여 획득한 모델인 얼굴 특징 추출 장치.
컴퓨터 디바이스에 있어서,
상기 컴퓨터 디바이스는 메모리 및 프로세서를 포함하고,
상기 메모리는 컴퓨터 프로그램을 저장하도록 구성되고,
상기 프로세서는 상기 컴퓨터 프로그램을 실행하고 상기 컴퓨터 프로그램을 실행할 때,
얼굴 학습 데이터를 복수의 원본 학생 네트워크에 각각 입력하여 모델 학습을 수행하여, 각 상기 원본 학생 네트워크에 대응하는 후보 학생 네트워크를 획득하는 단계;
얼굴 검증 데이터를 각 상기 후보 학생 네트워크에 각각 입력하여 각 상기 후보 학생 네트워크에 대응하는 얼굴 특징 검증 데이터를 출력하는 단계;
각 상기 얼굴 특징 검증 데이터를 소정의 교사 네트워크에 각각 입력하여 각 상기 얼굴 특징 검증 데이터에 대응하는 후보 얼굴 특징 데이터를 출력하는 단계;
소정의 특징 스크리닝 규칙을 기반으로 복수의 상기 후보 얼굴 특징 데이터를 스크리닝하여 목표 샘플 특징을 획득하는 단계;
제1 손실 함수 및 제2 손실 함수를 기반으로 상기 목표 샘플 특징에 따라 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크의 제1 하위 손실값 및 제2 하위 손실값을 확정하는 단계;
손실값 병합 공식을 기반으로 상기 제1 하위 손실값 및 상기 제2 하위 손실값에 따라 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크의 손실값을 확정하는 단계; 및
상기 손실값이 소정의 손실 임계값보다 작은 경우, 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크를 얼굴 특징 추출 모델로 확정하는 단계를 구현하도록 구성되고,
상기 제1 손실 함수는 하기와 같고,

여기에서,
는 제1 하위 손실값이고,
는 얼굴 학습 데이터 중 제k 이미지의 목표 샘플 특징의 특징 벡터이고,
은 얼굴 학습 데이터 중 제k 이미지의 라벨 벡터이고, m은 각 배치의 얼굴 학습 데이터 중 이미지 수량이고,
상기 제2 손실 함수는 하기와 같고,

여기에서,
는 제2 하위 손실값이고,
는 얼굴 학습 데이터 중 제k 이미지의 목표 샘플 특징의 특징 벡터이고,
은 얼굴 학습 데이터 중 제k 이미지의 중심이고, m은 각 배치의 얼굴 학습 데이터 중 이미지 수량이고,
상기 손실값 병합 공식은 하기와 같고,

여기에서 J는 상기 손실값이고, w₁과 w₂는 가중치인 컴퓨터 디바이스.
제9항에 있어서,
얼굴 검증 데이터를 각 상기 후보 학생 네트워크에 각각 입력하여 각 상기 후보 학생 네트워크에 대응하는 얼굴 특징 검증 데이터를 출력하는 상기 단계를 구현하기 전에,
사람 얼굴 샘플 이미지 세트에 대하여 불확실성 분석을 수행하여 분석 결과를 획득하는 단계-상기 사람 얼굴 샘플 이미지 세트에는 복수의 라벨링되지 않은 이미지가 포함됨-;
상기 분석 결과에 따라 상기 사람 얼굴 샘플 이미지 세트에 대하여 스크리닝 처리를 수행하여 라벨링 대상 이미지 세트를 획득하는 단계; 및
상기 라벨링 대상 이미지 세트 중의 이미지에 대하여 라벨링 처리를 수행하여 얼굴 검증 데이터를 획득하는 단계;를 더 포함하는 컴퓨터 디바이스.
제10항에 있어서,
사람 얼굴 샘플 이미지 세트에 대하여 불확실성 분석을 수행하여 분석 결과를 획득하는 상기 단계-상기 사람 얼굴 샘플 이미지 세트에는 복수의 라벨링되지 않은 이미지가 포함됨-는,
상기 사람 얼굴 샘플 이미지 세트 중의 이미지에 대하여 최소 신뢰도 분석을 수행하여 각 상기 이미지에 대응하는 제1 불확실성 수치를 획득하는 단계;
상기 사람 얼굴 샘플 이미지 세트 중의 이미지에 대하여 마진 샘플링 분석을 수행하여 각 상기 이미지에 대응하는 제2 불확실성 수치를 획득하는 단계; 및
상기 사람 얼굴 샘플 이미지 세트 중의 이미지에 대하여 정보 엔트로피 분석을 수행하여 각 상기 이미지에 대응하는 제3 불확실성 수치를 획득하는 단계;를 포함하는 컴퓨터 디바이스.
제10항에 있어서,
상기 분석 결과는 제1 불확실성 수치, 제2 불확실성 수치 및 제3 불확실성 수치를 포함하고, 상기 분석 결과에 따라 상기 사람 얼굴 샘플 이미지 세트에 대하여 스크리닝 처리를 수행하여 라벨링 대상 이미지 세트를 획득하는 상기 단계는,
제1 불확실성 수치에 따라 상기 사람 얼굴 샘플 이미지 세트 중의 이미지에 대하여 스크리닝 처리를 수행하여 제1 스크리닝 이미지 세트를 획득하는 단계;
제2 불확실성 수치에 따라 상기 사람 얼굴 샘플 이미지 세트 중의 이미지에 대하여 스크리닝 처리를 수행하여 제2 스크리닝 이미지 세트를 획득하는 단계;
제3 불확실성 수치에 따라 상기 사람 얼굴 샘플 이미지 세트 중의 이미지에 대하여 스크리닝 처리를 수행하여 제3 스크리닝 이미지 세트를 획득하는 단계; 및
상기 제1 스크리닝 이미지 세트, 제2 스크리닝 이미지 세트 및 제3 스크리닝 이미지 세트에 따라 상기 라벨링 대상 이미지 세트를 구성하는 단계;를 포함하는 컴퓨터 디바이스.
제9항에 있어서,
소정의 특징 스크리닝 규칙에 기초하여 복수의 상기 후보 얼굴 특징 데이터에 대하여 스크리닝을 수행하여 목표 샘플 특징을 획득하는 상기 단계는,
각 상기 후보 얼굴 특징 데이터와 소정의 사람 얼굴 이미지를 교정하는 얼굴 특징 교정 데이터를 기반으로 각 상기 후보 얼굴 특징 데이터에 대응하는 정확도를 계산하는 단계; 및
최대의 정확도에 대응하는 후보 얼굴 특징 데이터를 목표 샘플 특징으로 확정하는 단계;를 포함하는 컴퓨터 디바이스.
컴퓨터 디바이스에 있어서,
상기 컴퓨터 디바이스는 메모리 및 프로세서를 포함하고,
상기 메모리는 컴퓨터 프로그램을 저장하도록 구성되고,
상기 프로세서는 상기 컴퓨터 프로그램을 실행하고 상기 컴퓨터 프로그램을 실행할 때,
목표 이미지를 획득하는 단계;
상기 목표 이미지에 대하여 이미지 처리를 수행하여, 목표 처리 이미지를 획득하는 단계; 및
상기 목표 처리 이미지를 얼굴 특징 추출 모델에 입력하여 목표 얼굴 특징을 출력하는 단계를 구현하도록 구성되고; 여기에서, 상기 얼굴 특징 추출 모델은 제1항 내지 제5항 중 어느 한 항에 따른 얼굴 특징 추출 모델 학습 방법으로 학습하여 모델을 획득하는 컴퓨터 디바이스.
컴퓨터 판독 가능 저장 매체에 있어서,
상기 컴퓨터 판독 가능 저장 매체에는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때 상기 프로세서는,
얼굴 학습 데이터를 복수의 원본 학생 네트워크에 각각 입력하여 모델 학습을 수행하여, 각 상기 원본 학생 네트워크에 대응하는 후보 학생 네트워크를 획득하는 단계;
얼굴 검증 데이터를 각 상기 후보 학생 네트워크에 각각 입력하여 각 상기 후보 학생 네트워크에 대응하는 얼굴 특징 검증 데이터를 출력하는 단계;
각 상기 얼굴 특징 검증 데이터를 소정의 교사 네트워크에 각각 입력하여 각 상기 얼굴 특징 검증 데이터에 대응하는 후보 얼굴 특징 데이터를 출력하는 단계;
소정의 특징 스크리닝 규칙을 기반으로 복수의 상기 후보 얼굴 특징 데이터를 스크리닝하여 목표 샘플 특징을 획득하는 단계;
제1 손실 함수 및 제2 손실 함수를 기반으로 상기 목표 샘플 특징에 따라 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크의 제1 하위 손실값 및 제2 하위 손실값을 확정하는 단계;
손실값 병합 공식을 기반으로 상기 제1 하위 손실값 및 상기 제2 하위 손실값에 따라 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크의 손실값을 확정하는 단계; 및
상기 손실값이 소정의 손실 임계값보다 작은 경우, 상기 목표 샘플 특징에 대응하는 후보 학생 네트워크를 얼굴 특징 추출 모델로 확정하는 단계를 구현하고,
상기 제1 손실 함수는 하기와 같고,

여기에서,
는 제1 하위 손실값이고,
는 얼굴 학습 데이터 중 제k 이미지의 목표 샘플 특징의 특징 벡터이고,
은 얼굴 학습 데이터 중 제k 이미지의 라벨 벡터이고, m은 각 배치의 얼굴 학습 데이터 중 이미지 수량이고,
상기 제2 손실 함수는 하기와 같고,

여기에서,
는 제2 하위 손실값이고,
는 얼굴 학습 데이터 중 제k 이미지의 목표 샘플 특징의 특징 벡터이고,
은 얼굴 학습 데이터 중 제k 이미지의 중심이고, m은 각 배치의 얼굴 학습 데이터 중 이미지 수량이고,
상기 손실값 병합 공식은 하기와 같고,

여기에서 J는 상기 손실값이고, w₁과 w₂는 가중치인 컴퓨터 판독 가능 저장 매체.
제15항에 있어서,
얼굴 검증 데이터를 각 상기 후보 학생 네트워크에 각각 입력하여 각 상기 후보 학생 네트워크에 대응하는 얼굴 특징 검증 데이터를 출력하는 상기 단계를 구현하기 전에,
사람 얼굴 샘플 이미지 세트에 대하여 불확실성 분석을 수행하여 분석 결과를 획득하는 단계-상기 사람 얼굴 샘플 이미지 세트에는 복수의 라벨링되지 않은 이미지가 포함됨-;
상기 분석 결과에 따라 상기 사람 얼굴 샘플 이미지 세트에 대하여 스크리닝 처리를 수행하여 라벨링 대상 이미지 세트를 획득하는 단계; 및
상기 라벨링 대상 이미지 세트 중의 이미지에 대하여 라벨링 처리를 수행하여 얼굴 검증 데이터를 획득하는 단계;를 더 포함하는 컴퓨터 판독 가능 저장 매체.
제16항에 있어서,
사람 얼굴 샘플 이미지 세트에 대하여 불확실성 분석을 수행하여 분석 결과를 획득하는 상기 단계-상기 사람 얼굴 샘플 이미지 세트에는 복수의 라벨링되지 않은 이미지가 포함됨-는,
상기 사람 얼굴 샘플 이미지 세트 중의 이미지에 대하여 최소 신뢰도 분석을 수행하여 각 상기 이미지에 대응하는 제1 불확실성 수치를 획득하는 단계;
상기 사람 얼굴 샘플 이미지 세트 중의 이미지에 대하여 마진 샘플링 분석을 수행하여 각 상기 이미지에 대응하는 제2 불확실성 수치를 획득하는 단계; 및
상기 사람 얼굴 샘플 이미지 세트 중의 이미지에 대하여 정보 엔트로피 분석을 수행하여 각 상기 이미지에 대응하는 제3 불확실성 수치를 획득하는 단계;를 포함하는 컴퓨터 판독 가능 저장 매체.
제16항에 있어서,
상기 분석 결과는 제1 불확실성 수치, 제2 불확실성 수치 및 제3 불확실성 수치를 포함하고, 상기 분석 결과에 따라 상기 사람 얼굴 샘플 이미지 세트에 대하여 스크리닝 처리를 수행하여 라벨링 대상 이미지 세트를 획득하는 상기 단계는,
제1 불확실성 수치에 따라 상기 사람 얼굴 샘플 이미지 세트 중의 이미지에 대하여 스크리닝 처리를 수행하여 제1 스크리닝 이미지 세트를 획득하는 단계;
제2 불확실성 수치에 따라 상기 사람 얼굴 샘플 이미지 세트 중의 이미지에 대하여 스크리닝 처리를 수행하여 제2 스크리닝 이미지 세트를 획득하는 단계;
제3 불확실성 수치에 따라 상기 사람 얼굴 샘플 이미지 세트 중의 이미지에 대하여 스크리닝 처리를 수행하여 제3 스크리닝 이미지 세트를 획득하는 단계; 및
상기 제1 스크리닝 이미지 세트, 제2 스크리닝 이미지 세트 및 제3 스크리닝 이미지 세트에 따라 상기 라벨링 대상 이미지 세트를 구성하는 단계;를 포함하는 컴퓨터 판독 가능 저장 매체.
제15항에 있어서,
소정의 특징 스크리닝 규칙에 기초하여 복수의 상기 후보 얼굴 특징 데이터에 대하여 스크리닝을 수행하여 목표 샘플 특징을 획득하는 상기 단계는,
각 상기 후보 얼굴 특징 데이터와 소정의 사람 얼굴 이미지를 교정하는 얼굴 특징 교정 데이터를 기반으로 각 상기 후보 얼굴 특징 데이터에 대응하는 정확도를 계산하는 단계; 및
최대의 정확도에 대응하는 후보 얼굴 특징 데이터를 목표 샘플 특징으로 확정하는 단계;를 포함하는 컴퓨터 판독 가능 저장 매체.
컴퓨터 판독 가능 저장 매체에 있어서,
목표 이미지를 획득하는 단계;
상기 목표 이미지에 대하여 이미지 처리를 수행하여, 목표 처리 이미지를 획득하는 단계; 및
상기 목표 처리 이미지를 얼굴 특징 추출 모델에 입력하여 목표 얼굴 특징을 출력하는 단계를 포함하고, 여기에서 상기 얼굴 특징 추출 모델은 제1항 내지 제5항 중 어느 한 항에 따른 얼굴 특징 추출 모델 학습 방법으로 학습하여 모델을 획득하는 컴퓨터 판독 가능 저장 매체.