KR102523512B1

KR102523512B1 - 얼굴 모델의 생성

Info

Publication number: KR102523512B1
Application number: KR1020217008646A
Authority: KR
Inventors: 성웨이 쉬; 취안 왕; 징탄 퍄오; 천 첸
Original assignee: 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date: 2019-05-15
Filing date: 2020-02-21
Publication date: 2023-04-18
Also published as: KR20210047920A; JP2022500790A; TW202044202A; CN110111418A; US20210209851A1; US11836943B2; JP7191213B2; WO2020228389A1; SG11202103190VA; CN110111418B

Abstract

본 발명은 얼굴 모델의 생성 방법, 장치 및 전자 기기를 제공한다. 상기 방법은 현재 얼굴 이미지에 대해 키 포인트 검출을 실행하여 상기 현재 얼굴 이미지의 적어도 하나의 키 포인트 특징을 취득하는 단계; 상기 적어도 하나의 키 포인트 특징에 기반하여 상기 현재 얼굴 이미지와 매칭하는 목표 골격 파라미터를 취득하는 단계; 및 상기 목표 골격 파라미터와 기준 3차원 얼굴 모델에 기반하여 상기 현재 얼굴 이미지에 대응하는 가상 3차원 얼굴 모델을 생성하는 단계를 포함한다.

Description

얼굴 모델의 생성

본 발명은 3차원 모델링 기술에 관한 것으로, 특히 얼굴 모델의 생성 방법, 장치 및 전자 기기에 관한 것이다.

휴대 단말과 컴퓨터 기술이 발전함에 따라, 게임 앱, 가상 소셜 인터랙션 앱 등의 사용자가 점점 늘어나고 있다. 게임 앱이나 가상 소셜 인터랙션 앱에 있어서, 가상 캐릭터의 개별화 설계가 요구되고 있으며, 이에 따라 핀치 페이스에 대한 수요가 대폭으로 높아지고 있다. 핀치 페이스란, 가상 캐릭터의 3차원 얼굴 모델을 생성하는 것이다. 핀치 페이스의 효율 및 정확 율을 어떻게 향상시킬 지가 당업자에 의해 연구되고 있는 기술이다.

본 발명의 실시예는 얼굴 모델의 생성 방법, 장치 및 전자 기기를 제공한다.

본 발명의 실시예의 제1 측면에 따르면, 현재 얼굴 이미지에 대해 키 포인트 검출을 실행하여 상기 현재 얼굴 이미지의 적어도 하나의 키 포인트 특징을 취득하는 단계; 상기 적어도 하나의 키 포인트 특징에 기반하여 상기 현재 얼굴 이미지와 매칭하는 목표 골격 파라미터를 취득하는 단계; 및 상기 목표 골격 파라미터와 기준 3차원 얼굴 모델에 기반하여 상기 현재 얼굴 이미지에 대응하는 가상 3차원 얼굴 모델을 생성하는 단계를 포함하는 것을 특징으로 하는 얼굴 모델의 생성 방법을 제공한다.

본 발명에 의해 제공되는 임의의 하나의 방법의 실시예에 따르면, 상기 방법은 소정의 수량의 얼굴 이미지 샘플과 상기 기준 3차원 얼굴 모델에 기반하여 참조 모델 데이터 베이스를 결정하는 단계 - 상기 참조 모델 데이터 베이스는 소정의 수량의 얼굴 이미지 샘플로부터 결정되는 적어도 하나의 참조 키 포인트 특징 및 상기 적어도 하나의 참조 키 포인트 특징에 각각 대응하는 참조 골격 파라미터를 포함함 -을 더 포함한다. 이에 따라, 상기 적어도 하나의 키 포인트 특징에 기반하여 상기 현재 얼굴 이미지와 매칭하는 목표 골격 파라미터를 취득하는 단계는, 상기 적어도 하나의 키 포인트 특징에 기반하여 상기 참조 모델 데이터 베이스로부터 상기 현재 얼굴 이미지와 매칭하는 목표 골격 파라미터를 취득하는 단계를 포함한다.

본 발명에 의해 제공되는 임의의 하나의 방법의 실시예에 따르면, 상기 소정의 수량의 얼굴 이미지 샘플과 상기 기준 3차원 얼굴 모델에 기반하여 상기 참조 모델 데이터 베이스를 결정하는 단계는, 상기 소정의 수량의 얼굴 이미지 샘플을 포함하는 얼굴 이미지 샘플 집합을 취득하는 단계 - 상기 얼굴 이미지 샘플 집합은 적어도 하나의 종류의 국부적 얼굴 영역을 나타내는 복수의 종류의 이미지 스타일을 포함함 -; 각 상기 얼굴 이미지 샘플에 대해 상기 기준 3차원 얼굴 모델에 기반하여 상기 얼굴 이미지 샘플에 대응하는 참조 얼굴 모델을 생성하는 단계 - 상기 참조 얼굴 모델은 상기 얼굴 이미지 샘플에 대응하는 상기 참조 골격 파라미터를 포함함 -; 및 각 상기 얼굴 이미지 샘플에 대응하는 참조 얼굴 모델에 기반하여 상기 참조 모델 데이터 베이스를 결정하는 단계를 포함한다. 여기서, 상기 참조 모델 데이터 베이스는 각 상기 국부적 얼굴 영역을 나타내는 각 종류의 상기 이미지 스타일의 상기 참조 키 포인트 특징과 상기 참조 골격 파라미터 사이의 대응하는 관계를 포함한다.

본 발명에 의해 제공되는 임의의 하나의 방법의 실시예에 따르면, 상기 기준 3차원 얼굴 모델에 기반하여 상기 얼굴 이미지 샘플에 대응하는 상기 참조 얼굴 모델을 생성하는 단계는, 상기 얼굴 이미지 샘플에 대해 정규화 처리를 실행하고, 기준 얼굴 이미지의 두부 자세 및 이미지 사이즈와 일치한 사전 처리 얼굴 이미지를 취득하는 단계 - 상기 기준 얼굴 이미지는 상기 기준 3차원 얼굴 모델에 대응하는 2차원 얼굴 이미지임 -; 상기 사전 처리 얼굴 이미지에 대해 키 포인트 검출을 실행하여 상기 얼굴 이미지 샘플의 참조 키 포인트 집합을 취득하는 단계 - 상기 참조 키 포인트 집합은 상기 얼굴 이미지 샘플 내의 각 상기 국부적 얼굴 영역을 나타내는 참조 키 포인트 조합을 포함함 -; 및 각 상기 참조 키 포인트 조합에 기반하여 상기 기준 3차원 얼굴 모델 중의 대응하는 골격 파라미터를 조정하여, 상기 얼굴 이미지 샘플에 대응하는 상기 참조 얼굴 모델을 생성하는 단계를 포함한다.

본 발명에 의해 제공되는 임의의 하나의 방법의 실시예에 따르면, 상기 현재 얼굴 이미지에 대해 키 포인트 검출을 실행하여 상기 현재 얼굴 이미지의 적어도 하나의 키 포인트 특징을 취득하는 단계는, 상기 현재 얼굴 이미지에 대해 키 포인트 검출을 실행하여 소정의 수량의 키 포인트의 위치 좌표를 취득하는 단계; 및 상기 소정의 수량의 키 포인트의 위치 좌표에 기반하여 상기 현재 얼굴 이미지 내의 적어도 하나의 종류의 국부적 얼굴 영역을 나타내는 키 포인트 특징을 결정하는 단계를 포함한다.

본 발명에 의해 제공되는 임의의 하나의 방법의 실시예에 따르면, 상기 소정의 수량의 키 포인트의 위치 좌표에 기반하여 상기 현재 얼굴 이미지 내의 적어도 하나의 종류의 국부적 얼굴 영역을 나타내는 상기 키 포인트 특징을 결정하는 단계는, 상기 소정의 수량의 키 포인트의 위치 좌표에 기반하여 상기 현재 얼굴 이미지 내의 제1 국부적 얼굴 영역을 나타내는 키 포인트 좌표 조합을 당해 제1 국부적 얼굴 영역을 나타내는 상기 키 포인트 특징으로 결정하는 단계 - 당해 제1 국부적 얼굴 영역은 상기 적어도 하나의 종류의 국부적 얼굴 영역 중의 임의의 하나임 -, 및/또는 당해 제1 국부적 얼굴 영역을 나타내는 상기 키 포인트 좌표 조합에 기반하여 당해 제1 국부적 얼굴 영역을 나타내는 특징 곡선을 피팅하여 당해 제1 국부적 얼굴 영역을 나타내는 상기 키 포인트 특징으로 설정하는 단계를 포함한다.

본 발명에 의해 제공되는 임의의 하나의 방법의 실시예에 따르면, 상기 적어도 하나의 키 포인트 특징에 기반하여 상기 참조 모델 데이터 베이스로부터 상기 현재 얼굴 이미지와 매칭하는 목표 골격 파라미터를 취득하는 단계는, 상기 현재 얼굴 이미지 내의 각 국부적 얼굴 영역에 대해, 상기 참조 모델 데이터 베이스 중의 상기 국부적 얼굴 영역의 키 포인트 특징과 매칭하는 참조 키 포인트 특징을 상기 국부적 얼굴 영역의 목표 참조 키 포인트 특징으로 결정하는 단계; 및 상기 현재 얼굴 이미지 내의 각 상기 국부적 얼굴 영역의 목표 참조 키 포인트 특징에 대응하는 참조 골격 파라미터에 기반하여 상기 현재 얼굴 이미지의 목표 골격 파라미터를 결정하는 단계를 포함한다.

본 발명에 의해 제공되는 임의의 하나의 방법의 실시예에 따르면, 상기 참조 모델 데이터 베이스 중의 상기 국부적 얼굴 영역의 키 포인트 특징과 매칭하는 참조 키 포인트 특징을 상기 국부적 얼굴 영역의 목표 참조 키 포인트 특징으로 결정하는 단계는, 상기 국부적 얼굴 영역의 키 포인트 특징과 상기 참조 모델 데이터 베이스 중의 대응하는 참조 키 포인트 특징 사이의 유사도를 결정하는 단계; 및 유사도가 가장 높은 상기 참조 키 포인트 특징을 상기 국부적 얼굴 영역의 상기 목표 참조 키 포인트 특징으로 결정하는 단계를 포함한다.

본 발명에 의해 제공되는 임의의 하나의 방법의 실시예에 따르면, 상기 국부적 얼굴 영역의 키 포인트 특징과 상기 참조 모델 데이터 베이스 중의 대응하는 참조 키 포인트 특징 사이의 유사도를 결정하는 단계는, 상기 국부적 얼굴 영역의 키 포인트 좌표 조합에 기반하여 상기 국부적 얼굴 영역을 나타내는 특징 곡선을 피팅하는 단계; 및 상기 특징 곡선과 상기 참조 모델 데이터 베이스 중의 대응하는 참조 특징 곡선 사이의 거리에 기반하여 상기 국부적 얼굴 영역의 키 포인트 특징과 상기 참조 모델 데이터 베이스 중의 대응하는 참조 키 포인트 특징 사이의 유사도를 결정하는 단계를 포함한다.

본 발명에 의해 제공되는 임의의 하나의 방법의 실시예에 따르면, 상기 국부적 얼굴 영역이 적어도 2개의 서브 영역을 포함할 경우, 상기 국부적 얼굴 영역의 키 포인트 특징과 상기 참조 모델 데이터 베이스 중의 하나의 얼굴 이미지 샘플의 대응하는 참조 키 포인트 특징 사이의 유사도를 결정하는 단계는, 상기 국부적 얼굴 영역 중의 각 상기 서브 영역에 대해, 상기 서브 영역의 키 포인트 특징과 상기 참조 모델 데이터 베이스 중의 당해 얼굴 이미지 샘플의 대응하는 서브 영역의 참조 키 포인트 특징 사이의 유사도를 결정하여, 상기 서브 영역에 대응하는 국부적 유사도를 취득하는 단계; 및 각 상기 서브 영역에 대응하는 상기 국부적 유사도에 기반하여 상기 국부적 얼굴 영역과 당해 얼굴 이미지 샘플 내의 대응하는 국부적 얼굴 영역 사이의 전체적인 유사도를, 상기 국부적 얼굴 영역의 키 포인트 특징과 상기 참조 모델 데이터 베이스 중의 당해 얼굴 이미지 샘플의 대응하는 참조 키 포인트 특징 사이의 유사도로 결정하는 단계를 포함한다.

본 발명의 실시예의 제2측면에 따르면, 현재 얼굴 이미지에 대해 키 포인트 검출을 실행하여 상기 현재 얼굴 이미지의 적어도 하나의 키 포인트 특징을 취득하기 위한 키 포인트 검출 모듈; 상기 적어도 하나의 키 포인트 특징에 기반하여 상기 현재 얼굴 이미지와 매칭하는 목표 골격 파라미터를 취득하기 위한 파라미터 매칭 모듈; 및 상기 목표 골격 파라미터와 기준 3차원 얼굴 모델에 기반하여 상기 현재 얼굴 이미지에 대응하는 가상 3차원 얼굴 모델을 생성하기 위한 모델 생성 모듈을 구비하는 얼굴 모델의 생성 장치를 제공한다.

본 발명에 의해 제공되는 임의의 하나의 장치의 실시예에 따르면, 상기 장치는 데이터 베이스 생성 모듈을 더 포함한다. 상기 데이터 베이스 생성 모듈은 소정의 수량의 얼굴 이미지 샘플과 상기 기준 3차원 얼굴 모델에 기반하여 참조 모델 데이터 베이스를 결정하며, 상기 참조 모델 데이터 베이스는 소정의 수량의 얼굴 이미지 샘플로부터 결정되는 적어도 하나의 참조 키 포인트 특징 및 상기 적어도 하나의 참조 키 포인트 특징에 각각 대응하는 참조 골격 파라미터를 포함한다. 이러한 경우, 상기 파라미터 매칭 모듈은 구체적으로 상기 적어도 하나의 키 포인트 특징에 기반하여 상기 참조 모델 데이터 베이스로부터 상기 현재 얼굴 이미지와 매칭하는 목표 골격 파라미터를 취득한다.

본 발명에 의해 제공되는 임의의 하나의 장치의 실시예에 따르면, 상기 데이터 베이스 생성 모듈은 샘플 취득 서브 모듈; 참조 모델 생성 서브 모듈; 및 데이터 베이스 결정 서브 모듈을 구비한다. 상기 샘플 취득 서브 모듈은 상기 소정의 수량의 얼굴 이미지 샘플을 포함하는 얼굴 이미지 샘플 집합을 취득하며, 상기 얼굴 이미지 샘플 집합은 적어도 하나의 종류의 국부적 얼굴 영역을 나타내는 복수의 종류의 이미지 스타일을 포함하고, 상기 참조 모델 생성 서브 모듈은 상기 기준 3차원 얼굴 모델에 기반하여 상기 얼굴 이미지 샘플에 대응하는 참조 얼굴 모델을 생성하며, 상기 참조 얼굴 모델은 상기 얼굴 이미지 샘플에 대응하는 상기 참조 골격 파라미터를 포함하고, 상기 데이터 베이스 결정 서브 모듈은 각 상기 얼굴 이미지 샘플에 대응하는 참조 얼굴 모델에 기반하여 상기 참조 모델 데이터 베이스를 결정한다. 여기서, 상기 참조 모델 데이터 베이스는 각 상기 국부적 얼굴 영역을 나타내는 각 종류의 상기 이미지 스타일의 상기 키 포인트 특징과 상기 참조 골격 파라미터 사이의 대응하는 관계를 포함한다.

본 발명에 의해 제공되는 임의의 하나의 장치의 실시예에 따르면, 상기 참조 모델 생성 서브 모듈은 이미지 사전 처리 유닛; 키 포인트 검출 유닛; 및 참조 모델 생성 유닛을 구비한다. 상기 이미지 사전 처리 유닛은 상기 얼굴 이미지 샘플에 대해 정규화 처리를 실행하고, 기준 얼굴 이미지의 두부 자세 및 이미지 사이즈와 일치한 사전 처리 얼굴 이미지를 취득하며, 상기 기준 얼굴 이미지는 상기 기준 3차원 얼굴 모델에 대응하는 2차원 얼굴 이미지이고, 상기 키 포인트 검출 유닛은 상기 사전 처리 얼굴 이미지에 대해 키 포인트 검출을 실행하여 상기 얼굴 이미지 샘플의 참조 키 포인트 집합을 취득하며, 상기 참조 키 포인트 집합은 상기 얼굴 이미지 샘플 내의 각 상기 국부적 얼굴 영역을 나타내는 참조 키 포인트 조합을 포함하고, 상기 참조 모델 생성 유닛은 각 상기 참조 키 포인트 조합에 기반하여 상기 기준 3차원 얼굴 모델 중의 대응하는 골격 파라미터를 조정하여, 상기 얼굴 이미지 샘플에 대응하는 상기 참조 얼굴 모델을 생성한다.

본 발명에 의해 제공되는 임의의 하나의 장치의 실시예에 따르면, 상기 키 포인트 검출 모듈은 상기 현재 얼굴 이미지에 대해 키 포인트 검출을 실행하여 소정의 수량의 키 포인트의 위치 좌표를 취득하기 위한 키 포인트 위치 결정 서브 모듈; 및 상기 소정의 수량의 키 포인트의 위치 좌표에 기반하여 상기 현재 얼굴 이미지 내의 적어도 하나의 종류의 국부적 얼굴 영역을 나타내는 키 포인트 특징을 결정하기 위한 키 포인트 특징 결정 서브 모듈을 구비한다.

본 발명에 의해 제공되는 임의의 하나의 장치의 실시예에 따르면, 상기 키 포인트 특징 결정 서브 모듈은 좌표 조합 결정 유닛 및/또는 특징 곡선 결정 유닛을 구비한다. 상기 좌표 조합 결정 유닛은 상기 소정의 수량의 키 포인트의 위치 좌표에 기반하여 상기 현재 얼굴 이미지 내의 제1 국부적 얼굴 영역을 나타내는 키 포인트 좌표 조합을 당해 제1 국부적 얼굴 영역을 나타내는 상기 키 포인트 특징으로 결정하며, 당해 제1 국부적 얼굴 영역은 상기 적어도 하나의 종류의 국부적 얼굴 영역 중의 임의의 하나이고, 상기 특징 곡선 결정 유닛은 당해 제1 국부적 얼굴 영역을 나타내는 상기 키 포인트 좌표 조합에 기반하여 당해 제1 국부적 얼굴 영역을 나타내는 특징 곡선을 피팅하여 당해 제1 국부적 얼굴 영역을 나타내는 상기 키 포인트 특징으로 설정한다.

본 발명에 의해 제공되는 임의의 하나의 장치의 실시예에 따르면, 상기 파라미터 매칭 모듈은 상기 현재 얼굴 이미지 내의 각 국부적 얼굴 영역에 대해, 상기 참조 모델 데이터 베이스 중의 상기 국부적 얼굴 영역의 키 포인트 특징과 매칭하는 참조 키 포인트 특징을 상기 국부적 얼굴 영역의 목표 참조 키 포인트 특징으로 결정하기 위한 특징 매칭 서브 모듈; 및 상기 현재 얼굴 이미지 내의 각 상기 국부적 얼굴 영역의 목표 참조 키 포인트 특징에 대응하는 참조 골격 파라미터에 기반하여 상기 현재 얼굴 이미지의 목표 골격 파라미터를 결정하기 위한 골격 파라미터 결정 서브 모듈을 구비한다.

본 발명에 의해 제공되는 임의의 하나의 장치의 실시예에 따르면, 상기 특징 매칭 서브 모듈은 상기 국부적 얼굴 영역의 키 포인트 특징과 상기 참조 모델 데이터 베이스 중의 대응하는 참조 키 포인트 특징 사이의 유사도를 결정하기 위한 유사도 결정 유닛; 및 유사도가 가장 높은 상기 참조 키 포인트 특징을 상기 국부적 얼굴 영역의 상기 목표 참조 키 포인트 특징으로 결정하기 위한 목표 특징 결정 유닛을 구비한다.

본 발명에 의해 제공되는 임의의 하나의 장치의 실시예에 따르면, 상기 유사도 결정 유닛은 상기 국부적 얼굴 영역의 키 포인트 좌표 조합에 기반하여 상기 국부적 얼굴 영역을 나타내는 특징 곡선을 피팅하기 위한 곡선 피팅 서브 유닛; 및 상기 특징 곡선과 상기 참조 모델 데이터 베이스 중의 대응하는 참조 특징 곡선 사이의 거리에 기반하여 상기 국부적 얼굴 영역의 키 포인트 특징과 상기 참조 모델 데이터 베이스 중의 대응하는 참조 키 포인트 특징 사이의 유사도를 결정하기 위한 유사도 결정 서브 유닛을 구비한다.

본 발명에 의해 제공되는 임의의 하나의 장치의 실시예에 따르면, 상기 유사도 결정 유닛은 하나의 상기 국부적 얼굴 영역이 적어도 2개의 서브 영역을 포함할 경우, 상기 국부적 얼굴 영역 중의 각 상기 서브 영역에 대해 상기 참조 모델 데이터 베이스 중의 각 얼굴 이미지 샘플에 대해, 상기 서브 영역의 키 포인트 특징과 상기 참조 모델 데이터 베이스 중의 당해 얼굴 이미지 샘플의 대응하는 서브 영역의 참조 키 포인트 특징 사이의 유사도를 결정하여, 상기 서브 영역에 대응하는 국부적 유사도를 취득하기 위한 국부적 유사도 결정 서브 유닛; 및 상기 참조 모델 데이터 베이스 중의 각 얼굴 이미지 샘플에 대해 각 상기 서브 영역에 대응하는 상기 국부적 유사도에 기반하여 상기 국부적 얼굴 영역과 당해 얼굴 이미지 샘플 내의 대응하는 국부적 얼굴 영역 사이의 전체적인 유사도를, 상기 국부적 얼굴 영역의 키 포인트 특징과 상기 참조 모델 데이터 베이스 중의 당해 얼굴 이미지 샘플의 대응하는 참조 키 포인트 특징 사이의 유사도로 결정하기 위한 전체적 유사도 결정 서브 유닛을 구비한다.

본 발명의 실시예의 제3측면에 따르면, 컴퓨터 프로그램이 기록되어 있는 컴퓨터 판독 가능 기록 매체를 제공하는 바, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때에 상기 제1 측면 중 어느 한 항에 기재된 방법이 실현된다.

본 발명의 실시예의 제4측면에 따르면, 전자 기기를 제공하는 바, 메모리; 프로세서; 및 메모리에 기억되어 프로세서 상에서 운행 가능한 컴퓨터 프로그램을 포함하며, 상기 프로그램이 상기 프로세서에 의해 실행될 때에 상기 제1 측면 중 어느 한 항에 기재된 방법을 실현된다.

본 발명의 실시예에 의해 제공되는 얼굴 모델의 생성 방법에 따르면, 컴퓨터 시스템은 국부적 얼굴 영역을 나타내는 키 포인트 특징에 기반하여 얼굴 이미지에 대응하는 목표 골격 파라미터를 자동적으로 취득하고, 상기 목표 골격 파라미터에 기반하여 기준 3차원 얼굴 모델의 골격 파라미터를 자동적으로 조정함으로써, 상기 현재 얼굴 이미지에 적합한 가상 3차원 얼굴 모델을 자동적으로 생성할 수 있다. 모델을 생성하는 전체 과정에서 사용자가 자신의 주관적인 판단에 따라 복잡한 골격 파라미터를 끊임없이 수동으로 조정할 필요가 없기에, 사용자의 조작 어려움을 감소시켰다.

몇몇의 실시예에 있어서, 컴퓨터 시스템이 참조 모델 데이터 베이스를 사전에 설치함으로써, 참조 모델 데이터 베이스로부터 얼굴 이미지에 대응하는 목표 골격 파라미터를 고속으로 찾아낼 수 있다. 얼굴 국부적 영역 특징의 규칙성에 따라, 참조 모델 데이터 베이스의 데이터 량이 크지 않으며, 이에 따라 컴퓨터 시스템은 현재 얼굴 이미지 키 포인트 특징에 기반하여 상기 참조 모델 데이터 베이스로부터 매칭 가능한 목표 골격 파라미터를 고속으로 찾아낼 수 있으며, 또한 당해 목표 골격 파라미터에 기반하여 효율적이고 정확하게 현재 얼굴 이미지와 매칭하는 가상 3차원 얼굴 모델을 생성할 수 있다.

이상의 일반 설명과 이하의 상세 설명은 해석하기 위한 예시적인 것에 지나지 않으며, 본 발명을 한정할 수 없음을 이해해야 한다.

여기의 도면은 명세서에 병합되어 본 명세서의 일부를 구성하며, 본 발명에 일치한 실시예를 나타내고, 명세서와 함께 본 발명의 원리를 해석한다.
도 1은 본 발명의 예시적인 일 실시예에 따른 얼굴 모델의 생성 방법의 플로우 차트이다.
도 2는 본 발명의 예시적인 일 실시예에 따른 눈썹 모양의 모식도이다.
도 3a는 본 발명의 예시적인 다른 일 실시예에 따른 3차원 얼굴 모델의 모식도이다.
도 3b는 본 발명의 예시적인 다른 일 실시예에 따른 얼굴 모델을 생성하는 응용 시나리오의 모식도이다.
도 4는 본 발명의 예시적인 다른 일 실시예에 따른 얼굴 모델의 생성 방법의 플로우 차트이다.
도 5는 본 발명의 예시적인 다른 일 실시예에 따른 얼굴 모델의 생성 방법의 플로우 차트이다.
도 6은 본 발명의 예시적인 다른 일 실시예에 따른 얼굴 모델의 생성 방법의 플로우 차트이다.
도 7은 본 발명의 예시적인 다른 일 실시예에 따른 키 포인트의 좌표 위치의 모식도이다.
도 8은 본 발명의 예시적인 다른 일 실시예에 따른 얼굴 모델의 생성 방법의 플로우 차트이다.
도 9a, 도 9b 및 도 9c는 본 발명의 예시적인 다른 일 실시예에 따른 얼굴 모델을 생성하는 응용 시나리오의 모식도이다.
도 9a는 본 발명의 예시적인 일 실시예에 따른 왼쪽 눈썹 영역의 키 포인트 특징의 모식도이다.
도 9b는 본 발명의 예시적인 다른 일 실시예에 따른 왼쪽 눈썹 영역의 키 포인트 특징의 모식도이다.
도 9c는 본 발명의 예시적인 다른 일 실시예에 따른 왼쪽 눈의 키 포인트 특징의 모식도이다.
도 10은 본 발명의 예시적인 다른 일 실시예에 따른 얼굴 모델의 생성 방법의 플로우 차트이다.
도 11은 본 발명의 예시적인 다른 일 실시예에 따른 얼굴 모델의 생성 방법의 플로우 차트이다.
도 12는 본 발명의 예시적인 다른 일 실시예에 따른 얼굴 모델의 생성 방법의 플로우 차트이다.
도 13은 본 발명의 예시적인 다른 일 실시예에 따른 얼굴 모델의 생성 방법의 플로우 차트이다.
도 14는 본 발명의 예시적인 일 실시예에 따른 얼굴 모델의 생성 장치의 블록도 이다.
도 15는 본 발명의 예시적인 다른 일 실시예에 따른 얼굴 모델의 생성 장치의 블록도 이다.
도 16은 본 발명의 예시적인 다른 일 실시예에 따른 얼굴 모델의 생성 장치의 블록도 이다.
도 17은 본 발명의 예시적인 다른 일 실시예에 따른 얼굴 모델의 생성 장치의 블록도 이다.
도 18은 본 발명의 예시적인 다른 일 실시예에 따른 얼굴 모델의 생성 장치의 블록도 이다.
도 19는 본 발명의 예시적인 다른 일 실시예에 따른 얼굴 모델의 생성 장치의 블록도 이다.
도 20은 본 발명의 예시적인 다른 일 실시예에 따른 얼굴 모델의 생성 장치의 블록도 이다.
도 21은 본 발명의 예시적인 다른 일 실시예에 따른 얼굴 모델의 생성 장치의 블록도 이다.
도 22는 본 발명의 예시적인 다른 일 실시예에 따른 얼굴 모델의 생성 장치의 블록도 이다.
도 23은 본 발명의 예시적인 다른 일 실시예에 따른 얼굴 모델의 생성 장치의 블록도 이다.
도 24는 본 발명의 예시적인 다른 일 실시예에 따른 전자 기기의 구조의 모식도다.

여기서, 예시적인 실시예를 상세히 설명하는 바, 그 예를 도면에 나타낸다. 이하의 설명에서 도면이 언급될 때에, 특별한 설명이 없을 경우, 서로 다른 도면에서의 동일한 숫자는 동일한 요소 또는 유사한 요소를 나타낸다. 이하의 예시적인 실시예에 기재된 실시 형태는 본 발명과 일치한 모든 실시 형태를 나타내는 것이 아니다. 반대로, 그들은 첨부의 특허청구의 범위에 상세히 설명된 본 발명의 몇몇의 측면과 일치한 장치와 방법의 예에 지나지 않는다.

본 발명에 있어서 사용되는 용어는 단지 특정 실시예를 설명하기 위한 것에 지나지 않으며, 본 발명을 한정하려는 것이 아니다. 본 발명 및 첨부의 특허청구의 범위에서 사용된 단수형의 "일종”, "상기 " 및 "당해”는 문맥에서 특히 설명되지 않는 한, 복수형도 포함하는 것을 의도한다. 한편, 본 명세서에서 사용되는 용어 "및/또는”은 관련되어 열거한 항목의 하나 이상의 임의의 가능한 조합 또는 모든 가능한 조합을 의미함을 이해해야 한다.

한편, 본 발명에 있어서 용어인 제1, 제2, 제3 등을 사용하여 각 종류의 정보를 설명하지만, 당해 정보는 당해 용어에 한정되지 않음을 이해해야 한다. 당해 용어는 동일 타입의 정보를 서로 구별하기 위한 것에 지나지 않는다. 예를 들면, 본 발명의 범위를 벗어나지 않는 한, 제1 정보를 제2정보로 칭할 수 있고, 마찬가지로 제2정보를 제1 정보로 칭할 수 있다. 문맥에 기반하여 여기서 사용된 단어인 "만약"은 "…을 때" 또는 "… 경우” 또는 "… 에 응답하여" 라는 의미로 해석될 수 있다.

게임 업계와 가상 현실의 추진 하에 디지털 가상 캐릭터가 널리 응용되어 있다. 게임의 응용 시나리오를 예로 들면, "가상 캐릭터"는 이미 단일 가상 캐릭터에서 플레이어가 스스로 디자인한 캐릭터로 변화되었으며, 따라서 더욱 개성이 있는 캐릭터를 생성하는 것이 가능해졌다.

본 발명의 실시예에 있어서, 가상 골격 제어 방식에 따라 가상 캐릭터 3차원 얼굴 모델을 생성하는 방법을 제공한다. 당해 방법의 실행 주체는 컴퓨터 시스템을 포함할 수도 있고, 얼굴 이미지를 취득하는 카메라를 포함할 수도 있다.

상기 컴퓨터 시스템은 서버, 서버 클러스터 또는 클라우드 플랫폼에 설치될 수 있으며, 컴퓨터, 휴대 단말 등의 전자 기기에 설치될 수도 있다. 상기 휴대 단말은 구체적으로 스마트 폰, PDA (Personal Digital Assistant, 휴대정보단말), 태블릿, 게임기 등의 전자 기기일 수 있다. 구체적인 실현 과정에서, 카메라와 컴퓨터 시스템은 각각 독립적이면서도, 본 발명의 실시예에 의해 제공되는 얼굴 모델의 생성 방법을 공동으로 실현하도록 서로 관련되어 있다.

도 1은 예시적인 일 실시예에 따른 얼굴 모델의 생성 방법의 플로우 차트를 나타내며, 당해 방법은 이하의 단계를 포함할 수 있다.

단계 110에 있어서, 현재 얼굴 이미지에 대해 키 포인트 검출을 실행하여 상기 현재 얼굴 이미지의 적어도 하나의 키 포인트 특징을 취득한다. 각 상기 키 포인트 특징은 상기 현재 얼굴 이미지 내의 하나 또는 복수의 국부적 얼굴 영역을 나타낼 수 있다.

게임 시나리오를 예로 들면, 게임 앱의 화면에 사용자 조작 인터페이스가 있을 수 있다. 이렇게 하여, 게임 플레이어가 당해 사용자 조작 인터페이스에 기반하여 하나의 얼굴 이미지를 입력함으로써, 컴퓨터 시스템의 백그라운드 프로그램에 의해 당해 얼굴 이미지에 기반하여 대응하는 가상 3차원 얼굴 모델이 생성되는 것은 기대한다. 바꿔 말하면, 컴퓨터 시스템은 핀치 페이스 기능을 통해 게임 플레이어가 입력한 얼굴 이미지에 기반하여 가상 3차원 얼굴 모델을 생성하여, 게임 플레이어의 게임 캐릭터에게 대한 개별화 요구를 충족시킬 수 있다.

상기 현재 얼굴 이미지는 게임 플레이어가 촬영한 것일 수도 있고, 게임 플레이어가 사진 데이터 베이스로부터 선택한 것일 수도 있다. 상기 현재 얼굴 이미지는 현실 세계 중의 인물을 촬영한 이미지일 수도 있고, 수동 또는 그리기 소프트웨어로 설계된 가상 인물 이미지일 수도 있다. 본 발명의 실시예는 현재 얼굴 이미지의 취득 방식 및 이미지 중의 인물의 현실 세계에서의 실재성을 한정하는 것이 아니다.

이에 따라, 컴퓨터 시스템은 사용자의 입력한 현재 얼굴 이미지를 수신한 후, 먼저 현재 얼굴 이미지에 대해 정규화 처리를 실행하여 소정의 두부 자세와 소정의 이미지 사이즈의 얼굴 영역 이미지를 취득하도록 할 수도 있다. 예를 들면, 사전으로 훈련된 뉴럴 네트워크를 채용하여 얼굴 검출, 얼굴 자세 보정, 이미지 스케일링 등의 처리를 실행하여, 소정의 두부 자세에 일치하는 소정의 이미지 사이즈의 얼굴 이미지를 취득한다.

이어서, 컴퓨터 시스템은 당업자에게 알려져 있는 임의의 얼굴 키 포인트를 검출하는 방법을 이용하여 상기 전 처리된 얼굴 영역 이미지에 대해 키 포인트 검출을 실행하여, 현재 얼굴 이미지 키 포인트 특징을 취득할 수 있다.

본 발명에 있어서, 현재 얼굴 이미지 키 포인트 특징은 키 포인트의 위치 좌표 정보를 포함할 수 있고, 복수의 키 포인트의 위치 좌표 정보에 기반하여 국부적 얼굴 영역을 나타내는 특징 곡선을 피팅할 수 있는 바, 예를 들면 눈꺼풀 선, 입술 선 등의 윤곽 선을 포함할 수 있다.

단계 120에 있어서, 상기 키 포인트 특징에 기반하여 상기 현재 얼굴 이미지와 매칭하는 목표 골격 파라미터를 취득한다.

일 예에 있어서, 단계 120은 구체적으로 상기 키 포인트 특징에 기반하여 참조 모델 데이터 베이스로부터 상기 현재 얼굴 이미지와 매칭하는 목표 골격 파라미터를 취득할 수 있다. 여기서, 참조 모델 데이터 베이스는 소정의 수량의 얼굴 이미지 샘플로부터 결정되는 참조 키 포인트 특징 및 상기 참조 키 포인트 특징에 각각 대응하는 참조 골격 파라미터를 포함한다.

본 발명에 있어서, 면 부의 오관이 비교적 높은 규칙성을 갖는 것에 감안하여, 각 부위를 제한된 이미지 스타일로 나타낼 수 있다. 예를 들면, 제한된 몇몇의 눈 모양에 기반하여 대부분의 사람 눈 특징을 나타낼 수 있고, 제한된 눈썹 모양 이미지로 대부분의 사람 눈썹 특징을 나타낼 수 있다. 도 2에 나타낸 바와 같이, 12 종류의 눈썹 모양으로 대부분의 사람 얼굴의 눈썹 특징을 나타낼 수 있다.

이에 기반하여, 본 발명의 실시예에 있어서, 컴퓨터 시스템은 사전에 소정의 수량의 얼굴 이미지 샘플에 기반하여 참조 모델 데이터 베이스를 결정할 수 있다. 여기서, 참조 모델 데이터 베이스에는 얼굴 이미지 샘플로부터 결정되는 참조 키 포인트 특징 및 참조 키 포인트 특징에 각각 대응하는 참조 골격 파라미터를 포함하고, 상기 참조 골격 파라미터는 상기 얼굴 이미지 샘플을 생성 (render) 하기 위한 참조 얼굴 모델을 나타낼 수 있다.

컴퓨터 시스템은 현재 얼굴 이미지 키 포인트 특징을 취득한 후, 상기 키 포인트 특징과 가장 유사한 참조 키 포인트 특징을 검출하여 목표 참조 키 포인트 특징으로 설정하고, 계속하여 참조 모델 데이터 베이스로부터 상기 목표 참조 키 포인트 특징에 대응하는 참조 골격 파라미터를 취득하여 상기 현재 얼굴 이미지에 적합한 목표 골격 파라미터로 설정할 수 있다.

본 발명에 있어서, 참조 모델 데이터 베이스의 데이터 구성이 한정되지 않음을 설명해야 한다. 예를 들면, 참조 모델 데이터 베이스는 얼굴 이미지 샘플을 생성하기 위한 참조 얼굴 모델을 나타내는 참조 골격 파라미터 및 상기 얼굴 이미지 샘플로부터 취득된 참조 키 포인트 특징과 상기 참조 골격 파라미터 사이의 대응하는 관계를 포함할 수 있다.

현재 얼굴 이미지 키 포인트 특징이 결정된 후, 소정의 국부적 얼굴 영역을 나타내는 키 포인트 특징을 이용하여 참조 모델 데이터 베이스를 매칭하여, 당해 참조 모델 데이터 베이스로부터 당해 키 포인트 특징에 대응하는 참조 골격 파라미터를 취득하고, 현재 얼굴 이미지 내의 당해 국부적 얼굴 영역의 목표 골격 파라미터로 설정하도록 할 수도 있다. 상기 방식에 따르면, 현재 얼굴 이미지 내의 각 국부적 얼굴 영역의 목표 골격 파라미터, 예를 들면 눈 부, 입 부, 눈썹, 코, 얼굴 윤곽 등의 영역 목표 골격 파라미터를 취득하여, 현재 얼굴 이미지에 적합한 1세트의 목표 골격 파라미터를 취득할 수 있다.

단계 130에 있어서, 상기 목표 골격 파라미터와 기준 3차원 얼굴 모델에 기반하여 상기 현재 얼굴 이미지에 대응하는 가상 3차원 얼굴 모델을 생성한다.

현재 얼굴 이미지에 대응하는 목표 골격 파라미터가 결정된 후, 컴퓨터 시스템은 상기 목표 골격 파라미터에 기반하여 기준 3차원 얼굴 모델 중의 골격에 대해 파라미터를 조정하여, 현재 얼굴 이미지의 얼굴 특징을 반영하는 가상 3차원 얼굴 모델을 생성할 수 있다.

이 가상 3차원 얼굴 모델은 진실한 인물의 얼굴 특징에 근사한 가상 3차원 얼굴 모델일 수도 있고, 인물의 표정이나 태도를 반영하는 애니메이션화 가상 3차원 얼굴 모델일 수도 있다. 본 발명의 실시예는 최후에 출력되는 3차원 얼굴 모델이 반드시 현실 세계의 인물 얼굴 특징에 접근해야 된다고 한정하지 않는다.

일 예에 있어서, 도 3a은 예시적인 일 실시예에 따른 기준 3차원 얼굴 모델의 모식도를 나타내며, 당해 기준 3차원 얼굴 모델은 애니메이션화 가상 3차원 얼굴 모델이다. 이에 따라, 도 3b에 상기 기준 얼굴 3차원 모델의 골격의 모식도를 나타낸다. 모델 전체는 소정의 수량의 골격, 예를 들면 61개의 골격으로 구성된다. 도 3b에 있어서의 각 2개의 점 사이의 연결 선은 하나의 골격을 나타낸다. 각 부위는 하나 또는 복수의 골격에 관련되는 바, 예를 들면, 코 부위는 3개의 골격에 관련되며, 당해 3개의 골격의 파라미터를 조정함으로써 다양한 3차원 코 모델을 생성할 수 있다.

이상으로부터 알 수 있듯이, 본 발명의 실시예에 있어서, 컴퓨터 시스템은 국부적 얼굴 영역을 나타내는 키 포인트 특징에 기반하여 얼굴 이미지에 대응하는 목표 골격 파라미터를 자동적으로 취득하고, 상기 목표 골격 파라미터에 기반하여 기준 3차원 얼굴 모델의 골격 파라미터를 자동적으로 조정함으로써, 상기 현재 얼굴 이미지에 적합한 가상 3차원 얼굴 모델을 자동적으로 생성할 수 있다. 모델을 생성하는 전체 과정에서 사용자가 자신의 주관적인 판단에 따라 복잡한 골격 파라미터를 끊임없이 수동으로 조정할 필요가 없기에, 사용자의 조작 어려움을 감소시켰다.

또한 몇몇의 실시예에 있어서, 컴퓨터 시스템이 참조 모델 데이터 베이스를 사전에 설치함으로써, 참조 모델 데이터 베이스로부터 얼굴 이미지에 대응하는 목표 골격 파라미터를 고속으로 찾아낼 수 있다. 여기서, 얼굴 국부적 영역 특징의 규칙성에 따라, 참조 모델 데이터 베이스의 데이터 량이 크지 않으며, 이에 따라 컴퓨터 시스템은 현재 얼굴 이미지 키 포인트 특징에 기반하여 참조 모델 데이터 베이스로부터 매칭 가능한 목표 골격 파라미터를 고속으로 찾아낼 수 있으며, 또한 당해 목표 골격 파라미터에 기반하여 효율적이고 정확하게 현재 얼굴 이미지와 매칭하는 가상 3차원 얼굴 모델을 생성할 수 있고, 뛰어난 일반화 성능을 가진다.

시스템 내에 아직 참조 모델 데이터 베이스가 구축되지 않았을 경우, 예를 들면 시스템이 처음으로 켜지거나 시스템이 초기화 되었을 경우, 상기 방법은 참조 모델 데이터 베이스를 구축하는 단계를 더 포함한다.

도 4에 나타낸 바와 같이, 상기 단계 110 전에, 상기 얼굴 모델의 생성 방법은 소정의 수량의 얼굴 이미지 샘플과 기준 3차원 얼굴 모델에 기반하여 참조 모델 데이터 베이스를 결정하는 단계 100를 더 포함할 수 있다. 상기 참조 모델 데이터 베이스는 소정의 수량의 얼굴 이미지 샘플로부터 결정되는 적어도 하나의 참조 키 포인트 특징 및 상기 적어도 하나의 참조 키 포인트 특징에 각각 대응하는 참조 골격 파라미터를 포함한다. 또한, 단계 120은 상기 적어도 하나의 키 포인트 특징에 기반하여 상기 참조 모델 데이터 베이스로부터 현재 얼굴 이미지와 매칭하는 목표 골격 파라미터를 취득하는 단계를 포함할 수 있다.

본 발명의 실시예에 있어서, 소정의 수량의 얼굴 이미지 샘플을 취득하고, 상기 얼굴 이미지 샘플 내의 각 부위의 이미지 스타일을 수동으로 라벨 링 할 수 있다. 이어서, 상기 라벨 링 된 얼굴 이미지 샘플과 기준 3차원 얼굴 모델에 기반하여 골격 제어 방식을 통해 대응하는 가상 3차원 얼굴 모델을 생성한다. 본 발명의 실시예에 있어서, 얼굴 이미지 샘플과 기준 3차원 얼굴 모델에 기반하여 생성된 가상 3차원 얼굴 모델을 참조 얼굴 모델이라고 칭한다.

일 예에 있어서, 201개의 얼굴 이미지 샘플이 있다고 가정하면, 컴퓨터 시스템은 대응하게 201개의 참조 얼굴 모델을 생성하고, 당해 201개의 참조 얼굴 모델의 관련 데이터에 기반하여 상기 참조 모델 데이터 베이스를 구축한다.

참조 모델 데이터 베이스를 구축하는 실행 주체와 후속의 참조 모델 데이터 베이스를 이용하여 얼굴 모델을 생성하는 실행 주체가 반드시 동일한 컴퓨터 시스템일 필요가 없음을 설명할 필요가 있다. 예를 들면, 참조 모델 데이터 베이스를 구축하는 실행 주체는 예를 들면 클라우드 서버와 같은 클라우드 컴퓨터 시스템일 수 있고, 상기 단계 110∼130의 실행 주체는 단말 장치인 컴퓨터 시스템일 수 있다. 현재 단말 장치의 계산 능력이 끊임없이 증가하고 있고, 또한 본 발명의 실시예가 거대한 수량의 얼굴 이미지 샘플 데이터를 필요로 하지 않음에 감안하여, 본 발명의 다른 일 실시예에 있어서, 참조 모델 데이터 베이스의 결정 과정과 후속의 얼굴 모델 생성 과정은 모두 단말 장치의 컴퓨터 시스템을 통해 실행될 수 있다.

도 5에 나타낸 바와 같이, 상기 단계 100에는 이하의 단계를 포함할 수 있다.

단계 101에 있어서, 소정의 수량의 얼굴 이미지 샘플을 포함하는 얼굴 이미지 샘플 집합을 취득한다. 상기 얼굴 이미지 샘플 집합은 적어도 하나의 종류의 국부적 얼굴 영역을 나타내는 복수의 종류의 이미지 스타일을 포함한다.

본 발명의 실시예에 있어서, 얼굴 이미지 샘플 집합은 소정의 수량의 얼굴 이미지 샘플을 포함할 수 있다. 여기서, 상기 소정의 수량의 얼굴 이미지 샘플은 예를 들면 이마 부, 눈 부, 코 부, 입술 부 등의 각 얼굴 부위의 다양한 이미지 스타일을 될 수 있는 한 전면적으로 포함함으로써, 대응하여 생성되는 참조 모델 데이터 베이스가 될 수 있는 한 전면적인 참조 데이터, 예를 들면 참조 키 포인트 특징, 참조 골격 파라미터 등을 포함하도록 확보한다.

얼굴 이미지 샘플 집합에 포함되는 얼굴 이미지 샘플의 수량은 이하의 조건을 충족시킬 수 있다. 랜덤으로 취득한 하나의 2차원 얼굴 이미지 A에 대해, 상기 얼굴 이미지 샘플 집합에 포함된 각 얼굴 부위의 이미지 스타일로부터, 상기 이미지 A 내의 각각의 국부적 얼굴 영역에 대응하는 이미지 스타일을 찾아낼 수 있다. 바꾸어 말하면, 상기 소정의 수량의 얼굴 이미지 샘플로부터 각각의 국부적 얼굴 영역, 예를 들면 오관 부위의 이미지 스타일을 선택적으로 추출하여 조합시킴으로써, 상기 이미지 A와 유사하는 얼굴 이미지를 대략적으로 맞추어 낼 수 있다.

본 발명의 실시예에 있어서, 현실 세계에 존재하는 일반적인 오관 유형에 따라 소정의 수량의 얼굴 이미지 샘플을 수집하여 얼굴 이미지 샘플 집합을 취득할 수도 있다.

본 발명의 일 실시예에 있어서, 현실 세계에서의 다른 사람의 눈썹, 눈, 코, 입, 얼굴 윤곽의 스타일에 따라, 201개의 얼굴 이미지 샘플을 수집하여 상기 얼굴 이미지 샘플 집합의 결정에 사용한다. 당해 201개의 얼굴 이미지 샘플은 각 국부적 얼굴 영역의 다종 이미지 스타일을 포함할 수 있다. 여기서, 국부적 얼굴 영역이란, 2차원 얼굴 이미지로부터 인식된 눈썹 영역, 눈 영역, 코 영역, 얼굴 윤곽 등의 영역을 의미한다.

예를 들면, 당해 201개의 얼굴 이미지 샘플은 상기 도 2에 나타낸 눈썹 영역에 대응하는 12 종류의 눈썹 모양을 포함한다. 이에 따라 유추하면, 당해 201개의 얼굴 이미지 샘플은 입 부, 눈 부, 코, 얼굴 윤곽 등의 국부적 얼굴 영역의 각각 대응하는 복수의 종류의 이미지 스타일을 포함한다.

단계 102에 있어서, 기준 3차원 얼굴 모델에 기반하여 각 얼굴 이미지 샘플에 대응하는 기준 3차원 얼굴 모델을 생성한다.

본 발명의 실시예에 있어서, 각 얼굴 이미지 샘플에 대해 생성된 가상 3차원 얼굴 모델을 참조 3차원 얼굴 모델이라고 칭한다. 각각의 기준 3차원 얼굴 모델은 각각 1세트의 골격 제어 파라미터에 대응한다.

어떻게 기준 3차원 얼굴 모델과 얼굴 이미지 샘플에 기반하여 참조 3차원 얼굴 모델을 생성할지에 대하여서는 도 6을 참조할 수 있는 바, 상기 단계 102는 이하의 단계를 포함할 수 있다.

단계 1021에 있어서, 얼굴 이미지 샘플에 대해 정규화 처리를 실행하고, 기준 얼굴 이미지의 두부 자세 및 이미지 사이즈와 일치한 사전 처리 얼굴 이미지를 취득한다. 기준 얼굴 이미지는 기준 3차원 얼굴 모델에 대응하는 2차원 얼굴 이미지다.

본 발명에 있어서, 참조 모델 데이터 베이스를 구축하는 단계에 있어서, 각각의 얼굴 이미지 샘플에 대해 얼굴 영역 검출, 두부 자세 보정, 이미지 스케일링 등의 정규화 처리를 실행하여, 기준 얼굴 이미지의 두부 자세 및 이미지 사이즈와 일치한 사전 처리 얼굴 이미지를 취득할 수 있다. 당해 사전 처리 얼굴 이미지는 기준 얼굴 이미지와 비교하면, 동일한 카메라를 이용하여 동일한 이미지 취득 파라미터로 동일한 촬영 거리에서 동일한 두부 자세를 취한 두 사람을 각각 촬영하여 수집한 얼굴 이미지라고 이해할 수 있다.

기준 얼굴 이미지는 기준 3차원 얼굴 모델의 소정의 이미지 좌표 계 중의 투영 이미지라고 이해할 수도 있다. 바꿔 말하면, 기준 3차원 얼굴 모델은 컴퓨터 시스템이 기준 얼굴 이미지에 대해 키 포인트 검출을 실행한 후, 취득된 키 포인트 집합인 바, 예를 들면 240개의 키 포인트의 위치 좌표 및 소정의 수량의 골격이며, 예를 들면 61개의 골격에 기반하여 생성된 가상 3차원 얼굴 모델이다.

단계 1022에 있어서, 사전 처리 얼굴 이미지에 대해 키 포인트 검출을 실행하여 상기 얼굴 이미지 샘플의 참조 키 포인트 집합을 취득한다. 상기 참조 키 포인트 집합은 상기 얼굴 이미지 샘플 내의 각 국부적 얼굴 영역을 나타내는 참조 키 포인트 조합을 포함한다.

사전 처리 얼굴 이미지를 취득한 후, 당업자에게 알려져 있는 임의의 키 포인트 검출 방법을 통해 당해 사전 처리 얼굴 이미지로부터 68개의 키 포인트, 106개의 키 포인트 또는 240개의 키 포인트와 같은 소정의 수량의 키 포인트를 추출할 수 있다. 추출된 키 포인트의 수량이 많을 수록, 국부적 얼굴 영역을 더 상세하게 나타낼 수 있다.

얼굴 영역 이미지에 대해 키 포인트 검출을 실행하는 과정에서, 예를 들면 에지 검출 (robert) 알고리즘, 소어 벨 (sobel) 알고리즘 등의 소정의 알고리즘을 이용할 수 있고, 예를 들면 동적 윤곽 (snake) 모델 등의 관련 모델에 기반하여 키 포인트 검출을 실행할 수도 있다.

본 발명의 다른 일 실시예에 있어서, 얼굴 키 포인트 검출을 위한 뉴럴 네트워크에 기반하여 키 포인트의 위치를 결정할 수 있다. 또한 타사 앱을 통해 얼굴 키 포인트 검출을 실행할 수 있으며, 도 7에 나타낸 바와 같이, 예를 들면 타사 툴킷인 Dlib에 기반하여 얼굴 키 포인트의 위치를 결정하여, 68개의 얼굴 키 포인트를 검출한다. 또한, 240 얼굴 키 포인트 위치 결정 기술을 채용하여 240개의 키 포인트의 위치 좌표를 결정하여, 현재 얼굴 이미지 및/또는 얼굴 이미지 샘플 내의 눈썹, 눈, 코, 입술, 얼굴 윤곽, 면 부 표정 등의 중요부위의 세부특징의 위치 결정을 실현할 수도 있다.

참조 키 포인트 조합의 경우, 본 발명의 다른 일 실시예에 있어서, 미리 설정된 규칙에 따라 각 참조 키 포인트의 번호를 결정하고, 동시에 각 국부적 얼굴 영역을 나타내는 참조 키 포인트 조합을 결정할 수 있다. 예를 들면, 도 7에 나타낸 예에 있어서, 얼굴 이미지 샘플로부터 68개의 키 포인트를 추출하며, 18∼22번째의 참조 키 포인트로 구성된 참조 키 포인트 조합이 왼쪽 눈썹 영역을 나타낸다. 이에 따라 유추하면, 서로 다른 키 포인트 조합으로 서로 다른 국부적 얼굴 영역을 나타낸다.

본 발명에 있어서, 각 키 포인트의 정보는 각각 번호와 좌표 위치를 포함한다. 서로 다른 얼굴 이미지 샘플에 있어서, 동일한 국부적 얼굴 영역을 나타내는 키 포인트는 번호 및 수량이 같지만, 좌표 위치가 다르다. 상기의 예에 나타낸 바와 같이, 기준 얼굴 이미지로부터 추출된 18∼22번째의 키 포인트 조합이 기준 얼굴 이미지 내의 왼쪽 눈썹 영역을 나타내지만, 각 키 포인트의 좌표 위치는 도 7에 나타낸 예의 18∼22번째의 키 포인트의 좌표 위치와 다르다.

키 포인트의 좌표 위치란, 도 7에 나타낸 XOY좌표 계와 같은 미리 설정된 이미지 좌표 계 중의 키 포인트의 위치를 의미함을 설명할 필요가 있다. 사전 처리 얼굴 이미지의 사이즈가 동일하므로, 각 사전 처리 얼굴 이미지에 대해, 후속의 거리 계산의 편의 상, 다른 사전 처리 얼굴 이미지 내의 키 포인트의 위치 좌표를 같은 이미지 좌표 계로 나타낼 수 있다.

단계 1023에 있어서, 각 상기 참조 키 포인트 조합에 기반하여 기준 3차원 얼굴 모델 중의 대응하는 골격 파라미터를 조정하고, 상기 얼굴 이미지 샘플에 대응하는 참조 얼굴 모델을 생성한다. 이렇게 하여, 얼굴 이미지 샘플에 대응하는 참조 얼굴 모델은 얼굴 이미지 샘플에 대응하는 참조 골격 파라미터를 포함한다. 바꿔 말하면, 참조 골격 파라미터는 얼굴 이미지 샘플의 생성 (render)을 위한 참조 얼굴 모델을 나타낼 수 있다.

본 발명의 실시예에 있어서, 시스템에는 키 포인트 조합과 골격 사이의 매핑 관계가 사전에 설정되어 있다. 당해 매핑 관계는 대응하는 3차원 얼굴 모델 중의 키 포인트 조합이 나타내는 국부적 얼굴 영역을 생성할 때에, 어느 골격의 파라미터를 조정 할 필요가 있을지를 나타낼 수 있다.

일 예에 있어서, 상기 기준 3차원 얼굴 모델 중의 코 영역이 G1∼G3로 나타낸 3개의 골격에 관련된다고 가정하면, 상기 3개의 골격의 파라미터를 조정함으로써, 생성된 코의 3차원 모델이 얼굴 이미지 샘플 내의 코의 형상과 근사하다고 판단되면, 코 부위의 3차원 모델의 생성이 완료되었다고 간주할 수 있다. 이에 따라, 현재의 3개의 골격의 골격 제어 파라미터는 상기 얼굴 이미지 샘플 내의 코의 이미지 스타일에 대응하는 참조 골격 파라미터이다.

이에 따라 유추하여, 각 국부적 얼굴 영역의 골격 파라미터를 조정함으로써, 생성된 가상 3차원 얼굴 모델이 사용자의 기대를 충족시킬 때에, 참조 얼굴 모델의 생성이 완료되다. 또한, 현재 얼굴 이미지 샘플 내의 각 참조 키 포인트 조합에 대응하는 참조 골격 파라미터 즉 상기 얼굴 이미지 샘플 내의 각 국부적 얼굴 영역의 이미지 스타일에 대응하는 참조 골격 파라미터를 결정하여, 현재 얼굴 이미지 샘플에 대응하는 참조 얼굴 모델 데이터를 취득할 수 있다. 당해 참조 얼굴 모델 데이터는 각 국부적 얼굴 영역의 참조 키 포인트 조합과 참조 골격 파라미터 사이의 대응하는 관계를 포함할 수 있다.

본 발명의 실시예에 있어서, 하나의 얼굴 이미지 샘플에 대해 가상 3차원 얼굴 모델 즉 참조 얼굴 모델을 생성한 후, 각 국부적 얼굴 영역을 나타내는 참조 키 포인트 조합과 참조 골격 파라미터 사이의 대응하는 관계에 기반하여 하나의 얼굴 이미지 샘플에 대응하는 참조 얼굴 모델 데이터를 취득할 수 있다.

상기 단계 1021∼단계 1023을 통해 하나의 얼굴 이미지 샘플에 기반하여 대응하는 참조 얼굴 모델을 생성하는 과정을 설명하였다.

단계 103에 있어서, 각 얼굴 이미지 샘플에 대응하는 참조 얼굴 모델에 기반하여 참조 모델 데이터 베이스를 결정한다. 참조 모델 데이터 베이스는 각 국부적 얼굴 영역의 각 종류의 이미지 스타일을 나타내는 참조 키 포인트 특징과 참조 골격 파라미터 사이의 대응하는 관계를 포함한다.

본 발명의 실시예에 있어서, 도 6에 나타낸 방법을 통해 각각의 얼굴 이미지 샘플에 대응하는 참조 얼굴 모델을 생성하고, 또한 각각의 얼굴 이미지 샘플에 대응하는 참조 얼굴 모델 데이터를 결정할 수도 있다.

각각의 얼굴 이미지 샘플의 참조 얼굴 모델 데이터가 취득된 후, 참조 모델 데이터 베이스를 구축할 수 있다. 당해 참조 모델 데이터 베이스는 각 국부적 얼굴 영역의 이미지 스타일을 나타내는 참조 키 포인트 조합과 참조 골격 파라미터 사이의 대응하는 관계, 각 얼굴 이미지 샘플의 참조 키 포인트 특징 데이터 및 각 참조 얼굴 모델의 참조 골격 파라미터를 포함할 수 있다. 골격에 기반한 모델 생성 방식에 있어서, 골격에 부모 - 자식 골격 관계가 존재하는 바, 부모 골격이 이동하면, 자식 골격도 그에 따라 이동한다. 예를 들면, 손목의 골격 운동에 따라 손바닥의 골격도 운동함을 설명할 필요가 있다. 1 종류의 국부적 얼굴 영역의 골격 파라미터가 조정되면, 얼굴 모델 전체에 있어서의 기타 골격의 파라미터의 조정과 관련될 것이다. 따라서, 본 발명의 실시예에 있어서, 참조 모델 데이터 베이스에 있어서, 참조 얼굴 모델과 전체적으로 대응하는 1 세트의 참조 골격 파라미터를 데이터로 기억한다.

이상, 참조 모델 데이터 베이스를 어떻게 생성할지에 대하여 상세하게 설명한다.

실제로 응용하는 단계에 있어서, 컴퓨터 시스템은 입력된 현재 얼굴 이미지에 대해 키 포인트 검출을 실행하여 키 포인트 특징을 취득한 후, 자동적으로 현재 얼굴 이미지 키 포인트 특징에 기반하여 참조 모델 데이터 베이스를 검색하여, 참조 모델 데이터 베이스로부터 매칭 가능한 각각의 국부적 얼굴 영역의 목표 골격 파라미터를 찾아낸다.

상기 단계 110의 실시에 대하여서는 도 8을 참조할 수 있는 바, 상기 단계 110은 이하의 단계를 포함할 수 있다.

단계 1101에 있어서, 현재 얼굴 이미지에 대해 키 포인트 검출을 실행하여 소정의 수량의 키 포인트의 위치 좌표를 취득한다.

상술한 바와 같이, 컴퓨터 시스템은 현재 얼굴 이미지에 대해 얼굴 영역 검출, 두부 자세 보정, 이미지 스케일링 등의 정규화 처리를 실행하여, 기준 얼굴 이미지의 사이즈와 같은 사전 처리 이미지를 취득할 수 있다. 이어서, 얼굴 키 포인트 위치 결정 기술로 사전 처리 이미지에 대해 키 포인트 검출을 실행할 수 있다. 예를 들면, 240얼굴 키 포인트 위치 결정 기술을 채용하여 사전 처리 이미지에 대해 키 포인트 검출을 실행하여 240개의 얼굴 키 포인트의 위치 좌표를 취득할 수 있다.

단계 1102에 있어서, 상기 소정의 수량의 키 포인트의 위치 좌표에 기반하여 상기 현재 얼굴 이미지 내의 적어도 하나의 종류의 국부적 얼굴 영역을 나타내는 키 포인트 특징을 결정한다.

본 발명의 실시예에 있어서, 현재 얼굴 이미지 키 포인트의 위치 좌표가 취득된 후, 현재 얼굴 이미지 내의 적어도 하나의 종류의 국부적 얼굴 영역을 나타내는 키 포인트 특징을 결정할 수 있다.

예를 들면, 눈썹 영역과 같은 국부적 얼굴 영역의 경우, 그 키 포인트 특징은 이하의 적어도 두 가지 표현 방식을 포함할 수 있다.

방식 1에 있어서, 키 포인트의 위치 좌표 조합을 이용하여 국부적 얼굴 영역의 키 포인트 특징을 나타낸다. 예를 들면, 1 종류의 국부적 얼굴 영역을 나타내는 키 포인트 좌표 조합을 당해 국부적 얼굴 영역의 키 포인트 특징으로 설정할 수 있다. 예를 들면, 도 9a에 나타낸 바와 같이, 18∼22번째의 키 포인트의 좌표 위치 조합을 왼쪽 눈썹 영역의 키 포인트 특징으로 설정한다.

본 발명에 있어서, 상대적으로 고정된 키 포인트 (키 포인트 수량과 각 키 포인트의 번호를 포함함)를 채용하여 국부적 얼굴 영역을 나타내지만, 서로 다른 얼굴 이미지에 있어서 동일한 번호의 키 포인트 이미지 좌표 계 중의 좌표 위치가 서로 다르다. 예를 들면, 제1 얼굴 이미지에 있어서, 키 포인트 18의 좌표 위치는 (80, 15) 즉 제80행 제15열의 픽셀에 의해 결정된 위치다. 제2얼굴 이미지에 있어서, 키 포인트 18의 좌표 위치는 (100, 20) 즉 제100행 제20열의 픽셀에 의해 결정된 위치일 수 있다. 따라서, 키 포인트 조합의 위치 좌표를 이용하여 각각의 사람의 얼굴 특징을 효과적으로 구별할 수 있다.

방식 2에 있어서, 키 포인트 좌표 조합의 피팅 곡선을 이용하여 국부적 얼굴 영역의 키 포인트 특징을 나타낸다. 예를 들면, 1 종류의 국부적 얼굴 영역을 나타내는 키 포인트 좌표 조합에 기반하여 당해 국부적 얼굴 영역을 나타내는 특징 곡선을 피팅하고, 당해 특징 곡선을 당해 국부적 얼굴 영역의 키 포인트 특징으로 설정할 수도 있다. 도 9b에 나타낸 바와 같이, 18∼22번째의 키 포인트의 좌표 위치에 기반하여 피팅하여 얻은 특징 곡선을 왼쪽 눈썹 영역의 키 포인트 특징으로 설정한다. 마찬가지로 도 9c에 나타낸 바와 같이, 눈 부 키 포인트 1∼12의 위치 좌표에 기반하여 눈꺼풀 특징 곡선을 피팅하여, 왼쪽 눈의 키 포인트 특징으로 설정한다.

각각의 사람의 얼굴의 각 키 포인트의 위치 좌표가 서로 다르므로, 키 포인트의 위치 좌표에 기반하여 피팅하여 얻은 곡선의 형상도 서로 다르다. 따라서, 상기 특징 곡선을 현재 얼굴 이미지 내의 국부적 얼굴 영역을 나타내는 키 포인트 특징으로 설정하여 각각의 사람의 얼굴을 구별할 수 있다.

상기 단계 120의 실시에 관하여, 키 포인트 특징들 사이의 유사도에 기반하여 참조 모델 데이터 베이스로부터 현재 얼굴 이미지와 매칭하는 목표 골격 파라미터를 검색할 수 있다. 도 10에 나타낸 바와 같이, 상기 단계 120은 이하의 단계를 포함할 수 있다.

단계 121에 있어서, 현재 얼굴 이미지 내의 각 국부적 얼굴 영역에 대하여, 참조 모델 데이터 베이스 중의 당해 국부적 얼굴 영역의 키 포인트 특징과 매칭하는 참조 키 포인트 특징을 당해 국부적 얼굴 영역의 목표 참조 키 포인트 특징으로 결정한다.

도 11에 나타낸 바와 같이, 현재 얼굴 이미지 내의 각 국부적 얼굴 영역에 대해 상기 단계 121에서는 이하의 단계를 포함할 수 있다.

단계 1211에 있어서, 국부적 얼굴 영역의 키 포인트 특징과 참조 모델 데이터 베이스 중의 대응하는 참조 키 포인트 특징 사이의 유사도를 결정한다. 참조 모델 데이터 베이스 중의 대응하는 참조 키 포인트 특징은 참조 모델 데이터 베이스 중의 당해 국부적 얼굴 영역의 위치에 대응하는 참조 키 포인트 특징일 수 있다.

본 발명의 실시예에 있어서, 키 포인트 특징의 표현 형식에 따라 서로 다른 판정 방식으로 참조 모델 데이터 베이스로부터 매칭 가능한 참조 키 포인트 특징을 검색할 수 있다.

예를 들면, 참조 모델 데이터 베이스에 기억된 참조 키 포인트 특징이 참조 키 포인트 좌표 조합일 경우, 키 포인트 좌표 조합들 사이의 유클리드 거리에 기반하여 국부적 얼굴 영역의 키 포인트 특징과 참조 키 포인트 특징 사이의 유사도를 결정할 수 있다.

도 9a에 나타낸 바와 같이, 현재 얼굴 이미지 내의 키 포인트 18∼22의 위치 좌표와 임의의 얼굴 이미지 샘플 내의 키 포인트 18∼22의 위치 좌표 사이의 유클리드 거리를 각각 계산할 수 있으며, 각각l₁₈, l₁₉, l₂₀, l₂₁, l₂₂로 나타낼 수 있다. l₁₈은 현재 얼굴 이미지 키 포인트 18의 위치 좌표와 얼굴 이미지 샘플 내의 키 포인트 18의 위치 좌표 사이의 유클리드 거리를 나타내며, 이에 따라 유추할 수 있다. 2개의 이미지 중의 왼쪽 눈썹 영역의 유사도는 키 포인트 18∼22의 유클리드 거리의 화 L로 나타낼 수 있다. 일 실시예에 있어서, L은 이하의 식으로 나타낼 수 있다.

L= l₁₈+l₁₉+l₂₀+l₂₁+l₂₂

본 발명의 다른 일 실시예에 있어서, 상기 유사도는 또한 키 포인트 간의 유클리드 거리의 가중치로 나타낼 수 있다. 다시 상기의 예를 참조하면, 실제의 응용 시나리오에 따라 각 키 포인트에 대해 소정의 가중치를 설정할 수 있는 바, 예를 들면 키 포인트 18∼22에 대해 각각 가중치 α₁, α₂, α₃, α₄, α₅을 설정하면, L은 이하의 식으로 나타낼 수 있다

L=α₁*l₁₈+α₂*l₁₉+α₃*l₂₀+α₄*l₂₁+α₅*l₂₂

2개의 키 포인트 좌표 조합 간의 유클리드 거리가 작을 수록, 이러한 2개의 키 포인트 좌표 조합에 의해 나타내는 국부적 얼굴 영역 간의 유사도가 높음을 나타낸다.

참조 모델 데이터 베이스에 기억된 참조 키 포인트 특징이 참조 특징 곡선일 경우, 도 12에 나타낸 바와 같이, 상기 단계 1211에는 이하의 단계를 포함할 수 있다.

단계 12111에 있어서, 국부적 얼굴 영역의 키 포인트 좌표 조합에 기반하여 당해 국부적 얼굴 영역을 나타내는 특징 곡선을 피팅 한다.

다시 도 9a를 참조하면, 현재 얼굴 이미지로부터 18∼22번째의 키 포인트의 위치 좌표가 결정된 후, 도 9b에 나타낸 바와 같이, 소정의 규칙, 예를 들면 왼쪽에서 오른쪽에로의 순서로 특징 곡선을 피팅 한다.

단계 12112에 있어서, 상기 특징 곡선과 참조 모델 데이터 베이스 중의 대응하는 참조 특징 곡선의 거리에 기반하여 당해 국부적 얼굴 영역의 키 포인트 특징과 참조 모델 데이터 베이스 중의 대응하는 참조 키 포인트 특징 사이의 유사도를 결정한다.

본 발명의 실시예에 있어서, frechet 거리 값을 이용하여 키 포인트 특징 간의 유사성을 판정할 수 있다. 2개의 특징 곡선 간의 frechet 거리 값이 작을 수록, 2개의 특징 곡선의 형상이 근사한 바, 즉 유사도가 높음을 나타내며, 이에 따라, 2개의 특징 곡선의 각각 대응하는 국부적 얼굴 영역 간의 유사도가 크다.

본 발명의 다른 일 실시예에 있어서, 양자를 조합시킴으로써 상기 목표 참조 키 포인트 특징을 결정할 수도 있다. 구체적으로 현재 얼굴 이미지 내의 임의의 국부적 얼굴 영역의 키 포인트 좌표 조합에 대해 당해 키 포인트 좌표 조합과 참조 모델 데이터 베이스 중의 각각의 대응하는 참조 키 포인트 좌표 조합의 유클리드 거리를 각각 계산할 수 있다. 상기 참조 모델 데이터 베이스 중의 적어도 2개의 참조 키 포인트 좌표 조합과 당해 키 포인트 좌표 조합의 유클리드 거리 값이 같으면, 상기 적어도 2개의 참조 키 포인트 좌표 조합 중의 각 상기 참조 키 포인트 조합과 상기 키 포인트 좌표 조합 사이의 frechet 거리 값을 계산하고, 이에 따라 현재 얼굴 이미지 내의 당해 키 포인트 좌표 조합에 대응하는 특징 곡선의 형상에 가장 근사한 목표 참조 키 포인트 특징을 효과적으로 식별한다.

본 발명의 다른 일 실시예에 있어서, 또한 국부적 얼굴 영역의 분포 특징에 기반하여, 대응하는 책략을 채용하여 상기 국부적 얼굴 영역의 키 포인트 특징과 참조 모델 데이터 베이스 중의 대응하는 참조 키 포인트 특징 사이의 유사도를 결정할 수 있다.

예를 들면, 국부적 얼굴 영역이 적어도 2개의 서브 영역을 포함하는 바, 즉 당해 국부적 얼굴 영역이 적어도 2개의 서브 영역의 키 포인트 특징에 의해 나타낼 수 있을 경우, 도 13에 나타낸 바와 같이, 당해 국부적 얼굴 영역의 키 포인트 특징과 참조 모델 데이터 베이스 중의 하나의 얼굴 이미지 샘플에 대응하는 참조 키 포인트 특징 사이의 유사도를 결정할 때에, 상기 단계 1211은 이하의 단계를 포함할 수 있다.

단계 1211-1에 있어서, 당해 국부적 얼굴 영역 중의 각 서브 영역에 대해, 당해 서브 영역의 키 포인트 특징과 참조 모델 데이터 베이스 중의 당해 얼굴 이미지 샘플의 대응하는 서브 영역의 참조 키 포인트 특징 사이의 유사도를 결정하여, 당해 서브 영역에 대응하는 국부적 유사도를 취득한다.

당해 얼굴 이미지 샘플의 대응하는 서브 영역이란, 당해 얼굴 이미지 샘플 내의 당해 국부적 얼굴 영역의 처리 중의 서브 영역의 위치에 대응하는 서브 영역을 의미한다. 예를 들면, 눈 영역의 키 포인트 특징은 왼쪽 눈 영역과 오른쪽 눈 영역에 각각 대응하는 키 포인트 특징을 포함한다. 눈썹 영역의 키 포인트 특징은 왼쪽 눈썹 영역과 오른쪽 눈썹 영역에 각각 대응하는 키 포인트 특징을 포함한다. 입 영역의 키 포인트 특징은 윗입술 영역과 아래 입술 영역의 각각 대응하는 키 포인트 특징을 포함한다.

눈 영역을 예로 들면, 상기의 임의의 한 가지 결정 방법을 통해, 왼쪽 눈 영역의 키 포인트 특징과 참조 모델 데이터 베이스 중의 각 왼쪽 눈 참조 키 포인트 특징 사이의 유사도 및 오른쪽 눈 영역의 키 포인트 특징과 참조 모델 데이터 베이스 중의 각 오른쪽 눈 참조 키 포인트 특징 사이의 유사도를 결정할 수 있다. 본 발명의 실시예에 있어서, 하나의 서브 영역의 키 포인트 특징과 참조 모델 데이터 베이스 중의 대응하는 서브 영역의 참조 키 포인트 특징 사이의 유사도를 국부적 유사도라고 칭한다. 현재 얼굴 이미지 내의 왼쪽 및 오른쪽 눈 영역의 키 포인트 특징을 참조 모델 데이터 베이스 중의 하나의 참조 얼굴 모델의 왼쪽 및 오른쪽 눈 영역의 참조 키 포인트 특징과 비교함으로써, 한 쌍의 국부적 유사도를 얻을 수 있다.

상기의 예에 따르면, 201개의 얼굴 이미지 샘플로 생성한 참조 모델 데이터 베이스에 대해, 현재 얼굴 이미지 내의 눈 부 영역의 키 포인트 특징에 대해 201 쌍의 국부적 유사도를 얻을 수 있다.

단계 1211-2에 있어서, 각 서브 영역에 대응하는 국부적 유사도에 기반하여 상기 국부적 얼굴 영역과 당해 얼굴 이미지 샘플의 대응하는 국부적 얼굴 영역 사이의 전체적인 유사도를, 당해 국부적 얼굴 영역의 키 포인트 특징과 참조 모델 데이터 베이스 중의 당해 얼굴 이미지 샘플의 대응하는 참조 키 포인트 특징 사이의 유사도로 결정한다.

예를 들면 눈, 입, 눈썹 등과 같은 2개의 서브 영역의 키 포인트 특징으로 나타낼 수 있는 국부적 얼굴 영역에 대해, 각 서브 영역의 대응하는 국부적 유사도를 계산한 후, 2개의 국부적 유사도의 합 또는 가중치 합을 계산하여, 현재 얼굴 이미지와 하나의 얼굴 이미지 샘플의 대응하는 영역 사이의 유사도로 설정할 수 있다.

본 발명의 실시예에 있어서, 국부적 얼굴 영역이 복수의 서브 영역을 포함할 경우, 복수의 서브 영역의 국부적 유사도에 기반하여 상기 눈, 눈썹, 입 등의 당해 국부적 얼굴 영역 사이의 전체적인 유사도를 정확하게 비교함으로써, 참조 모델 데이터 베이스로부터 더 정확하게 당해 국부적 얼굴 영역의 목표 골격 파라미터를 결정할 수 있다.

단계 1212에 있어서, 유사도가 가장 높은 참조 키 포인트 특징을 상기 국부적 얼굴 영역의 목표 참조 키 포인트 특징으로 설정한다.

상기 단계 1211에 기재된 임의의 한 가지 방법을 통해, 현재 얼굴 이미지 내의 국부적 얼굴 영역의 키 포인트 특징과 참조 모델 데이터 베이스 중의 각 얼굴 이미지 샘플의 대응하는 참조 키 포인트 특징 사이의 유사도를 각각 계산하고, 동시에 유사도가 가장 높은 참조 키 포인트 특징을 현재 얼굴 이미지 내의 당해 국부적 얼굴 영역의 목표 참조 키 포인트 특징으로 설정한다.

단계 122에 있어서, 현재 얼굴 이미지 내의 각 국부적 얼굴 영역의 목표 참조 키 포인트 특징에 대응하는 참조 골격 파라미터에 기반하여 현재 얼굴 이미지의 목표 골격 파라미터를 결정한다.

본 발명의 일 실시예에 있어서, 참조 모델 데이터 베이스에는 각 국부적 얼굴 영역의 각종 이미지 스타일에 대응하는 참조 키 포인트 특징 및 상기 참조 키 포인트 특징과 참조 골격 파라미터 사이의 대응하는 관계가 기억되어 있다.

각 얼굴 이미지로부터 각각 M개의 국부적 얼굴 영역, 예를 들면, 눈썹, 눈, 코, 입, 얼굴 윤곽과 같은 5개의 국부적 얼굴 영역으로 구획할 수 있다고 가정한다.

1 종류의 국부적 얼굴 영역에 대응하는 이미지 스타일의 수가 n이면, 상기 참조 모델 데이터 베이스에는 적어도 N개의 참조 키 포인트 특징이 기억되고 있는 바, N=n₁+n₂+ …… +n_i이며, 여기서, n_i는 국부적 얼굴 영역의 이미지 스타일의 수를 나타내고, i는 1 종류의 국부적 얼굴 영역을 나타내며, i∈ (1, M)이다. 일 예에 있어서, 숫자 1이 눈썹을 나타내면, n₁은 눈썹 모양의 수를 나타내고, 이에 따라 도 2에 나타낸 예에 있어서 n₁=12이다.

각 참조 키 포인트 특징은 각각 1세트의 참조 골격 파라미터에 대응하며, 따라서, 상기 참조 모델 데이터 베이스에는 적어도 N개의 참조 키 포인트 특징에 대응하는 N세트의 참조 골격 파라미터가 기억되어 있다.

상기 참조 키 포인트 특징이 참조 키 포인트의 좌표 위치에 기반하여 피팅을 실행하여 얻은 참조 특징 곡선일 경우, 상기 참조 모델 데이터 베이스에는 적어도 N책의 참조 특징 곡선에 대응하는 N세트의 참조 골격 파라미터가 기억되어 있다.

상기 참조 키 포인트 특징이 참조 키 포인트의 좌표 위치 조합 즉 참조 키 포인트 좌표 조합일 경우, 상기 참조 모델 데이터 베이스에는 적어도 N개의 참조 키 포인트 좌표 조합에 대응하는 N세트의 참조 골격 파라미터가 기억되어 있다.

컴퓨터 시스템은 현재 얼굴 이미지로부터 국부적 얼굴 영역의 키 포인트 특징을 취득한 후, 참조 모델 데이터 베이스로부터 당해 키 포인트 특징과 매칭하는 참조 키 포인트 특징, 예를 들면 가장 근사한 참조 키 포인트 특징을, 목표 참조 키 포인트 특징으로 결정하고, 또한 목표 참조 키 포인트 특징에 대응하는 참조 골격 파라미터에 기반하여 상기 키 포인트 특징에 적합한 목표 골격 파라미터를 결정할 수 있다. 예를 들면, 직접 목표 참조 키 포인트 특징에 대응하는 참조 골격 파라미터를 현재 얼굴 이미지 내의 상기 키 포인트 특징에 대응하는 국부적 얼굴 영역에 적합한 목표 골격 파라미터로 설정한다.

본 발명의 실시예에 있어서, 키 포인트 특징의 표현 방식과 결합하여 유클리드 거리 또는 frechet 거리를 채용하여, 현재 얼굴 이미지 내의 국부적 얼굴 영역의 키 포인트 특징과 참조 모델 데이터 베이스 중의 대응하는 참조 키 포인트 특징 사이의 유사도를 판정함으로써, 비교적 정확한 동시에 고속으로 참조 모델 데이터 베이스에 기반하여 현재 얼굴 이미지 내의 국부적 얼굴 영역의 목표 골격 파라미터를 결정하고, 생성해야 할 얼굴 모델의 골격 조정 파라미터를 결정할 수 있고, 이에 따라, 예를 들면 게임 시나리오와 같은 특정한 응용 시나리오에서의 핀치 페이스 기능 앱의 사용자 체험을 효과적으로 향상시킬 수 있다.

본 명세서 중의 각각의 실시예는 점진적으로 설명되었으며, 각 실시예 간의 동일하거나 유사한 부분에 대하여는 서로 참조하면 되는 바, 각 실시예에 대해 기타 실시예와의 차이 점을 집중적으로 설명하였다. 특히, 데이터 처리 장치의 실시예의 경우, 기본적으로 방법 실시예와 유사하므로, 설명이 비교적 간단한 바, 관련 부분은 방법 실시예의 설명 부분을 참조하면 된다.

상술한 각 방법의 실시예에 대하여서는 간단히 설명하기 위하여, 시리즈적인 동작 조합으로서 설명했지만, 당업자는 본 발명에 따르면 일부의 단계를 다른 순서로 실행할 수도 있고, 동시에 실행할 수도 있으므로, 본 발명은 기술된 동작 순서에 한정되지 않음을 알 수 있다.

그리고, 당업자는 명세서에 기술된 실시예는 모두 선택 가능한 실시예이며, 관련된 동작이나 모듈은 반드시 본 발명에 있어서 불가결한 것이 아님을 알 수 있다.

상기의 응용 기능의 실현 방법의 실시예에 대응하게, 본 발명은 응용 기능의 실현 장치 및 대응하는 단말의 실시예를 더 제공한다.

이에 따라, 본 발명의 실시예는 얼굴 모델의 생성 장치를 제공한다. 도 14에 나타낸 바와 같이, 상기 장치는 현재 얼굴 이미지에 대해 키 포인트 검출을 실행하여 상기 현재 얼굴 이미지의 적어도 하나의 키 포인트 특징을 취득하기 위한 키 포인트 검출 모듈 (21); 상기 적어도 하나의 키 포인트 특징에 기반하여 상기 현재 얼굴 이미지와 매칭하는 목표 골격 파라미터를 취득하기 위한 파라미터 매칭 모듈 (22) ; 및 상기 목표 골격 파라미터와 기준 3차원 얼굴 모델에 기반하여 상기 현재 얼굴 이미지에 대응하는 가상 3차원 얼굴 모델을 생성하기 위한 모델 생성 모듈 (23)을 구비할 수도 있다.

본 발명의 장치 실시예에서는 상기 모델 생성 모듈 (23)이 출력하는 상기 현재 얼굴 이미지에 대응하는 가상 3차원 얼굴 모델은 상기 현재 얼굴 이미지에 대응하는 애니메이션화 가상 3차원 얼굴 모델일 수 있다.

본 발명의 다른 장치의 실시예에서는 상기 모델 생성 모듈 (23)이 출력하는 상기 현재 얼굴 이미지에 대응하는 가상 3차원 얼굴 모델은 상기 현재 얼굴 이미지 내의 진실한 얼굴과 유사한 가상 3차원 얼굴 모델 즉 진실한 얼굴과 극히 유사한 가상 3차원 얼굴 모델일 수도 있다.

도 15에 나타낸 바와 같이, 도 14에 나타낸 장치의 실시예를 기초로 하여, 상기 장치는 또한 소정의 수량의 얼굴 이미지 샘플과 상기 기준 3차원 얼굴 모델에 기반하여 참조 모델 데이터 베이스를 결정하기 위한 데이터 베이스 생성 모듈 (20)을 더 구비할 수 있다. 상기 참조 모델 데이터 베이스는 소정의 수량의 얼굴 이미지 샘플로부터 결정되는 적어도 하나의 참조 키 포인트 특징 및 상기 적어도 하나의 참조 키 포인트 특징에 각각 대응하는 참조 골격 파라미터를 포함한다. 이러한 경우, 상기 파라미터 매칭 모듈 (22)은 구체적으로 상기 적어도 하나의 키 포인트 특징에 기반하여 상기 참조 모델 데이터 베이스로부터 상기 현재 얼굴 이미지와 매칭하는 목표 골격 파라미터를 취득한다.

도 16에 나타낸 바와 같이, 도 15에 나타낸 장치의 실시예를 기초로 하여, 상기 데이터 베이스 생성 모듈 (20)은 샘플 취득 서브 모듈 (201); 참조 모델 생성 서브 모듈 (202); 및 데이터 베이스 결정 서브 모듈 (203)을 구비할 수 있다. 상기 샘플 취득 서브 모듈 (201)은 상기 소정의 수량의 얼굴 이미지 샘플을 포함하는 얼굴 이미지 샘플 집합을 취득하며, 상기 얼굴 이미지 샘플 집합은 적어도 하나의 종류의 국부적 얼굴 영역을 나타내는 복수의 종류의 이미지 스타일을 포함하고, 상기 참조 모델 생성 서브 모듈 (202)은 상기 기준 3차원 얼굴 모델에 기반하여 상기 얼굴 이미지 샘플에 대응하는 참조 얼굴 모델을 생성하며, 상기 참조 얼굴 모델은 상기 얼굴 이미지 샘플에 대응하는 상기 참조 골격 파라미터를 포함하고, 상기 데이터 베이스 결정 서브 모듈 (203)은 각 상기 얼굴 이미지 샘플에 대응하는 참조 얼굴 모델에 기반하여 상기 참조 모델 데이터 베이스를 결정하며, 상기 참조 모델 데이터 베이스는 각 상기 국부적 얼굴 영역을 나타내는 각 종류의 상기 이미지 스타일의 상기 키 포인트 특징과 상기 참조 골격 파라미터 사이의 대응하는 관계를 포함한다.

도 17에 나타낸 바와 같이, 도 16에 나타낸 장치의 실시예를 기초로 하여, 상기 참조 모델 생성 서브 모듈 (202)은 이미지 사전 처리 유닛 (2021); 키 포인트 검출 유닛 (2022); 및 참조 모델 생성 유닛 (2023)을 구비할 수 있다. 상기 이미지 사전 처리 유닛 (2021)은 상기 얼굴 이미지 샘플에 대해 정규화 처리를 실행하고, 기준 얼굴 이미지의 두부 자세 및 이미지 사이즈와 일치한 사전 처리 얼굴 이미지를 취득하되, 상기 기준 얼굴 이미지는 상기 기준 3차원 얼굴 모델에 대응하는 2차원 얼굴 이미지이고, 상기 키 포인트 검출 유닛 (2022)은 상기 사전 처리 얼굴 이미지에 대해 키 포인트 검출을 실행하여 상기 얼굴 이미지 샘플의 참조 키 포인트 집합을 취득하되, 상기 참조 키 포인트 집합은 상기 얼굴 이미지 샘플 내의 각 상기 국부적 얼굴 영역을 나타내는 참조 키 포인트 조합을 포함하고, 상기 참조 모델 생성 유닛 (2023)은 각 상기 참조 키 포인트 조합에 기반하여 상기 기준 3차원 얼굴 모델 중의 대응하는 골격 파라미터를 조정하여, 상기 얼굴 이미지 샘플에 대응하는 상기 참조 얼굴 모델을 생성한다.

도 18에 나타낸 바와 같이, 도 14∼도 17항 중 어느 한 도면에 나타낸 장치의 실시예를 기초로 하여, 상기 키 포인트 검출 모듈 (21)은 상기 현재 얼굴 이미지에 대해 키 포인트 검출을 실행하여 소정의 수량의 키 포인트의 위치 좌표를 취득하기 위한 키 포인트 위치 결정 서브 모듈 (211); 및 상기 소정의 수량의 키 포인트의 위치 좌표에 기반하여 상기 현재 얼굴 이미지 내의 적어도 하나의 종류의 국부적 얼굴 영역을 나타내는 키 포인트 특징을 결정하기 위한 키 포인트 특징 결정 서브 모듈 (212)을 구비할 수 있다.

본 발명의 실시예에 있어서, 상기 키 포인트 특징은 키 포인트 좌표 조합 및/또는 특징 곡선을 포함할 수 있다.

이에 따라, 도 19에 나타낸 바와 같이, 도 18에 나타낸 장치의 실시예를 기초로 하여, 상기 키 포인트 특징 결정 서브 모듈 (212)은 좌표 조합 결정 유닛 (2121); 및 특징 곡선 결정 유닛 (2122)을 구비할 수 있다. 상기 좌표 조합 결정 유닛 (2121)은 상기 소정의 수량의 키 포인트의 위치 좌표에 기반하여 상기 현재 얼굴 이미지 내의 제1 국부적 얼굴 영역을 나타내는 키 포인트 좌표 조합을 당해 제1 국부적 얼굴 영역을 나타내는 상기 키 포인트 특징으로 결정하되, 당해 제1 국부적 얼굴 영역은 상기 적어도 하나의 종류의 국부적 얼굴 영역 중의 임의의 하나이고, 상기 특징 곡선 결정 유닛 (2122)은 당해 제1 국부적 얼굴 영역을 나타내는 상기 키 포인트 좌표 조합에 기반하여 당해 제1 국부적 얼굴 영역을 나타내는 특징 곡선을 피팅하여 당해 제1 국부적 얼굴 영역을 나타내는 상기 키 포인트 특징으로 설정한다.

본 발명에 있어서, 상기 적어도 하나의 종류의 국부적 얼굴 영역은 눈썹, 눈, 코, 입, 얼굴 윤곽의 적어도 하나를 포함한다.

상기의 도 19에 나타낸 장치의 실시예는 키 포인트 특징 결정 서브 모듈 (212)이 좌표 조합 결정 유닛 (2121)과 특징 곡선 결정 유닛 (2122)을 구비할 경우에 대응한다. 본 발명의 다른 일 장치의 실시예에 있어서, 키 포인트 특징 결정 서브 모듈 (212)은 좌표 조합 결정 유닛 (2121) 또는 특징 곡선 결정 유닛 (2122)을 구비할 수 있다.

도 20에 나타낸 바와 같이, 도 14∼도 19항 중 어느 한 도면에 나타낸 장치의 실시예를 기초로 하여, 상기 파라미터 매칭 모듈 (22)은 상기 현재 얼굴 이미지 내의 각 국부적 얼굴 영역에 대해, 상기 참조 모델 데이터 베이스 중의 상기 국부적 얼굴 영역의 키 포인트 특징과 매칭하는 참조 키 포인트 특징을 상기 국부적 얼굴 영역의 목표 참조 키 포인트 특징으로 결정하기 위한 특징 매칭 서브 모듈 (221); 및 상기 현재 얼굴 이미지 내의 각 상기 국부적 얼굴 영역의 목표 참조 키 포인트 특징에 대응하는 참조 골격 파라미터에 기반하여 상기 현재 얼굴 이미지의 목표 골격 파라미터를 결정하기 위한 골격 파라미터 결정 서브 모듈 (222)을 구비할 수 있다.

도 21에 나타낸 바와 같이, 도 20에 나타낸 장치의 실시예를 기초로 하여, 상기 특징 매칭 서브 모듈 (221)은 상기 국부적 얼굴 영역의 키 포인트 특징과 상기 참조 모델 데이터 베이스 중의 대응하는 참조 키 포인트 특징 사이의 유사도를 결정하기 위한 유사도 결정 유닛 (2211); 및 유사도가 가장 높은 상기 참조 키 포인트 특징을 상기 국부적 얼굴 영역의 상기 목표 참조 키 포인트 특징으로 결정하기 위한 목표 특징 결정 유닛 (2212)을 구비할 수 있다.

본 발명의 장치 실시예에서는 상기 키 포인트 특징은 키 포인트의 위치 좌표에 기반하여 피팅을 실행하여 얻은 특징 곡선일 수 있다. 이에 따라, 도 22에 나타낸 바와 같이, 도 21에 나타낸 장치의 실시예를 기초로 하여, 상기 유사도 결정 유닛 (2211)은 국부적 얼굴 영역의 키 포인트 좌표 조합에 기반하여 상기 국부적 얼굴 영역을 나타내는 특징 곡선을 피팅하기 위한 곡선 피팅 서브 유닛 (2201); 및 상기 특징 곡선과 상기 참조 모델 데이터 베이스 중의 대응하는 참조 특징 곡선 사이의 거리에 기반하여 상기 국부적 얼굴 영역의 키 포인트 특징과 상기 참조 모델 데이터 베이스 중의 대응하는 참조 키 포인트 특징 사이의 유사도를 결정하기 위한 유사도 결정 서브 유닛 (2202)을 구비할 수 있다.

본 발명의 실시예에 있어서, 상기 거리는 유클리드 거리 또는 frechet 거리를 포함할 수도 있다. 이에 따라, 상기 목표 특징 결정 유닛 (2212)은 상기 거리 값이 가장 작은 참조 특징 곡선을 상기 목표 참조 키 포인트 특징으로 설정할 수 있다.

도 23에 나타낸 바와 같이, 도 21에 나타낸 장치의 실시예를 기초로 하여, 상기 유사도 결정 유닛 (2211)은 하나의 상기 국부적 얼굴 영역이 적어도 2개의 서브 영역을 포함할 경우, 상기 국부적 얼굴 영역 중의 각 상기 서브 영역에 대해 상기 참조 모델 데이터 베이스 중의 각 얼굴 이미지 샘플에 대해, 상기 서브 영역의 키 포인트 특징과 상기 참조 모델 데이터 베이스 중의 당해 얼굴 이미지 샘플의 대응하는 서브 영역의 참조 키 포인트 특징 사이의 유사도를 결정하여, 상기 서브 영역에 대응하는 국부적 유사도를 취득하기 위한 국부적 유사도 결정 서브 유닛 (22111); 및 상기 참조 모델 데이터 베이스 중의 각 얼굴 이미지 샘플에 대해 각 상기 서브 영역에 대응하는 상기 국부적 유사도에 기반하여 상기 국부적 얼굴 영역과 당해 얼굴 이미지 샘플 내의 대응하는 국부적 얼굴 영역 사이의 전체적인 유사도를, 상기 국부적 얼굴 영역의 키 포인트 특징과 상기 참조 모델 데이터 베이스 중의 당해 얼굴 이미지 샘플의 대응하는 참조 키 포인트 특징 사이의 유사도로 결정하기 위한 전체적 유사도 결정 서브 유닛 (22112)을 구비할 수 있다.

장치 실시예는 기본적으로 방법 실시예에 대응하므로, 관련 부분에 대하여서는 방법 실시예의 일부 설명을 참조하면 된다. 상술한 장치 실시예는 단지 예시적인 것이며, 여기서 상기의 분리된 부품으로 설명된 유닛은 물리적으로 분리된 것일 수도 있고, 물리적으로 분리되지 않은 것일 수도 있으며, 유닛으로 나타낸 부품은 물리적인 유닛일 수도 있고, 물리적인 유닛이 아닐 수도 있다. 즉 한 곳에 위치할 수 있고, 복수의 네트워크 유닛에 분포될 수도 있다. 실제의 필요에 따라 그 일부 또는 모든 모듈을 선택하여 본 발명의 해결 수단의 목적을 실현할 수 있다. 당업자에 있어서, 발명적인 노력을 필요로 하지 않고 이해하여 실시할 수 있다.

상기의 얼굴 모델의 생성 방법에 대응하게, 본 발명의 실시예는 본 발명에 관한 예시적인 일 실시예의 전자 기기의 구조의 모식도를 더 제공한다. 도 24에 나타낸 바와 같이, 하드웨어의 측면에서 당해 전자 기기는 프로세서 (241), 내부 버스 (242), 네트워크 인터페이스 (243), 메모리 (245) 및 비 휘발성 메모리 (246)를 구비하며, 물론 또한 다른 업무에 필요한 하드웨어를 구비할 수도 있다. 프로세서 (241)는 비 휘발성 메모리 (246)로부터 대응하는 컴퓨터 프로그램을 메모리 (245)에 로드 하여 운행시킴으로써, 논리의 측면에서 지능화 운전 제어 장치를 형성한다. 물론 소프트웨어에 의한 실현 형태 이외에, 본 발명은 예를 들면 논리 디바이스 또는 소프트웨어와 하드웨어의 조합과 같은 다른 실현 형태 등으로 실현될 수 있다. 즉, 이하의 처리 프로세스의 실행 주체는 각 논리 유닛에 한정되지 않는 바, 하드웨어 또는 논리 디바이스일 수도 있다.

당업자는 본 명세서의 하나 또는 복수의 실시예는 방법, 시스템 또는 컴퓨터 프로그램 제품으로 제공될 수 있음을 이해하여야 한다. 따라서, 본 명세서의 하나 또는 복수의 실시예는 완전한 하드웨어 실시예, 완전한 소프트웨어 실시예 또는 소프트웨어와 하드웨어를 조합시킨 실시예의 형태를 채용할 수 있다. 또한, 본 명세서의 하나 또는 복수의 실시예는 컴퓨터 이용 가능 프로그램 코드를 포함하는 하나 또는 복수의 컴퓨터 이용 가능 기록 매체 (자기 디스크 기억 장치, CD-ROM, 광학 기억 장치 등을 포함하지만, 이에 한정되지 않음) 상에서 실시되는 컴퓨터 프로그램 제품의 형태를 채용할 수 있다.

본 명세서의 실시예는 컴퓨터 프로그램이 기록되어 있는 컴퓨터 판독 가능 기록 매체를 더 제공하는 바, 상기 프로그램이 프로세서에 의해 실행될 때에 본 명세서의 도 1∼도 13의 임의의 하나의 도면에 의해 제공되는 얼굴 모델의 생성 방법의 단계가 실현된다.

본 발명에 설명된 주제 및 기능 동작의 실시예는 디지털 전자 회로, 유형의 컴퓨터 소프트웨어 및 펌웨어, 본 발명에 개시된 구조 및 그 구조적 균등 물을 포함하는 컴퓨터 하드웨어 또는 이들 중의 하나 또는 복수의 조합으로 실현될 수 있다. 본 발명에 설명된 주제의 실시예는 하나 또는 복수의 컴퓨터 프로그램 즉 유형의 비일시적인 프로그램 캐리어 상에 코딩 되어 데이터 처리 장치에 의해 실행되거나 또는 데이터 처리 장치의 동작을 제어하는 컴퓨터 프로그램 명령 중의 하나 또는 복수의 모듈로 실현될 수 있다. 대체적으로 또는 추가적으로 프로그램 명령은 인공으로 생성된 전송 신호, 예를 들면 디바이스에서 생성된 전기, 빛 또는 전자적 신호로 코딩 될 수 있다. 당해 신호는 생성됨으로써 정보를 부호화하여 적절한 수신기 장치에 전송되어 데이터 처리 장치에 의해 실행된다. 컴퓨터 기록 매체는 디바이스 판독 가능 기억 디바이스, 디바이스 판독 가능 기억 기판, 랜덤 및 직렬 액세스 저장 디바이스 또는 이들 중의 하나 또는 복수의 조합일 수 있다.

본 발명에 설명된 처리 및 논리 흐름은 하나 또는 복수의 컴퓨터 프로그램을 실행하는 하나 또는 복수의 프로그램 가능 컴퓨터에 의해 실시됨으로써, 입력 데이터에 따라 작업을 실행하여 출력을 생성함으로써 대응하는 기능을 수행시킬 수 있다. 상기 처리 및 논리 흐름은 전용 논리 회로, 예를 들면 FPGN (필드 프로그래밍 가능 게이트 어레이) 또는 NSIC (전용 집적 회로)에 의해 실행될 수 있으며, 장치도 전용 논리 회로로서 실현될 수 있다.

컴퓨터 프로그램을 실행하는 데 적합한 컴퓨터는 예를 들면 범용 및/또는 전용 마이크로 프로세서 또는 임의의 기타 타입의 중앙 처리 장치를 포함한다. 일반적으로 중앙 처리 장치는 읽기 전용 메모리 및/또는 랜덤 액세스 메모리로부터 명령 및 데이터를 수신한다. 컴퓨터의 기본 구성 요소는 명령을 구현하거나 실행하기 위한 중앙 처리 장치와 명령 및 데이터를 기억하기 위한 하나 또는 복수의 저장 디바이스를 포함한다. 일반적으로 컴퓨터는 또한 데이터를 저장하기 위한 하나 또는 복수의 대용량 저장 디바이스 예를 들면 자기 디스크, 광 자기 디스크 또는 광 디스크 등을 포함하거나, 또는 대용량 저장 디바이스와 작동 가능하게 연결되어 데이터를 수신하거나 전송한다. 그러나, 컴퓨터는 이러한 디바이스를 반드시 필요로 하지 않는다. 또한, 컴퓨터는 예를 들면, 휴대전화, 개인용 디지털 비서 (PDN), 모바일 오디오 또는 비디오 플레이어, 게임 콘솔, 글로벌 포지셔닝 시스템 (GPS) 수신기 또는 예를 들면 범용 직렬 버스 (USB) 플래시 메모리 드라이버의 휴대용 저장 디바이스와 같은 별도의 디바이스에 내장될 수 있으며, 이는 단지 몇몇의 예일 뿐이다.

컴퓨터 프로그램 명령 및 데이터를 저장하는데 적합한 컴퓨터 판독 가능 매체는 모든 형태의 불 휘발성 메모리, 매체 및 저장 디바이스를 포함하는 바, 예를 들면, 반도체 저장 디바이스 (예를 들면, EPROM, EEPROM 및 플래시 저장 디바이스), 자기 디스크 (예를 들면, 내부 하드 디스크 또는 이동 디스크), 광 자기 디스크 및 CD ROM과 DVD - ROM디스크를 포함한다. 프로세서와 메모리는 전용 논리 회로에 의해 보충되어 또는 전용 논리 회로에 통합될 수 있다.

본 발명은 대량의 구체적인 실시 세부 사항을 포함하지만, 이들은 임의의 개시 범위 또는 보호 범위를 제한하는 것으로 해석되어 서는 안되며, 주로 개시된 구체적인 특정 실시예의 특징을 설명하기 위하여 사용된다. 본 발명의 복수의 실시예에 설명된 몇몇의 특징은 단일 실시예에서 조합되어 실시될 수 있다. 다른 한편으로, 단일 실시예에 설명된 다양한 특징은 복수의 실시예에 나뉘어 실시되거나, 임의의 적절한 서브 조합으로 실시될 수 있다. 또한, 특징이 상기와 같이 몇몇의 조합에서 역할을 발휘하고, 또한 특징을 최초로 이렇게 보호하도록 요구할 수 있지만, 보호를 요구하는 조합 중의 하나 또는 복수의 특징은 몇몇의 경우에 당해 조합에서 제거될 수도 있고, 또한 보호를 요구하는 조합은 서브 조합 또는 서브 조합의 변형으로 지정될 수 있다.

마찬가지로, 도면에서 특정 순서로 동작을 나타냈지만, 이러한 동작이 나타낸 특정 순서에 따라 실행되거나, 차례로 실행되거나, 또는 예시된 모든 동작이 실행됨으로써 원하는 결과를 얻어야 한다고 요구하는 것으로 이해해서는 안 된다. 몇몇의 경우에, 멀티 태스크 및 병행 처리가 더욱 유리할 가능성이 있다. 또한, 상기 실시예의 다양한 시스템 모듈과 구성 요소의 분리는 모든 실시예에서 이러한 분리를 필요로 한다고 이해해서는 안 된다. 또한 설명되는 프로그램 구성 요소 및 시스템은 일반적으로 단일 소프트웨어 제품에 통합되거나, 복수의 소프트웨어 제품으로 캡슐화될 수 있음을 이해해야 한다.

위와 같이 주제의 특정 실시예가 설명되었다. 다른 실시예는 첨부된 특허 청구의 범위 내에 포함된다. 몇몇의 경우에 있어서, 특허 청구의 범위에 기재된 동작은 다른 순서로 실행될 수 있으며, 여전히 원하는 결과를 얻을 수 있다. 또한, 도면에 나타낸 처리가 반드시 나타내진 특정 순서 또는 연속된 순서로 원하는 결과를 얻는다고는 할 수 없다. 몇몇의 실시 형태에 있어서, 멀티 태스크 처리 및 병행 처리가 더욱 유리할 가능성이 있다.

상술한 설명은 본 발명의 하나 또는 복수의 실시예의 바람직한 실시예일뿐이며, 본 발명의 하나 또는 복수의 실시예를 제한하려는 것이 아니다. 본 발명의 하나 또는 복수의 실시예의 정신 및 원칙 내에서 실행한 어떠한 변경, 균등 물에 의한 치환, 개량 등도 본 발명의 하나 또는 복수의 실시예의 보호 범위 내에 포함되어야 한다.

Claims

현재 얼굴 이미지에 대해 키 포인트 검출을 실행하여 상기 현재 얼굴 이미지의 적어도 하나의 키 포인트 특징을 취득하는 단계;
상기 적어도 하나의 키 포인트 특징에 기반하여 상기 현재 얼굴 이미지와 매칭하는 목표 골격 파라미터를 취득하는 단계;
상기 목표 골격 파라미터와 기준 3차원 얼굴 모델에 기반하여 상기 현재 얼굴 이미지에 대응하는 가상 3차원 얼굴 모델을 생성하는 단계; 및
참조 모델 데이터 베이스를 결정하는 단계 - 상기 참조 모델 데이터 베이스는 적어도 하나의 참조 키 포인트 특징 및 상기 적어도 하나의 참조 키 포인트 특징에 각각 대응하는 참조 골격 파라미터를 포함함 -를 포함하고,
상기 적어도 하나의 키 포인트 특징에 기반하여 상기 현재 얼굴 이미지와 매칭하는 목표 골격 파라미터를 취득하는 단계는,
상기 적어도 하나의 키 포인트 특징에 기반하여 상기 참조 모델 데이터 베이스로부터 상기 현재 얼굴 이미지와 매칭하는 목표 골격 파라미터를 취득하는 단계를 포함하는
것을 특징으로 하는 얼굴 모델의 생성 방법.
제1 항에 있어서,
상기 참조 모델 데이터 베이스를 결정하는 단계는 소정의 수량의 얼굴 이미지 샘플과 상기 기준 3차원 얼굴 모델에 기반하여 참조 모델 데이터 베이스를 결정하는 단계를 포함하고, 상기 적어도 하나의 참조 키 포인트 특징은 소정의 수량의 얼굴 이미지 샘플로부터 결정되는
것을 특징으로 하는 얼굴 모델의 생성 방법.
제2항에 있어서,
상기 소정의 수량의 얼굴 이미지 샘플과 상기 기준 3차원 얼굴 모델에 기반하여 상기 참조 모델 데이터 베이스를 결정하는 단계는,
상기 소정의 수량의 얼굴 이미지 샘플을 포함하는 얼굴 이미지 샘플 집합을 취득하는 단계 - 상기 얼굴 이미지 샘플 집합은 적어도 하나의 종류의 국부적 얼굴 영역을 나타내는 복수의 종류의 이미지 스타일을 포함함 -;
각 상기 얼굴 이미지 샘플에 대해 상기 기준 3차원 얼굴 모델에 기반하여 상기 얼굴 이미지 샘플에 대응하는 참조 얼굴 모델을 생성하는 단계 - 상기 참조 얼굴 모델은 상기 얼굴 이미지 샘플에 대응하는 상기 참조 골격 파라미터를 포함함 -; 및
각 상기 얼굴 이미지 샘플에 대응하는 참조 얼굴 모델에 기반하여 상기 참조 모델 데이터 베이스를 결정하는 단계를 포함하되,
상기 참조 모델 데이터 베이스는 각 상기 국부적 얼굴 영역을 나타내는 각 종류의 상기 이미지 스타일의 상기 참조 키 포인트 특징과 상기 참조 골격 파라미터 사이의 대응하는 관계를 포함하는
것을 특징으로 하는 얼굴 모델의 생성 방법.
제3항에 있어서,
상기 기준 3차원 얼굴 모델에 기반하여 상기 얼굴 이미지 샘플에 대응하는 상기 참조 얼굴 모델을 생성하는 단계는,
상기 얼굴 이미지 샘플에 대해 정규화 처리를 실행하고, 기준 얼굴 이미지의 두부 자세 및 이미지 사이즈와 일치한 사전 처리 얼굴 이미지를 취득하는 단계 - 상기 기준 얼굴 이미지는 상기 기준 3차원 얼굴 모델에 대응하는 2차원 얼굴 이미지임 -;
상기 사전 처리 얼굴 이미지에 대해 키 포인트 검출을 실행하여 상기 얼굴 이미지 샘플의 참조 키 포인트 집합을 취득하는 단계 - 상기 참조 키 포인트 집합은 상기 얼굴 이미지 샘플 내의 각 상기 국부적 얼굴 영역을 나타내는 참조 키 포인트 조합을 포함함 -; 및
각 상기 참조 키 포인트 조합에 기반하여 상기 기준 3차원 얼굴 모델 중의 대응하는 골격 파라미터를 조정하여, 상기 얼굴 이미지 샘플에 대응하는 상기 참조 얼굴 모델을 생성하는 단계를 포함하는
것을 특징으로 하는 얼굴 모델의 생성 방법.
제1 항 내지 제4항 중 어느 한 항에 있어서,
상기 현재 얼굴 이미지에 대해 키 포인트 검출을 실행하여 상기 현재 얼굴 이미지의 적어도 하나의 키 포인트 특징을 취득하는 단계는,
상기 현재 얼굴 이미지에 대해 키 포인트 검출을 실행하여 소정의 수량의 키 포인트의 위치 좌표를 취득하는 단계; 및
상기 소정의 수량의 키 포인트의 위치 좌표에 기반하여 상기 현재 얼굴 이미지 내의 적어도 하나의 종류의 국부적 얼굴 영역을 나타내는 키 포인트 특징을 결정하는 단계를 포함하는
것을 특징으로 하는 얼굴 모델의 생성 방법.
제5항에 있어서,
상기 소정의 수량의 키 포인트의 위치 좌표에 기반하여 상기 현재 얼굴 이미지 내의 적어도 하나의 종류의 국부적 얼굴 영역을 나타내는 상기 키 포인트 특징을 결정하는 단계는,
상기 소정의 수량의 키 포인트의 위치 좌표에 기반하여 상기 현재 얼굴 이미지 내의 제1 국부적 얼굴 영역을 나타내는 키 포인트 좌표 조합을 당해 제1 국부적 얼굴 영역을 나타내는 상기 키 포인트 특징으로 결정하는 단계 - 당해 제1 국부적 얼굴 영역은 상기 적어도 하나의 종류의 국부적 얼굴 영역 중의 임의의 하나임 -; 또는,
상기 소정의 수량의 키 포인트의 위치 좌표에 기반하여 상기 현재 얼굴 이미지 내의 제1 국부적 얼굴 영역을 나타내는 키 포인트 좌표 조합에 기반하여, 당해 제1 국부적 얼굴 영역을 나타내는 특징 곡선을 피팅하여 당해 제1 국부적 얼굴 영역을 나타내는 상기 키 포인트 특징으로 설정하는 단계를 포함하는
것을 특징으로 하는 얼굴 모델의 생성 방법.
제2항 내지 제4항 중 어느 한 항에 있어서,
상기 적어도 하나의 키 포인트 특징에 기반하여 상기 참조 모델 데이터 베이스로부터 상기 현재 얼굴 이미지와 매칭하는 목표 골격 파라미터를 취득하는 단계는,
상기 현재 얼굴 이미지 내의 각 국부적 얼굴 영역에 대해, 상기 참조 모델 데이터 베이스 중의 상기 국부적 얼굴 영역의 키 포인트 특징과 매칭하는 참조 키 포인트 특징을 상기 국부적 얼굴 영역의 목표 참조 키 포인트 특징으로 결정하는 단계; 및
상기 현재 얼굴 이미지 내의 각 상기 국부적 얼굴 영역의 목표 참조 키 포인트 특징에 대응하는 참조 골격 파라미터에 기반하여 상기 현재 얼굴 이미지의 목표 골격 파라미터를 결정하는 단계를 포함하는
것을 특징으로 하는 얼굴 모델의 생성 방법.
제7항에 있어서,
상기 참조 모델 데이터 베이스 중의 상기 국부적 얼굴 영역의 키 포인트 특징과 매칭하는 참조 키 포인트 특징을 상기 국부적 얼굴 영역의 목표 참조 키 포인트 특징으로 결정하는 단계는,
상기 국부적 얼굴 영역의 키 포인트 특징과 상기 참조 모델 데이터 베이스 중의 대응하는 참조 키 포인트 특징 사이의 유사도를 결정하는 단계; 및
유사도가 가장 높은 상기 참조 키 포인트 특징을 상기 국부적 얼굴 영역의 상기 목표 참조 키 포인트 특징으로 결정하는 단계를 포함하는
것을 특징으로 하는 얼굴 모델의 생성 방법.
제8항에 있어서,
상기 국부적 얼굴 영역의 키 포인트 특징과 상기 참조 모델 데이터 베이스 중의 대응하는 참조 키 포인트 특징 사이의 유사도를 결정하는 단계는,
상기 국부적 얼굴 영역의 키 포인트 좌표 조합에 기반하여 상기 국부적 얼굴 영역을 나타내는 특징 곡선을 피팅하는 단계; 및
상기 특징 곡선과 상기 참조 모델 데이터 베이스 중의 대응하는 참조 특징 곡선 사이의 거리에 기반하여 상기 국부적 얼굴 영역의 키 포인트 특징과 상기 참조 모델 데이터 베이스 중의 대응하는 참조 키 포인트 특징 사이의 유사도를 결정하는 단계를 포함하는
것을 특징으로 하는 얼굴 모델의 생성 방법.
제8항에 있어서,
상기 국부적 얼굴 영역이 적어도 2개의 서브 영역을 포함할 경우, 상기 국부적 얼굴 영역의 키 포인트 특징과 상기 참조 모델 데이터 베이스 중의 하나의 얼굴 이미지 샘플의 대응하는 참조 키 포인트 특징 사이의 유사도를 결정하는 단계는,
상기 국부적 얼굴 영역 중의 각 상기 서브 영역에 대해, 상기 서브 영역의 키 포인트 특징과 상기 참조 모델 데이터 베이스 중의 당해 얼굴 이미지 샘플의 대응하는 서브 영역의 참조 키 포인트 특징 사이의 유사도를 결정하여, 상기 서브 영역에 대응하는 국부적 유사도를 취득하는 단계; 및
각 상기 서브 영역에 대응하는 상기 국부적 유사도에 기반하여 상기 국부적 얼굴 영역과 당해 얼굴 이미지 샘플 내의 대응하는 국부적 얼굴 영역 사이의 전체적인 유사도를, 상기 국부적 얼굴 영역의 키 포인트 특징과 상기 참조 모델 데이터 베이스 중의 당해 얼굴 이미지 샘플의 대응하는 참조 키 포인트 특징 사이의 유사도로 결정하는 단계를 포함하는
것을 특징으로 하는 얼굴 모델의 생성 방법.
현재 얼굴 이미지에 대해 키 포인트 검출을 실행하여 상기 현재 얼굴 이미지의 적어도 하나의 키 포인트 특징을 취득하기 위한 키 포인트 검출 모듈;
참조 모델 데이터 베이스를 결정하기 위한 데이터 베이스 생성 모듈 - 상기 참조 모델 데이터 베이스는 적어도 하나의 참조 키 포인트 특징 및 상기 적어도 하나의 참조 키 포인트 특징에 각각 대응하는 참조 골격 파라미터를 포함함 -;
상기 적어도 하나의 키 포인트 특징에 기반하여 상기 참조 모델 데이터 베이스로부터 상기 현재 얼굴 이미지와 매칭하는 목표 골격 파라미터를 취득하기 위한 파라미터 매칭 모듈; 및
상기 목표 골격 파라미터와 기준 3차원 얼굴 모델에 기반하여 상기 현재 얼굴 이미지에 대응하는 가상 3차원 얼굴 모델을 생성하기 위한 모델 생성 모듈을 구비하는
것을 특징으로 하는 얼굴 모델의 생성 장치.
컴퓨터 프로그램이 기록되어 있는 컴퓨터 판독 가능 기록 매체에 있어서,
상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때에 제1항 내지 제4항 중 어느 한 항에 기재된 방법이 실현되는
것을 특징으로 하는 컴퓨터 판독 가능 기록 매체.
전자 기기에 있어서,
메모리; 프로세서; 및 상기 메모리에 기억되어 있으며, 상기 프로세서 상에서 실행 가능한 컴퓨터 프로그램을 포함하며,
상기 컴퓨터 프로그램이 상기 프로세서에 의해 실행될 때에 제1항 내지 제4항 중 어느 한 항에 기재된 방법이 실현되는
것을 특징으로 하는 전자 기기.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제