KR20230015430A

KR20230015430A - 얼굴 정보를 처리하기 위한 방법 및 장치, 전자 디바이스 및 저장 매체

Info

Publication number: KR20230015430A
Application number: KR1020227045119A
Authority: KR
Inventors: 쭈카이 천; 성웨이 쉬; 춘쩌 린; 취안 왕; 천 첸
Original assignee: 상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드
Priority date: 2020-11-25
Filing date: 2021-07-23
Publication date: 2023-01-31
Also published as: JP2023547623A; CN112396693A; TW202221653A; WO2022110851A1; US20220284678A1

Abstract

본 개시내용은 얼굴 정보를 처리하기 위한 방법 및 장치, 전자 디바이스 및 저장 매체를 제공한다. 이 방법은: 제1 얼굴 이미지 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터를 획득하는 단계; 제1 얼굴 이미지 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터에 기초하여, 미리 설정된 스타일 하의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터를 결정하는 단계; 및 미리 설정된 스타일 하의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터에 기초하여, 미리 설정된 스타일 하의 제1 얼굴 이미지의 가상 얼굴 모델을 생성하는 단계를 포함한다.

Description

얼굴 정보를 처리하기 위한 방법 및 장치, 전자 디바이스 및 저장 매체

관련 출원에 대한 상호 참조

본 출원은 2020년 11월 25일자로 출원된, 발명의 명칭이 "METHOD AND APPARATUS FOR PROCESSING FACE INFORMATION AND ELECTRONIC DEVICE AND STORAGE MEDIUM"인 중국 특허 출원 제202011339595.5호의 우선권을 주장하며, 그 전체 내용은 본 명세서에 참고로 포함된다.

기술분야

본 개시내용은 이미지 처리의 기술 분야에 관한 것으로, 특히 얼굴 정보를 처리하기 위한 방법 및 장치, 및 전자 디바이스 및 저장 매체에 관한 것이다.

인공 지능 기술들이 발전함에 따라, 이미지 처리 기술들은 가상 이미지들의 응용 시나리오들, 예를 들어, 게임들, 애니메이션들 및 소셜 통신들 등에 점점 더 많이 적용된다. 상이한 응용 시나리오들에서, 고전 스타일, 현대 스타일, 서양 스타일 및 중국 스타일과 같은 상이한 스타일들의 가상 얼굴 모델들이 구성될 수 있다. 일반적으로, 각각의 애플리케이션 스타일에 대응하는 가상 얼굴 모델의 구성 방식을 설정하는 것이 요구되어, 낮은 유연성 및 낮은 효율을 초래한다.

본 개시내용의 실시예들은 얼굴 정보를 처리하기 위한 해결책을 적어도 제공한다.

본 개시내용의 실시예들의 제1 양태에 따르면, 얼굴 정보를 처리하는 방법이 제공되고, 이 방법은: 제1 얼굴 이미지, 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터를 획득하는 단계; 제1 얼굴 이미지 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터에 기초하여, 미리 설정된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터를 결정하는 단계; 및 미리 설정된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터에 기초하여, 미리 설정된 스타일에서의 제1 얼굴 이미지의 가상 얼굴 모델을 생성하는 단계를 포함한다.

본 개시내용의 실시예들에서, 상이한 스타일들에 대한 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터에 따르면, 대응하는 스타일 하의 제1 얼굴 이미지의 가상 얼굴 모델이 신속하게 결정될 수 있어, 가상 얼굴 모델이 보다 유연하게 생성되어 미리 설정된 스타일 하의 얼굴 이미지의 가상 얼굴 모델의 생성 효율을 개선할 수 있다.

가능한 구현에서, 제1 얼굴 이미지 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터에 기초하여, 미리 설정된 스타일 하의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터를 결정하는 단계는: 제1 얼굴 이미지의 얼굴 파라미터 값들 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 얼굴 파라미터 값들을 추출하는 단계;- 얼굴 파라미터 값들은 얼굴 형상을 나타내는 파라미터 값들 및 얼굴 표정을 나타내는 파라미터 값들을 포함함 -; 및 제1 얼굴 이미지의 얼굴 파라미터 값들 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 얼굴 파라미터 값들 및 밀집 포인트 클라우드 데이터에 기초하여, 미리 설정된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터를 결정하는 단계를 포함한다.

본 개시내용의 실시예에서, 미리 설정된 스타일 하의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터는 제1 얼굴 이미지 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지의 얼굴 파라미터 값들에 기초하여 결정될 수 있다. 얼굴 파라미터 값들을 사용하여 얼굴을 표현하기 위해 더 적은 수의 파라미터 값들이 사용되기 때문에, 미리 설정된 스타일 하의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터는 보다 신속하게 결정될 수 있다.

가능한 구현에서, 제1 얼굴 이미지의 얼굴 파라미터 값들 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 얼굴 파라미터 값들 및 밀집 포인트 클라우드 데이터에 기초하여, 미리 설정된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터를 결정하는 단계는: 제1 얼굴 이미지의 얼굴 파라미터 값들 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 얼굴 파라미터 값들에 기초하여, 제1 얼굴 이미지와 미리 설정된 스타일의 다수의 제2 얼굴 이미지 사이의 선형 피팅 계수들을 결정하는 단계; 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터 및 선형 피팅 계수들에 기초하여, 미리 설정된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터를 결정하는 단계를 포함한다.

본 개시내용의 실시예에서, 제1 얼굴 이미지와 미리 설정된 스타일의 다수의 제2 얼굴 이미지 사이의 연관 관계를 표시하는 선형 피팅 계수들이 더 적은 수의 얼굴 파라미터 값들을 사용하여 신속하게 획득되고, 추가로, 미리 설정된 스타일의 다수의 제2 얼굴 이미지의 밀집 포인트 클라우드 데이터가 선형 피팅 계수들에 기초하여 조정되어 미리 설정된 스타일 하의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터를 신속하게 획득할 수 있는 것이 제안된다.

가능한 구현에서, 제1 얼굴 이미지의 얼굴 파라미터 값들 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 얼굴 파라미터 값들에 기초하여, 제1 얼굴 이미지와 미리 설정된 스타일의 다수의 제2 얼굴 이미지 사이의 선형 피팅 계수들을 결정하는 단계는: 현재 선형 피팅 계수들을 획득하는 단계- 현재 선형 피팅 계수들이 초기 선형 피팅 계수들인 경우에, 초기 선형 피팅 계수들이 미리 설정됨 -; 현재 선형 피팅 계수들 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 얼굴 파라미터 값들에 기초하여, 제1 얼굴 이미지의 현재 얼굴 파라미터 값들을 예측하는 단계; 예측된 현재 얼굴 파라미터 값들 및 제1 얼굴 이미지의 얼굴 파라미터 값들에 기초하여, 현재 손실 값을 결정하는 단계; 현재 손실 값 및 미리 설정된 선형 피팅 계수들에 대응하는 제약 범위에 기초하여, 조정된 선형 피팅 계수들을 획득하기 위해 현재 선형 피팅 계수들을 조정하는 단계; 및 조정된 선형 피팅 계수들을 현재 선형 피팅 계수들로서 취함으로써, 현재 선형 피팅 계수들을 조정하기 위한 동작이 조정 컷오프 조건을 충족하는 경우에, 현재 선형 피팅 계수들에 기초하여 선형 피팅 계수들이 획득될 때까지, 현재 얼굴 파라미터 값들을 예측하는 단계를 수행하도록 복귀하는 단계를 포함한다.

본 개시내용의 실시예에서, 제1 얼굴 이미지와 미리 설정된 스타일의 다수의 제2 얼굴 이미지 사이의 선형 피팅 계수들을 조정하는 프로세스에서, 선형 피팅 계수들의 정확도를 개선하기 위해, 손실 값 및/또는 조정 횟수에 기초하여 선형 피팅 계수들에 대해 몇번의 조정이 수행되고; 한편, 조정 프로세스 동안, 미리 설정된 선형 피팅 계수들의 제약 범위에 기초하여 조정 제약이 수행되어, 미리 설정된 스타일 하의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터가 획득된 선형 피팅 계수들에 기초하여 보다 합리적으로 결정될 수 있다.

가능한 구현에서, 밀집 포인트 클라우드 데이터는 다수의 대응하는 밀집 포인트들의 좌표 값들을 포함하고; 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터 및 선형 피팅 계수들에 기초하여, 미리 설정된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터를 결정하는 단계는: 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트들의 좌표 값들에 기초하여, 평균 밀집 포인트 클라우드 데이터에서의 대응하는 포인트들의 좌표 값들을 결정하는 단계; 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트들의 좌표 값들 및 평균 밀집 포인트 클라우드 데이터에서의 대응하는 포인트들의 좌표 값들에 기초하여, 다수의 제2 얼굴 이미지에 각각 대응하는 좌표 차이 값들을 결정하는 단계; 다수의 제2 얼굴 이미지에 각각 대응하는 좌표 차이 값들 및 선형 피팅 계수들에 기초하여, 제1 얼굴 이미지에 대응하는 좌표 차이 값들을 결정하는 단계; 및 제1 얼굴 이미지에 대응하는 좌표 차이 값들 및 평균 밀집 포인트 클라우드 데이터에서의 대응하는 포인트들의 좌표 값들에 기초하여, 미리 설정된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터를 결정하는 단계를 포함한다.

본 개시내용의 실시예에서, 제2 얼굴 이미지들이 더 적은 경우에, 미리 설정된 스타일 하의 상이한 제1 얼굴 이미지들의 밀집 포인트 클라우드 데이터는 다수의 제2 얼굴 이미지의 밀집 포인트 클라우드 데이터를 사용하여 정확하게 표현될 수 있다.

가능한 구현에서, 이 방법은: 스타일 업데이트 트리거링 동작에 응답하여, 변경된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터를 획득하는 단계; 제1 얼굴 이미지 및 변경된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터에 기초하여, 변경된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터를 결정하는 단계; 및 변경된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터에 기초하여, 변경된 스타일에서의 제1 얼굴 이미지의 가상 얼굴 모델을 생성하는 단계를 추가로 포함한다.

본 개시내용의 실시예에서, 스타일 업데이트 트리거링 동작을 검출하는 것에 응답하여, 변경된 스타일의 다수의 제2 얼굴 이미지의 미리 저장된 밀집 포인트 클라우드 데이터에 기초하여, 변경된 스타일 하의 제1 얼굴 이미지의 가상 얼굴 모델이 신속하게 획득되고, 따라서 상이한 스타일들 하의 제1 얼굴 이미지의 가상 얼굴 모델들을 결정하는 효율을 향상시킨다.

가능한 구현에서, 이 방법은: 제1 얼굴 이미지에 대응하는 장식 정보 및 피부색 정보를 획득하는 단계; 장식 정보, 피부색 정보 및 제1 얼굴 이미지에 대응하는 생성된 가상 얼굴 모델에 기초하여, 제1 얼굴 이미지에 대응하는 가상 얼굴 이미지를 생성하는 단계를 추가로 포함한다.

본 개시내용의 실시예에서, 사용자에 의해 선택된 장식 정보 및 피부색 정보에 따라, 제1 얼굴 이미지에 대응하는 가상 얼굴 이미지가 생성될 수 있어, 사용자와의 상호작용을 개선하고 사용자 경험들을 증가시킨다.

가능한 구현에서, 얼굴 파라미터 값들은 미리 트레이닝된 신경망에 의해 추출되고, 신경망은 얼굴 파라미터 값들로 미리 라벨링된 샘플 이미지들에 기초하여 트레이닝에 의해 획득된다.

본 개시내용의 실시예에서, 미리 트레이닝된 신경망에 의해 얼굴 이미지의 얼굴 파라미터 값들을 추출하는 것이 얼굴 파라미터 값들에 대한 추출 효율 및 정확도를 개선할 수 있다는 것이 제안된다.

가능한 구현에서, 신경망은 다음 방식: 샘플 이미지 세트를 획득하는 방식- 샘플 이미지 세트는 다수의 샘플 이미지 및 다수의 샘플 이미지 각각에 대응하는 라벨링된 얼굴 파라미터 값들을 포함함 -; 다수의 샘플 이미지를 트레이닝될 신경망에 입력하여 다수의 샘플 이미지 각각에 대응하는 예측된 얼굴 파라미터 값들을 획득하는 방식; 예측된 얼굴 파라미터 값들 및 다수의 샘플 이미지 각각에 대응하는 라벨링된 얼굴 파라미터 값들에 기초하여, 트레이닝된 신경망을 획득하기 위해 트레이닝될 신경망의 네트워크 파라미터 값들을 조정하는 방식으로 미리 트레이닝된다.

본 개시내용의 실시예에서, 얼굴 파라미터 값들을 추출하기 위해 신경망을 트레이닝하는 프로세스 동안, 각각의 샘플 이미지의 라벨링된 얼굴 파라미터 값들에 기초하여 신경망의 네트워크 파라미터 값들에 대해 연속적인 조정들이 수행되어 높은 정확도로 신경망을 획득하는 것이 제안된다.

본 개시내용의 실시예들의 제2 양태에 따르면, 얼굴 정보를 처리하기 위한 장치가 제공되며, 이 장치는: 제1 얼굴 이미지, 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터를 획득하도록 구성된 획득 모듈; 제1 얼굴 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터에 기초하여, 미리 설정된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터를 결정하도록 구성된 결정 모듈; 및 미리 설정된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터에 기초하여, 미리 설정된 스타일에서의 제1 얼굴 이미지의 가상 얼굴 모델을 생성하도록 구성된 생성 모듈을 포함한다.

본 개시내용의 실시예들의 제3 양태에 따르면, 프로세서, 메모리 및 버스를 포함하는 전자 디바이스가 제공되고, 여기서 메모리는 프로세서에 의해 실행가능한 머신 판독가능 명령어들을 저장하고, 전자 디바이스가 실행될 때, 프로세서는 버스를 통해 메모리와 통신하고, 머신 판독가능 명령어들은 제1 양태에서 언급된 바와 같은 방법의 단계들을 구현하기 위해 프로세서에 의해 실행된다.

본 개시내용의 실시예들의 제4 양태에 따르면, 컴퓨터 프로그램들을 저장한 컴퓨터 판독가능 저장 매체가 제공되고, 여기서 컴퓨터 프로그램들은 제1 양태에서 언급된 바와 같은 방법의 단계들을 구현하기 위해 프로세서에 의해 실행된다.

본 개시내용의 상기 목적들, 특징들 및 이점들을 더 명확하고 더 이해가능하게 하기 위해, 첨부 도면들과 함께 바람직한 실시예들에 대한 상세한 설명들이 아래에 이루어질 것이다.

본 개시내용의 실시예들의 기술적 해결책들을 더 명확하게 설명하기 위해, 실시예들의 설명을 위해 요구되는 첨부 도면들이 간략하게 소개될 것이다. 이러한 도면들은 본 개시내용의 실시예들을 도시하고, 명세서와 함께 본 개시내용의 기술적 해결책들을 설명하는 역할을 한다. 이하의 도면들은 본 개시내용의 일부 실시예들을 도시할 뿐이며, 따라서 본 개시내용의 범위를 제한하는 것으로 간주되어서는 안 된다는 것을 이해해야 한다. 본 기술분야의 통상의 기술자는 또한 창조적 작업을 하지 않고 이들 도면들에 기초하여 다른 관련 도면들을 획득할 수 있다.
도 1은 본 개시내용의 하나 이상의 실시예에 따른 얼굴 정보를 처리하는 방법을 예시하는 흐름도이다.
도 2는 본 개시내용의 하나 이상의 실시예에 따른 상이한 밀집 포인트 클라우드 데이터에 의해 표현되는 얼굴들의 3차원 모델들을 예시하는 개략도이다.
도 3은 본 개시내용의 하나 이상의 실시예에 따른 미리 설정된 스타일 하에서 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터를 결정하는 방법을 예시하는 흐름도이다.
도 4는 본 개시내용의 하나 이상의 실시예에 따른 신경망을 트레이닝시키는 방법의 흐름도이다.
도 5는 본 개시내용의 하나 이상의 실시예에 따른 미리 설정된 스타일 하에서 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터를 결정하는 특정 방법을 예시하는 흐름도이다.
도 6은 본 개시내용의 하나 이상의 실시예에 따른 변경된 스타일 하에서의 제1 얼굴 이미지의 가상 얼굴 모델을 결정하는 방법을 예시하는 흐름도이다.
도 7은 본 개시내용의 하나 이상의 실시예에 따른 제1 얼굴 이미지에 대응하는 가상 얼굴 이미지를 생성하는 방법을 예시하는 흐름도이다.
도 8은 본 개시내용의 하나 이상의 실시예에 따른 제1 얼굴 이미지에 대응하는 가상 얼굴 모델을 결정하는 개략도이다.
도 9는 본 개시내용의 하나 이상의 실시예에 따른 얼굴 정보를 처리하는 장치를 예시하는 구조 개략도이다.
도 10은 본 개시내용의 하나 이상의 실시예에 따른 전자 디바이스를 예시하는 개략도이다.

본 개시내용의 실시예들의 목적들, 기술적 해결책들 및 장점들을 더 분명히 하기 위해, 본 개시내용의 실시예들의 기술적 해결책들이 본 개시내용의 실시예들의 첨부된 도면들과 함께 완전하고 분명하게 아래에 설명될 것이다. 명백하게, 본 명세서에 설명된 실시예들은 모든 실시예들이 아니라 본 개시내용의 일부 실시예들에 불과하다. 일반적으로, 첨부 도면들에 도시된 본 개시내용의 실시예들의 컴포넌트들은 상이한 구성들로 배열되고 설계될 수 있다. 따라서, 아래의 첨부 도면들에서 제공되는 본 개시내용의 실시예들의 상세한 설명들은 본 개시내용에 의해 청구되는 보호의 범위를 제한하도록 의도되지 않으며, 본 개시내용의 일부 선택된 실시예들만을 나타낸다. 창의적 작업을 하지 않고 이러한 실시예들에 기초하여 본 기술분야의 통상의 기술자에 의해 획득되는 다른 실시예들은 모두 본 개시내용의 보호 범위 내에 속할 것이다.

다음의 도면들에서 유사한 참조 번호들 및 문자들은 유사한 항목들을 나타낸다는 점에 유의해야 한다. 따라서, 하나의 도면에서 하나의 항목이 정의되면, 그것은 후속 도면들에서 추가로 정의되고 설명되지 않을 것이다.

본 명세서에서 용어 "및/또는"은 3개의 연관 관계를 나타내기 위해서만 사용되는데, 예를 들어, A 및/또는 B는 A가 단독으로 존재하거나, A와 B 둘 다가 존재하거나, B가 단독으로 존재하는 것을 지칭할 수 있다. 또한, 본 명세서에서 용어 "적어도 하나"는 다수의 것 중 임의의 하나 또는 다수의 것 중 적어도 2개의 임의의 조합, 예를 들어, A, B 및 C 중 적어도 하나를 나타내고, A, B 및 C의 세트로부터 선택된 임의의 하나 이상의 요소를 의미한다.

게임들 및 가상 소셜 네트워킹에서, 얼굴 모델링 기술이 종종 사용되는데, 그 이유는 고전 스타일, 현대 스타일, 서양 스타일 및 중국 스타일과 같은 상이한 얼굴 스타일들이 상이한 시나리오들에서 보통 필요하기 때문이다. 상이한 얼굴 스타일들에 대해, 상이한 스타일들에 대응하는 얼굴 모델링 모드들을 구성하는 것이 요구된다. 예를 들어, 고전 스타일에 대한 얼굴 모델링 모드의 경우, 고전 스타일 하에서 다수의 얼굴 이미지 및 각각의 얼굴 모델들을 수집한 다음, 수집된 얼굴 이미지들 및 각각의 얼굴 모델들에 기초하여 고전 스타일을 구성하기 위한 가상 얼굴 모델을 트레이닝시키는 것이 요구된다. 다른 스타일이 요구되는 경우, 다른 스타일에 대한 가상 얼굴 모델도 트레이닝될 필요가 있으며, 따라서 유연성이 불량하고 효율이 낮다.

연구에 기초하여, 본 개시내용은 얼굴 정보를 처리하는 방법을 제공한다. 이 방법에서, 상이한 제1 얼굴 이미지들에 대해, 상이한 스타일들의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터에 기초하여, 대응하는 스타일에서의 제1 얼굴 이미지의 가상 얼굴 모델이 신속하게 결정될 수 있어, 가상 얼굴 모델이 더 유연하게 생성되어 미리 설정된 스타일의 얼굴 이미지에 대한 가상 얼굴 모델의 생성 효율을 향상시킬 수 있다.

본 개시내용의 실시예들의 이해를 용이하게 하기 위해, 본 개시내용의 실시예들에 의해 제공되는 얼굴 정보를 처리하는 방법이 먼저 상세히 소개된다. 본 개시내용의 실시예들에 의해 제공되는 방법의 실행 대상은 일반적으로 컴퓨팅 능력을 갖는 컴퓨터 디바이스를 포함하고, 컴퓨터 디바이스는, 예를 들어, 단말 디바이스, 또는 서버 또는 다른 처리 디바이스를 포함할 수 있다. 단말 디바이스는 사용자 장비(UE), 모바일 디바이스, 사용자 단말기, 핸드헬드 디바이스, 컴퓨팅 디바이스, 또는 웨어러블 디바이스 등을 포함할 수 있다. 일부 가능한 구현들에서, 얼굴 정보를 처리하는 방법은, 프로세서를 통해, 메모리에 저장된 컴퓨터 판독가능 명령어들을 호출함으로써 구현될 수 있다.

도 1에 도시된 바와 같이, 본 개시내용의 실시예는 얼굴 정보를 처리하는 방법을 제공한다. 이 방법은 다음과 같은 단계 S11 내지 단계 S13을 포함한다.

단계 S11에서, 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 제1 얼굴 이미지 및 밀집 포인트 클라우드 데이터가 획득된다.

예시적으로, 제1 얼굴 이미지는 이미지 수집 디바이스에 의해 수집되는 컬러 얼굴 이미지, 또는 그레이 얼굴 이미지일 수 있으며, 이는 본 명세서에서 제한되지 않는다.

예시적으로, 다수의 제2 얼굴 이미지는 상이한 제1 얼굴 이미지들을 표현하기 위해 사용될 수 있는 일부 특징들을 갖는 미리 선택된 이미지들이다. 예를 들어, n개의 제2 얼굴 이미지가 선택되고, 각각의 제1 얼굴 이미지에 대해, 제1 얼굴 이미지는 n개의 제2 얼굴 이미지 및 선형 피팅 계수들을 사용하여 표현될 수 있다. 예시적으로, 다수의 제2 얼굴 이미지가 대부분의 제1 얼굴 이미지들을 피팅 방식으로 표현할 수 있게 하기 위해, 평균(mean)/평균(average) 얼굴 위에 일부 두드러진 특징들을 갖는 얼굴들의 이미지들이 제2 얼굴 이미지들로서 선택될 수 있다. 예를 들어, 평균 얼굴보다 작은 얼굴을 갖는 얼굴들의 이미지들이 제2 얼굴 이미지들로서 선택되거나, 또는 평균 얼굴보다 큰 입을 갖는 얼굴들의 이미지들이 제2 얼굴 이미지들로서 선택되거나, 또는 평균 얼굴보다 큰 눈을 갖는 얼굴들의 이미지들이 제2 얼굴 이미지들로서 선택된다.

예시적으로, 상이한 스타일들의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터, 예를 들어, 만화 스타일의 제2 얼굴 이미지들에 대응하는 밀집 포인트 클라우드 데이터 및 공상 과학 스타일의 제2 얼굴 이미지들에 대응하는 밀집 포인트 클라우드 데이터 등이 획득되고 미리 저장되어, 후속하여 상이한 스타일들 하의 제1 얼굴 이미지의 가상 얼굴 모델들을 결정하는 것을 도울 수 있다. 예시적으로, 가상 얼굴 모델은 가상 3차원 얼굴 모델 또는 가상 2차원 얼굴 모델을 포함할 수 있다.

예시적으로, 각각의 제2 얼굴 이미지에 대해, 제2 얼굴 이미지에 대응하는 밀집 포인트 클라우드 데이터 및 제2 얼굴 이미지의 얼굴 파라미터 값들이 추출될 수 있고, 여기서 얼굴 파라미터 값들은 3DMM(three-dimensional Morphable Face Model) 파라미터 값들을 포함하지만 이에 제한되지 않고; 그 후, 얼굴 파라미터 값들에 기초하여, 밀집 포인트 클라우드 내의 포인트들의 좌표 값들이 조정되어 다수의 스타일의 각각의 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터를 획득하는데, 예를 들어, 고전 스타일의 각각의 제2 얼굴 이미지의 밀집 포인트 클라우드 데이터, 만화 스타일의 각각의 제2 얼굴 이미지의 밀집 포인트 클라우드 데이터를 획득하고, 그 후 상이한 스타일들의 각각의 제2 얼굴 이미지의 밀집 포인트 클라우드 데이터가 저장된다.

예시적으로, 밀집 포인트 클라우드 데이터는 얼굴의 3차원 모델을 표현할 수 있다. 구체적으로, 밀집 포인트 클라우드 데이터는 미리 구성된 3차원 좌표계에서 얼굴 표면의 다수의 꼭지점의 좌표 값들을 포함할 수 있고, 다수의 꼭지점과 다수의 꼭지점의 좌표 값들을 연결함으로써 형성된 3차원 메시(3D-메시)는 얼굴의 3차원 모델을 표현하기 위해 사용될 수 있다. 도 2는 상이한 밀집 포인트 클라우드 데이터에 의해 표현되는 얼굴들의 3차원 모델들을 예시하는 개략도를 도시한다. 밀집 포인트 클라우드 내의 포인트들의 수가 클수록, 밀집 포인트 클라우드 데이터에 의해 표현되는 얼굴의 3차원 모델은 더 미세하게 된다.

예시적으로, 얼굴 파라미터 값들은 얼굴 형상을 나타내는 파라미터 값들 및 얼굴 표정을 나타내는 파라미터 값들을 포함하고, 예를 들어, 얼굴 파라미터 값들은 얼굴 형상을 K차원으로 나타내는 파라미터 값들 및 얼굴 표정을 M차원으로 나타내는 파라미터 값들을 포함할 수 있고, 여기서 얼굴 형상을 K차원으로 나타내는 파라미터 값들은 제2 얼굴 이미지의 얼굴 형상을 집합적으로 반영하고 얼굴 표정을 M차원으로 나타내는 파라미터 값들은 제2 얼굴 이미지의 얼굴 표정을 집합적으로 반영한다.

예시적으로, 치수 K의 값은 보통 150-400의 범위에 있다. 치수 K의 값이 작을수록, 표현된 얼굴 형상이 더 단순해지고, 치수 K의 값이 클수록, 표현된 얼굴 형상이 더 복잡해진다. 치수 M의 값은 보통 10-40의 범위에 있다. 치수 M의 값이 작을수록, 표현된 얼굴 표정이 더 단순해지고, 치수 M의 값이 클수록, 표현된 얼굴 표정이 더 복잡해진다. 따라서, 본 개시내용의 실시예들은 제1 얼굴 이미지에 대응하는 가상 얼굴 모델을 결정하는 것을 돕기 위해 더 적은 수의 얼굴 파라미터 값들을 이용하여 얼굴을 표현하는 것을 제안한다.

예시적으로, 얼굴 파라미터 값들의 의미와 조합하여, 얼굴 파라미터 값들에 기초하여 밀집 포인트 클라우드 데이터에 대응하는 밀집 포인트들의 좌표 값들을 조정하여 다수의 스타일의 각각의 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터를 획득하는 단계는 다수의 스타일의 제2 얼굴 이미지들에 각각 대응하는 밀집 포인트 클라우드 데이터를 획득하기 위해 다수의 스타일에 각각 대응하는 얼굴 파라미터 값들 및 특징 속성들(예를 들어, 만화 스타일의 특징 속성, 고전 스타일의 특징 속성 등)에 기초하여 미리 구성된 3차원 좌표계에서 정점들의 좌표 값들을 조정하는 것으로서 이해될 수 있다.

단계 S12에서, 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 제1 얼굴 이미지 및 밀집 포인트 클라우드 데이터에 기초하여, 미리 설정된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터가 결정된다.

예시적으로, 제1 얼굴 이미지와 미리 설정된 스타일의 다수의 제2 얼굴 이미지 사이의 연관 관계를 발견함으로써, 예를 들어, 선형 피팅 방식을 사용하여, 미리 설정된 스타일의 다수의 제2 얼굴 이미지와 제1 얼굴 이미지 사이의 선형 피팅 계수들이 결정될 수 있고, 추가로, 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 선형 피팅 계수들 및 밀집 포인트 클라우드 데이터에 따라, 미리 설정된 스타일 하의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터가 결정될 수 있다.

단계 S13에서, 미리 설정된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터에 기초하여, 미리 설정된 스타일에서의 제1 얼굴 이미지의 가상 얼굴 모델이 생성된다.

미리 설정된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터가 결정된 후에, 미리 구성된 3차원 좌표계에서의 입력 얼굴에 포함된 다수의 정점의 3차원 좌표 값들이 획득될 수 있어, 미리 설정된 스타일에서의 제1 얼굴 이미지의 가상 얼굴 모델은 3차원 좌표계에서의 다수의 정점의 3차원 좌표 값들에 기초하여 획득될 수 있다.

본 개시내용의 실시예들에서, 상이한 다수의 스타일에 대해, 대응하는 스타일들의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터에 따라, 대응하는 스타일들의 제1 얼굴 이미지의 가상 얼굴 모델들이 신속하게 결정될 수 있고, 따라서 가상 얼굴 모델들이 보다 유연하게 생성되어 미리 설정된 스타일의 얼굴 이미지의 가상 얼굴 모델의 생성 효율을 개선할 수 있다.

단계들 S11 내지 S13은 특정 실시예들과 조합하여 아래에 설명될 것이다.

상기 단계 S12의 경우, 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 제1 얼굴 이미지 및 밀집 포인트 클라우드 데이터에 기초하여, 미리 설정된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터를 결정하는 단계는 도 3에 도시된 바와 같은 다음의 단계들 S121 내지 S122를 포함할 수 있다.

단계 S121에서, 제1 얼굴 이미지의 얼굴 파라미터 값들 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 얼굴 파라미터 값들이 추출되고, 여기서 얼굴 파라미터 값들은 얼굴 형상을 나타내는 파라미터 값들 및 얼굴 표정을 나타내는 파라미터 값들을 포함한다.

예시적으로, 제1 얼굴 이미지의 얼굴 파라미터 값들 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 얼굴 파라미터 값들은 본 명세서에서 미리 트레이닝된 신경망을 사용하여 추출될 수 있다. 예를 들어, 제1 얼굴 이미지 및 각각의 제2 얼굴 이미지는 각각의 얼굴 파라미터 값들을 획득하기 위해 미리 트레이닝된 신경망에 입력될 수 있다.

단계 S122에서, 제1 얼굴 이미지의 얼굴 파라미터 값들 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 얼굴 파라미터 값들 및 밀집 포인트 클라우드 데이터에 기초하여, 미리 설정된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터가 결정된다.

동일한 얼굴을 표현하기 위한 얼굴 파라미터 값들과 밀집 포인트 클라우드 데이터 사이의 대응관계를 고려하면, 제1 얼굴 이미지와 미리 설정된 스타일의 다수의 제2 얼굴 이미지 사이의 연관 관계는 제1 얼굴 이미지 및 다수의 제2 얼굴 이미지에 각각 대응하는 얼굴 파라미터 값들에 따라 결정될 수 있고, 다음으로, 연관 관계 및 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터에 따라, 미리 설정된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터가 결정된다.

본 개시내용의 실시예들에서, 미리 설정된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터는 미리 설정된 스타일에서의 제1 얼굴 이미지 및 다수의 제2 얼굴 이미지의 얼굴 파라미터 값들과 조합하여 결정될 수 있는 것이 제안된다. 얼굴을 표현하기 위해 더 적은 수의 얼굴 파라미터 값들이 사용되기 때문에, 미리 설정된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터는 보다 신속하게 결정될 수 있다.

예시적으로, 전술한 바와 같은 얼굴 파라미터 값들이 미리 트레이닝된 신경망에 의해 추출될 수 있는 경우, 신경망은 얼굴 파라미터 값들로 미리 라벨링된 샘플 이미지들에 기초하여 트레이닝에 의해 획득될 수 있다.

본 개시내용의 실시예들에서, 미리 트레이닝된 신경망을 사용하여 얼굴 이미지의 얼굴 파라미터 값들을 추출하는 것이 얼굴 파라미터 값들에 대한 추출 효율 및 정확도를 증가시킬 수 있는 것이 제안된다.

구체적으로, 신경망은 다음 방식으로 미리 트레이닝될 수 있다. 도 4에 도시된 바와 같이, 이는 다음 단계들 S201 내지 S203을 포함한다.

단계 S201에서, 샘플 이미지 세트가 획득되고, 여기서 샘플 이미지 세트는 다수의 샘플 이미지 및 다수의 샘플 이미지 각각에 대응하는 라벨링된 얼굴 파라미터 값들을 포함한다.

단계 S202에서, 다수의 샘플 이미지가 트레이닝될 신경망에 입력되어 다수의 샘플 이미지 각각에 대응하는 예측된 얼굴 파라미터 값들을 획득한다.

단계 S203에서, 다수의 샘플 이미지 각각에 대응하는 예측된 얼굴 파라미터 값들 및 라벨링된 얼굴 파라미터 값들에 기초하여, 트레이닝될 신경망의 네트워크 파라미터 값들이 트레이닝된 신경망을 획득하기 위해 조정된다.

예시적으로, 많은 수의 얼굴 이미지들 및 각각의 얼굴 이미지에 대응하는 라벨링된 얼굴 파라미터 값들이 본 명세서에서 샘플 이미지 세트로서 수집될 수 있고, 각각의 샘플 이미지가 트레이닝될 신경망에 입력되어 각각의 샘플 이미지에 대응하는 예측된 얼굴 파라미터 값들을 획득하고 트레이닝될 신경망에 의해 출력되고, 또한, 라벨링된 얼굴 파라미터 값들 및 샘플 이미지들에 대응하는 예측된 얼굴 파라미터 값들에 기초하여 트레이닝될 신경망에 대응하는 손실 값이 획득될 수 있고, 다음에 조정 수가 미리 설정된 수에 도달하고/하거나 제3 손실 값이 제3 미리 설정된 임계값보다 작을 때까지 손실 값에 기초하여 트레이닝될 신경망의 네트워크 파라미터 값들이 조정되어, 트레이닝된 신경망을 획득한다.

본 개시내용의 실시예들에서, 얼굴 파라미터 값들을 추출하기 위해 신경망을 트레이닝하는 프로세스 동안, 높은 정확도로 신경망을 획득하기 위해 각각의 샘플 이미지의 라벨링된 얼굴 파라미터 값들에 기초하여 신경망의 네트워크 파라미터 값들에 대해 연속적인 조정들이 수행되는 것이 제안된다.

구체적으로, 상기 단계 S122의 경우, 제1 얼굴 이미지의 얼굴 파라미터 값들 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 얼굴 파라미터 값들 및 밀집 포인트 클라우드 데이터에 기초하여, 미리 설정된 스타일 하의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터를 결정하는 단계는 도 5에 도시된 바와 같은 다음의 단계들 S1231 내지 S1232를 포함한다.

단계 S1231에서, 제1 얼굴 이미지의 얼굴 파라미터 값들 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 얼굴 파라미터 값들에 기초하여, 제1 얼굴 이미지와 미리 설정된 스타일의 다수의 제2 얼굴 이미지 사이의 선형 피팅 계수들이 결정된다.

단계 S1232에서, 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터 및 선형 피팅 계수들에 기초하여, 미리 설정된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터가 결정된다.

예시적으로, 얼굴 파라미터 값들을 3DMM 파라미터 값들로서 이용하여, 제1 얼굴 이미지의 3DMM 파라미터 값들이 제1 얼굴 이미지에 대응하는 얼굴 형상 및 얼굴 표정을 표현할 수 있고 마찬가지로, 각각의 제2 얼굴 이미지에 대응하는 3DMM 파라미터 값들이 제2 얼굴 이미지에 대응하는 얼굴 형상 및 얼굴 표정을 표현할 수 있기 때문에, 제1 얼굴 이미지와 다수의 제2 얼굴 이미지 사이의 연관 관계는 3DMM 파라미터 값들에 기초하여 결정될 수 있다. 구체적으로, 다수의 제2 얼굴 이미지가 n개의 제2 얼굴 이미지를 포함하면, 제1 얼굴 이미지와 다수의 제2 얼굴 이미지 사이의 선형 피팅 계수들은 또한 n개의 선형 피팅 계수 값 세트를 포함한다. 제1 얼굴 이미지의 얼굴 파라미터 값들과 다수의 제2 얼굴 이미지에 각각 대응하는 얼굴 파라미터 값들 사이의 연관 관계는 다음의 수학식 (1)로 표현될 수 있다:

(1)

여기서,

는 제1 얼굴 이미지에 대응하는 3DMM 파라미터 값들을 나타내고;

는 제1 얼굴 이미지와 x번째 제2 얼굴 이미지 사이의 선형 피팅 계수 값들을 나타내고;

는 x번째 제2 얼굴 이미지에 대응하는 얼굴 파라미터 값들을 나타내고; L은 제1 얼굴 이미지에 대응하는 얼굴 파라미터 값들을 결정하기 위해 이용되는 제2 얼굴 이미지들의 수를 나타내고; x는 x번째 제2 얼굴 이미지를 표시하기 위해 이용되고, 여기서

이다.

본 개시내용의 실시예들에서, 제1 얼굴 이미지와 미리 설정된 스타일의 다수의 제2 얼굴 이미지 사이의 연관 관계를 표시하는 선형 피팅 계수들이 더 적은 수의 얼굴 파라미터 값들을 사용하여 신속하게 획득되고, 추가로, 미리 설정된 스타일의 다수의 제2 얼굴 이미지의 밀집 포인트 클라우드 데이터가 선형 피팅 계수들에 기초하여 조정되어 미리 설정된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터를 신속하게 획득할 수 있는 것이 제안된다.

구체적으로, 제1 얼굴 이미지의 얼굴 파라미터 값들 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 얼굴 파라미터 값들에 기초하여, 제1 얼굴 이미지와 미리 설정된 스타일의 다수의 제2 얼굴 이미지 사이의 선형 피팅 계수들을 결정하는 단계는 다음의 단계들 S12311 내지 S12314를 포함할 수 있다.

단계 S12311에서, 현재 선형 피팅 계수들이 획득되고, 여기서 현재 선형 피팅 계수들은 미리 설정된 초기 선형 피팅 계수들을 포함한다.

현재 선형 피팅 계수들은 다음 단계들 S12312 내지 S12314를 통해 적어도 1회 조정된 선형 피팅 계수들, 또는 초기 선형 피팅 계수들일 수 있다. 현재 선형 피팅 계수들이 초기 선형 피팅 계수들일 때, 초기 선형 피팅 계수들은 경험들에 기초하여 미리 설정될 수 있다.

단계 S12312에서, 현재 선형 피팅 계수 및 다수의 제2 얼굴 이미지에 각각 대응하는 얼굴 파라미터 값들에 기초하여, 제1 얼굴 이미지의 현재 얼굴 파라미터 값들이 예측된다.

예시적으로, 다수의 제2 얼굴 이미지에 각각 대응하는 얼굴 파라미터 값들은 상기 미리 트레이닝된 신경망에 의해 추출될 수 있고, 그 후, 현재 선형 피팅 계수들 및 다수의 제2 얼굴 이미지에 각각 대응하는 얼굴 파라미터 값들은 제1 얼굴 이미지의 현재 얼굴 파라미터 값들을 예측하기 위해 상기 수학식 (1)에 입력된다.

단계 S12313에서, 예측된 현재 얼굴 파라미터 값들 및 제1 얼굴 이미지의 얼굴 파라미터 값들에 기초하여, 현재 손실 값이 결정된다.

선형 피팅 계수들을 조정하는 프로세스 동안, 제1 얼굴 이미지의 예측된 현재 얼굴 파라미터 값들과 상기 미리 트레이닝된 신경망을 사용하여 추출된 제1 얼굴 이미지의 얼굴 파라미터 값들 사이의 차이가 존재할 수 있고, 이러한 차이에 기초하여 현재 손실 값이 결정될 수 있다.

단계 S12314에서, 현재 손실 값 및 미리 설정된 선형 피팅 계수들에 대응하는 제약 범위에 기초하여, 현재 선형 피팅 계수들을 조정하여 조정된 선형 피팅 계수들을 획득하고, 현재 선형 피팅 계수들을 조정하기 위한 동작이 조정 컷오프 조건을 충족한다고 결정한 것에 응답하여, 현재 선형 피팅 계수들에 기초하여 제1 얼굴 이미지와 미리 설정된 스타일의 다수의 제2 얼굴 이미지 사이의 선형 피팅 계수들이 획득될 때까지, 조정된 선형 피팅 계수들을 현재 선형 피팅 계수들로서 취하여 현재 얼굴 파라미터 값들을 예측하는 단계를 수행하도록 복귀한다.

예시적으로, 얼굴 파라미터 값들이 얼굴 형상 및 크기를 표현하기 위해 사용되는 것을 고려하면, 가상 얼굴 모델을 표현할 때 선형 피팅 계수들에 기초하여 결정된 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터의 후속 왜곡을 방지하기 위해, 현재 선형 피팅 계수들이 현재 손실 값에 기초하여 조정될 때, 미리 설정된 선형 피팅 계수들의 제약 범위와 조합하는 것이 요구된다는 것이 여기서 제안된다. 예를 들어, 본 명세서에서, 대량의 데이터 통계에 기초하여, 미리 설정된 선형 피팅 계수들에 대응하는 제약 범위는 -0.5와 0.5 사이로 설정된다고 결정된다. 이러한 방식으로, 현재 선형 피팅 계수들이 현재의 손실 값에 기초하여 조정될 때, 각각의 조정된 선형 피팅 계수는 -0.5 내지 0.5이다.

예시적으로, 현재 손실 값 및 미리 설정된 선형 피팅 계수들에 대응하는 제약 범위에 기초하여, 예측된 현재 얼굴 파라미터 값들이 신경망에 기초하여 추출된 얼굴 파라미터 값들에 더 근사하도록 현재 선형 피팅 계수들이 조정되고, 그 후, 조정된 선형 피팅 계수들을 현재 선형 피팅 계수들로서 취하여, 현재 손실 값이 미리 설정된 임계값보다 작고/작거나 반복된 조정들의 수가 미리 설정된 수에 도달할 때까지 단계 S12312를 수행하도록 복귀하여, 선형 피팅 계수들을 획득한다.

본 개시내용의 실시예들에서, 제1 얼굴 이미지와 다수의 제2 얼굴 이미지 사이의 선형 피팅 계수들을 조정하는 프로세스에서, 선형 피팅 계수들의 정확도를 개선하기 위해, 손실 값 및/또는 조정 수에 기초하여 선형 피팅 계수들에 대해 슈회 조정이 수행되고; 한편, 조정 프로세스 동안, 미리 설정된 선형 피팅 계수들의 제약 범위에 기초하여 조정 제약이 수행되어, 미리 설정된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터가 획득된 선형 피팅 계수들에 기초하여 보다 합리적으로 결정될 수 있다.

구체적으로, 밀집 포인트 클라우드 데이터는 다수의 대응하는 밀집 포인트의 좌표 값들을 포함한다. 상기 단계 S1232의 경우, 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터 및 선형 피팅 계수들에 기초하여, 미리 설정된 스타일 하의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터를 결정하는 단계는 다음 단계들 S12321 내지 S12324를 포함할 수 있다.

단계 S12321에서, 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트들의 좌표 값들에 기초하여, 평균 밀집 포인트 클라우드 데이터에서의 대응하는 포인트들의 좌표 값들이 결정된다.

예시적으로, 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 대응하는 평균 밀집 포인트 클라우드 데이터에서의 각각의 포인트의 좌표 값은 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트들의 좌표 값들 및 다수의 제2 얼굴 이미지의 수에 기초하여 결정될 수 있다. 예를 들어, 다수의 제2 얼굴 이미지는 10개의 이미지를 포함하고, 각각의 제2 얼굴 이미지에 대응하는 밀집 포인트 클라우드 데이터는 100개의 포인트의 3차원 좌표 값들을 포함한다. 제1 포인트에 대해, 10개의 제2 얼굴 이미지 내의 제1 포인트들에 대응하는 3차원 좌표 값들이 합산되고, 그 후 합산 결과가 10으로 나누어져 평균 밀집 포인트 클라우드 데이터 내의 대응하는 제1 포인트의 좌표 값으로서 값을 획득한다. 동일한 방식으로, 3차원 좌표계 하에서의 다수의 제2 얼굴 이미지에 대응하는 평균 포인트 클라우드 데이터에서의 각각의 포인트의 좌표 값이 획득될 수 있다. 즉, 다수의 제2 얼굴 이미지의 각각의 밀집 포인트 클라우드 데이터에서의 상호 대응하는 포인트들의 좌표 값들의 평균 값은 평균 밀집 포인트 클라우드 데이터에서의 대응하는 포인트들의 좌표 값을 형성한다.

단계 S12322에서, 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트들의 좌표 값들 및 평균 밀집 포인트 클라우드 데이터에서의 대응하는 포인트들의 좌표 값들에 기초하여, 다수의 제2 얼굴 이미지에 각각 대응하는 좌표 차이 값들이 결정된다.

예시적으로, 평균 밀집 포인트 클라우드 데이터에서의 포인트들의 좌표 값들은 다수의 제2 얼굴 이미지에 대응하는 평균 가상 얼굴 모델을 나타낼 수 있고, 예를 들어, 평균 밀집 포인트 클라우드 데이터에서의 포인트들의 좌표 값들에 의해 표현되는 얼굴 특징 크기(예를 들어, 눈, 눈썹, 귀, 코, 또는 입의 크기)는 다수의 제2 얼굴 이미지에 대응하는 평균 얼굴 특징 크기일 수 있고, 평균 밀집 포인트 클라우드 데이터에서의 포인트들의 좌표 값들에 의해 표현되는 얼굴 크기는 다수의 제2 얼굴 이미지에 대응하는 평균 얼굴 크기 등일 수 있다.

예시적으로, 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트들의 좌표 값들 및 평균 밀집 포인트 클라우드 데이터에서의 대응하는 포인트들의 좌표 값들에 대해 감산을 수행함으로써, 평균 밀집 포인트 클라우드 데이터에서의 대응하는 포인트들의 좌표 값들에 대한 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트들의 좌표 값들의 좌표 차이 값들(또는, 본 명세서에서 "제2 얼굴 이미지에 대응하는 좌표 차이 값들"로 약칭됨)이 획득될 수 있고, 그에 의해 제2 얼굴 이미지와 평균 얼굴 이미지 사이의 차이를 표현한다.

단계 S12323에서, 다수의 제2 얼굴 이미지에 각각 대응하는 좌표 차이 값들 및 선형 피팅 계수들에 기초하여, 제1 얼굴 이미지에 대응하는 좌표 차이 값들이 결정된다.

예시적으로, 선형 피팅 계수들은 제1 얼굴 이미지의 얼굴 파라미터 값들과 다수의 제2 얼굴 이미지에 각각 대응하는 얼굴 파라미터 값들 사이의 연관 관계를 나타낼 수 있고, 얼굴 이미지의 얼굴 파라미터 값들과 얼굴 이미지에 대응하는 밀집 포인트 클라우드 데이터 사이에 대응관계들이 존재한다. 따라서, 선형 피팅 계수들은 또한 제1 얼굴 이미지에 대응하는 밀집 포인트 클라우드 데이터와 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터 사이의 연관 관계를 나타낼 수 있다.

동일한 평균 밀집 포인트 클라우드 데이터에 대응하는 경우에, 선형 피팅 계수들은 또한 제1 얼굴 이미지에 대응하는 좌표 차이 값들과 다수의 제2 얼굴 이미지에 각각 대응하는 좌표 차이 값들 사이의 연관 관계를 나타낼 수 있다. 따라서, 다수의 제2 얼굴 이미지에 각각 대응하는 좌표 차이 값들 및 선형 피팅 계수들에 기초하여, 평균 밀집 포인트 클라우드 데이터에 대한 제1 얼굴 이미지에 대응하는 밀집 포인트 클라우드 데이터의 좌표 차이 값들이 결정될 수 있다.

단계 S12324에서, 제1 얼굴 이미지에 대응하는 좌표 차이 값들 및 평균 밀집 포인트 클라우드 데이터에서의 대응하는 포인트들의 좌표 값들에 기초하여, 미리 설정된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터가 결정된다.

제1 얼굴 이미지에 대응하는 좌표 차이 값들과 평균 밀집 포인트 클라우드 데이터에서의 대응하는 포인트들의 좌표 값들에 대한 합산을 수행함으로써, 제1 얼굴 이미지에 대응하는 밀집 포인트 클라우드 데이터가 획득될 수 있고, 이는 구체적으로 제1 얼굴 이미지에 대응하는 밀집 포인트들의 좌표 값들을 포함한다. 밀집 포인트 클라우드 데이터에 기초하여, 제1 얼굴 이미지에 대응하는 가상 얼굴 모델이 표현될 수 있다.

구체적으로, 제1 얼굴 이미지에 대응하는 밀집 포인트 클라우드 데이터는 다음 방법들을 통해 결정될 수 있다. 밀집 포인트 클라우드 데이터와 3DMM 사이의 관계를 고려하면, 제1 얼굴 이미지에 대응하는 밀집 포인트 클라우드 데이터는

에 의해 표현될 수 있고, 이는 구체적으로 다음의 수학식 (2)에서 결정될 수 있다:

(2)

여기서,

는 x번째 제2 얼굴 이미지에 대응하는 밀집 포인트들의 좌표 값들을 나타내고;

는 다수의 제2 얼굴 이미지에 기초하여 결정된 평균 밀집 포인트 클라우드 데이터에서의 대응하는 포인트들의 좌표 값들을 나타내고;

는 평균 밀집 포인트 클라우드 데이터에서의 대응하는 포인트들의 좌표 값들에 대한 제1 얼굴 이미지에 대응하는 밀집 포인트들의 좌표 값들의 좌표 차이 값들을 나타낸다.

단계들 S12321 내지 S12324, 즉, 수학식 (2)에 의해 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터가 결정될 때. 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터 및 선형 피팅 계수들에 기초하여 제1 얼굴 이미지에 대응하는 밀집 포인트 클라우드 데이터를 결정하는 것과 비교하여, 상기 방식은 다음의 이점들을 포함한다.

본 개시내용의 실시예들에서, 선형 피팅 계수들이 다수의 제2 얼굴 이미지에 각각 대응하는 좌표 차이 값들에 대한 선형 피팅을 수행하기 위해 사용되기 때문에, 평균 밀집 포인트 클라우드 데이터에서의 대응하는 포인트들의 좌표 값들에 대한 제1 얼굴 이미지에 대응하는 밀집 포인트들의 좌표 값들의 좌표 차이 값들(또는, 본 명세서에서 "제1 얼굴 이미지에 대응하는 좌표 차이 값들"로 약칭됨)이 획득될 수 있다. 따라서, 이러한 선형 피팅 계수들의 합이 1과 동일하다고 정의할 필요가 없고, 제1 얼굴 이미지에 대응하는 좌표 차이 값들과 평균 밀집 포인트 클라우드 데이터에서의 대응하는 포인트들의 좌표 값들을 가산함으로써 법선 얼굴을 표현하는 밀집 포인트 클라우드 데이터가 획득될 수 있다.

또한, 더 적은 제2 얼굴 이미지들의 경우에, 선형 피팅 계수들은 본 개시내용의 실시예들에 의해 제공되는 방식에 기초하여 합리적으로 조정될 수 있어, 제1 얼굴 이미지에 대응하는 밀집 포인트 클라우드 데이터는 더 적은 수의 제2 얼굴 이미지들을 사용하여 결정될 수 있다. 예를 들어, 제1 얼굴 이미지의 눈들의 크기는 작고, 상기 방식으로, 다수의 제2 얼굴 이미지의 눈 크기들을 정의하지만 선형 피팅 계수들에 기초하여 좌표 차이 값들을 조정할 필요가 없어서, 작은 눈들을 나타내는 밀집 포인트 클라우드 데이터는 조정된 좌표 차이 값들 및 평균 밀집 포인트 클라우드 데이터에서의 대응하는 포인트들의 좌표 값들을 중첩시킴으로써 획득될 수 있다. 구체적으로, 다수의 제2 얼굴 이미지가 큰 눈들을 포함할 때, 대응하는 평균 밀집 포인트 클라우드 데이터에 의해 표현되는 눈들은 또한 큰 눈들이고, 선형 피팅 계수들은 작은 눈들을 표현하는 밀집 포인트 클라우드 데이터가 평균 밀집 포인트 클라우드 데이터에서의 대응하는 포인트들의 좌표 값들 및 조정된 좌표 차이 값들에 대한 합산을 수행함으로써 획득될 수 있도록 여전히 조정될 수 있다.

따라서, 본 개시내용의 실시예들에서, 상이한 제1 얼굴 이미지들에 대해, 제1 얼굴 이미지에 대응하는 밀집 포인트 클라우드 데이터를 결정하기 위해 얼굴 특징들에서 제1 얼굴 이미지와 유사한 제2 얼굴 이미지들을 선택할 필요가 없다. 이러한 방식으로, 더 적은 제2 얼굴 이미지들의 경우에, 미리 설정된 스타일의 상이한 제1 얼굴 이미지들의 밀집 포인트 클라우드 데이터는 다수의 제2 얼굴 이미지의 밀집 포인트 클라우드 데이터를 사용하여 정확하게 표현될 수 있다.

상기 방식으로, 미리 설정된 스타일에서의 제1 얼굴 이미지의 가상 얼굴 모델이 획득될 수 있고, 예를 들어, 고전 스타일에서의 제1 얼굴 이미지의 가상 얼굴 모델이 획득된다. 제1 얼굴 이미지에 대응하는 가상 얼굴 모델의 스타일을 조정하는 것, 예를 들어, 현대 스타일로 제1 얼굴 이미지의 가상 얼굴 모델을 생성하는 것이 요구될 때, 일 구현에서, 도 6에 도시된 바와 같이, 본 개시내용의 실시예들의 방법은: 스타일 업데이트 트리거링 동작에 응답하여, 변경된 스타일로 제1 얼굴 이미지의 가상 얼굴 모델을 획득하는 단계를 추가로 포함하고, 이는 구체적으로 다음 단계들 S301 내지 S303을 포함한다.

단계 S301에서, 스타일 업데이트 트리거링 동작에 응답하여, 변경된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터가 획득된다.

예시적으로, 다수의 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터가 미리 저장될 수 있기 때문에, 스타일 업데이트 트리거링 동작을 수신한 후에, 변경된 스타일의 각각의 제2 얼굴 이미지의 밀집 포인트 클라우드 데이터가 직접 획득될 수 있다.

단계 S302에서, 변경된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 제1 얼굴 이미지 및 밀집 포인트 클라우드 데이터에 기초하여, 변경된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터가 결정된다.

본 명세서에서 변경된 스타일 하에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터를 결정하는 방식은 미리 설정된 스타일 하에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터를 결정하는 상기 방식과 유사하고, 본 명세서에서 반복되지 않을 것이다.

단계 S303에서, 변경된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터에 기초하여, 변경된 스타일에서의 제1 얼굴 이미지의 가상 얼굴 모델이 생성된다.

마찬가지로, 본 명세서에서 변경된 스타일에서의 제1 얼굴 이미지의 가상 얼굴 모델을 생성하는 방식은 미리 설정된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터에 기초하여 미리 설정된 스타일에서의 제1 얼굴 이미지의 가상 얼굴 모델을 생성하는 방식과 유사하고, 본 명세서에서 반복되지 않을 것이다.

본 개시내용의 실시예들에서, 스타일 업데이트 트리거링 동작이 검출된 후에, 변경된 스타일에서의 제1 얼굴 이미지의 가상 얼굴 모델은 변경된 스타일의 다수의 제2 얼굴 이미지의 미리 저장된 밀집 포인트 클라우드 데이터에 직접 기초하여 신속하게 획득될 수 있고, 따라서 상이한 스타일들의 제1 얼굴 이미지의 가상 얼굴 모델들을 생성하는 효율을 향상시킨다.

일부 시나리오들에서, 가상 얼굴 모델이 획득된 후에, 제1 얼굴 이미지에 대응하는 가상 얼굴 이미지를 생성하는 것이 추가로 요구되고, 여기서 가상 얼굴 이미지는 3차원 얼굴 이미지 또는 2차원 얼굴 이미지일 수 있다. 일 구현에서, 도 7에 도시된 바와 같이, 본 개시내용의 실시예들에 의해 제공되는 방법은 다음 단계들을 추가로 포함한다:

단계 S401에서, 제1 얼굴 이미지에 대응하는 장식 정보 및 피부색 정보가 획득된다.

단계 S402에서, 장식 정보, 피부색 정보 및 제1 얼굴 이미지에 대응하는 가상 얼굴 모델에 기초하여, 제1 얼굴 이미지에 대응하는 가상 얼굴 이미지가 생성된다.

예시적으로, 장식 정보는 헤어 스타일 및 헤어 액세서리 등을 포함할 수 있다. 장식 정보 및 피부색 정보는 제1 얼굴 이미지에 대한 이미지 인식을 수행함으로써 획득되거나 사용자에 의해 선택된 대로 획득될 수 있다. 예를 들어, 가상 얼굴 이미지 생성 인터페이스는 장식 정보 및 피부색 정보에 대한 옵션 컬럼을 제공하고, 제1 얼굴 이미지에 대응하는 장식 정보 및 피부색 정보는 옵션 컬럼에서 사용자에 의한 선택 결과에 기초하여 결정될 수 있다.

또한, 제1 얼굴 이미지에 포함된 장식 정보 및 피부색 정보가 결정된 후에, 제1 얼굴 이미지에 대응하는 가상 얼굴 이미지는 제1 얼굴 이미지의 가상 얼굴 모델에 기초하여 생성될 수 있고, 여기서 제1 얼굴 이미지의 제1 얼굴 모델은 미리 설정된 스타일에서의 제1 얼굴 이미지에 대한 가상 얼굴 모델, 또는 변경된 스타일에서의 제1 얼굴 이미지에 대한 가상 얼굴 모델일 수 있다. 이러한 방식으로, 생성된 가상 얼굴 이미지는 특정 스타일을 갖는 가상 얼굴 이미지일 수 있다.

본 개시내용의 실시예들에서, 제1 얼굴 이미지에 대응하는 가상 얼굴 이미지는 사용자에 의해 선택된 장식 정보 및 피부색 정보에 기초하여 생성될 수 있어, 사용자와의 상호작용을 개선하고 사용자 경험들을 증가시킨다.

얼굴 정보를 처리하는 프로세스가 특정의 실시예를 들어 이하에서 상세히 기술될 것이다. 프로세스는 이하의 단계들 S501 내지 S507을 포함한다.

단계 S501에서, 샘플 이미지 세트가 획득되고, 여기서 샘플 이미지 세트는 다수의 샘플 이미지 및 각각의 샘플 이미지에 대응하는 3DMM 파라미터 값들을 포함한다.

단계 S502에서, 얼굴 이미지에 대응하는 3DMM 파라미터 값들을 예측할 수 있는 신경망을 획득하기 위해 샘플 이미지 세트에 기초하여 신경망이 트레이닝된다.

단계 S503에서, 트레이닝된 신경망을 사용함으로써, 제1 얼굴 이미지에 대응하는 3DMM 파라미터 값들

및 다수의 제2 얼굴 이미지에 대응하는 3DMM 파라미터 값들

이 결정된다.

단계 S504에서,

및

에 기초하여,

를 사용하여

을 표현할 때의 가중치들

이 결정된다.

는 수학식:

에 의해 결정될 수 있고, 여기서

는 제1 얼굴 이미지와 다수의 제2 얼굴 이미지 사이의 선형 피팅 계수들을 나타낼 수 있다.

단계 S505에서, IN3dmm이 가능한 한

*BASE3dmm에 근접하도록, 그리고 최적화 프로세스 동안,

의 값들이 -0.5 및 0.5의 범위가 될 수 있게 하기 위해서

의 값들이 제약되도록, 머신 학습 알고리즘을 이용하는 것에 의해서 단계 504에서의

가 연속적으로 최적화된다.

단계 S506에서, 다수의 제2 얼굴 이미지에 각각 대응하는 3D-메시들(

으로 표현될 수 있음)에 기초하여, 평균 얼굴 이미지에 대응하는 3D-메시(

으로 표현됨)가 결정되고, 여기서 3D-메시는 밀집 포인트 클라우드 데이터에 기초하여 결정될 수 있고 3D-메시와 밀집 포인트 클라우드 데이터 사이의 관계는 도 2에 대한 상기 설명들을 참조할 수 있다.

단계 S507에서, 다수의 제2 얼굴 이미지에 대응하는

, 평균 얼굴 이미지에 대응하는

, 및

에 기초하여, 제1 얼굴 이미지의 3D-메시(즉,

)가 결정된다.

상기 단계들 S501 내지 S502는 제1 얼굴 이미지를 처리하기 전에 완료될 수 있다. 매번 수신된 새로운 제1 얼굴 이미지를 처리할 때, 처리는 단계 S503으로부터 시작될 수 있다. 물론, 변경된 스타일에서의 제1 얼굴 이미지에 대한 가상 얼굴 모델만이 결정되면, 처리는 단계 S506으로부터 시작될 수 있다. 따라서, 얼굴 이미지에 대응하는 3DMM 파라미터 값들을 예측할 수 있는 신경망이 획득된 후에, 미리 설정된 스타일로 매번 획득된 제1 얼굴 이미지에 대한 가상 얼굴 모델이 신속하게 결정될 수 있다. 제1 얼굴 이미지와 상이한 스타일들의 다수의 제2 얼굴 이미지 사이의 선형 피팅 계수들이 획득된 후에, 특정된 제1 얼굴 이미지에 대한 스타일을 변경하는 것이 요구될 때, 상이한 스타일들의 제1 얼굴 이미지에 대한 가상 얼굴 모델들이 신속하게 획득될 수 있다.

도 8은 제1 얼굴 이미지(81)에 대응하는 가상 얼굴 모델을 결정하는 프로세스를 예시하는 개략도이다. 도 8에 도시된 바와 같이, 미리 설정된 스타일의 다수의 제2 얼굴 이미지(82)에 기초하여 평균 얼굴 이미지(83)가 결정될 수 있고, 그 후, 제1 얼굴 이미지(81), 다수의 제2 얼굴 이미지(82) 및 평균 얼굴 이미지(83)에 기초하여, 미리 설정된 스타일에서의 제1 얼굴 이미지의 가상 얼굴 모델(84)이 결정된다.

본 기술분야의 통상의 기술자라면, 특정한 구현들의 상기 방법에서, 다양한 단계들을 작성하는 시퀀스는 구현 프로세스에 대한 임의의 제한을 구성하는 엄격한 실행 시퀀스를 의미하지 않으며, 다양한 단계들의 특정한 실행 시퀀스는 그의 기능 및 가능한 내부 로직에 기초하여 결정되어야 한다는 것을 이해할 수 있다.

동일한 기술적 아이디어에 기초하여, 본 개시내용의 실시예는 얼굴 정보를 처리하는 상기 방법에 대응하는 얼굴 정보를 처리하는 장치를 추가로 제공한다. 문제들을 해결하기 위한 본 개시내용의 실시예의 장치의 원리는 본 개시내용의 실시예들의 상기 방법과 유사하므로, 장치의 구현은 방법 구현을 참조할 수 있고, 따라서 본 명세서에서 반복되지 않을 것이다.

도 9에 도시된 바와 같이, 본 개시내용의 실시예는 얼굴 정보를 처리하기 위한 장치(600)를 제공한다. 얼굴 정보를 처리하기 위한 장치(600)는 다음 모듈들:

제1 얼굴 이미지, 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터를 획득하도록 구성된 획득 모듈(601);

제1 얼굴 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터에 기초하여, 미리 설정된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터를 결정하도록 구성된 결정 모듈(602); 및

미리 설정된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터에 기초하여, 미리 설정된 스타일에서의 제1 얼굴 이미지의 가상 얼굴 모델을 생성하도록 구성된 생성 모듈(603)을 포함할 수 있다.

가능한 구현에서, 제1 얼굴 이미지 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터에 기초하여, 미리 설정된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터를 결정하기 위해 사용될 때, 결정 모듈(602)은:

제1 얼굴 이미지의 얼굴 파라미터 값들 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 얼굴 파라미터 값들을 추출하고- 얼굴 파라미터 값들은 얼굴 형상을 나타내는 파라미터 값들 및 얼굴 표정을 나타내는 파라미터 값들을 포함함 -;

제1 얼굴 이미지의 얼굴 파라미터 값들 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 얼굴 파라미터 값들 및 밀집 포인트 클라우드 데이터에 기초하여, 미리 설정된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터를 결정하도록 구성된다.

가능한 구현에서, 제1 얼굴 이미지의 얼굴 파라미터 값들 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 얼굴 파라미터 값들 및 밀집 포인트 클라우드 데이터에 기초하여, 미리 설정된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터를 결정하기 위해 사용될 때, 결정 모듈(602)은:

제1 얼굴 이미지의 얼굴 파라미터 값들 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 얼굴 파라미터 값들에 기초하여, 제1 얼굴 이미지와 다수의 제2 얼굴 이미지 사이의 선형 피팅 계수들을 결정하고;

미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트들의 좌표 값들, 평균 밀집 포인트 클라우드 데이터에서의 대응하는 포인트들의 좌표 값들 및 선형 피팅 계수들에 기초하여, 미리 설정된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터를 결정하도록 구성된다.

가능한 구현에서, 제1 얼굴 이미지의 얼굴 파라미터 값들 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 얼굴 파라미터 값들에 기초하여, 제1 얼굴 이미지와 다수의 제2 얼굴 이미지 사이의 선형 피팅 계수들을 결정하기 위해 사용될 때, 결정 모듈(602)은:

현재 선형 피팅 계수들을 획득하고- 현재 선형 피팅 계수들은 미리 설정된 초기 선형 피팅 계수들을 포함함 -;

현재 선형 피팅 계수들 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 얼굴 파라미터 값들에 기초하여, 제1 얼굴 이미지의 현재 얼굴 파라미터 값들을 예측하고;

예측된 현재 얼굴 파라미터 값들, 제1 얼굴 이미지의 얼굴 파라미터 값들 및 미리 설정된 선형 피팅 계수들에 대응하는 제약 범위에 기초하여, 현재 손실 값을 결정하고;

현재 손실 값에 기초하여, 현재 선형 피팅 계수들을 조정하여 조정된 선형 피팅 계수들을 획득하고;

조정된 선형 피팅 계수들을 현재 선형 피팅 계수들로서 취함으로써, 현재 선형 피팅 계수들을 조정하기 위한 동작이 조정 컷오프 조건을 충족하는 경우에, 현재 선형 피팅 계수들에 기초하여 선형 피팅 계수들이 획득될 때까지, 현재 얼굴 파라미터 값들을 예측하는 단계를 수행할 수 있게 복귀하도록 구성된다.

가능한 구현에서, 밀집 포인트 클라우드 데이터는 다수의 대응하는 밀집 포인트의 좌표 값들을 포함하고; 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터 및 선형 피팅 계수들에 기초하여, 미리 설정된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터를 결정하기 위해 사용될 때, 결정 모듈(602)은:

미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트들의 좌표 값들에 기초하여, 평균 밀집 포인트 클라우드 데이터에서의 대응하는 포인트들의 좌표 값들을 결정하고;

다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트들의 좌표 값들 및 평균 밀집 포인트 클라우드 데이터에서의 대응하는 포인트들의 좌표 값들에 기초하여, 다수의 제2 얼굴 이미지에 각각 대응하는 좌표 차이 값들을 결정하고;

다수의 제2 얼굴 이미지에 각각 대응하는 좌표 차이 값들 및 선형 피팅 계수들에 기초하여, 제1 얼굴 이미지에 대응하는 좌표 차이 값들을 결정하고;

제1 얼굴 이미지에 대응하는 좌표 차이 값들 및 평균 밀집 포인트 클라우드 데이터에서의 대응하는 포인트들의 좌표 값들에 기초하여, 미리 설정된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터를 결정하도록 구성된다.

가능한 구현에서, 장치는 업데이트 모듈(604)을 추가로 포함하고, 이 업데이트 모듈은:

스타일 업데이트 트리거링 동작에 응답하여, 변경된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터를 획득하고;

제1 얼굴 이미지 및 변경된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터에 기초하여, 변경된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터를 결정하고;

변경된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터에 기초하여, 변경된 스타일에서의 제1 얼굴 이미지의 가상 얼굴 모델을 생성하도록 구성된다.

가능한 구현에서, 생성 모듈(603)은:

제1 얼굴 이미지에 대응하는 장식 정보 및 피부색 정보를 획득하고;

장식 정보, 피부색 정보 및 제1 얼굴 이미지에 대응하는 생성된 가상 얼굴 모델에 기초하여, 제1 얼굴 이미지에 대응하는 가상 얼굴 이미지를 생성하도록 추가로 구성된다.

가능한 구현에서, 장치는 이하의 방식:

샘플 이미지 세트를 획득하는 방식- 샘플 이미지 세트는 다수의 샘플 이미지 및 다수의 샘플 이미지 각각에 대응하는 라벨링된 얼굴 파라미터 값들을 포함함 -;

다수의 샘플 이미지를 트레이닝될 신경망에 입력하여 다수의 샘플 이미지 각각에 대응하는 예측된 얼굴 파라미터 값들을 획득하는 방식; 및

예측된 얼굴 파라미터 값들 및 다수의 샘플 이미지 각각에 대응하는 라벨링된 얼굴 파라미터 값들에 기초하여, 트레이닝된 신경망을 획득하기 위해 트레이닝될 신경망의 네트워크 파라미터 값들을 조정하는 방식으로 신경망을 트레이닝하도록 구성된 트레이닝 모듈(606)을 추가로 포함한다.

장치 내의 다양한 모듈들의 처리 흐름들 및 다양한 모듈들 사이의 상호작용 흐름들은 방법 실시예들의 관련 설명들을 참조할 수 있으며, 본 명세서에서 반복되지 않을 것이다.

도 1의 얼굴 정보를 처리하는 방법에 대응하여, 본 개시내용의 실시예는 전자 디바이스(700)를 추가로 제공한다. 도 10에 도시된 바와 같이, 전자 디바이스(700)는 프로세서(71), 메모리(72) 및 버스(73)를 포함할 수 있다. 메모리(72)는 실행가능 명령어들을 저장하도록 구성되고, 내부 메모리(721) 및 외부 메모리(722)를 포함한다. 내부 메모리(721)는 또한 프로세서(71)의 동작 데이터 및 하드 디스크와 같은 외부 메모리(722)와 교환되는 데이터를 일시적으로 저장하도록 구성된 내부 저장 디바이스라고 불린다. 프로세서(71)는 내부 메모리(721)를 통해 외부 메모리(722)와 데이터를 교환한다. 전자 디바이스(700)가 실행될 때, 프로세서(71)는 버스(73)를 통해 메모리(72)와 통신하여 다음 명령어들: 제1 얼굴 이미지 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터를 획득하는 명령어; 제1 얼굴 이미지 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터에 기초하여, 미리 설정된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터를 결정하는 명령어; 및 미리 설정된 스타일에서의 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터에 기초하여, 미리 설정된 스타일에서의 제1 얼굴 이미지의 가상 얼굴 모델을 생성하는 명령어를 수행한다.

본 개시내용의 일 실시예는 컴퓨터 프로그램들을 저장한 컴퓨터 판독가능 저장 매체를 추가로 제공하며, 여기서 컴퓨터 프로그램들은 프로세서에 의해 실행되어 상기 방법 실시예들에서 언급된 바와 같은 얼굴 정보를 처리하는 방법의 단계들을 구현한다. 저장 매체는 휘발성 또는 비휘발성 컴퓨터 판독가능 저장 매체일 수 있다.

본 개시내용의 일 실시예는 프로그램 코드들을 운반하는 컴퓨터 프로그램 제품을 추가로 제공하고, 여기서 프로그램 코드들에 포함된 명령어들은 상기 방법 실시예들에서 언급된 얼굴 정보를 처리하는 방법의 단계들을 수행하기 위해 사용된다. 따라서, 관련 세부사항들은 상기 방법 실시예들을 참조할 수 있고 본 명세서에서 반복되지 않을 것이다.

상기 컴퓨터 프로그램 제품은 구체적으로 하드웨어, 또는 소프트웨어 또는 이들의 조합에 의해 구현될 수 있다. 옵션 실시예에서, 컴퓨터 프로그램 제품은 컴퓨터 저장 매체로서 구체적으로 구현된다. 다른 옵션 실시예에서, 컴퓨터 프로그램 제품은 SDK(software development kit) 등과 같은 소프트웨어 제품으로 구체적으로 구현된다.

본 기술분야의 통상의 기술자들은, 설명의 편의성 및 명료성을 위해, 상기 시스템 및 장치의 특정 작동 프로세스들은 전술한 방법 실시예들의 대응하는 프로세스들을 참조할 수 있고, 본 명세서에서 반복되지 않을 것이라는 점을 명확하게 이해할 수 있다. 본 개시내용에 의해 제공된 수개의 실시예에서, 개시된 시스템, 장치 및 방법은 다른 방식들로 구현될 수 있다는 것이 이해되어야 한다. 설명된 장치 실시예들은 예시적일 뿐이며, 예를 들어, 유닛들의 분할은 단지 논리적 기능 분할이고, 실제 구현에서, 분할은 다른 방식으로 달성될 수 있다. 다른 예로서, 수개의 유닛 또는 어셈블리가 다른 시스템 내로 조합 또는 통합될 수 있고, 또는 일부 특징들이 무시되거나 실행되지 않을 수 있다. 다른 점에서, 표시되거나 논의된 상호 결합 또는 직접 결합 또는 통신 접속은 일부 통신 인터페이스들을 통해 달성될 수 있고, 장치 또는 유닛들의 간접 결합 또는 통신 접속은 전기적 또는 기계적 또는 다른 형태일 수 있다.

별개의 멤버들로서 설명된 유닛들은 물리적으로 분리될 수 있거나 분리되지 않을 수 있고, 유닛들로서 표시된 멤버들은 물리적 유닛들일 수 있거나 물리적 유닛들이 아닐 수 있으며, 즉 한 장소에 위치될 수 있거나 다수의 네트워크 유닛에 분산될 수 있다. 모듈들의 일부 또는 전부는 실시예들에서의 해결책들의 목적들을 구현하기 위해 실제 요건들에 따라 선택될 수 있다.

또한, 본 개시내용의 다양한 실시예들에서의 다양한 기능 유닛들은 하나의 처리 유닛으로 통합될 수 있거나, 물리적으로 개별적으로 존재할 수 있거나, 또는 그 둘 이상의 유닛들이 하나의 유닛으로 통합될 수 있다.

기능들은, 소프트웨어 기능 유닛들의 형태로 구현되고 독립된 제품들로서 판매되거나 사용되는 경우, 프로세서 실행가능 비휘발성 컴퓨터 판독가능 저장 매체에 저장될 수 있다. 이러한 이해에 기초하여, 본질적으로 본 개시내용의 기술적 방식 또는 종래 기술 또는 기술적 방식의 일부에 기여하는 부분은 소프트웨어 제품의 형태로 구현될 수 있고, 소프트웨어 제품은 저장 매체에 저장되고, 컴퓨터 디바이스(예를 들어, 개인용 컴퓨터, 서버 또는 네트워크 디바이스)가 본 개시내용의 실시예들에 의해 개시된 방법의 단계들의 전부 또는 일부를 실행할 수 있게 하기 위한 몇몇 명령어들을 포함하고; 상기 저장 매체들은 프로그램 코드들을 저장할 수 있는 USB 디스크, 모바일 하드 디스크, 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 디스켓 또는 컴팩트 디스크 등과 같은 다양한 매체들을 포함한다.

마지막으로, 상기 실시예들은 본 개시내용을 제한하기보다는 본 개시내용의 기술적 해결책들을 설명하기 위해 사용되는 본 개시내용의 특정 구현들에 불과하다는 점에 유의해야 한다. 본 개시내용의 보호의 범위는 이에 한정되지 않는다. 이전의 실시예들을 참조하여 본 개시내용에 대해 상세한 설명이 이루어졌지만, 본 기술분야의 통상의 기술자들은 이 종래 기술의 임의의 통상의 기술자가 여전히 상기 실시예들에 기록된 기술적 해결책들에 대한 수정들 또는 용이하게-상상할 수 있는 변경들을 행하거나 본 개시내용의 기술적 범위 내에서 그 안의 기술적 특징들의 일부에 대한 등가의 대체들을 행할 수 있다는 것을 이해해야 한다. 이러한 수정들, 변경들 및 대체들은 대응하는 기술적 해결책들의 본질이 본 개시내용의 실시예들의 기술적 해결책들의 사상 및 범위로부터 벗어나게 하지 않을 것이며, 모두 본 개시내용의 보호 범위 내에 속할 것이다. 따라서, 본 개시내용의 보호 범위는 첨부된 청구범위에 의해 표시된다.

Claims

얼굴 정보를 처리하는 방법으로서,
제1 얼굴 이미지, 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터를 획득하는 단계;
상기 제1 얼굴 이미지 및 상기 미리 설정된 스타일의 상기 다수의 제2 얼굴 이미지에 각각 대응하는 상기 밀집 포인트 클라우드 데이터에 기초하여, 상기 미리 설정된 스타일에서의 상기 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터를 결정하는 단계; 및
상기 미리 설정된 스타일에서의 상기 제1 얼굴 이미지의 상기 밀집 포인트 클라우드 데이터에 기초하여, 상기 미리 설정된 스타일에서의 상기 제1 얼굴 이미지의 가상 얼굴 모델을 생성하는 단계를 포함하는 방법.
제1항에 있어서,
상기 제1 얼굴 이미지 및 상기 미리 설정된 스타일의 상기 다수의 제2 얼굴 이미지에 각각 대응하는 상기 밀집 포인트 클라우드 데이터에 기초하여, 상기 미리 설정된 스타일에서의 상기 제1 얼굴 이미지의 상기 밀집 포인트 클라우드 데이터를 결정하는 단계는:
상기 제1 얼굴 이미지의 얼굴 파라미터 값들 및 상기 미리 설정된 스타일의 상기 다수의 제2 얼굴 이미지에 각각 대응하는 얼굴 파라미터 값들을 추출하는 단계- 얼굴 파라미터 값들은 얼굴 형상을 나타내는 파라미터 값들 및 얼굴 표정을 나타내는 파라미터 값들을 포함함 -; 및
상기 제1 얼굴 이미지의 상기 얼굴 파라미터 값들 및 상기 미리 설정된 스타일의 상기 다수의 제2 얼굴 이미지에 각각 대응하는 상기 얼굴 파라미터 값들 및 상기 밀집 포인트 클라우드 데이터에 기초하여, 상기 미리 설정된 스타일에서의 상기 제1 얼굴 이미지의 상기 밀집 포인트 클라우드 데이터를 결정하는 단계를 포함하는 방법.
제2항에 있어서,
상기 제1 얼굴 이미지의 상기 얼굴 파라미터 값들 및 상기 미리 설정된 스타일의 상기 다수의 제2 얼굴 이미지에 각각 대응하는 상기 얼굴 파라미터 값들 및 상기 밀집 포인트 클라우드 데이터에 기초하여, 상기 미리 설정된 스타일에서의 상기 제1 얼굴 이미지의 상기 밀집 포인트 클라우드 데이터를 결정하는 단계는:
상기 제1 얼굴 이미지의 상기 얼굴 파라미터 값들 및 상기 미리 설정된 스타일의 상기 다수의 제2 얼굴 이미지에 각각 대응하는 얼굴 파라미터 값들에 기초하여, 상기 제1 얼굴 이미지와 상기 미리 설정된 스타일의 상기 다수의 제2 얼굴 이미지 사이의 선형 피팅 계수들을 결정하는 단계; 및
상기 미리 설정된 스타일의 상기 다수의 제2 얼굴 이미지에 각각 대응하는 상기 밀집 포인트 클라우드 데이터 및 상기 선형 피팅 계수들에 기초하여, 상기 미리 설정된 스타일에서의 상기 제1 얼굴 이미지의 상기 밀집 포인트 클라우드 데이터를 결정하는 단계를 포함하는 방법.
제3항에 있어서,
상기 제1 얼굴 이미지의 상기 얼굴 파라미터 값들 및 상기 미리 설정된 스타일의 상기 다수의 제2 얼굴 이미지에 각각 대응하는 상기 얼굴 파라미터 값들에 기초하여, 상기 제1 얼굴 이미지와 상기 미리 설정된 스타일의 상기 다수의 제2 얼굴 이미지 사이의 상기 선형 피팅 계수들을 결정하는 단계는:
현재 선형 피팅 계수들을 획득하는 단계- 상기 현재 선형 피팅 계수들은 미리 설정된 초기 선형 피팅 계수들을 포함함 -;
상기 현재 선형 피팅 계수들 및 상기 다수의 제2 얼굴 이미지에 각각 대응하는 얼굴 파라미터 값들에 기초하여, 상기 제1 얼굴 이미지의 현재 얼굴 파라미터 값들을 예측하는 단계;
상기 예측된 현재 얼굴 파라미터 값들 및 상기 제1 얼굴 이미지의 얼굴 파라미터 값들에 기초하여, 현재 손실 값을 결정하는 단계;
상기 현재 손실 값 및 상기 미리 설정된 선형 피팅 계수들에 대응하는 제약 범위에 기초하여, 상기 현재 선형 피팅 계수들을 조정하여 조정된 선형 피팅 계수들을 획득하는 단계; 및
상기 조정된 선형 피팅 계수들을 상기 현재 선형 피팅 계수들로서 취함으로써, 상기 현재 선형 피팅 계수들을 조정하기 위한 동작이 조정 컷오프 조건을 충족한다고 결정한 것에 응답하여, 상기 현재 선형 피팅 계수들에 기초하여 상기 제1 얼굴 이미지와 상기 미리 설정된 스타일의 상기 다수의 제2 얼굴 이미지 사이의 상기 선형 피팅 계수들이 획득될 때까지, 상기 현재 얼굴 파라미터 값들을 예측하는 단계를 수행하도록 복귀하는 단계를 포함하는 방법.
제3항 또는 제4항에 있어서,
밀집 포인트 클라우드 데이터는 다수의 대응하는 밀집 포인트의 좌표 값들을 포함하고; 상기 미리 설정된 스타일의 상기 다수의 제2 얼굴 이미지에 각각 대응하는 상기 밀집 포인트 클라우드 데이터 및 상기 선형 피팅 계수들에 기초하여, 상기 미리 설정된 스타일에서의 상기 제1 얼굴 이미지의 상기 밀집 포인트 클라우드 데이터를 결정하는 단계는:
상기 미리 설정된 스타일의 상기 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트들의 좌표 값들에 기초하여, 평균 밀집 포인트 클라우드 데이터에서의 대응하는 포인트들의 좌표 값들을 결정하는 단계;
상기 다수의 제2 얼굴 이미지에 각각 대응하는 상기 밀집 포인트들의 상기 좌표 값들 및 상기 평균 밀집 포인트 클라우드 데이터에서의 상기 대응하는 포인트들의 상기 좌표 값들에 기초하여, 상기 다수의 제2 얼굴 이미지에 각각 대응하는 좌표 차이 값들을 결정하는 단계;
상기 다수의 제2 얼굴 이미지에 각각 대응하는 좌표 차이 값들 및 상기 선형 피팅 계수들에 기초하여, 상기 제1 얼굴 이미지에 대응하는 좌표 차이 값들을 결정하는 단계; 및
상기 제1 얼굴 이미지에 대응하는 좌표 차이 값들 및 상기 평균 밀집 포인트 클라우드 데이터에서의 상기 대응하는 포인트들의 상기 좌표 값들에 기초하여, 상기 미리 설정된 스타일에서의 상기 제1 얼굴 이미지의 상기 밀집 포인트 클라우드 데이터를 결정하는 단계를 포함하는 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
스타일 업데이트 트리거링 동작에 응답하여, 변경된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터를 획득하는 단계;
상기 제1 얼굴 이미지 및 상기 변경된 스타일의 상기 다수의 제2 얼굴 이미지에 각각 대응하는 상기 밀집 포인트 클라우드 데이터에 기초하여, 상기 변경된 스타일에서의 상기 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터를 결정하는 단계; 및
상기 변경된 스타일에서의 상기 제1 얼굴 이미지의 상기 밀집 포인트 클라우드 데이터에 기초하여, 상기 변경된 스타일에서의 상기 제1 얼굴 이미지의 가상 얼굴 모델을 생성하는 단계를 추가로 포함하는 방법.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 제1 얼굴 이미지에 대응하는 장식 정보 및 피부색 정보를 획득하는 단계; 및
상기 장식 정보, 상기 피부색 정보 및 상기 제1 얼굴 이미지에 대응하는 생성된 가상 얼굴 모델에 기초하여, 상기 제1 얼굴 이미지에 대응하는 가상 얼굴 이미지를 생성하는 단계를 추가로 포함하는 방법.
제2항 또는 제3항에 있어서,
얼굴 파라미터 값들은 미리 트레이닝된 신경망에 의해 추출되고, 상기 신경망은 얼굴 파라미터 값들로 미리 라벨링된 샘플 이미지들에 기초하여 트레이닝함으로써 획득되는 방법.
제8항에 있어서,
상기 신경망은 다음 방식:
샘플 이미지 세트를 획득하는 방식- 상기 샘플 이미지 세트는 다수의 샘플 이미지 및 상기 다수의 샘플 이미지 각각에 대응하는 라벨링된 얼굴 파라미터 값들을 포함함 -;
상기 다수의 샘플 이미지를 트레이닝될 신경망에 입력하여 상기 다수의 샘플 이미지 각각에 대응하는 예측된 얼굴 파라미터 값들을 획득하는 방식; 및
상기 다수의 샘플 이미지 각각에 대응하는 상기 예측된 얼굴 파라미터 값들 및 상기 라벨링된 얼굴 파라미터 값들에 기초하여, 상기 트레이닝될 신경망의 네트워크 파라미터 값들을 조정하여 트레이닝된 신경망을 획득하는 방식으로 미리 트레이닝되는 방법.
얼굴 정보를 처리하는 장치로서,
제1 얼굴 이미지, 및 미리 설정된 스타일의 다수의 제2 얼굴 이미지에 각각 대응하는 밀집 포인트 클라우드 데이터를 획득하도록 구성된 획득 모듈;
상기 제1 얼굴 이미지 및 상기 미리 설정된 스타일의 상기 다수의 제2 얼굴 이미지에 각각 대응하는 상기 밀집 포인트 클라우드 데이터에 기초하여, 상기 미리 설정된 스타일에서의 상기 제1 얼굴 이미지의 밀집 포인트 클라우드 데이터를 결정하도록 구성된 결정 모듈; 및
상기 미리 설정된 스타일에서의 상기 제1 얼굴 이미지의 상기 밀집 포인트 클라우드 데이터에 기초하여, 상기 미리 설정된 스타일에서의 상기 제1 얼굴 이미지의 가상 얼굴 모델을 생성하도록 구성된 생성 모듈을 포함하는 장치.
전자 디바이스로서,
프로세서, 메모리 및 버스를 포함하고, 상기 메모리는 상기 프로세서에 의해 실행가능한 머신 판독가능 명령어들을 저장하고, 상기 전자 디바이스가 실행될 때, 상기 프로세서는 상기 버스를 통해 상기 메모리와 통신하고, 상기 머신 판독가능 명령어들은 상기 프로세서에 의해 실행되어 제1항 내지 제9항 중 어느 한 항의 방법의 단계들을 구현하는 전자 디바이스.
컴퓨터 프로그램들을 저장한 컴퓨터 판독가능 저장 매체로서,
상기 컴퓨터 프로그램들은 프로세서에 의해 실행되어 제1항 내지 제9항 중 어느 한 항에 따른 방법의 단계들을 구현하는 컴퓨터 판독가능 저장 매체.