KR20220006653A

KR20220006653A - 3차원 모델 생성 방법, 장치, 컴퓨터 기기 및 저장 매체

Info

Publication number: KR20220006653A
Application number: KR1020217042401A
Authority: KR
Inventors: 펭루이 왕; 춘제 린; 큐안 왕; 첸 퀴안
Original assignee: 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date: 2020-06-30
Filing date: 2021-03-25
Publication date: 2022-01-17
Also published as: EP3971841A1; US11475624B2; KR102442486B1; CN111784821B; EP3971841A4; CN111784821A; WO2022001236A1; US20220108517A1; JP2022533464A

Abstract

본 발명은 3차원 모델 생성 방법 및 장치를 제공한다. 상기 방법은, 제1 안면이 포함되는 제1 이미지를 획득하는 단계; 상기 제1 이미지에 기반하여, 제1 안면의 윤곽 정보가 포함되는 제1 포인트 클라우드 데이터를 결정하는 단계; 상기 제1 포인트 클라우드 데이터 및 상기 제1 이미지에 기반하여, 상기 제1 안면의 제1 반사율 정보 및 상기 제1 안면의 디테일 정보가 포함되는 제2 포인트 클라우드 데이터를 결정하는 단계; 및 상기 제1 반사율 정보 및 상기 제2 포인트 클라우드 데이터에 기반하여, 상기 제1 안면의 3차원 모델을 생성하는 단계를 포함한다. 본 발명의 예시에 의해 획득된 제1 안면의 3차원 모델은, 제1 안면의 반사율 정보 뿐만 아니라, 제1 안면의 윤곽 정보 및 디테일 정보도 포함하므로, 생성된 제1 안면의 3차원 모델은 더 높은 진실도를 갖는다.

Description

3차원 모델 생성 방법, 장치, 컴퓨터 기기 및 저장 매체

관련 출원의 상호 참조

본 발명은 출원번호가 202010621454.6이고 출원일자가 2020년 6월 30일인 중국 특허 출원에 기반하여 제출하였고 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 모든 내용은 참조로서 본 발명에 인용된다.

본 발명은 3차원 재구성 기술분야에 관한 것이지만 이에 한정되지 않고, 구체적으로, 3차원 모델 생성 방법, 장치, 컴퓨터 기기, 저장 매체 및 컴퓨터 프로그램 제품에 관한 것이다.

디지털 안면 3차원 모델 생성은 영화와 텔레비전, 게임, 소셜 네트워크 등 분야에서 중요한 작용을 한다. 한 장의 사진에 기반하여 안면을 생성(재구성)하는 방법은 저렴한 네트워크 카메라에만 의존하여 데이터를 수집하고, 모바일 단말기에 응용되기 편리하므로, 응용 가치가 크다.

현재 안면 3차원 모델 생성 방법은, 생성된 안면 3차원 모델의 정밀도가 낮은 문제가 존재한다.

본 발명의 실시예는 적어도 3차원 모델 생성 방법, 장치, 컴퓨터 기기, 저장 매체 및 컴퓨터 프로그램 제품을 제공한다.

본 발명의 실시예는 제1 안면이 포함되는 제1 이미지를 획득하는 단계; 상기 제1 이미지에 기반하여, 제1 안면의 윤곽 정보가 포함되는 제1 포인트 클라우드 데이터를 결정하는 단계; 상기 제1 포인트 클라우드 데이터 및 상기 제1 이미지에 기반하여, 상기 제1 안면의 제1 반사율 정보 및 상기 제1 안면의 디테일 정보가 포함되는 제2 포인트 클라우드 데이터를 결정하는 단계; 및 상기 제1 반사율 정보 및 상기 제2 포인트 클라우드 데이터에 기반하여, 상기 제1 안면의 3차원 모델을 생성하는 단계를 포함하는 3차원 모델 생성 방법을 제공한다.

이와 같이, 먼저 제1 이미지에 기반하여, 제1 안면의 윤곽 정보가 포함되는 제1 포인트 클라우드 데이터를 결정한 후, 제1 포인트 클라우드 데이터 및 제1 이미지에 기반하여, 제1 안면의 제1 반사율 정보 및 제1 안면이 포함되는 디테일 정보의 제2 포인트 클라우드 데이터를 결정하며, 제1 반사율 정보 및 제2 포인트 클라우드 데이터에 기반하여 3차원 모델을 얻음으로써, 획득된 제1 안면의 3차원 모델은, 제1 안면의 반사율 정보뿐만 아니라, 제1 안면의 윤곽 정보 및 디테일 정보도 포함하므로, 생성된 제1 안면의 3차원 모델은 더 높은 진실도를 갖는다.

일부 실시예에서, 상기 제1 포인트 클라우드 데이터 및 상기 제1 이미지에 기반하여, 상기 제1 안면의 제1 반사율 정보 및 상기 제1 안면의 디테일 정보가 포함되는 제2 포인트 클라우드 데이터를 결정하는 단계는, 상기 제1 포인트 클라우드 데이터 및 상기 제1 이미지에 기반하여, 상기 제1 안면의 제1 안면 텍스처 맵을 결정하는 단계; 상기 제1 안면 텍스처 맵에 대해 반사율 정보 예측 처리를 수행하여, 상기 제1 안면의 제1 반사율 정보를 얻는 단계; 및 상기 제1 안면 텍스처 맵에 대해 안면 디테일 예측 처리를 수행하고, 상기 안면 디테일 예측 처리 결과에 기반하여, 상기 제1 안면의 제2 포인트 클라우드 데이터를 얻는 단계를 포함한다.

이와 같이, 제1 안면 텍스처 맵의 제1 반사율 정보 및 안면 디테일에 대한 예측 처리를 통해, 안면 윤곽, 안면 디테일 및 제2 포인트 클라우드 데이터를 얻으므로, 상기 제2 포인트 클라우드 데이터는 안면의 3차원 모델을 더 정확하게 나타낼 수 있다.

일부 실시예에서, 상기 제1 포인트 클라우드 데이터는 카메라 좌표계에서 상기 제1 안면을 구성하는 복수의 상기 제1 포인트 클라우드 포인트의 각각의 3차원 좌표값 및 상이한 상기 제1 포인트 클라우드 포인트 사이의 연결 관계 정보를 포함한다.

일부 실시예에서, 상기 제1 포인트 클라우드 데이터 및 상기 제1 이미지에 기반하여, 상기 제1 안면의 제1 안면 텍스처 맵을 결정하는 단계는, 카메라 좌표계에서 복수의 상기 제1 포인트 클라우드 포인트의 각각의 3차원 좌표값에 기반하여, 복수의 상기 제1 포인트 클라우드 포인트를 각각 상기 제1 이미지 중의 복수의 제1 픽셀점과 정렬 처리를 수행하는 단계; 정렬 처리 결과, 상이한 상기 제1 포인트 클라우드 포인트 사이의 연결 관계 정보 및 상기 제1 이미지 중 각 제1 픽셀점의 제1 픽셀값에 기반하여, 상기 제1 안면을 구성하는 복수의 패치에 각각 대응되는 제2 픽셀값을 결정하는 단계 - 임의의 상기 패치는 연결 관계를 갖는 적어도 세 개의 제1 포인트 클라우드 포인트로 구성됨 - ; 및 상기 복수의 패치에 각각 대응되는 제2 픽셀값에 기반하여, 상기 제1 안면 텍스처 맵을 생성하는 단계를 포함한다.

이와 같이, 생성된 제1 안면 텍스처 맵에서 제1 이미지 중의 특징을 최대한 유지함으로써, 제1 안면 텍스처 맵에 기반하여 안면의 3차원 모델을 더 잘 얻을 수 있다.

일부 실시예에서, 상기 안면 디테일의 예측 처리 결과는, 상기 제1 안면의 제1 안면 디테일 정보를 포함하고; 상기 디테일 예측 처리 결과에 기반하여, 상기 제1 안면의 제2 포인트 클라우드 데이터를 얻는 단계는, 상기 제1 포인트 클라우드 데이터 및 상기 제1 안면 디테일 정보에 대해 융합 처리를 수행하여, 상기 제2 포인트 클라우드 데이터를 얻는 단계를 포함한다.

일부 실시예에서, 상기 제1 안면 디테일 정보는, 상기 각각의 제1 포인트 클라우드 포인트에 대응되는 제1 법선 벡터 방향에서 복수의 상기 제1 포인트 클라우드 포인트 중 각각의 제1 포인트 클라우드 포인트의 이동 거리를 포함하고; 상기 제1 포인트 클라우드 데이터 및 상기 제1 안면 디테일 정보에 대해 융합 처리를 수행하여, 상기 제2 포인트 클라우드 데이터를 생성하는 단계는, 상기 각각의 제1 포인트 클라우드 포인트에 대응되는 제1 법선 벡터 방향에서 복수의 상기 제1 포인트 클라우드 포인트 중 각각의 제1 포인트 클라우드 포인트의 이동 거리 및 카메라 좌표계에서 상기 각각의 제1 포인트 클라우드 포인트의 3차원 좌표값에 기반하여, 상기 카메라 좌표계에서 각각의 상기 제1 포인트 클라우드 포인트의 위치를 조절하는 단계; 및 복수의 상기 제1 포인트 클라우드 포인트의 조절 결과에 기반하여, 상기 제2 포인트 클라우드 데이터를 얻는 단계를 포함한다.

일부 실시예에서, 상기 제1 안면 텍스처 맵에 대해 반사율 정보 예측 처리를 수행하여, 상기 제1 안면의 제1 반사율 정보를 얻는 단계는, 사전 트레이닝된 제1 신경망을 이용하여 상기 제1 안면 텍스처 맵에 대해 반사율 정보 예측 처리를 수행하여, 상기 제1 안면의 제1 반사율 정보를 얻는 단계를 포함한다.

일부 실시예에서, 상기 제1 신경망은, 제2 안면이 포함되는 제2 이미지를 획득하고, 상기 제2 이미지에 기반하여, 제2 안면의 윤곽 정보가 포함되는 제3 포인트 클라우드 데이터를 얻고; 상기 제3 포인트 클라우드 데이터에 기반하여, 제2 안면의 제2 안면 텍스처 맵을 얻으며; 트레이닝될 제3 신경망을 이용하여, 상기 제2 안면 텍스처 맵에 대해 반사율 예측 처리 및 조명 예측 처리를 수행하여, 상기 제2 안면의 제2 반사율 정보 및 상기 제2 안면의 제1 조명 정보를 얻고; 트레이닝될 제1 신경망을 이용하여, 상기 제2 안면 텍스처 맵에 대해 반사율 예측 처리를 수행하여, 상기 제2 안면의 제3 반사율 정보를 얻으며; 상기 제2 반사율 정보, 상기 제1 조명 정보 및 상기 제3 반사율 정보를 이용하여, 상기 트레이닝될 제1 신경망 및 트레이닝될 제3 신경망을 공동 트레이닝하여, 트레이닝된 제1 신경망을 얻는 방식으로 트레이닝된다.

일부 실시예에서, 상기 제2 반사율 정보, 상기 제1 조명 정보 및 상기 제3 반사율 정보를 이용하여, 상기 트레이닝될 제1 신경망 및 트레이닝될 제3 신경망을 공동 트레이닝하는 단계는, 상기 제2 반사율 정보, 상기 제1 조명 정보를 이용하여, 상기 트레이닝될 제3 신경망의 제1 손실을 결정하는 단계; 상기 제2 반사율 정보, 상기 제1 조명 정보 및 상기 제3 반사율 정보를 이용하여, 상기 트레이닝될 제1 신경망의 제2 손실을 결정하는 단계; 상기 제1 손실에 기반하여, 상기 트레이닝될 제3 신경망을 업데이트하고, 상기 제2 손실에 기반하여, 상기 트레이닝될 제1 신경망의 네트워크 파라미터를 업데이트하는 단계; 및 상기 트레이닝될 제3 신경망 및 상기 트레이닝될 제1 신경망의 네트워크 파라미터에 대한 여러 차례의 업데이트를 통해, 상기 트레이닝된 제1 신경망을 얻는 단계를 포함한다.

일부 실시예에서, 상기 제2 반사율 정보, 상기 제1 조명 정보를 이용하여, 상기 트레이닝될 제3 신경망의 제1 손실을 결정하는 단계는, 상기 제3 포인트 클라우드 데이터에 기반하여, 상기 제3 포인트 클라우드 데이터 중 복수의 제3 포인트 클라우드 포인트에 각각 대응되는 제2 법선 벡터를 결정하는 단계; 상기 제2 법선 벡터, 상기 제2 반사율 정보 및 상기 제1 조명 정보에 기반하여, 상기 제2 안면의 제3 안면 텍스처 맵을 생성하는 단계; 및 상기 제2 안면 텍스처 맵 및 상기 제3 안면 텍스처 맵에 기반하여, 상기 제1 손실을 생성하는 단계를 포함한다.

일부 실시예에서, 상기 제2 반사율 정보, 상기 제1 조명 정보 및 상기 제3 반사율 정보를 이용하여, 상기 트레이닝될 제1 신경망의 제2 손실을 결정하는 단계는, 상기 제2 반사율 정보 및 상기 제3 반사율 정보에 기반하여, 제1 서브 손실을 결정하는 단계; 상기 제2 법선 벡터, 상기 제3 반사율 정보 및 상기 제1 조명 정보에 기반하여, 상기 제2 안면의 제4 안면 텍스처 맵을 생성하고, 상기 제4 안면 텍스처 맵 및 상기 제2 안면 텍스처 맵에 기반하여, 제2 서브 손실을 생성하는 단계; 상기 제4 안면 텍스처 맵의 특징 맵 및 상기 제2 안면 텍스처 맵의 특징 맵에 기반하여, 제3 서브 손실을 생성하는 단계; 및 상기 제1 서브 손실, 상기 제2 서브 손실 및 상기 제3 서브 손실에 기반하여, 상기 제2 손실을 얻는 단계를 포함한다.

일부 실시예에서, 상기 안면 텍스처 맵에 대해 디테일 예측 처리를 수행하고, 상기 디테일 예측 처리 결과에 기반하여, 상기 제1 안면의 제2 포인트 클라우드 데이터를 얻는 단계는, 사전 트레이닝된 제2 신경망을 이용하여 상기 제1 안면 텍스처 맵에 대해 디테일 예측 처리를 수행하여, 상기 제1 안면의 제1 안면 디테일 정보를 얻는 단계를 포함한다.

일부 실시예에서, 상기 제2 신경망은, 트레이닝될 제2 신경망을 이용하여, 상기 제2 안면 텍스처 맵에 대해 디테일 예측 처리를 수행하여, 상기 제2 안면의 제2 안면 디테일 정보를 얻고; 상기 제2 안면의 제2 안면 디테일 정보 및 상기 제3 포인트 클라우드 데이터를 융합하여, 제2 안면의 제4 포인트 클라우드 데이터를 얻으며; 상기 제4 포인트 클라우드 데이터, 상기 제3 반사율 정보 및 상기 제1 조명 정보에 기반하여, 제5 안면 텍스처 맵을 생성하고; 상기 제5 안면 텍스처 맵 및 상기 제2 안면 텍스처 맵에 기반하여, 상기 트레이닝될 제2 신경망을 트레이닝하여 트레이닝된 제2 신경망을 얻는 방식으로 트레이닝된다.

본 발명의 실시예는 또한, 제1 안면이 포함되는 제1 이미지를 획득하고, 상기 제1 이미지에 기반하여, 제1 안면의 윤곽 정보가 포함되는 제1 포인트 클라우드 데이터를 얻도록 구성되는 획득 모듈; 상기 제1 포인트 클라우드 데이터 및 상기 제1 이미지에 기반하여, 상기 제1 안면의 제1 반사율 정보 및 상기 제1 안면의 디테일 정보가 포함되는 제2 포인트 클라우드 데이터를 얻도록 구성되는 결정 모듈; 및 상기 제1 반사율 정보 및 상기 제2 포인트 클라우드 데이터에 기반하여, 상기 제1 안면의 3차원 모델을 얻도록 구성되는 융합 모듈을 포함하는 3차원 모델 생성 장치를 제공한다.

본 발명의 실시예는 또한, 프로세서, 메모리를 포함하고, 상기 메모리에는 상기 프로세서에 의해 실행 가능한 기계 판독 가능 명령이 저장되며, 상기 프로세서는 상기 메모리에 저장되는 기계 판독 가능 명령을 실행하도록 구성되고, 상기 기계 판독 가능 명령이 상기 프로세서에 의해 실행될 경우, 상술한 방법 실시예 중의 부분적 또는 전부 단계를 수행하는 컴퓨터 기기를 제공한다.

본 발명의 실시예는 또한, 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램이 컴퓨터 기기에 의해 실행될 경우, 상술한 방법 실시예 중의 부분적 또는 전부 단계를 수행하는 컴퓨터 판독 가능 저장 매체를 제공한다.

본 발명의 실시예는 또한, 컴퓨터 프로그램이 저장된 비일시적 컴퓨터 판독 가능 저장 매체를 포함하고, 상기 컴퓨터 프로그램이 컴퓨터에 의해 판독 및 실행될 경우, 본 발명의 실시예에 따른 방법의 부분적 또는 전부 단계를 수행하는 컴퓨터 프로그램 제품을 제공한다.

본 발명의 실시예의 상술한 목적, 특징 및 장점을 더욱 분명하고 용이하게 이해하도록 이하에서는 첨부된 도면과 함께 예시적 실시예를 들어 상세하게 설명한다.

본 발명의 실시예의 기술적 해결수단을 보다 명확하게 설명하기 위해, 이하에서는 실시예에서 사용될 첨부 도면을 간단히 설명하되, 여기서 도면은 본 명세서에 포함되어 본 명세서의 일부를 구성한다. 이러한 도면들은 본 발명에 따른 실시예를 도시하고 명세서와 함께 본 발명의 기술적 해결수단을 설명하기 위해 사용된다. 아래 도면들은 본 발명의 일부 실시예를 도시한 것일 뿐, 범위를 한정하는 것으로 간주되어서는 안되며, 본 기술분야의 통상의 기술자라면 진보성 창출에 힘쓸 필요 없이 이러한 도면으로부터 다른 관련 도면을 얻을 수 있음을 이해해야 한다.
도 1은 본 발명의 실시예에서 제공되는 3차원 모델 생성 방법의 흐름 모식도를 도시한다.
도 2a는 본 발명의 실시예에서 제공되는 3차원 모델 생성 방법 중 안면 이미지의 모식도를 도시한다.
도 2b는 본 발명의 실시예에서 제공되는 3차원 모델 생성 방법 중 제1 포인트 클라우드 데이터로 구성되는 안면 윤곽의 모식도를 도시한다.
도 2c는 본 발명의 실시예에서 제공되는 3차원 모델 생성 방법 중 안면의 제1 반사율 정보로 구성되는 이미지의 모식도를 도시한다.
도 2d는 본 발명의 실시예에서 제공되는 3차원 모델 생성 방법 중 제2 포인트 클라우드 데이터로 구성되는 모식도로서, 안면 윤곽 정보 뿐만 아니라, 안면 디테일 정보도 포함한다.
도 3a는 본 발명의 실시예에서 제공되는 3차원 모델 생성 방법 중 3차원 모델에 일 방향으로 빛을 가하여 3차원 모델을 얻는 모식도를 도시한다.
도 3b는 본 발명의 실시예에서 제공되는 3차원 모델 생성 방법 중 3차원 모델에 일 방향으로 빛을 가하여 3차원 모델을 얻는 모식도를 도시한다.
도 3c는 본 발명의 실시예에서 제공되는 3차원 모델 생성 방법 중 3차원 모델에 일 방향으로 빛을 가하여 3차원 모델을 얻는 모식도를 도시한다.
도 3d는 본 발명의 실시예에서 제공되는 3차원 모델 생성 방법 중 3차원 모델에 일 방향으로 빛을 가하여 3차원 모델을 얻는 모식도를 도시한다.
도 4는 본 발명의 실시예에서 제공되는 제1 반사율 정보 및 제2 포인트 클라우드 데이터를 획득하는 구체적 방법의 흐름 모식도를 도시한다.
도 5는 본 발명의 실시예에서 제공되는 제1 신경망을 트레이닝하는 방법의 흐름 모식도를 도시한다.
도 6은 본 발명의 실시예에서 제공되는 제2 신경망을 트레이닝하는 방법의 흐름 모식도를 도시한다.
도 7은 본 발명의 실시예에서 제공되는 제1 신경망 및 제2 신경망에 대해 공동 트레이닝을 수행하는 방법의 흐름 모식도를 도시한다.
도 8은 본 발명의 실시예에서 제공되는 3차원 모델 생성 장치의 구조 모식도를 도시한다.
도 9는 본 발명의 실시예에서 제공되는 컴퓨터 기기의 구조 모식도를 도시한다.

본 발명의 실시예의 목적, 기술적 해결수단 및 장점을 더욱 분명하게 하기 위해, 아래 본 발명의 실시예에 따른 첨부 도면을 참조하여 본 발명의 실시예에 따른 기술적 해결수단을 명확하고 완전하게 설명하되 설명된 실시예는 본 발명의 일부 실시예일 뿐 전체 실시예가 아님은 분명하다. 일반적으로 여기서의 도면에서 설명 및 도시되는 본 발명의 실시예의 컴포넌트는 다양하고 상이한 구성으로 배치 및 설계할 수 있다. 따라서, 아래 도면에서 제공되는 본 발명의 실시예에 대한 상세한 설명은 보호하고자 하는 본 발명의 범위를 한정하는 것이 아니고, 본 발명의 선택적인 실시예를 나타낸다. 본 발명의 실시예에 기반하여, 본 기술분야의 통상의 기술자는 진보성 창출에 힘쓰지 않은 전제하에서 획득한 모든 다른 실시예는 전부 본 발명의 보호 범위에 속한다.

관련 기술에서, 2차원 이미지를 통해 안면 3차원 모델을 생성하는 방법은 주로 실시간 솔루션에 기반한 피팅 방법 및 모델 트레이닝에 기반한 회귀 러닝 방법을 포함한다. 실시간 솔루션에 기반한 피팅 방법은 계산량이 크기에, 하나의 안면을 재구성하는데 흔히 몇분의 시간이 소요되고, 시간이 오래 걸리며 강건성이 낮다. 모델 트레이닝에 기반한 회귀 러닝 방법은 주로 딥러닝 기술에 의존하여 대량의 트레이닝 데이터를 통해 복잡한 맵 함수를 러닝하여 기하학적 특징 정보를 얻는 것으로, 트레이닝 데이터의 획득은 대량의 고가 SLR 카메라로 구성된 카메라 어레이에 의존하여 수집한 후, 멀티풀 기하학적 솔루션을 이용하여 재구성하고, 통합 네트워크 토폴로지에 등록하는 바, 이러한 트레이닝 데이터는 고가일 뿐만 아니라, 획득 주기가 길고, 수집 환경의 제한을 받으므로, 개수 및 다양성이 제한되어 직접적으로 지도 트레이닝을 수행하기 어렵다. 상술한 문제를 해결하기 위해, 일부 방법에서는 합성 3차원 데이터를 이용하여 재구성하지만, 합성 데이터와 실제 데이터 사이에는 일정한 차이가 존재하여 모델에서 획득한 안면 3차원 모델과 실제 안면 사이에 큰 차이가 존재하게 되어 획득된 3차원 안면 모델의 진실도가 낮다.

또한, 현재 안면 3차원 모델을 생성하는 방법은 대부분 안면의 윤곽 정보만 복구할 수 있을 뿐 안면 디테일을 얻기 힘들므로, 획득된 안면 3차원 모델의 진실도가 낮다.

이 밖에, 2차원 이미지에 포함되는 안면에는 안면이 물체에 의해 가려지거나 자체로 가린 상황이 존재할 수 있는데, 현재 안면 3차원 모델을 생성하는 방법으로는 가려진 부위를 잘 복구할 수 없으므로 마찬가지로 안면 3차원 모델의 진실성에 영향을 미친다.

상술한 연구에 기반하여, 본 발명의 실시예는 3차원 모델 생성 방법을 제공하여 제1 안면의 윤곽 정보가 포함되는 제1 포인트 클라우드 데이터 및 제1 안면이 포함되는 제1 이미지를 통해, 제1 안면의 제1 반사율 정보 및 제1 안면 디테일 정보를 포함하는 제2 포인트 클라우드 데이터를 결정하며, 제1 반사율 정보 및 제2 포인트 클라우드 데이터에 기반하여, 제1 안면의 3차원 모델을 생성한다. 상기 과정에서, 제1 반사율 정보는 안면 표면의 텍스처 특징을 나타낼 수 있고, 제2 포인트 클라우드 데이터에는 안면의 디테일 정보가 포함되므로, 제1 안면의 제1 반사율 정보 및 제1 안면 디테일 정보를 융합하여 획득된 제1 안면의 3차원 모델은 더 높은 진실도를 갖는다.

상기 수단에 존재하는 결점은 모두 본 발명자가 실천과 세심한 연구 끝에 얻은 결과이므로 상기 문제점들의 발견 과정 및 상기 문제점들에 대해 하기 본 발명에서 제안하는 해결수단은 모두 본 발명자가 본 발명의 실시예에 대한 기여로 간주되어야 한다.

이하의 도면에서 유사한 도면 부호 및 문자는 유사한 항목을 나타내므로, 하나의 도면에서 특정 항목을 정의한 후에는 다음 도면에서 더 이상 정의 및 설명할 필요가 없음에 유의해야 한다.

본 발명의 실시예를 쉽게 이해할 수 있도록, 먼저 본 발명의 실시예에 의해 개시되는 3차원 모델 생성 방법을 상세히 소개한다. 본 발명의 실시예에 의해 제공되는 3차원 모델 생성 방법의 실행 주체는 일반적으로 일정한 컴퓨팅 능력을 갖춘 컴퓨터 기기이며, 상기 컴퓨터 기기는 예를 들어 단말 기기, 서버 또는 기타 처리 기기를 포함한다. 단말 기기는 사용자 기기(User Equipment, UE), 모바일 기기, 사용자 단말, 단말, 셀룰러폰, 무선 전화, 개인 휴대 정보 단말기(Personal Digital Assistant, PDA), 핸드헬드 기기, 컴퓨팅 기기, 차량 탑재 기기, 웨어러블 기기 등일 수 있다. 일부 가능한 실시형태에서, 상기 3차원 모델 생성 방법은 메모리에 저장된 컴퓨터 판독 가능 명령을 호출하는 프로세서에 의해 구현될 수 있다.

아래에서는 실행 주체가 컴퓨터 기기인 경우를 예로 들어 본 발명의 실시예에서 제공되는 3차원 모델 생성 방법을 설명한다.

도 1을 참조하면, 도 1은 본 발명의 실시예에서 제공되는 3차원 모델 생성 방법의 흐름도이고, 상기 방법은 단계 S101~S104를 포함한다.

단계 S101에서, 제1 안면이 포함되는 제1 이미지를 획득한다.

단계 S102에서, 상기 제1 이미지에 기반하여, 제1 안면의 윤곽 정보가 포함되는 제1 포인트 클라우드 데이터를 결정한다.

단계 S103에서, 상기 제1 포인트 클라우드 데이터 및 상기 제1 이미지에 기반하여, 상기 제1 안면의 제1 반사율 정보 및 상기 제1 안면의 디테일 정보가 포함되는 제2 포인트 클라우드 데이터를 결정한다.

단계 S104에서, 상기 제1 반사율 정보 및 상기 제2 포인트 클라우드 데이터에 기반하여, 상기 제1 안면의 3차원 모델을 생성한다.

안면에 대해 획득되는 안면 이미지는, 일반적으로 반사율 정보, 조명 정보, 윤곽 정보, 텍스처 디테일 정보를 포함하고, 도 2a에 도시된 바와 같이, 도 2a는 안면 이미지의 모식도를 도시하는 것으로, 실제 인물 이미지를 사용하기에 도면에서 실제 인물의 얼굴에 대해 부분적으로 모자이크 처리한다. 조명 정보는 조명, 방향 및 안면의 얼굴 윤곽, 오관의 굴곡으로 인한 안면의 상이한 부위의 그림자 변화를 나타내하기 위한 것이다. 윤곽 정보는 안면의 전체적 윤곽, 예를 들어 볼, 오관, 이마 등 얼굴의 외재적 윤곽을 가리키고, 윤곽 정보는 굵은 척도에서 안면의 구조를 나타낼 수 있으며, 도 2b에 도시된 바와 같이, 도 2b는 제1 포인트 클라우드 데이터로 구성되는 안면 윤곽의 예시를 도시한다. 반사율 정보는 안면의 피부 표면을 나타내기 위한 것이고, 도 2c에 도시된 바와 같이, 도 2c는 안면의 제1 반사율 정보로 구성되는 이미지의 예시를 도시한다. 디테일 정보는 안면 디테일, 예를 들어 주름, 표정선 등을 가리키고, 도 2d에 도시된 바와 같이, 도 2d는 제2 포인트 클라우드 데이터로 구성되는 안면 윤곽 정보 뿐만 아니라, 안면 디테일 정보도 포함하는 예시를 도시한다. 반사율 정보, 조명 정보, 윤곽 정보, 디테일 정보를 융합하면, 환원도가 높은 안면 이미지를 획득할 수 있다.

2차원 안면 이미지에 기반하여 안면의 3차원 모델을 생성하기 위해, 예를 들어 안면이 포함되는 이미지에 기반하여, 안면의 반사율 정보, 윤곽 정보 및 디테일 정보를 얻고, 최종적으로 안면의 3차원 모델을 얻을 수 있다.

또한, 안면의 3차원 모델에 상이한 각도의 빛을 가하여, 조명 정보가 추가된 3차원 모델을 얻음으로써, 안면의 3차원 모델이 보다 진실하다. 도 3a 내지 도 3d에 도시된 예시와 같이, 이는 3차원 모델에 각각 네 가지 상이한 각도의 빛을 가하여, 획득된 안면의 3차원 모델을 도시한다.

아래에 상술한 단계 S101~S104에 대해 각각 더 상세하게 설명한다.

I: 상기 단계 S101에서, 상이한 실행 주체의 경우, 제1 이미지를 획득하는 방식도 구별된다. 예를 들어, 실행 주체가 단말 기기일 경우, 단말 기기에 장착되는 카메라를 호출하여 제1 안면이 포함되는 제1 이미지를 획득할 수 있고, 단말 기기의 앨범을 호출하여 제1 이미지를 획득할 수 있으며, 다른 기기에서 전송되는 안면 이미지 등을 수신할 수도 있다. 실행 주체가 서버일 경우, 서버는 다른 기기에서 전송되는 제1 이미지를 수신할 수 있고, 서버와 연결된 데이터 베이스에 저장되는 제1 이미지를 호출할 수 있다.

일부 실시예에서, 제1 이미지를 획득할 경우, 먼저 제1 안면이 포함되는 원본 이미지를 획득한 후, 일정한 안면 식별 방법을 통해, 원본 이미지에서 안면의 위치를 식별하며, 원본 이미지에서 안면의 위치에 기반하여, 제1 안면이 포함되는 제1 이미지를 캡처한다.

II: 상기 단계 S102에서, 예를 들어 임의의 굵은 입도의 안면 기하학적 재구성 방법을 이용하여 제1 이미지를 기반으로 제1 안면의 윤곽 정보가 포함되는 제1 포인트 클라우드 데이터를 얻을 수 있다.

예를 들어 3차원 변형 모델(3 Dimension Morphable Model, 3DMM)을 이용하여 제1 이미지에 대해 3차원 안면 재구성을 수행하여 안면 이미지 중의 저주파 정보, 즉 안면의 윤곽 정보를 얻을 수 있다.

예를 들어, 3차원 변형 가능한 모델(3 Dimension Morphable Model, 3DMM)을 이용하여 제1 포인트 클라우드 데이터를 획득할 경우, 3DMM에는 복수의 제1 포인트 클라우드 포인트가 정의되고, 상이한 제1 포인트 클라우드 포인트 사이에는 직접적 또는 간접적인 연결 관계를 가지며, 적어도 세 개의 제1 포인트 클라우드 포인트가 하나의 패치를 구성하고 복수의 제1 포인트 클라우드 포인트를 통해 구성되는 복수의 패치는, 제1 안면의 윤곽을 나타낸다. 3DMM은 사전에 정의된 복수의 제1 포인트 클라우드 포인트에 대해 위치 예측을 수행하여, 자체의 부분적 좌표계에서 각각의 제1 포인트 클라우드 포인트의 3차원 좌표값을 얻을 수 있고, 다음, 카메라 파라미터에 기반하여, 3DMM이 예측한 부분적 좌표계에서 제1 포인트 클라우드 포인트의 좌표값을 카메라 좌표계에서 3차원 좌표값으로 변환하며, 제1 포인트 클라우드 데이터는 각각 카메라 좌표계에서 제1 안면을 구성하는 복수의 제1 포인트 클라우드 포인트의 3차원 좌표값, 및 상이한 제1 포인트 클라우드 포인트 사이의 연결 관계 정보를 포함할 수 있다.

이와 같이, 제1 포인트 클라우드 데이터를 통해, 제1 안면의 윤곽 정보를 나타낼 수 있다.

III: 상기 단계 S103에서, 도 4에 도시된 바와 같이, 예를 들어 하기 방법을 사용하여 제1 반사율 정보 및 제2 포인트 클라우드 데이터를 회득할 수 있다.

단계 S401에서, 상기 제1 포인트 클라우드 데이터 및 상기 제1 이미지에 기반하여, 상기 제1 안면의 제1 안면 텍스처 맵을 결정한다.

여기서, 제1 포인트 클라우드 데이터 및 제1 이미지에 기반하여, 제1 안면의 제1 안면 텍스처 맵을 결정할 경우, 예를 들어 하기 방식을 사용할 수 있다. 카메라 좌표계에서 복수의 상기 제1 포인트 클라우드 포인트의 각각의 3차원 좌표값에 기반하여, 복수의 상기 제1 포인트 클라우드 포인트를 각각 상기 제1 이미지 중의 복수의 제1 픽셀점과 정렬 처리를 수행하고; 정렬 처리 결과, 상이한 상기 제1 포인트 클라우드 포인트 사이의 연결 관계 정보 및 상기 제1 이미지 중 각 제1 픽셀점의 제1 픽셀값에 기반하여, 상기 제1 안면을 구성하는 복수의 패치에 각각 대응되는 제2 픽셀값을 결정하며; 임의의 상기 패치는 연결 관계를 갖는 적어도 세 개의 제1 포인트 클라우드 포인트로 구성되고; 상기 복수의 패치에 각각 대응되는 제2 픽셀값에 기반하여, 상기 제1 안면 텍스처 맵을 생성한다.

일부 실시예에서, 복수의 제1 포인트 클라우드 포인트를 각각 제1 이미지 중의 복수의 제1 픽셀점과 정렬 처리를 수행할 경우, 예를 들어 제1 이미지 중의 제1 안면에 대해 키 포인트 식별 처리를 수행하여, 제1 안면 중의 복수의 키 포인트가 각각 제1 이미지에서 대응되는 타깃 제1 픽셀점을 결정할 수 있다. 다음 제1 포인트 클라우드 포인트 및 제1 안면 중의 복수의 키 포인트 사이의 대응 관계에 기반하여, 복수의 제1 포인트 클라우드 포인트에서, 각 키 포인트와 각각 대응되는 타깃 제1 포인트 클라우드 포인트를 결정한 후, 각각의 키 포인트에 있어서, 상기 키 포인트에 대응되는 타깃 제1 픽셀점 및 타깃 제1 포인트 클라우드 포인트에 대해 이미지 차원의 정렬 처리를 수행하여, 최종적으로 제1 이미지에서 각 제1 포인트 클라우드 포인트가 각각 대응되는 제1 픽셀점을 얻는다.

다음, 상이한 제1 포인트 클라우드 포인트 사이의 연결 관계 정보를 이용하여, 제1 이미지에서 제1 안면을 구성하는 각 패치가 제1 이미지에서 각각 대응되는 픽셀값을 취하고, 각 패치에 대응되는 픽셀값에 기반하여 각 패치에 대해 색상 렌더링을 수행하여, 최종적으로 제1 안면 텍스처 맵을 얻는다.

획득된 제1 안면 텍스처 맵은, 제1 안면의 조명 정보 뿐만 아니라, 제1 안면의 제1 반사율 정보도 포함한다.

상기 단계 S401에 이어서, 본 발명의 실시예에서 제공되는 제1 반사율 정보 및 제2 포인트 클라우드 데이터를 획득하는 방법은 하기 단계를 더 포함한다.

단계 S402에서, 상기 제1 안면 텍스처 맵에 대해 반사율 정보 예측 처리를 수행하여, 상기 제1 안면의 제1 반사율 정보를 얻는다.

여기서, 예를 들어 사전 트레이닝된 제1 신경망을 이용하여 제1 안면 텍스처 맵에 대해 반사율 정보 예측 처리를 수행하여, 상기 제1 안면의 제1 반사율 정보를 얻을 수 있다.

일부 실시예에서, 도 5를 참조하면, 본 발명의 실시예에서 제공되는 제1 신경망을 트레이닝하는 구체적 방법은, 하기 단계를 포함한다.

단계 S501에서, 제2 안면이 포함되는 제2 이미지를 획득하고, 상기 제2 이미지에 기반하여, 제2 안면의 윤곽 정보가 포함되는 제3 포인트 클라우드 데이터를 얻는다.

여기서, 제2 안면의 제3 포인트 클라우드 데이터를 획득하는 방식은, 상술한 실시예에서 제1 안면의 제1 포인트 클라우드 데이터를 획득하는 방식과 유사하므로, 여기서 더 이상 설명하지 않는다.

단계 S502에서, 상기 제3 포인트 클라우드 데이터에 기반하여, 제2 안면의 제2 안면 텍스처 맵을 얻는다.

여기서, 제2 안면의 제2 안면 텍스처 맵을 획득하는 방식은, 상술한 실시예에서 제1 안면의 제1 안면 텍스처 맵을 획득하는 방식과 유사하므로, 여기서 더 이상 설명하지 않는다.

단계 S503에서, 트레이닝될 제3 신경망을 이용하여, 상기 제2 안면 텍스처 맵에 대해 반사율 예측 처리 및 조명 예측 처리를 수행하여, 상기 제2 안면의 제2 반사율 정보 및 상기 제2 안면의 제1 조명 정보를 얻는다.

여기서, 예시적으로, 제3 신경망에서 반사율을 예측하는 부분은 예를 들어 하기 공식(1)으로 표시되는 연산자로 추상화될 수 있다. 주성분 분석(Principal Components Analysis, PCA) 반사율 모델:

(1);

여기서,

는 반사율 모델 중의 중성 반사율을 나타내고,

는 반사율 모델 중의 기저를 나타낸다.

는 반사율의 계수이다.

는 예를 들어 하기 방식으로 획득할 수 있다. 199명의 안면 반사율 정보를 수집하고, 199개 안면의 반사율 정보의 평균값을 계산하여,

을 얻는다.

는 예를 들어 수집한 199개 안면의 반사율 정보에 대해 PCA 투영을 수행하여 얻는다.

는 제2 안면의 제2 반사율 정보를 나타내고, 제3 포인트 클라우드 데이터에서 각각의 제3 포인트 클라우드 포인트에 각각 대응되는 반사율 값

가 포함된다. 제3 신경망은

를 예측하여 얻을 수 있고, 다음, 상기 공식(1)에 기반하여 제1 안면의 제1 반사율 정보를 얻는다.

본 발명의 실시예 중의 조명은 예를 들어 람베르트 반사율이고, 2차 구면 고조파(Spherical harmonics, SH) 기저 함수를 사용하여 제1 조명 정보를 나타내며, 이는 제3 포인트 클라우드 데이터에서 각각의 제3 포인트 클라우드 포인트에 각각 대응되는 조명값을 포함한다.

단계 S504에서, 트레이닝될 제1 신경망을 이용하여, 상기 제2 안면 텍스처 맵에 대해 반사율 예측 처리를 수행하고, 상기 제2 안면의 제3 반사율 정보를 얻는다.

여기서, 단계 S504 및 단계 S503은 선후 순서가 없이 수행된다.

일부 실시예에서, 트레이닝될 제1 신경망은, 예를 들어 UNet 구조가 구비되는 신경망이다. UNet 네트워크에는 다중 레벨 특징 추출 계층 및 다중 레벨 특징 추출 계층 중 적어도 일부 타깃 특징 추출 계층에 각각 대응되는 업샘플링 계층이 포함된다. 임의의 타깃 특징 추출 계층의 경우, 상기 타깃 특징은 출력되는 특징 데이터를 추출하여, 이에 대응되는 업샘플링 계층의 입력 데이터의 일부분으로 사용하고, 업샘플링 계층 중의 업샘플링 과정에 참여하므로, 더 많은 특징 정보가 업샘플링 계층의 출력 데이터에 유지될 수 있다.

본 발명의 일부 실시예에서, 복수의 타깃 특징 추출 계층 중 적어도 하나의 타깃 특징 추출 계층에서 출력된 특징 데이터는 특징 반전을 거친 후 이에 대응되는 업샘플링 계층에 입력된다. 이에 따라 안면의 대칭 특성을 이용하여, 안면이 자체로 가려지거나 이물질에 의해 가려지는 부위를 재구성할 수 있다.

여기서, 특징의 반전은, 예를 들어 특징 맵을

으로부터

로 변환하는 것이다.

단계 S505에서, 상기 제2 반사율 정보, 상기 제1 조명 정보 및 상기 제3 반사율 정보를 이용하여, 상기 트레이닝될 제1 신경망 및 트레이닝될 제3 신경망을 공동 트레이닝하여, 트레이닝된 제1 신경망을 얻는다.

여기서, 제2 반사율 정보, 제1 조명 정보 및 제3 반사율 정보를 이용하여, 트레이닝될 제1 신경망 및 트레이닝될 제3 신경망을 공동 트레이닝할 경우, 예를 들어 하기 단계 51 ~ 단계 53에 대응되는 방식을 사용한다.

단계 51에서, 상기 제2 반사율 정보, 상기 제1 조명 정보를 이용하여, 상기 트레이닝될 제3 신경망의 제1 손실을 결정한다.

제2 반사율 정보 및 제1 조명 정보를 이용하여, 트레이닝될 제3 신경망의 제1 손실을 결정할 경우, 예를 들어 상기 제3 포인트 클라우드 데이터에 기반하여, 상기 제3 포인트 클라우드 데이터 중 복수의 제3 포인트 클라우드 포인트에 각각 대응되는 제2 법선 벡터를 결정하고; 상기 제2 법선 벡터, 상기 제2 반사율 정보 및 상기 제1 조명 정보에 기반하여, 상기 제2 안면의 제3 안면 텍스처 맵을 생성하며; 상기 제2 안면 텍스처 맵 및 상기 제3 안면 텍스처 맵에 기반하여, 상기 제1 손실을 생성할 수 있다.

여기서, 임의의 제3 포인트 클라우드 포인트의 경우, 상기 제3 포인트 클라우드 포인트는 동시에 복수의 패치에 속할 수 있으므로, 상기 임의의 제3 포인트 클라우드 포인트에 대응되는 제2 법선 벡터는, 상기 제3 포인트 클라우드 포인트가 속하는 복수의 패치에 각각 대응되는 법선 벡터의 평균값일 수 있다.

제3 포인트 클라우드 데이터에서, 제3 안면 텍스처 맵에서 임의의 제3 포인트 클라우드 포인트의 렌더링 색상은 하기 공식(2)를 만족한다.

(2);

여기서,

, n은 제2 법선 벡터를 나타내고, r은 상기 임의의 제3 포인트 클라우드 포인트 위치의 반사율 정보를 나타내며;

은 조명 계수를 나타내고;

은 상기 임의의 제3 포인트 클라우드 포인트 위치의 조명 정보를 나타낸다.

제3 안면 텍스처 맵에서 모든 제3 포인트 클라우드 포인트는 색상 집합만 렌더링하여 이미지로 렌더링함으로써 제3 안면 텍스처 맵을 얻을 수 있다. 다음 제3 안면 텍스처 맵 및 제2 안면 텍스처 맵에 기반하여, 제1 손실을 생성한다.

이때, 트레이닝될 제3 신경망의 제1 손실

은 하기 공식(3)을 만족한다.

(3);

여기서,

는 제2 안면 텍스처 맵을 나타내고;

는 제3 안면 텍스처 맵을 나타낸다.

일부 실시예에서, 제3 신경망의 원가 비용 함수

는 하기 공식(4)를 만족한다.

(4);

여기서,

은 정규 항목이고,

는 하이퍼파라미터이다.

단계 52에서, 상기 제2 반사율 정보, 상기 제1 조명 정보 및 상기 제3 반사율 정보를 이용하여, 상기 트레이닝될 제1 신경망의 제2 손실을 결정한다.

여기서, 단계 51 및 단계 52는 선후 순서 없이 수행된다.

일부 실시예에서, 예를 들어 하기 방식을 사용하여 트레이닝될 제1 신경망의 제2 손실을 얻을 수 있다.

상기 제2 반사율 정보 및 상기 제3 반사율 정보에 기반하여, 제1 서브 손실을 결정하고; 상기 제2 법선 벡터, 상기 제3 반사율 정보 및 상기 제1 조명 정보에 기반하여, 상기 제2 안면의 제4 안면 텍스처 맵을 생성하며, 상기 제4 안면 텍스처 맵 및 상기 제2 안면 텍스처 맵에 기반하여, 제2 서브 손실을 생성하고; 상기 제4 안면 텍스처 맵의 특징 맵 및 상기 제2 안면 텍스처 맵의 특징 맵에 기반하여, 제3 서브 손실을 생성하며; 상기 제1 서브 손실, 상기 제2 서브 손실 및 상기 제3 서브 손실에 기반하여, 상기 제2 손실을 얻는다.

예시적으로, 제1 신경망의 비용 함수

는 하기 공식(5)를 만족한다.

(5);

여기서,

는 제1 서브 손실이고, 하기 공식(6)을 만족한다.

(6);

여기서, G는 생성기를 나타내고, D는 판별기를 나타낸다. z는 제3 반사율 정보를 나타내고; x는 제2 반사율 정보를 나타내며;

는 기대값을 나타낸다.

는 하기 공식(7)을 만족한다.

(7);

여기서,

는 제2 서브 손실이다.

여기서, 제2 법선 벡터, 제3 반사율 정보 및 제1 조명 정보에 기반하여, 제4 안면 텍스처 맵을 생성하는 방식은, 상술한 제3 안면 텍스처 맵을 생성하는 방식과 유사하므로, 여기서 더 이상 설명하지 않는다. 또한,

의 구체적 계산 방식은 상기

와 유사하므로, 여기서 더 이상 설명하지 않는다.

는 제3 서브 손실로, 인지 손실이라고도 하며, 하기 공식(8)을 만족한다.

(8);

여기서,

는 제4 안면 텍스처 맵을 나타내고;

는 사전 트레이닝된 신경망이며,

는 상기 사전 트레이닝된 신경망의 제j 계층 네트워크 계층에서 출력되는 특징 맵을 나타낸다. H, W 및 C는 제j 계층 네트워크 계층에서 출력되는 특징 맵의 사이즈를 나타낸다.

및

은 모두 하이퍼파라미터이다.

예시적으로, 사전 트레이닝된 신경망은 예를 들어 ImageNet에서 트레이닝된 VGG-16이다.

단계 53에서, 상기 제1 손실에 기반하여, 상기 트레이닝될 제3 신경망을 업데이트하고, 상기 제2 손실에 기반하여, 상기 트레이닝될 제1 신경망의 네트워크 파라미터를 업데이트하며; 상기 트레이닝될 제3 신경망 및 상기 트레이닝될 제1 신경망의 네트워크 파라미터에 대한 여러 차례의 업데이트를 통해, 상기 트레이닝된 제1 신경망을 얻는다.

상기 단계 51~단계 53을 통해, 제1 신경망에 대한 트레이닝 과정을 구현한다.

상기 제1 신경망의 트레이닝 과정에서 볼 수 있다시피, 본 발명의 실시예는 약한 지도 원리에 기반하고, 트레이닝 데이터에 대해 라벨링할 필요가 없으므로, 제1 신경망 및 제2 신경망에 대한 트레이닝을 구현한다. 트레이닝 과정에서, 먼저 종래의 모델을 이용하여 제3 포인트 클라우드 데이터를 생성한 후, 제3 포인트 클라우드 데이터에 기반하여, 1단계 트레이닝에서 사용되는 제3 신경망을 이용하여, 지도 정보(예를 들어 제1 조명 정보, 제2 반사율 정보)를 생성하며, 제3 신경망 생성된 약한 지도 정보를 통해, 제1 신경망 및 제2 신경망에 대한 트레이닝을 구현한다.

상기 단계 S401에 이어서, 본 발명의 실시예에서 제공되는 제1 반사율 정보 및 제2 포인트 클라우드 데이터를 획득하는 방법은, 하기 단계를 더 포함할 수 있다.

단계 S403에서, 상기 제1 안면 텍스처 맵에 대해 안면 디테일 예측 처리를 수행하고, 상기 안면 디테일 예측 처리 결과에 기반하여, 상기 제1 안면의 제2 포인트 클라우드 데이터를 얻는다.

여기서, 단계 S402 및 단계 S403은 선후 순서 없이 수행된다.

여기서, 안면 디테일의 예측 처리 결과는 상기 제1 안면의 제1 안면 디테일 정보를 포함한다. 이때, 상기 디테일 예측 처리 결과에 기반하여, 상기 제1 안면의 제2 포인트 클라우드 데이터를 얻을 경우, 예를 들어 상기 제1 포인트 클라우드 데이터 및 상기 제1 안면 디테일 정보에 대해 융합 처리를 수행하여, 상기 제2 포인트 클라우드 데이터를 얻는 단계를 포함한다.

일부 실시예에서, 상기 제1 안면 디테일 정보는 상기 각각의 제1 포인트 클라우드 포인트에 대응되는 제1 법선 벡터 방향에서 복수의 상기 제1 포인트 클라우드 포인트 중 각각의 제1 포인트 클라우드 포인트의 이동 거리를 포함한다. 임의의 제1 포인트 클라우드 포인트에 있어서, 상기 제1 포인트 클라우드 포인트는 동시에 복수의 패치에 속할 수 있으므로, 상기 임의의 제1 포인트 클라우드 포인트에 대응되는 제1 법선 벡터는, 상기 제1 포인트 클라우드 포인트가 속하는 복수의 패치에 각각 대응되는 제1 법선 벡터의 평균값이다.

일부 실시예에서, 예를 들어 사전 트레이닝된 제2 신경망을 이용하여 상기 제1 안면 텍스처 맵에 대해 디테일 예측 처리를 수행하여, 상기 제1 안면의 제1 안면 디테일 정보를 얻을 수 있다.

도 6을 참조하면, 본 발명의 실시예에서 제공되는 제2 신경망을 트레이닝하는 구체적 방법은 하기 단계를 포함한다.

단계 S601에서, 트레이닝될 제2 신경망을 이용하여, 상기 제2 안면 텍스처 맵에 대해 디테일 예측 처리를 수행하여, 상기 제2 안면의 제2 안면 디테일 정보를 얻는다.

여기서, 제2 안면 디테일 정보는, 예를 들어 상기 각각의 제3 포인트 클라우드 포인트에 대응되는 제2 법선 벡터 방향에서 복수의 상기 제3 포인트 클라우드 포인트 중 각각의 제3 포인트 클라우드 포인트의 이동 거리를 포함한다.

단계 S602에서, 상기 제2 안면의 제2 안면 디테일 정보 및 상기 제3 포인트 클라우드 데이터를 융합하여, 제2 안면의 제4 포인트 클라우드 데이터를 얻는다.

일부 실시예에서, 제2 안면의 제2 안면 디테일 정보 및 제3 포인트 클라우드 데이터를 융합하여, 즉 상기 각각의 제3 포인트 클라우드 포인트에 대응되는 제2 법선 벡터 방향에서 복수의 상기 제3 포인트 클라우드 포인트 중 각각의 제3 포인트 클라우드 포인트의 이동 거리를 이용하여, 카메라 좌표계에서 제3 포인트 클라우드 데이터 중 각 제3 포인트 클라우드 포인트의 위치를 조절하고, 복수의 제1 포인트 클라우드 포인트의 조절 결과에 기반하여, 제2 포인트 클라우드 데이터를 얻음으로써, 획득된 제4 포인트 클라우드 데이터가 나타내는 안면이 안면의 디테일 정보를 나타낼 수 있다.

단계 S603에서, 상기 제4 포인트 클라우드 데이터, 상기 제3 반사율 정보 및 상기 제1 조명 정보에 기반하여, 제5 안면 텍스처 맵을 생성한다.

여기서, 제5 안면 텍스처 맵의 생성 방식은, 상술한 제3 안면 텍스처 맵의 생성 방식과 유사하므로, 여기서 더 이상 설명하지 않는다.

단계 S604에서, 상기 제5 안면 텍스처 맵 및 상기 제2 안면 텍스처 맵에 기반하여, 상기 트레이닝될 제2 신경망을 트레이닝하고; 트레이닝된 제2 신경망을 얻는다.

여기서, 예를 들어 제5 안면 텍스처 맵 및 제2 안면 텍스처 맵을 이용하여, 제3 손실을 얻고, 다음 제3 손실을 이용하여, 트레이닝될 제2 신경망의 네트워크 파라미터를 조절할 수 있으며; 트레이닝될 신경망의 네트워크 파라미터에 대한 여러 차례의 조절을 통해, 트레이닝된 제2 신경망을 얻는다.

일부 실시예에서, 제2 신경망의 비용 함수

는 하기 공식(9)를 만족한다.

(9);

여기서,

는 구배 손실을 나타내고,

를 만족한다.

는 구배 계산 과정을 나타낸다. 연산자

는 제5 안면 텍스처 맵을 나타낸다.

는 각각 상이한 손실 항목의 가중치를 나타내고, 하이퍼파라미터이다.

일부 실시예에서, 구배를 계산할 경우, 소벨 sobel연산자를 컨볼루션 커널로 사용하고, 상기 컨볼루션 커널을 사용하여 제5 안면 텍스처 맵에 대해 컨볼루션 처리를 수행하여, 제5 안면 텍스처 맵의 구배 정보를 얻을 수 있다. 제2 안면 텍스처 맵의 구배 정보를 계산하는 방식은, 제5 안면 텍스처 맵의 구배 정보를 획득하는 방식과 유사하다.

가 일정한 범위 내에 한정되도록 하여,

로 인한 3차원 포인트 클라우드 데이터 구조의 안면의 과도한 변형을 방지하여 생성된 3차원 모델 및 제2 안면 사이에 과도한 차이가 발생하지 않도록 한다.

는 평활 손실을 나타내고, 가까운 위치의 제3 포인트 클라우드 포인트 사이의 높이 차이가 너무 크지 않음을 나타낸다.

일부 실시예에서,

는 하기 공식(10)을 통해 계산할 수 있다.

(10);

여기서,

는 전체 제3 포인트 클라우드 포인트 집합을 나타내고;

는 i번째 제3 포인트 클라우드 포인트를 나타내며;

는 i번째 제3 포인트 클라우드 포인트 사이에 직접적 연결 관계를 갖는 모든 제3 포인트 클라우드 포인트의 집합을 나타낸다.

일부 실시예에서, 도 7을 참조하면, 또한 제1 신경망 및 제2 신경망을 트레이닝하는 구체적 예시를 제공한다. 상기 실시예에서, 제2 이미지(701)(실제 인물 이미지를 사용하기에, 도면에서 실제 인물의 얼굴에 대해 모자이크 처리함)를 획득한 후, 3DMM을 이용하여 제2 이미지(701)의 제3 포인트 클라우드 데이터(702)를 얻으며, 다음 제3 포인트 클라우드 데이터(702)에 기반하여, 제3 포인트 클라우드 데이터 중 각 제3 포인트 클라우드 포인트의 제2 법선 벡터(703)를 결정하고, 제3 포인트 클라우드 데이터(702) 및 제2 이미지(701)에 기반하여, 제2 안면 텍스처 맵(704)을 얻으며, 다음 제2 안면 텍스처 맵(704)을 트레이닝될 제1 신경망(71), 제2 신경망(72) 및 제3 신경망(73)에 각각 입력한다.

트레이닝될 제3 신경망(73)을 통해 제1 조명 정보(705) 및 제2 반사율 정보(706)를 출력하고, 제2 법선 벡터(703), 제1 조명 정보(705) 및 제2 반사율 정보(706)에 기반하여, 제3 안면 텍스처 맵(707)을 생성하며, 제3 안면 텍스처 맵(707) 및 제2 안면 텍스처 맵(704)에 기반하여, 제1 손실을 얻는다. 제1 손실에 기반하여 트레이닝될 제3 신경망(73)의 네트워크 파라미터를 업데이트한다.

트레이닝될 제1 신경망(71)을 통해 제3 반사율 정보(708)를 출력하고; 제2 반사율 정보(706) 및 제3 반사율 정보(708)에 기반하여, 제1 서브 손실을 얻으며; 제3 반사율 정보(708), 제1 조명 정보(705)에 따라, 제4 안면 텍스처 맵(709)을 생성하고, 제4 안면 텍스처 맵(709) 및 제2 안면 텍스처 맵(704)에 기반하여, 제2 서브 손실 및 제3 서브 손실을 얻는다. 제1 서브 손실, 제2 서브 손실, 제3 서브 손실에 기반하여, 트레이닝될 제1 신경망(71)의 네트워크 파라미터를 업데이트한다.

트레이닝될 제2 신경망(72)을 통해 안면 디테일 정보를 출력하고, 안면 디테일 정보 및 제3 포인트 클라우드 데이터(702)를 융합하여, 제4 포인트 클라우드 데이터(710)를 얻는다. 다음 제4 포인트 클라우드 데이터(710), 제3 반사율 정보(708) 및 제1 조명 정보(705)를 이용하여, 제5 안면 텍스처 맵(711)을 얻고; 제5 안면 텍스처 맵(711) 및 제2 안면 텍스처 맵(704)을 이용하여, 제3 손실을 얻는다. 제3 손실에 기반하여, 트레이닝될 제2 신경망(72)의 네트워크 파라미터를 업데이트한다.

제1 신경망(71)의 네트워크 파라미터 및 제2 신경망(72)의 네트워크 파라미터에 대한 여러 차례의 업데이트를 통해, 트레이닝된 제1 신경망(71) 및 제2 신경망(72)을 얻는다.

IV: 상기 단계 S104에서, 제1 반사율 정보 및 제2 포인트 클라우드 데이터를 융합 처리할 경우, 제1 반사율 정보에는 실제로 제2 포인트 클라우드 데이터 중 각각의 제2 포인트 클라우드 포인트에 대응되는 색상이 포함되므로, 제1 반사율 정보에 기반하여, 각 제2 포인트 클라우드 포인트에 대해 색상 렌더링을 수행하여, 제1 안면의 3차원 모델을 얻는다.

본 발명의 실시예에서, 먼저 제1 이미지에 기반하여, 제1 안면의 윤곽 정보가 포함되는 제1 포인트 클라우드 데이터를 결정한 후, 제1 포인트 클라우드 데이터 및 제1 이미지에 기반하여, 제1 안면의 제1 반사율 정보 및 제1 안면이 포함되는 디테일 정보의 제2 포인트 클라우드 데이터를 결정하며, 제1 반사율 정보 및 제2 포인트 클라우드 데이터를 융합 처리함으로써, 획득된 제1 안면의 3차원 모델에는 제1 안면의 반사율 정보 뿐만 아니라, 제1 안면의 윤곽 정보 및 디테일 정보도 포함되므로, 생성된 제1 안면의 3차원 모델이 더 높은 진실도를 갖는다.

당업자들은 상기 방법에서 각 단계의 작성 순서가 엄격한 수행 순서를 의미하여 구현 과정에 대한 임의의 제한을 구성하는 것이 아님을 이해할 수 있을 것이다. 각 단계의 수행 순서는 기능과 가능한 내부 논리에 따라 결정되어야 한다.

본 발명의 실시예에서 제공되는 3차원 모델 생성 방법은, 한 장의 안면 사진 및 약한 지도 러닝 방법에 기반하여 높은 품질의 안면 반사율 및 안면 디테일을 재구성할 수 있다.

상기 방법은 하기 방식을 통해 구현될 수 있다. 먼저, 3DMM을 이용하여 피팅을 통해 안면 사진에 대한 거친 안면 재구성을 수행하여 안면 윤곽을 얻고; 다음, 3DMM의 저주파 반사율 모델을 이용하여 하나의 부스팅 네트워크(Boosting Network, B-Net)를 트레이닝하여, 안면 사진의 조명 계수 및 실제 안면의 저주파 반사율 분포를 얻으며; 이어서, 획득된 안면 사진의 조명 계수 및 실제 안면의 저주파 반사율 분포 정보에 따라, 약한 지도 방식을 사용하여 이미지 투 이미지 안면 반사율 네트워크(Facial Albedo Network, FAN)를 트레이닝하여, 안면 사진의 반사율 정보를 얻되, 여기서 블록 판별기를 이용하여 반사율 분포에 대해 적대적 트레이닝을 수행할 수 있으며; 마지막으로, 트레이닝된 FAN을 얻은 후, 약한 지도 방식을 사용하여 디테일 복구 네트워크(Detail Recovering Network, DRN)를 트레이닝하여, 원래 그리드 법선 벡터 방향을 따라 오프셋된 안면 기하학적 디테일을 얻는다.

상술한 3차원 모델 생성 방법에서, 부스팅 네트워크의 구조 및 트레이닝 방식을 한정하지 않는다. 예시적으로, 부스팅 네트워크의 구조는 Boosting알고리즘에 기반한 임의의 적절한 신경망일 수 있다. 실시에 있어서, 부스팅 네트워크는 조명 추정을 제공하고 완전 반사율 분포를 생성할 수 있는 임의의 모델을 사용할 수 있고, 완전 반사율은 착용물, 화장, 물체 가림 및 자태 가림이 없는 반사율을 가리킨다. DRN 및 FAN의 구조는 이미지 투 이미지 네트워크이고, 물체는 Unet-8에 기반한 개선 구조를 사용할 수 있다. 예시적으로, Unet-8 중의 제1 콘볼루션 계층 스텝사이즈를 2에서 1로 변경하고, Unet의 가장 깊은 특징 맵 사이즈가 1x1이 되도록 구조를 수정할 수 있다. 또한, 제1 콘볼루션 계층 후에 특징 맵을 반전하고, 원래 특징 맵과 접합하여 다음 계층에 입력한다. Unet-8 구조에 대한 개선은 입력 사진의 정보를 최대한 보존할 수 있고, 안면 대칭성을 직접적으로 가정하지 않고 안면 대칭 정보를 참조할 수 있다. 여기서 부스팅 네트워크로 예측한 조명 및 반사율 분포 정보(예를 들어 3DMM 계수 등)를 사용하여 FAN 및 DRN을 트레이닝한다. 트레이닝된 손실 함수는 필요에 따라 결정할 수 있으며 여기서 한정하지 않는다. FAN 트레이닝을 수행할 경우, 반사율 분포의 적대적 손실을 지도할 필요가 있는데, 적대적 손실의 지도 정보는 예측한 반사율 분포가 트레이닝하여 획득된 반사율 분포에 최대한 근접하도록 할 수 있는 바, 즉 완전한 반사율을 생성할 수 있어, 가려진 안면 영역을 보완하는데 유리하고, 가림 영향을 방지한다. DRN의 트레이닝은 주로 픽셀 구배 손실에 기반하므로 비제한적인 입력 사진과 렌더링 사진의 큰 차이에 의해 디테일에 큰 오류의 영향을 생성하는 것을 방지할 수 있다. 또한, DRN의 출력은 원래 그리드 정점 법선 벡터 방향의 오프셋에 기반하기에, 구멍 또는 패치에 의해 커버되는 상황이 쉽게 나타나지 않는다. FAN 및 DRN에 기반하여 최종적으로 획득된 안면 반사율 및 안면 디테일은 상이한 조명 및 자태에서 렌더링을 수행할 수 있다.

본 발명의 실시예에서 제공되는 3차원 모델 생성 방법은 관련 기술에 비해, 하기 구별점이 존재한다. 1) 관련 기술에서는 코덱 구조 또는 지도 트레이닝을 통해 획득된 이미지 투 이미지 구조를 사용하여 안면 재구성을 수행하나, 본 발명의 실시예는 약한 지도 트레이닝을 통해 획득된 이미지 투 이미지 구조를 사용하여 안면 재구성을 수행한다. 2) 반사율 분포의 예측에 있어서, 관련 기술에서는 일정한 반사율에 기반하여, 정규 항목(예를 들어 대칭성, 부분적 일치성 등)을 가정하여 추가하거나 비적대적 트레이닝 및 다른 약한 지도 정보를 사용하고, 안면 피부 영역 측정이 필요하나, 본 발명의 실시예는 적대적 트레이닝을 사용하고, 피부 영역 측정 및 정규 항목이 불필요하다. 3) 관련 기술에서 안면 기하학적 디테일 출력은 깊이맵 중의 Z방향 오프셋이나, 본 발명의 실시예의 안면 기하학적 디테일 출력은 정점 법선 오프셋이다. 4) 관련 기술에서는 픽셀 색상 차이에 기반하여 DRN을 트레이닝하나, 본 발명의 실시예는 픽셀 구배 차이에 기반하여 DRN을 트레이닝한다.

본 발명의 실시예는 하기와 같은 기술적 효과를 달성할 수 있다. 1) 약한 지도 안면 표면 반사율 복구의 실감을 높인다. 관련 기술에서 디테일을 복구하는 약한 지도 방법은 주로 하기와 같은 두 가지 유형으로 나뉜다. 한 가지 유형은, 3DMM반사율 모델 계수를 예측하는 것인데, 3DMM반사율 모델은 소량의 실내에서 수집되는 안면 트레이닝만으로 획득되므로, 모델 표현 능력이 제한되고, 극도로 낮은 주파수의 반사율만 복구할 수 있을 뿐 고주파의 반사율 정보를 복구하기 어렵다. 다른 유형은, 완전히 비선형 깊이 신경망에 기반하여 예측하는 것인데, 이는 제약이 부족하므로, 가려짐 영향을 받은 반사율을 얻지 않기 위해 트레이닝 시 정규 항목을 추가하여 제약해야 하므로 최종적으로 획득된 반사율은 실감이 낮다. 또한 일부 방법은 지도 방식을 사용하여 트레이닝하지만, 대량의 트레이닝 데이터 수집이 필요되고, 트레이닝할 경우 비제약 상황에서 수집된 사진에 대한 일반화가 필요되며, 그렇지 않으면 강건성이 낮은 문제가 나타난다. 본 발명의 실시예는 이미지 투 이미지 딥러닝 네트워크를 이용하여 반사율을 예측하고, 저주파 반사율 분포의 약한 지도를 통해 반사율 보완 등을 구현하며, 실감이 더 강한 반사율을 재구성할 수 있고, 입력 사진의 가려진 부분을 자연스럽게 보완하며, 사용 시 입력 사진의 안면이 정면이고 적게 가려지면, 맞춤형 트레이닝함으로써 최종적으로 실감이 더 우수한 결과를 얻을 수 있다. 2) 약한 지도 러닝은 그리드에서 신뢰할 수 있는 안면 기하학적 디테일을 획득한다. 관련 기술에서는 주로 깊이맵의 오프셋을 예측하는데, 원래 그리드에 작용될 경우 비강성 등록이 더 필요하며 원래 그리드가 파손되기 쉽다. 구멍이 뚫리거나 중첩되는 상황이 나타날 경우, 본 발명의 실시예는 원래 그리드 법선 방향에 따른 오프셋을 예측하므로 법선 벡터 방향으로 이동할 경우 원래 그리드가 쉽게 파손되지 않고, 트레이닝할 경우의 픽셀 구배 손실은 디테일이 그림자 등의 영향을 덜 받도록 하여 신뢰할 수 있는 안면 기하학적 디테일을 획득할 수 있다.

본 발명의 실시예에서 제공되는 3차원 모델 생성 방법은, 소셜 네트워크 네트워크, 디지털 안면 대역 생성(예를 들어 핸드폰 단말기 안면 대역 생성 등), 실시간 안면 애니메이션 구동, 메이크업 애플리케이션(예를 들어 다각도, 상이한 조명에서 메이크업 효과 등을 검색함)등 장면에 응용될 수 있다. 예를 들어, 사용자가 한 장의 사진의 안면을 재구성할 경우, 안면 반사율 및 주름 등 안면 기하학적 디테일을 복구할 필요가 있는데, 지도 트레이닝에 사용될 수 있는 대량의 안면 스캔 데이터가 없다면, 약한 지도 트레이닝을 할 필요가 있다. 트레이닝된 모델을 사용할 경우, 복구된 반사율이 입력 사진의 가려진 부분을 자연적으로 제거할 수 없거나, 복구된 반사율이 거칠고, 실감이 떨어지는 경우, 본 발명의 실시예에서 제공되는 3차원 모델 생성 방법을 응용하여 반사율 재구성을 할 수 있다. 이 밖에, 사용자가 안면 기하학적 디테일 복구가 필요할 경우, 재구성된 디테일이 그리드에 손상을 줄 가능성이 클 경우, 본 발명의 실시예에서 제공되는 3차원 모델 생성 방법을 사용할 수 있다.

설명해야 할 것은, 상기 반사율은 자연 조명에서 피부의 색상으로 간주될 수 있는데, 적대적 트레이닝에서 사용되는 적대적 손실을 통해 특정된 구체적 예측이 근접하는 것이 아니라 두 개의 반사율 분포가 근접하도록 할 수 있다. 실시에 있어서, 상기 FAN은 상술한 실시예 중의 제1 신경망으로 사용될 수 있고, DRN은 전술한 실시예 중의 제2 신경망으로 사용될 수 있으며, 부스팅 네트워크는 전술한 실시예 중의 제3 신경망으로 사용될 수 있다.

동일한 발명 구상에 기반하여, 본 발명의 실시예는 또한 3차원 모델 생성 방법에 대응되는 3차원 모델 생성 장치를 제공한다. 본 발명의 실시예 중의 장치가 문제를 해결하는 원리는 본 발명의 실시예에 따른 3차원 모델 생성 방법과 유사하므로, 장치의 실시는 방법의 실시를 참조할 수 있으며, 중복되는 부분은 더 이상 설명하지 않는다.

도 8을 참조하면, 이는 본 발명의 실시예에서 제공되는 3차원 모델 생성 장치의 모식도이고, 상기 장치는 획득 모듈(81), 결정 모듈(82), 융합 모듈(83)을 포함한다.

획득 모듈(81)은, 제1 안면이 포함되는 제1 이미지를 획득하고, 상기 제1 이미지에 기반하여, 제1 안면의 윤곽 정보가 포함되는 제1 포인트 클라우드 데이터를 얻도록 구성된다.

결정 모듈(82)은, 상기 제1 포인트 클라우드 데이터 및 상기 제1 이미지에 기반하여, 상기 제1 안면의 제1 반사율 정보 및 상기 제1 안면의 디테일 정보가 포함되는 제2 포인트 클라우드 데이터를 얻도록 구성된다.

융합 모듈(83)은, 상기 제1 반사율 정보 및 상기 제2 포인트 클라우드 데이터에 기반하여, 상기 제1 안면의 3차원 모델을 얻도록 구성된다.

일부 실시예에서, 상기 결정 모듈(82)은, 상기 제1 포인트 클라우드 데이터 및 상기 제1 이미지에 기반하여, 상기 제1 안면의 제1 반사율 정보 및 상기 제1 안면 디테일 정보가 포함되는 제2 포인트 클라우드 데이터를 결정할 경우, 상기 제1 포인트 클라우드 데이터 및 상기 제1 이미지에 기반하여, 상기 제1 안면의 제1 안면 텍스처 맵을 결정하고; 상기 제1 안면 텍스처 맵에 대해 반사율 정보 예측 처리를 수행하여, 상기 제1 안면의 제1 반사율 정보를 얻으며; 상기 제1 안면 텍스처 맵에 대해 안면 디테일 예측 처리를 수행하고, 상기 안면 디테일 예측 처리 결과에 기반하여, 상기 제1 안면의 제2 포인트 클라우드 데이터를 얻도록 구성된다.

일부 실시예에서, 상기 제1 포인트 클라우드 데이터는, 카메라 좌표계에서 상기 제1 안면을 구성하는 복수의 상기 제1 포인트 클라우드 포인트의 각각의 3차원 좌표값 및 상이한 상기 제1 포인트 클라우드 포인트 사이의 연결 관계 정보를 포함한다.

일부 실시예에서, 상기 결정 모듈(82)은, 상기 제1 포인트 클라우드 데이터 및 상기 제1 이미지에 기반하여, 상기 제1 안면의 제1 안면 텍스처 맵을 결정할 경우, 카메라 좌표계에서 복수의 상기 제1 포인트 클라우드 포인트의 각각의 3차원 좌표값에 기반하여, 복수의 상기 제1 포인트 클라우드 포인트를 각각 상기 제1 이미지 중의 복수의 제1 픽셀점과 정렬 처리를 수행하고; 정렬 처리 결과, 상이한 상기 제1 포인트 클라우드 포인트 사이의 연결 관계 정보 및 상기 제1 이미지 중 각 제1 픽셀점의 제1 픽셀값에 기반하여, 상기 제1 안면을 구성하는 복수의 패치에 각각 대응되는 제2 픽셀값을 결정하도록 구성되며; 여기서, 임의의 상기 패치는 연결 관계를 갖는 적어도 세 개의 제1 포인트 클라우드 포인트로 구성되고; 상기 복수의 패치에 각각 대응되는 제2 픽셀값에 기반하여, 상기 제1 안면 텍스처 맵을 생성한다.

일부 실시예에서, 상기 안면 디테일의 예측 처리 결과는, 상기 제1 안면의 제1 안면 디테일 정보를 포함하고; 상기 결정 모듈(82)은, 상기 디테일 예측 처리 결과에 기반하여, 상기 제1 안면의 제2 포인트 클라우드 데이터를 얻을 경우, 상기 제1 포인트 클라우드 데이터 및 상기 제1 안면 디테일 정보에 대해 융합 처리를 수행하여, 상기 제2 포인트 클라우드 데이터를 얻도록 구성된다.

일부 실시예에서, 상기 제1 안면 디테일 정보는 상기 각각의 제1 포인트 클라우드 포인트에 대응되는 제1 법선 벡터 방향에서 복수의 상기 제1 포인트 클라우드 포인트 중 각각의 제1 포인트 클라우드 포인트의 이동 거리를 포함하고; 상기 결정 모듈(82)은, 상기 제1 포인트 클라우드 데이터 및 상기 제1 안면 디테일 정보에 대해 융합 처리를 수행하여, 상기 제2 포인트 클라우드 데이터를 생성할 경우, 상기 각각의 제1 포인트 클라우드 포인트에 대응되는 제1 법선 벡터 방향에서 복수의 상기 제1 포인트 클라우드 포인트 중 각각의 제1 포인트 클라우드 포인트의 이동 거리 및 카메라 좌표계에서 상기 각각의 제1 포인트 클라우드 포인트의 3차원 좌표값에 기반하여, 상기 카메라 좌표계에서 각각의 상기 제1 포인트 클라우드 포인트의 위치를 조절하고; 복수의 상기 제1 포인트 클라우드 포인트의 조절 결과에 기반하여, 상기 제2 포인트 클라우드 데이터를 얻도록 구성된다.

일부 실시예에서, 상기 결정 모듈(82)은, 상기 제1 안면 텍스처 맵에 대해 반사율 정보 예측 처리를 수행하여, 상기 제1 안면의 제1 반사율 정보를 얻을 경우, 사전 트레이닝된 제1 신경망을 이용하여 상기 제1 안면 텍스처 맵에 대해 반사율 정보 예측 처리를 수행하여, 상기 제1 안면의 제1 반사율 정보를 얻도록 구성된다.

일부 실시예에서, 하기 방식을 사용하여 상기 제1 신경망을 트레이닝하도록 구성되는 제1 트레이닝 모듈(84)을 더 포함한다. 제2 안면이 포함되는 제2 이미지를 획득하고, 상기 제2 이미지에 기반하여, 제2 안면의 윤곽 정보가 포함되는 제3 포인트 클라우드 데이터를 얻으며; 상기 제3 포인트 클라우드 데이터에 기반하여, 제2 안면의 제2 안면 텍스처 맵을 얻고; 트레이닝될 제3 신경망을 이용하여, 상기 제2 안면 텍스처 맵에 대해 반사율 예측 처리 및 조명 예측 처리를 수행하여, 상기 제2 안면의 제2 반사율 정보 및 상기 제2 안면의 제1 조명 정보를 얻으며; 트레이닝될 제1 신경망을 이용하여, 상기 제2 안면 텍스처 맵에 대해 반사율 예측 처리를 수행하고, 상기 제2 안면의 제3 반사율 정보를 얻고; 상기 제2 반사율 정보, 상기 제1 조명 정보 및 상기 제3 반사율 정보를 이용하여, 상기 트레이닝될 제1 신경망 및 트레이닝될 제3 신경망을 공동 트레이닝하여, 트레이닝된 제1 신경망을 얻는다.

일부 실시예에서, 상기 제1 트레이닝 모듈(84)은, 상기 제2 반사율 정보, 상기 제1 조명 정보 및 상기 제3 반사율 정보를 이용하여, 상기 트레이닝될 제1 신경망 및 트레이닝될 제3 신경망을 공동 트레이닝할 경우, 상기 제2 반사율 정보, 상기 제1 조명 정보를 이용하여, 상기 트레이닝될 제3 신경망의 제1 손실을 결정하고; 상기 제2 반사율 정보, 상기 제1 조명 정보 및 상기 제3 반사율 정보를 이용하여, 상기 트레이닝될 제1 신경망의 제2 손실을 결정하며; 상기 제1 손실에 기반하여, 상기 트레이닝될 제3 신경망을 업데이트하고, 상기 제2 손실에 기반하여, 상기 트레이닝될 제1 신경망의 네트워크 파라미터를 업데이트하며; 상기 트레이닝될 제3 신경망 및 상기 트레이닝될 제1 신경망의 네트워크 파라미터에 대한 여러 차례의 업데이트를 통해, 상기 트레이닝된 제1 신경망을 얻도록 구성된다.

일부 실시예에서, 상기 제1 트레이닝 모듈(84)은, 상기 제2 반사율 정보, 상기 제1 조명 정보를 이용하여, 상기 트레이닝될 제3 신경망의 제1 손실을 결정할 경우, 상기 제3 포인트 클라우드 데이터에 기반하여, 상기 제3 포인트 클라우드 데이터 중 복수의 제3 포인트 클라우드 포인트에 각각 대응되는 제2 법선 벡터를 결정하고; 상기 제2 법선 벡터, 상기 제2 반사율 정보 및 상기 제1 조명 정보에 기반하여, 상기 제2 안면의 제3 안면 텍스처 맵을 생성하며; 상기 제2 안면 텍스처 맵 및 상기 제3 안면 텍스처 맵에 기반하여, 상기 제1 손실을 생성하도록 구성된다.

일부 실시예에서, 상기 제1 트레이닝 모듈(84)은, 상기 제2 반사율 정보, 상기 제1 조명 정보 및 상기 제3 반사율 정보를 이용하여, 상기 트레이닝될 제1 신경망의 제2 손실을 결정할 경우, 상기 제2 반사율 정보 및 상기 제3 반사율 정보에 기반하여, 제1 서브 손실을 결정하고; 상기 제2 법선 벡터, 상기 제3 반사율 정보 및 상기 제1 조명 정보에 기반하여, 상기 제2 안면의 제4 안면 텍스처 맵을 생성하며, 상기 제4 안면 텍스처 맵 및 상기 제2 안면 텍스처 맵에 기반하여, 제2 서브 손실을 생성하고; 상기 제4 안면 텍스처 맵의 특징 맵 및 상기 제2 안면 텍스처 맵의 특징 맵에 기반하여, 제3 서브 손실을 생성하고; 상기 제1 서브 손실, 상기 제2 서브 손실 및 상기 제3 서브 손실에 기반하여, 상기 제2 손실을 얻도록 구성된다.

일부 실시예에서, 상기 결정 모듈(82)은, 상기 안면 텍스처 맵에 대해 디테일 예측 처리를 수행하고, 상기 디테일 예측 처리 결과에 기반하여, 상기 제1 안면의 제2 포인트 클라우드 데이터를 얻을 경우, 사전 트레이닝된 제2 신경망을 이용하여 상기 제1 안면 텍스처 맵에 대해 디테일 예측 처리를 수행하여, 상기 제1 안면의 제1 안면 디테일 정보를 얻도록 구성된다.

일부 실시예에서, 하기 방식을 사용하여 상기 제2 신경망을 트레이닝하도록 구성되는 제2 트레이닝 모듈(85)을 더 포함한다. 트레이닝될 제2 신경망을 이용하여, 상기 제2 안면 텍스처 맵에 대해 디테일 예측 처리를 수행하여, 상기 제2 안면의 제2 안면 디테일 정보를 얻고; 상기 제2 안면의 제2 안면 디테일 정보 및 상기 제3 포인트 클라우드 데이터를 융합하여, 제2 안면의 제4 포인트 클라우드 데이터를 얻으며; 상기 제4 포인트 클라우드 데이터, 상기 제3 반사율 정보 및 상기 제1 조명 정보에 기반하여, 제5 안면 텍스처 맵을 생성하고; 상기 제5 안면 텍스처 맵 및 상기 제2 안면 텍스처 맵에 기반하여, 상기 트레이닝될 제2 신경망을 트레이닝하며; 트레이닝된 제2 신경망을 얻는다.

장치 중 각 부분의 처리 프로세스 및 각 부분 간의 상호작용 ㅍ로세스에 대한 설명은 상기 방법 실시예의 관련 설명을 참조할 수 있으며, 여기서 더 이상 설명하지 않는다.

본 발명의 실시예는 또한 컴퓨터 기기를 제공한다. 도 9에 도시된 바와 같이, 이는 본 발명의 실시예에서 제공되는 컴퓨터 기기 구조 모식도이며, 프로세서(11) 및 메모리(12)를 포함하고; 상기 메모리(12)에는 상기 프로세서(11)에 의해 실행 가능한 기계 판독 가능 명령이 저장되며, 컴퓨터 기기가 작동될 경우, 상기 기계 판독 가능 명령이 상기 프로세서에 의해 실행되어 제1 안면이 포함되는 제1 이미지를 획득하는 단계; 상기 제1 이미지에 기반하여, 제1 안면의 윤곽 정보가 포함되는 제1 포인트 클라우드 데이터를 결정하는 단계; 상기 제1 포인트 클라우드 데이터 및 상기 제1 이미지에 기반하여, 상기 제1 안면의 제1 반사율 정보 및 상기 제1 안면의 디테일 정보가 포함되는 제2 포인트 클라우드 데이터를 결정하는 단계; 상기 제1 반사율 정보 및 상기 제2 포인트 클라우드 데이터에 기반하여, 상기 제1 안면의 3차원 모델을 생성하는 단계를 구현한다.

상기 명령의 구체적 실행 과정은 본 발명 실시예에 따른 3차원 모델 생성 방법의 단계를 참조할 수 있고, 여기서 더 이상 설명하지 않는다.

본 발명의 실시예는 또한 컴퓨터 판독 가능 저장 매체를 제공한다. 상기 컴퓨터 판독 가능 저장 매체에는 컴퓨터 프로그램이 저장되며, 상기 컴퓨터 프로그램이 프로세서에 의해 작동될 경우 상술한 방법 실시예에 따른 3차원 모델 생성 방법의 단계를 수행한다. 여기서, 상기 저장 매체는 휘발성 또는 비휘발성 컴퓨터 판독 가능 저장 매체일 수 있다.

본 발명의 실시예에서 제공되는 3차원 모델 생성 방법의 컴퓨터 프로그램 제품은, 프로그램 코드가 저장되는 컴퓨터 판독 가능 저장 매체를 포함하고, 상기 프로그램 코드에 포함되는 명령은 상술한 방법 실시예에 따른 3차원 모델 생성 방법의 단계를 수행하도록 구성될 수 있으며, 구체적으로 상술한 방법 실시예를 참조할 수 있고, 여기서 더 이상 설명하지 않는다.

본 발명의 실시예는 또한 컴퓨터 프로그램을 제공한다. 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 경우 전술한 실시예의 임의의 하나의 방법을 구현할 수 있다. 상기 컴퓨터 프로그램 제품은 구체적으로 하드웨어, 소프트웨어 또는 이들의 조합 방식으로 구현될 수 있다. 선택 가능한 일 실시예에서, 상기 컴퓨터 프로그램 제품은 구체적으로 컴퓨터 저장 매체로 구현될 수 있고, 다른 선택 가능한 실시예에서, 컴퓨터 프로그램 제품은 구체적으로 소프트웨어 개발 키트(Software Development Kit, SDK)와 같은 소프트웨어 제품으로 구현될 수 있다.

본 기술분야의 통상의 기술자는 설명의 편의와 간결함을 위해 상기에서 설명된 시스템 및 장치의 구체적인 동작 과정은 전술한 방법 실시예 중의 대응되는 과정을 참조할 수 있음을 명확하게 이해할 수 있을 것이며, 여기서는 일일이 설명하지 않기로 한다. 본 발명에서 제공된 몇개의 실시예에서, 개시된 시스템, 장치 및 방법은 다른 방식으로 구현될 수 있음을 이해해야 할 것이다. 이상에서 설명된 장치 실시예는 단지 예시적인 것이고, 예를 들면 상기 유닛의 구획은 단지 논리적 기능 구획일 뿐이고 실제 구현시 다른 구획 방식이 있을 수 있으며, 또한 예를 들면 복수의 유닛 또는 컴포넌트는 다른 하나의 시스템에 조합되거나 집적될 수 있으며, 일부 특징은 생략되거나 실행되지 않을 수 있다. 또한, 기재 또는 논의된 상호 커플링 또는 직접 커플링 또는 통신 연결은 일부 인터페이스를 통한 것일 수 있고, 장치 또는 유닛의 간접 커플링 또는 통신 연결은 전기적, 기계적 또는 다른 형태일 수 있다.

이상에서 분리 부재로 설명된 유닛은 물리적으로 분리되거나 분리되지 않을 것일 수 있고, 유닛으로 표시된 부재는 물리적 유닛일 수 있거나, 물리적 유닛이 아닐 수 있으며, 하나의 장소에 위치하거나, 복수의 네트워크 유닛에 분포될 수 있다. 실제 수요에 따라 그중의 일부 또는 전부 유닛을 선택하여 본 실시예의 해결수단의 목적을 구현할 수 있다.

이 밖에, 본 발명의 각 실시예의 각 기능 유닛은 하나의 프로세싱 유닛에 집적될 수 있고, 각 유닛이 별도로 물리적으로 존재할 수 있으며, 둘 또는 둘 이상의 유닛이 하나의 유닛에 집적될 수도 있다.

상기 기능이 만약 소프트웨어 기능 유닛의 형태로 구현되고 별도의 제품으로 판매되거나 사용될 경우, 프로세서에 의해 실행 가능한 비휘발성 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 이러한 이해에 기반해보면, 본 발명의 기술적 해결수단은 본질적으로 또는 선행기술에 기여하는 부분 또는 해당 기술적 해결수단의 일부는 소프트웨어 제품의 형식으로 구현될 수 있고, 해당 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되며, 약간의 명령을 포함하여 하나의 컴퓨터 기기(개인용 컴퓨터, 서버 또는 네트워크 기기 등일 수 있음)가 본 발명의 각 실시예에 따른 방법의 전부 또는 일부 단계를 수행하도록 할 수 있다. 전술한 저장 매체는 U 디스크, 모바일 하드 디스크, 판독 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 디스켓 또는 CD 등 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.

마지막으로 설명해야 할 것은, 이상 실시예는 본 발명의 구체적인 실시형태에 불과한 것으로, 본 발명의 기술적 해결수단을 설명하기 위한 것일 뿐, 이를 한정하지 않고, 본 발명의 보호범위는 이에 한정되지 않으며, 비록 전술한 실시예를 참조하여 본 발명을 상세하게 설명하였지만, 본 기술분야의 통상의 기술자는, 임의의 당업자라면 본 발명에서 개시되는 기술 범위 내에서, 여전히 전술한 실시예에 기재되는 기술적 해결수단에 대한 보정 또는 변경을 쉽게 생각해낼 수 있거나 그 중의 부분적 기술특징을 등가 교체할 수 있음을 이해해야 할 것이며; 이러한 보정, 변경 또는 교체는, 대응되는 기술적 해결수단의 본질이 본 발명의 실시예의 기술적 해결수단의 사상 및 범위를 벗어나도록 하지 않으며, 본 발명의 보호범위 내에 포함되어야 한다. 따라서, 본 발명의 보호범위는 상술한 청구범위의 보호범위를 기준으로 한다.

본 발명의 실시예는 3차원 모델 생성 방법, 장치, 컴퓨터 기기, 저장 매체 및 컴퓨터 프로그램 제품을 제공한다. 상기 방법은, 제1 안면이 포함되는 제1 이미지를 획득하는 단계; 상기 제1 이미지에 기반하여, 제1 안면의 윤곽 정보가 포함되는 제1 포인트 클라우드 데이터를 결정하는 단계; 상기 제1 포인트 클라우드 데이터 및 상기 제1 이미지에 기반하여, 상기 제1 안면의 제1 반사율 정보 및 상기 제1 안면의 디테일 정보가 포함되는 제2 포인트 클라우드 데이터를 결정하는 단계; 상기 제1 반사율 정보 및 상기 제2 포인트 클라우드 데이터에 기반하여, 상기 제1 안면의 3차원 모델을 생성하는 단계를 포함한다. 본 발명 실시예에 따르면, 2차원 안면 이미지를 이용하여 안면의 3차원 모델을 생성할 수 있고, 생성된 안면의 3차원 모델은 더 높은 진실도를 갖는다.

Claims

3차원 모델 생성 방법으로서,
제1 안면이 포함되는 제1 이미지를 획득하는 단계;
상기 제1 이미지에 기반하여, 제1 안면의 윤곽 정보가 포함되는 제1 포인트 클라우드 데이터를 결정하는 단계;
상기 제1 포인트 클라우드 데이터 및 상기 제1 이미지에 기반하여, 상기 제1 안면의 제1 반사율 정보 및 상기 제1 안면의 디테일 정보가 포함되는 제2 포인트 클라우드 데이터를 결정하는 단계; 및
상기 제1 반사율 정보 및 상기 제2 포인트 클라우드 데이터에 기반하여, 상기 제1 안면의 3차원 모델을 생성하는 단계를 포함하는 3차원 모델 생성 방법.
제1항에 있어서,
상기 제1 포인트 클라우드 데이터 및 상기 제1 이미지에 기반하여, 상기 제1 안면의 제1 반사율 정보 및 상기 제1 안면의 디테일 정보가 포함되는 제2 포인트 클라우드 데이터를 결정하는 단계는,
상기 제1 포인트 클라우드 데이터 및 상기 제1 이미지에 기반하여, 상기 제1 안면의 제1 안면 텍스처 맵을 결정하는 단계;
상기 제1 안면 텍스처 맵에 대해 반사율 정보 예측 처리를 수행하여, 상기 제1 안면의 제1 반사율 정보를 얻는 단계; 및
상기 제1 안면 텍스처 맵에 대해 안면 디테일 예측 처리를 수행하고, 상기 안면 디테일 예측 처리 결과에 기반하여, 상기 제1 안면의 제2 포인트 클라우드 데이터를 얻는 단계를 포함하는 3차원 모델 생성 방법.
제2항에 있어서,
상기 제1 포인트 클라우드 데이터는, 카메라 좌표계에서 상기 제1 안면을 구성하는 복수의 상기 제1 포인트 클라우드 포인트의 각각의 3차원 좌표값 및 상이한 상기 제1 포인트 클라우드 포인트 사이의 연결 관계 정보를 포함하는 3차원 모델 생성 방법.
제3항에 있어서,
상기 제1 포인트 클라우드 데이터 및 상기 제1 이미지에 기반하여, 상기 제1 안면의 제1 안면 텍스처 맵을 결정하는 단계는,
카메라 좌표계에서 복수의 상기 제1 포인트 클라우드 포인트의 각각의 3차원 좌표값에 기반하여, 복수의 상기 제1 포인트 클라우드 포인트를 각각 상기 제1 이미지 중의 복수의 제1 픽셀점과 정렬 처리를 수행하는 단계;
정렬 처리 결과, 상이한 상기 제1 포인트 클라우드 포인트 사이의 연결 관계 정보 및 상기 제1 이미지 중 각 제1 픽셀점의 제1 픽셀값에 기반하여, 상기 제1 안면을 구성하는 복수의 패치에 각각 대응되는 제2 픽셀값을 결정하는 단계 - 임의의 상기 패치는 연결 관계를 갖는 적어도 세 개의 제1 포인트 클라우드 포인트로 구성됨 - ; 및
상기 복수의 패치에 각각 대응되는 제2 픽셀값에 기반하여, 상기 제1 안면 텍스처 맵을 생성하는 단계를 포함하는 3차원 모델 생성 방법.
제2항 내지 제4항 중 어느 한 항에 있어서,
상기 안면 디테일의 예측 처리 결과는, 상기 제1 안면의 제1 안면 디테일 정보를 포함하고;
상기 디테일 예측 처리 결과에 기반하여, 상기 제1 안면의 제2 포인트 클라우드 데이터를 얻는 단계는,
상기 제1 포인트 클라우드 데이터 및 상기 제1 안면 디테일 정보에 대해 융합 처리를 수행하여, 상기 제2 포인트 클라우드 데이터를 얻는 단계를 포함하는 3차원 모델 생성 방법.
제5항에 있어서,
상기 제1 안면 디테일 정보는, 상기 각각의 제1 포인트 클라우드 포인트에 대응되는 제1 법선 벡터 방향에서 복수의 상기 제1 포인트 클라우드 포인트 중 각각의 제1 포인트 클라우드 포인트의 이동 거리를 포함하고;
상기 제1 포인트 클라우드 데이터 및 상기 제1 안면 디테일 정보에 대해 융합 처리를 수행하여, 상기 제2 포인트 클라우드 데이터를 생성하는 단계는,
상기 각각의 제1 포인트 클라우드 포인트에 대응되는 제1 법선 벡터 방향에서 복수의 상기 제1 포인트 클라우드 포인트 중 각각의 제1 포인트 클라우드 포인트의 이동 거리 및 카메라 좌표계에서 상기 각각의 제1 포인트 클라우드 포인트의 3차원 좌표값에 기반하여, 상기 카메라 좌표계에서 각각의 상기 제1 포인트 클라우드 포인트의 위치를 조절하는 단계; 및
복수의 상기 제1 포인트 클라우드 포인트의 조절 결과에 기반하여, 상기 제2 포인트 클라우드 데이터를 얻는 단계를 포함하는 3차원 모델 생성 방법.
제2항 내지 제6항 중 어느 한 항에 있어서,
상기 제1 안면 텍스처 맵에 대해 반사율 정보 예측 처리를 수행하여, 상기 제1 안면의 제1 반사율 정보를 얻는 단계는,
사전 트레이닝된 제1 신경망을 이용하여 상기 제1 안면 텍스처 맵에 대해 반사율 정보 예측 처리를 수행하여, 상기 제1 안면의 제1 반사율 정보를 얻는 단계를 포함하는 3차원 모델 생성 방법.
제7항에 있어서,
상기 제1 신경망은,
제2 안면이 포함되는 제2 이미지를 획득하며, 상기 제2 이미지에 기반하여, 제2 안면의 윤곽 정보가 포함되는 제3 포인트 클라우드 데이터를 얻고;
상기 제3 포인트 클라우드 데이터에 기반하여, 제2 안면의 제2 안면 텍스처 맵을 얻으며;
트레이닝될 제3 신경망을 이용하여, 상기 제2 안면 텍스처 맵에 대해 반사율 예측 처리 및 조명 예측 처리를 수행하여, 상기 제2 안면의 제2 반사율 정보 및 상기 제2 안면의 제1 조명 정보를 얻고;
트레이닝될 제1 신경망을 이용하여, 상기 제2 안면 텍스처 맵에 대해 반사율 예측 처리를 수행하여, 상기 제2 안면의 제3 반사율 정보를 얻으며;
상기 제2 반사율 정보, 상기 제1 조명 정보 및 상기 제3 반사율 정보를 이용하여, 상기 트레이닝될 제1 신경망 및 트레이닝될 제3 신경망을 공동 트레이닝하여, 트레이닝된 제1 신경망을 얻는 방식으로 트레이닝되는 3차원 모델 생성 방법.
제8항에 있어서,
상기 제2 반사율 정보, 상기 제1 조명 정보 및 상기 제3 반사율 정보를 이용하여, 상기 트레이닝될 제1 신경망 및 트레이닝될 제3 신경망을 공동 트레이닝하는 단계는,
상기 제2 반사율 정보, 상기 제1 조명 정보를 이용하여, 상기 트레이닝될 제3 신경망의 제1 손실을 결정하고; 상기 제2 반사율 정보, 상기 제1 조명 정보 및 상기 제3 반사율 정보를 이용하여, 상기 트레이닝될 제1 신경망의 제2 손실을 결정하는 단계;
상기 제1 손실에 기반하여, 상기 트레이닝될 제3 신경망을 업데이트하고, 상기 제2 손실에 기반하여, 상기 트레이닝될 제1 신경망의 네트워크 파라미터를 업데이트하는 단계; 및
상기 트레이닝될 제3 신경망 및 상기 트레이닝될 제1 신경망의 네트워크 파라미터에 대한 여러 차례의 업데이트를 통해, 상기 트레이닝된 제1 신경망을 얻는 단계를 포함하는 3차원 모델 생성 방법.
제9항에 있어서,
상기 제2 반사율 정보, 상기 제1 조명 정보를 이용하여, 상기 트레이닝될 제3 신경망의 제1 손실을 결정하는 단계는,
상기 제3 포인트 클라우드 데이터에 기반하여, 상기 제3 포인트 클라우드 데이터 중 복수의 제3 포인트 클라우드 포인트에 각각 대응되는 제2 법선 벡터를 결정하는 단계;
상기 제2 법선 벡터, 상기 제2 반사율 정보 및 상기 제1 조명 정보에 기반하여, 상기 제2 안면의 제3 안면 텍스처 맵을 생성하는 단계; 및
상기 제2 안면 텍스처 맵 및 상기 제3 안면 텍스처 맵에 기반하여, 상기 제1 손실을 생성하는 단계를 포함하는 3차원 모델 생성 방법.
제10항에 있어서,
상기 제2 반사율 정보, 상기 제1 조명 정보 및 상기 제3 반사율 정보를 이용하여, 상기 트레이닝될 제1 신경망의 제2 손실을 결정하는 단계는,
상기 제2 반사율 정보 및 상기 제3 반사율 정보에 기반하여, 제1 서브 손실을 결정하는 단계;
상기 제2 법선 벡터, 상기 제3 반사율 정보 및 상기 제1 조명 정보에 기반하여, 상기 제2 안면의 제4 안면 텍스처 맵을 생성하고, 상기 제4 안면 텍스처 맵 및 상기 제2 안면 텍스처 맵에 기반하여, 제2 서브 손실을 생성하는 단계;
상기 제4 안면 텍스처 맵의 특징 맵 및 상기 제2 안면 텍스처 맵의 특징 맵에 기반하여, 제3 서브 손실을 생성하는 단계; 및
상기 제1 서브 손실, 상기 제2 서브 손실 및 상기 제3 서브 손실에 기반하여, 상기 제2 손실을 얻는 단계를 포함하는 3차원 모델 생성 방법.
제8항 내지 제11항 중 어느 한 항에 있어서,
상기 안면 텍스처 맵에 대해 디테일 예측 처리를 수행하고, 상기 디테일 예측 처리 결과에 기반하여, 상기 제1 안면의 제2 포인트 클라우드 데이터를 얻는 단계는,
사전 트레이닝된 제2 신경망을 이용하여 상기 제1 안면 텍스처 맵에 대해 디테일 예측 처리를 수행하여, 상기 제1 안면의 제1 안면 디테일 정보를 얻는 단계를 포함하는 3차원 모델 생성 방법.
제12항에 있어서,
상기 제2 신경망은,
트레이닝될 제2 신경망을 이용하여, 상기 제2 안면 텍스처 맵에 대해 디테일 예측 처리를 수행하여, 상기 제2 안면의 제2 안면 디테일 정보를 얻고;
상기 제2 안면의 제2 안면 디테일 정보 및 상기 제3 포인트 클라우드 데이터를 융합하여, 제2 안면의 제4 포인트 클라우드 데이터를 얻으며;
상기 제4 포인트 클라우드 데이터, 상기 제3 반사율 정보 및 상기 제1 조명 정보에 기반하여, 제5 안면 텍스처 맵을 생성하고;
상기 제5 안면 텍스처 맵 및 상기 제2 안면 텍스처 맵에 기반하여, 상기 트레이닝될 제2 신경망을 트레이닝하여 트레이닝된 제2 신경망을 얻는 방식으로 트레이닝되는 3차원 모델 생성 방법.
3차원 모델 생성 장치로서,
제1 안면이 포함되는 제1 이미지를 획득하고, 상기 제1 이미지에 기반하여, 제1 안면의 윤곽 정보가 포함되는 제1 포인트 클라우드 데이터를 얻도록 구성되는 획득 모듈;
상기 제1 포인트 클라우드 데이터 및 상기 제1 이미지에 기반하여, 상기 제1 안면의 제1 반사율 정보 및 상기 제1 안면의 디테일 정보가 포함되는 제2 포인트 클라우드 데이터를 얻도록 구성되는 결정 모듈; 및
상기 제1 반사율 정보 및 상기 제2 포인트 클라우드 데이터에 기반하여, 상기 제1 안면의 3차원 모델을 얻도록 구성되는 융합 모듈을 포함하는 3차원 모델 생성 장치.
제14항에 있어서,
상기 결정 모듈은 또한, 상기 제1 포인트 클라우드 데이터 및 상기 제1 이미지에 기반하여, 상기 제1 안면의 제1 안면 텍스처 맵을 결정하고; 상기 제1 안면 텍스처 맵에 대해 반사율 정보 예측 처리를 수행하여, 상기 제1 안면의 제1 반사율 정보를 얻으며; 상기 제1 안면 텍스처 맵에 대해 안면 디테일 예측 처리를 수행하고, 상기 안면 디테일 예측 처리 결과에 기반하여, 상기 제1 안면의 제2 포인트 클라우드 데이터를 얻도록 구성되는 3차원 모델 생성 장치.
제15항에 있어서,
상기 제1 포인트 클라우드 데이터는, 카메라 좌표계에서 상기 제1 안면을 구성하는 복수의 상기 제1 포인트 클라우드 포인트의 각각의 3차원 좌표값 및 상이한 상기 제1 포인트 클라우드 포인트 사이의 연결 관계 정보를 포함하고;
상기 결정 모듈은 또한, 카메라 좌표계에서 복수의 상기 제1 포인트 클라우드 포인트의 각각의 3차원 좌표값에 기반하여, 복수의 상기 제1 포인트 클라우드 포인트를 각각 상기 제1 이미지 중의 복수의 제1 픽셀점과 정렬 처리를 수행하고; 정렬 처리 결과, 상이한 상기 제1 포인트 클라우드 포인트 사이의 연결 관계 정보 및 상기 제1 이미지 중 각 제1 픽셀점의 제1 픽셀값에 기반하여, 상기 제1 안면을 구성하는 복수의 패치에 각각 대응되는 제2 픽셀값을 결정하도록 구성되며;
임의의 상기 패치는 연결 관계를 갖는 적어도 세 개의 제1 포인트 클라우드 포인트로 구성되고; 상기 복수의 패치에 각각 대응되는 제2 픽셀값에 기반하여, 상기 제1 안면 텍스처 맵을 생성하는 3차원 모델 생성 장치.
제15항 또는 제16항에 있어서,
상기 안면 디테일의 예측 처리 결과는, 상기 제1 안면의 제1 안면 디테일 정보를 포함하고;
상기 결정 모듈은 또한, 상기 제1 포인트 클라우드 데이터 및 상기 제1 안면 디테일 정보에 대해 융합 처리를 수행하여, 상기 제2 포인트 클라우드 데이터를 얻도록 구성되며,
상기 제1 안면 디테일 정보는, 상기 각각의 제1 포인트 클라우드 포인트에 대응되는 제1 법선 벡터 방향에서 복수의 상기 제1 포인트 클라우드 포인트 중 각각의 제1 포인트 클라우드 포인트의 이동 거리를 포함하고;
상기 결정 모듈은 또한, 상기 각각의 제1 포인트 클라우드 포인트에 대응되는 제1 법선 벡터 방향에서 복수의 상기 제1 포인트 클라우드 포인트 중 각각의 제1 포인트 클라우드 포인트의 이동 거리 및 카메라 좌표계에서 상기 각각의 제1 포인트 클라우드 포인트의 3차원 좌표값에 기반하여, 상기 카메라 좌표계에서 각각의 상기 제1 포인트 클라우드 포인트의 위치를 조절하고; 복수의 상기 제1 포인트 클라우드 포인트의 조절 결과에 기반하여, 상기 제2 포인트 클라우드 데이터를 얻도록 구성되는 3차원 모델 생성 장치.
컴퓨터 기기로서,
프로세서, 메모리를 포함하고, 상기 메모리에는 상기 프로세서에 의해 실행 가능한 기계 판독 가능 명령이 저장되며, 상기 프로세서는 상기 메모리에 저장되는 기계 판독 가능 명령을 실행하도록 구성되고, 상기 기계 판독 가능 명령이 상기 프로세서에 의해 실행될 경우, 상기 프로세서는 제1항 내지 제13항 중 어느 한 항에 따른 3차원 모델 생성 방법의 단계를 수행하는 컴퓨터 기기.
컴퓨터 판독 가능 저장 매체로서,
컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램이 컴퓨터 기기에 의해 실행될 경우, 상기 컴퓨터 기기는 제1항 내지 제13항 중 어느 한 항에 따른 3차원 모델 생성 방법의 단계를 수행하는 컴퓨터 판독 가능 저장 매체.
컴퓨터 프로그램 제품으로서,
컴퓨터 프로그램이 저장된 비일시적 컴퓨터 판독 가능 저장 매체를 포함하고, 상기 컴퓨터 프로그램이 컴퓨터에 의해 판독 및 실행될 경우, 제1항 내지 제13항 중 어느 한 항에 따른 방법을 구현하는 컴퓨터 프로그램 제품.