KR102622215B1

KR102622215B1 - Facial three-dimensional model visualization method, device, electronic equipment, and storage medium

Info

Publication number: KR102622215B1
Application number: KR1020227022198A
Authority: KR
Inventors: 쟈전 뤄; 푸씽 천; 싱원 류; 즈양 리; 즈밍 치
Original assignee: 샤먼 메이투이브 테크놀로지 컴퍼니 리미티드
Priority date: 2021-06-18
Filing date: 2021-11-23
Publication date: 2024-01-05
Also published as: JP2023534327A; JP7433444B2; WO2022262201A1; KR20220169471A; CN113345079A; CN113345079B

Abstract

본 발명에 의해 제공되는 안면 3차원 모델 시각화 방법, 장치, 전자 장비 및 저장 매체는 3차원 모델 기술 영역에 관한 것이다. 그 방법은, 피측정자에 대한 상이한 두 시간의 제1 안면 3차원 모델 및 제2 안면 3차원 모델을 획득하는 단계, 제1 안면 3차원 모델 및 제2 안면 3차원 모델은 삼각 패싯 형식이며, 제1 안면 3차원 모델과 제2 안면 3차원 모델 중 좌표점 간의 거리를 계산하는 단계, 거리에 따라 제1 안면 3차원 모델을 렌더링하여, 히트 맵 모델을 얻는 단계, 제1 안면 3차원 모델 및 제2 안면 3차원 모델에 따라 각각 3차원 등고선을 계산하여, 제1 등고선 모델 및 제2 등고선 모델을 얻는 단계를 포함한다. 본 발명을 통해 얼굴의 변화를 직관적으로 표시할 수 있다.The facial 3D model visualization method, device, electronic equipment, and storage medium provided by the present invention relate to the 3D model technology area. The method includes obtaining a first facial 3D model and a second facial 3D model at two different times for the subject to be measured, the first facial 3D model and the second facial 3D model being in a triangular facet format, 1 Calculating the distance between coordinate points among the facial 3D model and the second facial 3D model, rendering the first facial 3D model according to the distance to obtain a heat map model, the first facial 3D model and the second facial 3D model 2. It includes the step of calculating 3D contour lines according to the facial 3D model and obtaining a first contour model and a second contour model. Through the present invention, changes in the face can be displayed intuitively.

Description

Facial three-dimensional model visualization method, device, electronic equipment, and storage medium

본 출원은 2021년 06월 18일 중국 특허국에 제출한 출원 번호 2021106824522, 명칭 “안면 3차원 모델 시각화 방법, 장치, 전자 장비 및 저장 매체”의 중국 특허 출원에 대한 우선권을 주장하며, 그 전체 내용은 인용을 통해 본 출원에 포함된다.This application claims priority to the Chinese patent application, application number 2021106824522, titled “Facial 3D model visualization method, device, electronic equipment and storage medium” filed with the China Patent Office on June 18, 2021, the entire contents of which is incorporated into this application by reference.

본 발명은 3차원 모델 기술 영역에 관한 것이며, 구체적으로 안면 3차원 모델 시각화 방법, 장치, 전자 장비 및 저장 매체에 관한 것이다.The present invention relates to the field of 3D model technology, and specifically to methods, devices, electronic equipment, and storage media for visualizing facial 3D models.

미용의료 산업에서 안면 3차원 모델의 정확한 측정, 비교 및 시각화는 치료 효과를 평가하고, 환자가 자신의 치료 전후 변화를 직관적으로 관찰하는 데 매우 중요한 역할을 한다.In the aesthetic medicine industry, accurate measurement, comparison, and visualization of facial 3D models play a very important role in evaluating treatment effects and enabling patients to intuitively observe changes before and after treatment.

종래의 안면 3차원 모델링 및 측정 방안에서는, 주로 단일 안면 3차원 모델을 측정하고, 데이터 비교를 통해 눈의 넓이, 코의 높이, 콧대 각도 등과 같은 얼굴의 변화 상황을 분석한다.In conventional facial 3D modeling and measurement methods, a single facial 3D model is mainly measured, and facial changes such as eye width, nose height, and nose bridge angle are analyzed through data comparison.

그러나, 데이터의 비교 분석은 환자가 치료 전후의 변화를 직관적으로 관찰할 수 없고, 일부 미용의료 항목은 미세한 변화만 있으므로, 데이터가 근본적으로 차이를 반영할 수 없다.However, comparative analysis of data does not allow patients to intuitively observe changes before and after treatment, and some cosmetic medical items have only minor changes, so the data cannot fundamentally reflect differences.

본 발명에 의해 제공되는 안면 3차원 모델 시각화 방법, 장치, 전자 장비 및 저장 매체는 얼굴의 변화를 직관적으로 표시함에 따라, 전술한 종래 기술의 단점을 해결한다.The facial three-dimensional model visualization method, device, electronic equipment, and storage medium provided by the present invention intuitively display changes in the face, thereby solving the disadvantages of the prior art described above.

본 발명의 실시 예에 의해 제공되는 안면 3차원 모델 시각화 방법은 피측정자에 대한 상이한 두 시간의 제1 안면 3차원 모델 및 제2 안면 3차원 모델을 획득하는 단계, - 상기 제1 안면 3차원 모델 및 상기 제2 안면 3차원 모델은 삼각 패싯 형식이며 -, 상기 제1 안면 3차원 모델과 상기 제2 안면 3차원 모델 중 좌표점 간의 거리를 계산하는 단계, 상기 거리에 따라 상기 제1 안면 3차원 모델을 렌더링하여, 히트 맵 모델을 얻는 단계, 상기 제1 안면 3차원 모델 및 상기 제2 안면 3차원 모델에 따라 각각 3차원 등고선을 계산하여, 제1 등고선 모델 및 제2 등고선 모델을 얻는 단계를 포함할 수 있다. A facial 3D model visualization method provided by an embodiment of the present invention includes the steps of acquiring a first facial 3D model and a second facial 3D model at two different times for a subject to be measured, - the first facial 3D model and the second facial 3D model is in a triangular facet format - calculating a distance between coordinate points of the first facial 3D model and the second facial 3D model, the first facial 3D model according to the distance. Rendering the model to obtain a heat map model, calculating 3D contour lines according to the first facial 3D model and the second facial 3D model, respectively, to obtain a first contour model and a second contour model. It can be included.

선택적으로는, 피측정자에 대한 상이한 두 시간의 제1 안면 3차원 모델 및 제2 안면 3차원 모델을 획득하는 단계는 상기 피측정자에 대한 상이한 두 시간의 제1 초기 안면 3차원 모델 및 상기 제2 안면 3차원 모델을 획득하는 단계, 상기 제1 초기 안면 3차원 모델과 상기 제2 안면 3차원 모델의 모습 변환 행렬을 계산하는 단계, 상기 모습 변환 행렬에 따라 상기 제1 초기 안면 3차원 모델을 상기 제2 안면 3차원 모델로 정렬하여, 상기 제1 안면 3차원 모델을 얻는 단계를 포함한다. Optionally, obtaining the first initial facial 3-D model and the second facial 3-D model at two different times for the subject may comprise: the first initial facial 3-D model and the second facial 3-D model at two different times for the subject; Obtaining a facial 3D model, calculating an appearance transformation matrix of the first initial facial 3D model and the second facial 3D model, calculating the first initial facial 3D model according to the appearance transformation matrix. and obtaining the first facial 3D model by aligning it with a second facial 3D model.

선택적으로는, 상기 제1 초기 안면 3차원 모델과 상기 제2 안면 3차원 모델의 모습 변환 행렬을 계산하는 단계는 상기 제1 초기 안면 3차원 모델의 코끝 위치를 구의 중심으로 하고, 사전 설정된 반경으로 상기 제1 초기 안면 3차원 모델을 캡처하여, 상기 제1 초기 안면 3차원 모델에 해당되는 제1 구체 캡처 모델을 얻는 단계, 상기 제2 안면 3차원 모델의 코끝 위치를 구의 중심으로 하고, 사전 설정된 반경으로 상기 제2 안면 3차원 모델을 캡처하여, 상기 제2 안면 3차원 모델에 해당되는 제2 구체 캡처 모델을 얻는 단계, 사전 설정 변환 행렬 계산 방법, 상기 제1 구체 캡처 모델 및 상기 제2 구체 캡처 모델을 사용해, 상기 모습 변환 행렬을 계산하여 획득하는 단계를 포함할 수 있다. Optionally, the step of calculating the appearance transformation matrix of the first initial facial 3D model and the second facial 3D model uses the nose tip position of the first initial facial 3D model as the center of the sphere and a preset radius. Capturing the first initial facial 3D model, obtaining a first sphere capture model corresponding to the first initial facial 3D model, setting the nose tip position of the second facial 3D model as the center of the sphere, and preset Capturing the second facial 3D model with a radius, obtaining a second sphere capture model corresponding to the second facial 3D model, a method for calculating a preset transformation matrix, the first sphere capture model and the second sphere. It may include calculating and obtaining the appearance transformation matrix using a capture model.

선택적으로는, 상기 제1 안면 3차원 모델과 상기 제2 안면 3차원 모델 중 좌표점 간의 거리를 계산하는 단계는 상기 제1 안면 3차원 모델 중 각 꼭짓점의 좌표에 따라, 상기 제1 안면 3차원 모델 중 각 꼭짓점에서 상기 제2 안면 3차원 모델의 가장 가까운 삼각 패싯까지의 거리를 계산하여 획득하는 단계를 포함할 수 있다. Optionally, the step of calculating the distance between coordinate points of the first facial 3D model and the second facial 3D model may be performed according to the coordinates of each vertex of the first facial 3D model. It may include calculating and obtaining the distance from each vertex of the model to the nearest triangular facet of the second facial 3D model.

선택적으로는, 상기 제1 안면 3차원 모델 중 각 꼭짓점의 좌표에 따라, 상기 제1 안면 3차원 모델 중 각 꼭짓점에서 상기 제2 안면 3차원 모델의 가장 가까운 삼각 패싯까지의 거리를 계산 획득하는 단계는 상기 제1 안면 3차원 모델 및 상기 제2 안면 3차원 모델의 최소 공통 입방체 바운딩 박스를 계산하는 단계, 상기 제1 안면 3차원 모델의 최소 공통 입방체 바운딩 박스에 대해 옥트리 구조를 구축하는 단계, 상기 옥트리 구조의 깊이로 상기 제2 안면 3차원 모델의 최소 공통 입방체 바운딩 박스를 균등하게 분할하여, 사전 설정된 수량의 작은 입방체를 얻는 단계, 상기 제2 안면 3차원 모델의 삼각 패싯을 상기 작은 입방체와 연관시키는 단계, 상기 제1 안면 3차원 모델의 꼭짓점 좌표와 상기 작은 입방체의 색인 관계에 따라, 상기 제1 안면 3차원 모델의 꼭짓점을 상기 작은 입방체 중의 삼각 패싯과 연관시키는 단계, 상기 꼭짓점 좌표와 연관된 삼각 패싯의 거리에 따라, 상기 제1 안면 3차원 모델 중 각 꼭짓점에서 상기 제2 안면 3차원 모델의 가장 가까운 삼각 패싯까지의 거리를 획득하는 단계를 포함할 수 있다.Optionally, calculating and obtaining the distance from each vertex of the first facial 3D model to the nearest triangular facet of the second facial 3D model, according to the coordinates of each vertex of the first facial 3D model. Calculating a minimum common cubic bounding box of the first facial 3D model and the second facial 3D model, constructing an octree structure for the minimum common cubic bounding box of the first facial 3D model, Dividing the minimum common cubic bounding box of the second facial 3D model equally by the depth of the octree structure, obtaining a preset quantity of small cubes, associating triangular facets of the second facial 3D model with the small cubes. Associating a vertex of the first facial 3D model with a triangular facet in the small cube, according to the index relationship between the vertex coordinates of the first facial 3D model and the small cube, a triangle associated with the vertex coordinates Depending on the distance of the facet, it may include obtaining the distance from each vertex of the first facial 3D model to the nearest triangular facet of the second facial 3D model.

선택적으로는, 상기 제1 안면 3차원 모델의 꼭짓점 좌표와 상기 작은 입방체의 색인 관계에 따라, 상기 제1 안면 3차원 모델의 꼭짓점을 상기 작은 입방체 중의 삼각 패싯과 연관시키는 단계는 상기 옥트리 구조에 따라 상기 제1 안면 3차원 모델의 꼭짓점 코드를 계산하는 단계, 상기 꼭짓점 코드 및 상기 작은 입방체의 색인 관계에 따라, 상기 꼭짓점에 연관되는 작은 입방체 중의 삼각 패싯이 공집합이 아닌 것으로 확정되면, 상기 꼭짓점을 상기 작은 입방체 중의 삼각 패싯과 연관시키는 단계를 포함할 수 있다. Optionally, associating a vertex of the first facial 3D model with a triangular facet in the small cube according to an index relationship between the vertex coordinates of the first facial 3D model and the small cube according to the octree structure: Calculating a vertex code of the first facial 3D model, if it is determined that a triangular facet in the small cube associated with the vertex is not an empty set according to the index relationship between the vertex code and the small cube, then selecting the vertex. It may include associating triangular facets in a small cube.

선택적으로는, 상기 방법은 상기 꼭짓점에 연관되는 작은 입방체 중의 삼각 패싯이 공집합인 경우, 상기 작은 입방체를 중심으로 하여, 상기 작은 입방체의 사전 설정된 반경 인접 영역 내의 다른 작은 입방체 중의 삼각 패싯이 공집합인지 여부를 판단하는 단계, 상기 다른 작은 입방체 중의 삼각 패싯이 공집합이 아닌 경우, 상기 꼭짓점을 상기 다른 작은 입방체 중의 삼각 패싯과 연관시키는 단계를 더 포함할 수 있다.Optionally, the method determines whether, if a triangular facet in a small cube associated with the vertex is an empty set, a triangular facet in another small cube within a preset radius adjacent area of the small cube, centered on the small cube, is an empty set. The step of determining, if the triangular facet in the other small cube is not an empty set, may further include the step of associating the vertex with the triangular facet in the other small cube.

선택적으로는, 상기 거리에 따라 상기 제1 안면 3차원 모델을 렌더링하여, 히트 맵 모델을 얻는 단계는 상기 거리와 색상표의 매핑 관계에 따라, 상기 제1 안면 3차원 모델 임의의 영역에 색상 렌더링하여, 상기 히트 맵 모델을 얻는 단계를 포함할 수 있다.Optionally, the step of obtaining a heat map model by rendering the first facial 3D model according to the distance includes rendering a color in a random area of the first facial 3D model according to a mapping relationship between the distance and the color table. , may include obtaining the heat map model.

선택적으로는, 상기 제1 안면 3차원 모델 및 상기 제2 안면 3차원 모델에 따라 각각 3차원 등고선을 계산하여, 제1 등고선 모델 및 제2 등고선 모델을 얻는 단계는 상기 제1 안면 3차원 모델의 제1 높이 맵 및 상기 제2 안면 3차원 모델의 제2 높이 맵을 계산하는 단계, 상기 제1 높이 맵에 따라 상기 제1 안면 3차원 모델의 제1 2차원 등고선을 계산하는 단계, 상기 제2 높이 맵에 따라 상기 제2 안면 3차원 모델의 제2 2차원 등고선을 계산하는 단계, 상기 제1 2차원 등고선을 제1 3차원 등고선으로 변환하고, 상기 제2 2차원 등고선을 제2 3차원 등고선으로 변환하는 단계, 상기 제1 3차원 등고선에 따라 상기 제1 안면 3차원 모델을 렌더링하여, 상기 제1 등고선 모델을 얻는 단계, 상기 제2 3차원 등고선에 따라 상기 제2 안면 3차원 모델을 렌더링하여, 상기 제2 등고선 모델을 얻는 단계를 포함할 수 있다. Optionally, calculating 3D contour lines according to the first facial 3D model and the second facial 3D model, respectively, to obtain the first contour model and the second contour model may include the step of obtaining the first contour model and the second contour model. calculating a first height map and a second height map of the second facial 3-dimensional model, calculating a first 2-dimensional contour of the first facial 3-dimensional model according to the first height map, the second calculating a second 2-dimensional contour of the second facial 3-dimensional model according to the height map, converting the first 2-dimensional contour into a first 3-dimensional contour, and converting the second 2-dimensional contour into a second 3-dimensional contour. converting, rendering the first facial 3D model according to the first 3D contour lines to obtain the first contour model, rendering the second facial 3D model according to the second 3D contour lines. Thus, the step of obtaining the second contour model may be included.

본 발명의 또 다른 실시 예에 의해 제공되는 안면 3차원 모델 시각화 장치에서, 그 안면 3차원 모델 시각화 장치는 피측정자에 대한 상이한 두 시간의 제1 안면 3차원 모델 및 제2 안면 3차원 모델을 획득하도록 구성된 3차원 모델 획득 모듈 - 상기 제1 안면 3차원 모델 및 상기 제2 안면 3차원 모델은 삼각 패싯 형식이며 -, 상기 제1 안면 3차원 모델과 상기 제2 안면 3차원 모델 중 좌표점 간의 거리를 계산하도록 구성된 거리 계산 모듈, 상기 거리에 따라 상기 제1 안면 3차원 모델을 렌더링하여, 히트 맵 모델을 얻도록 구성된 히트 맵 시각화 모듈, 상기 제1 안면 3차원 모델 및 상기 제2 안면 3차원 모델에 따라 각각 3차원 등고선을 계산하여, 제1 등고선 모델 및 제2 등고선 모델을 얻도록 구성된 등고선 시각화 모듈을 포함할 수 있다. In the facial 3D model visualization device provided by another embodiment of the present invention, the facial 3D model visualization device acquires a first facial 3D model and a second facial 3D model at two different times for the subject being measured. A 3D model acquisition module configured to - the first facial 3D model and the second facial 3D model are in a triangular facet form -, the distance between coordinate points among the first facial 3D model and the second facial 3D model a distance calculation module configured to calculate, a heat map visualization module configured to render the first facial 3-dimensional model according to the distance to obtain a heat map model, the first facial 3-dimensional model and the second facial 3-dimensional model. It may include a contour visualization module configured to obtain a first contour model and a second contour model by calculating the 3D contour lines respectively.

선택적으로는, 상기 3차원 모델 획득 모듈은 3차원 모델 획득 유닛, 모습 변환 행렬 계산 유닛, 정렬 유닛을 포함할 수 있다. Optionally, the 3D model acquisition module may include a 3D model acquisition unit, an appearance transformation matrix calculation unit, and an alignment unit.

상기 3차원 모델 획득 유닛은 상기 피측정자에 대한 상기 상이한 두 시간의 제1 초기 안면 3차원 모델 및 상기 제2 안면 3차원 모델을 획득하도록 구성될 수 있다. The 3D model acquisition unit may be configured to obtain the first initial facial 3D model and the second facial 3D model for the subject at two different times.

상기 모습 변환 행렬 계산 유닛은 상기 제1 초기 안면 3차원 모델과 상기 제2 안면 3차원 모델의 모습 변환 행렬을 계산하도록 구성될 수 있다. The appearance transformation matrix calculation unit may be configured to calculate an appearance transformation matrix of the first initial facial 3D model and the second facial 3D model.

상기 정렬 유닛은 상기 모습 변환 행렬에 따라 상기 제1 초기 안면 3차원 모델을 상기 제2 안면 3차원 모델로 정렬하여, 상기 제1 안면 3차원 모델을 얻도록 구성될 수 있다. The alignment unit may be configured to align the first initial facial 3D model with the second facial 3D model according to the appearance transformation matrix to obtain the first facial 3D model.

선택적으로는, 상기 모습 변환 행렬 계산 유닛은 제1 구체 캡처 서브 유닛, 제2 구체 캡처 서브 유닛, 모습 변환 행렬 계산 서브 유닛을 포함할 수 있다. Optionally, the appearance transformation matrix calculation unit may include a first sphere capture subunit, a second sphere capture subunit, and an appearance transformation matrix calculation subunit.

상기 제1 구체 캡처 서브 유닛은 상기 제1 초기 안면 3차원 모델의 코끝 위치를 구의 중심으로 하고, 사전 설정된 반경으로 상기 제1 초기 안면 3차원 모델을 캡처하여, 상기 제1 초기 안면 3차원 모델에 해당되는 제1 구체 캡처 모델을 얻도록 구성될 수 있다. The first sphere capture subunit takes the nose tip position of the first initial facial 3D model as the center of the sphere, captures the first initial facial 3D model with a preset radius, and captures the first initial facial 3D model with a preset radius. It may be configured to obtain a corresponding first sphere capture model.

상기 제2 구체 캡처 서브 유닛은 상기 제2 안면 3차원 모델의 코끝 위치를 구의 중심으로 하고, 상기 사전 설정된 반경으로 상기 제2 안면 3차원 모델을 캡처하여, 상기 제2 안면 3차원 모델에 해당되는 제2 구체 캡처 모델을 얻도록 구성될 수 있다. The second sphere capture subunit uses the nose tip position of the second facial 3D model as the center of the sphere, captures the second facial 3D model with the preset radius, and captures the second facial 3D model to create a sphere corresponding to the second facial 3D model. and may be configured to obtain a second sphere capture model.

상기 모습 변환 행렬 계산 서브 유닛은 사전 설정된 변환 행렬 계산 방법, 상기 제1 구체 캡처 모델 및 상기 제2 구체 캡처 모델을 사용해, 상기 모습 변환 행렬을 계산하여 획득하도록 구성될 수 있다. The appearance transformation matrix calculation subunit may be configured to calculate and obtain the appearance transformation matrix using a preset transformation matrix calculation method, the first sphere capture model, and the second sphere capture model.

선택적으로는, 상기 거리 계산 모듈은 상기 제1 안면 3차원 모델 중 각 꼭짓점의 좌표에 따라, 상기 제1 안면 3차원 모델 중 각 꼭짓점에서 상기 제2 안면 3차원 모델의 가장 가까운 삼각 패싯까지의 거리를 계산 획득하도록 구성될 수 있다. Optionally, the distance calculation module calculates the distance from each vertex of the first facial 3D model to the nearest triangular facet of the second facial 3D model, according to the coordinates of each vertex of the first facial 3D model. It can be configured to calculate and obtain.

선택적으로는, 상기 거리 계산 모듈은 바운딩 박스 계산 유닛, 옥트리 구축 유닛, 균등 분할 유닛, 제1 연관 유닛, 제2 연관 유닛, 거리 계산 유닛을 포함할 수 있다. Optionally, the distance calculation module may include a bounding box calculation unit, an octree construction unit, an equal division unit, a first association unit, a second association unit, and a distance calculation unit.

상기 바운딩 박스 계산 유닛은 상기 제1 안면 3차원 모델 및 상기 제2 안면 3차원 모델의 최소 공통 입방체 바운딩 박스를 계산하도록 구성될 수 있다. The bounding box calculation unit may be configured to calculate a minimum common cubic bounding box of the first facial 3D model and the second facial 3D model.

상기 옥트리 구축 유닛은 상기 제1 안면 3차원 모델의 최소 공통 입방체 바운딩 박스에 대해 옥트리 구조를 구축하도록 구성될 수 있다. The octree building unit may be configured to build an octree structure for a minimum common cubic bounding box of the first facial 3D model.

상기 균등 분할 유닛은 상기 옥트리 구조의 깊이로 상기 제2 안면 3차원 모델의 최소 공통 입방체 바운딩 박스를 균등하게 분할하여, 사전 설정된 수량의 작은 입방체를 얻도록 구성될 수 있다. The equal division unit may be configured to equally divide the minimum common cube bounding box of the second facial 3D model with the depth of the octree structure to obtain a preset quantity of small cubes.

상기 제1 연관 유닛은 상기 제2 안면 3차원 모델의 삼각 패싯을 상기 작은 입방체와 연관시키도록 구성될 수 있다. The first association unit may be configured to associate a triangular facet of the second facial 3D model with the small cube.

상기 제2 연관 유닛은 상기 제1 안면 3차원 모델의 꼭짓점 좌표와 상기 작은 입방체의 색인 관계에 따라, 상기 제1 안면 3차원 모델의 꼭짓점을 상기 작은 입방체 중의 삼각 패싯과 연관시키도록 구성될 수 있다.The second association unit may be configured to associate a vertex of the first facial 3D model with a triangular facet in the small cube, according to the index relationship between the vertex coordinates of the first facial 3D model and the small cube. .

상기 거리 계산 유닛은 상기 꼭짓점 좌표와 연관된 삼각 패싯의 거리에 따라, 상기 제1 안면 3차원 모델 중 각 꼭짓점에서 상기 제2 안면 3차원 모델의 가장 가까운 삼각 패싯까지의 거리를 획득하도록 구성될 수 있다. The distance calculation unit may be configured to obtain the distance from each vertex of the first facial 3D model to the nearest triangular facet of the second facial 3D model, according to the distance of the triangular facet associated with the vertex coordinates. .

선택적으로는, 상기 제2 연관 유닛은 코드 계산 서브 유닛, 제2 연관 서브 유닛을 포함할 수 있다. Optionally, the second associated unit may include a code calculation subunit and a second associated subunit.

상기 코드 계산 서브 유닛은 상기 옥트리 구조에 따라 상기 제1 안면 3차원 모델의 꼭짓점 코드를 계산하도록 구성될 수 있다. The code calculation subunit may be configured to calculate a vertex code of the first facial 3D model according to the octree structure.

상기 제2 연관 서브 유닛은 상기 꼭짓점 코드 및 상기 작은 입방체의 색인 관계에 따라, 상기 꼭짓점에 연관되는 작은 입방체 중의 삼각 패싯이 공집합이 아닌 것으로 확정되면, 상기 꼭짓점을 상기 작은 입방체 중의 삼각 패싯과 연관시키도록 구성될 수 있다. If it is determined that the triangular facet in the small cube associated with the vertex is not an empty set, according to the vertex code and the index relationship of the small cube, the second association subunit associates the vertex with the triangular facet in the small cube. It can be configured as follows.

선택적으로는, 상기 장치는 인접 영역 판단 유닛, 제3 연관 서브 유닛을 더 포함할 수 있다. Optionally, the device may further include a neighboring area determination unit and a third associated sub-unit.

상기 인접 영역 판단 유닛은 상기 꼭짓점에 연관되는 작은 입방체 중의 삼각 패싯이 공집합인 경우, 상기 작은 입방체를 중심으로 하여, 상기 작은 입방체의 사전 설정된 반경 인접 영역 내의 다른 작은 입방체 중의 삼각 패싯이 공집합인지 여부를 판단하도록 구성될 수 있다. If a triangular facet in a small cube associated with the vertex is an empty set, the adjacent area determination unit determines, with the small cube as the center, whether a triangular facet in another small cube within a preset radius adjacent area of the small cube is an empty set. It can be configured to judge.

상기 제3 연관 서브 유닛은 상기 다른 작은 입방체 중의 삼각 패싯이 공집합이 아닌 경우, 상기 꼭짓점을 상기 다른 작은 입방체 중의 삼각 패싯과 연관시키도록 구성될 수 있다. The third association subunit may be configured to associate the vertex with a triangular facet in the other small cube when the triangular facet in the other small cube is not an empty set.

선택적으로는, 상기 히트 맵 시각화 모듈은 상기 거리와 색상표의 매핑 관계에 따라, 상기 제1 안면 3차원 모델 임의의 영역에 색상 렌더링하여, 상기 히트 맵 모델을 얻도록 구성될 수 있다. Optionally, the heat map visualization module may be configured to obtain the heat map model by color rendering a random area of the first facial 3D model according to the mapping relationship between the distance and the color table.

선택적으로는, 상기 등고선 시각화 모듈은 높이 맵 계산 유닛, 제1 2차원 등고선 계산 유닛, 제2 2차원 등고선 계산 유닛, 변환 유닛, 제1 등고선 시각화 유닛, 제2 등고선 시각화 유닛을 포함할 수 있다. Optionally, the contour visualization module may include a height map calculation unit, a first two-dimensional contour calculation unit, a second two-dimensional contour calculation unit, a transformation unit, a first contour visualization unit, and a second contour visualization unit.

상기 높이 맵 계산 유닛은 상기 제1 안면 3차원 모델의 제1 높이 맵 및 상기 제2 안면 3차원 모델의 제2 높이 맵을 계산하도록 구성될 수 있다. The height map calculation unit may be configured to calculate a first height map of the first facial 3D model and a second height map of the second facial 3D model.

상기 제1 2차원 등고선 계산 유닛은 상기 제1 높이 맵에 따라 상기 제1 안면 3차원 모델의 제1 2차원 등고선을 계산하도록 구성될 수 있다. The first two-dimensional contour calculation unit may be configured to calculate a first two-dimensional contour of the first facial three-dimensional model according to the first height map.

상기 제2 2차원 등고선 계산 유닛은 상기 제2 높이 맵에 따라 상기 제2 안면 3차원 모델의 제2 2차원 등고선을 계산하도록 구성될 수 있다. The second two-dimensional contour calculation unit may be configured to calculate a second two-dimensional contour of the second facial three-dimensional model according to the second height map.

상기 변환 유닛은 상기 제1 2차원 등고선을 제1 3차원 등고선으로 변환하고, 상기 제2 2차원 등고선을 제2 3차원 등고선으로 변환하도록 구성될 수 있다. The conversion unit may be configured to convert the first two-dimensional contour line into a first three-dimensional contour line and convert the second two-dimensional contour line into a second three-dimensional contour line.

상기 제1 등고선 시각화 유닛은 상기 제1 3차원 등고선에 따라 상기 제1 안면 3차원 모델을 렌더링하여, 상기 제1 등고선 모델을 얻도록 구성될 수 있다. The first contour visualization unit may be configured to render the first facial 3D model according to the first 3D contour line to obtain the first contour model.

상기 제2 등고선 시각화 유닛은 상기 제2 3차원 등고선에 따라 상기 제2 안면 3차원 모델을 렌더링하여, 상기 제2 등고선 모델을 얻도록 구성될 수 있다. The second contour visualization unit may be configured to render the second facial 3D model according to the second 3D contour line to obtain the second contour model.

본 발명의 또 다른 일부 실시 예에 의해 더 제공되는 전자 장비에서, 그 전자 장비는 프로세서, 저장 매체 및 버스를 포함할 수 있고, 상기 저장 매체는 상기 프로세서에 의해 실행될 수 있는 프로그램 명령을 저장하며, 상기 전자 장비가 작동되면, 상기 프로세서와 상기 저장 매체 사이는 버스를 통해 통신되고, 상기 프로세서는 상기 프로그램 명령을 실행하여, 전술한 실시 예에 의해 제공되는 어느 하나의 상기 안면 3차원 모델 시각화 방법의 단계를 실행한다. In an electronic device further provided by another embodiment of the present invention, the electronic device may include a processor, a storage medium, and a bus, the storage medium storing program instructions that can be executed by the processor, When the electronic device is operated, communication is made between the processor and the storage medium through a bus, and the processor executes the program command to perform any one of the facial 3D model visualization method provided by the above-described embodiment. Execute the steps.

본 발명의 다른 일부 실시 예에 의해 더 제공되는 컴퓨터로 읽을 수 있는 저장 매체에서, 상기 저장 매체에는 컴퓨터 프로그램이 저장되며, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때 전술한 실시 예에 의해 제공되는 어느 하나의 상기 안면 3차원 모델 시각화 방법의 단계가 실행된다. In a computer-readable storage medium further provided by some other embodiments of the present invention, a computer program is stored in the storage medium, and when the computer program is executed by a processor, any of the computer programs provided by the above-described embodiments The steps of the facial 3D model visualization method are performed.

본 발명의 유익한 효과는 적어도 하기와 같다.The beneficial effects of the present invention are at least as follows.

본 발명에 의해 제공되는 안면 3차원 모델 시각화 방법, 장치, 전자 장비 및 저장 매체는, 피측정자에 대한 상이한 두 시간의 제1 안면 3차원 모델 및 제2 안면 3차원 모델을 획득하고, 제1 안면 3차원 모델 및 제2 안면 3차원 모델은 삼각 패싯 형식이며, 제1 안면 3차원 모델과 제2 안면 3차원 모델 중 좌표점 간의 거리를 계산하고, 거리에 따라 제1 안면 3차원 모델을 렌더링하여, 히트 맵 모델을 얻고, 제1 안면 3차원 모델 및 제2 안면 3차원 모델에 따라 각각 3차원 등고선을 계산하여, 제1 등고선 모델 및 제2 등고선 모델을 얻는다. 본 발명에 의해 제공되는 방안을 통해, 제1 안면 3차원 모델 및 제2 안면 3차원 모델의 좌표점 간의 거리에 따라, 제2 안면 3차원 모델과 비교하여 제1 안면 3차원 모델 얼굴의 움푹하거나 돌출을 특성화할 수 있고, 히트 맵 모델을 통해 두 모델 얼굴의 움푹하거나 돌출된 차이를 직관적으로 표시할 수 있으며, 제1 등고선 모델 및 제2 등고선 모델을 통해 피측정자 얼굴의 변화 및 움직임 상황을 직관적으로 이해할 수 있으므로, 얼굴 변화의 시각화가 구현될 수 있다.The facial 3D model visualization method, device, electronic equipment, and storage medium provided by the present invention include obtaining a first facial 3D model and a second facial 3D model at two different times for a subject to be measured, and The 3D model and the second facial 3D model are in the form of triangular facets, and the distance between the coordinate points of the first facial 3D model and the second facial 3D model is calculated, and the first facial 3D model is rendered according to the distance. , obtain a heat map model, and calculate 3D contour lines according to the first facial 3D model and the second facial 3D model, respectively, to obtain the first contour model and the second contour model. Through the method provided by the present invention, depending on the distance between the coordinate points of the first facial 3D model and the second facial 3D model, the face of the first facial 3D model is depressed or depressed compared to the second facial 3D model. Protrusion can be characterized, the difference in depression or protrusion between two model faces can be intuitively displayed through a heat map model, and the change and movement situation of the subject's face can be intuitively displayed through the first and second contour models. Since it can be understood, visualization of facial changes can be implemented.

본 발명에 의해 제공되는 실시 예의 기술적 방안을 보다 명확하게 설명하기 위해, 실시 예 중에 필요한 도면을 하기에서 간단하게 소개하며, 하기의 도면은 본 발명의 일부 실시 예를 도시한 것일 뿐이므로, 범위를 제한하는 것으로 간주되어서는 안 되며, 당업자는 창조적인 노력이 없는 전제 하에서도 그 도면에 근거해 기타 관련 도면을 얻을 수 있다는 점을 이해해야 한다.
도 1은 본 발명의 실시 예에 의해 제공되는 안면 3차원 모델 시각화 방법의 제1 흐름도이다.
도 2는 본 발명의 실시 예에 의해 제공되는 안면 3차원 모델 시각화 방법의 제2 흐름도이다.
도 3은 본 발명의 실시 예에 의해 제공되는 안면 3차원 모델 시각화 방법의 제3 흐름도이다.
도 4는 본 발명의 실시 예에 의해 제공되는 안면 3차원 모델 시각화 방법의 제4 흐름도이다.
도 5는 본 발명의 실시 예에 의해 제공되는 안면 3차원 모델 시각화 방법의 제5 흐름도이다.
도 6은 본 발명의 실시 예에 의해 제공되는 인접 영역 작은 입방체의 구조 결선도이다.
도 7은 본 발명의 실시 예에 의해 제공되는 안면 3차원 모델 시각화 방법의 제6 흐름도이다.
도 8은 본 발명의 실시 예에 의해 제공되는 안면 3차원 모델 시각화 장치의 구조 결선도이다.
도 9는 본 발명의 실시 예에 의해 제공되는 전자 장비의 결선도이다.In order to more clearly explain the technical solutions of the embodiments provided by the present invention, the drawings required during the embodiments are briefly introduced below. The drawings below only illustrate some embodiments of the present invention, so they do not limit the scope. It should not be considered limiting, and it should be understood that those skilled in the art may obtain other related drawings based on the drawings even without creative efforts.
1 is a first flowchart of a facial 3D model visualization method provided by an embodiment of the present invention.
Figure 2 is a second flowchart of a facial 3D model visualization method provided by an embodiment of the present invention.
Figure 3 is a third flowchart of a facial 3D model visualization method provided by an embodiment of the present invention.
Figure 4 is a fourth flowchart of a facial 3D model visualization method provided by an embodiment of the present invention.
Figure 5 is a fifth flowchart of a facial 3D model visualization method provided by an embodiment of the present invention.
Figure 6 is a structural wiring diagram of a small cubic adjacent area provided by an embodiment of the present invention.
Figure 7 is a sixth flowchart of a facial 3D model visualization method provided by an embodiment of the present invention.
Figure 8 is a structural wiring diagram of a facial 3D model visualization device provided by an embodiment of the present invention.
9 is a wiring diagram of electronic equipment provided by an embodiment of the present invention.

본 발명에 의해 제공되는 실시 예의 목적, 기술적 방안 및 이점을 보다 명확하게 하기 위해, 하기에서 본 발명의 실시 예에 의해 제공되는 도면을 결합시켜 본 발명의 실시 예 중 기술적 방안에 대해 명확하고 완전하게 설명한다. 명백하게, 본 명세서의 실시 예는 본 발명에 의해 제공되는 전부의 실시 예가 아니라 일부의 실시 예이다. In order to make the purpose, technical solutions and advantages of the embodiments provided by the present invention clearer, the following drawings provided by the embodiments of the present invention are combined to clearly and completely describe the technical solutions among the embodiments of the present invention. Explain. Obviously, the embodiments herein are some, but not all, of the embodiments provided by the present invention.

따라서. 하기 도면에 제공되는 본 발명의 실시 예에 대한 상세한 설명은 본 발명에 의해 선택된 실시 예의 도시일 뿐으로 본 발명의 보호 범위를 제한하지 않는다. 본 발명에 의해 제공되는 실시 예를 기반으로, 당업자가 창조적인 노력이 없는 전제 하에 획득한 모든 기타 실시 예는 모두 본 발명의 보호 범위에 속한다. thus. The detailed description of embodiments of the present invention provided in the drawings below are only illustrations of embodiments selected by the present invention and do not limit the scope of protection of the present invention. Based on the embodiments provided by the present invention, all other embodiments obtained by a person skilled in the art without creative efforts shall fall within the protection scope of the present invention.

본 발명에 대한 설명에서, 용어 “상”, “하” 등의 지시적 방향 또는 위치 관계가 나타나는 경우, 도면에 도시된 방향 또는 위치 관계, 또는 그 발명 제품의 사용 시 습관적으로 배치하는 방향이나 위치 관계에 기반하며, 가리키는 장치나 구성요소가 반드시 특정한 방향, 특정한 방향의 구조 및 조작을 가져야 함을 지시하거나 암시하는 것이 아니라, 단지 본 발명을 쉽고 간략하게 설명하기 위한 것이기 때문에, 본 발명을 제한하는 것으로 이해될 수 없다.In the description of the present invention, when an indicative direction or positional relationship such as the terms “up” or “down” appears, the direction or positional relationship shown in the drawings, or the direction or positional relationship habitually placed when using the product of the invention It is based on, and does not indicate or imply that the indicated device or component must necessarily have a specific direction or structure and operation in a specific direction, but is only intended to easily and briefly explain the present invention, so it is not intended to limit the present invention. I can't understand.

또한 본 발명의 명세서와 특허청구범위 및 전술한 도면에서 용어 "제1", "제2" 등은 특정한 순서 또는 전후 순서를 설명하기 위해 사용되는 것이 아니라, 유사한 대상을 구별하기 위한 것이다. 이렇게 사용되는 자료는 여기에서 설명된 본 발명의 실시 예가 여기에 도시되거나 설명된 것 이외의 순서로 실시되기에 용이하도록, 적절한 상황에서 상호 교환될 수 있음을 이해해야 한다. 또한, 용어 "포함하는"과 "갖는" 및 그 임의의 변형은 배타적이지 않은 포함을 포함하도록 의도되며, 예를 들어, 일련의 단계 또는 유닛을 포함하는 과정, 방법, 시스템, 제품 또는 장치는 반드시 명확하게 열거된 그 단계 또는 유닛에 국한될 필요가 없으며, 명확하게 열거되지 않았거나 그러한 과정, 방법, 제품 또는 장치의 고유한 기타 단계 또는 유닛을 포함할 수 있다.Additionally, in the specification and claims of the present invention and the foregoing drawings, the terms "first", "second", etc. are not used to describe a specific order or forward/backward order, but are used to distinguish similar objects. It is to be understood that the material so used is interchangeable under appropriate circumstances so that the embodiments of the invention described herein may be practiced in any order other than that shown or described herein. Additionally, the terms “comprising” and “having” and any variations thereof are intended to include non-exclusive inclusion, e.g., a process, method, system, product or device that includes a series of steps or units. It need not be limited to those steps or units explicitly listed and may include other steps or units not explicitly listed or that are unique to such process, method, product or apparatus.

설명이 필요한 점은, 충돌되지 않는 상황에서, 본 발명의 실시 예에 의해 제공되는 특징은 상호 결합될 수 있다. What needs to be explained is that, in situations where they do not conflict, features provided by embodiments of the present invention may be combined with each other.

본 발명의 실시 예에 의해 제공되는 안면 3차원 모델 시각화 방법은, 그 실행 주체가 안면 3차원 모델 시각화 기능을 갖는 전자 장비이며, 그 전자 장비는 안면 3차원 모델의 모델링 기능을 갖는 모델링 장비에 통합될 수 있거나, 모델링 장비와 통신 연결되어 모델링 장비가 전송하는 안면 3차원 모델을 수신할 수 있는 전자 장비일 수도 있다. 그 전자 장비는 미용기기일 수 있고, 스마트 휴대폰, 태블릿 피시, 서버, 데스크탑 컴퓨터, 노트북 컴퓨터 등일 수 있으므로, 여기서는 제한을 두지 않는다. The facial 3D model visualization method provided by an embodiment of the present invention is implemented by an electronic device having a facial 3D model visualization function, and the electronic device is integrated into modeling equipment having a facial 3D model modeling function. Alternatively, it may be an electronic device that is connected to the modeling equipment and can receive a 3D facial model transmitted by the modeling equipment. The electronic equipment may be a beauty device, a smart phone, a tablet PC, a server, a desktop computer, a laptop computer, etc., so there is no limitation here.

도 1은 본 발명의 실시 예에 의해 제공되는 안면 3차원 모델 시각화 방법의 제1 흐름도이다. 도 1에 도시된 바와 같이, 그 방법은 하기를 포함할 수 있다. 1 is a first flowchart of a facial 3D model visualization method provided by an embodiment of the present invention. As shown in Figure 1, the method may include the following.

방법은 피측정자에 대한 상이한 두 시간의 제1 안면 3차원 모델 및 제2 안면 3차원 모델을 획득하는 단계(S10)를 포함할 수 있다.The method may include obtaining a first facial 3D model and a second facial 3D model at two different times for the subject (S10).

구체적으로는, 제1 안면 3차원 모델 및 제2 안면 3차원 모델은 동일한 피측정자에 대한 상이한 두 시간의 안면 3차원 모델이며, 제1 안면 3차원 모델 및 제2 안면 3차원 모델은 모두 3차원 스캐닝 장치를 통해 획득될 수 있다. 더 나아가, 제1 안면 3차원 모델은 모델을 3차원 스캔하여 획득하고, 제2 안면 3차원 모델은 성형외과 의사와 같은 전문가가 제1 안면 3차원 모델을 성형 시뮬레이션하고, 제1 안면 3차원 모델의 얼굴 구조를 조정하여 얻는다. 용이한 후속 계산을 위해, 제1 안면 3차원 모델 및 제2 안면 3차원 모델은 삼각 패싯 형식이어야 하며, 삼각 패싯 형식은 안면 3차원 모델이 복수의 삼각면으로 구성됨을 나타낸다. Specifically, the first facial 3D model and the second facial 3D model are facial 3D models of the same subject at two different times, and the first facial 3D model and the second facial 3D model are both 3D. It can be obtained through a scanning device. Furthermore, the first facial 3D model is obtained by 3D scanning the model, the second facial 3D model is obtained by an expert such as a plastic surgeon performing plastic surgery simulation on the first facial 3D model, and the first facial 3D model Obtained by adjusting the facial structure. For easy subsequent calculation, the first facial 3D model and the second facial 3D model must be in a triangular facet format, where the triangular facet format indicates that the facial 3D model is composed of a plurality of triangular faces.

설명이 필요한 점은, 제1 안면 3차원 모델 및 제2 안면 3차원 모델은 고정밀, 고해상도의 텍스처 매핑을 가진 3차원 모델이다. What needs to be explained is that the first facial 3D model and the second facial 3D model are 3D models with high-precision, high-resolution texture mapping.

방법은 제1 안면 3차원 모델과 제2 안면 3차원 모델의 좌표점 간의 거리를 계산하는 단계(S20)를 포함할 수 있다.The method may include calculating the distance between coordinate points of the first facial 3D model and the second facial 3D model (S20).

구체적으로는, 제1 안면 3차원 모델과 제2 안면 3차원 모델의 좌표점 간 거리 계산은, 제1 안면 3차원 모델의 꼭짓점에서 제2 안면 3차원 모델까지의 거리 계산 및 제2 안면 3차원 모델의 꼭짓점에서 제1 안면 3차원 모델까지의 거리 계산을 포함할 수 있다. Specifically, the calculation of the distance between the coordinate points of the first facial 3D model and the second facial 3D model includes calculating the distance from the vertex of the first facial 3D model to the second facial 3D model and the second facial 3D model. It may include calculating the distance from the vertex of the model to the first facial 3D model.

제1 안면 3차원 모델의 꼭짓점에서 제2 안면 3차원 모델까지의 거리 계산을 예로 들어 설명한다. Calculation of the distance from the vertex of the first facial 3D model to the second facial 3D model will be explained as an example.

제1 안면 3차원 모델의 꼭짓점은 제1 안면 3차원 모델을 구축하는 핵심 포인트이거나, 또는 제1 안면 3차원 모델 중 삼각 패싯의 삼각 꼭짓점이며, 제1 안면 3차원 모델의 꼭짓점에서 제2 안면 3차원 모델까지의 거리를 계산하는 과정은, 제1 안면 3차원 모델의 꼭짓점에서 제2 안면 3차원 모델까지의 가장 가까운 거리를 계산하며, 선택적인 계산 방식에서, 제1 안면 3차원 모델의 각 꼭짓점에서 제2 안면 3차원 모델의 모든 꼭짓점까지의 거리를 계산하여, 가장 가까운 거리를 확정한다.The vertex of the first facial 3D model is a key point for building the first facial 3D model, or is a triangular vertex of a triangular facet in the first facial 3D model, and from the vertex of the first facial 3D model, the second facial 3 The process of calculating the distance to the 3D model includes calculating the closest distance from a vertex of the first facial 3D model to the second facial 3D model, and in an optional calculation method, each vertex of the first facial 3D model Calculate the distance to all vertices of the second facial 3D model and determine the closest distance.

선택적인 실시 방식에서, 제1 안면 3차원 모델 중 각 꼭짓점의 좌표에 따라, 제1 안면 3차원 모델 중 각 꼭짓점에서 제2 안면 3차원 모델의 가장 가까운 삼각 패싯까지의 거리를 계산한다. In an optional implementation method, according to the coordinates of each vertex of the first facial 3D model, a distance from each vertex of the first facial 3D model to the nearest triangular facet of the second facial 3D model is calculated.

구체적으로는, 제1 안면 3차원 모델 및 제2 안면 3차원 모델은 모두 고정밀 모델로 꼭짓점 수량이 매우 많기 때문에, 제1 안면 3차원 모델 중 꼭짓점에서 제2 안면 3차원 모델의 가장 가까운 삼각 패싯까지의 거리를 선택해 계산할 수 있다. 여기서, 각 꼭짓점에서 모든 삼각 패싯까지의 거리를 계산함에 따라, 꼭짓점과 가장 가까운 삼각 패싯의 거리를 제1 거리로 확정할 수 있으며, 점에서 면까지의 거리 계산 방법은 여기서 상세하게 설명하지 않는다. Specifically, since the first facial 3D model and the second facial 3D model are both high-precision models and have a very large number of vertices, from the vertex of the first facial 3D model to the nearest triangular facet of the second facial 3D model You can calculate it by selecting the distance. Here, by calculating the distance from each vertex to all triangular facets, the distance of the triangular facet closest to the vertex can be determined as the first distance, and the method of calculating the distance from the point to the face will not be described in detail here.

방법은 거리에 따라 제1 안면 3차원 모델을 렌더링하여, 히트 맵 모델을 얻는 단계(S30)를 포함할 수 있다.The method may include rendering the first facial 3D model according to the distance to obtain a heat map model (S30).

구체적으로는, 히트 맵 모델은 피측정자 얼굴 임의의 영역의 근육 상태를 표시하는 데 사용되고, 제1 안면 3차원 모델 및 제2 안면 3차원 모델의 좌표점 간의 유향 거리에 근거하며, 그 유향 거리가 양수이면, 제1 안면 3차원 모델이 그 좌표점에서 제2 안면 3차원 모델에 비해 상대적으로 돌출된 것을 나타내고, 그 유향 거리가 음수이면, 제1 안면 3차원 모델이 그 좌표점에서 제2 안면 3차원 모델에 비해 상대적으로 움푹한 것을 나타내므로, 제1 안면 3차원 모델 중 각 좌표점이 위치하는 영역의 색상 값을 계산하고, 그 색상 값에 따라 제1 안면 3차원 모델을 렌더링하여 히트 맵 모델을 얻는다.Specifically, the heat map model is used to display the muscle state of an arbitrary area of the subject's face, and is based on the directed distance between the coordinate points of the first facial 3D model and the second facial 3D model, and the directed distance is If the number is positive, it indicates that the first facial 3D model is relatively protruding compared to the second facial 3D model at that coordinate point, and if the directed distance is negative, the first facial 3D model is protruding relative to the second facial 3D model at that coordinate point. Since it is relatively hollow compared to the 3D model, the color value of the area where each coordinate point is located in the first facial 3D model is calculated, and the first facial 3D model is rendered according to the color value to create a heat map model. get

방법은 제1 안면 3차원 모델 및 제2 안면 3차원 모델에 따라 각각 3차원 등고선을 계산하여, 제1 등고선 모델 및 제2 등고선 모델을 얻는 단계(S40)를 포함할 수 있다.The method may include calculating 3D contour lines according to the first 3D facial model and the second 3D facial model, respectively, to obtain a first contour model and a second contour model (S40).

구체적으로는, 등고선 모델은 피측정자 얼굴 임의의 영역 방향을 표시하는 데 사용되며, 제1 안면 3차원 모델의 사전 설정된 높이 방향 각 꼭짓점의 높이 값에 따라 제1 안면 3차원 모델의 3차원 등고선을 확정하고, 제1 안면 3차원 모델의 3차원 등고선을 제1 안면 3차원 모델에 렌더링하여, 제1 등고선 모델을 얻는다. Specifically, the contour model is used to display the direction of an arbitrary area of the subject's face, and the 3D contour line of the first facial 3D model is drawn according to the height value of each vertex in the preset height direction of the first facial 3D model. After confirming, the 3D contour line of the first facial 3D model is rendered on the first facial 3D model to obtain the first contour model.

제2 등고선 모델의 계산 과정은 제1 등고선 모델과 동일하므로, 여기서는 설명하지 않는다. Since the calculation process of the second contour model is the same as that of the first contour model, it will not be described here.

본 발명의 실시 예에 의해 제공되는 안면 3차원 모델 시각화 방법은, 피측정자에 대한 상이한 두 시간의 제1 안면 3차원 모델 및 제2 안면 3차원 모델을 획득하고, 제1 안면 3차원 모델 및 제2 안면 3차원 모델은 삼각 패싯 형식이며, 제1 안면 3차원 모델과 제2 안면 3차원 모델 중 좌표점 간의 거리를 계산하고, 거리에 따라 제1 안면 3차원 모델을 렌더링하여, 히트 맵 모델을 얻고, 제1 안면 3차원 모델 및 제2 안면 3차원 모델에 따라 각각 3차원 등고선을 계산하여, 제1 등고선 모델 및 제2 등고선 모델을 얻는다. 본 발명의 실시 예에 의해 제공되는 방법을 통해, 제1 안면 3차원 모델 및 제2 안면 3차원 모델의 좌표점 간의 거리에 따라, 제2 안면 3차원 모델과 비교하여 제1 안면 3차원 모델 얼굴의 움푹하거나 돌출을 특성화할 수 있고, 히트 맵 모델을 통해 두 모델 얼굴의 움푹하거나 돌출된 차이를 직관적으로 표시할 수 있으며, 제1 등고선 모델 및 제2 등고선 모델을 통해 피측정자 얼굴의 변화 및 움직임 상황을 직관적으로 이해할 수 있으므로, 얼굴 변화의 시각화가 구현될 수 있다. The facial 3D model visualization method provided by an embodiment of the present invention acquires a first facial 3D model and a second facial 3D model at two different times for the subject to be measured, and the first facial 3D model and the second facial 3D model 2 The facial 3D model is in the form of triangular facets, calculates the distance between the coordinate points of the first facial 3D model and the second facial 3D model, renders the first facial 3D model according to the distance, and creates a heat map model. and calculate 3D contour lines according to the first facial 3D model and the second facial 3D model, respectively, to obtain the first contour model and the second contour model. Through the method provided by the embodiment of the present invention, according to the distance between the coordinate points of the first facial 3D model and the second facial 3D model, the first facial 3D model face is compared with the second facial 3D model. The hollowness or protrusion of can be characterized, and the heat map model can intuitively display the difference between the hollowness or protrusion of the two model faces, and the first and second contour models can be used to measure changes and movements of the subject's face. Since the situation can be intuitively understood, visualization of facial changes can be implemented.

전술한 실시 예를 기반으로, 본 발명의 실시 예는 안면 3차원 모델 시각화 방법을 더 제공한다. 도 2는 본 발명의 실시 예에 의해 제공되는 안면 3차원 모델 시각화 방법의 제2 흐름도이며, 도 2에 도시된 바와 같이, 상기 S10은 하기를 포함할 수 있다. Based on the above-described embodiments, embodiments of the present invention further provide a method for visualizing a facial 3D model. Figure 2 is a second flowchart of a facial 3D model visualization method provided by an embodiment of the present invention, and as shown in Figure 2, S10 may include the following.

방법은 피측정자에 대한 상기 상이한 두 시간의 제1 초기 안면 3차원 모델 및 제2 안면 3차원 모델을 획득하는 단계(S11)를 포함할 수 있다.The method may include obtaining a first initial facial 3D model and a second facial 3D model for the subject at the two different times (S11).

구체적으로는, 제1 초기 안면 3차원 모델 및 제2 안면 3차원 모델의 획득 방법은 상기 S10과 같으므로, 여기서는 구체적으로 설명하지 않는다. 상이한 시간에 획득하는 안면 3차원 모델 간의 각도, 얼굴 움직임에 존재하는 차이로 인해, 그중 하나의 안면 3차원 모델을 보정해야 하며, 본 발명의 실시 예 방안은 제1 초기 안면 3차원 모델을 보정한다.Specifically, the method of acquiring the first initial facial 3D model and the second facial 3D model is the same as S10 above, and will not be described in detail here. Due to differences in angles and facial movements between facial 3D models acquired at different times, one of them must be corrected, and the embodiment of the present invention corrects the first initial facial 3D model. .

방법은 제1 초기 안면 3차원 모델과 제2 안면 3차원 모델의 모습 변환 행렬을 계산하는 단계(S12)를 포함할 수 있다.The method may include calculating an appearance transformation matrix of the first initial facial 3D model and the second facial 3D model (S12).

구체적으로는, 제1 초기 안면 3차원 모델을 회전 및 이동 변환하여, 제1 초기 안면 3차원 모델을 제2 안면 3차원 모델에 정렬시키며, 사전 설정된 변환 방법을 사용해, 회전 및 이동 변환하는 데 사용된 모습 변환 행렬을 계산한다.Specifically, the first initial facial 3D model is rotated and translated, the first initial facial 3D model is aligned with the second facial 3D model, and a preset transformation method is used to rotate and translate. The transformation matrix Calculate .

방법은 모습 변환 행렬에 따라 제1 초기 안면 3차원 모델을 제2 안면 3차원 모델에 정렬시켜, 제1 안면 3차원 모델을 얻는 단계(S13)를 포함할 수 있다.The method may include aligning the first initial facial 3D model to the second facial 3D model according to the appearance transformation matrix, thereby obtaining a first facial 3D model (S13).

구체적으로는, 모습 변환 행렬은 제1 초기 안면 3차원 모델을 보정하여, 제1 초기 안면 3차원 모델을 제2 안면 3차원 모델이 위치하는 좌표계 내로 정렬시켜, 보정된 제1 안면 3차원 모델을 얻을 수 있다. 예시적으로, 정렬 공식은 이다. Specifically, the appearance transformation matrix By correcting the first initial facial 3D model, the first initial facial 3D model is aligned within the coordinate system in which the second facial 3D model is located, thereby obtaining a corrected first facial 3D model. By way of example, the sorting formula is am.

본 발명의 실시 예에 의해 제공되는 안면 3차원 모델 시각화 방법은, 피측정자에 대한 상기 상이한 두 시간의 제1 초기 안면 3차원 모델 및 제2 안면 3차원 모델을 획득하고, 제1 초기 안면 3차원 모델과 제2 안면 3차원 모델의 모습 변환 행렬을 계산하고, 모습 변환 행렬에 따라 제1 초기 안면 3차원 모델을 제2 안면 3차원 모델에 정렬시켜, 제1 안면 3차원 모델을 얻는다. 본 발명의 실시 예에 의해 제공되는 방법은, 제1 초기 안면 3차원 모델을 제2 안면 3차원 모델과 정렬시킴에 따라, 상이한 시간의 안면 3차원 모델 간에 존재하는 경사 편차로 인해, 히트 맵 모델 및 등고선 모델을 통해 시각화 비교 시 결과에 나타나는 편차를 방지하고, 비교 결과의 정확성을 높일 수 있다.The facial 3D model visualization method provided by an embodiment of the present invention obtains a first initial facial 3D model and a second facial 3D model at two different times for the subject to be measured, and the first initial facial 3D model Calculate the appearance transformation matrix of the model and the second facial 3D model, and align the first initial facial 3D model with the second facial 3D model according to the appearance transformation matrix to obtain the first facial 3D model. The method provided by embodiments of the present invention aligns a first initial facial 3D model with a second facial 3D model, thereby generating a heat map model, due to slope deviations that exist between facial 3D models at different times. Through the and contour model, deviations that appear in the results when comparing visualizations can be prevented and the accuracy of the comparison results can be improved.

전술한 실시 예를 기반으로, 본 발명의 실시 예는 안면 3차원 모델 시각화 방법을 더 제공한다. 도 3은 본 발명의 실시 예에 의해 제공되는 안면 3차원 모델 시각화 방법의 제3 흐름도이며, 도 3에 도시된 바와 같이, 상기 S12는 하기를 포함할 수 있다. Based on the above-described embodiments, embodiments of the present invention further provide a method for visualizing a facial 3D model. Figure 3 is a third flowchart of a facial 3D model visualization method provided by an embodiment of the present invention, and as shown in Figure 3, S12 may include the following.

방법은 제1 초기 안면 3차원 모델의 코끝 위치를 구의 중심으로 하고, 사전 설정된 반경으로 제1 초기 안면 3차원 모델을 캡처하여, 제1 초기 안면 3차원 모델에 해당되는 제1 구체 캡처 모델을 얻는 단계(S121)를 포함할 수 있다. The method uses the nose tip position of the first initial facial 3D model as the center of the sphere, captures the first initial facial 3D model with a preset radius, and obtains a first sphere capture model corresponding to the first initial facial 3D model. It may include step S121.

구체적으로는, 안면 3차원 모델의 양쪽 볼 영역이 모습 변환 행렬 계산에 대한 기여도가 적기 때문에, 계산량을 줄이고 계산 효율을 높이기 위해, 코끝 위치를 구의 중심으로 하고, 사전 설정된 반경으로 제1 초기 안면 3차원 모델을 캡처하여 제1 구체 캡처 모델을 얻을 수 있다.Specifically, since the cheek areas on both sides of the facial 3D model have a small contribution to the calculation of the appearance transformation matrix, in order to reduce the amount of calculation and increase calculation efficiency, the position of the tip of the nose is set as the center of the sphere, and the first initial facial 3 is set with a preset radius. By capturing the dimensional model, a first concrete capture model can be obtained.

방법은 제2 안면 3차원 모델의 코끝 위치를 구의 중심으로 하고, 사전 설정된 반경으로 제2 안면 3차원 모델을 캡처하여, 제2 안면 3차원 모델에 해당되는 제2 구체 캡처 모델을 얻는 단계(S122)를 포함할 수 있다.The method includes setting the position of the nose tip of the second facial 3D model as the center of the sphere, capturing the second facial 3D model with a preset radius, and obtaining a second sphere capture model corresponding to the second facial 3D model (S122 ) may include.

구체적으로는, 제2 안면 3차원 모델을 캡처하여 제2 구체 캡처 모델을 얻는 과정은 제1 초기 안면 3차원 모델의 과정과 동일하므로, 여기서는 설명하지 않는다. Specifically, the process of capturing the second facial 3D model to obtain the second sphere capture model is the same as the process of the first initial facial 3D model, and will not be described here.

방법은 사전 설정 변환 행렬 계산 방법, 제1 구체 캡처 모델 및 제2 구체 캡처 모델을 사용해, 모습 변환 행렬을 계산하여 획득하는 단계(S123)를 포함할 수 있다.The method may include calculating and obtaining an appearance transformation matrix using a preset transformation matrix calculation method, a first sphere capture model, and a second sphere capture model (S123).

구체적으로는, 사전 설정 변환 행렬 계산 방법을 사용해, 제1 구체 캡처 모델을 제2 구체 캡처 모델로 정렬한 모습 변환 행렬을 계산한다. 예시적으로, 사전 설정 변환 행렬 계산 방법은 포인트 정합 도구(Iterative Closest Point，ICP) 알고리즘일 수 있다. Specifically, a transformation matrix of a first sphere capture model aligned to a second sphere capture model using a preset transformation matrix calculation method. Calculate . As an example, the preset transformation matrix calculation method may be a point matching tool (Iterative Closest Point, ICP) algorithm.

본 발명의 실시 예에 의해 제공되는 안면 3차원 모델 시각화 방법은, 제1 초기 안면 3차원 모델의 코끝 위치를 구의 중심으로 하고, 사전 설정된 반경으로 제1 초기 안면 3차원 모델을 캡처하여, 제1 초기 안면 3차원 모델에 해당되는 제1 구체 캡처 모델을 얻고, 제2 안면 3차원 모델의 코끝 위치를 구의 중심으로 하고, 사전 설정된 반경으로 제2 안면 3차원 모델을 캡처하여, 제2 안면 3차원 모델에 해당되는 제2 구체 캡처 모델을 얻고, 사전 설정 변환 행렬 계산 방법, 제1 구체 캡처 모델 및 제2 구체 캡처 모델을 사용해, 모습 변환 행렬을 계산하여 획득한다. 본 발명의 실시 예에 의해 제공되는 방법을 통해, 제1 초기 안면 3차원 모델 및 제2 안면 3차원 모델을 각각 구체 캡처하고, 모습 변환 행렬 계산에 대한 기여도가 적은 양쪽 볼 영역을 생략하여, 제1 구체 캡처 모델 및 제2 구체 캡처 모델을 얻음에 따라, 사전 설정 변환 행렬 계산 방법을 사용해 모습 변환 행렬을 계산할 때, 계산량을 줄이고 계산 효율을 높일 수 있다. The facial 3D model visualization method provided by an embodiment of the present invention uses the nose tip position of the first initial facial 3D model as the center of the sphere, captures the first initial facial 3D model with a preset radius, and captures the first initial facial 3D model. Obtain a first sphere capture model corresponding to the initial facial 3D model, set the nose tip position of the second facial 3D model as the center of the sphere, capture the second facial 3D model with a preset radius, and obtain a second facial 3D model. A second sphere capture model corresponding to the model is obtained, and an appearance transformation matrix is calculated and obtained using the preset transformation matrix calculation method, the first sphere capture model and the second sphere capture model. Through the method provided by the embodiment of the present invention, the first initial facial 3D model and the second facial 3D model are each captured as spheres, and both cheek regions that have a small contribution to the appearance transformation matrix calculation are omitted, By obtaining the first sphere capture model and the second sphere capture model, when calculating the appearance transformation matrix using the preset transformation matrix calculation method, the calculation amount can be reduced and calculation efficiency can be improved.

전술한 실시 예를 기반으로, 본 발명의 실시 예는 안면 3차원 모델 시각화 방법을 더 제공한다. 도 4는 본 발명의 실시 예에 의해 제공되는 안면 3차원 모델 시각화 방법의 제4 흐름도이며, 도 4에 도시된 바와 같이, 상기 S20은 하기를 포함할 수 있다. Based on the above-described embodiments, embodiments of the present invention further provide a method for visualizing a facial 3D model. Figure 4 is a fourth flowchart of a facial 3D model visualization method provided by an embodiment of the present invention, and as shown in Figure 4, S20 may include the following.

방법은 제1 안면 3차원 모델 및 제2 안면 3차원 모델의 최소 공통 입방체 바운딩 박스를 계산하는 단계(S21)를 포함할 수 있다.The method may include calculating a minimum common cubic bounding box of the first facial 3D model and the second facial 3D model (S21).

구체적으로는, 제1 안면 3차원 모델의 길이 너비 높이, 제2 안면 3차원 모델의 길이 너비 높이에 따라, 제1 안면 3차원 모델의 길이 너비 높이, 제2 안면 3차원 모델의 길이 너비 높이 중 가장 큰 길이, 너비, 높이를 획득하고, 그 가장 큰 길이, 너비, 높이에 따라 제1 안면 3차원 모델 및 제2 안면 3차원 모델의 최소 공통 입방체 바운딩 박스를 생성하며, 최소 공통 입방체 바운딩 박스는 각각 제1 안면 3차원 모델 및 제2 안면 3차원 모델을 완전하게 둘러쌀 수 있다. Specifically, depending on the length, width, and height of the first facial 3D model, the length, width, and height of the second facial 3D model, among the length, width, and height of the first facial 3D model, and the length, width, and height of the second facial 3D model. Obtain the largest length, width, and height, and generate the minimum common cubic bounding box of the first facial 3D model and the second facial 3D model according to the largest length, width, and height, and the minimum common cubic bounding box is Each can completely surround the first facial 3D model and the second facial 3D model.

방법은 제1 안면 3차원 모델의 최소 공통 입방체 바운딩 박스에 대해 옥트리 구조를 구축하는 단계(S22)를 포함할 수 있다.The method may include building an octree structure for the minimum common cubic bounding box of the first facial 3D model (S22).

구체적으로는, 옥트리 구조(Octree)는 3차원 공간을 설명하는 트리 모양의 데이터 구조이며, 최소 공통 입방체 바운딩 박스를 분할하여, 2*2*2=8개의 작은 입방체를 얻으며, 각각의 작은 입방체 중에는 제1 안면 3차원 모델의 복수의 꼭짓점이 저장되고, 다시 순차적으로 복수의 꼭짓점이 저장된 작은 입방체를 분할하며, 분할되는 깊이N은 작은 입방체를 분할한 횟수를 나타내고, 분할되는 깊이는 필요에 따라 설정할 수 있으며, 분할되는 깊이를 달성하기 전, 작은 입방체 중에 이미 꼭짓점이 존재하지 않으면, 분할이 조기 중지된다. 옥트리 구조의 깊이는 제1 안면 3차원 모델의 최소 공통 입방체 바운딩 박스를 분할하는 횟수에 1을 더한다. 즉. 분할 1회이면, 옥트리 구조의 깊이는 2이다. Specifically, the octree structure is a tree-shaped data structure that describes a three-dimensional space. By dividing the minimum common cube bounding box, 2*2*2=8 small cubes are obtained, and among each small cube is A plurality of vertices of the first facial 3D model are stored, and the small cube in which the plurality of vertices are stored is sequentially divided. The division depth N indicates the number of times the small cube is divided, and the division depth can be set as needed. If there are no vertices in the small cube before the segmentation depth is achieved, the segmentation is stopped early. The depth of the octree structure adds 1 to the number of divisions of the minimum common cubic bounding box of the first facial 3D model. in other words. If there is one division, the depth of the octree structure is 2.

방법은 옥트리 구조의 깊이로 제2 안면 3차원 모델의 최소 공통 입방체 바운딩 박스를 균등하게 분할하여, 사전 설정 수량의 작은 입방체를 얻는 단계(S23)를 포함할 수 있다. The method may include a step S23 of equally dividing the minimum common cube bounding box of the second facial 3D model by the depth of the octree structure, thereby obtaining a preset quantity of small cubes.

구체적으로는, 상기 S22 중 옥트리 구조의 깊이에 따라, 제2 안면 3차원 모델의 최소 공통 입방체 바운딩 박스를 N3개의 작은 입방체로 균등하게 분할한다. Specifically, according to the depth of the octree structure in S22, the minimum common cube bounding box of the second facial 3D model is equally divided into N3 small cubes.

방법은 제2 안면 3차원 모델의 삼각 패싯을 작은 입방체와 연관시키는 단계(S24)를 포함할 수 있다.The method may include associating triangular facets of the second facial three-dimensional model with a small cube (S24).

구체적으로는, 각각의 작은 입방체와 제2 안면 3차원 모델 중 모든 삼각 패싯을 교차 테스트하며, 작은 입방체 및 모든 삼각 패싯의 교집합이 공집합이 아닌 경우, 교차되는 삼각 패싯을 해당되는 작은 입방체의 연관 패싯 시퀀스에 추가한다. Specifically, all triangular facets of each small cube and the second facial 3D model are cross-tested, and if the intersection of the small cube and all triangular facets is not an empty set, the intersecting triangular facets are selected as the associated facets of the corresponding small cube. Add to sequence.

방법은 제1 안면 3차원 모델의 꼭짓점 좌표와 작은 입방체의 색인 관계에 따라, 제1 안면 3차원 모델의 꼭짓점을 작은 입방체 중의 삼각 패싯과 연관시키는 단계(S25)를 포함할 수 있다.The method may include a step S25 of associating a vertex of the first facial 3D model with a triangular facet in the small cube according to an index relationship between the vertex coordinates of the first facial 3D model and the small cube.

구체적으로는, 작은 입방체에 대해 사전 설정 규칙에 따라 코딩하며, 옥트리 구조 중 제1 안면 3차원 모델의 꼭짓점 좌표의 위치에 따라, 제1 안면 3차원 모델의 꼭짓점 좌표와 제2 안면 3차원 모델의 작은 입방체의 색인 관계를 확정하고, 그 색인 관계에 따라, 제1 안면 3차원 모델의 꼭짓점을 대응되는 작은 입방체 중의 삼각 패싯과 연관시킨다. Specifically, a small cube is coded according to preset rules, and according to the position of the vertex coordinates of the first facial 3D model in the octree structure, the vertex coordinates of the first facial 3D model and the second facial 3D model are The index relationship of the small cube is determined, and according to the index relationship, the vertices of the first facial 3D model are associated with the triangular facets in the corresponding small cube.

방법은 꼭짓점 좌표와 연관된 삼각 패싯의 거리에 따라, 제1 안면 3차원 모델 중 각 꼭짓점에서 제2 안면 3차원 모델의 가장 가까운 삼각 패싯까지의 거리를 획득하는 단계(S26)를 포함할 수 있다.The method may include obtaining the distance from each vertex of the first facial 3D model to the nearest triangular facet of the second facial 3D model, according to the distance of the triangular facet associated with the vertex coordinates (S26).

구체적으로는, 각각의 작은 입방체 중 복수의 삼각 패싯이 포함되기 때문에, 그 꼭짓점의 꼭짓점 좌표에 따라 그 꼭짓점과 각 삼각 패싯의 거리를 계산함에 따라, 그 꼭짓점과 가장 가까운 삼각 패싯의 거리를 확정한다. Specifically, since each small cube contains a plurality of triangular facets, the distance between the vertex and each triangular facet is calculated according to the vertex coordinates of the vertex, thereby determining the distance between the vertex and the closest triangular facet. .

본 발명의 실시 예에 의해 제공되는 안면 3차원 모델 시각화 방법은, 제1 안면 3차원 모델 및 제2 안면 3차원 모델의 최소 공통 입방체 바운딩 박스를 계산하고, 제1 안면 3차원 모델의 최소 공통 입방체 바운딩 박스에 대해 옥트리 구조를 구축하고, 옥트리 구조의 깊이로 제2 안면 3차원 모델의 최소 공통 입방체 바운딩 박스를 균등하게 분할하여, 사전 설정 수량의 작은 입방체를 얻고, 제1 안면 3차원 모델의 꼭짓점 좌표와 작은 입방체의 색인 관계에 따라, 제1 안면 3차원 모델의 꼭짓점을 작은 입방체 중의 삼각 패싯과 연관시키고, 꼭짓점 좌표와 연관된 삼각 패싯의 거리에 따라, 제1 안면 3차원 모델 중 각 꼭짓점에서 제2 안면 3차원 모델의 가장 가까운 삼각 패싯까지의 거리를 획득한다. 본 발명의 실시 예에 의해 제공되는 방법은, 제1 안면 3차원 모델의 꼭짓점과 제2 안면 3차원 모델의 삼각 패싯의 연관 관계를 구축함으로써, 꼭짓점과 연관된 삼각 패싯의 거리를 계산하여 가장 가까운 거리를 확정함에 따라, 꼭짓점과 모든 삼각 패싯의 거리를 계산할 필요가 없으므로, 계산량을 줄이고 계산 효율을 높일 수 있다. The facial 3D model visualization method provided by an embodiment of the present invention calculates the minimum common cubic bounding box of the first facial 3D model and the second facial 3D model, and calculates the minimum common cubic bounding box of the first facial 3D model. Build an octree structure for the bounding box, and evenly divide the minimum common cube bounding box of the second facial 3D model with the depth of the octree structure to obtain a preset quantity of small cubes, and the vertices of the first facial 3D model. According to the index relationship between the coordinates and the small cube, the vertices of the first facial three-dimensional model are associated with the triangular facets in the small cube, and according to the distance of the triangular facets associated with the vertex coordinates, the first facial three-dimensional model is 2 Obtain the distance to the nearest triangular facet of the facial 3D model. The method provided by an embodiment of the present invention establishes an association relationship between the vertex of the first facial 3D model and the triangular facet of the second facial 3D model, calculates the distance of the triangular facet associated with the vertex, and determines the closest distance. By determining , there is no need to calculate the distance between the vertex and all triangular facets, thereby reducing the amount of calculation and increasing calculation efficiency.

전술한 실시 예를 기반으로, 본 발명의 실시 예는 안면 3차원 모델 시각화 방법을 더 제공한다. 도 5는 본 발명의 실시 예에 의해 제공되는 안면 3차원 모델 시각화 방법의 제5 흐름도이며, 도 5에 도시된 바와 같이, 상기 S25는 하기를 포함할 수 있다. Based on the above-described embodiments, embodiments of the present invention further provide a method for visualizing a facial 3D model. Figure 5 is a fifth flowchart of a facial 3D model visualization method provided by an embodiment of the present invention, and as shown in Figure 5, S25 may include the following.

방법은 옥트리 구조에 따라 제1 안면 3차원 모델의 꼭짓점 코드를 계산하는 단계(S251)를 포함할 수 있다. The method may include calculating a vertex code of the first facial 3D model according to the octree structure (S251).

구체적으로는, 꼭짓점 코드는 이진 코드이며, 구체적인 코딩 과정은 하기의 예시로 설명한다. Specifically, the vertex code is a binary code, and the specific coding process is explained with the example below.

꼭짓점 P의 3차원 좌표 (x,y,z)=(13,5,4)에서, 제1 안면 3차원 모델의 최소 공통 입방체 바운딩 박스의 꼭짓점 좌표 (x_min, y_min, z_min, x_max, y_max, z_max)=(0,0,0,16,16,16)이다. At the 3D coordinates of vertex P (x,y,z)=(13,5,4), the vertex coordinates of the minimum common cubic bounding box of the first facial 3D model (x _min , y _min , z _min , x _max , y _max , z _max )=(0,0,0,16,16,16).

꼭짓점 코드는 모튼(Morton) 코드를 사용하여, 꼭짓점 P의 색인 값(i,j,k)을 계산하며, 구체적 계산 공식은 하기와 같다.The vertex code uses the Morton code to calculate the index values (i, j, k) of vertex P, and the specific calculation formula is as follows.

여기서, 는 내림 함수 부호로 (i,j,k）=(6,2,2)이고, 꼭짓점 P의 색인 값을 이진 코드로 변환하며, 이다. here, is the descending function sign (i,j,k）=(6,2,2), and converts the index value of vertex P into binary code, am.

방법은 꼭짓점 코드 및 작은 입방체의 색인 관계에 따라, 꼭짓점에 연관되는 작은 입방체 중의 삼각 패싯이 공집합이 아닌 것으로 확정되면, 꼭짓점을 작은 입방체 중의 삼각 패싯과 연관시키는 단계(S252)를 포함할 수 있다.The method may include a step (S252) of associating the vertex with a triangular facet in the small cube, if it is determined that the triangular facet in the small cube associated with the vertex is not an empty set, according to the vertex code and the index relationship of the small cube.

구체적으로는, 꼭짓점 코드와 작은 입방체의 색인 관계에 따라, 꼭짓점에 연관되는 작은 입방체를 확정하고, 그 작은 입방체의 연관 패싯 시퀀스가 공집합인지 여부를 확정한다. Specifically, according to the index relationship between the vertex code and the small cube, the small cube associated with the vertex is determined, and whether the associated facet sequence of the small cube is an empty set is determined.

꼭짓점에 연관되는 작은 입방체의 연관 패싯 시퀀스 중의 삼각 패싯이 공집합이 아닌 경우, 그 꼭짓점을 그 작은 입방체의 연관 패싯 시퀀스 중의 모든 삼각 패싯과 연관시킨다. If the triangular facet in the associated facet sequence of the small cube associated with the vertex is not an empty set, the vertex is associated with all triangular facets in the associated facet sequence of the small cube.

선택적인 실시 방식에서, 꼭짓점 코드와 작은 입방체의 색인 관계는 하기의 공식을 통해 표시될 수 있다.In an alternative implementation, the index relationship between the vertex code and the small cube can be expressed through the formula:

여기서, Q는 작은 입방체의 색인 코드, 를 나타낸다. where Q is the index code of the small cube, represents.

예시적으로, 상기 이진 코드 에 대응되는 작은 입방체의 색인 코드는 Q=470이다. Illustratively, the binary code The index code of the small cube corresponding to is Q=470.

본 발명의 실시 예에 의해 제공되는 안면 3차원 모델 시각화 방법은, 옥트리 구조에 따라 제1 안면 3차원 모델의 꼭짓점 코드를 계산하고, 꼭짓점 코드 및 작은 입방체의 색인 관계에 따라, 꼭짓점에 연관되는 작은 입방체 중의 삼각 패싯이 공집합이 아닌 것으로 확정되면, 꼭짓점을 작은 입방체 중의 삼각 패싯과 연관시킨다. 본 발명의 실시 예에 의해 제공되는 방법을 통해, 꼭짓점을 작은 입방체의 삼각 패싯과 연관시킴으로써, 꼭짓점과 삼각 패싯 간의 거리 계산 수량을 줄일 수 있고, 계산 효율을 높일 수 있다.The method for visualizing a facial 3D model provided by an embodiment of the present invention calculates the vertex code of the first facial 3D model according to the octree structure, and calculates the vertex code and the small cube associated with the vertex according to the index relationship of the small cube. If it is determined that the triangular facets in the cube are not empty, the vertices are associated with the triangular facets in the small cube. Through the method provided by an embodiment of the present invention, by associating vertices with triangular facets of a small cube, the quantity of distance calculations between vertices and triangular facets can be reduced and calculation efficiency can be increased.

전술한 실시 예를 기반으로, 본 발명의 실시 예는 안면 3차원 모델 시각화 방법을 더 제공하며, 도 5에 도시된 바와 같이, 상기 방법은 하기를 더 포함할 수 있다. Based on the above-described embodiments, an embodiment of the present invention further provides a method for visualizing a facial 3D model, and as shown in FIG. 5, the method may further include the following.

방법은 꼭짓점에 연관되는 작은 입방체 중의 삼각 패싯이 공집합인 경우, 작은 입방체를 중심으로 하여, 작은 입방체의 사전 설정된 반경 인접 영역 내의 다른 작은 입방체 중의 삼각 패싯이 공집합인지 여부를 판단하는 단계(S253)를 포함할 수 있다.The method includes a step (S253) of determining whether the triangular facets of other small cubes within a preset radius adjacent area of the small cube are empty, with the small cube as the center, if the triangular facets of the small cube associated with the vertex are empty sets. It can be included.

구체적으로는, 꼭짓점에 연관되는 작은 입방체의 삼각 패싯 시퀀스 중의 삼각 패싯이 공집합인 경우, 즉 그 작은 입방체 중 삼각 패싯이 포함되지 않으면, 그 작은 입방체를 중심으로 하여, 사전 설정 반경에 해당되는 인접 영역의 다른 작은 입방체를 확정하며, 초기에, 사전 설정 반경을 2로 설정하면, 그 작은 입방체 반경 2에 해당되는 영역 내에는 8개의 작은 입방체가 포함된다. 도 6은 본 발명의 실시 예에 의해 제공되는 인접 영역 작은 입방체의 구조 결선도이며, 도 6에 도시된 바와 같이, 좌측 작은 입방체의 반경은 1이고, 좌측 작은 입방체를 중심으로 하고, 사전 설정 반경이 2이면, 얻어지는 인접 영역 내의 작은 입방체는 우측에 도시된 바와 같다. 그 사전 설정 반경 인접 영역 내의 다른 작은 입방체의 삼각 패싯 시퀀스 중의 삼각 패싯이 공집합인지 여부를 판단한다. Specifically, if the triangular facet in the triangular facet sequence of the small cube associated with the vertex is an empty set, that is, if the small cube does not contain a triangular facet, an adjacent area corresponding to the preset radius is centered on the small cube. Determine another small cube, and initially set the preset radius to 2, so that the area corresponding to the small cube radius 2 contains 8 small cubes. Figure 6 is a structural wiring diagram of the adjacent area small cube provided by an embodiment of the present invention. As shown in Figure 6, the radius of the left small cube is 1, with the left small cube as the center, and the preset radius is 2, the resulting small cube in the adjacent area is as shown on the right. It is determined whether a triangular facet among the triangular facet sequences of other small cubes within the adjacent area of the preset radius is an empty set.

방법은 다른 작은 입방체 중의 삼각 패싯이 공집합이 아닌 경우, 꼭짓점을 다른 작은 입방체 중의 삼각 패싯과 연관시키는 단계(S254)를 포함할 수 있다. The method may include associating a vertex with a triangular facet in another small cube if the triangular facets in the other small cube are not empty (S254).

구체적으로는, 다른 작은 입방체 중 삼각 패싯 시퀀스 중에 존재하는 삼각 패싯이 공집합이 아닌 경우, 꼭짓점을 해당되는 작은 입방체의 삼각 패싯 시퀀스 중의 모든 삼각 패싯과 연관시키고, 복수의 다른 작은 입방체 중 삼각 패싯 시퀀스 중에 존재하는 삼각 패싯이 공집합이 아닌 경우, 꼭짓점을 공집합이 아닌 모든 다른 작은 입방체의 삼각 패싯 시퀀스 중의 모든 삼각 패싯과 연관시킨다.Specifically, if the triangular facets present in the triangular facet sequences among other small cubes are not empty, the vertex is associated with all triangular facets in the triangular facet sequences of the corresponding small cube, and among the triangular facet sequences among a plurality of other small cubes. If an existing triangular facet is not empty, the vertex is associated with all triangular facets in the triangular facet sequence of all other non-empty triangular facets.

선택적인 실시 방식에서, 다른 작은 입방체 중의 삼각 패싯이 공집합인 경우, 사전 설정 반경에 1을 추가하고, S253-S254 단계를 계속 수행한다. In an optional implementation, if the triangular facets in the other small cubes are empty, add 1 to the preset radius and continue with steps S253-S254.

본 발명의 실시 예에 의해 제공되는 안면 3차원 모델 시각화 방법은, 꼭짓점에 연관되는 작은 입방체 중의 삼각 패싯이 공집합인 경우, 작은 입방체를 중심으로 하여, 작은 입방체의 사전 설정 반경 인접 영역 내의 다른 작은 입방체 중의 삼각 패싯이 공집합인지 여부를 판단하며, 다른 작은 입방체 중의 삼각 패싯이 공집합이 아닌 경우, 꼭짓점을 다른 작은 입방체 중의 삼각 패싯과 연관시킨다. 본 발명의 실시 예에 의해 제공되는 방법은 각 꼭짓점이 모두 연관되는 삼각 패싯을 갖도록 보장하므로, 히트 맵 및 등고선 계산 시 결과의 정확성이 보장된다. The method for visualizing a facial 3D model provided by an embodiment of the present invention is that, when the triangular facets of the small cube associated with the vertex are empty sets, the small cube is centered and other small cubes within an area adjacent to a preset radius of the small cube are It is determined whether the triangular facet in the other small cube is an empty set, and if the triangular facet in the other small cube is not an empty set, the vertex is associated with the triangular facet in the other small cube. The method provided by an embodiment of the present invention ensures that each vertex has an associated triangular facet, thus ensuring the accuracy of results when calculating heat maps and contour lines.

전술한 실시 예를 기반으로, 본 발명의 실시 예는 안면 3차원 모델 시각화 방법을 더 제공하며, 상기 S30은 하기를 포함할 수 있다. Based on the above-described embodiment, an embodiment of the present invention further provides a method for visualizing a facial 3D model, and S30 may include the following.

방법은 거리와 색상표의 매핑 관계에 따라, 제1 안면 3차원 모델 임의의 영역에 색상 렌더링하여, 히트 맵 모델을 얻는 단계를 포함할 수 있다.The method may include obtaining a heat map model by color rendering a random area of the first facial 3D model according to a mapping relationship between distance and color table.

구체적으로는, 색상표는 “블루-시안-그린-옐로우-오렌지-레드”에 따라 그라데이션되는 스트립이며, 그중에는 총 NC가지 색상이 포함되고, 색상표 중의 번째 색상은 C(k)로 표시된다. Specifically, the color table is a strip that gradates according to “blue-cyan-green-yellow-orange-red”, which includes a total of NC colors, and includes the colors in the color table. The th color is indicated as C(k).

거리와 색상표의 매핑 관계를 구축하고, 구간 [a,b] 내의 거리와 색상의 매핑 관계는 이며, x<a이면 이고, x>b이면 이다. Construct a mapping relationship between distance and color table, and the mapping relationship between distance and color within the interval [a,b] is , and if x<a And if x>b am.

여기서, a, b는 각각 매핑 구간의 경계를 나타내고, a<b이다. Here, a and b each represent the boundary of the mapping section, and a<b.

각 꼭짓점에서 가장 가까운 삼각 패싯까지의 거리에 따라, 그 꼭짓점의 사전 설정 범위에 해당되는 색상 값을 확정하며, 그 꼭짓점의 사전 설정 범위를 색상 렌더링하고, 제1 안면 3차원 모델 임의의 영역 복수의 색상 값을 계산함으로써, 임의의 영역을 색상 렌더링하여, 히트 맵 모델을 얻는다. According to the distance from each vertex to the nearest triangular facet, the color value corresponding to the preset range of the vertex is determined, the preset range of the vertex is rendered in color, and a plurality of random areas of the first facial three-dimensional model are selected. By calculating the color values, an arbitrary region is rendered in color to obtain a heat map model.

그 임의의 영역 내 복수의 색상이 나타나는 횟수를 통계내고, 제1 안면 3차원 모델의 색상 막대형 통계도를 작성하며, 사용자 인터페이스에 표시할 때, 히트 맵 모델, 색상 막대형 통계도, 색상표, 거리 및 색상표의 매핑 관계를 동시에 표시할 수 있다. Statistically calculate the number of times multiple colors appear in the random area, create a color bar statistical diagram of the first facial 3D model, and when displayed on the user interface, a heat map model, a color bar statistical diagram, and a color table. , the mapping relationship of distance and color table can be displayed simultaneously.

본 발명의 실시 예에 의해 제공되는 안면 3차원 모델 시각화 방법은, 거리와 색상표의 매핑 관계에 따라, 제1 안면 3차원 모델 임의의 영역에 색상 렌더링하여, 히트 맵 모델을 얻는다. 본 발명의 실시 예에 의해 제공되는 방법을 통해, 히트 맵 모델로 얼굴 근육의 차이 변화를 시각화 표시할 수 있으며, 제2 안면 3차원 모델이 전문가가 제작한 시뮬레이션 방법인 경우, 얼굴 차이에 따라 성형 과정에 필요한 약제 용량을 결정할 수 있으므로, 수술 전의 방안 설계에 편리하다. The facial 3D model visualization method provided by an embodiment of the present invention obtains a heat map model by color rendering an arbitrary area of the first facial 3D model according to the mapping relationship between distance and color table. Through the method provided by the embodiment of the present invention, changes in facial muscle differences can be visualized using a heat map model, and if the second facial 3D model is a simulation method created by an expert, shaping according to facial differences Since it is possible to determine the drug dose required for the process, it is convenient for designing a plan before surgery.

설명이 필요한 점은, 본 발명의 실시 예에 의해 제공되는 히트 맵 모델은 제1 안면 3차원 모델에서 렌더링하여 얻는 것이며, 제2 안면 3차원 모델의 꼭짓점에서 제1 안면 3차원 모델의 가장 가까운 삼각 패싯까지의 거리를 계산하고, 거리 및 색상표의 매핑 관계에 따라, 제2 안면 3차원 모델 임의의 영역을 렌더링하여, 히트 맵 모델을 얻을 수도 있으므로, 본 발명은 여기에 대해 제한을 두지 않는다. What needs to be explained is that the heat map model provided by the embodiment of the present invention is obtained by rendering from the first facial 3D model, and the closest triangle of the first facial 3D model is obtained from the vertex of the second facial 3D model. Since the heat map model may be obtained by calculating the distance to the facet and rendering an arbitrary area of the second facial 3D model according to the mapping relationship between the distance and the color table, the present invention is not limited thereto.

전술한 실시 예를 기반으로, 본 발명의 실시 예는 안면 3차원 모델 시각화 방법을 더 제공한다. 도 7은 본 발명의 실시 예에 의해 제공되는 안면 3차원 모델 시각화 방법의 제6 흐름도이며, 도 7에 도시된 바와 같이, 상기 S40은 하기를 포함할 수 있다. Based on the above-described embodiments, embodiments of the present invention further provide a method for visualizing a facial 3D model. Figure 7 is a sixth flowchart of a facial 3D model visualization method provided by an embodiment of the present invention, and as shown in Figure 7, S40 may include the following.

방법은 제1 안면 3차원 모델의 제1 높이 맵 및 제2 안면 3차원 모델의 제2 높이 맵을 계산하는 단계(S41)를 포함할 수 있다. The method may include calculating a first height map of the first facial 3D model and a second height map of the second facial 3D model (S41).

구체적으로는, 제1 안면 3차원 모델을 예롤 들어 설명하면, 제1 높이 맵의 방법은 하기일 수 있다.Specifically, taking the first facial 3D model as an example, the method of the first height map may be as follows.

3차원 데카르트 좌표계에 따라 제1 안면 3차원 모델을 바로 배치하며, 구체적으로 바로 배치하는 방법은, 제1 안면 3차원 모델의 눈 중심점을 3차원 데카르트 좌표계의 X축과 평행시키고, 제1 안면 3차원 모델의 머리 중심축을 3차원 데카르트 좌표계의 Y축과 평행시키며, 3차원 데카르트 좌표계의 Z축이 제1 안면 3차원 모델의 코끝을 통과하게 하고, 코끝을 Z축의 사전 설정 좌표점에 위치시킨. 예시적으로, 코끝과 Z축 원점의 거리는 150mm이다. The first facial 3D model is immediately placed according to the 3D Cartesian coordinate system. Specifically, the direct placement method is to make the eye center point of the first facial 3D model parallel to the The central axis of the head of the 3D model is parallel to the Y axis of the 3D Cartesian coordinate system, the Z axis of the 3D Cartesian coordinate system passes through the tip of the nose of the first facial 3D model, and the tip of the nose is located at the preset coordinate point of the Z axis. As an example, the distance between the tip of the nose and the Z-axis origin is 150 mm.

사전 설정된 펼치는 방법을 사용해 제1 안면 3차원 모델을 2차원 평면 내로 펼쳐서, 제1 안면 3차원 모델 꼭짓점의 3차원 좌표(x,y,z)와 2차원 좌표(x,y)의 대응 관계를 얻는다. 제1 안면 3차원 모델의 좌표도를 생성하며, 좌표도 중에서, 꼭짓점의 2차원 좌표(x,y) 위치는 꼭짓점의 3차원 좌표(x,y,z)를 저장한다. By unfolding the first facial 3D model into a two-dimensional plane using a preset unfolding method, the correspondence between the three-dimensional coordinates (x, y, z) of the vertices of the first facial three-dimensional model and the two-dimensional coordinates (x, y) is determined. get A coordinate diagram of the first facial 3D model is generated, and in the coordinate diagram, the 2D coordinates (x, y) of the vertex store the 3D coordinates (x, y, z) of the vertex.

2차원 좌표계에서의 높이 방향hn을 정의하며, 정의된 높이 방향hn에 따라, 그 높이 방향hn에서의 각 꼭짓점의 높이 값h를 계산하고, 제1 안면 3차원 모델의 제1 높이 맵을 생성하며, 제1 높이 맵에서, 꼭짓점의 2차원 좌표(x,y) 위치는 꼭짓점의 높이 값h를 저장한다. Define a height direction hn in a two-dimensional coordinate system, calculate the height value h of each vertex in the height direction hn according to the defined height direction hn, and generate a first height map of the first facial 3D model. , In the first height map, the two-dimensional coordinate (x, y) position of the vertex stores the height value h of the vertex.

예시적으로는, 높이 값h의 계산 방법은, 2차원 평면 내에서 2차원 좌표(x,y)의 픽셀P(x,y)에 따라, 그 픽셀P(x,y) 및 높이 방향hn의 내적을 계산하며, 구체적 계산 공식은 D(x,y) = innerProduct(P(x,y),hn)이다. Illustratively, the method of calculating the height value h is to calculate the pixel P(x,y) and the height direction hn according to the pixel P(x,y) of the two-dimensional coordinates (x,y) in the two-dimensional plane. The inner product is calculated, and the specific calculation formula is D(x,y) = innerProduct(P(x,y),hn).

제2 높이 맵의 계산 방식은 상기 제1 높이 맵의 계산 방식과 동일하므로, 여기서는 설명하지 않는다. Since the calculation method of the second height map is the same as the calculation method of the first height map, it will not be described here.

방법은 제1 높이 맵에 따라 제1 안면 3차원 모델의 제1 2차원 등고선을 계산하는 단계(S42)를 포함할 수 있다. The method may include calculating a first 2D contour of the first facial 3D model according to the first height map (S42).

구체적으로는, 사전 설정된 등고선 계산 방법을 사용해, 각각 제1 안면 3차원 모델의 제1 높이 맵을 계산하여, 제1 안면 3차원 모델의 제1 2차원 등고선을 얻는다. 예시적으로는, 사전 설정된 등고선 계산 방법은 Marching Squares 알고리즘이다. Specifically, the first height map of the first facial 3D model is calculated using a preset contour calculation method, respectively, to obtain the first 2D contour of the first facial 3D model. Exemplarily, the preset contour calculation method is the Marching Squares algorithm.

방법은 제2 높이 맵에 따라 제2 안면 3차원 모델의 제2 2차원 등고선을 계산하는 단계(S43)를 포함할 수 있다. The method may include calculating a second two-dimensional contour of the second facial three-dimensional model according to the second height map (S43).

구체적으로는, 제2 2차원 등고선의 계산 방식은 상기 S42 중의 제1 2차원 등고선의 계산 방식과 동일하므로, 여기서는 설명하지 않는다. Specifically, the calculation method of the second two-dimensional contour line is the same as the calculation method of the first two-dimensional contour line in S42, and will not be described here.

방법은 제1 2차원 등고선을 제1 3차원 등고선으로 변환하고, 제2 2차원 등고선을 제2 3차원 등고선으로 변환하는 단계(S44)를 포함할 수 있다. The method may include converting the first 2-dimensional contour line into a first 3-dimensional contour line and converting the second 2-dimensional contour line into a second 3-dimensional contour line (S44).

구체적으로는, 제1 안면 3차원 모델의 좌표도 및 제1 2차원 등고선에 따라, 제1 2차원 등고선의 꼭짓점을 3차원 좌표로 변환하여, 제1 안면 3차원 모델의 제1 3차원 등고선을 얻는다. 제2 안면 3차원 모델의 좌표도 및 제2 2차원 등고선에 따라, 제2 2차원 등고선의 꼭짓점을 3차원 좌표로 변환하여, 제2 안면 3차원 모델의 제2 3차원 등고선을 얻는다. Specifically, according to the coordinates of the first facial 3D model and the first 2D contour, the vertices of the first 2D contour are converted into 3D coordinates to create the first 3D contour of the first facial 3D model. get According to the coordinate diagram and the second 2D contour line of the second facial 3D model, the vertices of the second 2D contour line are converted into 3D coordinates to obtain the second 3D contour line of the second facial 3D model.

방법은 제1 3차원 등고선에 따라 제1 안면 3차원 모델을 렌더링하여, 제1 등고선 모델을 얻는 단계(S45)를 포함할 수 있다. The method may include rendering the first facial 3D model according to the first 3D contour lines, thereby obtaining a first contour model (S45).

구체적으로는, 제1 3차원 등고선 꼭짓점의 3차원 좌표에 근거해, 제1 안면 3차원 모델에서 꼭짓점의 3차원 좌표에 따라 제1 3차원 등고선을 렌더링하여, 제1 등고선 모델을 얻는다. Specifically, based on the 3D coordinates of the vertices of the first 3D contour line, the first 3D contour line is rendered according to the 3D coordinates of the vertices in the first facial 3D model to obtain the first contour model.

선택적인 실시 방식에서, 제1 3차원 등고선의 높이 차이와 색상표의 매핑 관계에 따라, 제1 3차원 등고선에 착색된다. In an optional implementation, the first three-dimensional contour lines are colored according to a mapping relationship between the height difference of the first three-dimensional contour lines and the color table.

구체적으로는, 제1 3차원 등고선 및 높이 차이의 매핑 관계, 높이 차이 및 색상표의 매핑 관계에 따라, 제1 3차원 등고선 및 색상표의 매핑 관계를 확정하며, 그 매핑 관계에 따라 제1 3차원 등고선에 착색되어, 착색된 제1 등고선 모델을 얻는다. 높이 차이와 색상표의 매핑 관계는 필요에 따라 자체 정의할 수 있으므로, 여기서는 제한을 두지 않는다. Specifically, the mapping relationship between the first three-dimensional contour line and the color table is determined according to the mapping relationship between the first three-dimensional contour line and the height difference, and the mapping relationship between the height difference and the color table, and according to the mapping relationship, the first three-dimensional contour line is colored to obtain a colored first contour model. The mapping relationship between height difference and color table can be self-defined as needed, so no restrictions are placed here.

예시적으로는, 제1 3차원 등고선 및 높이 차이의 매핑 관계는, 높이 차이=제1 3차원 등고선의 높이 값-최대 높이 값이며, 제1 3차원 등고선의 높이 값은 제1 3차원 등고선의 3차원 좌표에 근거할 수 있으므로, 좌표도에서 해당되는 2차원 좌표를 확정하고, 다시 높이 맵에서 2차원 좌표에 해당되는 높이 값을 확정한다. Illustratively, the mapping relationship between the first 3-dimensional contour line and the height difference is: height difference = height value of the first 3-dimensional contour line - maximum height value, and the height value of the first 3-dimensional contour line is the height value of the first 3-dimensional contour line. Since it can be based on 3D coordinates, the corresponding 2D coordinates are confirmed in the coordinate diagram, and the height value corresponding to the 2D coordinates is again confirmed in the height map.

방법은 제2 3차원 등고선에 따라 제2 안면 3차원 모델을 렌더링하여, 제2 등고선 모델을 얻는 단계(S46)를 포함할 수 있다. The method may include rendering a second facial 3D model according to the second 3D contour lines to obtain a second contour model (S46).

구체적으로는, 구체적 렌더링 방법은 상기 S45와 동일하므로, 여기서는 설명하지 않는다. Specifically, the specific rendering method is the same as S45 above, so it will not be described here.

선택적인 실시 방식에서, 제2 3차원 등고선의 높이 차이 및 색상표의 매핑 관계에 따라, 제2 3차원 등고선에 착색되고, 제2 3차원 등고선의 높이 차이 계산 방식은 제1 3차원 등고선의 높이 차이 계산 방식과 동일하므로, 여기서는 설명하지 않는다. In an optional embodiment, the second three-dimensional contour is colored according to the mapping relationship of the height difference of the second three-dimensional contour line and the color table, and the height difference calculation method of the second three-dimensional contour line is the height difference of the first three-dimensional contour line. Since the calculation method is the same, it will not be explained here.

착색된 제1 등고선 모델 및 제2 등고선 모델에서, 각각 최고점과 높이 차이가 동일한 점의 색상은 동일하므로, 등고선의 색상 비교를 통해, 등고선 영역의 얼굴 변화 상황을 이해할 수 있다. In the colored first and second contour models, the colors of points with the same highest point and height difference are the same, so it is possible to understand the face change situation in the contour area by comparing the colors of the contour lines.

본 발명의 실시 예에 의해 제공되는 안면 3차원 모델 시각화 방법은, 제1 안면 3차원 모델의 제1 높이 맵 및 제2 안면 3차원 모델의 제2 높이 맵을 계산하고, 제1 높이 맵에 따라 제1 안면 3차원 모델의 제1 2차원 등고선을 계산하고, 제2 높이 맵에 따라 제2 안면 3차원 모델의 제2 2차원 등고선을 계산하고, 제1 2차원 등고선을 제1 3차원 등고선으로 변환하고, 제2 2차원 등고선을 제2 3차원 등고선으로 변환하고, 제1 3차원 등고선에 따라 제1 안면 3차원 모델을 렌더링하여, 제1 등고선 모델을 얻고, 제2 3차원 등고선에 따라 제2 안면 3차원 모델을 렌더링하여, 제2 등고선 모델을 얻는다. 본 발명의 실시 예에 의해 제공되는 방법을 통해, 제1 등고선 모델과 제2 등고선 모델로 피측정자 얼굴의 변화 및 움직임 상황을 직관적으로 이해할 수 있으므로, 얼굴 변화의 시각화가 구현될 수 있다. The facial 3D model visualization method provided by an embodiment of the present invention calculates a first height map of the first facial 3D model and a second height map of the second facial 3D model, and calculates the first height map according to the first height map. Calculate a first two-dimensional contour of the first facial three-dimensional model, calculate a second two-dimensional contour of the second facial three-dimensional model according to the second height map, and convert the first two-dimensional contour to the first three-dimensional contour. transform, transform the second two-dimensional contour into a second three-dimensional contour, render the first facial three-dimensional model according to the first three-dimensional contour, obtain the first contour model, and render the first facial three-dimensional model according to the second three-dimensional contour. 2 Render the facial 3D model to obtain a second contour model. Through the method provided by the embodiment of the present invention, the change and movement situation of the subject's face can be intuitively understood using the first contour model and the second contour model, so visualization of the facial change can be implemented.

전술한 실시 예를 기반으로, 본 발명의 실시 예는 안면 3차원 모델 시각화 장치를 더 제공한다. 도 8은 본 발명의 실시 예에 의해 제공되는 안면 3차원 모델 시각화 장치의 구조 결선도이며, 도 8에 도시된 바와 같이, 그 안면 3차원 모델 시각화 장치는 3차원 모델 획득 모듈(10), 거리 계산 모듈(20), 히트 맵 시각화 모듈(30), 등고선 시각화 모듈(40)를 포함할 수 있다.Based on the above-described embodiments, an embodiment of the present invention further provides a facial 3D model visualization device. Figure 8 is a structural wiring diagram of a facial 3D model visualization device provided by an embodiment of the present invention. As shown in Figure 8, the facial 3D model visualization device includes a 3D model acquisition module 10, distance calculation It may include a module 20, a heat map visualization module 30, and a contour visualization module 40.

3차원 모델 획득 모듈(10)은 피측정자에 대한 상이한 두 시간의 제1 안면 3차원 모델 및 제2 안면 3차원 모델을 획득하도록 구성될 수 있다. 제1 안면 3차원 모델 및 제2 안면 3차원 모델은 삼각 패싯 형식이다.The 3D model acquisition module 10 may be configured to acquire a first facial 3D model and a second facial 3D model at two different times for the subject being measured. The first facial 3D model and the second facial 3D model are in the form of triangular facets.

거리 계산 모듈(20)은 제1 안면 3차원 모델과 제2 안면 3차원 모델 중 좌표점 간의 거리를 계산하도록 구성될 수 있다. The distance calculation module 20 may be configured to calculate the distance between coordinate points among the first 3D facial model and the second 3D facial model.

히트 맵 시각화 모듈(30)은 거리에 따라 제1 안면 3차원 모델을 렌더링하여, 히트 맵 모델을 얻도록 구성될 수 있다. The heat map visualization module 30 may be configured to obtain a heat map model by rendering the first facial 3D model according to the distance.

등고선 시각화 모듈(40)은 제1 안면 3차원 모델 및 제2 안면 3차원 모델에 따라 각각 3차원 등고선을 계산하여, 제1 등고선 모델 및 제2 등고선 모델을 얻도록 구성될 수 있다. The contour visualization module 40 may be configured to calculate 3D contour lines according to the first facial 3D model and the second facial 3D model, respectively, to obtain the first contour model and the second contour model.

선택적으로는, 3차원 모델 획득 모듈10은 3차원 모델 획득 유닛, 모습 변환 행렬 계산 유닛, 정렬 유닛을 포함할 수 있다. Optionally, the 3D model acquisition module 10 may include a 3D model acquisition unit, an appearance transformation matrix calculation unit, and an alignment unit.

3차원 모델 획득 유닛은 피측정자에 대한 상이한 두 시간의 제1 초기 안면 3차원 모델 및 상기 제2 안면 3차원 모델을 획득하도록 구성될 수 있다. The 3D model acquisition unit may be configured to acquire a first initial facial 3D model and the second facial 3D model at two different times for the subject.

모습 변환 행렬 계산 유닛은 제1 초기 안면 3차원 모델과 제2 안면 3차원 모델의 모습 변환 행렬을 계산하도록 구성될 수 있다. The appearance transformation matrix calculation unit may be configured to calculate the appearance transformation matrices of the first initial facial 3D model and the second facial 3D model.

정렬 유닛은 모습 변환 행렬에 따라 제1 초기 안면 3차원 모델을 제2 안면 3차원 모델로 정렬하여, 제1 안면 3차원 모델을 얻도록 구성될 수 있다. The alignment unit may be configured to align the first initial facial 3D model with the second facial 3D model according to the appearance transformation matrix to obtain the first facial 3D model.

선택적으로는, 모습 변환 행렬 계산 유닛은 제1 구체 캡처 서브 유닛, 제2 구체 캡처 서브 유닛, 모습 변환 행렬 계산 서브 유닛을 포함할 수 있다. Optionally, the appearance transformation matrix calculation unit may include a first sphere capture subunit, a second sphere capture subunit, and an appearance transformation matrix calculation subunit.

제1 구체 캡처 서브 유닛은 제1 초기 안면 3차원 모델의 코끝 위치를 구의 중심으로 하고, 사전 설정된 반경으로 제1 초기 안면 3차원 모델을 캡처하여, 제1 초기 안면 3차원 모델에 해당되는 제1 구체 캡처 모델을 얻도록 구성될 수 있다. The first sphere capture subunit takes the nose tip position of the first initial facial 3D model as the center of the sphere, captures the first initial facial 3D model with a preset radius, and captures the first initial facial 3D model corresponding to the first initial facial 3D model. It may be configured to obtain a sphere capture model.

제2 구체 캡처 서브 유닛은 제2 안면 3차원 모델의 코끝 위치를 구의 중심으로 하고, 사전 설정된 반경으로 제2 안면 3차원 모델을 캡처하여, 제2 안면 3차원 모델에 해당되는 제2 구체 캡처 모델을 얻도록 구성될 수 있다. The second sphere capture subunit uses the nose tip position of the second facial 3D model as the center of the sphere, captures the second facial 3D model with a preset radius, and creates a second sphere capture model corresponding to the second facial 3D model. It can be configured to obtain.

모습 변환 행렬 계산 서브 유닛은 사전 설정 변환 행렬 계산 방법, 제1 구체 캡처 모델 및 제2 구체 캡처 모델을 사용해, 모습 변환 행렬을 계산하여 획득하도록 구성될 수 있다. The appearance transformation matrix calculation subunit may be configured to calculate and obtain an appearance transformation matrix using a preset transformation matrix calculation method, a first sphere capture model and a second sphere capture model.

선택적으로는, 거리 계산 모듈(20)은 제1 안면 3차원 모델 중 각 꼭짓점의 좌표에 따라, 제1 안면 3차원 모델 중 각 꼭짓점에서 제2 안면 3차원 모델의 가장 가까운 삼각 패싯까지의 거리를 계산하도록 구성될 수 있다. Optionally, the distance calculation module 20 calculates the distance from each vertex of the first facial 3D model to the nearest triangular facet of the second facial 3D model, according to the coordinates of each vertex of the first facial 3D model. It can be configured to calculate.

선택적으로는, 거리 계산 모듈(20)은 바운딩 박스 계산 유닛, 옥트리 구축 유닛, 균등 분할 유닛, 제1 연관 유닛, 제2 연관 유닛, 거리 계산 유닛을 포함할 수 있다. Optionally, the distance calculation module 20 may include a bounding box calculation unit, an octree construction unit, an equal division unit, a first association unit, a second association unit, and a distance calculation unit.

바운딩 박스 계산 유닛은 제1 안면 3차원 모델 및 제2 안면 3차원 모델의 최소 공통 입방체 바운딩 박스를 계산하도록 구성될 수 있다. The bounding box calculation unit may be configured to calculate a minimum common cubic bounding box of the first facial 3D model and the second facial 3D model.

옥트리 구축 유닛은 제1 안면 3차원 모델의 최소 공통 입방체 바운딩 박스에 대해 옥트리 구조를 구축하도록 구성될 수 있다. The octree building unit may be configured to build an octree structure for a minimum common cubic bounding box of the first facial 3D model.

균등 분할 유닛은 옥트리 구조의 깊이로 제2 안면 3차원 모델의 최소 공통 입방체 바운딩 박스를 균등하게 분할하여, 사전 설정 수량의 작은 입방체를 얻도록 구성될 수 있다. The uniform division unit may be configured to equally divide the minimum common cube bounding box of the second facial 3D model with the depth of the octree structure, to obtain a preset quantity of small cubes.

제1 연관 유닛은 제2 안면 3차원 모델의 삼각 패싯을 작은 입방체와 연관시키도록 구성될 수 있다. The first association unit may be configured to associate the triangular facets of the second facial three-dimensional model with the small cube.

제2 연관 유닛은 제1 안면 3차원 모델의 꼭짓점 좌표와 작은 입방체의 색인 관계에 따라, 제1 안면 3차원 모델의 꼭짓점을 작은 입방체 중의 삼각 패싯과 연관시키도록 구성될 수 있다. The second association unit may be configured to associate a vertex of the first facial 3D model with a triangular facet in the small cube, according to an index relationship between the vertex coordinates of the first facial 3D model and the small cube.

거리 계산 유닛은 꼭짓점 좌표와 연관된 삼각 패싯의 거리에 따라, 제1 안면 3차원 모델 중 각 꼭짓점에서 제2 안면 3차원 모델의 가장 가까운 삼각 패싯까지의 거리를 획득하도록 구성될 수 있다. The distance calculation unit may be configured to obtain a distance from each vertex of the first facial 3D model to the nearest triangular facet of the second facial 3D model, according to the distance of the triangular facet associated with the vertex coordinates.

선택적으로는, 제2 연관 유닛은 코드 계산 서브 유닛, 제2 연관 서브 유닛을 포함할 수 있다. Optionally, the second associated unit may include a code calculation subunit and a second associated subunit.

코드 계산 서브 유닛은 옥트리 구조에 따라 제1 안면 3차원 모델의 꼭짓점 코드를 계산하도록 구성될 수 있다. The code calculation subunit may be configured to calculate a vertex code of the first facial 3D model according to an octree structure.

제2 연관 서브 유닛은 꼭짓점 코드 및 작은 입방체의 색인 관계에 따라, 꼭짓점에 연관되는 작은 입방체 중의 삼각 패싯이 공집합이 아닌 것으로 확정되면, 꼭짓점을 작은 입방체 중의 삼각 패싯과 연관시키도록 구성될 수 있다. The second association subunit may be configured to associate the vertex with the triangular facet in the small cube, if it is determined that the triangular facet in the small cube associated with the vertex is not an empty set, according to the vertex code and the index relationship of the small cube.

선택적으로는, 그 장치는 인접 영역 판단 유닛, 제3 연관 서브 유닛을 더 포함할 수 있다. Optionally, the device may further include a neighborhood determination unit and a third association sub-unit.

인접 영역 판단 유닛은 꼭짓점에 연관되는 작은 입방체 중의 삼각 패싯이 공집합인 경우, 작은 입방체를 중심으로 하여, 작은 입방체의 사전 설정된 반경 인접 영역 내의 다른 작은 입방체 중의 삼각 패싯이 공집합인지 여부를 판단하도록 구성될 수 있다. The adjacent area determination unit is configured to, if a triangular facet in a small cube associated with a vertex is an empty set, determine whether a triangular facet in other small cubes within a preset radius adjacent area of the small cube is an empty set, with the small cube as the center. You can.

제3 연관 서브 유닛은 다른 작은 입방체 중의 삼각 패싯이 공집합이 아닌 경우, 꼭짓점을 다른 작은 입방체 중의 삼각 패싯과 연관시키도록 구성돨 수 있다. The third association subunit may be configured to associate a vertex with a triangular facet in another small cube if the triangular facet in the other small cube is not an empty set.

선택적으로는, 히트 맵 시각화 모듈(30)은 거리와 색상표의 매핑 관계에 따라, 제1 안면 3차원 모델 임의의 영역에 색상 렌더링하여, 히트 맵 모델을 얻도록 더 구성될 수 있다. Optionally, the heat map visualization module 30 may be further configured to obtain a heat map model by color rendering a random area of the first facial 3D model according to a mapping relationship between distance and color table.

선택적으로는, 등고선 시각화 모듈(40)은 높이 맵 계산 유닛, 제1 2차원 등고선 계산 유닛, 제2 2차원 등고선 계산 유닛, 변환 유닛, 제1 등고선 시각화 유닛, 제2 등고선 시각화 유닛을 포함할 수 있다. Optionally, the contour visualization module 40 may include a height map calculation unit, a first two-dimensional contour calculation unit, a second two-dimensional contour calculation unit, a transformation unit, a first contour visualization unit, and a second contour visualization unit. there is.

높이 맵 계산 유닛은 제1 안면 3차원 모델의 제1 높이 맵 및 제2 안면 3차원 모델의 제2 높이 맵을 계산하도록 구성될 수 있다. The height map calculation unit may be configured to calculate a first height map of the first facial three-dimensional model and a second height map of the second facial three-dimensional model.

제1 2차원 등고선 계산 유닛은 제1 높이 맵에 따라 제1 안면 3차원 모델의 제1 2차원 등고선을 계산하도록 구성될 수 있다. The first two-dimensional contour calculation unit may be configured to calculate a first two-dimensional contour of the first facial three-dimensional model according to the first height map.

제2 2차원 등고선 계산 유닛은 제2 높이 맵에 따라 제2 안면 3차원 모델의 제2 2차원 등고선을 계산하도록 구성될 수 있다 The second two-dimensional contour calculation unit may be configured to calculate a second two-dimensional contour of the second facial three-dimensional model according to the second height map.

변환 유닛은 제1 2차원 등고선을 제1 3차원 등고선으로 변환하고, 제2 2차원 등고선을 제2 3차원 등고선으로 변환하도록 구성될 수 있다. The conversion unit may be configured to convert the first two-dimensional contour line into a first three-dimensional contour line and convert the second two-dimensional contour line into a second three-dimensional contour line.

제1 등고선 시각화 유닛은 제1 3차원 등고선에 따라 제1 안면 3차원 모델을 렌더링하여, 제1 등고선 모델을 얻도록 구성될 수 있다.The first contour visualization unit may be configured to render the first facial 3D model according to the first 3D contour lines to obtain the first contour model.

제2 등고선 시각화 유닛은 제2 3차원 등고선에 따라 제2 안면 3차원 모델을 렌더링하여, 제2 등고선 모델을 얻도록 구성될 수 있다. The second contour visualization unit may be configured to render the second facial 3D model according to the second 3D contour, thereby obtaining the second contour model.

상기 장치는 전술한 실시 예에 의해 제공되는 방법을 실행하는 데 사용되며, 그 구현 원리 및 기술적 효과는 유사하므로, 여기서 더 이상 설명하지 않는다. The above devices are used to implement the methods provided by the above-described embodiments, and their implementation principles and technical effects are similar, so they are not described further here.

상기 그 모듈은 상기 방법의 하나 이상을 수행하도록 구성된 하나 이상의 특정 용도 지향 집적 회로(Application Specific Integrated Circuit, 약칭 ASIC), 또는 하나 이상의 마이크로프로세서, 또는 하나 이상의 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array, 약칭 FPGA) 등과 같은 집적 회로일 수 있다. 또, 어느 하나의 모듈이 처리 소자의 스케줄링 프로그램 코드의 형식을 통해 구현되면, 그 처리 소자는 중앙처리장치(Central Processing Unit, 약칭 CPU) 또는 프로그램 코드를 호출할 수 있는 기타 프로세서와 같은 범용 프로세서일 수 있다. 또, 그 모듈은 하나로 집적되어 시스템온칩(system-on-a-chip, 약칭 SOC) 형식으로 구현될 수 있다. The module may include one or more Application Specific Integrated Circuits (ASIC), one or more microprocessors, or one or more Field Programmable Gate Arrays configured to perform one or more of the methods. It may be an integrated circuit such as FPGA). In addition, if a module is implemented in the form of scheduling program code of a processing element, the processing element may be a general-purpose processor, such as a central processing unit (CPU) or other processor capable of calling program code. You can. Additionally, the module can be integrated into one and implemented in a system-on-a-chip (SOC) format.

도 9는 본 발명의 실시 예에 의해 제공되는 전자 장비의 결선도이며, 그 전자 장비(100)는 프로세서(101), 저장 매체(102) 및 버스를 포함할 수 있다. Figure 9 is a wiring diagram of electronic equipment provided by an embodiment of the present invention, and the electronic equipment 100 may include a processor 101, a storage medium 102, and a bus.

저장 매체(102)는 프로세서(101)에 의해 실행될 수 있는 프로그램 명령을 저장하며, 전자 장비(100)가 작동되면, 프로세서(101)와 저장 매체(102) 사이는 버스를 통해 통신되고, 프로세서(101)는 프로그램 명령을 실행하여, 전술한 실시 예를 실행한다. 구체적인 구현 방식 및 기술적 효과는 여기서 더 이상 설명하지 않는다. The storage medium 102 stores program instructions that can be executed by the processor 101, and when the electronic device 100 is operated, communication is made between the processor 101 and the storage medium 102 through a bus, and the processor ( 101) executes the program command to execute the above-described embodiment. Specific implementation methods and technical effects are not described further here.

선택적으로는, 본 발명은 컴퓨터로 읽을 수 있는 저장 매체와 같이 프로그램을 포함할 수 있는 프로그램 제품을 더 제공하며, 그 프로그램이 프로세서에 의해 실행되면 전술한 실시 예가 실행된다. Optionally, the present invention further provides a program product that may include a program, such as a computer-readable storage medium, and when the program is executed by a processor, the above-described embodiments are executed.

본 발명에 의해 제공되는 복수의 실시 예에서, 개시되는 장치 및 방법은 기타 방식을 통해서 구현될 수 있음을 이해해야 한다. 예를 들면, 상기에서 설명된 장치의 실시 예는 상기 유닛의 분할이 단지 논리적 기능 분할인 것처럼 예시적일 뿐이며, 실제 구현 시에는 복수의 유닛 또는 조립체가 병합되거나 다른 시스템으로 통합되거나, 또는 일부 기능이 무시되거나, 실행되지 않을 수 있는 것처럼 다른 분할 방식일 수 있다. 다른 한편으로는, 표시되거나 논의된 상호 간의 결합 또는 직접 결합 또는 통신 연결은 일부 인터페이스를 통해 구현될 수 있고, 장치 또는 유닛의 간접 결합 또는 통신 연결은 전기적, 기계적 또는 기타 형식으로 구현될 수 있다. It should be understood that in the plurality of embodiments provided by the present invention, the disclosed devices and methods may be implemented through other methods. For example, the embodiment of the device described above is merely illustrative as if the division of the unit is only a logical function division, and in actual implementation, a plurality of units or assemblies are merged or integrated into another system, or some functions are divided. Other partitioning methods may be ignored or not implemented. On the other hand, the mutual coupling or direct coupling or communication connection shown or discussed may be implemented through some interface, and the indirect coupling or communication connection of devices or units may be implemented in electrical, mechanical or other forms.

분리된 구성요소로 설명된 상기 유닛은 물리적으로 분리되거나 분리되지 않을 수도 있으며, 유닛으로 표시된 구성요소는 물리적 유닛이거나 아닐 수도 있다. 즉, 하나의 위치에 위치하거나, 또는 복수의 네트워크 유닛에 분포할 수도 있다. 실제 필요에 따라 그중의 일부 또는 전부의 유닛을 선택해 본 실시 예 방안의 목적을 구현할 수 있다. The units described as separate components may or may not be physically separate, and components depicted as units may or may not be physical units. That is, it may be located in one location or distributed across multiple network units. Depending on actual needs, some or all of the units may be selected to implement the purpose of this embodiment.

또한, 본 발명의 각 실시 예에 의해 제공되는 각 기능 유닛은 하나의 처리 유닛에 통합될 수 있고, 각 유닛이 단독으로 물리적으로 존재할 수도 있으며, 두 개 이상의 유닛이 하나의 유닛에 통합될 수도 있다. 상기 통합 유닛은 하드웨어 형식으로 구현될 수 있고, 하드웨어와 소프트웨어가 더해진 기능 유닛의 형식으로 구현될 수도 있다. Additionally, each functional unit provided by each embodiment of the present invention may be integrated into one processing unit, each unit may physically exist alone, or two or more units may be integrated into one unit. . The integrated unit may be implemented in the form of hardware, or may be implemented in the form of a functional unit in which hardware and software are added.

상기 소프트웨어 기능 유닛의 형식으로 구현된 통합 유닛은 컴퓨터의 읽을 수 있는 저장 매체에 저장될 수 있다. 상기 소프트웨어 기능 유닛은 저장 매체에 저장되며, 컴퓨터 장비(개인용 컴퓨터, 서버, 또는 네트워크 장치 등일 수 있다) 또는 프로세서(영문 : processor)가 본 발명의 각 실시 예 방법의 일부 단계를 실행시키는 데 사용되는 약간의 명령을 포함한다. 전술한 저장 매체는 U디스크, 모바일 하드 디스크, 읽기 전용 메모리(영문 : Read-Only Memory, 약칭：ROM), 랜덤 액세스 메모리(영문 : Random Access Memory, 약칭：RAM), 자기 디스크 또는 광디스크 등 프로그램 코드를 저장할 수 있는 매체를 포함한다. The integrated unit implemented in the form of a software functional unit may be stored in a computer-readable storage medium. The software functional unit is stored in a storage medium, and is used by computer equipment (which may be a personal computer, server, or network device, etc.) or a processor (English: processor) to execute some steps of each embodiment method of the present invention. Includes some commands. The above-mentioned storage media include program code such as U disk, mobile hard disk, read-only memory (English: Read-Only Memory, abbreviated: ROM), random access memory (English: Random Access Memory, abbreviated: RAM), magnetic disk, or optical disk. Includes media that can store .

이상은 본 발명에 의해 제공되는 구체적 실시 방식일 뿐이며, 본 발명의 보호 범위는 이에 국한되지 않는다. 본 발명의 개시된 기술 범위 내에서 본 기술분야에서 통상의 지식을 가진 자의 간단하게 생각할 수 있는 변화 또는 대체는 모두 본 발명의 보호 범위 내에 포함되어야 한다. 따라서, 본 발명의 보호 범위는 청구 범위의 보호 범위를 기준으로 한다. The above is only a specific implementation method provided by the present invention, and the scope of protection of the present invention is not limited thereto. Any changes or substitutions that can be easily thought of by a person skilled in the art within the disclosed technical scope of the present invention shall be included within the protection scope of the present invention. Therefore, the scope of protection of the present invention is based on the scope of protection of the claims.

<산업상 이용 가능성><Industrial applicability>

본 발명은 안면 3차원 모델 시각화 방법, 장치, 전자 장비 및 저장 매체를 제공한다. 상기 방법은, 피측정자에 대한 상이한 두 시간의 제1 안면 3차원 모델 및 제2 안면 3차원 모델을 획득하는 단계, 제1 안면 3차원 모델 및 제2 안면 3차원 모델은 삼각 패싯 형식이며, 제1 안면 3차원 모델과 제2 안면 3차원 모델 중 좌표점 간의 거리를 계산하는 단계, 거리에 따라 제1 안면 3차원 모델을 렌더링하여, 히트 맵 모델을 얻는 단계, 제1 안면 3차원 모델 및 제2 안면 3차원 모델에 따라 각각 3차원 등고선을 계산하여, 제1 등고선 모델 및 제2 등고선 모델을 얻는 단계를 포함한다. 본 발명을 통해 얼굴의 변화를 직관적으로 표시할 수 있다. The present invention provides a method, device, electronic equipment, and storage medium for visualizing a facial three-dimensional model. The method includes obtaining a first facial 3D model and a second facial 3D model at two different times for the subject to be measured, the first facial 3D model and the second facial 3D model being in a triangular facet format, 1 Calculating the distance between coordinate points among the facial 3D model and the second facial 3D model, rendering the first facial 3D model according to the distance to obtain a heat map model, the first facial 3D model and the second facial 3D model 2. It includes the step of calculating 3D contour lines according to the facial 3D model and obtaining a first contour model and a second contour model. Through the present invention, changes in the face can be displayed intuitively.

또한, 본 발명의 안면 3차원 모델 시각화 방법, 장치, 전자 장비 및 저장 매체는 재현될 수 있고, 다양한 산업적 응용에 적용될 수 있음을 이해해야 한다. 예를 들면, 본 발명의 안면 3차원 모델 시각화 방법, 장치, 장비 및 저장 매체는 3차원 모델의 기술 영역에 사용될 수 있다.Additionally, it should be understood that the facial three-dimensional model visualization method, device, electronic equipment, and storage medium of the present invention can be reproduced and applied to various industrial applications. For example, the facial three-dimensional model visualization method, device, equipment and storage medium of the present invention can be used in the field of three-dimensional model technology.

Claims

In the facial 3D model visualization method, the method includes:
Obtaining a first facial 3D model and a second facial 3D model at two different times for the subject being measured, wherein the first facial 3D model and the second facial 3D model are in the form of triangular facets;
Calculating a distance between coordinate points of the first facial 3D model and the second facial 3D model;
Obtaining a heat map model by rendering the first facial 3D model according to the distance; and
A facial 3D model visualization method comprising the step of calculating 3D contour lines according to the first facial 3D model and the second facial 3D model, respectively, to obtain a first contour model and a second contour model. .

According to paragraph 1,
The step of acquiring a first facial 3D model and a second facial 3D model for the subject at two different times,
Obtaining a first initial facial 3D model and a second facial 3D model for the subject at two different times,
Calculating an appearance transformation matrix of the first initial facial 3D model and the second facial 3D model,
Aligning the first initial facial 3D model with the second facial 3D model according to the appearance transformation matrix to obtain the first facial 3D model.

According to paragraph 2,
The step of calculating the appearance transformation matrix of the first initial facial 3D model and the second facial 3D model,
The nose tip position of the first initial facial 3D model is set as the center of the sphere, the first initial facial 3D model is captured with a preset radius, and a first sphere capture model corresponding to the first initial facial 3D model is created. steps to get,
Using the nose tip position of the second facial 3D model as the center of a sphere, capturing the second facial 3D model with the preset radius, and obtaining a second sphere capture model corresponding to the second facial 3D model. ,
A facial three-dimensional model visualization method comprising calculating and obtaining the appearance transformation matrix using a preset transformation matrix calculation method, the first sphere capture model, and the second sphere capture model.

According to paragraph 1,
The step of calculating the distance between coordinate points of the first facial 3D model and the second facial 3D model,
Comprising the step of calculating and obtaining the distance from each vertex of the first facial 3D model to the nearest triangular facet of the second facial 3D model, according to the coordinates of each vertex of the first facial 3D model. Characterized facial 3D model visualization method.

According to paragraph 4,
The step of calculating and obtaining the distance from each vertex of the first facial 3D model to the nearest triangular facet of the second facial 3D model, according to the coordinates of each vertex of the first facial 3D model,
calculating a minimum common cubic bounding box of the first facial 3D model and the second facial 3D model;
Constructing an octree structure for the minimum common cubic bounding box of the first facial 3D model,
Evenly dividing the minimum common cubic bounding box of the second facial three-dimensional model by the depth of the octree structure, thereby obtaining a preset quantity of small cubes;
associating triangular facets of the second facial three-dimensional model with the small cube;
According to the index relationship between the vertex coordinates of the first facial 3D model and the small cube, associating a vertex of the first facial 3D model with a triangular facet in the small cube;
Facial, comprising the step of obtaining the distance from each vertex of the first facial 3D model to the nearest triangular facet of the second facial 3D model, according to the distance of the triangular facet associated with the vertex coordinates. 3D model visualization method.

According to clause 5,
The step of associating a vertex of the first facial 3D model with a triangular facet in the small cube according to the index relationship between the vertex coordinates of the first facial 3D model and the small cube, comprising:
Calculating a vertex code of the first facial 3D model according to the octree structure,
If it is determined that the triangular facet in the small cube associated with the vertex is not an empty set, according to the vertex code and the index relationship of the small cube, associating the vertex with the triangular facet in the small cube. A facial 3D model visualization method.

According to clause 6,
The above method is,
If a triangular facet in a small cube associated with the vertex is an empty set, determining whether a triangular facet in another small cube within an area adjacent to a preset radius of the small cube is an empty set, with the small cube as the center;
If the triangular facets in the other small cube are not empty, the method further comprising associating the vertex with the triangular facet in the other small cube.

According to paragraph 1,
The step of obtaining a heat map model by rendering the first facial 3D model according to the distance,
A facial 3D model visualization method comprising obtaining the heat map model by color rendering a random area of the first facial 3D model according to the mapping relationship between the distance and the color table.

According to paragraph 1,
The step of calculating 3D contour lines according to the first facial 3D model and the second facial 3D model, respectively, to obtain a first contour model and a second contour model,
Calculating a first height map of the first facial 3D model and a second height map of the second facial 3D model,
calculating a first two-dimensional contour of the first facial three-dimensional model according to the first height map;
calculating a second two-dimensional contour of the second facial three-dimensional model according to the second height map;
Converting the first two-dimensional contour line to a first three-dimensional contour line, and converting the second two-dimensional contour line to a second three-dimensional contour line,
Rendering the first facial 3D model according to the first 3D contour lines to obtain the first contour model,
A facial 3D model visualization method comprising the step of rendering the second facial 3D model according to the second 3D contour lines to obtain the second contour model.

A 3D model acquisition module configured to acquire a first facial 3D model and a second facial 3D model at two different times for the subject, wherein the first facial 3D model and the second facial 3D model are in a triangular facet format. and -;
a distance calculation module configured to calculate a distance between coordinate points of the first facial 3D model and the second facial 3D model;
a heat map visualization module configured to render the first facial 3D model according to the distance to obtain a heat map model; and
Facial 3, comprising a contour visualization module configured to calculate 3D contour lines according to the first facial 3D model and the second facial 3D model, respectively, to obtain a first contour model and a second contour model. Dimensional model visualizer.

According to clause 10,
The 3D model acquisition module includes a 3D model acquisition unit, an appearance transformation matrix calculation unit, and an alignment unit,
The 3D model acquisition unit is configured to acquire the first initial facial 3D model and the second facial 3D model at the two different times for the subject,
The appearance transformation matrix calculation unit is configured to calculate the appearance transformation matrices of the first initial facial 3D model and the second facial 3D model,
The alignment unit is configured to align the first initial facial 3D model with the second facial 3D model according to the appearance transformation matrix to obtain a first facial 3D model. Device.

According to clause 11,
The appearance transformation matrix calculation unit includes a first sphere capture subunit, a second sphere capture subunit and an appearance transformation matrix calculation subunit,
The first sphere capture subunit takes the nose tip position of the first initial facial 3D model as the center of the sphere, captures the first initial facial 3D model with a preset radius, and captures the first initial facial 3D model with a preset radius. configured to obtain a corresponding first sphere capture model;
The second sphere capture subunit uses the nose tip position of the second facial 3D model as the center of the sphere, captures the second facial 3D model with the preset radius, and captures the second facial 3D model to create a sphere corresponding to the second facial 3D model. configured to obtain a second sphere capture model,
The appearance transformation matrix calculation subunit is configured to calculate and obtain the appearance transformation matrix using a preset transformation matrix calculation method, the first sphere capture model, and the second sphere capture model. Visualizer.

According to clause 10,
The distance calculation module calculates and obtains the distance from each vertex of the first facial 3D model to the nearest triangular facet of the second facial 3D model, according to the coordinates of each vertex of the first facial 3D model. A facial three-dimensional model visualization device, characterized in that it is further configured.

According to clause 10,
The distance calculation module includes a bounding box calculation unit, an octree construction unit, an equal division unit, a first association unit, a second association unit, and a distance calculation unit,
the bounding box calculation unit is configured to calculate a minimum common cubic bounding box of the first facial 3D model and the second facial 3D model;
the octree building unit is configured to build an octree structure for a minimum common cubic bounding box of the first facial 3D model,
the equal division unit is configured to evenly divide the minimum common cubic bounding box of the second facial three-dimensional model with the depth of the octree structure to obtain a preset quantity of small cubes;
the first association unit is configured to associate a triangular facet of the second facial three-dimensional model with the small cube,
The second association unit is configured to associate a vertex of the first facial three-dimensional model with a triangular facet in the small cube, according to the index relationship between the vertex coordinates of the first facial three-dimensional model and the small cube,
The distance calculation unit is configured to obtain the distance from each vertex of the first facial 3D model to the nearest triangular facet of the second facial 3D model, according to the distance of the triangular facet associated with the vertex coordinates. A facial 3D model visualization device.

According to clause 14,
The second associated unit includes a code calculation subunit and a second associated subunit,
The code calculation subunit is configured to calculate a vertex code of the first facial 3D model according to the octree structure,
If it is determined that the triangular facet in the small cube associated with the vertex is not an empty set, according to the vertex code and the index relationship of the small cube, the second association subunit associates the vertex with the triangular facet in the small cube. A facial three-dimensional model visualization device characterized in that it is configured to:

According to clause 14,
The facial 3D model visualization device further includes a neighboring area determination unit and a third association subunit, wherein:
If a triangular facet in a small cube associated with the vertex is an empty set, the adjacent area determination unit determines, with the small cube as the center, whether a triangular facet in another small cube within a preset radius adjacent area of the small cube is an empty set. It is designed to judge,
The third association subunit is configured to associate the vertex with a triangular facet in the other small cube when the triangular facet in the other small cube is not an empty set.

According to clause 10,
The heat map visualization module is configured to obtain the heat map model by color rendering a random area of the first facial 3D model according to the mapping relationship between the distance and the color table. .

According to any one of claims 10 to 17,
The contour visualization module includes a height map calculation unit, a first two-dimensional contour calculation unit, a second two-dimensional contour calculation unit, a transformation unit, a first contour visualization unit, and a second contour visualization unit,
The height map calculation unit is configured to calculate a first height map of the first facial three-dimensional model and a second height map of the second facial three-dimensional model,
The first two-dimensional contour calculation unit is configured to calculate a first two-dimensional contour of the first facial three-dimensional model according to the first height map,
The second two-dimensional contour calculation unit is configured to calculate a second two-dimensional contour of the second facial three-dimensional model according to the second height map,
The conversion unit is configured to convert the first two-dimensional contour into a first three-dimensional contour and convert the second two-dimensional contour into a second three-dimensional contour,
the first contour visualization unit is configured to render the first facial 3-dimensional model according to the first 3-dimensional contour lines to obtain the first contour model;
The second contour visualization unit is configured to render the second facial 3D model according to the second 3D contour lines to obtain the second contour model.

In an electronic device including a processor, a storage medium, and a bus, the storage medium stores program instructions that can be executed by the processor, and when the electronic device is operated, the processor and the storage medium communicate through the bus. and the processor executes the program command to execute the steps of the facial 3D model visualization method of any one of claims 1 to 9.

In a computer-readable storage medium, a computer program is stored in the storage medium, and when the computer program is executed by a processor, the steps of the facial 3D model visualization method of any one of claims 1 to 9 are executed. A computer-readable storage medium characterized in that: