KR102006019B1

KR102006019B1 - Method, system and non-transitory computer-readable recording medium for providing result information about a procedure

Info

Publication number: KR102006019B1
Application number: KR1020170155144A
Authority: KR
Inventors: 김진수; 최흥산; 김희진; 최종우; 허창훈
Original assignee: 주식회사 모르페우스
Priority date: 2017-03-10
Filing date: 2017-11-20
Publication date: 2019-10-01
Also published as: KR20180103659A; KR101959866B1; KR20180103658A; KR20180103672A; KR20180103645A; KR101918119B1; KR101959859B1

Abstract

본 발명의 일 태양에 따르면, 시술에 대한 결과 정보를 제공하는 방법으로서, 사용자의 시술 전 및 시술 후 얼굴의 형상에 관한 3차원 측정 데이터를 획득하는 단계, 상기 획득되는 3차원 측정 데이터를 참조하여 상기 시술에 따른 상기 사용자의 얼굴 변화에 관한 정보를 산출하는 단계, 및 상기 산출되는 사용자의 얼굴 변화에 관한 정보를 참조하여 상기 시술과 연관된 평가 지표를 기준으로 하는 시술 결과 정보를 생성하는 단계를 포함하는 방법이 제공된다.According to an aspect of the present invention, a method of providing result information for a procedure, the method comprising: obtaining three-dimensional measurement data about a shape of a face before and after a procedure of a user, by referring to the obtained three-dimensional measurement data Calculating information regarding a change in the face of the user according to the procedure, and generating procedure result information based on an evaluation index associated with the procedure with reference to the calculated information about the change in the face of the user; A method is provided.

Description

METHOD, SYSTEM AND NON-TRANSITORY COMPUTER-READABLE RECORDING MEDIUM FOR PROVIDING RESULT INFORMATION ABOUT A PROCEDURE}

본 발명은 시술에 대한 결과 정보를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체에 관한 것이다.The present invention relates to a method, system and non-transitory computer readable recording medium for providing result information for a procedure.

외모에 대한 관심이 높아짐에 따라, 자신의 외모를 가꾸기 위해 성형 수술, 치과 교정 등의 시술을 받는 사람들이 꾸준히 늘어가고 있다. 이와 함께, 시술 전과 시술 후에 환자의 달라진 모습을 제공하는 기술에 대하여 많은 연구가 진행되고 있다.As interest in appearance increases, people who are undergoing cosmetic surgery, orthodontics, etc. to cultivate their appearance are steadily increasing. In addition, a lot of research is being conducted on the technology for providing a changed appearance of the patient before and after the procedure.

이에 관한, 종래 기술의 일 예로서, 환자의 시술 전 안면 이미지와 시술 후 안면 이미지를 획득하고, 하나의 화면에서 시술 전 및 시술 후 안면 이미지가 각각 표시될 수 있도록 화면을 분할하여 나타냄으로써 시술로 인해 달라진 얼굴의 변화를 육안으로 쉽게 비교할 수 있도록 제공하는 시스템이 소개된 바 있다.In this regard, as an example of the prior art, the procedure is obtained by acquiring a pre-surgical face image and a post-surgical face image, and dividing the screen so that the pre- and post-operative face images can be displayed on one screen. The system has been introduced to make it easier to visually compare the changed face changes.

하지만, 위와 같은 종래 기술을 비롯하여 지금까지 소개된 기술에 의하면, 시술로 인해 얼굴이 변화된 정도를 단순히 육안으로 비교해 볼 수 있게 제공할 뿐이거나 시술 후의 안면 이미지의 얼굴 비율을 개략적으로 제공하는 것에 그칠 뿐이므로, 시술로 인해 환자의 얼굴의 구체적인 어느 부위가 어느 정도 변화되었는지, 해당 부위가 시술로 인해 원하는 만큼 변화되었는지 또는 시술과 연관된 평가 지표와 비교하여 해당 시술이 잘 이루어진 것인지 여부 등의 시술에 관한 결과는 알 수 없는 실정이었다.However, according to the prior art as described above and the techniques introduced so far, it merely provides a visual comparison of the degree of change of the face due to the procedure or merely provides a rough ratio of the face of the facial image after the procedure. Therefore, the results of the procedure, such as how much the specific part of the patient's face has changed due to the procedure, whether the region has changed as much as desired due to the procedure, or whether the procedure has been performed well in comparison with the evaluation index associated with the procedure. Was unknown.

본 발명은 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.The present invention aims to solve all of the above-mentioned problems of the prior art.

또한, 본 발명은 시술로 인한 사용자의 얼굴 변화에 관한 정보를 정량적으로 파악할 수 있도록 하는 것을 또 다른 목적으로 한다.In addition, another object of the present invention is to be able to grasp quantitatively information about a change in the face of the user due to the procedure.

또한, 본 발명은, 시술이 잘 이루어졌는지 등 시술 결과에 대한 객관적이고도 구체적인 평가가 가능하도록 하는 것을 또 다른 목적으로 한다.In addition, another object of the present invention is to enable an objective and specific evaluation of the result of the procedure, such as whether the procedure is performed well.

상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.Representative configuration of the present invention for achieving the above object is as follows.

본 발명의 다른 태양에 따르면, 시술에 대한 결과 정보를 제공하는 시스템으로서, 사용자의 시술 전 및 시술 후 얼굴의 형상에 관한 3차원 측정 데이터를 획득하는 측정 데이터 획득부, 상기 획득되는 3차원 측정 데이터를 참조하여 상기 시술에 따른 상기 사용자의 얼굴 변화에 관한 정보를 산출하는 변화 정보 관리부, 및 상기 산출되는 사용자의 얼굴 변화에 관한 정보를 참조하여 상기 시술과 연관된 평가 지표를 기준으로 하는 시술 결과 정보를 생성하는 결과 정보 관리부를 포함하는 시스템이 제공된다.According to another aspect of the present invention, a system for providing result information on a procedure, the measurement data acquisition unit for obtaining three-dimensional measurement data about the shape of the face before and after the procedure of the user, the obtained three-dimensional measurement data Reference to the change information management unit for calculating the information on the change of the user's face according to the procedure, and the operation result information based on the evaluation index associated with the procedure by referring to the information on the calculated face change of the user A system including a result information management unit for generating is provided.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.In addition, there is further provided a non-transitory computer readable recording medium for recording another method for implementing the present invention, another system, and a computer program for executing the method.

본 발명에 의하면, 시술로 인한 사용자의 얼굴 변화에 관한 정보를 정량적으로 파악할 수 있게 된다.According to the present invention, it is possible to quantitatively grasp information about a change in the face of the user due to the procedure.

본 발명에 의하면, 시술이 잘 이루어졌는지 등 시술 결과에 대한 평가가 가능할 수 있게 된다.According to the present invention, it is possible to evaluate the results of the procedure, such as whether the procedure was made well.

도 1은 본 발명의 일 실시예에 따라 시술에 대한 결과 정보를 제공하는 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 정보 제공 시스템의 내부 구성을 상세하게 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 시술에 대한 결과 정보가 제공되는 과정을 예시적으로 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 얼굴 변화에 관한 정보를 산출하는데 사용될 수 있는 얼굴 특징점을 예시적으로 나타내는 도면이다.
도 5 내지 도 23은 본 발명의 일 실시예에 따른 얼굴 변화에 관한 정보를 예시적으로 나타내는 도면이다.1 is a view showing a schematic configuration of an entire system for providing result information for a procedure according to an embodiment of the present invention.
2 is a diagram showing in detail the internal configuration of the information providing system according to an embodiment of the present invention.
3 is a diagram illustrating a process of providing result information for a procedure according to an embodiment of the present invention.
4 is a diagram exemplarily illustrating facial feature points that may be used to calculate information about a face change according to an exemplary embodiment.
5 to 23 are diagrams exemplarily illustrating information about a face change, according to an exemplary embodiment.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.DETAILED DESCRIPTION The following detailed description of the invention refers to the accompanying drawings that show, by way of illustration, specific embodiments in which the invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the invention. It should be understood that the various embodiments of the present invention are different but need not be mutually exclusive. For example, certain shapes, structures, and characteristics described herein may be implemented with changes from one embodiment to another without departing from the spirit and scope of the invention. In addition, it is to be understood that the location or arrangement of individual components within each embodiment may be changed without departing from the spirit and scope of the invention. Accordingly, the following detailed description is not to be taken in a limiting sense, and the scope of the present invention should be taken as encompassing the scope of the claims of the claims and all equivalents thereof. Like reference numerals in the drawings indicate the same or similar elements throughout the several aspects.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, various preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily implement the present invention.

전체 시스템의 구성Configuration of the entire system

도 1은 본 발명의 일 실시예에 따라 시술(procedure)에 대한 결과 정보를 제공하는 전체 시스템의 개략적인 구성을 나타내는 도면이다.1 is a view showing a schematic configuration of an entire system for providing result information for a procedure (procedure) according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전체 시스템은 통신망(100), 정보 제공 시스템(200) 및 디바이스(300)를 포함할 수 있다.As shown in FIG. 1, the entire system according to an embodiment of the present invention may include a communication network 100, an information providing system 200, and a device 300.

먼저, 본 발명의 일 실시예에 따른 통신망(100)은 유선 통신이나 무선 통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 명세서에서 말하는 통신망(100)은 공지의 인터넷 또는 월드와이드웹(WWW; World Wide Web)일 수 있다. 그러나, 통신망(100)은, 굳이 이에 국한될 필요 없이, 공지의 유무선 데이터 통신망, 공지의 전화망 또는 공지의 유무선 텔레비전 통신망을 그 적어도 일부에 있어서 포함할 수도 있다.First, the communication network 100 according to an embodiment of the present invention may be configured regardless of a communication mode such as wired communication or wireless communication, and includes a local area network (LAN) and a metropolitan area network (MAN). ), And various communication networks such as a wide area network (WAN). Preferably, the communication network 100 as used herein may be a known Internet or World Wide Web (WWW). However, the communication network 100 may include, at least in part, a known wired / wireless data communication network, a known telephone network, or a known wired / wireless television communication network without being limited thereto.

예를 들면, 통신망(100)은 무선 데이터 통신망으로서, 와이파이(WiFi) 통신, 와이파이 다이렉트(WiFi-Direct) 통신, 롱텀 에볼루션(LTE; Long Term Evolution) 통신, 블루투스 통신(예를 들면, 저전력 블루투스(BLE; Bluetooth Low Energy) 통신), 적외선 통신, 초음파 통신 등과 같은 종래의 통신 방식을 적어도 그 일부분에 있어서 구현하는 것일 수 있다.For example, the communication network 100 is a wireless data communication network, and includes Wi-Fi communication, Wi-Fi Direct communication, Long Term Evolution (LTE) communication, Bluetooth communication (for example, low power Bluetooth (e.g., BLE (Bluetooth Low Energy), infrared communication, ultrasonic communication, etc. may be implemented at least in part.

다음으로, 본 발명의 일 실시예에 따른 정보 제공 시스템(200)은 통신망(100)을 통하여 후술할 디바이스(300)와의 통신을 수행할 수 있고, 사용자의 시술 전 및 시술 후 얼굴의 형상에 관한 3차원 측정 데이터를 획득하고, 그 획득되는 3차원 측정 데이터를 참조하여 해당 시술에 따른 해당 사용자의 얼굴 변화에 관한 정보를 산출하고, 그 산출되는 사용자의 얼굴 변화에 관한 정보를 참조하여 해당 시술과 연관된 평가 지표를 기준으로 하는 시술 결과 정보를 생성하는 기능을 수행할 수 있다.Next, the information providing system 200 according to an embodiment of the present invention may perform communication with the device 300 to be described later through the communication network 100, and relates to the shape of the face before and after the procedure of the user. Acquiring three-dimensional measurement data, calculating information on the change of the user's face according to the procedure by referring to the acquired three-dimensional measurement data, and referring to the calculated information on the change of the user's face, The function of generating procedure result information based on the associated evaluation index may be performed.

본 발명의 일 실시예에 따르면, 전술한 시술은, 사용자의 얼굴의 형상에 변화가 생길 수 있는 모든 수술, 교정, 미용 등을 총칭하는 개념일 수 있다.According to an embodiment of the present invention, the above-described procedure may be a concept that collectively refers to all the surgery, correction, beauty, etc., in which the shape of the user's face may change.

본 발명에 따른 정보 제공 시스템(200)의 구성과 기능에 관하여는 이하의 상세한 설명을 통하여 자세하게 알아보기로 한다. 한편, 정보 제공 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 정보 제공 시스템(200)에 대하여 요구되는 기능이나 구성요소의 적어도 일부가 필요에 따라 후술할 디바이스(300) 또는 외부 시스템(미도시됨) 내에서 실현되거나 디바이스(300) 또는 외부 시스템(미도시됨)에 포함될 수도 있음은 당업자에게 자명하다.The configuration and function of the information providing system 200 according to the present invention will be described in detail through the following detailed description. Meanwhile, the information providing system 200 has been described as above, but this description is exemplary, and at least some of the functions or components required for the information providing system 200 will be described later as necessary. It will be apparent to those skilled in the art that they may be implemented within an external system (not shown) or may be included in the device 300 or an external system (not shown).

다음으로, 본 발명의 일 실시예에 따르면, 디바이스(300)는 통신망(100)을 통해 정보 제공 시스템(200)에 접속한 후 통신할 수 있도록 하는 기능을 포함하는 디지털 기기로서, 스마트폰, 태블릿 PC 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 휴대 가능한 디지털 기기라면 얼마든지 본 발명에 따른 디바이스(300)로서 채택될 수 있다.Next, according to an embodiment of the present invention, the device 300 is a digital device that includes a function to enable communication after connecting to the information providing system 200 through the communication network 100, a smart phone, a tablet As long as a portable digital device having a memory means such as a PC and the like having a microprocessor installed therein can be adopted as the device 300 according to the present invention.

한편, 본 발명의 일 실시예에 따르면, 디바이스(300)에는, 시술에 대한 결과 정보를 제공하는 본 발명에 따른 기능이 지원되기 위한 애플리케이션이 포함되어 있을 수 있다. 이와 같은 애플리케이션은 정보 제공 시스템(200) 또는 외부의 애플리케이션 배포 서버(미도시됨)로부터 다운로드된 것일 수 있다.Meanwhile, according to an embodiment of the present invention, the device 300 may include an application for supporting a function according to the present invention for providing result information on a procedure. Such an application may be downloaded from the information providing system 200 or an external application distribution server (not shown).

정보 제공 시스템의 구성Organization of Informational System

이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 정보 제공 시스템(200)의 내부 구성과 각 구성요소의 기능에 대하여 살펴보기로 한다.Hereinafter, the internal configuration of the information providing system 200 performing important functions for the implementation of the present invention and the function of each component will be described.

도 2는 본 발명의 일 실시예에 따른 정보 제공 시스템(200)의 내부 구성을 상세하게 도시하는 도면이다.2 is a diagram showing in detail the internal configuration of the information providing system 200 according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 정보 제공 시스템(200)은 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기일 수 있다. 이러한 정보 제공 시스템(200)은 서버 시스템일 수 있다. 도 2에 도시된 바와 같이, 정보 제공 시스템(200)은 측정 데이터 획득부(210), 변화 정보 관리부(220), 결과 정보 관리부(230) 및 통신부(240) 및 제어부(250)를 포함하여 구성될 수 있다. 본 발명의 일 실시예에 따르면, 정보 제공 시스템(200)은 측정 데이터 획득부(210), 변화 정보 관리부(220), 결과 정보 관리부(230) 및 통신부(240) 및 제어부(250)는 그 중 적어도 일부가 외부의 시스템과 통신하는 프로그램 모듈일 수 있다. 이러한 프로그램 모듈은 운영 시스템, 응용 프로그램 모듈 또는 기타 프로그램 모듈의 형태로 정보 제공 시스템(200)에 포함될 수 있고, 물리적으로는 여러 가지 공지의 기억 장치에 저장될 수 있다. 또한, 이러한 프로그램 모듈은 정보 제공 시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.The information providing system 200 according to an exemplary embodiment of the present invention may be a digital device having a computing power by including a memory means and a microprocessor. The information providing system 200 may be a server system. As shown in FIG. 2, the information providing system 200 includes a measurement data acquisition unit 210, a change information management unit 220, a result information management unit 230, a communication unit 240, and a control unit 250. Can be. According to the exemplary embodiment of the present invention, the information providing system 200 includes a measurement data acquisition unit 210, a change information management unit 220, a result information management unit 230, a communication unit 240, and a control unit 250. At least a part may be a program module in communication with an external system. Such program modules may be included in the information providing system 200 in the form of an operating system, an application program module, or other program modules, and may be physically stored in various known storage devices. In addition, the program module may be stored in a remote storage device that can communicate with the information providing system 200. On the other hand, such program modules include, but are not limited to, routines, subroutines, programs, objects, components, data structures, etc. that perform particular tasks or execute particular abstract data types, described below, in accordance with the present invention.

먼저, 본 발명의 일 실시예에 따르면, 측정 데이터 획득부(210)는 사용자의 시술 전 및 시술 후 얼굴의 형상에 관한 3차원 측정 데이터를 획득할 수 있다.First, according to an embodiment of the present invention, the measurement data acquisition unit 210 may acquire three-dimensional measurement data regarding the shape of the face before and after the procedure.

본 발명의 일 실시예에 따른 3차원 측정 데이터에는, 사용자의 안면에 대한 3차원 스캐닝 데이터 및 사용자의 얼굴 경조직(hard tissue)에 대한 3차원 촬영 데이터 중 적어도 하나가 포함될 수 있다.The three-dimensional measurement data according to an embodiment of the present invention may include at least one of three-dimensional scanning data of the user's face and three-dimensional imaging data of the hard tissue of the user's face.

또한, 본 발명의 일 실시예에 따른 측정 데이터 획득부(210)는 위의 3차원 스캐닝 데이터 또는 3차원 촬영 데이터를 획득하기 위하여, 엑스레이(x-ray), 초음파(ultrasonic wave), 컴퓨터 단층 촬영(CT; Computer Tomography), 자기 공명 영상(MRI; magnetic resonance image), 양전자 방출 촬영 영상(PET; positron emission tomography) 및 3차원 스캐너 중 적어도 하나로부터 획득되는 정보를 참조할 수 있다.In addition, the measurement data acquisition unit 210 according to an embodiment of the present invention, in order to obtain the three-dimensional scanning data or three-dimensional imaging data, x-ray (ultrasound), ultrasound (ultrasonic wave), computed tomography The information obtained from at least one of a computer tomography (CT), a magnetic resonance image (MRI), a positron emission tomography (PET), and a 3D scanner may be referred to.

또한, 본 발명의 일 실시예에 따른 측정 데이터 획득부(210)는 사용자의 얼굴 형상에 관한 2차원 측정 데이터에 기초하여 해당 사용자의 얼굴 형상에 관한 3차원 측정 데이터를 획득할 수 있다.In addition, the measurement data acquisition unit 210 according to an embodiment of the present invention may acquire 3D measurement data regarding the shape of the user's face based on the 2D measurement data regarding the shape of the user's face.

예를 들면, 본 발명의 일 실시예에 따르면, 측정 데이터 획득부(210)는 사용자의 얼굴 형상에 관한 2차원 측정 데이터(예를 들면, 사진, 그림 등)를 획득하고, 원근 투영 변환 알고리즘(perspective projection transformation) 등의 기설정된 3차원 변환 알고리즘에 기초하여 위의 획득되는 2차원 측정 데이터에 포함되는 사용자의 얼굴을 3차원 데이터로 변환(예를 들면, 사용자의 2차원 얼굴 데이터의 소정 지점을 기준으로 하여 3차원 데이터로 변환)함으로써, 사용자의 얼굴 형상에 관한 3차원 측정 데이터를 획득할 수 있다.For example, according to an embodiment of the present invention, the measurement data acquisition unit 210 acquires two-dimensional measurement data (eg, a picture, a picture, etc.) related to the shape of the user's face, and uses a perspective projection conversion algorithm ( The user's face included in the two-dimensional measurement data obtained above is converted into three-dimensional data based on a predetermined three-dimensional transformation algorithm such as perspective projection transformation (for example, a predetermined point of the user's two-dimensional face data is 3D measurement data regarding the shape of the user's face can be obtained by converting into 3D data as a reference.

다음으로, 본 발명의 일 실시예에 따른 변화 정보 관리부(220)는 위의 측정 데이터 획득부(210)에 의해 획득되는 3차원 측정 데이터를 참조하여 시술에 따른 사용자의 얼굴 변화에 관한 정보를 산출할 수 있다.Next, the change information management unit 220 according to an embodiment of the present invention calculates information about the change of the user's face according to the procedure by referring to the three-dimensional measurement data obtained by the measurement data acquisition unit 210 above. can do.

본 발명의 일 실시예에 따르면, 이러한 얼굴 변화에 관한 정보에는, 얼굴 소정 지점 사이의 길이, 얼굴 소정 지점 사이의 거리, 얼굴의 복수의 지점 사이의 각도, 얼굴 소정 지점 간 높낮이, 얼굴 소정 부위의 면적, 얼굴 소정 부위의 부피 및 얼굴 소정 지점 사이의 비율 중 적어도 하나에 관하여 비교된 수치가 포함될 수 있다.According to an embodiment of the present invention, the information about the face change includes the length between predetermined face points, the distance between predetermined face points, the angle between a plurality of points of the face, the height between predetermined face points, and the predetermined face area. Compared values may be included with respect to at least one of the area, the volume of the predetermined face area, and the ratio between the predetermined face points.

예를 들면, 본 발명의 일 실시예에 따른 변화 정보 관리부(220)는 시술 전 및 시술 후 사용자의 얼굴 각각에서 특정되는 기준 특징점에 기초하여 얼굴 변화에 관한 정보를 산출할 수 있다. 보다 상세하게는, 본 발명의 일 실시예에 따른 변화 정보 관리부(220)는 사용자의 시술 전 얼굴의 형상에 관한 3차원 측정 데이터로부터 획득되는 해당 사용자의 시술 전 얼굴(즉, 안면 이미지)에서 소정의 기준 특징점을 특정하고, 사용자의 시술 후 얼굴의 형상에 관한 3차원 측정 데이터로부터 획득되는 해당 사용자의 시술 후 얼굴(즉, 안면 이미지)에서 소정의 기준 특징점을 특정할 수 있다. 또한, 본 발명의 일 실시예에 따른 변화 정보 관리부(220)는 위의 시술 전 및 시술 후 사용자의 얼굴(즉, 안면 이미지) 각각에서 특정되는 기준 특징점을 기준으로 하여 산출되는 비교 정보(예를 들면, 얼굴의 기준 특징점 사이의 길이, 얼굴의 기준 특징점 사이의 거리, 얼굴의 복수의 기준 특징점 사이의 각도, 얼굴의 기준 특징점 간 높낮이, 얼굴의 기준 특징점을 포함하는 소정 부위의 면적, 얼굴의 기준 특징점을 포함하는 소정 부위의 부피 및 얼굴의 기준 특징점 사이의 비율 중 적어도 하나에 관하여 시술 전과 시술 후의 차이를 산출한 정보)를 얼굴 변화에 관한 정보로서 산출할 수 있다. 한편, 본 발명의 일 실시예에 따른 이러한 기준 특징점은 눈, 코, 입 등의 주요 부위에 대한 해부학적 주요 부위, 혈자리 등을 포함하는 개념일 수 있다.For example, the change information management unit 220 according to an embodiment of the present invention may calculate information on the face change based on reference feature points specified in each of the user's face before and after the procedure. More specifically, the change information management unit 220 according to an embodiment of the present invention is predetermined in the pre-surgical face (that is, facial image) of the user obtained from the three-dimensional measurement data regarding the shape of the face before the procedure of the user The reference feature may be specified, and a predetermined reference feature may be specified in the post-surface face (that is, the face image) of the user obtained from 3D measurement data regarding the shape of the face after the user's procedure. In addition, the change information management unit 220 according to an embodiment of the present invention is compared information calculated based on reference feature points specified on each of the user's face (that is, facial image) before and after the procedure (for example, For example, the length between the reference feature points of the face, the distance between the reference feature points of the face, the angle between a plurality of reference feature points of the face, the height between the reference feature points of the face, the area of a predetermined region including the reference feature points of the face, the reference of the face Information relating to at least one of the volume between the volume of the predetermined region including the feature point and the ratio between the reference feature points of the face and the procedure before and after the procedure) can be calculated as the information on the face change. Meanwhile, the reference feature point according to an embodiment of the present invention may be a concept including an anatomical main part, a blood spot, and the like for main parts of the eye, nose, mouth, and the like.

또한, 본 발명의 일 실시예에 따른 변화 정보 관리부(220)는 시술 전 사용자의 얼굴과 시술 후 복수의 시점(時點)에서의 사용자의 얼굴을 각각 비교하여 분석함으로써, 해당 사용자의 얼굴 변화에 관한 정보를 산출할 수 있다.In addition, the change information management unit 220 according to an embodiment of the present invention compares and analyzes the face of the user before the procedure and the face of the user at a plurality of time points after the procedure, respectively, to determine a change in the face of the user. Information can be calculated.

예를 들면, 본 발명의 일 실시예에 따른 변화 정보 관리부(220)는 시술 전 사용자의 얼굴과 시술 후 복수의 주기(예를 들면, 시술 1주 후, 시술 2주 후, 시술 3주 후, 시술 1개월 후 등)마다의 사용자의 얼굴을 각각 비교하여 분석함으로써, 시술 경과에 따른 사용자의 얼굴의 변화 양상에 관한 정보를 얼굴 변화에 관한 정보로서 산출할 수 있다.For example, the change information management unit 220 according to an embodiment of the present invention may have a plurality of cycles (eg, 1 week after the procedure, 2 weeks after the procedure, 3 weeks after the procedure) of the user's face and the procedure before the procedure. By comparing and analyzing the face of the user for each month after the procedure), the information on the change of the face of the user according to the progress of the procedure can be calculated as the information on the face change.

또한, 본 발명의 일 실시예에 따른 변화 정보 관리부(220)는 사용자의 시술 전 및 시술 후 얼굴 형상에 관한 3차원 측정 데이터와 사용자 정보와 연관되는 적어도 하나의 해부학적 얼굴 모델을 참조하여 해당 사용자의 시술 전 및 시술 후 얼굴 각각의 연조직(soft tissue)에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치를 추정할 수 있다. 또한, 본 발명의 일 실시예에 따른 변화 정보 관리부(220)는, 위의 추정에 의하여 특정되는 시술 전 및 시술 후 해당 사용자의 얼굴을 참조하여, 해당 사용자의 얼굴 변화에 관한 정보를 산출할 수 있다. 본 발명의 일 실시예에 따른 해부학적 얼굴 모델에는, 얼굴의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치에 관한 모델링된 데이터가 포함될 수 있다.In addition, the change information management unit 220 according to an embodiment of the present invention refers to the user by referring to at least one anatomical face model associated with the user information and three-dimensional measurement data on the shape of the face before and after the procedure. The shape and position of at least one kind of anatomical layer included in the soft tissue of each face before and after the procedure can be estimated. In addition, the change information management unit 220 according to an embodiment of the present invention may calculate information on the change of the face of the user by referring to the face of the user before and after the procedure specified by the above estimation. have. The anatomical face model according to an embodiment of the present invention may include modeled data regarding the shape and location of at least one type of anatomical layer included in the soft tissue of the face.

본 발명의 일 실시예에 따르면 이러한 해부학적 얼굴 모델은, 죽은 인체(즉, 사체)의 얼굴의 연조직의 해부학적 레이어를 한꺼풀씩 벗겨내면서 벗겨진(또는 벗겨지지 않은) 레이어에 대한 스캐닝을 통해 획득되는 데이터(예를 들면, 레이어의 위치, 형상 등) 및 살아있는 인체 얼굴 연조직에 대하여 초음파, 방사선, 자기장 및 양전자 중 적어도 하나를 투과시켜 획득되는 데이터(예를 들면, 레이어의 위치, 형상 등에 관한 데이터) 중 적어도 하나에 기초하여, 인구 통계학적 지표(demographic variable, 예를 들면, 인종, 성별, 나이 등)에 따라 얼굴의 해부학적 레이어를 정규화, 평균화 또는 표준화함으로써 획득되는 얼굴 모델링 데이터일 수 있으며, 이러한 해부학적 얼굴 모델에는, 얼굴의 연조직에 포함될 수 있는 적어도 한 종류의 해부학적 레이어의 형상 및 위치에 관하여 모델링된 데이터가 포함될 수 있다. 한편, 본 발명의 일 실시예에 따른 해부학적 얼굴 모델은, 위의 획득되는 데이터를 서포트 벡터 머신(SVM) 알고리즘, 다변수 적응 회귀 스플라인(MARS) 알고리즘, 최근접 이웃(KNN) 알고리즘, 신경망(NN) 알고리즘 등의 공지의 딥러닝 또는 빅데이터에 관한 알고리즘을 통해 분석함으로써 획득되는 해부학적 얼굴 모델을 포함할 수 있고, 이러한 해부학적 얼굴 모델은 인구 통계학적 지표에 따라 얼굴의 해부학적 레이어가 패턴화된 해부학적 얼굴 모델일 수 있다. 또한, 본 발명의 일 실시예에 따른 전술한 해부학적 레이어에는 근육, 지방, 혈관, 신경 및 림프관 중 적어도 하나에 관한 레이어가 포함될 수 있으며, 전술한 사용자 정보에는 사용자의 인종, 민족, 성별, 나이 등에 관한 정보가 포함될 수 있다. 한편, 본 발명에 일 실시예 따른 위의 해부학적 레이어의 종류 및 위의 사용자 정보가 반드시 앞서 열거한 것에 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 골막(periosteum), 근막(fascia), 인대(ligament) 등과 같은 해부학적 레이어나 국가, 거주 지역 등과 같은 사용자 정보 등으로 다양하게 변경될 수 있다.According to one embodiment of the present invention, such an anatomical face model is obtained by scanning a peeled (or unpeeled) layer while peeling off the anatomical layers of soft tissues of the face of a dead human body (ie, the dead body). Data obtained by transmitting at least one of ultrasonic waves, radiation, magnetic fields, and positrons to the living soft tissue of the human face (eg, the position, shape, etc. of the layer). Based on at least one of, facial modeling data obtained by normalizing, averaging, or normalizing the anatomical layers of the face according to demographic variables (eg, race, gender, age, etc.), such as The anatomical face model includes at least one type of anatomical layer that can be included in the soft tissues of the face and Data modeled with respect to location may be included. On the other hand, the anatomical face model according to an embodiment of the present invention, the data obtained from the support vector machine (SVM) algorithm, multivariate adaptive regression spline (MARS) algorithm, nearest neighbor (KNN) algorithm, neural network ( NN) may include an anatomical face model obtained by analyzing through known algorithms for deep learning or big data, such as an anatomical layer of the face according to the demographic indicators It may be a normalized anatomical face model. In addition, the above-described anatomical layer according to an embodiment of the present invention may include a layer relating to at least one of muscle, fat, blood vessels, nerves and lymphatic vessels, and the above-described user information includes the race, ethnicity, gender, and age of the user. Information may be included. On the other hand, the type of the anatomical layer and the user information of the above according to an embodiment of the present invention is not necessarily limited to those listed above, periosteum, fascia within the scope that can achieve the object of the present invention (fascia), ligament (ligament) and the like (anatomical layer), such as the country, the user can be changed, such as the region of residence.

예를 들면, 본 발명의 일 실시예에 따른 변화 정보 관리부(220)는 사용자의 시술 전 및 시술 후 얼굴 각각의 형상에 관한 3차원 측정 데이터로부터 추출되는 해당 사용자의 얼굴에 관한 특징을 사용자 정보와 연관되는 적어도 하나의 해부학적 얼굴 모델과 비교하여, 해당 사용자 정보와 연관되는 해부학적 얼굴 모델에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치를 해당 사용자의 시술 전 및 시술 후 얼굴 각각의 형상에 관한 3차원 측정 데이터에 부합하도록 정합 또는 변환함으로써, 해당 사용자의 시술 전 및 시술 후 얼굴 각각의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 또는 위치를 추정할 수 있다.For example, the change information management unit 220 according to an embodiment of the present invention may display features of a user's face, which are extracted from three-dimensional measurement data of each user's shape before and after the procedure. The shape and location of at least one type of anatomical layer included in the anatomical face model associated with the user information is compared to the shape of each face before and after the procedure of the user, compared to the at least one anatomical face model associated with the user information. By matching or converting to match the three-dimensional measurement data for, the shape or position of at least one type of anatomical layer included in the soft tissue of each face before and after the procedure of the user may be estimated.

한편, 본 발명의 일 실시예에 따른 변화 정보 관리부(220)는 사용자의 시술 전 및 시술 후 얼굴의 형상에 관한 3차원 측정 데이터와 사용자 정보와 연관되는 적어도 하나의 해부학적 얼굴 모델을 비교하여 분석하기 위하여, 능동 표현 모델(AAM; active appearance model) 알고리즘, 능동 형상 모델(ASM; active shape model) 알고리즘, 복합 제약 능동 표현 모델(Composite Constraint AAM) 알고리즘, 반복 최근접점(ICP; iterative closest points) 알고리즘 및 비강체 정합 알고리즘(non-rigid registration) 중 적어도 하나를 이용할 수 있다.Meanwhile, the change information management unit 220 according to an embodiment of the present invention compares and analyzes three-dimensional measurement data regarding the shape of the face before and after the procedure of the user and at least one anatomical face model associated with the user information. To this end, an active appearance model (AAM) algorithm, an active shape model (ASM) algorithm, a composite constraint active expression model (Composite Constraint AAM) algorithm, an iterative closest points (ICP) algorithm And non-rigid registration algorithms.

예를 들면, 본 발명의 일 실시예에 따른 변화 정보 관리부(220)는 능동 표현 모델(AAM; active appearance model) 알고리즘, 능동 형상 모델(ASM; active shape model) 알고리즘 및 복합 제약 능동 표현 모델(Composite Constraint AAM) 알고리즘 중 적어도 하나를 이용하여 사용자의 시술 전 및 시술 후 얼굴의 형상에 관한 3차원 측정 데이터로부터 해당 사용자의 얼굴에 관한 특징을 추출할 수 있으며, 반복 최근접점(ICP; iterative closest points) 알고리즘 및 비강체 정합 알고리즘(non-rigid registration) 중 적어도 하나를 이용하여 해부학적 얼굴 모델에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치를 그 사용자의 시술 전 및 시술 후 얼굴 각각의 형상에 관한 3차원 측정 데이터에 부합하도록 정합 또는 변환함으로써, 해당 사용자의 시술 전 및 시술 후 얼굴 각각의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 또는 위치를 추정할 수 있다. 한편, 본 발명의 일 실시예에 따라 얼굴의 형상에 관한 3차원 측정 데이터와 사용자 정보와 연관되는 적어도 하나의 해부학적 얼굴 모델을 비교하여 분석하기 위한 알고리즘이 반드시 앞서 열거된 것에 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 다른 알고리즘이 활용될 수도 있음을 밝혀둔다.For example, the change information management unit 220 according to an embodiment of the present invention may include an active appearance model (AAM) algorithm, an active shape model (ASM) algorithm, and a complex constraint active expression model (Composite). Using at least one of the Constraint AAM (Algorithm A) algorithms, the user's face feature may be extracted from three-dimensional measurement data regarding the shape of the face before and after the user's procedure, and iterative closest points (ICP) may be extracted. Using at least one of an algorithm and a non-rigid registration algorithm, the shape and position of at least one type of anatomical layer included in the anatomical face model is applied to the shape of each face before and after the procedure of the user. By matching or converting the data to match the three-dimensional measurement data, the soft tissues of each face before and after The shape or position of at least one type of anatomical layer included can be estimated. Meanwhile, according to an embodiment of the present invention, an algorithm for comparing and analyzing three-dimensional measurement data about a shape of a face and at least one anatomical face model associated with user information is not necessarily limited to those listed above. It is noted that other algorithms may be utilized within the scope of the object of the present invention.

또한, 본 발명의 일 실시예에 따른 변화 정보 관리부(220)는 위의 추정에 의하여 특정되는 시술 전 및 시술 후 사용자의 얼굴을 참조하여, 사용자의 얼굴 변화에 관한 정보를 결정할 수 있다.In addition, the change information management unit 220 according to an embodiment of the present invention may determine information about the change of the user's face by referring to the face of the user before and after the procedure specified by the above estimation.

구체적으로, 본 발명의 일 실시예에 따른 변화 정보 관리부(220)는 위의 추정에 의하여 특정되는 시술 전 사용자의 얼굴과 위의 추정에 의하여 특정되는 시술 후 사용자의 얼굴(또는, 시술 후 복수의 시점(時點)에서의 사용자의 얼굴)을 각각 비교하여 분석함으로써 사용자의 얼굴 변화에 관한 정보를 결정할 수 있다.Specifically, the change information management unit 220 according to an embodiment of the present invention is a face of the user before the procedure specified by the above estimation and a face of the user after the procedure specified by the above estimation (or a plurality of post-procedures). By comparing and analyzing the user's face at a time point, it is possible to determine information on the change of the user's face.

또한, 본 발명의 일 실시예에 따른 변화 정보 관리부(220)는, 위의 추정에 의하여 특정되는 시술 전 및 시술 후 사용자의 얼굴 각각의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치의 변화에 관한 정보를 사용자의 얼굴 변화에 관한 정보로서 결정할 수 있다.In addition, the change information management unit 220 according to an embodiment of the present invention, the shape and position of at least one type of anatomical layer included in the soft tissue of each of the user's face before and after the procedure specified by the above estimation The information regarding the change of may be determined as the information about the change of the face of the user.

예를 들면, 본 발명의 일 실시예에 따른 변화 정보 관리부(220)는, 시술 전 사용자의 얼굴의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치와, 시술 후 사용자의 얼굴(또는 시술 후 복수의 시점(時點)에서의 사용자의 얼굴)의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치를 비교하여 분석함으로써, 사용자의 얼굴의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치가 시술 전과 시술 후 변화되는 정보(예를 들면, 시술 전과 시술 후 사이의 뼈의 두께 변화, 시술 전과 시술 후 사이의 지방층의 두께 변화 등)를 사용자의 얼굴 변화에 관한 정보로서 결정할 수 있다.For example, change information management unit 220 according to an embodiment of the present invention, the shape and location of at least one type of anatomical layer included in the soft tissue of the user's face before the procedure, and the user's face (or Analyze and compare the shape and position of at least one type of anatomical layer included in the soft tissue of the user's face at a plurality of time points after the procedure, thereby analyzing at least one type of anatomical included in the soft tissue of the user's face. The information on the shape and position of the layer that changes before and after the procedure (for example, the change in the thickness of the bone between before and after the procedure and the change in the thickness of the fat layer between and after the procedure) is used as information about the change of the user's face. You can decide.

다음으로, 본 발명의 일 실시예에 따른 결과 정보 관리부(230)는, 변화 정보 관리부(220)에 의해 산출되는 사용자의 얼굴 변화에 관한 정보를 참조하여 시술과 연관된 평가 지표를 기준으로 하는 시술 결과 정보를 생성할 수 있다.Next, the result information manager 230 according to an embodiment of the present invention refers to information about the change of the face of the user calculated by the change information manager 220 based on the evaluation index associated with the procedure. Information can be generated.

본 발명의 일 실시예에 따르면, 시술과 연관된 평가 지표는, 시술의 목표, 시술에 사용되는 약물의 효과 또는 성능, 시술을 통해 사용자의 얼굴의 어느 부위가 어느 정도 변화가 생기는지 또는 어느 정도 변화가 이루어져야 하는지 등을 포함하는 개념일 수 있다. 또한, 본 발명의 일 실시예에 따르면, 이러한 시술과 연관된 평가 지표는, 공지의 머신 러닝 또는 빅데이터 알고리즘을 이용하여 복수의 사용자의 시술에 대한 결과 정보에 기초하여 설정되는 것일 수 있다. 또한, 본 발명의 일 실시예에 따르면, 이러한 시술과 연관된 평가 지표는, 사용자의 연령, 국가, 성별 등의 사용자 정보 및 시술의 종류, 시술에 사용되는 약물의 종류 등에 따라 설정되는 것일 수 있다.According to one embodiment of the invention, the evaluation index associated with the procedure, the goal of the procedure, the effect or performance of the drug used in the procedure, how much change or how much change in which part of the user's face through the procedure It can be a concept that includes what should be done. In addition, according to an embodiment of the present invention, the evaluation indicators associated with such a procedure may be set based on result information on a plurality of user's procedures using a known machine learning or big data algorithm. In addition, according to an embodiment of the present invention, the evaluation indicators associated with such a procedure may be set according to user information such as age, country, gender of the user, the type of the procedure, the type of the drug used in the procedure, and the like.

예를 들어, 본 발명의 일 실시예에 따른 결과 정보 관리부(230)는 시술로 인해 사용자의 얼굴에서 소정 지점 사이의 거리가 변화되거나 소정 지점 사이의 비율이 변화된 경우에, 해당 변화 거리 또는 해당 변화 비율을 해당 사용자가 받은 시술과 연관된 평가 지표에 따른 수치 범위와 비교하여 분석함으로써, 평가 지표 대비 부족(또는 초과)한 정도, 평가 지표의 만족 여부 등에 관한 시술 결과 정보를 생성할 수 있다.For example, the result information management unit 230 according to an embodiment of the present invention, when the distance between the predetermined point or the ratio between the predetermined point is changed in the face of the user due to the procedure, the corresponding change distance or the corresponding change By analyzing the ratio by comparing the ratio with the numerical range according to the evaluation index associated with the procedure received by the user, it is possible to generate the treatment result information about the degree of lack (or excess) of the evaluation index, the satisfaction of the evaluation index, and the like.

다른 예를 들어, 본 발명의 일 실시예에 따르면, 결과 정보 관리부(230)는, 시술을 위해 어떤 약물(예를 들면, 필러)이 주입되어 사용자의 얼굴의 소정 부위의 부피가 변화된 경우에, 해당 부피 변화를 해당 사용자가 받은 시술과 연관된 평가 지표(예를 들면, 약물에 따른 부피 변화 효과)에 따른 수치 범위와 비교하여 분석함으로써, 평가 지표 대비 부족(또는 초과)한 정도, 평가 지표의 만족 여부 등에 관한 시술 결과 정보를 생성할 수 있다.For another example, according to one embodiment of the present invention, the result information management unit 230, when a certain drug (for example, filler) is injected for the procedure to change the volume of a predetermined area of the user's face, The volume change is analyzed by comparing the volume change with the numerical range according to the evaluation index (e.g., the effect of the volume change due to the drug) associated with the procedure received by the user, so as to be insufficient (or over) the evaluation index, and to satisfy the evaluation index. Procedure result information regarding whether or not can be generated.

다음으로, 본 발명의 일 실시예에 따른 통신부(240)는 측정 데이터 획득부(210), 변화 정보 관리부(220) 및 결과 정보 관리부(230)로부터의/로의 데이터 송수신이 가능하도록 하는 기능을 수행할 수 있다.Next, the communication unit 240 according to an embodiment of the present invention performs a function to enable the data transmission and reception from / to the measurement data acquisition unit 210, change information management unit 220 and result information management unit 230 can do.

마지막으로, 본 발명의 일 실시예에 따른 제어부(250)는 측정 데이터 획득부(210), 변화 정보 관리부(220), 결과 정보 관리부(230) 및 통신부(240) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(250)는 정보 제공 시스템(200)의 외부로부터의/로의 데이터 흐름 또는 정보 제공 시스템(200)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 측정 데이터 획득부(210), 변화 정보 관리부(220), 결과 정보 관리부(230) 및 통신부(240)에서 각각 고유 기능을 수행하도록 제어할 수 있다.Finally, the controller 250 according to an embodiment of the present invention controls the flow of data between the measurement data acquisition unit 210, the change information management unit 220, the result information management unit 230, and the communication unit 240. Can be performed. That is, the controller 250 according to the present invention controls the data flow from / to the outside of the information providing system 200 or the data flow between each component of the information providing system 200, thereby obtaining the measurement data obtaining unit 210. In addition, the change information manager 220, the result information manager 230, and the communicator 240 may control to perform unique functions.

도 3은 본 발명의 일 실시예에 따른 시술에 대한 결과 정보가 제공되는 과정을 예시적으로 나타내는 도면이다.3 is a diagram illustrating a process of providing result information for a procedure according to an embodiment of the present invention.

도 4는 본 발명의 일 실시예에 따른 얼굴 변화에 관한 정보를 산출하는데 사용될 수 있는 얼굴 특징점을 예시적으로 나타내는 도면이다.4 is a diagram exemplarily illustrating facial feature points that may be used to calculate information about a face change according to an exemplary embodiment.

도 5 내지 도 23은 본 발명의 일 실시예에 따른 얼굴 변화에 관한 정보를 예시적으로 나타내는 도면이다.5 to 23 are diagrams exemplarily illustrating information about a face change, according to an exemplary embodiment.

먼저, 도 3을 참조하면, 본 발명의 일 실시예에 따른 정보 제공 시스템(200)은 사용자의 시술 전 및 시술 후 얼굴 각각의 경조직에 대한 3차원 컴퓨터 단층 촬영 데이터 또는 사용자의 시술 전 및 시술 후 안면 각각에 대한 3차원 스캐닝 데이터를 획득할 수 있다(301, 302).First, referring to FIG. 3, the information providing system 200 according to an embodiment of the present invention may include three-dimensional computed tomography data for hard tissue of each face before and after the procedure, or before and after the procedure. Three-dimensional scanning data for each of the faces may be obtained (301 and 302).

그 다음에, 본 발명의 일 실시예에 따라 정보 제공 시스템(200)은 그 사용자의 인종, 성별 및 나이 중 적어도 하나와 연관되는 적어도 하나의 해부학적 얼굴 모델(303, 304)을 선정하고, 그 선정되는 적어도 하나의 해부학적 얼굴 모델(303, 304)에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 또는 위치를 비강체 정합 알고리즘(305, 306)을 이용하여, 해당 사용자의 시술 전 및 시술 후 얼굴 각각의 형상에 관한 3차원 데이터에 부합하도록 정합 또는 변환함으로써, 그 사용자의 시술 전 및 시술 후 얼굴 각각의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 또는 위치를 추정할 수 있다(307, 308).Then, in accordance with an embodiment of the present invention, the information providing system 200 selects at least one anatomical face model 303, 304 associated with at least one of the user's race, gender, and age, The shape or position of at least one type of anatomical layer included in the selected at least one anatomical face model 303, 304 is determined using the non-rigid registration algorithms 305 and 306, before and after the procedure. By matching or transforming to match the three-dimensional data about the shape of each face, the shape or position of at least one type of anatomical layer included in the soft tissue of each face before and after the procedure can be estimated (307). , 308).

그 다음에, 본 발명의 일 실시예에 따른 정보 제공 시스템(200)은, 위의 추정에 의하여 특정되는 시술 전 및 시술 후 사용자의 얼굴(309, 310)을 참조하여 얼굴 변화에 관한 정보(311)를 산출할 수 있다.Next, the information providing system 200 according to an embodiment of the present invention refers to information 311 regarding the face change by referring to the faces 309 and 310 of the user before and after the procedure specified by the above estimation. ) Can be calculated.

도 4를 참조하면, 본 발명의 일 실시예에 따른 전술한 얼굴 변화에 관한 정보(311)는, 시술 전 및 시술 후 사용자의 얼굴 각각의 기준 특징점을 이용하여 산출될 수 있다.Referring to FIG. 4, the above-described face change information 311 according to an exemplary embodiment of the present invention may be calculated using reference feature points of the face of the user before and after the procedure.

예를 들어, 도 5 내지 도 8을 참조하면, 본 발명의 일 실시예에 따른 정보 제공 시스템(200)은 시술 전과 시술 후(구체적으로, 시술 2주 후, 시술 3주 후) 사용자의 얼굴 각각의 상안, 중안, 하안 및 전체 얼굴의 부피 변화에 관한 정보를 얼굴 변화에 관한 정보(311)로서 산출할 수 있다. 본 발명의 일 실시예에 따르면, 이러한 얼굴의 부피 변화에 관한 정보는, 사용자의 얼굴을 상단(501), 중단(502) 및 하단(503)으로 구분하고, 구분된 각각의 영역을 다시 얼굴 중심선(504)에 따라 좌우로 각각 구분하여 생성되는 여섯 영역의 볼륨(volume)을 기준으로 하여 측정되는 정보일 수 있다. 한편, 본 발명의 일 실시예에 따라 위의 여섯 영역의 볼륨을 모두 합하여 사용자 얼굴 전체 볼륨이 산출될 수도 있다. 한편, 본 발명의 일 실시예에 따라, 얼굴 부피 변화에 관한 정보는, 연부 조직 및 경부 조직으로 구분되어 측정될 수 있고, 얼굴 비대칭 교정 등에 따른 시술에 대한 결과 정보를 생성하는데 활용되는 정보일 수 있다.For example, referring to Figures 5 to 8, the information providing system 200 according to an embodiment of the present invention is each of the user's face before and after the procedure (specifically, two weeks after the procedure, three weeks after the procedure) Information about the volume change of the upper, middle, lower and upper faces of the can be calculated as the information 311 on the face change. According to one embodiment of the present invention, the information about the volume change of the face, the user's face is divided into the top 501, middle 502 and the bottom 503, and each of the divided areas are again the center line of the face According to 504, the information may be measured based on volumes of six regions that are generated by dividing left and right, respectively. Meanwhile, according to an embodiment of the present invention, the total volume of the user's face may be calculated by adding up the volumes of the six areas. Meanwhile, according to an embodiment of the present invention, the information about the facial volume change may be divided into soft tissues and cervical tissues and measured, and may be information used to generate result information on a procedure according to facial asymmetry correction. have.

다른 예를 들어, 도 9를 참조하면, 본 발명의 일 실시예에 따른 정보 제공 시스템(200)은 시술 전 및 시술 후(구체적으로, 시술 3주 후) 사용자의 얼굴 윤곽의 깊이(depth by contours) 변화에 관한 정보를 얼굴 변화에 관한 정보(311)로서 산출할 수 있다. 본 발명의 일 실시예에 따르면, 이러한 윤곽 깊이 변화에 관한 정보는 사용자 얼굴의 앞뒤 방향에 수직인 단면의 윤곽선을 코 끝에서 0.25mm 간격으로 순차적으로 생성되는 윤곽선을 기준으로 하여 측정되는 정보일 수 있다. 본 발명의 일 실시예에 따라 윤곽 깊이 변화에 관한 정보를 이용하여 얼굴 각 부위의 상대적인 높낮이 변화가 등고선에 의해 쉽게 판단될 수 있을 뿐만 아니라, 얼굴의 좌우 비대칭 및 얼굴 피부 곡면의 부드러운 정도 변화까지 측정될 수도 있다. 한편, 본 발명의 일 실시예에 따라 윤곽 깊이 변화에 관한 정보는, 서양인에 비해 상대적으로 앞뒤 길이가 짧은 아시아인 등에게 좌우 얼굴 폭을 줄이는 안면 윤곽 수술, 이마, 코, 턱 끝 등을 앞뒤로 융기시키는 이마 성형술, 코 성형술 또는 턱 끝 성형술 등의 시술에 대한 결과 정보를 생성하는데 활용되는 정보일 수 있다.For another example, referring to FIG. 9, the information providing system 200 according to an embodiment of the present invention may include depth by contours of a user's face before and after a procedure (specifically, three weeks after the procedure). ) Information on the change can be calculated as information 311 on the face change. According to an embodiment of the present invention, the information about the change of the contour depth may be information measured based on a contour that is sequentially generated at 0.25 mm intervals from the tip of the nose of the cross section perpendicular to the front and back direction of the user's face. have. According to an embodiment of the present invention, the relative height change of each part of the face can be easily determined by the contour line by using the information about the change of the contour depth, and the measurement of the right and left asymmetry of the face and the smoothness of the curved surface of the face are also measured. May be On the other hand, according to an embodiment of the present invention, the information on the contour depth change, facial contour surgery to reduce the left and right face width, such as Asian for shorter front and back length compared to Westerners, forehead, nose, chin tip, etc. It may be information that is used to generate the result information for the procedure, such as forehead plastic surgery, rhinoplasty or jaw plastic surgery.

또 다른 예를 들어, 도 10을 참조하면, 본 발명의 일 실시예에 따른 정보 제공 시스템(200)은 시술 전 및 시술 후 사용자의 얼굴 깊이에 따른 색채(depth by colormap) 변화에 관한 정보를 얼굴 변화에 관한 정보(311)로서 산출할 수 있다. 본 발명의 일 실시예에 따라 얼굴 깊이에 따른 색채 변화에 관한 정보는 위의 윤곽 깊이(depth by contour)와 같은 얼굴 높낮이 정보를 색채 변화를 통해 나타낸 것으로써, 사용자 얼굴 각 부위의 상대적인 높낮이 변화가 색상 비교를 통해 쉽게 판단될 수 있다. 한편, 본 발명의 일 실시예에 따라 얼굴 깊이에 따른 색채 변화에 관한 정보는, 이마, 코, 턱 끝 등을 앞뒤로 융기시키는 이마 성형술, 코 성형술, 턱 끝 성형술 등의 시술에 대한 결과 정보를 생성하는데 활용되는 정보일 수 있다.For another example, referring to FIG. 10, the information providing system 200 according to an embodiment of the present invention faces information regarding a change in color by depthmap according to the depth of the face of the user before and after the procedure. It can calculate as information 311 regarding a change. According to the exemplary embodiment of the present invention, the information about the color change according to the depth of the face is represented by changing the color of the face height information such as the depth by contour above, so that the relative height change of each part of the user's face is changed. It can be easily judged through color comparison. On the other hand, the information on the color change according to the depth of the face according to an embodiment of the present invention, generates the result information for the procedures such as forehead plastic surgery, nose plastic surgery, nose plastic surgery, such as forehead, nose, chin tip and back Information may be used to

또 다른 예를 들어, 도 11 내지 도 12를 참조하면, 본 발명의 일 실시예에 따른 정보 제공 시스템(200)은 시술 전 및 시술 후(구체적으로, 시술 2주 후 시술 3주 후) 사용자의 얼굴의 전후(AP projection; Anterior-Posterior projection) 투영 거리 변화에 관한 정보를 얼굴 변화에 관한 정보(311)로서 산출할 수 있다. 본 발명의 일 실시예에 따라 전후 투영 거리 변화에 관한 정보는 사용자 얼굴의 기준 특징점에서 얼굴 뒤쪽 기준 평면까지의 전후 방향 거리(1101)가 측정된 정보일 수 있다. 또한, 본 발명의 일 실시예에 따라 사용자 얼굴의 기설정된 지점에서 기준 평면까지의 전-후 방향 거리를 기준으로 하여 측정된 정보일 수도 있다. 본 발명의 일 실시예에 따라 위의 기준 평면은 좌우 귀 구슬(tragus)의 평균 위치를 지나고 얼굴 앞뒤 방향에 수직인 평면을 의미할 수 있다. 한편, 본 발명의 일 실시예에 따라 전후 투영 변화에 관한 정보는, 이마, 코, 턱 끝 등을 앞뒤로 융기시키는 이마 성형술, 코 성형술, 턱 끝 성형술 등의 시술에 대한 결과 정보를 생성하는데 활용되는 정보일 수 있다.For another example, referring to FIG. 11 to FIG. 12, the information providing system 200 according to an embodiment of the present invention may be used before or after the procedure (specifically, after 3 weeks after the procedure 2 weeks). The information about the change in the projection distance of the front and back (AP projection; Anterior-Posterior projection) of the face may be calculated as the information 311 on the change of the face. According to an embodiment of the present invention, the information about the front-rear projection distance change may be information in which the front-rear distance 1101 from the reference feature point of the user's face to the reference plane behind the face is measured. Further, according to an exemplary embodiment of the present invention, the measured information may be information measured based on a front-rear distance from a predetermined point of the user's face to a reference plane. According to an embodiment of the present invention, the reference plane may mean a plane that passes through the average position of the left and right ear beads and is perpendicular to the front and back direction of the face. Meanwhile, according to an embodiment of the present invention, the information about the front-rear projection change is used to generate the result information on the procedures such as forehead, nose, and chin, which lifts the forehead, nose, and chin tip back and forth. Information.

또 다른 예를 들어, 도 13 내지 도 14를 참조하면, 본 발명의 일 실시예에 따른 정보 제공 시스템(200)은 시술 전 및 시술 후(구체적으로, 시술 2주 후, 시술 3주 후) 사용자의 얼굴의 코 및 입술 길이(nose and lips length) 변화에 관한 정보를 얼굴 변화에 관한 정보(311)로서 산출할 수 있다. 본 발명의 일 실시예에 따라 코 및 입술 거리 변화에 관한 정보는, 콧등 길이(nasal bridge length), 콧등 높이(nasal bridge height), 심미선(aesthetic line) 등 코 및 입술의 거리와 관련된 다양한 기준 특징점 사이의 길이를 기준으로 측정된 정보일 수 있다. 한편, 본 발명의 일 실시예에 따라 코 및 입술의 거리 변화에 관한 정보는, 사용자의 코 및 입술과 관련된 상대적 길이 또는 절대적 길이의 변화를 나타내는 것일 수 있으며, 코 성형 수술, 턱 교정 수술, 양악 수술 등의 시술에 대한 결과 정보를 생성하는데 활용되는 정보일 수 있다.For another example, referring to FIGS. 13 to 14, the information providing system 200 according to an embodiment of the present invention is a user before and after the procedure (specifically, after 2 weeks after the procedure, 3 weeks after the procedure). Information about a change in nose and lips length of a face may be calculated as information 311 regarding a change in face. According to an embodiment of the present invention, the information on the nose and lip distance changes may include various reference feature points related to the distance between the nose and the lips such as a nasal bridge length, a nasal bridge height, an aesthetic line, and the like. It may be information measured based on the length between. Meanwhile, according to an embodiment of the present invention, the information about the distance change of the nose and the lips may indicate a change in the relative length or the absolute length associated with the nose and the lips of the user, and may include nose plastic surgery, jaw correction surgery, and jaw surgery. It may be information used to generate result information on a procedure such as surgery.

또 다른 예를 들어, 도 15 내지 도 16을 참조하면, 본 발명의 일 실시예에 따른 정보 제공 시스템(200)은 시술 전 및 시술 후 사용자의 얼굴의 코 및 입술의 각도(nose and lips angle) 변화에 관한 정보를 얼굴 변화에 관한 정보(311)로서 산출할 수 있다. 본 발명의 일 실시예에 따라 코 및 입술의 각도 변화에 관한 정보는, 비전두각(nasofrontal angel), 비순각(nasolabial angle), 입술턱각(labiomental angle) 등 코 및 입술 각도와 관련된 다양한 기준 특징점 사이의 각도를 기준으로 하여 측정된 정보일 수 있다. 한편, 본 발명의 일 실시예에 따라 코 및 입술의 각도 변화에 관한 정보는, 코 성형 수술 및 양악 수술 등의 시술에 대한 결과 정보를 생성하는데 활용되는 정보일 수 있다.For another example, referring to FIGS. 15 to 16, the information providing system 200 according to an embodiment of the present invention may include a nose and lips angle of the face and nose of the user before and after the procedure. Information on the change can be calculated as information 311 on the face change. According to an embodiment of the present invention, the information about the change of the angle of the nose and the lips may include various reference feature points related to the nose and lip angles such as nasofrontal angel, nasolabial angle, and labiomental angle. It may be information measured based on the angle of. Meanwhile, according to an embodiment of the present invention, the information about the change of the angle of the nose and the lips may be information used to generate result information for a procedure such as nose plastic surgery and jaw surgery.

또 다른 예를 들어, 도 17 내지 도 19를 참조하면, 본 발명의 일 실시예에 따른 정보 제공 시스템(200)은 시술 전 및 시술 후 사용자의 얼굴의 곡선 거리(curved length) 변화에 관한 정보를 얼굴 변화에 관한 정보(311)로서 산출할 수 있다. 본 발명의 일 실시예에 따라 곡선 거리 변화에 관한 정보는, 사용자 얼굴의 좌우 각각에 대하여 귀의 귀구슬(tragus) 점으로부터 눈, 코, 입 또는 턱 등의 기준 특징점에 이르는 곡선 거리 변화가 측정된 정보일 수 있다. 한편, 본 발명의 일 실시예에 따라 곡선 거리 변화에 관한 정보는, 눈 수술, 코 수술, 안면 윤곽술, 주름 성형술 등의 시술에 대한 결과 정보를 생성하는데 활용되는 정보일 수 있다.For another example, referring to FIGS. 17 to 19, the information providing system 200 according to an embodiment of the present invention may provide information regarding a change in the curved length of the face of the user before and after the procedure. It can calculate as information 311 regarding a face change. According to an embodiment of the present invention, the information on the change in the curve distance may be calculated by measuring a change in the curve distance from the tragus point of the ear to the reference feature point such as the eyes, the nose, the mouth, or the chin for each of the left and right sides of the user's face. Information. Meanwhile, according to an embodiment of the present invention, the information on the change in the curve distance may be information used to generate result information on a procedure such as eye surgery, nose surgery, facial contour surgery, wrinkle surgery, or the like.

또 다른 예를 들어, 도 20 내지 도 23을 참조하면, 본 발명의 일 실시예에 따른 정보 제공 시스템(200)은 시술 전 및 시술 후 사용자의 얼굴의 복수의 기준 특징점을 기준으로 하여 측정된 거리 또는 각도 변화에 관한 정보를 얼굴 변화에 관한 정보(311)로서 산출할 수 있다.For another example, referring to FIGS. 20 to 23, the information providing system 200 according to an embodiment of the present invention may measure distances based on a plurality of reference feature points of a face of a user before and after a procedure. Alternatively, the information on the angle change can be calculated as the information 311 on the face change.

또한, 본 발명의 일 실시예에 따른 정보 제공 시스템(200)은, 위의 추정에 의하여 특정되는 시술 전 사용자의 얼굴 각각의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치(307)와, 시술 후 사용자의 얼굴 각각의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치(308)를 비교하여 분석함으로써, 사용자의 얼굴 연조직에 포함되는 적어도 한 종류의 해부학적 레이어 각각의 형상 및 위치가 시술 전과 시술 후 변화되는 정보를 사용자의 얼굴 변화에 관한 정보(311)로서 산출할 수 있다.In addition, the information providing system 200 according to an embodiment of the present invention, the shape and position of the at least one type of anatomical layer included in the soft tissue of each of the user's face before the procedure specified by the above estimation 307 And comparing and analyzing the shape and position 308 of at least one type of anatomical layer included in each soft tissue of the user's face after the procedure, so that the shape of each of the at least one type of anatomical layer included in the soft tissue of the user's face is analyzed. And information in which the position changes before and after the procedure as the information 311 about the change of the face of the user.

그 다음에, 본 발명의 일 실시예에 따른 정보 제공 시스템(200)은, 위의 산출되는 사용자의 얼굴 변화에 관한 정보(311)를 참조하여 해당 시술과 연관된 평가 지표(312)를 기준으로 하는 시술 결과 정보를 생성(313)할 수 있다.Next, the information providing system 200 according to an embodiment of the present invention refers to the evaluation index 312 associated with the procedure with reference to the information 311 regarding the face change of the user calculated above. The procedure result information may be generated 313.

예를 들어, 본 발명의 일 실시예에 따른 정보 제공 시스템(200)은 위의 산출되는 사용자의 얼굴 변화에 관한 정보로부터 시술 전 및 시술 후의 사용자의 얼굴에서 변화된 수치(801, 1201, 1401, 1601, 1801, 1901, 2001, 2101, 2201, 2301)를 산출하고, 그 산출된 수치 정보와 해당 시술과 연관된 평가 지표를 비교하여 분석함으로써, 해당 시술을 통해 해당 시술과 연관된 평가 지표를 달성하였는지 여부에 관한 평가 정보를 포함하는 시술 결과 정보(313)를 생성할 수 있다.For example, the information providing system 200 according to an exemplary embodiment of the present invention may change the numerical values 801, 1201, 1401, and 1601 that are changed in the face of the user before and after the procedure from the information about the calculated face change of the user. , 1801, 1901, 2001, 2101, 2201, 2301), and by comparing the calculated numerical information with the evaluation indicators associated with the procedure, whether the evaluation index associated with the procedure was achieved through the procedure. The procedure result information 313 including the evaluation information related to the information may be generated.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.Embodiments according to the present invention described above can be implemented in the form of program instructions that can be executed by various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. medium) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be modified with one or more software modules to perform the processing according to the present invention, and vice versa.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.Although the present invention has been described by specific matters such as specific components and limited embodiments and drawings, it is provided only to help a more general understanding of the present invention, and the present invention is not limited to the above embodiments. Those skilled in the art may make various modifications and changes from this description.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the above-described embodiments, and the scope of the spirit of the present invention is defined not only in the claims below, but also in the ranges equivalent to or equivalent to the claims. Will belong to.

100: 통신망
200: 정보 제공 시스템
210: 측정 데이터 획득부
220: 변화 정보 관리부
230: 결과 정보 관리부
240: 통신부
250: 제어부
300: 디바이스100: network
200: information providing system
210: measurement data acquisition unit
220: change information management unit
230: result information management
240: communication unit
250: control unit
300: device

Claims

As a method of providing result information about the procedure,
Acquiring three-dimensional measurement data about each of the shape of the face before and after the procedure of the user,
Information about the face change of the user according to the procedure with reference to three-dimensional measurement data about the shape of the user's face obtained before the procedure and three-dimensional measurement data about the shape of the user's face obtained after the procedure Calculating a, and
Generating procedure result information based on an evaluation index associated with the procedure with reference to the calculated information on a face change of the user;
In the calculating step, comparing the shape and position of the plurality of anatomical layers included in the soft tissue of the user's face before the procedure and the shape and position of the plurality of anatomical layers included in the soft tissue of the user's face after the procedure By analyzing the information, the shape and position of each of the plurality of anatomical layers included in the soft tissue of the user's face is calculated as information about the change of the user's face before and after the procedure
Way.

The method of claim 1,
The three-dimensional measurement data includes at least one of three-dimensional scanning data of the user's face and three-dimensional imaging data of the hard tissue of the user's face.
Way.

The method of claim 1,
The calculating step,
It is included in the soft tissue of each face before and after the procedure by referring to at least one anatomical face model associated with the user information and three-dimensional measurement data about the shape of the face before and after the procedure. Estimating the shape and location of at least one type of anatomical layer, and
Determining information on the face change with reference to the face of the user before and after the procedure specified by the estimation
Including,
The anatomical face model includes modeled data regarding the shape and position of at least one type of anatomical layer included in the soft tissue of the face.
Way.

The method of claim 3,
The anatomical layer includes at least one of muscle, fat, blood vessels, nerves and lymphatic vessels
Way.

The method of claim 3,
In the estimating step, three-dimensional measurement data about the shape and position of at least one type of anatomical layer included in the at least one anatomical face model associated with the user and the shape of the face before and after the procedure of the user By matching each other, the shape and position of at least one kind of anatomical layer included in the soft tissue of each face before and after the procedure of the user are estimated.
Way.

The method of claim 1,
In the generating step, the information on the face change is calculated based on reference feature points specified in each of the user's face before and after the procedure.
Way.

The method of claim 1,
In the calculating step, calculating the information on the face change by comparing the user's face before the procedure and the user's face at a plurality of time points after the procedure, respectively;
Way.

The method of claim 1,
The face change information includes a length between predetermined face points, a distance between predetermined face points, an angle between a plurality of points of a face, a height between predetermined face points, an area of a predetermined face area, a volume of a predetermined face area, and a face. Includes a numerical value compared with respect to at least one of the ratios between the predetermined points
Way.

The method of claim 1,
In the generating step, the procedure result information includes evaluation information on whether the evaluation index associated with the procedure was achieved through the procedure.
Way.

A non-transitory computer readable recording medium for recording a computer program for executing the method according to claim 1.

As a system that provides information on the results of the procedure,
Measurement data acquisition unit for obtaining three-dimensional measurement data for each of the shape of the face before and after the procedure of the user,
Information about the face change of the user according to the procedure with reference to three-dimensional measurement data about the shape of the user's face obtained before the procedure and three-dimensional measurement data about the shape of the user's face obtained after the procedure Change information management unit to calculate a, and
A result information management unit configured to generate the procedure result information based on the evaluation index associated with the procedure by referring to the calculated information on the face change of the user;
The change information management unit may include shapes and positions of a plurality of anatomical layers included in soft tissues of the face of the user before the procedure and shapes and positions of a plurality of anatomical layers included in soft tissues of the face of the user after the procedure. By comparing and analyzing, the shape and position of each of the plurality of anatomical layers included in the soft tissue of the user's face is calculated as information about the change of the user's face before and after the procedure
system.