KR101757642B1

KR101757642B1 - Apparatus and method for 3d face modeling

Info

Publication number: KR101757642B1
Application number: KR1020160092237A
Authority: KR
Inventors: 안병규; 박종현
Original assignee: (주)레벨소프트
Priority date: 2016-07-20
Filing date: 2016-07-20
Publication date: 2017-07-13

Abstract

본 발명은 3D 얼굴 모델링 장치 및 방법에 관한 것으로, 보다 상세하게는 CT(computed tomography) 영상 데이터를 이용하여 3D(three-dimensional) 얼굴 모델을 생성하는 기술에 관한 것이다. 본 발명의 실시예에 따르면, 상기 CT 영상 데이터로부터 사용자의 머리뼈를 나타내는 사용자 골격 데이터 및 사용자의 얼굴 피부를 나타내는 피부 윤곽 데이터를 추출하는 데이터 추출부, 복수의 얼굴 근육이 배치된 가상의 머리뼈인 샘플(sample) 골격 데이터의 특징점과 상기 사용자 골격 데이터의 특징점을 매칭시켜 상기 사용자 골격 데이터에 상기 얼굴 근육을 배치시키는 데이터 매칭부 및 상기 얼굴 근육과 상기 피부 윤곽 데이터를 연결하고, 상기 사용자 골격 데이터, 상기 피부 윤곽 데이터 및 상기 얼굴 근육에 기초한 3D 얼굴 모델을 생성하는 얼굴 모델 생성부를 포함하되, 상기 특징점은 상기 샘플 골격 데이터 및 상기 사용자 골격 데이터에서 상기 각 얼굴 근육의 일 단 및 타 단이 배치되는 지점인 것을 특징으로 하는 3D 얼굴 모델링 장치가 제공될 수 있다.The present invention relates to a 3D face modeling apparatus and method, and more particularly, to a technique for generating a 3D (three-dimensional) face model using CT (computed tomography) image data. According to the embodiment of the present invention, there are provided a data extraction unit for extracting user skeleton data representing a user's head bone and skin contour data representing a user's face skin from the CT image data, A data matching unit for matching the feature points of the sample skeleton data and the feature points of the user skeleton data and arranging the face skeleton data in the user skeleton data, and a data matching unit for connecting the face skeleton data and the skin contour data, And a face model generation unit for generating the 3D contour data based on the skin contour data and the facial muscle, wherein the feature points are arranged such that one and the other ends of the respective facial muscles are arranged in the sample skeleton data and the user skeleton data The 3D face modeling apparatus comprising: It can be.

Description

TECHNICAL FIELD [0001] The present invention relates to a 3D face modeling apparatus and method,

본 발명은 3D 얼굴 모델링 장치 및 방법에 관한 것으로, 보다 상세하게는 CT(computed tomography) 영상 데이터를 이용하여 3D(three-dimensional) 얼굴 모델을 생성하는 기술에 관한 것이다.The present invention relates to a 3D face modeling apparatus and method, and more particularly, to a technique for generating a 3D (three-dimensional) face model using CT (computed tomography) image data.

3D 얼굴 모델링은 2D 얼굴 모델링에 비해 보다 정교한 이미지 처리가 가능하고, 보다 나은 사실감을 제공할 수 있다. 특히, 3D 얼굴 모델링을 통해 생성된 3D 얼굴 모델은 각 부의 변형을 통한 표정 연출이 자연스러우며 가상의 공간 상에서 임의로 설정되는 광원 또는 조명에 따른 얼굴 인상의 변화 역시 용이하게 연출할 수 있다. 이러한 이점 때문에 3D 얼굴 모델은 게임 캐릭터 또는 SNS 상의 아바타(avatar) 뿐만 아니라 얼굴 인식(face recognition) 분야에서도 활용될 수 있다.3D facial modeling provides more sophisticated image processing and better realism than 2D face modeling. In particular, the 3D face model generated through 3D face modeling can easily produce a facial expression through deformation of each part, and can also easily change the face raising according to a light source or illumination arbitrarily set in a virtual space. Because of this advantage, the 3D face model can be used not only in game characters or avatars on the SNS, but also in the field of face recognition.

지금까지의 3D 얼굴 모델은 임의로 생성된 폴리곤(polygon) 또는 3D 메쉬(Mesh) 모델에 사용자의 사진을 텍스쳐 맵핑(texture mapping)하는 방식으로 제작되어 상기 사용자의 실질적인 얼굴의 형상을 반영하지 못한다는 문제점을 내포하고 있다. 이러한 기존 방식으로 제작된 3D 얼굴 모델은, 특히, 높은 수준의 정확도를 요구하는 의료 및 미용 분야에서 사용되기 어렵다는 한계를 지니고 있다. 또한, 기존의 방식에 따른 3D 얼굴 모델은 하나의 덩어리로 표현되는 폴리곤을 활용하기 때문에 실제 골격의 움직임에 따른 얼굴의 표정 또는 인상의 변화를 모델링할 수 없다.The conventional 3D face model is manufactured by a method of texture mapping a user's photograph in a polygon or a 3D mesh model arbitrarily generated and does not reflect the shape of the actual face of the user . The 3D face model produced by this conventional method has a limitation that it is difficult to be used in the medical and cosmetic fields requiring a high level of accuracy. In addition, since the 3D face model according to the conventional method utilizes a polygon represented by a single lump, it is impossible to model a change in facial expression or impression depending on the movement of the actual bone structure.

정교한 3D 얼굴 모델을 획득하기 위한 방안으로 3D 스캐닝 기법이 도입된 바 있다. 하지만, 3D 스캐닝의 경우 비용이 많이 든다는 문제점을 가지고 있다. 또한, 3D 스캐닝 기법의 결과물은 스캐닝 대상의 겉 표면만 재현할 뿐이며, 전술한 폴리곤과 마찬가지로 하나의 덩어리진 입체 모델을 생성하기 때문에 사용자의 골격의 움직임에 따른 얼굴의 변화를 모델링할 수 없다.3D scanning techniques have been introduced as a way to acquire sophisticated 3D face models. However, 3D scanning has a problem that it is costly. In addition, the 3D scanning technique only reproduces the surface of the object to be scanned. Since the 3D scanning technique generates one solid 3D model like the polygon described above, it can not model the change of the face according to the movement of the user's skeleton.

한편, 비파괴 검사 방식에 따른 환자의 내부 기관 진단을 위해 CT 촬영 기술이 개발되었으나, 획득된 CT 영상을 3D 얼굴 모델링에 활용하는 방안에 대해서는 아직까지 구체적으로 연구가 진행된 바 없다.In the meantime, CT imaging technology has been developed to diagnose the internal organs of the patient according to the nondestructive inspection method. However, the method of utilizing the obtained CT image for 3D facial modeling has not been specifically studied yet.

본 발명은 전술한 문제를 해결하기 위해 안출된 것으로, 정밀한 3D 얼굴 모델링 기법을 제공하기 위한 목적을 가지고 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and has an object to provide a precise 3D face modeling technique.

또한, 본 발명은 사용자의 골격 구조 및 상기 골격 구조의 변화에 따른 3D 얼굴 모델의 변화를 재현하는 기법을 제공하기 위한 목적도 가지고 있다.The present invention also has an object to provide a technique for reproducing the skeletal structure of the user and the change of the 3D facial model according to the change of the skeletal structure.

본 발명의 실시예에 따르면, CT(computed tomography) 영상 데이터를 이용하여 3D(three-dimensional) 얼굴 모델을 생성하는 장치에 있어서, 상기 CT 영상 데이터로부터 사용자의 머리뼈를 나타내는 사용자 골격 데이터 및 사용자의 얼굴 피부를 나타내는 피부 윤곽 데이터를 추출하는 데이터 추출부; 복수의 얼굴 근육이 배치된 가상의 머리뼈인 샘플(sample) 골격 데이터의 특징점과 상기 사용자 골격 데이터의 특징점을 매칭시켜 상기 사용자 골격 데이터에 상기 얼굴 근육을 배치시키는 데이터 매칭부; 및 상기 얼굴 근육과 상기 피부 윤곽 데이터를 연결하고, 상기 사용자 골격 데이터, 상기 피부 윤곽 데이터 및 상기 얼굴 근육에 기초한 3D 얼굴 모델을 생성하는 얼굴 모델 생성부를 포함하되, 상기 특징점은 상기 샘플 골격 데이터 및 상기 사용자 골격 데이터에서 상기 각 얼굴 근육의 일 단 및 타 단이 배치되는 지점인 것을 특징으로 하는 3D 얼굴 모델링 장치가 제공될 수 있다.According to an embodiment of the present invention, there is provided an apparatus for generating a three-dimensional (3D) face model using CT (computed tomography) image data, the apparatus comprising: user skeleton data representing a user's skeleton from the CT image data; A data extracting unit for extracting skin contour data representing facial skin; A data matching unit for matching the feature points of sample skeleton data, which are virtual skeleton data of a plurality of facial muscles, with feature points of the user skeleton data and arranging the facial muscles in the user skeleton data; And a face model generation unit that connects the face muscle and the skin contour data and generates a 3D face model based on the user skeleton data, the skin contour data, and the facial muscle, wherein the feature points include the sample skeleton data, Wherein the face skeleton data is a point at which one end and the other end of each of the facial muscles are arranged in the user skeleton data.

여기서, 상기 피부 윤곽 데이터는 복수의 영역으로 구분되고, 상기 복수의 영역의 피부 윤곽 데이터 중 적어도 어느 하나의 영역의 피부 윤곽 데이터는 상기 얼굴 근육과 연결된다.Here, the skin contour data is divided into a plurality of areas, and skin contour data of at least one of the skin contour data of the plurality of areas is connected to the face muscle.

여기서, 상기 얼굴 모델 생성부는, 상기 각 영역의 피부 윤곽 데이터의 특성에 기초하여 상기 각 영역의 피부 윤곽 데이터에 연결되는 상기 얼굴 근육의 파라미터를 개별적으로 산출하되, 상기 파라미터는 상기 얼굴 근육의 움직임 및 수축/이완 정도를 결정하는 적어도 하나의 계수이다.Here, the face model generation unit may separately calculate the parameters of the facial muscle connected to the skin contour data of the respective areas based on the characteristics of the skin contour data of the respective areas, Is at least one coefficient that determines the degree of contraction / relaxation.

여기서, 상기 피부 윤곽 데이터의 특성은 상기 피부 윤곽 데이터의 두께 및 위치를 포함한다.Here, the characteristics of the skin contour data include the thickness and the position of the skin contour data.

여기서, 상기 데이터 매칭부는 서로 다른 머리뼈의 형상을 나타내는 복수의 샘플 골격 데이터 중 상기 사용자 골격 데이터가 나타내는 머리뼈의 형상과 가장 유사한 형상의 머리뼈에 해당하는 샘플 골격 데이터를 선택한다.Here, the data matching unit selects sample skeleton data corresponding to a head bone having a shape most similar to a shape of a head bone represented by the user skeleton data among a plurality of sample skeleton data representing different shapes of a head bone.

여기서, 상기 데이터 매칭부는, 머리뼈의 형상에 따른 얼굴 근육의 배치 정보를 저장하고 있는 데이터베이스(database)를 참조하여 상기 선택된 샘플 골격 데이터에 상기 얼굴 근육을 배치한다.Here, the data matching unit arranges the facial muscles in the selected sample skeleton data by referring to a database storing information on the arrangement of facial muscles according to the shape of the skeleton.

여기서, 상기 데이터베이스는 상기 각 샘플 골격 데이터가 나타내는 머리뼈의 형상에 따른 가상의 피부 윤곽 데이터인 샘플 피부 데이터를 더 저장하고, 상기 CT 영상 데이터는 사용자의 머리의 일부를 촬영한 부분 CT 영상 데이터이고, 상기 데이터 추출부는 상기 부분 CT 영상 데이터로부터 상기 머리의 일부의 머리뼈를 나타내는 부분 사용자 골격 데이터 및 상기 머리의 일부의 피부를 나타내는 부분 피부 윤곽 데이터를 추출하고, 상기 데이터 매칭부는, 상기 부분 사용자 골격 데이터와 가장 유사한 머리뼈의 일부를 포함하는 샘플 골격 데이터를 선별하고, 상기 선별된 샘플 골격 데이터에 기초하여 상기 부분 사용자 골격 데이터의 결손 부분을 보충한 전체 사용자 골격 데이터를 생성하고, 상기 선별된 샘플 골격 데이터에 연관된 샘플 피부 데이터에 기초하여 상기 부분 피부 윤곽 데이터의 결손 부분을 보충한 전체 피부 윤곽 데이터를 생성하고, 상기 선별된 샘플 골격 데이터에 배치된 상기 얼굴 근육에 기초하여 상기 전체 사용자 골격 데이터에 상기 얼굴 근육을 배치하고, 상기 얼굴 모델 생성부는 상기 전체 사용자 골격 데이터에 배치된 얼굴 근육과 상기 전체 피부 윤곽 데이터를 연결하여 3D 얼굴 모델을 생성한다.Here, the database further stores sample skin data, which is virtual skin contour data according to the shape of the head bone represented by the respective sample skeleton data, and the CT image data is partial CT image data of a part of the user's head Wherein the data extracting unit extracts partial user skeleton data representing a head bone of a part of the head and partial skin contour data representing a skin of a part of the head from the partial CT image data, And extracts the skeleton data of a portion of the head bone most similar to the data and generates total user skeleton data supplemented with the missing portion of the partial user skeleton data based on the selected sample skeleton data, On the sample skin data associated with the skeleton data Wherein the face skeleton data generation unit generates the entire skin contour data supplemented with the defective portion of the partial skin contour data on the basis of the face skeleton data and the facial muscle arranged on the selected user skeleton data, The face model generation unit generates a 3D face model by connecting the facial muscles arranged in the entire user skeleton data and the entire skin contour data.

여기서, 상기 데이터 추출부는 사용자의 머리의 일부분을 촬영한 부분 CT 영상 데이터로부터 상기 머리의 일부의 머리뼈를 나타내는 부분 사용자 골격 데이터를 추출하고, 상기 데이터 매칭부는 부분 사용자 골격 데이터를 기초로 복수의 샘플 골격 데이터를 선별하고, 상기 얼굴 모델 생성부는 상기 복수의 샘플 골격 데이터에 기초한 3D 얼굴 모델을 개별적으로 생성하고, 상기 사용자의 얼굴을 촬영한 적어도 하나의 2D 영상 데이터와 상기 개별적으로 생성된 3D 얼굴 모델을 비교하여 상기 2D 영상 데이터가 나타내는 사용자의 얼굴과 가장 유사한 3D 얼굴 모델을 선택한다.Here, the data extracting unit extracts partial user skeleton data representing a head bone of a part of the head from partial CT image data of a portion of a user's head, and the data matching unit extracts a plurality of samples Skeleton data, and the face model generation unit separately generates 3D face models based on the plurality of sample skeleton data, and generates at least one 2D image data of the face of the user and the individually generated 3D face models And selects a 3D face model most similar to the face of the user represented by the 2D image data.

여기서, 상기 데이터 매칭부는 상기 부분 사용자 골격 데이터 및 상기 사용자의 얼굴의 외형에 대한 정보인 사용자 부가 정보에 기초하여 복수의 샘플 골격 데이터를 선별하고, 상기 사용자 부가 정보는 상기 사용자의 모자 크기, 안경 치수 및 머리 둘레 치수 정보를 포함한다.Here, the data matching unit selects a plurality of sample skeleton data based on the user additional information, which is information on the partial user skeleton data and the outline of the face of the user, and the user additional information includes a hat size of the user, And head circumference dimension information.

여기서, 상기 얼굴 모델 생성부는, 상기 사용자의 얼굴을 촬영한 2D 영상 데이터로부터 획득한 색상 정보를 상기 피부 윤곽 데이터에 적용한다.Here, the face model generation unit applies color information acquired from the 2D image data of the face of the user to the skin contour data.

여기서, 사용자의 입력을 수신하는 입력부를 더 포함하고, 상기 얼굴 모델 생성부는, 상기 입력부를 통해 상기 사용자 골격 데이터의 변형과 관련된 사용자 입력을 수신하고, 상기 사용자 골격 데이터의 변형에 기초하여 상기 사용자 골격 데이터에 배치된 상기 얼굴 근육의 배치를 조정하고, 상기 변형된 사용자 골격 데이터 및 상기 배치가 조정된 얼굴 근육에 기초하여 상기 피부 윤곽 데이터의 형상을 조정한다.Wherein the face model generation unit receives a user input related to the deformation of the user skeleton data through the input unit, and based on the deformation of the user skeleton data, Adjusts the arrangement of the facial muscles disposed in the data, and adjusts the shape of the skin contour data based on the modified user skeleton data and the facial muscles whose arrangement is adjusted.

여기서, 상기 얼굴 모델 생성부는 상기 사용자 골격 데이터의 변형 및 상기 조정된 얼굴 근육의 배치에 따른 상기 얼굴 근육의 파라미터를 재계산하고, 상기 피부 윤곽 데이터의 형상을 조정할 때 상기 재계산된 얼굴 근육의 파라미터가 참조된다.The facial model generator recalculates parameters of the facial muscles according to the deformation of the user skeleton data and the arrangement of the facial muscles and adjusts the parameters of the recalculated facial muscles when adjusting the shape of the skin contour data .

본 발명의 다른 실시예에 따르면, CT(computed tomography) 영상 데이터를 이용하여 3D(three-dimensional) 얼굴 모델을 생성하는 방법에 있어서, 상기 CT 영상 데이터로부터 머리뼈를 나타내는 사용자 골격 데이터 및 얼굴 피부를 나타내는 피부 윤곽 데이터를 추출하는 단계; 복수의 얼굴 근육이 배치된 가상의 머리뼈인 샘플(sample) 골격 데이터의 특징점과 상기 사용자 골격 데이터의 특징점을 매칭시켜 상기 사용자 골격 데이터에 상기 얼굴 근육을 배치시키는 단계; 및 상기 얼굴 근육과 상기 피부 윤곽 데이터를 연결하고, 상기 사용자 골격 데이터, 상기 피부 윤곽 데이터 및 상기 얼굴 근육에 기초한 3D 얼굴 모델을 생성하는 단계를 포함하되, 상기 특징점은 상기 샘플 골격 데이터 및 상기 사용자 골격 데이터에서 상기 각 얼굴 근육의 일 단 및 타 단이 배치되는 지점인 것을 특징으로 하는 3D 얼굴 모델링 방법이 제공될 수 있다.According to another embodiment of the present invention, there is provided a method of generating a three-dimensional (3D) face model using CT (computed tomography) image data, the method comprising: Extracting skin contour data representing the skin contour; Matching the feature points of sample skeleton data, which are hypothetical skeletons of a plurality of facial muscles, with the feature points of the user skeleton data, and arranging the facial muscles in the user skeleton data; And concatenating the facial muscle and the skin contour data to produce a 3D facial model based on the user skeleton data, the skin contour data, and the facial muscle, wherein the feature points include the sample skeleton data and the user skeleton data And the 3D facial modeling method is characterized in that data is a point where one end and the other end of each facial muscle are disposed.

본 발명의 실시예에 따르면, 사용자의 머리뼈 구조, 얼굴 근육의 배치 및 움직임에 따른 얼굴 표정 변화가 적용된 정밀한 3D 얼굴 모델을 제공할 수 있다.According to the embodiment of the present invention, it is possible to provide a precise 3D face model to which a change in facial expression according to a user's head bone structure, facial muscle arrangement, and movement is applied.

또한, 본 발명의 실시예에 따르면, 사용자의 머리뼈의 구조가 변경되거나 골격이 움직이는 경우 상기 머리뼈 구조의 변경 또는 골격의 움직임에 따른 얼굴 표정의 변화를 모델링할 수 있다.Also, according to the embodiment of the present invention, when the structure of the user's head bone is changed or the skeleton is moved, the change of the facial expression according to the change of the skeletal structure or the movement of the skeleton can be modeled.

또한, 본 발명의 실시예에 따르면, 부분적으로 촬영된 CT 영상 데이터로부터 전체 3D 얼굴 모델을 생성할 수 있다.Further, according to the embodiment of the present invention, an entire 3D face model can be generated from partially captured CT image data.

도 1은 본 발명의 실시예에 따른 3D 얼굴 모델링 장치를 나타낸 도면이다.
도 2는 본 발명의 실시예에 따라 CT 영상 데이터로부터 추출된 사용자 골격 데이터 및 피부 윤곽 데이터를 나타낸 도면이다.
도 3은 얼굴 근육이 배치된 샘플 골격 데이터를 나타낸 도면이다.
도 4는 얼굴 근육이 배치된 샘플 골격 데이터와 사용자 골격 데이터를 매칭시키고, 상기 매칭 결과에 따라 생성된 3D 얼굴 모델을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 사용자 골격 데이터, 얼굴 근육 및 피부 윤곽 데이터의 일부를 나타낸 도면이다.
도 6은 부분 CT 영상 데이터로부터 전체 사용자 골격 데이터 및 전체 피부 윤곽 데이터를 생성하는 방식을 나타낸 도면이다.
도 7은 부분 CT 영상 데이터로부터 3D 얼굴 모델을 생성하는 다른 실시예를 나타낸 도면이다.
도 8은 본 발명의 실시예에 따른 3D 얼굴 모델링 방법을 나타낸 도면이다.1 is a diagram illustrating a 3D face modeling apparatus according to an embodiment of the present invention.
2 is a diagram illustrating user skeleton data and skin contour data extracted from CT image data according to an embodiment of the present invention.
3 is a view showing sample skeleton data in which facial muscles are arranged.
4 is a view showing a 3D face model generated by matching the sample skeleton data in which the facial muscles are arranged and the user skeleton data, and the matching result.
5 is a diagram showing a part of user skeleton data, facial muscle and skin contour data according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating a method of generating entire user skeleton data and entire skin contour data from partial CT image data.
7 is a view showing another embodiment for generating a 3D face model from partial CT image data.
8 is a diagram illustrating a 3D face modeling method according to an embodiment of the present invention.

본 발명은 3D 얼굴 모델링 장치 및 방법에 관한 것으로, 보다 상세하게는 CT(computed tomography) 영상 데이터를 이용하여 3D(three-dimensional) 얼굴 모델을 생성하는 기술에 관한 것이다. 이하, 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.The present invention relates to a 3D face modeling apparatus and method, and more particularly, to a technique for generating a 3D (three-dimensional) face model using CT (computed tomography) image data. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 실시예에 따른 3D 얼굴 모델링 장치(100)를 나타낸 도면이다. 본 발명의 실시예에 따르면, 3D 얼굴 모델링 장치(100)는 데이터 추출부(110), 데이터 매칭부(120) 및 얼굴 모델 생성부(130)를 포함할 수 있다. 본 발명을 실시하는 방식에 따라서, 3D 얼굴 모델링 장치(100)는 입력부(140)를 더 포함할 수도 있다. 또한, 본 발명을 실시하는 방식에 따라서 복수의 구성 요소가 하나의 구성 요소로 합쳐지거나 일부의 구성 요소가 생략될 수 있다.1 is a diagram illustrating a 3D face modeling apparatus 100 according to an embodiment of the present invention. The 3D facial modeling apparatus 100 may include a data extracting unit 110, a data matching unit 120, and a face model generating unit 130. The 3D face modeling apparatus 100 may further include an input unit 140 according to a method of implementing the present invention. Further, according to the manner of practicing the present invention, a plurality of constituent elements may be combined into one constituent element or a part of constituent elements may be omitted.

본 발명의 실시예에 따른 3D 얼굴 모델링 장치(100)의 데이터 추출부(110), 데이터 매칭부(120) 및 얼굴 모델 생성부(130)는 단일 또는 복수의 프로세서(processor)를 통해 구현될 수 있다. 또는, 데이터 추출부(110), 데이터 매칭부(120) 및 얼굴 모델 생성부(130)는 각각 개별적인 컴퓨터 프로그램 모듈로서 구현될 수 있다. 또는, 데이터 추출부(110), 데이터 매칭부(120) 및 얼굴 모델 생성부(130)는 하드웨어와 소프트웨어가 복합된 형태로 구현될 수도 있다.The data extracting unit 110, the data matching unit 120 and the face model generating unit 130 of the 3D facial modeling apparatus 100 according to the embodiment of the present invention can be implemented through a single processor or a plurality of processors have. Alternatively, the data extracting unit 110, the data matching unit 120, and the face model generating unit 130 may be implemented as individual computer program modules, respectively. Alternatively, the data extracting unit 110, the data matching unit 120, and the facial model generating unit 130 may be implemented by a combination of hardware and software.

한편, 본 발명에 따른 3D 얼굴 모델링 장치(100)는 CT(computed tomography) 영상 데이터를 이용하여 3D(three-dimensional) 얼굴 모델을 생성할 수 있다. 여기서, 상기 CT 영상 데이터는 사용자 또는 촬영 대상자의 머리 부분의 CT 영상 데이터 일 수 있다. 또한, 본 발명의 바람직한 실시예에 따르면, 상기 CT 영상 데이터는 상기 사용자의 머리 부분 전체를 촬영한 것일 수 있다. 또는, 상기 CT 영상 데이터는 상기 머리 부분의 일부를 촬영한 CT 영상 데이터일 수 있다. 한편, 상기 CT 영상 데이터는 3D 얼굴 모델링 장치(100)에 저장된 데이터이거나 데이터베이스(Database) 등의 외부 장치로부터 유선 또는 무선으로 전송된 것일 수 있다. 또는, CT 영상 데이터는 별도의 CD-ROM/DVD-ROM 및 플래시 메모리 등의 미디어에 저장되어 3D 얼굴 모델링 장치(100)에 제공될 수도 있다.Meanwhile, the 3D facial modeling apparatus 100 according to the present invention can generate a 3D (three-dimensional) facial model using CT (computed tomography) image data. Here, the CT image data may be CT image data of a head part of a user or a photographing target. In addition, according to a preferred embodiment of the present invention, the CT image data may be obtained by photographing the entire head portion of the user. Alternatively, the CT image data may be CT image data of a part of the head part. The CT image data may be data stored in the 3D facial modeling device 100 or transmitted from an external device such as a database by wire or wirelessly. Alternatively, the CT image data may be stored in media such as a separate CD-ROM / DVD-ROM and flash memory and provided to the 3D facial modeling device 100.

데이터 추출부(110)는 상기 CT 영상 데이터로부터 사용자의 머리뼈를 나타내는 사용자 골격 데이터 및 사용자의 얼굴 피부를 나타내는 피부 윤곽 데이터를 추출할 수 있다. 본 발명의 바람직한 실시예에 따르면, CT 영상 데이터는 촬영 대상으로부터 획득된 연속적인 2D 단층 영상을 결합한 것으로, 3차원적인 데이터 구조(예를 들어, 3차원 공간 상에서의 좌표 정보 및 상기 좌표에서의 수치/값들의 집합)를 가질 수 있다. 상기 3차원적인 데이터 구조의 각 복셀(voxel)은 CT 영상 촬영을 위해 사용되는 전파의 투과 여부 또는 투과 정도에 따른 개별적인 값을 가질 수 있다. 본 발명의 실시예에 따르면, 상기 데이터 추출부(110)는 상기 복셀의 3차원 좌표 또는 상기 복셀의 값에 기초하여 상기 CT 영상 데이터로부터 사용자의 머리뼈를 나타내는 사용자 골격 데이터 부분만 추출할 수 있다. 또한, 상기 데이터 추출부(110)는 상기 복셀의 3차원 좌표 또는 상기 복셀의 값에 기초하여 상기 CT 영상 데이터로부터 사용자의 얼굴 피부를 나타내는 피부 윤곽 데이터를 추출할 수 있다. 피부는 신체에서 공기와 직접적으로 접촉되는 최외곽부이기 때문에 상기 CT 영상 데이터에서 공기를 나타내는 영역에 인접하면서 동일한 재질, 즉 피부를 나타내는 값을 가지는 복셀의 집합을 피부 윤곽 데이터인 것으로 가정할 수 있다. 그리고, 사용자 골격 데이터는 뼈를 나타내는 값을 가지는 복셀의 집합인 것으로 가정할 수 있다. 물론, 이는 예시적 사항에 불과한 것으로 피부 윤곽 데이터 및 사용자 골격 데이터는 보다 다양한 방식으로 추출될 수 있다. CT 영상 데이터로부터 추출된 사용자 골격 데이터 및 피부 윤곽 데이터의 예시는 차후 설명될 도 2에 도시되어있다.The data extracting unit 110 may extract user skeleton data representing the user's head bone and skin contour data representing the user's face skin from the CT image data. According to a preferred embodiment of the present invention, the CT image data is a combination of continuous 2D tomographic images obtained from an object to be imaged, and includes a three-dimensional data structure (for example, coordinate information on a three- / A set of values). Each of the voxels of the three-dimensional data structure may have individual values depending on whether the radio waves used for CT imaging are transmitted or transmitted. According to the embodiment of the present invention, the data extracting unit 110 may extract only the user skeleton data portion representing the user's head bone from the CT image data based on the three-dimensional coordinate of the voxel or the value of the voxel . The data extracting unit 110 may extract skin contour data representing the face of the user from the CT image data based on the three-dimensional coordinate of the voxel or the value of the voxel. Since the skin is the outermost part directly in contact with the air in the body, it can be assumed that the set of voxels having the same material, that is, the skin, is adjacent to the area representing air in the CT image data and is skin contour data . The user skeleton data can be assumed to be a set of voxels having a value representing a bone. Of course, this is merely an example, and skin contour data and user skeleton data can be extracted in more various ways. An example of user skeleton data and skin contour data extracted from the CT image data is shown in FIG. 2 to be described later.

데이터 매칭부(120)는 복수의 얼굴 근육이 배치된 가상의 머리뼈인 샘플(sample) 골격 데이터의 특징점과 상기 사용자 골격 데이터의 특징점을 매칭시켜 상기 사용자 골격 데이터에 상기 얼굴 근육을 배치시킬 수 있다. 상기 샘플 골격 데이터, 얼굴 근육, 특징점 및 매칭 방식에 대해서는 도 3 내지 도 4를 설명할 때 보다 상세하게 다루도록 한다.The data matching unit 120 may match the feature points of the skeleton data of the sample skeleton that is a virtual skeleton in which a plurality of facial muscles are disposed and the feature points of the user skeleton data to locate the facial muscles in the user skeleton data . The sample skeleton data, facial muscles, feature points, and matching method will be described in more detail in FIGS. 3 to 4.

얼굴 모델 생성부(130)는 상기 얼굴 근육과 상기 피부 윤곽 데이터를 연결할 수 있다. 이를 통해 개별적인 사용자 골격 데이터, 얼굴 근육 및 피부 윤곽 데이터가 상호 연결될 수 있다. 발명의 실시예에 따른 3D 얼굴 모델은 상기 연결된 사용자 골격 데이터, 피부 윤곽 데이터 및 얼굴 근육 그 자체일 수 있으나, 본 발명은 이에 한정되지 않는다. 본 발명에 따르면, 상기 연결된 사용자 골격 데이터, 얼굴 근육 및 피부 윤곽 데이터의 상호 작용을 통해 형성되는 얼굴 표정이 적용된 3D 얼굴 모델이 제공될 수 있다. 본 발명의 바람직한 실시예에 따르면, 상기 얼굴 표정은 상기 사용자 골격 데이터의 특성(형상 등) 및 상기 얼굴 근육의 특성(위치, 움직임, 궤적 등)에 의해 형상이 변형되는 피부 윤곽 데이터를 통해 구현될 수 있다. 특히, 본 발명에 따르면, 상기 사용자 골격 데이터의 움직임 또는 변형에 따른 얼굴 표정을 모델링할 수 있다. 이에 대해서는 도 5를 설명할 때 보다 상세하게 다루도록 한다.The face model generation unit 130 may connect the facial muscle and the skin contour data. This allows individual user skeleton data, facial muscle and skin contour data to be interconnected. The 3D face model according to an embodiment of the present invention may be the connected user skeleton data, skin contour data, and facial muscle itself, but the present invention is not limited thereto. According to the present invention, a 3D face model to which a facial expression formed through interaction of the connected user skeleton data, facial muscle and skin contour data is applied can be provided. According to a preferred embodiment of the present invention, the facial expression is implemented through skin contour data whose shape is modified by the characteristics (shape etc.) of the user skeleton data and the characteristics (position, motion, trajectory, etc.) of the facial muscle . In particular, according to the present invention, the facial expression according to the movement or deformation of the user skeleton data can be modeled. This will be discussed in more detail in FIG.

입력부(140)는 사용자의 입력을 수신할 수 있다. 본 발명을 실시하는 방식에 따라서, 상기 입력부(140)는 프로그램 상의 변수 입력 또는 조절을 위한 구성요소(예를 들어, 디스플레이 상으로 출력되는 대화 상자, 터치 또는 마우스 드래그 등을 통해 제어되는 그래픽 구성요소 등), GUI(graphic user interface), 터치 디스플레이, 버튼, 레버, 핸들, 키보드 또는 마우스일 수 있다. 다만, 본 발명은 이에 한정되지 않는다. 본 발명의 바람직한 실시예에 따르면, 사용자는 입력부(140)를 통해 사용자 골격 데이터 또는 피부 윤곽 데이터의 변형과 관련된 조작을 입력할 수 있다.The input unit 140 may receive a user input. In accordance with the manner in which the present invention is implemented, the input unit 140 may include a component for inputting or adjusting variables on a program (e.g., a graphical component controlled via a dialog box, a touch or a mouse drag, , A graphical user interface (GUI), a touch display, a button, a lever, a handle, a keyboard, or a mouse. However, the present invention is not limited thereto. According to a preferred embodiment of the present invention, the user can input an operation related to the transformation of the user skeleton data or the skin contour data through the input unit 140.

한편, 본 발명을 실시하는 방식에 따라서 3D 얼굴 모델링 장치(100)는 저장부(미도시) 또는 데이터베이스(미도시)를 포함할 수 있다. 상기 저장부 또는 데이터베이스는 샘플 골격 데이터, 얼굴 근육이 배치된 샘플 골격 데이터, 샘플 피부 데이터 또는 머리뼈의 형상에 따른 얼굴 근육의 배치 정보 등의 정보를 저장할 수 있다. 또한, 3D 얼굴 모델링 장치(100)는 출력부(미도시)를 포함할 수 있으며, 상기 출력부를 통해 사용자에게 정보(예를 들어, 3D 얼굴 모델)를 출력할 수 있다. Meanwhile, the 3D facial modeling apparatus 100 may include a storage unit (not shown) or a database (not shown) according to a method of implementing the present invention. The storage unit or the database may store information such as sample skeleton data, sample skeleton data in which the facial muscles are arranged, sample skin data, or information on the arrangement of facial muscles according to the shape of the head bone. In addition, the 3D facial modeling device 100 may include an output unit (not shown), and may output information (e.g., a 3D face model) to the user through the output unit.

도 2는 본 발명의 실시예에 따라 CT 영상 데이터(i100)로부터 추출된 사용자 골격 데이터(i200) 및 피부 윤곽 데이터(i300)를 나타낸 도면이다.2 is a diagram showing user skeleton data i200 and skin contour data i300 extracted from CT image data i100 according to an embodiment of the present invention.

전술한 바에 따르면, 사용자 골격 데이터(i200) 및 피부 윤곽 데이터(i300)는 CT 영상 데이터(i100)의 각 복셀의 3차원 좌표 또는 상기 복셀의 값에 기초하여 상기 CT 영상 데이터(i100)로부터 개별적으로 추출된 것일 수 있다. 이에 따라, 상기 사용자 골격 데이터(i200) 및 상기 피부 윤곽 데이터(i300)는 상기 CT 영상 데이터(i100)의 서브셋(subset)일 수 있으나, 본 발명은 이에 한정되지 않는다. 상기 사용자 골격 데이터(i200) 및 상기 피부 윤곽 데이터(i300)도 상기 CT 영상 데이터(i100)와 마찬가지로 3차원적인 데이터 구조를 가질 수 있다. 그리고, 상기 사용자 골격 데이터(i200) 및 상기 피부 윤곽 데이터(i300)는 상기 CT 영상 데이터(i100)로부터 추출된 이후 별도의 처리 과정을 거친 것일 수 있다. 예를 들어, 상기 사용자 골격 데이터(i200)에서 턱뼈 또는 목뼈 등 임의적으로 움직일 수 있는 관절 부위는 별도로 마킹(marking) 처리될 수 있으며, 상기 사용자 골격 데이터(i200)는 상기 마킹된 관절의 움직임을 제어하기 위한 정보를 추가적으로 포함할 수 있다. 여기서, 상기 마킹은 상기 움직일 수 있는 관절 부위를 사용자 골격 데이터(i200)의 타 부분과 구별하기 위한 것으로, 특정 색상의 원 또는 다각형 등의 별도의 그래픽 요소 등을 통해 표현될 수 있다. 또는 상기 사용자 골격 데이터(i200)는 용이한 형상 제어를 위해 적어도 하나의 영역으로 구별될 수 있으며, 상기 사용자 골격 데이터(i200)는 각 영역의 사용자 골격 데이터(i200)의 형상을 제어하기 위한 정보가 추가적으로 포함할 수 있다. 상기 피부 윤곽 데이터(i300)는 복수의 영역으로 구분될 수 있다. 각 영역의 피부 윤곽 데이터(i300)는 위치에 따라서 얼굴 근육과 연결되거나 연결되지 않을 수 있다. 또는, 상기 피부 윤곽 데이터(i300)의 각 영역의 형상을 제어하기 위한 정보가 상기 피부 윤곽 데이터(i300)에 추가될 수도 있다. 하지만, 본 발명에 따른 사용자 골격 데이터(i200) 및 피부 윤곽 데이터(i300)에 대한 별도의 처리 과정은 이에 한정되지 않는다.According to the above description, the user skeleton data i200 and the skin contour data i300 are individually extracted from the CT image data (i100) based on the three-dimensional coordinates of the respective voxels of the CT image data (i100) It may be extracted. Accordingly, the user skeleton data i200 and the skin contour data i300 may be a subset of the CT image data i100, but the present invention is not limited thereto. The user skeleton data i200 and the skin contour data i300 may have a three-dimensional data structure like the CT image data i100. The user skeleton data i200 and the skin contour data i300 may be extracted from the CT image data i100 and then processed separately. For example, in the user skeleton data (i200), a joint part which can arbitrarily move, such as the jawbone or throat, may be separately marked, and the user skeleton data (i200) may control the movement of the marked joint And may further include information for performing the above-described operations. Here, the marking is for distinguishing the movable joint part from the other part of the user skeleton data i200, and may be expressed through a separate graphic element such as a specific color circle or polygon. Or the user skeleton data i200 may be distinguished into at least one region for easy shape control and the user skeleton data i200 may include information for controlling the shape of the user skeleton data i200 of each region May be included. The skin contour data i300 may be divided into a plurality of areas. Skin contour data i300 of each region may or may not be associated with the facial muscles depending on the location. Alternatively, information for controlling the shape of each region of the skin contour data i300 may be added to the skin contour data i300. However, the processing procedure for the user skeleton data i200 and the skin contour data i300 according to the present invention is not limited thereto.

본 발명의 바람직한 실시예에 따르면, 상기 CT 영상 데이터(i100)로부터 개별적으로 추출된 사용자 골격 데이터(i200) 및 피부 윤곽 데이터(i300)는 얼굴 근육을 통해 상호 연결될 수 있다.According to a preferred embodiment of the present invention, the user skeleton data i200 and the skin contour data i300 individually extracted from the CT image data i100 may be interconnected through the facial muscles.

도 3은 얼굴 근육이 배치된 샘플 골격 데이터(i401)를 나타낸 도면이다.3 is a diagram showing sample skeleton data i401 in which facial muscles are arranged.

전술한 바에 따르면, 본 발명의 실시예에 따른 데이터 매칭부는 복수의 얼굴 근육(i500)이 배치된 가상의 머리뼈인 샘플 골격 데이터(i401)의 특징점과 상기 사용자 골격 데이터의 특징점을 매칭시켜 상기 사용자 골격 데이터에 상기 얼굴 근육(i500)을 배치시킬 수 있다. 여기서, 상기 얼굴 근육(i500)은 사람의 각 얼굴 근육을 나타내는 3차원 데이터 구조인 입체 모델일 수 있다. 또는, 상기 얼굴 근육(i500)은 각 얼굴 근육의 식별자, 각 얼굴 근육의 일 단 및 타 단이 배치될 수 있는 위치의 범위를 나타내는 좌표, 각 얼굴 근육의 형상(크기, 길이, 두께 등)을 나타내는 파라미터, 각 얼굴 근육의 움직임(궤적 및 움직이는 방식을 나타내는 정보), 피부의 각 영역과의 연결 여부 또는 탄성 등을 나타내는 파라미터들의 집합일 수 있다. 이 경우, 상기 얼굴 근육(i500)은 가시적인 입체 모델이 아닌 비 가시적인 데이터의 집합일 수 있다. 또는, 상기 얼굴 근육(i500)은 전술한 입체 모델에 상기 파라미터들의 집합이 결합된 것일 수 있다.The data matching unit according to the embodiment of the present invention matches the minutiae points of the sample skeleton data i401 and the minutiae points of the user skeleton data, which are virtual hair bones in which a plurality of facial muscles i500 are arranged, The facial muscles i500 can be arranged in the skeleton data. Here, the facial muscle (i500) may be a three-dimensional model that is a three-dimensional data structure representing each facial muscle of a person. Alternatively, the facial muscle (i500) may include an identifier of each facial muscle, coordinates indicating a range of positions where one facet and the other facet of each facial muscle can be arranged, shape (size, length, thickness, etc.) of each facial muscle A parameter indicating the movement of each facial muscle (information indicating the trajectory and the manner of movement), a connection with each region of the skin, or elasticity. In this case, the facial muscles i500 may be a set of invisible data, not a visible stereoscopic model. Alternatively, the facial muscle (i500) may be a combination of the parameters described above in the three-dimensional model.

통상적으로, 사람마다 서로 다른 머리뼈 구조를 가지고 있으며, 그로 인해 각 얼굴 근육의 배치 관계 역시 서로 상이하다. 따라서, 다양한 사용자 골격 데이터에 대응하여 복수의 얼굴 근육을 개별적으로 배치하는 것이 용이하지 않을 수 있다. 본 발명의 바람직한 실시예에 따르면, 가상의 머리뼈인 샘플 골격 데이터에 얼굴 근육이 배치될 수 있으며, 데이터 매칭부는 얼굴 근육이 배치된 샘플 골격 데이터와 CT 영상 데이터로부터 추출된 사용자 골격 데이터를 매칭시킴으로써 사용자 골격 데이터에 상기 얼굴 근육을 배치시킬 수 있다.Normally, each person has a different hair bone structure, and therefore, the arrangement relationship of the respective facial muscles is also different from each other. Therefore, it may not be easy to dispose a plurality of facial muscles individually corresponding to various user skeleton data. According to a preferred embodiment of the present invention, facial muscles can be arranged in the sample skeleton data, which is a virtual head bone, and the data matching unit matches the sample skeleton data in which the facial muscles are arranged and the user skeleton data extracted from the CT image data The face muscles can be arranged in the user skeleton data.

샘플 골격 데이터는 가상의 머리뼈의 형상을 나타내는 입체 데이터(또는 3D 데이터)로써, 전술한 복셀의 집합일 수 있다. 본 발명의 바람직한 실시예에 따르면, 상기 샘플 골격 데이터는 복수 개 존재하고, 상기 각 샘플 골격 데이터가 나타내는 머리뼈의 형상이 서로 상이할 수 있다.The sample skeleton data may be stereoscopic data (or 3D data) representing the shape of a virtual head bone, and may be a set of the above-described voxels. According to a preferred embodiment of the present invention, there are a plurality of sample skeleton data, and the shape of the skeleton represented by each sample skeleton data may be different from each other.

상기 샘플 골격 데이터는 복수의 사람들로부터 실제로 측정된 머리 골격의 수치를 참조하여 생성될 수 있다. 또는, 상기 샘플 골격 데이터는 복수의 사람들의 머리를 촬영한 이미지로부터 자동적으로 산출된 머리 골격의 수치를 참조하여 생성될 수 있다. 또한, 상기 샘플 골격 데이터는 복수의 사람들의 성별, 연령대 또는 인종에 따라 개별적으로 측정된 수치들의 평균 값에 기반하여 생성될 수 있다. 만약 샘플 골격 데이터가 특정 성별, 연령대 또는 인종 중 적어도 한 분류 기준에 따라 구별된 사람들로부터 실측된 수치들을 참조하여 생성되는 경우, 상기 분류 기준 정보가 상기 샘플 골격 데이터에 태그(tag) 정보로써 삽입될 수 있다. 한편, 본 발명에 따른 샘플 골격 데이터는 데이터 매칭부가 생성할 수도 있지만 본 발명은 이에 한정되지 않으며, 3D 얼굴 모델링 장치의 내부 또는 외부에 존재하는 데이터베이스에 별도로 저장된 정보일 수 있다.The sample skeleton data can be generated with reference to the values of the skeleton actually measured from a plurality of people. Alternatively, the sample skeleton data may be generated by referring to the values of the skeleton automatically calculated from the images of the heads of a plurality of people. In addition, the sample skeleton data may be generated based on an average value of values measured individually according to gender, age range, or race of a plurality of people. If the sample skeleton data is generated with reference to the measured values from people classified according to at least one sorting criterion of a specific sex, age group or race, the classification reference information is inserted as tag information in the sample skeleton data . Meanwhile, the sample skeleton data according to the present invention may be generated by the data matching unit, but the present invention is not limited thereto, and may be information stored separately in a database existing inside or outside the 3D face modeling apparatus.

본 발명의 실시예에 따르면, 상기 데이터 매칭부는 상기 복수의 샘플 골격 데이터 중 상기 사용자 골격 데이터가 나타내는 머리뼈의 형상과 가장 유사한 형상의 머리뼈에 해당하는 샘플 골격 데이터를 선택할 수 있다.According to an embodiment of the present invention, the data matching unit may select sample skeleton data corresponding to a head bone having a shape most similar to a shape of a head bone indicated by the user skeleton data among the plurality of sample skeleton data.

상기 머리뼈의 유사도는 머리뼈의 각 부위별 크기 및 모양에 기반하여 평가될 수 있다. 예를 들어, 데이터 매칭부는 사용자 골격 데이터의 아래턱뼈(또는 하악골)와 복수의 샘플 골격 데이터의 아래턱뼈의 3차원적 치수에 기반하여 유사도를 평가할 수 있다. 이에 따라, 데이터 매칭부는 x, y, z 입체 공간 상에 특정 방향으로 정렬된 사용자 골격 데이터(예를 들어, 사용자 골격 데이터의 정면이 x축의 양의 방향을 향하는 경우)의 아래턱뼈와 복수의 샘플 골격 데이터의 아래턱뼈의 x축 방향 길이, y축 방향 길이 및 z축 방향 길이를 서로 비교하고, 사용자 골격 데이터의 아래턱뼈의 각 길이와 가장 유사한 길이를 가지는 아래턱뼈를 포함하는 샘플 골격 데이터를 선택할 수 있다. 또는 데이터 매칭부는 사용자 골격 데이터의 머리뼈의 각 부위마다 개별적으로 3차원적 치수를 측정할 수 있다. 그리고, 데이터 매칭부는 상기 사용자 골격 데이터의 3차원적 치수에 대한 샘플 골격 데이터의 3차원적 치수의 차이를 상기 샘플 골격 데이터의 머리뼈의 각 부위마다 개별적으로 산출할 수 있다. 예를 들어, 사용자 골격 데이터의 아래턱뼈의 y축 방향 길이가 15 cm인 것으로 측정될 수 있는데, 제1 샘플 골격 데이터의 아래턱뼈의 y축 방향 길이가 13 cm인 경우 -2 cm를 상기 차이 값으로 할 수 있다. 데이터 매칭부는 각 샘플 골격 데이터마다 머리뼈의 각 부위별로 산출된 상기 차이 값의 절대값이 기 설정된 기준값, 예를 들어 1.5 cm 미만인 머리뼈 부위의 수를 도출할 수 있다. 이후, 데이터 매칭부는 상기 기 설정된 기준값을 만족하는 머리뼈 부위의 수가 가장 많은 샘플 골격 데이터를 선택할 수 있다. 한편, 데이터 매칭부는 사용자 골격 데이터가 나타내는 머리뼈의 모양과의 유사도에 기초하여 샘플 골격 데이터를 선택할 수도 있다. 예를 들어, 데이터 매칭부는 사용자 골격 데이터의 아래턱뼈의 각 부분별 구부러진 각도를 산출할 수 있으며, 각 샘플 골격 데이터 중, 상기 각도와 유사하게 구부러진 아래턱뼈를 포함하는 샘플 골격 데이터를 선택할 수도 있다. 본 발명에 따른 데이터 매칭부는 전술한 머리뼈의 크기에 따른 샘플 골격 데이터 선택 방식 및 모양에 따른 샘플 골격 데이터의 선택 방식을 중복적으로 적용할 수 있다. 하지만, 본 발명에 따른 샘플 골격 데이터의 선택 방식은 이에 한정되지 않는다.The similarity of the head bone can be evaluated based on the size and shape of each part of the head bone. For example, the data matching unit may evaluate the similarity based on the three-dimensional dimensions of the lower jawbone (or mandible) of the user skeleton data and the lower jawbone of the plurality of sample skeleton data. Accordingly, the data matching unit is capable of matching the user's skeleton data (for example, when the front side of the user skeleton data faces the positive direction of the x-axis) aligned in a specific direction on the x, y, The length of the lower jaw of the skeleton data in the x-axis direction, the length in the y-axis direction, and the length in the z-axis direction are compared with each other to select the sample skeleton data including the lower jawbone having the length most similar to the length of each of the lower jaws of the user skeleton data . Alternatively, the data matching unit may individually measure three-dimensional dimensions for each part of the head bone of the user skeleton data. The data matching unit may separately calculate the difference in three-dimensional dimensions of the sample skeleton data with respect to the three-dimensional dimensions of the user skeleton data for each part of the skeleton of the sample skeleton data. For example, the yaw axis length of the lower jawbone of the user skeleton data may be measured to be 15 cm. If the yaw axis length of the lower jaw of the first sample skeleton data is 13 cm, . The data matching unit may derive the number of head bone regions having an absolute value of the difference value calculated for each part of the head bone for each sample skeleton data, for example, a predetermined reference value, for example, less than 1.5 cm. Thereafter, the data matching unit can select the sample skeleton data having the largest number of head bone parts satisfying the preset reference value. Meanwhile, the data matching unit may select the sample skeleton data based on the degree of similarity with the shape of the head bone represented by the user skeleton data. For example, the data matching unit may calculate the bent angle of each part of the lower jaw of the user skeleton data, and may select sample skeleton data including the lower jaw that is bent similarly to the angle among the respective sample skeleton data. The data matching unit according to the present invention can apply the method of selecting the sample skeleton data according to the size of the head bone and the method of selecting the sample skeleton data according to the shape in a redundant manner. However, the selection method of the sample skeleton data according to the present invention is not limited thereto.

본 발명의 다른 실시예에 따르면, 만약 사용자 골격 데이터와 관련된 성별, 연령대 또는 인종 정보가 별도로 존재하는 경우, 상기 사용자 골격 데이터의 성별, 연령대 또는 인종 정보와 연관된 태그 정보를 포함하는 샘플 골격 데이터가 선택될 수도 있다.According to another embodiment of the present invention, when the sex, age or race information related to the user skeleton data exists separately, the sample skeleton data including the tag information associated with the sex, age or race information of the user skeleton data is selected .

한편, 본 발명에 따른 데이터 매칭부는 샘플 골격 데이터(i400)에 직접 얼굴 근육(i500)을 배치시키거나 이미 얼굴 근육이 배치된 샘플 골격 데이터(i401)를 이용할 수 있다.Meanwhile, the data matching unit according to the present invention may use the sample skeleton data i401 in which the facial muscles i500 are directly placed in the sample skeleton data i400, or the skeleton data i401 in which the facial muscles are already arranged.

여기서, 상기 얼굴 근육은 사람의 얼굴 표정과 관련된 근육일 수 있다. 사람의 얼굴 표정과 관련된 근육의 예시는 머리뼈에 연결된 전두근, 안와근, 상순거근, 대치근, 구각하제근, 추미근, 윗입술콧망울울림근, 소/대협근, 소근, 하순하제근, 이근, 구륜근 중 적어도 하나일 수 있다. Here, the facial muscles may be muscles associated with facial expressions of a person. Examples of muscles associated with human facial expressions include the frontal muscle connected to the head bone, the orbit muscle, the upper limb muscle, the obtuse muscle, the spinal canine muscle, the cervical muscle, the upper incisor muscle, the lower limb muscle, And may be at least one of the following.

만약 데이터 매칭부가 샘플 골격 데이터(i400)에 직접 얼굴 근육(i500)을 배치시키는 경우, 상기 데이터 매칭부는 머리뼈의 형상에 따른 얼굴 근육의 배치 정보를 저장하는 데이터베이스를 참조하여 상기 선택된 샘플 골격 데이터에 상기 얼굴 근육을 배치할 수 있다. 예를 들어, x, y, z 입체 공간 상에 특정 방향으로 정렬된 아래턱뼈의 y축 방향 길이가 12 cm이고 z축 방향 길이가 13 cm인 경우, 얼굴 근육 중 이근의 y축 방향 길이는 5 내지 5.5 cm이고 z 축 방향 길이는 3 cm일 수 있으며, 상기 아래턱뼈의 턱융기로부터 특정 길이 범위(예를 들어, 4 내지 4.5 cm 이내) 이내에 배치될 수 있다. 즉, 데이터 매칭부는 상기 데이터베이스를 참조함으로써 각 샘플 골격 데이터에 적합한 얼굴 근육을 배치할 수 있다. 또는, 데이터 매칭부는 얼굴 근육이 적용된 샘플 골격 데이터를 이용할 수 있다.If the data matching unit directly places the facial muscle (i500) in the sample skeleton data (i400), the data matching unit refers to the database storing the information on the arrangement of the facial muscles according to the shape of the skeleton, The face muscles can be arranged. For example, if the length of the lower jaw in the specific direction on the x, y, z space is 12 cm in the y-axis direction and 13 cm in the z-axis direction, the y- To 5.5 cm and a z-axis length of 3 cm, and may be disposed within a certain length range (e.g., within 4 to 4.5 cm) from the jaw elevation of the lower jaw. That is, the data matching unit can arrange the facial muscles suitable for each sample skeleton data by referring to the database. Alternatively, the data matching unit may use the sample skeleton data to which the facial muscle is applied.

도 4는 얼굴 근육이 배치된 샘플 골격 데이터(i400)와 사용자 골격 데이터(i200)를 매칭시키고, 상기 매칭 결과에 따라 생성된 3D 얼굴 모델(i600)을 나타낸 도면이다.4 is a diagram showing a 3D face model i600 generated by matching the sample skeleton data i400 and the user skeleton data i200 in which the facial muscles are arranged and the matching result.

본 발명에 따른 데이터 매칭부는 복수의 얼굴 근육이 배치된 가상의 머리뼈인 샘플 골격 데이터(i401)의 특징점과 사용자 골격 데이터(i200)의 특징점을 매칭할 수 있다. 여기서, 상기 특징점은 얼굴 또는 머리뼈의 기 설정된 지점들을 나타내는 것으로, 본 발명의 바람직한 실시예에 따르면, 상기 특징점은 상기 샘플 골격 데이터 및 상기 사용자 골격 데이터에서 상기 각 얼굴 근육의 일 단 및 타 단이 배치되는 지점일 수 있다. 또는, 상기 특징점은 사람의 얼굴 표정과 깊은 관련성이 있는 눈썹, 눈, 코, 입, 볼 등의 특정 지점(예를 들어 눈꼬리 등)을 의미하거나, 상기 눈썹 내지 볼 등의 움직임을 위한 얼굴 근육의 위치를 의미할 수도 있다. 즉, 사람마다 골격의 구조는 상이하지만, 예를 들어, 머리뼈에 두 개의 안구를 위한 구멍이 있고, 머리뼈 정면의 가운데에 코를 위한 구멍이 위치하는 것은 누구나 동일하다. 이러한 머리뼈 구조의 공통점에 기반하여 전술한 특징점이 산출될 수도 있다. 또한, 얼굴 근육이 머리뼈에 배치되는 지점은 사람마다 다소 차이는 있을 수 있으나, 일정한 범위를 벗어나지 않는다. 예를 들어, 안와근은 머리뼈의 안구를 위한 구멍 근처에 배치될 뿐이며 코를 위한 구멍 주변에 배치되지 않는다. 이러한 점에서 각 얼굴 근육의 일 단 및 타 단의 배치되는 지점은 머리뼈의 특정 지점 또는 특정 지점으로부터 기 설정된 거리 이내인 것으로 한정할 수 있다. 그리고, 본 발명에 따른 3D 얼굴 모델링 장치(또는 데이터 매칭부)는 주어진 다양한 머리뼈 구조 또는 샘플 골격 데이터 또는 사용자 골격 데이터에 대하여 상기 특정 지점 또는 상기 특정 지점으로부터 기 설정된 거리 범위 이내인 특징점을 개별적으로 산출할 수 있다.The data matching unit according to the present invention can match the minutiae points of the sample skeleton data i401 and the minutiae points of the user skeleton data i200 that are virtual hair bones having a plurality of facial muscles arranged therein. According to a preferred embodiment of the present invention, the feature points include one or both of the first and second ends of the respective facial muscles in the sample skeleton data and the user skeleton data, May be the point where it is placed. Alternatively, the feature point may be a specific point (for example, the eye tail) such as eyebrows, eyes, nose, mouth, or a ball that is deeply related to the facial expression of a person, It can also mean location. That is, the structure of the skeleton is different for each person, but for example, a hole in the head bone for two eyes and a hole for the nose in the center of the head bone are all the same. The aforementioned feature points may be calculated on the basis of the commonality of the hair-bone structures. Also, the point at which the facial muscles are placed in the head bone may vary slightly from person to person, but it does not deviate from a certain range. For example, the orbital muscle is only placed near the hole for the eyeball of the head bone and not around the hole for the nose. In this respect, it is possible to define that the positions of one facet and the other facet of each facial muscle are within a predetermined distance from a specific point or a specific point of the head bone. The 3D facial modeling device (or the data matching unit) according to the present invention separately extracts feature points that are within a predetermined distance range from the specific point or the specified point with respect to a given head bone structure, sample skeleton data, or user skeleton data Can be calculated.

도 4(a)는 얼굴 근육이 배치된 샘플 골격 데이터(i401)의 특징점 p1A, p1B, p2A, p2B와 사용자 골격 데이터(i200)의 특징점 p1A', p1B', p2A', p2B'을 비교하는 모습을 나타낸 것이다. 도 4(a)에서 각 특징점 p1A 내지 p2B는 각 특징점 p1A' 내지 p2B'와 동일한 특징점을 나타내는 것일 수 있다.4A is a view comparing the feature points p1A, p1B, p2A and p2B of the sample skeleton data i401 in which the facial muscles are arranged with the feature points p1A ', p1B', p2A 'and p2B' of the user skeleton data i200 Lt; / RTI > In FIG. 4A, each of the minutiae points p1A to p2B may have the same minutiae points as the minutiae points p1A 'to p2B'.

이미 언급했다시피, i401은 얼굴 근육이 배치된 샘플 골격 데이터이며, i200은 CT 영상 데이터로부터 추출된, 얼굴 근육이 배치되지 않은 사용자 골격 데이터이다. 본 발명에 따른 3D 얼굴 모델링 장치는 얼굴 근육이 배치된 샘플 골격 데이터(i401) 및 사용자 골격 데이터(i200)의 특징점을 개별적으로 특정 및 인식할 수 있다. 이 때, 도 4(a)의 얼굴 근육이 배치된 샘플 골격 데이터(i401)에서 제 1 얼굴 근육의 일 단이 p1A에 배치되고 타 단이 p1B에 배치될 수 있다. 또한, 도 4(a)의 얼굴 근육이 배치된 샘플 골격 데이터(i401)에서 제 2 얼굴 근육의 일단이 p2A에 배치되고 타 단이 p2B에 배치될 수 있다. 데이터 매칭부는 얼굴 근육이 배치된 샘플 골격 데이터(i401)의 특징점 및 사용자 골격 데이터(i200)의 특징점을 상호 비교하고, 상기 샘플 골격 데이터(i401)의 특정 특징점에 배치된 얼굴 근육을 사용자 골격 데이터(i200)의 동일 특징점에 배치시킬 수 있다. 이에 따라, 샘플 골격 데이터(i401)의 특징점 p1A 및 특징점 p1B 사이의 제 1 얼굴 근육은 사용자 골격 데이터(i200)의 특징점 p1A' 및 특징점 p1B' 사이에 배치되고, 샘플 골격 데이터(i401)의 특징점 p2A 및 특징점 p2B 사이의 제 2 얼굴 근육은 사용자 골격 데이터(i200)의 특징점 p2A' 및 특징점 p2B' 사이에 배치될 수 있다. 데이터 매칭부는 샘플 골격 데이터(i401) 및 사용자 골격 데이터(i200)의 모든 특징점에 대하여 동일한 과정을 수행할 수 있으며, 상기 과정의 결과로 샘플 골격 데이터(i401)에 배치된 모든 얼굴 근육이 사용자 골격 데이터(i200)에 모두 배치될 수 있다.As already mentioned, i401 is the sample skeleton data in which the facial muscles are arranged, and i200 is the skeleton data in which the facial muscles are not arranged, extracted from the CT image data. The 3D facial modeling apparatus according to the present invention can individually identify and recognize the feature points of the sample skeleton data i401 and the user skeleton data i200 in which the facial muscles are arranged. At this time, in the sample skeleton data i401 in which the facial muscles of Fig. 4 (a) are arranged, one end of the first facial muscle may be arranged at p1A and the other end may be arranged at p1B. In the sample skeleton data i401 in which the facial muscles of Fig. 4 (a) are arranged, one end of the second facial muscle can be arranged at p2A and the other end can be arranged at p2B. The data matching unit compares the minutiae points of the sample skeleton data i401 and the minutiae points of the user skeleton data i200 in which the facial muscles are arranged and compares the facial muscles arranged at the specific minutiae points of the sample skeleton data i401 with the user skeleton data i 200 in the same manner. Accordingly, the first facial muscle between the feature point p1A and the feature point p1B of the sample skeleton data i401 is disposed between the feature point p1A 'and the feature point p1B' of the user skeleton data i200 and the feature point p2A of the sample skeleton data i401 And the second facial muscle between the feature points p2B may be disposed between the feature point p2A 'and the feature point p2B' of the user skeleton data i200. The data matching unit may perform the same process for all the minutiae points of the sample skeleton data i401 and the user skeleton data i200 and as a result of the process, (i200).

이러한 본 발명의 실시예에 따르면, 사용자 골격 데이터에 기초하여 샘플 골격 데이터가 선택될 수 있고, 샘플 골격 데이터가 나타내는 머리뼈의 형상에 대응하여 얼굴 근육이 배치될 수 있다. 그리고 샘플 골격 데이터와 사용자 골격 데이터 사이의 특징점 비교를 통해 샘플 골격 데이터에 배치된 얼굴 근육이 사용자 골격 데이터에도 배치될 수 있다. 이를 통해, 모든 사람의 골격이 서로 상이하여 사용자 골격 데이터에 직접적으로 얼굴 근육을 배치하기가 힘든 문제를 해결할 수 있으며, 데이터 매칭부는 얼굴 근육을 보다 사실적으로 사용자 골격 데이터에 배치할 수 있다.According to this embodiment of the present invention, the sample skeleton data can be selected based on the user skeleton data, and the face muscles can be arranged corresponding to the shape of the skeleton represented by the sample skeleton data. And the facial muscle placed in the sample skeleton data can be also placed in the user skeleton data through comparison of the feature points between the sample skeleton data and the user skeleton data. Accordingly, it is possible to solve the problem that the skeletons of all persons are different from each other and it is difficult to arrange the face muscles directly on the user skeleton data, and the data matching unit can place the face muscles more realistically in the user skeleton data.

본 발명의 다른 실시예에 따르면, 데이터 매칭부는 얼굴 근육이 배치된 샘플 골격 데이터를 3차원 공간 상에서 특정 방향으로 배치할 수 있다. 예를 들어, 데이터 매칭부는 얼굴 근육이 배치된 샘플 골격 데이터의 정면이 x, y, z축으로 구성된 3차원 공간에서 x축의 양의 방향(x축 좌표가 증가하는 방향)을 향하도록 배치할 수 있다. 이 때, 상기 얼굴 근육이 배치된 샘플 골격 데이터의 중심점 좌표 (x, y, z)는 (0, 0, 0)일 수 있다. 이후, 데이터 매칭부는 샘플 골격 데이터의 특징적인 부분, 예를 들어 안구가 배치되는 두 구멍 부분의 중심 좌표 및 상기 특징적인 부분에 배치되는 얼굴 근육, 예를 들어 안와근(안륜근)의 일 단과 타 단의 좌표를 각각 획득할 수 있다. 이에 따라, 데이터 매칭부는 상기 두 안구의 상대적 배치 관계 또는 상기 안구의 중심 좌표와 각 안구 주변에 배치되는 안와근의 일 단 및 타 단 사이의 상대적 배치 관계를 확인할 수 있다. 예를 들어, 데이터 매칭부는 한 안구의 중심 좌표가 (0, 3, 3)이고, 타 안구의 중심 좌표가 (0, -3, 3)인 경우 두 안구 사이의 거리가 6인 것을 인지할 수 있다. 또는, 데이터 매칭부는 한 안구의 중심 좌표가 (0, 3, 3)이고 상기 안구 주변에 배치되는 안와근의 일 단의 좌표가 (1, 2, 4)이고 타 단의 좌표가 (1, 4, 3)일 때, 상기 안구의 중심 좌표로부터 상기 안와근의 일 단 사이의 거리가 √3이고, 상기 안구의 중심 좌표로부터 상기 안와근의 타 단 사이의 거리가 √2이고, 상기 안와근의 일 단과 타 단 사이가 √5임을 인지할 수 있다. 이후, 데이터 매칭부는 사용자 골격 데이터를 상기 얼굴 근육이 배치된 샘플 골격 데이터와 동일한 방향으로 향하도록 3차원 공간에 배치할 수 있다. 이 때에도 상기 사용자 골격 데이터의 중심점 좌표는 (0, 0, 0)일 수 있다. 그리고 데이터 매칭부는 사용자 골격 데이터의 두 안구의 중심의 좌표를 획득할 수 있다. 예를 들어, 사용자 골격 데이터의 두 안구의 중심 좌표가 각각 (0, 4, 3) 및 (0, -4, 3)일 수 있다. 상기 예의 경우, 데이터 매칭부는 사용자 골격 데이터의 두 안구 사이의 거리가 8인 것을 인지할 수 있다. 이때, 데이터 매칭부는 얼굴 근육이 배치된 샘플 골격 데이터로부터 획득한 안구와 안와근의 상대적 배치 관계를 참고하여 사용자 골격 데이터의 안구 주변에 안와근을 배치할 수 있다. 그리고, 이 경우 얼굴 근육이 배치된 샘플 골격 데이터가 나타내는 안구와 안와근의 상대적 배치 관계가 사용자 골격 데이터에 동일하게 적용되도록 할 수 있다. 이에 따라, 중심 좌표가 (0, 4, 3)인 사용자 골격 데이터의 한 안구 주변에 일 단의 좌표가 (1, 3, 4) 이고 타 단의 좌표가 (1, 5, 3)인 안와근이 배치될 수 있다. 이 경우, 사용자 골격 데이터의 한 안구의 중심 좌표로부터 상기 안와근의 일 단 사이의 거리가 √3이고, 상기 안구의 중심 좌표로부터 상기 안와근의 타 단 사이의 거리가 √2이고, 상기 안와근의 일 단과 타 단 사이가 √5가 되어 얼굴 근육이 배치된 샘플 골격 데이터의 경우와 동일한 배치 관계를 가질 수 있다. 이 예시는 얼굴 근육이 배치된 샘플 골격 데이터에서의 배치 관계가 사용자 골격 데이터에서 유지되는 것을 전제로 하고 있으나, 상기 배치 관계가 그대로 유지되는 것이 아니고 상기 두 안구 사이의 거리의 변화에 따라 가변적으로 배치 관계가 변화될 수도 있다. 또는, 샘플 골격 데이터의 안구 구멍의 크기와 사용자 골격 데이터의 안구 구멍의 크기에 따라 전술한 배치 관계가 조정될 수도 있다.본 발명의 또 다른 실시예에 따르면, 만약 사용자 골격 데이터에 대하여 데이터베이스 참조하에 얼굴 근육의 배치가 즉각적으로 이루어질 수 있다면, 전술한 샘플 골격 데이터가 이용되지 않을 수도 있다.According to another embodiment of the present invention, the data matching unit can arrange the sample skeleton data in which the facial muscles are arranged in a specific direction on the three-dimensional space. For example, the data matching unit can be arranged so that the front face of the sample skeleton data in which the facial muscles are arranged faces in the positive direction of the x-axis (direction in which the x-axis coordinate increases) in a three-dimensional space composed of x, y and z axes have. At this time, the center point coordinates (x, y, z) of the sample skeleton data in which the face muscles are arranged may be (0, 0, 0). Thereafter, the data matching unit extracts the characteristic parts of the sample skeleton data, for example, the center coordinates of the two hole parts in which the eyeballs are arranged, and the face muscles arranged in the characteristic parts, for example, one or both ends of the orbicularis muscle Respectively. Accordingly, the data matching unit can confirm the relative arrangement of the two eyes or the relative positional relationship between the center coordinates of the eyeball and the one or both ends of the orbicularis muscle disposed around each eyeball. For example, the data matching unit can recognize that the distance between two eyes is 6 when the center coordinates of one eye are (0, 3, 3) and the center coordinates of the other eye are (0, -3, 3) have. Alternatively, the data matching unit may be arranged such that the coordinate of one eyeball is (0, 3, 3), the coordinates of one eyeball of the orbital muscle disposed around the eyeball are (1, 2, 4) , 3), the distance between the center of the orbit and one end of the orbit is √3, the distance from the center of the eye to the other end of the orbit is √2, It can be recognized that there is √5 between one end and the other end. Thereafter, the data matching unit may arrange the user skeleton data in a three-dimensional space so as to face the same direction as the sample skeleton data in which the face muscles are arranged. At this time, the center point coordinate of the user skeleton data may be (0, 0, 0). And the data matching unit can obtain the coordinates of the center of the two eyes of the user skeleton data. For example, the center coordinates of the two eyes of the user skeleton data may be (0, 4, 3) and (0, -4, 3), respectively. In the case of the above example, the data matching unit may recognize that the distance between the two eyes of the user skeleton data is eight. At this time, the data matching unit can arrange the orbicularis muscle around the eyeball of the user skeleton data by referring to the relative arrangement relation between the eyeball and the orbital muscle obtained from the sample skeletal data in which the facial muscle is arranged. In this case, the relative arrangement relationship between the eyeball and the orbital muscle represented by the sample skeleton data in which the facial muscles are arranged can be applied equally to the user skeleton data. Accordingly, in the user skeleton data with the center coordinates (0, 4, 3), one eye coordinate is (1, 3, 4) and the other eye coordinate is (1, 5, 3) Can be arranged. In this case, the distance between the center coordinate of one eyeball of the user skeleton data and the one end of the orbital muscle is √3, the distance between the center coordinate of the eyeball and the other end of the orbital muscle is √2, 5 < / RTI > and 5 < RTI ID = 0.0 > s < / RTI > In this example, it is assumed that the arrangement relationship in the sample skeleton data in which the facial muscles are arranged is maintained in the user skeleton data. However, the arrangement relationship is not maintained as it is, and the arrangement is variably arranged according to the change in the distance between the two eyes. The relationship may change. Alternatively, the placement relationship described above may be adjusted depending on the size of the eye hole of the sample skeleton data and the size of the eye hole of the user skeleton data. According to another embodiment of the present invention, If the placement of the muscles can be done immediately, the above-described sample skeleton data may not be used.

한편, 본 발명에 다른 얼굴 모델 생성부는 얼굴 근육과 CT 영상 데이터로부터 추출된 피부 윤곽 데이터를 연결할 수 있다. 그리고, 얼굴 모델 생성부는 상기 사용자 골격 데이터, 상기 피부 윤곽 데이터 및 상기 얼굴 근육에 기초한 3D 얼굴 모델을 생성할 수 있다. 이 때, 상기 피부 윤곽 데이터는 복수의 영역으로 구분되고, 상기 복수의 영역의 피부 윤곽 데이터 중 적어도 어느 하나의 영역의 피부 윤곽 데이터는 상기 얼굴 근육과 연결될 수 있다. 이에 대한 상세한 설명은 도 5를 설명할 때 다루도록 한다. 그리고, 상기 얼굴 모델 생성부는 상기 각 영역의 피부 윤곽 데이터의 특성에 기초하여 상기 각 영역의 피부 윤곽 데이터에 연결되는 상기 얼굴 근육의 파라미터를 개별적으로 산출할 수 있다. 여기서, 상기 파라미터는 상기 얼굴 근육의 움직임 및 수축/이완 정도를 결정하는 적어도 하나의 계수를 의미하는 것이며, 상기 각 영역의 피부 윤곽 데이터의 특성은 상기 피부 윤곽 데이터의 각 영역의 탄성(또는 외력에 의해 변형되는 정도), 두께 등의 정보를 포함하는 형상 또는 위치를 포함할 수 있다.Meanwhile, the face model generation unit according to the present invention can link the skin contour data extracted from the facial muscle and the CT image data. The face model generation unit may generate the 3D skeleton model based on the user skeleton data, the skin contour data, and the facial muscles. At this time, the skin contour data is divided into a plurality of areas, and skin contour data of at least one of the skin contour data of the plurality of areas can be connected to the face muscle. A detailed description thereof will be described later with reference to FIG. The face model generation unit may individually calculate the parameters of the facial muscle connected to the skin contour data of the respective areas based on the characteristics of the skin contour data of the respective areas. Here, the parameter is at least one coefficient for determining the motion and contraction / relaxation degree of the facial muscles, and the characteristic of the skin contour data of each region is determined by the elasticity (or the external force) of each region of the skin contour data And the like), thickness, and the like.

머리뼈의 형상이 사람마다 서로 다르듯, 피부의 특성 역시 사람마다 다르다. 이러한 피부의 특성은 얼굴 근육의 움직임(예를 들어 수축/이완될 때의 궤적 및 모양 변화) 또는 수축/이완 정도에 영향을 줄 수 있기 때문에 3D 얼굴 모델링을 할 때 고려할 필요가 있다. 한편, 피부의 위치에 따라 피부의 두께 등의 특성이 달라지기 때문에 이 점 역시 고려할 필요가 있다. 본 발명의 바람직한 실시예에 따르면, 특정 영역의 피부 윤곽 데이터의 두께가 두꺼울수록 상기 특정 영역의 피부 윤곽 데이터에 연결된 얼굴 근육의 움직임의 범위가 축소되고, 수축/이완되는 정도 역시 감소되는 것을 나타내는 파라미터가 산출될 수 있다. 즉, 얼굴 근육을 스프링에 비유했을 때, 상기 특정 영역의 피부 윤곽 데이터의 두께가 두꺼울수록 상기 얼굴 근육의 파라미터에 해당하는 상기 스프링의 상수가 증가될 수 있다. 그리고, 만약 얼굴 근육이 선형 근육 모델에 따른 모델링 방식으로 구현되는 경우, 해당 얼굴 근육은 외력에 의한 형상 변화가 적게 일어나도록 구현될 수도 있다. 물론, 전술한 사항은 예시에 불과하며 피부 윤곽 데이터의 특성에 따른 파라미터는 보다 다양한 방식으로 산출될 수 있다.Just as the shape of the hair bones varies from person to person, the characteristics of skin also vary from person to person. These skin characteristics need to be considered when doing 3D face modeling because they can affect facial muscle movements (eg, trajectory and shape changes when contracted / relaxed) or contraction / relaxation. On the other hand, since the characteristics such as the thickness of the skin vary depending on the position of the skin, this point needs to be taken into consideration. According to a preferred embodiment of the present invention, a parameter indicating that the range of movement of the facial muscle connected to the skin contour data of the specific region is reduced and the degree of contraction / relaxation is also decreased as the thickness of the skin contour data of the specific region is thicker Can be calculated. That is, when the facial muscle is compared with the spring, the constant of the spring corresponding to the parameter of the facial muscle can be increased as the skin contour data of the specific area is thicker. In addition, if the facial muscles are implemented by a modeling method according to the linear muscle model, the facial muscles may be implemented so that the shape changes due to the external force are less likely to occur. Of course, the above description is merely an example, and the parameters according to the characteristics of the skin contour data can be calculated in various ways.

한편, 상기 파라미터는 얼굴 근육 자체의 특성, 즉 얼굴 근육의 종류, 길이 또는 형상 등에 의해서도 결정될 수 있다. 예를 들어, 상대적으로 짧고 굵은 얼굴 근육은 수축/이완되는 정도가 적은 것을 나타내는 파라미터(전술한 스프링 예시에서 높은 스프링 상수값을 가지는 경우에 해당)를 가질 수 있다. 또한, 얼굴 근육 중 원형의 안와근과 직선형의 이근은 서로 다른 수축/이완되는 정도 및 궤적 등의 움직임을 나타내는 파라미터를 가질 수 있다. 또한, 상기 파라미터는 얼굴 근육이 배치되는 골격 데이터의 형상에 따라 상이한 계수값을 가질 수 있다. 예를 들어, 반구 형태의 머리 부분에 배치되는 전두근과 안구 주변에 배치되는 안와근은 그 수축/이완되는 정도 및 움직임이 서로 상이하며, 이를 반영한 파라미터가 산출될 수 있다.On the other hand, the parameter can also be determined by the characteristics of the facial muscles themselves, i.e., the type, length or shape of the facial muscles. For example, a relatively short and thick facial muscle may have a parameter (corresponding to the case of having a high spring constant value in the spring example described above) indicating that the degree of contraction / relaxation is small. In addition, the circular muscle of the facial muscles and the straight line of the orbicularis muscle may have parameters indicating the degree of contraction / relaxation and movement of the trajectory and the like. Further, the parameter may have a different count value depending on the shape of skeleton data in which the facial muscles are arranged. For example, the frontal muscle disposed at the hemispherical head and the orbital muscle disposed around the eyeball differ in their degree of contraction / relaxation and their motions, and parameters reflecting this can be calculated.

전술한 바에 따라, 본 발명의 실시예에 따른 3D 얼굴 모델링 장치는 산출된 파라미터가 적용된 얼굴 근육을 이용함으로써 사실적이고 자연스러운 얼굴 표정을 연출할 수 있다.As described above, the 3D facial modeling apparatus according to the embodiment of the present invention can produce a realistic and natural facial expression by using the facial muscles to which the calculated parameters are applied.

본 발명의 다른 실시예에 따르면, 얼굴 모델 생성부는, 상기 사용자의 얼굴을 촬영한 2D 영상 데이터로부터 획득한 색상 정보를 상기 피부 윤곽 데이터에 적용할 수 있으며, 이를 통해 3D 얼굴 모델을 보다 실제에 가깝게 생성할 수 있다.According to another embodiment of the present invention, the face model generation unit may apply the color information obtained from the 2D image data of the face of the user to the skin contour data, Can be generated.

도 5는 본 발명의 실시예에 따른 사용자 골격 데이터(b), 얼굴 근육(m1, m2) 및 피부 윤곽 데이터(s)의 일부를 나타낸 도면이다.5 is a diagram showing a part of user skeleton data b, facial muscles m1, m2 and skin contour data s according to the embodiment of the present invention.

도 5에 다르면, 사용자 골격 데이터(b)와 두 얼굴 근육 m1 및 m2는 특징점 p1A, p1B 그리고 특징점 p2A 및 p2B를 통해 상호 연결될 수 있다. 사용자 골격 데이터(b)에 얼굴 근육 m1 및 m2가 배치되고 얼굴 근육 m1 및 m2는 피부 윤곽 데이터(s)와 연결될 수 있으며, 이를 통해 상기 세 구성요소는 일체로써 하나의 3D 얼굴 모델로 구현될 수 있다.5, the user skeleton data b and the two facial muscles m1 and m2 can be interconnected through the feature points p1A and p1B and the feature points p2A and p2B. Facial muscles m1 and m2 may be arranged in the user skeleton data b and the facial muscles m1 and m2 may be connected to the skin contour data s so that the three components can be integrated into one 3D face model have.

도 5(a)에 따르면, 상기 피부 윤곽 데이터(s)는 복수의 영역으로 구분될 수 있다. 도 5(a)에서 피부 윤곽 데이터(s)는 점선에 의해 영역 s1, s2 및 s3로 구분되고 있다. 이들 각 영역 중 적어도 어느 하나의 피부 윤곽 데이터는 얼굴 근육과 연결될 수 있는데, 반대로 얼굴 근육과 연결되지 않은 영역이 존재할 수도 있다. 도 5(a)에서 영역 s1 및 s3는 얼굴 근육 m1 및 m2와 각각 연결되어 각 얼굴 근육의 움직임에 따라 즉각적으로 그 형상이 변화될 수 있다. 하지만, 영역 s2는 연결된 얼굴 근육이 없으며, 이에 따라 주변의 영역 s1 및 s3의 움직임 또는 형상 변화에 따라 피동적으로 형상이 변화될 수 있다. 이 때, 상기 피부 윤곽 데이터의 각 영역의 움직임 또는 형상 변화는 전술한 피부 윤곽 데이터의 특성에 기반한 것일 수 있다. 예를 들어, 상기 영역 s2이 외력에 의한 변형이 적음을 나타내는 특성을 가지는 경우, 전술한 영역 s1 및 s3의 움직임 또는 형상 변화에도 불구하고 영역 s2가 움직이지 않거나 형상이 변화되지 않을 수 있다.According to FIG. 5 (a), the skin contour data s may be divided into a plurality of regions. 5 (a), the skin contour data s is divided into regions s1, s2 and s3 by a dotted line. Skin contour data of at least one of these areas may be associated with the facial muscles, and conversely, there may be areas not associated with the facial muscles. In FIG. 5 (a), the regions s1 and s3 are connected to the facial muscles m1 and m2, respectively, and the shape thereof can be instantaneously changed according to the movement of each facial muscle. However, the region s2 has no connected facial muscles, and thus the shape may be passively changed according to the movement or shape change of the peripheral regions s1 and s3. At this time, the movement or shape change of each region of the skin contour data may be based on the characteristics of the skin contour data described above. For example, if the area s2 has a characteristic that the deformation by the external force is small, the area s2 may not move or the shape may not be changed despite the movement or shape change of the areas s1 and s3 described above.

도 5(a)에서 확인할 수 있는 것처럼, 얼굴 근육(m1, m2)의 배치는 사용자 골격 데이터(b)의 형상에 의해 좌우될 수 있으며, 이에 따라 얼굴 근육(m1, m2)의 움직임 또는 수축/이완 역시 사용자 골격 데이터(b)의 형상의 영향을 받을 수 있다. 그리고, 사용자 골격 데이터(b) 위에 얼굴 근육(m1, m2)이 배치되고, 사용자 골격 데이터(b) 또는 얼굴 근육 (m1, m2) 위에 피부 윤곽 데이터(s)가 배치되기 때문에, 피부 윤곽 데이터(s)의 형상, 즉 얼굴 표정 또는 얼굴의 인상은 사용자 골격 데이터(b)의 형상의 영향을 받는다.As can be seen in FIG. 5 (a), the arrangement of the facial muscles m1, m2 can be influenced by the shape of the user skeleton data b, and thus the movement or contraction / contraction of the facial muscles m1, The relaxation may also be influenced by the shape of the user skeleton data (b). Since the face muscles m1 and m2 are arranged on the user skeleton data b and the skin contour data s is arranged on the user skeleton data b or the face muscles m1 and m2, s, that is, facial expression or facial impression is influenced by the shape of the user skeleton data (b).

도 5(b)는 사용자의 골격 데이터(b)의 형상 변화에 따라 얼굴 근육(m1, m2) 및 피부 윤곽 데이터(s)가 변화되는 양상을 나타낸 것이다. 도 5(b)에서 이전의 사용자 골격 데이터(b) 및 피부 윤곽 데이터(s)는 파선으로 표현되었다.Fig. 5 (b) shows how the facial muscles m1, m2 and skin contour data s change according to the shape change of the skeleton data b of the user. In FIG. 5 (b), the previous user skeleton data b and the skin contour data s are represented by broken lines.

도 5(b)는 사용자 골격 데이터(b)의 우측 부분이 아래로 꺾인 상황을 나타낸다. 이에 따라, 사용자 골격 데이터(b)의 우측 부분에 배치된 얼굴 근육 m1 역시 아래로 그 위치가 이동되며, 얼굴 근육 m1의 위치가 바뀜에 따라 피부 윤곽 데이터(s)의 우측 부분 역시 사용자 골격 데이터(b)와 유사하게 변하게 된다. 이때, 상기 사용자 골격 데이터(b)의 형상 변화에 따른 얼굴 근육의 변화는 전술한 얼굴 근육의 파라미터에 기반하여 이루어진다. 예를 들어, 도 5(b)의 상황에서 얼굴 근육 m1의 파라미터가 상기 사용자 골격 데이터(b)의 형상 변화에 따라 수축하도록 설정되어있는 경우, 얼굴 모델 생성부는 얼굴 근육 m1의 중간 부분의 두께를 증가시킬 수 있고, 상기 얼굴 근육 두께의 증가에 따라 상기 피부 윤곽 데이터(s)의 우측 부분이 상대적으로 아래쪽으로 덜 꺾일 수 있다.5 (b) shows a situation in which the right part of the user skeleton data b is deflected downward. Accordingly, the face muscle m1 disposed on the right side of the user skeleton data b is also moved downward. As the position of the facial muscle m1 is changed, the right part of the skin contour data s is also used as the user skeleton data b). At this time, the change of the facial muscles according to the change of the shape of the user skeleton data (b) is performed based on the parameters of the facial muscles described above. For example, when the parameter of the facial muscle m1 is set to contract in accordance with the change of the shape of the user skeleton data (b) in the situation of Fig. 5 (b), the face model generating unit sets the thickness of the middle part of the facial muscle m1 , And the right side portion of the skin contour data (s) may be relatively less downward as the face muscle thickness increases.

즉, 본 발명에 따른 3D 모델링 장치는 사용자 골격 데이터의 변화에 대응하여 즉각적으로 얼굴 근육의 배치, 수축/이완되는지 여부 또는 움직임을 조정할 수 있으며, 이를 통해 상기 얼굴 근육에 연결된 피부 외곽 데이터의 변화(즉, 얼굴 표정/인상 변화)가 유도될 수 있다.That is, the 3D modeling apparatus according to the present invention can adjust the movement or the arrangement of the facial muscles immediately, the contraction / relaxation of the facial muscles in response to the change of the user skeleton data, That is, facial expression / impression change) can be induced.

만약 본 발명에 따른 3D 모델링 장치가 사용자의 입력을 수신하는 입력부를 더 포함하는 경우, 얼굴 모델 생성부는 상기 입력부를 통해 상기 사용자 골격 데이터의 변형과 관련된 사용자 입력을 수신할 수 있다. 얼굴 모델 생성부는 상기 사용자 골격 데이터의 변형에 기초하여 상기 사용자 골격 데이터에 배치된 상기 얼굴 근육의 배치를 조정하고, 상기 변형된 사용자 골격 데이터 및 상기 배치가 조정된 얼굴 근육에 기초하여 상기 피부 윤곽 데이터의 형상을 조정할 수 있다. 이러한 본 발명의 실시예는 미용 또는 의료 목적으로 3D 모델링 장치를 이용할 때 특히 유용하다. 예를 들어, 3D 모델링 장치가 환자의 3D 얼굴 모델을 생성한 후, 사용자가 상기 입력부를 통해 사용자의 턱뼈의 좌우 폭을 축소시키는 조정하는 경우, 상기 3D 모델링 장치는 자동적으로 상기 환자의 3D 얼굴 모델의 근육의 움직임을 산출하고, 그에 따라 피부 윤곽 데이터를 조정할 수 있다. 본 발명의 실시예에 따른 3D 모델링 장치를 통해, 사용자는 상기 턱뼈 수술 후의 전체 얼굴 모습, 얼굴의 표정 또는 인상을 즉각적으로 확인할 수 있다.If the 3D modeling apparatus according to the present invention further includes an input unit for receiving a user's input, the face model generation unit may receive user input related to the transformation of the user skeleton data through the input unit. The face model generation unit adjusts the arrangement of the facial muscles disposed in the user skeleton data based on the deformation of the user skeleton data, and the facial model generation unit adjusts the arrangement of the facial muscles based on the modified user skeleton data and the skin contour data Can be adjusted. This embodiment of the present invention is particularly useful when using a 3D modeling device for cosmetic or medical purposes. For example, when a 3D modeling device generates a 3D face model of a patient and then the user adjusts the width of the user's jawbone to be reduced through the input unit, the 3D modeling device automatically adjusts the 3D face model of the patient And the skin contour data can be adjusted accordingly. Through the 3D modeling apparatus according to the embodiment of the present invention, the user can immediately confirm the full face appearance, the facial expression or the impression after the jawbone operation.

한편, 사용자는 본 발명에 따른 3D 모델링 장치의 입력부를 통해 피부 윤곽 데이터의 형상 변화를 직접적으로 제어할 수 있으며, 각 얼굴 근육의 파라미터 역시 임의적으로 입력하여 3D 얼굴 모델의 변화를 관찰할 수도 있다.On the other hand, the user can directly control the shape change of the skin contour data through the input unit of the 3D modeling apparatus according to the present invention, and also can input the parameters of each facial muscle arbitrarily to observe the change of the 3D face model.

본 발명의 바람직한 실시예에 따르면, 얼굴 모델 생성부는 상기 사용자 골격 데이터의 변형 및 상기 조정된 얼굴 근육의 배치에 따른 상기 얼굴 근육의 파라미터를 재계산하고, 상기 피부 윤곽 데이터의 형상을 조정할 때 상기 재계산된 얼굴 근육의 파라미터를 참조할 수 있다. 즉, 상기 사용자 골격 데이터의 변형에 따라 피부 윤곽 데이터의 특성이 달라지거나 상기 얼굴 근육의 위치 또는 형상 등이 변화될 수 있으므로, 상기 사용자 골격 데이터의 변형에 따른 얼굴 표정 또는 인상의 변화를 사실적으로 구현하기 위해서는 얼굴 근육 파라미터의 재계산이 필요할 수 있다.According to a preferred embodiment of the present invention, the face model generation unit recalculates the parameters of the facial muscle according to the deformation of the user skeleton data and the arrangement of the facial muscles, and when adjusting the shape of the skin contour data, The calculated facial muscle parameters can be referenced. That is, since the characteristics of the skin contour data may be changed according to the modification of the user skeleton data, or the position or shape of the face muscle may be changed, realization of the change of the facial expression or impression according to the modification of the user skeleton data Recalculation of facial muscle parameters may be necessary to do so.

도 6은 부분 CT 영상 데이터(i100p)로부터 전체 사용자 골격 데이터(i200t) 및 전체 피부 윤곽 데이터(i300t)를 생성하는 방식을 나타낸 도면이다.Fig. 6 is a diagram showing a method of generating the entire user skeleton data i200t and the entire skin contour data i300t from the partial CT image data i100p.

통상의 경우, 얼굴 전체에 대한 CT 영상 데이터를 확보하는 것이 비용 또는 시간의 측면에서 문제가 될 수 있다. 또는, 치과 치료를 위한 치아 주변의 CT 영상 데이터만 보유하는 환자가 있을 수 있다. 즉, 경제적 이유 또는 특정 목적에 따라 일부 또는 부분 CT 영상 데이터만 존재하는 경우에도 본 발명에 따른 3D 얼굴 모델링을 수행할 수 있다.In general, securing CT image data for the entire face may be a problem in terms of cost or time. Alternatively, there may be patients holding only CT image data around the teeth for dental treatment. That is, 3D face modeling according to the present invention can be performed even when there is only a partial or partial CT image data depending on an economic reason or a specific purpose.

도 6(a)는 부분 CT 영상 데이터(i100p)에서 머리의 일부의 머리뼈를 나타내는 부분 사용자 골격 데이터(i200p1) 및 머리의 일부의 피부를 나타내는 부분 피부 윤곽 데이터(i300p1)를 추출하는 과정을 나타내고 있다. 도 6(a)의 추출 방식은 도 2의 (전체) CT 영상 데이터(i100)로부터 사용자 골격 데이터(i200) 및 피부 윤곽 데이터(i300)를 추출하는 방식과 동일한 것일 수 있다. 6A shows a process of extracting partial skin skeleton data i200p1 representing a head bone of a part of the head and partial skin contour data i300p1 representing skin of a part of the head in the partial CT image data i100p have. The extraction method of Fig. 6A may be the same as the method of extracting the user skeleton data i200 and the skin contour data i300 from the (entire) CT image data i100 of Fig.

데이터 추출부가 상기 부분 CT 영상 데이터(i100p)로부터 상기 부분 사용자 골격 데이터(i200p1) 및 상기 부분 피부 윤곽 데이터(i300p1)를 추출한 뒤, 데이터 매칭부는 상기 부분 사용자 골격 데이터(i200p1)와 가장 유사한 머리뼈의 일부를 포함하는 샘플 골격 데이터를 선별할 수 있다. 그리고, 데이터 매칭부는 상기 선별된 샘플 골격 데이터에 기초하여 상기 부분 사용자 골격 데이터의 결손 부분(i200p2)을 보충한 전체 사용자 골격 데이터(i200t)를 생성할 수 있다. 이 때, 상기 사용자 골격 데이터의 결손 부분(i200p2)은 상기 샘플 골격 데이터에서 상기 부분 사용자 골격 데이터(i200p1)에 해당하는 일부의 머리뼈 부분을 제외한 나머지 부분일 수 있다. 그리고, 데이터 매칭부는 상기 부분 사용자 골격 데이터(i200p1)와 상기 사용자 골격 데이터의 결손 부분(i200p2)의 접합부를 서로 맞추기 위해, 상기 사용자 골격 데이터의 결손 부분(i200p2)의 접합부의 형상을 상기 부분 사용자 골격 데이터(i200p1)의 접합부의 형상으로 변형할 수 있다. 도 6(b)에 따르면, 부분 사용자 골격 데이터(i200p1)는 목에서 코 아래까지의 머리뼈를 나타내고 있다. 데이터 매칭부는 상기 부분 사용자 골격 데이터(i200p1)와 코에서 정수리까지의 머리뼈를 나타내는 사용자 골격 데이터의 결손 부분(i200p2)을 결합하여 전체 사용자 골격 데이터(i200t)를 생성할 수 있다.The data extracting unit extracts the partial user skeleton data i200p1 and the partial skin contour data i300p1 from the partial CT image data i100p and then the data matching unit compares the partial skeleton data i200p1 with the partial user skeleton data i200p1 It is possible to select the sample skeleton data including a part thereof. Then, the data matching unit may generate the entire user skeleton data i200t supplementing the defective part (i200p2) of the partial user skeleton data based on the selected sample skeleton data. At this time, the defective part (i200p2) of the user skeleton data may be the remaining part excluding the part of the skeleton corresponding to the partial user skeleton data (i200p1) in the sample skeleton data. The data matching unit may change the shape of the joining portion of the defective part (i200p2) of the user skeleton data to the partial user skeleton data (i200p2) so that the joining parts of the partial user skeleton data (i200p1) Can be deformed into the shape of the junction of the data (i200p1). According to Fig. 6 (b), the partial user skeleton data i200p1 represents the head bone from neck to under the nose. The data matching unit may generate the entire user skeleton data i200t by combining the partial user skeleton data i200p1 and the missing part i200p2 of the user skeleton data representing the head bone from the nose to the parietal bone.

한편, 본 발명의 바람직한 실시예에 따르면 데이터베이스는 상기 각 샘플 골격 데이터가 나타내는 머리뼈의 형상에 따른 가상의 피부 윤곽 데이터인 샘플 피부 데이터를 더 저장할 수 있다. 그리고, 데이터 매칭부는 상기 선별된 샘플 골격 데이터에 연관된 샘플 피부 데이터에 기초하여 상기 부분 피부 윤곽 데이터의 결손 부분(i300p2)을 보충한 전체 피부 윤곽 데이터(i300t)를 생성할 수 있다. 이때, 상기 피부 윤곽 데이터의 결손 부분(i300p2)은 선택된 샘플 골격 데이터에 연관된 피부 윤곽 데이터에서 상기 부분 피부 윤곽 데이터(i300p1)에 해당하는 일부의 피부 부분을 제외한 나머지 부분일 수 있다. 그리고, 데이터 매칭부는 상기 부분 피부 윤곽 데이터(i300p1)와 상기 피부 윤곽 데이터의 결손 부분(i300p2)의 접합부를 서로 맞추기 위해, 상기 피부 윤곽 데이터의 결손 부분(i300p2)의 접합부의 형상을 상기 부분 피부 윤곽 데이터(i300p1)의 접합부의 형상으로 변형할 수 있다. 도 6(b)에 따르면, 부분 피부 윤곽 데이터(i300p1)는 목에서 코 아래까지의 피부를 나타내고 있다. 데이터 매칭부는 상기 부분 피부 윤곽 데이터(i300p1)와 코에서 정수리까지의 피부를 나타내는 피부 윤곽 데이터의 결손 부분(i300p2)을 결합하여 전체 피부 윤곽 데이터(i300t)를 생성할 수 있다.According to a preferred embodiment of the present invention, the database may further store sample skin data, which is virtual skin contour data according to the shape of the head bone represented by each sample skeleton data. Then, the data matching unit can generate the entire skin contour data (i300t) supplemented with the defective part (i300p2) of the partial skin contour data based on the sample skin data associated with the selected sample skeleton data. At this time, the defective part (i300p2) of the skin contour data may be the remaining part of the skin contour data associated with the selected sample skeleton data, excluding the part of the skin corresponding to the partial skin contour data (i300p1). Then, the data matching unit sets the shape of the junction of the defective part (i300p2) of the skin contour data to the partial skin contour (i300p2) so that the joints of the partial skin contour data (i300p1) and the defective part It can be deformed into the shape of the junction of the data (i300p1). According to Fig. 6 (b), partial skin outline data i300p1 indicates skin from neck to nose. The data matching unit may combine the partial skin outline data i300p1 and the defective portion i300p2 of the skin contour data representing the skin from the nose to the trough to generate the entire skin contour data i300t.

그 후, 데이터 매칭부는 상기 선별된 샘플 골격 데이터에 배치된 상기 얼굴 근육에 기초하여 상기 전체 사용자 골격 데이터(i200t)에 얼굴 근육을 배치할 수 있다. 얼굴 모델 생성부는 상기 전체 사용자 골격 데이터(i200t)에 배치된 얼굴 근육과 상기 전체 피부 윤곽 데이터(i300t)를 연결하여 3D 얼굴 모델을 생성할 수 있다.Thereafter, the data matching unit may place the facial muscles in the entire user skeleton data i200t based on the facial muscles arranged in the selected sample skeleton data. The face model generation unit may generate the 3D face model by connecting the facial muscles disposed in the entire user skeleton data i200t and the entire skin contour data i300t.

본 발명의 다른 실시예에 따르면, 이러한 부분 사용자 골격 데이터(i200p1) 및 부분 피부 윤곽 데이터(i300p1)의 결손부 보충 없이, 부분 CT 영상 데이터(i100p)에 기반한 부분 3D 얼굴 모델을 생성할 수도 있다. 예를 들어, 본 발명에 따른 3D 모델링 장치는 도 6에서 나타난 바와 같이 목에서 코 아래까지의 부분 사용자 골격 데이터(i200p1) 및 부분 피부 윤곽 데이터(i300p1)에 기초하여 부분 3D 얼굴 모델을 생성할 수 있으며, 이를 통해 사용자는 얼굴 전체가 아닌 얼굴의 부분에서의 얼굴 표정 등을 확인할 수 있다.According to another embodiment of the present invention, a partial 3D face model based on partial CT image data (i100p) may be generated without missing part replacement of partial user skeleton data i200p1 and partial skin contour data i300p1. For example, the 3D modeling device according to the present invention can generate a partial 3D facial model based on partial user skeleton data (i200p1) and partial skin contour data (i300p1) from neck to nose as shown in Fig. 6 This allows the user to check facial expressions, etc., on the part of the face rather than the entire face.

도 7은 부분 CT 영상 데이터(i100p)로부터 3D 얼굴 모델을 생성하는 다른 실시예를 나타낸 도면이다. 도 7의 부분 CT 영상 데이터(i100p) 및 부분 사용자 골격 데이터(i200p)는 도 6의 부분 CT 영상 데이터(i100p) 및 부분 사용자 골격 데이터(i200p1)와 각각 동일한 것일 수 있다.7 is a view showing another embodiment for generating a 3D face model from partial CT image data (i100p). The partial CT image data i100p and the partial user skeleton data i200p in Fig. 7 may be the same as the partial CT image data i100p and the partial user skeleton data i200p1 in Fig. 6, respectively.

본 발명의 다른 실시예에 따르면, 데이터 추출부는 사용자의 머리의 일부분을 촬영한 부분 CT 영상 데이터(i100p)로부터 상기 머리의 일부의 머리뼈를 나타내는 부분 사용자 골격 데이터(i200p)를 추출할 수 있다. 그리고, 상기 데이터 매칭부는 부분 사용자 골격 데이터(i200p)를 기초로 복수의 샘플 골격 데이터(i400A, ... , i400B)를 선별할 수 있다. 여기서, 데이터 매칭부는 상기 부분 사용자 골격 데이터(i200p)에 더하여 사용자의 얼굴의 외형에 대한 정보인 사용자 부가 정보(i700)를 더 이용하여 샘플 골격 데이터를 선별할 수 있다. 본 발명의 바람직한 실시예에 따르면, 상기 사용자 부가 정보는 상기 사용자의 모자 크기, 안경 치수, 머리 둘레 치수 정보, 미간의 길이 등 사용자의 머리뼈 또는 머리 골격의 구조와 관련된 정보를 포함할 수 있다. 데이터 매칭부는 선별의 대상이 되는 복수의 샘플 골격 데이터로부터 상기 머리 둘레 치수, 미간의 길이 등의 정보를 산출할 수 있다. 그리고, 데이터 매칭부는 상기 샘플 골격 데이터의 머리 둘레 치수, 미간의 길이 등의 정보와 사용자 부가 정보에 포함된 머리 둘레 치수, 미간의 길이 등의 정보를 비교하고, 샘플 골격 데이터 중 사용자 부가 정보와 유사한 머리 둘레 치수, 미간의 길이 등의 정보와 연관된 샘플 골격 데이터를 복수 개 선택할 수 있다. 이 때, 데이터 매칭부는 도 6에서 설명된 것과 마찬가지로, 선택된 샘플 골격 데이터 중 부분 사용자 골격 데이터(i200p)와 가장 유사한 머리뼈의 일부를 포함하는 샘플 골격 데이터를 별도로 선별할 수 있다.According to another embodiment of the present invention, the data extracting unit may extract the partial user skeleton data i200p representing the head bone of a part of the head from the partial CT image data (i100p) which photographs a part of the user's head. Then, the data matching unit can select a plurality of sample skeleton data i400A, ..., i400B based on the partial user skeleton data i200p. Here, the data matching unit may select the sample skeleton data by further using the user additional information (i700), which is information on the appearance of the user's face, in addition to the partial user skeleton data i200p. According to a preferred embodiment of the present invention, the user additional information may include information related to the structure of the user's head bone or skeleton such as the hat size of the user, the glasses size, the head circumference dimension information, and the length of the head. The data matching unit can calculate the information such as the head circumference dimension and the length between the sample skeleton data to be selected. The data matching unit compares information such as the head circumference dimension of the sample skeleton data, the length of the skeleton data, the head circumference dimensions included in the user additional information, the length of the skeleton data, and the like, A plurality of sample skeleton data associated with information such as the head circumference dimension, the length of the head space, and the like can be selected. At this time, the data matching unit can separately select sample skeleton data including a part of the head bone most similar to the partial user skeleton data i200p among the selected sample skeleton data, as described in Fig.

상기 얼굴 모델 생성부는 상기 복수의 샘플 골격 데이터에 기초한 3D 얼굴 모델(i600A, ... , i600B)을 개별적으로 생성할 수 있다. 이 때, 얼굴 모델 생성부는 3D 얼굴 모델 생성시 도 6의 방식에 따른 전체 피부 윤곽 데이터(i300t)를 이용할 수 있다. 또는, 데이터베이스는 상기 각 샘플 골격 데이터가 나타내는 머리뼈의 형상에 따른 가상의 피부 윤곽 데이터인 샘플 피부 데이터를 더 저장할 수 있으며, 얼굴 모델 생성부는 상기 샘플 피부 데이터를 이용하여 3D 얼굴 모델(i600A, ... , i600B)을 생성할 수도 있다.The face model generation unit may individually generate 3D face models (i600A, ..., i600B) based on the plurality of sample skeleton data. At this time, the face model generation unit can use the entire skin contour data i300t according to the scheme of FIG. 6 when creating the 3D face model. Alternatively, the database may further store sample skin data, which is virtual skin contour data according to the shape of the head bone represented by each of the sample skeleton data, and the face model generation unit may store the 3D skin model data (i600A,. ..., i600B.

이 때, 얼굴 모델 생성부는 상기 사용자의 얼굴을 촬영한 적어도 하나의 2D 영상 데이터(i800)와 상기 개별적으로 생성된 3D 얼굴 모델(i600A, ... , i600B)을 비교하여 상기 2D 영상 데이터가 나타내는 사용자의 얼굴과 가장 유사한 3D 얼굴 모델(i600A)을 선택할 수 있다. 상기 유사도의 비교는 사용자의 얼굴의 정면을 나타내는 2D 영상 데이터(i800)와 정면 방향의 3D 얼굴 모델의 유사도 비교 또는 사용자의 얼굴의 측면을 나타내는 2D 영상 데이터(i800)와 측면 방향의 3D 얼굴 모델의 유사도를 비교하는 방식으로 진행될 수 있다. 만약 사용자의 얼굴의 정면을 나타내는 2D 영상 데이터(i800)와 정면 방향의 3D 얼굴 모델의 유사도가 비교되는 경우, 얼굴 모델 생성부는 상기 2D 영상 데이터(i800)와 정면 방향의 3D 얼굴 모델의 평면 이미지(3D 얼굴 모델의 정면 방향 스냅샷)를 비교하되, 전체 얼굴에서 눈, 코, 입 또는 눈썹의 위치(2D 영상 데이터 또는 평면 이미지에서의 2차원 좌표) 및 위치에 따른 비율(예를 들어, 눈은 위를 기준으로 세로 방향의 1/3 비율에 위치), 얼굴 외곽선으로부터 상기 눈, 코, 입 또는 눈썹이 떨어진 거리 등이 평가될 수 있다. 도 7에 따르면, 최종적으로 3D 얼굴 모델 i600A가 사용자의 얼굴 모델로 선택되고 있다.At this time, the face model generation unit compares at least one 2D image data (i800) of the user's face with the individually generated 3D face models (i600A, ..., i600B) You can select the 3D face model (i600A) that is most similar to your face. The comparison of the degrees of similarity is made by comparing the similarity of the 2D face image data (i800) representing the front face of the user with the face face 3D face model or comparing the 2D face image data (i800) And the similarity can be compared with each other. If the similarity between the 2D image data (i800) representing the front face of the user's face and the 3D face model of the front face direction is compared, the face model generating unit compares the 2D image data i800 with the plane image of the 3D face model Face directional snapshot of the 3D face model), with the ratio of the position of the eye, nose, mouth or eyebrows (2D image data or 2D coordinates in the planar image) and position in the entire face (e.g., A position where the eye, nose, mouth, or eyebrows are separated from the face outline, and the like may be evaluated. 7, finally, the 3D face model i600A is selected as the user's face model.

도 8은 본 발명의 실시예에 따른 3D 얼굴 모델링 방법을 나타낸 도면이다. CT 영상 데이터를 이용하여 3D 얼굴 모델을 생성하는 방법에 있어서, 본 발명에 따른 3D 얼굴 모델링 장치는 상기 CT 영상 데이터로부터 머리뼈를 나타내는 사용자 골격 데이터 및 얼굴 피부를 나타내는 피부 윤곽 데이터를 추출(S110)할 수 있다. 그 이후, 상기 3D 얼굴 모델링 장치는 복수의 얼굴 근육이 배치된 가상의 머리뼈인 샘플 골격 데이터의 특징점과 상기 사용자 골격 데이터의 특징점을 매칭시켜 상기 사용자 골격 데이터에 상기 얼굴 근육을 배치(S120)할 수 있다. 마지막으로, 상기 3D 얼굴 모델링 장치는 상기 얼굴 근육과 상기 피부 윤곽 데이터를 연결하고, 상기 사용자 골격 데이터, 상기 피부 윤곽 데이터 및 상기 얼굴 근육에 기초한 3D 얼굴 모델을 생성(S130)할 수 있다. 여기서, 상기 특징점은 상기 샘플 골격 데이터 및 상기 사용자 골격 데이터에서 상기 각 얼굴 근육의 일 단 및 타 단이 배치되는 지점일 수 있다.8 is a diagram illustrating a 3D face modeling method according to an embodiment of the present invention. The 3D facial modeling apparatus according to the present invention extracts skin skeleton data representing a skeleton from the CT image data and skin contour data representing facial skin at step S110, can do. Thereafter, the 3D facial modeling device arranges the facial muscles in the user skeleton data by matching the feature points of the skeleton data of the sample skeleton data, which is a virtual skeleton having a plurality of facial muscles, with the feature points of the user skeleton data (S120) . Finally, the 3D facial modeling device may connect the facial muscle and the skin contour data, and generate a 3D facial model based on the user skeleton data, the skin contour data, and the facial muscle (S130). Here, the feature point may be a point at which one end and the other end of each facial muscle are arranged in the sample skeleton data and the user skeleton data.

한편, 상기 피부 윤곽 데이터는 복수의 영역으로 구분되고, 상기 복수의 영역의 피부 윤곽 데이터 중 적어도 어느 하나의 영역의 피부 윤곽 데이터는 상기 얼굴 근육과 연결될 수 있다.The skin contour data may be divided into a plurality of areas, and skin contour data of at least one of the skin contour data of the plurality of areas may be connected to the face muscle.

여기서, 상기 3D 얼굴 모델링 장치는 상기 얼굴 근육을 배치시킬 때(S120) 상기 각 영역의 피부 윤곽 데이터의 특성에 기초하여 상기 각 영역의 피부 윤곽 데이터에 연결되는 상기 얼굴 근육의 파라미터를 개별적으로 산출할 수 있다. 상기 파라미터는 상기 얼굴 근육의 움직임 및 수축/이완 정도를 결정하는 적어도 하나의 계수일 수 있다. 그리고, 상기 피부 윤곽 데이터의 특성은 상기 피부 윤곽 데이터의 두께 및 위치를 포함할 수 있다.Here, when the facial muscles are arranged (S120), the 3D facial modeling device separately calculates the parameters of the facial muscles connected to the skin contour data of the respective areas based on the characteristics of the skin contour data of the respective areas . The parameter may be at least one coefficient that determines the degree of motion and contraction / relaxation of the facial muscle. The characteristics of the skin contour data may include the thickness and the position of the skin contour data.

한편, 상기 샘플 골격 데이터는 복수 개 존재하고, 상기 각 샘플 골격 데이터가 나타내는 머리뼈의 형상이 서로 상이하며, 상기 얼굴 근육을 배치시키는 단계(S120)는 상기 복수의 샘플 골격 데이터 중 상기 사용자 골격 데이터가 나타내는 머리뼈의 형상과 가장 유사한 형상의 머리뼈에 해당하는 샘플 골격 데이터를 선택할 수 있다. 상기 얼굴 근육을 배치시키는 단계(S120)는 머리뼈의 형상에 따른 얼굴 근육의 배치 정보를 저장하는 데이터베이스를 참조하여 상기 선택된 샘플 골격 데이터에 상기 얼굴 근육을 배치할 수 있다.Meanwhile, a plurality of the sample skeleton data exist, and the shape of the skeleton represented by each sample skeleton data is different from each other, and the step of arranging the face muscles (S120) The bone skeleton data corresponding to the head bone having the shape most similar to the shape of the head bone represented by the bone skeleton shown in FIG. The step of arranging the facial muscles (S120) may place the facial muscles in the selected sample skeleton data by referring to a database storing information on the facial muscles according to the shape of the head bones.

상기 3D 얼굴 모델을 생성하는 단계(S130)는 상기 사용자의 얼굴을 촬영한 2D 영상 데이터로부터 획득한 색상 정보를 상기 피부 윤곽 데이터에 적용할 수 있다.The step of generating the 3D face model (S130) may apply the color information obtained from the 2D image data of the face of the user to the skin contour data.

본 발명의 다른 실시예에 따르면, 사용자로부터 상기 사용자 골격 데이터의 변형과 관련된 사용자 입력을 수신하는 단계(미도시)를 더 포함할 수 있으며, 이에 따라 상기 3D 얼굴 모델을 생성하는 단계(S130)는 상기 사용자 골격 데이터의 변형에 기초하여 상기 사용자 골격 데이터에 배치된 상기 얼굴 근육의 배치를 조정하고, 상기 변형된 사용자 골격 데이터 및 상기 배치가 조정된 얼굴 근육에 기초하여 상기 피부 윤곽 데이터의 형상을 조정할 수 있다. 또한, 상기 3D 얼굴 모델을 생성하는 단계(S130)는 상기 사용자 골격 데이터의 변형 및 상기 조정된 얼굴 근육의 배치에 따른 상기 얼굴 근육의 파라미터를 재계산할 수 있으며, 상기 피부 윤곽 데이터의 형상을 조정할 때 상기 재계산된 얼굴 근육의 파라미터가 참조할 수 있다.According to another embodiment of the present invention, the method may further include receiving a user input related to the transformation of the user skeleton data from a user (not shown), and thus the step (S 130) of generating the 3D face model Adjusting the arrangement of the facial muscles disposed in the user skeleton data based on the deformation of the user skeleton data and adjusting the shape of the skin contour data based on the modified user skeleton data and the facial muscle to which the arrangement is adjusted . In addition, the step of generating the 3D facial model (S130) may recalculate the parameters of the facial muscles according to the deformation of the user skeleton data and the arrangement of the adjusted facial muscles, and when adjusting the shape of the skin contour data The recalculated facial muscle parameters may be referenced.

한편, 본 발명의 또 다른 실시예에 따르면, 상기 데이터베이스는 상기 각 샘플 골격 데이터가 나타내는 머리뼈의 형상에 따른 가상의 피부 윤곽 데이터인 샘플 피부 데이터를 더 저장할 수 있으며, 상기 CT 영상 데이터는 사용자의 머리의 일부를 촬영한 부분 CT 영상 데이터일 수 있다. 이 때, 사용자 골격 데이터 및 피부 윤곽 데이터를 추출하는 단계(S110)는 상기 부분 CT 영상 데이터로부터 상기 머리의 일부의 머리뼈를 나타내는 부분 사용자 골격 데이터 및 상기 머리의 일부의 피부를 나타내는 부분 피부 윤곽 데이터를 추출하고, 상기 얼굴 근육을 배치시키는 단계(S120)는 상기 부분 사용자 골격 데이터와 가장 유사한 머리뼈의 일부를 포함하는 샘플 골격 데이터를 선별하고, 상기 선별된 샘플 골격 데이터에 기초하여 상기 부분 사용자 골격 데이터의 결손 부분을 보충한 전체 사용자 골격 데이터를 생성하고, 상기 선별된 샘플 골격 데이터에 연관된 샘플 피부 데이터에 기초하여 상기 부분 피부 윤곽 데이터의 결손 부분을 보충한 전체 피부 윤곽 데이터를 생성하고, 상기 선별된 샘플 골격 데이터에 배치된 상기 얼굴 근육에 기초하여 상기 전체 사용자 골격 데이터에 상기 얼굴 근육을 배치하고, 상기 3D 얼굴 모델을 생성하는 단계(S130)는 상기 전체 사용자 골격 데이터에 배치된 얼굴 근육과 상기 전체 피부 윤곽 데이터를 연결하여 3D 얼굴 모델을 생성할 수 있다.According to another embodiment of the present invention, the database may further store sample skin data, which is virtual skin contour data according to the shape of the head bone represented by the respective sample skeleton data, It may be partial CT image data of a part of the head. At this time, extracting user skeleton data and skin contour data (S110) may include extracting partial user skeleton data representing a head bone of a part of the head from the partial CT image data and partial skin skeleton data representing partial skin contour data (S120) of extracting the facial muscles includes the steps of: selecting sample skeleton data including a part of the head bone most similar to the partial user skeleton data; and based on the selected sample skeleton data, Generating total skin skeleton data supplementing the defective portion of the data, generating full skin contour data in which the defective portion of the partial skin contour data is supplemented based on the sample skin data associated with the selected sample skeleton data, Based on the facial muscles placed in the sample skeleton data The step S130 of arranging the facial muscles in the entire user skeleton data and generating the 3D facial model generates a 3D facial model by connecting the facial muscles arranged in the entire user skeleton data and the entire skin contour data .

상기 각 단계에 대한 상세한 설명은 도 1 내지 6을 설명할 때 다루었으므로 생략한다.The detailed description of each step is omitted since it has been described with reference to FIGS. 1 to 6. FIG.

본 발명의 실시예에 따른 3D 모델링 장치는 사용자의 머리뼈 구조, 얼굴 근육의 배치 및 움직임에 따른 얼굴 표정 변화가 적용된 정밀한 3D 얼굴 모델을 제공할 수 있다.The 3D modeling apparatus according to the embodiment of the present invention can provide a precise 3D face model to which the change of the facial expression according to the user's hair bone structure, the arrangement of the facial muscle and the movement is applied.

또한, 본 발명의 실시예에 따르른 3D 모델링 장치는 사용자의 머리뼈의 구조가 변경되거나 골격이 움직이는 경우 상기 머리뼈 구조의 변경 또는 골격의 움직임에 따른 얼굴 표정의 변화를 모델링할 수 있다.In addition, the 3D modeling apparatus according to the embodiment of the present invention can model the change of the facial expression according to the change of the skull structure or the movement of the skeleton when the structure of the user's skull is changed or the skeleton is moved.

또한, 본 발명의 실시예에 따르면, 부분적으로 촬영된 CT 영상 데이터로부터 전체 3D 얼굴 모델을 생성할 수 있다.Further, according to the embodiment of the present invention, it is possible to generate the entire 3D face model from the partially photographed CT image data.

이상에서 본 발명을 구체적인 실시예를 통하여 설명하였으나, 당업자라면 본 발명의 취지를 벗어나지 않는 범위 내에서 수정, 변경을 할 수 있을 것이다. 따라서 본 발명이 속하는 기술분야에 속한 사람이 본 발명의 상세한 설명 및 실시예로부터 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석되어야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made without departing from the spirit and scope of the invention. Accordingly, it is to be understood that within the scope of the appended claims, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims.

Claims

A data extracting unit for extracting partial user skeleton data representing a head bone of a part of the head from a partial CT (computed tomography) image data of a part of a user's head;
Selecting a sample skeleton data representing a virtual full skeleton based on the partial user skeleton data and generating total user skeleton data in which a defective portion of the partial user skeleton data is supplemented with reference to the sample skeleton data; ; And
And a face model generation unit for generating a three-dimensional (3D) face model of the user based on the face muscle corresponding to the selected sample skeleton data and the entire user skeleton data,
Wherein the data matching unit transforms the shape of the joint part connected to the partial user skeleton data among the complementary deficit parts in generating the entire user skeleton data into the shape of the joint part of the partial user skeleton data.

The method according to claim 1,
A plurality of facial muscles are arranged in the sample skeleton data,
Wherein the data extracting unit further extracts partial skin contour data indicating a skin of a part of the head,
Wherein the data matching unit generates the entire skin contour data supplemented with the defective portion of the partial skin contour data based on the sample skin data representing the virtual skin associated with the selected sample skeleton data and arranges the whole skin contour data in the selected sample skeleton data The face muscle is placed on the entire user skeleton data based on the facial muscle,
Wherein the face model generation unit generates the 3D face model of the user by connecting the facial muscles arranged in the entire user skeleton data and the entire skin contour data,
Wherein the entire skin contour data is divided into a plurality of regions and the entire skin contour data of at least one of the plurality of regions is connected to the facial muscles.

3. The method of claim 2,
The face model generation unit may generate,
Calculating individual parameters of the facial muscles connected to the entire skin contour data of the respective regions based on characteristics of the entire skin contour data of the respective regions,
Wherein the parameter is at least one coefficient that determines the degree of motion and contraction / relaxation of the facial muscles.

The method of claim 3,
Wherein the characteristics of the entire skin outline data of each area include the thickness and the position of the entire skin outline data of each area.

The method according to claim 1,
Wherein the data matching unit selects sample skeleton data including a head bone having a shape most similar to a shape of a head bone represented by the partial user skeleton data among a plurality of the sample skeleton data representing the shapes of different head bones 3D face modeling device.

6. The method of claim 5,
Wherein the data-
Wherein the face muscle is arranged in the sample skeleton data with reference to a database storing arrangement information of facial muscles according to the shape of the skeleton.

delete

The method according to claim 1,
Wherein the data matching unit selects a plurality of the sample skeleton data based on the partial user skeleton data,
Wherein the face model generation unit separately generates a 3D face model based on the plurality of sample skeleton data, compares at least one 2D image data obtained by photographing the face of the user with the individually generated 3D face model, And selects a 3D face model most similar to a user's face represented by the data.

9. The method of claim 8,
Wherein the data matching unit selects the plurality of sample skeleton data based on the partial additional skeleton data and the additional information, which is information on the appearance of the face of the user,
Wherein the user additional information includes a hat size, a spectacle size, and a head circumference dimension information of the user.

3. The method of claim 2,
The face model generation unit may generate,
And the color information obtained from the 2D image data of the face of the user is applied to the entire skin contour data.

3. The method of claim 2,
Further comprising an input for receiving a user input,
The face model generation unit may generate,
A user input associated with the transformation of the entire user skeleton data via the input,
Adjusting the arrangement of the facial muscles disposed in the entire user skeleton data based on the deformation of the entire user skeleton data,
And adjusts the shape of the entire skin contour data based on the deformed whole user skeleton data and the facial muscle whose arrangement is adjusted.

12. The method of claim 11,
The face model generation unit recalculates the parameters of the facial muscles according to the deformation of the entire user skeleton data and the arrangement of the facial muscles,
Wherein the recalculated facial muscle parameters are referenced when adjusting the shape of the entire skin contour data.

A control method of a device for generating a three-dimensional (3D) face model using CT (computed tomography) image data,
Extracting partial user skeleton data representing a head bone of a part of the head from partial CT image data of a part of the user's head;
Selecting sample skeleton data representing a virtual full skeleton based on the partial user skeleton data and generating total user skeleton data in which a defective portion of the partial user skeleton data is supplemented with reference to the sample skeleton data; And
Generating a three-dimensional (3D) face model of the user based on the face muscle corresponding to the selected sample skeleton data and the entire user skeleton data,
Wherein the step of generating the entire user skeleton data transforms the shape of the joint part connected to the partial user skeleton data among the complementary deficit parts to the shape of the joint part of the partial user skeleton data, Lt; / RTI >