KR102116673B1 - System and Method of Determining Blend Shape Weight Using Markerless Image and Computer Readable Storage Medium - Google Patents

System and Method of Determining Blend Shape Weight Using Markerless Image and Computer Readable Storage Medium Download PDF

Info

Publication number
KR102116673B1
KR102116673B1 KR1020190085273A KR20190085273A KR102116673B1 KR 102116673 B1 KR102116673 B1 KR 102116673B1 KR 1020190085273 A KR1020190085273 A KR 1020190085273A KR 20190085273 A KR20190085273 A KR 20190085273A KR 102116673 B1 KR102116673 B1 KR 102116673B1
Authority
KR
South Korea
Prior art keywords
data
blend shape
shape weight
learning
facial landmark
Prior art date
Application number
KR1020190085273A
Other languages
Korean (ko)
Inventor
하승봉
이지철
신원호
최성민
로렌트 빈센트
문기영
강성구
Original Assignee
(주)자이언트스텝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)자이언트스텝 filed Critical (주)자이언트스텝
Priority to KR1020190085273A priority Critical patent/KR102116673B1/en
Application granted granted Critical
Publication of KR102116673B1 publication Critical patent/KR102116673B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

According to one embodiment of the present invention, a method for determining a blend shape weight using a markerless image may comprise the steps of: generating learning data by combining facial landmark data and blend shape weight information; learning a learning model using the learning data; and receiving real-time facial landmark data extracted from three-dimensional capture data obtained by three-dimensionally capturing a face of a person in real time while a marker is not attached to automatically determine a blend shape weight corresponding to the real-time facial landmark data.

Description

마커리스 이미지를 이용한 블랜드쉐입 웨이트 결정 시스템 및 방법, 및 컴퓨터 판독 가능한 저장매체 {System and Method of Determining Blend Shape Weight Using Markerless Image and Computer Readable Storage Medium}System and Method of Determining Blend Shape Weight Using Markerless Image and Computer Readable Storage Medium}

본 출원은 마커리스 이미지를 이용한 블랜드쉐입 웨이트 결정 시스템 및 방법, 및 컴퓨터 판독 가능한 저장매체에 관한 것이다.The present application relates to a system and method for determining a blend shape weight using a markerless image, and a computer-readable storage medium.

얼굴 애니메이션을 구현하기 위해 모션 캡쳐 시스템에 의해 사람의 미세한 얼굴 표정을 추적하고 추적된 표정을 가상의 캐릭터에 적용하는 기술이 널리 사용되고 있다.In order to implement facial animation, a technique for tracking a person's fine facial expressions by a motion capture system and applying the tracked facial expressions to a virtual character has been widely used.

이를 위해, 일반적으로 사람의 얼굴에 마커(marker)를 부착하고 카메라로 마커의 영상을 획득한 후, 이를 분석하여 블랜드쉐입 웨이트를 결정함으로써 사람의 얼굴 표정을 추적하는 방법을 사용한다.To this end, in general, a marker is attached to a person's face, and an image of the marker is acquired by a camera, and then a blend shape weight is determined by analyzing it to use a method of tracking a person's facial expression.

그러나, 이와 같이 마커를 이용하여 사람의 얼굴 표정을 추적하는 경우, 마커의 정렬에 따라 부정확한 결과가 나올 수 있으며, 매번 마커 부착 등의 번거로운 준비 작업을 거쳐야 하고 이를 위해 많은 시간이 소요된다는 한계가 있다.However, when a person's facial expression is tracked using the marker as described above, inaccurate results may occur depending on the alignment of the marker. have.

따라서, 당해 기술분야에서는 얼굴 애니메이션 구현에 있어서 마커를 이용하지 않은 마커리스(Markerless) 이미지를 이용하여 블랜드쉐입 웨이트를 결정하기 위한 방안이 요구되고 있다.Accordingly, there is a need in the art for a method for determining a blend shape weight using a markerless image that does not use a marker in realizing facial animation.

상기 과제를 해결하기 위해서, 본 발명의 일 실시예는 마커리스 이미지를 이용한 블랜드쉐입 웨이트 결정 방법을 제공한다.In order to solve the above problems, an embodiment of the present invention provides a method for determining a blend shape weight using a markerless image.

상기 마커리스 이미지를 이용한 블랜드쉐입 웨이트 결정 방법은, 페이셜 랜드마크 데이터 및 블랜드쉐입 웨이트 정보를 결합하여 학습데이터를 생성하는 단계; 상기 학습데이터를 이용하여 학습모델을 학습하는 단계; 및 학습된 상기 학습모델을 이용하여, 마커를 부착하지 않은 상태에서 사람의 얼굴을 실시간으로 3D 캡쳐하여 획득한 3D 캡쳐 데이터로부터 추출한 실시간 페이셜 랜드마크 데이터를 입력 받아서 이에 상응하는 블랜드쉐입 웨이트를 자동으로 결정하는 단계를 포함할 수 있다.The method for determining a blend shape weight using the markerless image includes: generating learning data by combining facial landmark data and blend shape weight information; Learning a learning model using the learning data; And using the learned learning model, input real-time facial landmark data extracted from 3D capture data obtained by real-time 3D capture of a human face without attaching a marker to automatically receive the corresponding blend shape weight. And determining.

한편, 본 발명의 다른 실시예는 마커리스 이미지를 이용한 블랜드쉐입 웨이트 결정 시스템을 제공한다.Meanwhile, another embodiment of the present invention provides a blend shape weight determination system using a markerless image.

상기 마커리스 이미지를 이용한 블랜드쉐입 웨이트 결정 시스템은, 마커가 부착되지 않은 사람의 얼굴을 실시간으로 3D 캡쳐하여 3D 캡쳐 데이터를 출력하는 3D 캡쳐부; 상기 3D 캡쳐 데이터로부터 페이셜 랜드마크 데이터를 추출하는 페이셜 랜드마크 추출부; 학습데이터를 이용하여 사전에 학습되며, 상기 페이셜 랜드마크 데이터를 입력받고 이에 상응하는 블랜드쉐입 웨이트를 자동으로 결정하는 학습모델; 및 상기 학습모델에 의해 자동으로 결정된 블랜드쉐입 웨이트를 출력하는 블랜드쉐입 데이터 출력부를 포함할 수 있다.The blend shape weight determination system using the markerless image includes: a 3D capture unit for 3D capturing a face of a person without a marker attached in real time and outputting 3D capture data; A facial landmark extracting unit extracting facial landmark data from the 3D capture data; A learning model that is learned in advance using learning data, receives the facial landmark data, and automatically determines a corresponding blend shape weight; And a blend shape data output unit that outputs a blend shape weight automatically determined by the learning model.

덧붙여 상기한 과제의 해결수단은, 본 발명의 특징을 모두 열거한 것이 아니다. 본 발명의 다양한 특징과 그에 따른 장점과 효과는 아래의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.In addition, the solution means of the above-mentioned subject does not list all the characteristics of this invention. Various features of the present invention and advantages and effects thereof may be understood in more detail with reference to specific embodiments below.

본 발명의 일 실시예에 따르면, 얼굴 애니메이션 구현에 있어서 마커를 이용하지 않은 마커리스(Markerless) 이미지를 이용하여 블랜드쉐입 웨이트를 결정할 수 있다.According to an embodiment of the present invention, in implementing the face animation, a blend shape weight may be determined using a markerless image without a marker.

또한, 인공지능 기술을 이용하여 블랜드쉐입 웨이트 결정 과정을 자동화함으로써 보다 빠르고 정확하게 얼굴 애니메이션을 구현할 수 있다.In addition, artificial intelligence technology can be used to automate the process of determining the blend shape weight, thereby enabling faster and more accurate face animation.

도 1은 본 발명의 일 실시예에 따른 마커리스 이미지를 이용한 블랜드쉐입 웨이트 결정 방법을 설명하기 위한 개념도이다.
도 2는 본 발명의 다른 실시예에 따른 마커리스 이미지를 이용한 블랜드쉐입 웨이트 결정 시스템의 구성도이다.1 is a conceptual diagram illustrating a method for determining a blend shape weight using a markerless image according to an embodiment of the present invention.
2 is a block diagram of a blend shape weight determination system using a markerless image according to another embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.Hereinafter, preferred embodiments will be described in detail with reference to the accompanying drawings so that those skilled in the art to which the present invention pertains can easily implement the present invention. However, in the detailed description of a preferred embodiment of the present invention, when it is determined that a detailed description of related known functions or configurations may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. In addition, the same reference numerals are used throughout the drawings for parts having similar functions and functions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.In addition, throughout the specification, when a part is said to be 'connected' to another part, it is not only 'directly connected', but also 'indirectly connected' with another element in between. Includes. In addition, "including" a component means that other components may be further included instead of excluding other components, unless otherwise stated.

도 1은 본 발명의 일 실시예에 따른 마커리스 이미지를 이용한 블랜드쉐입 웨이트 결정 방법을 설명하기 위한 개념도이다.1 is a conceptual diagram illustrating a method for determining a blend shape weight using a markerless image according to an embodiment of the present invention.

도 1을 참조하면, AI 기반으로 블랜드쉐입 웨이트를 결정하기 위한 준비 과정으로, 우선 학습모델(100)을 학습시키기 위한 학습데이터(30)를 생성할 수 있다.Referring to FIG. 1, as preparation process for determining a blend shape weight based on AI, first, learning data 30 for training the learning model 100 may be generated.

구체적으로, 사람의 얼굴에 대한 복수의 3D 캡쳐 데이터(10)로부터 복수의 페이셜 랜드마크 데이터(15)를 추출할 수 있다. 여기서, 페이셜 랜드마크 데이터(15)는 얼굴의 주요 특징부(예를 들어, 눈, 코, 입, 턱, 눈썹 등)를 표현하기 위한 복수의 지점에 대한 정보를 포함할 수 있다. 3D 캡쳐 데이터(10)로부터 페이셜 랜드마크 데이터(15)를 추출하는 방법은 통상의 기술자에게 공지된 다양한 방식을 채용할 수 있다.Specifically, a plurality of facial landmark data 15 may be extracted from a plurality of 3D capture data 10 for a human face. Here, the facial landmark data 15 may include information on a plurality of points for expressing the main features of the face (eg, eyes, nose, mouth, chin, and eyebrows). The method of extracting the facial landmark data 15 from the 3D capture data 10 may employ various methods known to those skilled in the art.

또한, 상술한 바와 같이 캡쳐된 사람의 얼굴에 대한 블랜드쉐입 데이터(20)를 입력받아서 각 부위별로 복수의 블랜드쉐입 웨이트 정보(25)를 추출할 수 있다. 여기서, 블랜드쉐입 데이터(20)는 기존의 소프트웨어 등에 의해 생성된 블랜드쉐입 웨이트 정보를 포함하는 것일 수 있다.Also, as described above, by receiving the blend shape data 20 for the captured human face, a plurality of blend shape weight information 25 may be extracted for each part. Here, the blend shape data 20 may include blend shape weight information generated by existing software or the like.

이후, 사람의 얼굴에 대한 페이셜 랜드마크 데이터(15)와 블랜드쉐입 웨이트 정보(25)를 결합해서 학습데이터(30)를 생성할 수 있다. 예를 들어, 페이셜 랜드마크 데이터(15)가 n+1개(0, 1, 2, ..., n)이고, 블랜드쉐입 데이터(20)가 k개의 부위에 대해 m+1개(0, ..., m) 웨이트를 포함하는 경우를 가정하면, 각각의 페이셜 랜드마크 데이터(15)와 블랜드쉐입 웨이트 정보(25)를 결합하여 학습데이터(30)를 생성할 수 있다.Thereafter, the learning data 30 may be generated by combining the facial landmark data 15 of the human face and the blend shape weight information 25. For example, facial landmark data 15 is n + 1 (0, 1, 2, ..., n), and blend shape data 20 is m + 1 (0, 1) for k sites. ..., m) Assuming that a weight is included, learning data 30 may be generated by combining each facial landmark data 15 and blend shape weight information 25.

이후, 생성된 학습데이터(30)를 이용하여 학습 모델(100)을 학습시킬 수 있다. 여기서, 학습 모델(100)은 예를 들어 CNN(Convolutional Nerual Network) 등을 활용할 수 있으나, 본 발명이 반드시 이로 제한되는 것은 아니다. 다시 말해, 학습 모델(100)은 통상의 기술자에게 알려진 다양한 머신러닝 또는 딥러닝 모델 중에서 선택된 모델을 사용할 수 있다.Thereafter, the learning model 100 may be trained using the generated learning data 30. Here, the learning model 100 may utilize, for example, CNN (Convolutional Nerual Network), but the present invention is not necessarily limited thereto. In other words, the learning model 100 may use a model selected from various machine learning or deep learning models known to those skilled in the art.

이와 같이, 본 발명의 실시예에 따르면, 학습 모델(100)에서는 사람의 얼굴을 3D 캡쳐하여 획득한 3D 캡쳐 데이터로부터 추출한 페이셜 랜드마크 데이터와 함께 기존의 방식에 따라 생성된 블랜드쉐입 웨이트 정보를 이용하여 학습을 수행함으로써 3D 캡쳐 데이터에 상응하는 블랜드쉐입 웨이트를 학습하도록 구현될 수 있다.As described above, according to an embodiment of the present invention, in the learning model 100, facial shape data extracted from 3D capture data obtained by 3D capturing a human face is used together with blend shape weight information generated according to an existing method. By performing the learning can be implemented to learn the blend shape weight corresponding to the 3D capture data.

이에 따라, 학습이 완료된 학습모델(100)은 마커를 부착하지 않은 상태에서 사람의 얼굴을 실시간으로 3D 캡쳐하여 획득한 3D 캡쳐 데이터로부터 추출한 실시간 페이셜 랜드마크 데이터(40)를 입력 받아서 이에 상응하는 블랜드쉐입 데이터(50), 즉 자동으로 결정된 블랜드쉐입 웨이트를 출력할 수 있다.Accordingly, the learning model 100, in which learning is completed, receives real-time facial landmark data 40 extracted from 3D capture data obtained by real-time 3D capture of a human face without attaching a marker, and receives a corresponding blend. The shape data 50, that is, the automatically determined blend shape weight may be output.

상술한 본 발명의 실시예에 따르면, 마커리스 이미지를 이용하여 블랜드쉐입 웨이트를 AI 기반으로 자동으로 결정할 수 있다.According to the above-described embodiment of the present invention, it is possible to automatically determine a blend shape weight based on AI using a markerless image.

도 1을 참조하여 상술한 마커리스 이미지를 이용한 블랜드쉐입 웨이트 결정 방법은 3D 영상 처리 및 인공지능 모델의 학습이 가능한 프로세싱 장치에 의해 수행될 수 있다.The method for determining the blend shape weight using the markerless image described above with reference to FIG. 1 may be performed by a processing device capable of 3D image processing and learning of an artificial intelligence model.

또한, 본 발명의 다른 실시예에 따르면, 도 1을 참조하여 상술한 마커리스 이미지를 이용한 블랜드쉐입 웨이트 결정 방법의 각 단계를 실행하기 위한 프로세서에 의해 실행 가능한 명령들이 기록된 컴퓨터 판독 가능한 저장매체가 제공될 수 있다.In addition, according to another embodiment of the present invention, a computer-readable storage medium in which instructions executable by a processor for executing each step of a method for determining a blend shape weight using a markerless image described above with reference to FIG. 1 is recorded. Can be provided.

도 2는 본 발명의 다른 실시예에 따른 마커리스 이미지를 이용한 블랜드쉐입 웨이트 결정 시스템의 구성도이다.2 is a block diagram of a blend shape weight determination system using a markerless image according to another embodiment of the present invention.

도 2를 참조하면, 본 발명의 다른 실시예에 따른 마커리스 이미지를 이용한 블랜드쉐입 웨이트 결정 시스템(200)은 3D 캡쳐부(210), 페이셜 랜드마크 추출부(220), 학습모델(230) 및 블랜드쉐입 데이터 출력부(240)를 포함하여 구성될 수 있다. Referring to FIG. 2, a blend shape weight determination system 200 using a markerless image according to another embodiment of the present invention includes a 3D capture unit 210, a facial landmark extraction unit 220, a learning model 230, and It may be configured to include a blend shape data output unit 240.

3D 캡쳐부(210)는 사람의 얼굴을 3D로 캡쳐하기 위한 것으로, 예를 들어 3D 영상을 획득할 수 있는 스테레오 카메라 등으로 구현될 수 있다. 3D 캡쳐부(210)는 마커가 부착되지 않은 사람의 얼굴을 실시간으로 3D 캡쳐하여 3D 캡쳐 데이터를 출력할 수 있다.The 3D capture unit 210 is for capturing a human face in 3D, and may be embodied as, for example, a stereo camera capable of acquiring a 3D image. The 3D capture unit 210 may output a 3D capture data by real-time 3D capturing the face of a person without a marker attached.

페이셜 랜드마크 추출부(220)는 3D 캡쳐부(210)에 의해 캡쳐된 3D 캡쳐 데이터로부터 페이셜 랜드마크 데이터를 추출하기 위한 것이다. 예를 들어, 페이셜 랜드마크 추출부(220)는 통상의 기술자에게 공지된 다양한 방식을 채용하여 3D 캡쳐 데이터로부터 페이셜 랜드마크 데이터를 추출할 수 있다.The facial landmark extracting unit 220 is for extracting the facial landmark data from the 3D capture data captured by the 3D capturing unit 210. For example, the facial landmark extracting unit 220 may extract facial landmark data from 3D capture data by employing various methods known to those skilled in the art.

학습모델(230)는 페이셜 랜드마크 추출부(220)에 의해 추출한 페이셜 랜드마크 데이터를 입력받아서 이에 상응하는 블랜드쉐입 웨이트를 자동으로 결정하기 위한 것이다. 이를 위해, 학습모델(230)은 사람의 얼굴에 대한 페이셜 랜드마크 데이터와 블랜드쉐입 웨이트 정보가 결합된 학습데이터를 이용하여 사전에 학습될 수 있다. 여기서, 학습데이터 및 학습모델은 도 1을 참조하여 상술한 바와 동일하므로 이에 대한 중복적인 설명은 생략한다.The learning model 230 is for receiving facial landmark data extracted by the facial landmark extracting unit 220 and automatically determining a corresponding blend shape weight. To this end, the learning model 230 may be pre-learned using learning data combining facial landmark data and blend shape weight information for a human face. Here, since the learning data and the learning model are the same as described above with reference to FIG. 1, redundant description thereof will be omitted.

블랜드쉐입 데이터 출력부(240)는 학습모델(230)에 의해 자동으로 결정된 블랜드쉐입 웨이트를 출력하기 위한 것이다. The blend shape data output unit 240 is for outputting a blend shape weight automatically determined by the learning model 230.

이와 같이, 블랜드쉐입 데이터 출력부(240)에 의해 출력된 블랜드쉐입 웨이트를 이용하여 가상의 캐릭터가 사람의 얼굴 표적을 추적하도록 얼굴 애니메이션을 구현할 수 있다.As described above, the face animation may be implemented such that the virtual character tracks the face target of the person by using the blend shape weight output by the blend shape data output unit 240.

본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.The present invention is not limited by the above-described embodiments and accompanying drawings. For those skilled in the art to which the present invention pertains, it will be apparent that components, according to the present invention, may be substituted, modified and changed without departing from the technical spirit of the present invention.

200: 블랜드쉐입 웨이트 결정 시스템
210: 3D 캡쳐부
220: 페이셜 랜드마크 추출부
230: 학습모델
240: 블랜드쉐입 데이터 출력부200: blend shape weight determination system
210: 3D capture
220: facial landmark extraction unit
230: learning model
240: blend shape data output unit

Claims (5)

페이셜 랜드마크 데이터 및 블랜드쉐입 웨이트 정보를 결합하여 학습데이터를 생성하는 단계;
상기 학습데이터를 이용하여 학습모델을 학습하는 단계; 및
학습된 상기 학습모델을 이용하여, 마커를 부착하지 않은 상태에서 사람의 얼굴을 실시간으로 3D 캡쳐하여 획득한 3D 캡쳐 데이터로부터 추출한 실시간 페이셜 랜드마크 데이터를 입력 받아서 이에 상응하는 블랜드쉐입 웨이트를 자동으로 결정하는 단계를 포함하며,
상기 학습데이터를 생성하는 단계는,
사람의 얼굴에 대한 복수의 3D 캡쳐 데이터로부터 복수의 페이셜 랜드마크 데이터를 추출하는 단계;
상기 사람의 얼굴에 대한 블랜드쉐입 데이터를 입력받아서 각 부위별로 복수의 블랜드쉐입 웨이트 정보를 추출하는 단계; 및
상기 복수의 페이셜 랜드마크 데이터 및 상기 복수의 블랜드쉐입 웨이트 정보를 결합하여 학습데이터를 생성하는 단계를 포함하는 것을 특징으로 하는 마커리스 이미지를 이용한 블랜드쉐입 웨이트 결정 방법.
Generating learning data by combining facial landmark data and blend shape weight information;
Learning a learning model using the learning data; And
Using the learned learning model, real-time facial landmark data extracted from 3D capture data obtained by real-time 3D capture of a human face without a marker is input, and a corresponding blend shape weight is automatically determined. The steps include,
The step of generating the learning data,
Extracting a plurality of facial landmark data from a plurality of 3D capture data of the human face;
Extracting a plurality of blend shape weight information for each part by receiving blend shape data for the person's face; And
And combining the plurality of facial landmark data and the plurality of blend shape weight information to generate learning data.
삭제delete 마커가 부착되지 않은 사람의 얼굴을 실시간으로 3D 캡쳐하여 3D 캡쳐 데이터를 출력하는 3D 캡쳐부;
상기 3D 캡쳐 데이터로부터 페이셜 랜드마크 데이터를 추출하는 페이셜 랜드마크 추출부;
학습데이터를 이용하여 사전에 학습되며, 상기 페이셜 랜드마크 데이터를 입력받고 이에 상응하는 블랜드쉐입 웨이트를 자동으로 결정하는 학습모델; 및
상기 학습모델에 의해 자동으로 결정된 블랜드쉐입 웨이트를 출력하는 블랜드쉐입 데이터 출력부를 포함하며,
상기 학습데이터는, 사람의 얼굴에 대한 복수의 3D 캡쳐 데이터로부터 복수의 페이셜 랜드마크 데이터를 추출하고, 상기 사람의 얼굴에 대한 블랜드쉐입 데이터를 입력받아서 각 부위별로 복수의 블랜드쉐입 웨이트 정보를 추출하며, 상기 복수의 페이셜 랜드마크 데이터 및 상기 복수의 블랜드쉐입 웨이트 정보를 결합하여 생성된 것을 특징으로 하는 마커리스 이미지를 이용한 블랜드쉐입 웨이트 결정 시스템.
A 3D capture unit that 3D captures the face of a person without a marker attached in real time and outputs 3D capture data;
A facial landmark extracting unit extracting facial landmark data from the 3D capture data;
A learning model that is learned in advance using learning data and receives the facial landmark data and automatically determines a corresponding blend shape weight; And
It includes a blend shape data output unit for outputting a blend shape weight determined automatically by the learning model,
The learning data extracts a plurality of facial landmark data from a plurality of 3D capture data on a person's face, receives blend shape data for the person's face, and extracts a plurality of blend shape weight information for each part. , A blend shape weight determination system using a markerless image, characterized in that it is generated by combining the plurality of facial landmark data and the plurality of blend shape weight information.
삭제delete 제 1 항에 따른 마커리스 이미지를 이용한 블랜드쉐입 웨이트 결정 방법을 실행하기 위한 프로세서에 의해 실행 가능한 명령들이 기록된 컴퓨터 판독 가능한 저장 매체.A computer-readable storage medium in which instructions executable by a processor for executing a method for determining a blend shape weight using a markerless image according to claim 1 are recorded.
KR1020190085273A 2019-07-15 2019-07-15 System and Method of Determining Blend Shape Weight Using Markerless Image and Computer Readable Storage Medium KR102116673B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190085273A KR102116673B1 (en) 2019-07-15 2019-07-15 System and Method of Determining Blend Shape Weight Using Markerless Image and Computer Readable Storage Medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190085273A KR102116673B1 (en) 2019-07-15 2019-07-15 System and Method of Determining Blend Shape Weight Using Markerless Image and Computer Readable Storage Medium

Publications (1)

Publication Number Publication Date
KR102116673B1 true KR102116673B1 (en) 2020-05-29

Family

ID=70911550

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190085273A KR102116673B1 (en) 2019-07-15 2019-07-15 System and Method of Determining Blend Shape Weight Using Markerless Image and Computer Readable Storage Medium

Country Status (1)

Country Link
KR (1) KR102116673B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170243387A1 (en) * 2016-02-18 2017-08-24 Pinscreen, Inc. High-fidelity facial and speech animation for virtual reality head mounted displays

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170243387A1 (en) * 2016-02-18 2017-08-24 Pinscreen, Inc. High-fidelity facial and speech animation for virtual reality head mounted displays

Similar Documents

Publication Publication Date Title
US10304208B1 (en) Automated gesture identification using neural networks
US10832039B2 (en) Facial expression detection method, device and system, facial expression driving method, device and system, and storage medium
US11727688B2 (en) Method and apparatus for labelling information of video frame, device, and storage medium
CN111968207B (en) Animation generation method, device, system and storage medium
CN105426827A (en) Living body verification method, device and system
CN110544301A (en) Three-dimensional human body action reconstruction system, method and action training system
JP2019096113A (en) Processing device, method and program relating to keypoint data
CN109035415B (en) Virtual model processing method, device, equipment and computer readable storage medium
US20190362530A1 (en) Information processing apparatus, information processing method, and program
CN110298279A (en) A kind of limb rehabilitation training householder method and system, medium, equipment
CN111383642B (en) Voice response method based on neural network, storage medium and terminal equipment
Kowalski et al. Holoface: Augmenting human-to-human interactions on hololens
KR20160046399A (en) Method and Apparatus for Generation Texture Map, and Database Generation Method
KR102108422B1 (en) System and Method for Optimizing Facial Expression of Virtual Characters through AI-based Facial Expression Classification and Retargeting, and Computer Readable Storage Medium
KR102116673B1 (en) System and Method of Determining Blend Shape Weight Using Markerless Image and Computer Readable Storage Medium
JP2015212861A (en) Multiple joint object tracking device, multiple joint object tracking method, and program
KR102126370B1 (en) Apparatus and method for analyzing motion
JP6377566B2 (en) Line-of-sight measurement device, line-of-sight measurement method, and program
KR102128399B1 (en) Method of Generating Learning Data for Implementing Facial Animation Based on Artificial Intelligence, Method of Implementing Facial Animation Based on Artificial Intelligence, and Computer Readable Storage Medium
CN111145082A (en) Face image processing method and device, electronic equipment and storage medium
KR102101889B1 (en) System and Method of Implementing Facial Animation Based on Artificial Intelligence and Computer Readable Storage Medium
Pham et al. A low cost system for 3d motion analysis using Microsoft Kinect
KR20180082825A (en) Method and apparatus for producing graphic effect according to motion recognition
JP6378716B2 (en) Attitude control system and program
Zhang et al. Face animation making method based on facial motion capture

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant