KR100962986B1 - A method and apparatus for expressing the variation of volume in human skin for the computer graphic animation - Google Patents

A method and apparatus for expressing the variation of volume in human skin for the computer graphic animation Download PDF

Info

Publication number
KR100962986B1
KR100962986B1 KR1020080103734A KR20080103734A KR100962986B1 KR 100962986 B1 KR100962986 B1 KR 100962986B1 KR 1020080103734 A KR1020080103734 A KR 1020080103734A KR 20080103734 A KR20080103734 A KR 20080103734A KR 100962986 B1 KR100962986 B1 KR 100962986B1
Authority
KR
South Korea
Prior art keywords
movement
emg
mvc
magnitude
muscle
Prior art date
Application number
KR1020080103734A
Other languages
Korean (ko)
Other versions
KR20100044549A (en
Inventor
문정환
신기영
이상식
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020080103734A priority Critical patent/KR100962986B1/en
Publication of KR20100044549A publication Critical patent/KR20100044549A/en
Application granted granted Critical
Publication of KR100962986B1 publication Critical patent/KR100962986B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Abstract

본 발명에 따른 컴퓨터 그래픽 애니메이션용 인체 피부의 부피 변화 표현 방법은, 행위자의 주동근으로부터 근전도 데이터를 획득하는 단계(단계 1)와; 획득한 근전도 데이터로부터 노이즈를 제거하기 위하여 노치필터와 대역통과 필터를 거치는 전처리 과정을 수행하는 단계(단계 2); 전처리 과정이 이루어진 근전도 데이터에서 포락선을 추출하는 단계(단계 3); 근전도 데이터에서 포락선 추출이 이루어진 다음 최대 부하에서 발생하는 근전도의 크기를 검출하기 위하여 MVC를 측정할 것인가의 여부를 판단하는 단계(단계 4); 단계 4에서 이미 측정된 MVC값이 존재하지 않은 경우에는 증폭 및 노이즈가 제거된 근전도 신호에서 바로 MVC값을 추출하는 단계(단계 5); 단계 4에서 이미 측정된 MVC값이 존재하는 경우에는, 인물의 움직임이 있는가를 판단하는 단계(단계 6); 단계 6에서 인물의 움직임이 없는 것으로 판단하게 되는 경우에는 근육의 움직임을 판단하는 단계(단계 7); 단계 7에서 판단한 근육의 움직임에 따라 움직임이 없는 캐릭터의 피부 변화를 표현하는 단계(단계8); 단계 6에서 인물의 움직임이 있는 것으로 판단하게 되는 경우, 근전도 신호의 크기가 MVC와 유사한 크기인가를 판단하는 단계(단계 9); 단계 9에서 근전도 신호의 크기가 MVC와 유사한 크기가 아닌 것으로 판단하게 되는 경우에는, MVC의 크기와 유사하지 않은 근전도 신호의 크기에 따른 근육의 움직임에 대한 캐릭터의 움직임을 표현하는 단계(단계10) 및; 단계 9에서 근전도 신호의 크기가 MVC와 유사한 크기인 것으로 판단하게 되는 경우에는, MVC의 크기와 유사한 근전도 신호의 크기에 따른 근육의 움직임에 대한 캐릭터의 움직임을 표현하는 단계(단계 11)를 수행함과 더불어 상기 근육의 움직임에 대해 다시 근육의 움직임을 판단하는 단계(단계 7)를 수행한 다음 단계 7에서의 판단을 기초로 다시 움직임이 있는 캐릭터의 피부 변화를 표현하는 단계(단계 8)를 포함한다.In accordance with another aspect of the present invention, there is provided a method of expressing a volume change of human skin for computer graphics animation, the method comprising: obtaining EMG data from an apex of an actor (step 1); Performing a preprocessing process through a notch filter and a bandpass filter to remove noise from the acquired EMG data (step 2); Extracting an envelope from the EMG data in which the preprocessing process is performed (step 3); Determining whether MVC is to be measured to detect the magnitude of the EMG occurring at the maximum load after the envelope extraction is performed from the EMG data (step 4); Extracting the MVC value directly from the EMG signal from which the amplification and the noise have been removed if the MVC value measured in step 4 does not exist (step 5); If the MVC value measured in step 4 already exists, determining whether there is a movement of the person (step 6); If it is determined in step 6 that there is no movement of the person, determining the movement of the muscle (step 7); Expressing a skin change of the character without movement according to the movement of the muscle determined in step 7 (step 8); If it is determined in step 6 that there is movement of the person, determining whether the magnitude of the EMG signal is similar to that of MVC (step 9); If it is determined in step 9 that the magnitude of the EMG signal is not similar to that of MVC, expressing the movement of the character with respect to the movement of the muscle according to the magnitude of the EMG signal that is not similar to the magnitude of the MVC (step 10). And; If it is determined in step 9 that the magnitude of the EMG signal is similar to that of MVC, the step of expressing the movement of the character with respect to the movement of the muscle according to the magnitude of the EMG signal similar to the magnitude of the MVC (step 11) and In addition, after the step (step 7) of determining the movement of the muscle again with respect to the movement of the muscles based on the determination in step 7 includes the step of expressing the skin change of the character with the movement again (step 8) .

Description

컴퓨터 그래픽 애니메이션용 인체 피부의 부피 변화 표현 방법 및 장치{A METHOD AND APPARATUS FOR EXPRESSING THE VARIATION OF VOLUME IN HUMAN SKIN FOR THE COMPUTER GRAPHIC ANIMATION}FIELD AND APPARATUS FOR EXPRESSING THE VARIATION OF VOLUME IN HUMAN SKIN FOR THE COMPUTER GRAPHIC ANIMATION

본 발명은 2차원 및 3차원 그래픽 및 애니메이션에 관한 것으로, 특히 컴퓨터 그래픽 애니메이션 제작에 사용되는 카메라와 근육의 움직임을 포착할 수 있는 근전도 신호를 이용해서 행위자의 피부 부피 변화까지 정밀하게 표현할 수 있도록 된 컴퓨터 그래픽 애니메이션용 인체 피부의 부피 변화 표현 방법 및 장치에 관한 것이다.The present invention relates to two-dimensional and three-dimensional graphics and animation, and in particular, it is possible to precisely express changes in skin volume of actors by using EMG signals capable of capturing camera and muscle movements used in computer graphics animation production. A method and apparatus for expressing volume change of human skin for computer graphics animation.

종래의 게임이나 애니메이션 분야에서 인간의 움직임은 근육의 수축과 이완작용에 의해 발생하는 동작임에도 불구하고 근육의 움직임에 의한 피부 변화에 대해서는 표현하지 않고, 단순히 팔, 다리, 목 등의 인체 각 분절의 움직임만을 나타냄으로써 현실성이 떨어진다는 문제점이 있었다.In the conventional game or animation field, although human movement is caused by muscle contraction and relaxation, it does not express skin changes caused by muscle movement. There was a problem that the reality is less by showing only movement.

한편, 근전도 신호는 특정 근육이 수축할 때 측정할 수 있는 생체 신호 중 하나로서, 사용자에게 해를 주지 않으면서 손쉽게 측정할 수 있다는 이점이 있다. 현재, 근전도를 정확하게 측정하기 위한 많은 기술들과, 근전도 신호를 응용한 가상 현실 기술이나 근전도 신호를 이용한 팔 보철장치를 제어하는 기술, 손 지체 장애인을 위한 컴퓨터 인터페이스 장치, 전동 휠체어 인터페이스 방법, 근전도와 전기안구도를 이용한 안면근육 및 눈 움직임 추적 시스템들이 대한민국 공개특허 제1999-0016950호, 제2008-0063904호, 제1989-016950호, 제1999-066563호, 제1999-066564호, 제2002-077346호, 제 2004-0069050호, 제2007-0057997호로 공개되어 있다.On the other hand, EMG signal is one of the biological signals that can be measured when a particular muscle contracts, there is an advantage that can be easily measured without harming the user. Currently, many techniques for accurately measuring EMG, virtual reality technology applying EMG signal, control technology of arm prosthesis using EMG signal, computer interface device for hand disabled person, electric wheelchair interface method, EMG Facial muscle and eye movement tracking systems using electric eye diagram are disclosed in Korean Patent Laid-Open Publication Nos. 1999-0016950, 2008-0063904, 1989-016950, 1999-066563, 1999-066564, and 2002-077346. No. 2004-0069050, 2007-0057997.

그러나, 근전도 신호를 이용해서 인간의 동작에 따른 피부의 변화를 시각화한 기술은 아직까지 제안된 바가 없다.However, the technique of visualizing the change of the skin according to the human motion using the EMG signal has not been proposed yet.

기존의 애니메이션 분야에서 주요 관절의 움직임에 따른 피부의 부피 변화는 관절이 신장(伸張, extension)되어 있을 때의 피부의 부피를 1로 했을 때 관절이 접힐 경우 해당 부위의 길이가 작아지게 된다. 이를 부피가 1인 상태로 보상하기 위해 높이를 증가시키는 방법으로 인체의 움직임에 따른 피부의 부피 변화를 표현하였다. In the conventional animation field, the volume change of the skin according to the movement of the main joint is reduced when the joint is folded when the volume of the skin is 1 when the joint is extended. The volume change of the skin according to the movement of the human body was expressed by increasing the height in order to compensate this to the state of 1 volume.

그러나, 등척성운동(isometric)과 같이 해당 관절의 행동의 변화는 없지만 그 상태를 유지하기 위해 근육이 활성화되어 부피의 변화가 발생된 경우에는 이를 기존의 방법으로 표현할 수 없게 된다.However, there is no change in the behavior of the joint, such as isometric, but when the muscle is activated to maintain the state, a change in volume cannot be expressed by the conventional method.

본 발명은 상기한 점을 감안하여 발명된 곳으로, 모션캡처 장비를 이용하여 해당 관절의 행동 여부를 판단하고, 근전도 신호를 이용하여 해당 근육 주변에 있는 피부의 부피 변화를 사실과 유사하게 표현할 수 있도록 된 컴퓨터 그래픽 애니메이션용 인체 피부의 부피 변화 표현 방법 및 장치를 제공함에 그 목적이 있다.The present invention has been invented in view of the above points, using motion capture equipment to determine whether or not the behavior of the joint, and using the EMG signal to express the volume change of the skin around the muscle similarly to the fact. It is an object of the present invention to provide a method and apparatus for expressing volume change of human skin for computer graphic animation.

상기 목적을 달성하기 위한 본 발명에 따른 컴퓨터 그래픽 애니메이션용 인체 피부의 부피 변화 표현 방법은, 행위자의 주동근으로부터 근전도 데이터를 획득하는 단계(단계 1)와; 획득한 근전도 데이터로부터 노이즈를 제거하기 위하여 노치필터와 대역통과 필터를 거치는 전처리 과정을 수행하는 단계(단계 2); 전처리 과정이 이루어진 근전도 데이터에서 포락선을 추출하는 단계(단계 3); 근전도 데이터에서 포락선 추출이 이루어진 다음 최대 부하에서 발생하는 근전도의 크기를 검출하기 위하여 MVC를 측정할 것인가의 여부를 판단하는 단계(단계 4); 단계 4에서 이미 측정된 MVC값이 존재하지 않은 경우에는 증폭 및 노이즈가 제거된 근전도 신호에서 바로 MVC값을 추출하는 단계(단계 5); 단계 4에서 이미 측정된 MVC값이 존재하는 경우에는, 인물의 움직임이 있는가를 판단하는 단계(단계 6); 단계 6에서 인물의 움직임이 없는 것으로 판단하게 되는 경우에는 근육의 움직임을 판단하는 단계(단계 7); 단계 7에서 판단한 근육의 움직임에 따라 움직임이 없는 캐릭터의 피부 변화를 표현하는 단계(단계8); 단계 6에서 인물의 움직임이 있는 것으로 판단하게 되는 경우, 근전도 신호의 크기가 MVC와 유사한 크기인가를 판단하는 단계(단계 9); 단계 9에서 근전도 신호의 크기가 MVC와 유사한 크기가 아닌 것으로 판단하게 되는 경우에는, MVC의 크기와 유사하지 않은 근전도 신호의 크기에 따른 근육의 움직임에 대한 캐릭터의 움직임을 표현하는 단계(단계10) 및; 단계 9에서 근전도 신호의 크기가 MVC와 유사한 크기인 것으로 판단하게 되는 경우에는, MVC의 크기와 유사한 근전도 신호의 크기에 따른 근육의 움직임에 대한 캐릭터의 움직임을 표현하는 단계(단계 11)를 수행함과 더불어 상기 근육의 움직임에 대해 다시 근육의 움직임을 판단하는 단계(단계 7)를 수행한 다음 단계 7에서의 판단을 기초로 다시 움직임이 있는 캐릭터의 피부 변화를 표현하는 단계(단계 8)를 갖추어 이루어진 것을 특징으로 한다.According to an aspect of the present invention, there is provided a method of expressing a volume change of human skin for computer graphics animation, the method comprising: obtaining EMG data from an apical muscle of an actor (step 1); Performing a preprocessing process through a notch filter and a bandpass filter to remove noise from the acquired EMG data (step 2); Extracting an envelope from the EMG data in which the preprocessing process is performed (step 3); Determining whether MVC is to be measured to detect the magnitude of the EMG occurring at the maximum load after the envelope extraction is performed from the EMG data (step 4); Extracting the MVC value directly from the EMG signal from which the amplification and the noise have been removed if the MVC value measured in step 4 does not exist (step 5); If the MVC value measured in step 4 already exists, determining whether there is a movement of the person (step 6); If it is determined in step 6 that there is no movement of the person, determining the movement of the muscle (step 7); Expressing a skin change of the character without movement according to the movement of the muscle determined in step 7 (step 8); If it is determined in step 6 that there is movement of the person, determining whether the magnitude of the EMG signal is similar to that of MVC (step 9); If it is determined in step 9 that the magnitude of the EMG signal is not similar to that of MVC, expressing the movement of the character with respect to the movement of the muscle according to the magnitude of the EMG signal that is not similar to the magnitude of the MVC (step 10). And; If it is determined in step 9 that the magnitude of the EMG signal is similar to that of MVC, the step of expressing the movement of the character with respect to the movement of the muscle according to the magnitude of the EMG signal similar to the magnitude of the MVC (step 11) and In addition, after the step (step 7) of determining the movement of the muscle with respect to the movement of the muscle, based on the determination in step 7 to represent the skin change of the character with the movement again (step 8) It is characterized by.

또한, 본 발명에 따른 컴퓨터 그래픽 애니메이션용 인체 피부의 부피 변화 표현 장치는, 행위자의 주동근에 부착되어 행위자의 주동근의 움직임에 따른 근전도를 감지하고, 감지된 근전도를 기초로 근전도 신호를 발생시키는 근전도 센서(1)와; 상기 근전도 센서(1)로부터 근전도 신호를 인가받아 근전도 신호의 증폭 및 노이즈 제거를 수행하는 근전도계(2); 상기 근전도계(2)에서 증폭 및 노이즈가 제거된 근전도 신호로부터 포락선 추출 및 최대 등척성 수축(MVC)값을 추출하는 신호처리부(3); 행위자의 신체 각 분절의 움직임과 관련한 모션을 캡쳐하는 모션 캡쳐부(4); 상기 모션 캡쳐부(4)에 의해 획득된 모션 캡쳐 데이터를 기초로 행위자에 의해 수행되는 것과 동일한 움직임을 나타내기 위해 각 분절의 움직임에 대응하는 분절 모션 신호들을 발생시키는 분절 모션 신호 발생부(5) 및; 상기 신호처리부(3)로부터의 포락선 추출 및 MVC값이 추출된 근전도 신호와, 신호발생부(5)로부터의 인체의 각 분절의 움직임에 대응하는 분절 모션 신호를 인가받아 캐릭터의 피부 부피 변화를 표현하도록 프로그래밍하여 캐릭터의 피부 부피 변화를 표현하는 피부 부피 변화 표현 프로그래밍부(6)를 구비하여 구성된 것을 특징으로 한다.In addition, the volume change expression apparatus of the human skin for computer graphics animation according to the present invention, attached to the main muscles of the actor detects EMG according to the movement of the main muscles of the actor, EMG sensor for generating an EMG signal based on the detected EMG (1); An EMG (2) receiving an EMG signal from the EMG sensor (1) to perform amplification and noise removal of the EMG signal; A signal processor (3) for extracting envelope extraction and maximum isometric contraction (MVC) value from the EMG signal from which the amplification and noise are removed from the EMG (2); A motion capture unit 4 for capturing motion associated with the movement of each segment of the body of the actor; Segmented motion signal generator (5) for generating segmented motion signals corresponding to the movement of each segment to represent the same movement as performed by an actor based on the motion capture data acquired by the motion capturer (4) And; Expression of the skin volume of the character is applied by applying the EMG signal from which the envelope extraction and the MVC value are extracted from the signal processor 3 and the segment motion signal corresponding to the movement of each segment of the human body from the signal generator 5. It is characterized in that it is provided with a skin volume change expression programming unit (6) for programming to express a change in the skin volume of the character.

본 발명에 의하면, 모션캡처 장비를 이용하여 해당 관절의 행동 여부를 판단하고, 근전도 신호를 이용하여 해당 근육 주변에 있는 피부의 부피 변화를 사실과 유사하게 표현할 수 있게 된다.According to the present invention, the motion capture equipment can be used to determine whether the corresponding joint is behaving, and the EMG signal can be used to express the volume change of the skin around the muscle similarly to the fact.

이하, 예시도면을 참조하면서 본 발명에 따른 실시예를 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 1실시예에 따른 인체 피부의 부피 변화 표현 방법을 구현하기 위한 시스템의 블록도이다.1 is a block diagram of a system for implementing a method of expressing volume change of human skin according to an embodiment of the present invention.

애니메이션 분야에서는 캐릭터의 움직임을 표현할 때 근육의 수축/이완에 따른 피부 변화를 표현하지 못하는 문제가 있다. 예컨대, 역도선수가 바벨을 들고 있는 동작은 바벨을 들고 있지 않을 경우와 비교하여 많은 근육이 수축/이완을 하게 되고, 그로 인해 피부가 더 부풀어 오르는 현상이 발생한다. 이러한 경우를 사실과 가깝게 표현하기 위하여 근육의 움직임을 측정할 수 있는 근전도계와 모션 캡처 장비를 이용한다. 이를 통해 행위자의 움직임을 검출하고 근육의 상태에 따라 피부의 부피 변화를 실제 사람과 가깝게 표현할 수 있게 된다.In the animation field, there is a problem in that the skin change due to the contraction / relaxation of the muscle cannot be expressed when the character moves. For example, a weightlifter holding a barbell will cause many muscles to contract / relax as compared to the case where a barbell is not holding a barbell, thereby causing the skin to swell. In order to represent this case closely, the EMG and motion capture equipment can be used to measure muscle movement. Through this, the movement of the actor can be detected and the volume change of the skin can be expressed close to the real person according to the state of the muscle.

도 1에 있어서, 근전도 센서(1)가 사람의 대표적인 움직임을 발생시키는 주 동근에 부착되어, 행위자의 주동근의 움직임에 따른 근전도를 감지하고, 감지된 근전도를 기초로 근전도 신호를 발생시킨다.In Fig. 1, the EMG sensor 1 is attached to the main sinus muscle which generates a representative movement of a person, and detects the EMG according to the movement of the actor's main muscle muscle, and generates an EMG signal based on the detected EMG.

상기 근전도 센서(1)로부터 발생된 근전도 신호는 근전도계(2)로 인가되고, 근전도계(2)는 인가받은 근전도 신호의 증폭 및 노이즈 제거를 수행한다. 즉, 근전도 신호(근전도 데이터)로부터 노이즈를 제거하기 위하여 노치필터와 대역통과 필터를 거치는 전처리 과정을 수행하게 된다.The EMG signal generated from the EMG sensor 1 is applied to the EMG 2, and the EMG 2 performs amplification and noise removal of the applied EMG signal. That is, a preprocessing process is performed through a notch filter and a bandpass filter to remove noise from the EMG signal (EMG data).

근전도계(2)에서 증폭 및 노이즈가 제거된 근전도 신호는 신호처리부(3)로 인가되고, 신호처리부(3)에서는 증폭 및 노이즈가 제거된 근전도 신호에서 포락선 추출 및 최대 등척성 수축(MVC, Maximal Voluntary Contraction)값을 추출하여 피부 부피 변화를 표현하기 위한 자료로 이용한다. 여기서, 전처리 과정을 거친 근전도 데이터로부터 포락선을 추출하는 방법은 근전도 신호의 전파 정류 또는 반파 정류된 신호를 이동평균하는 것과 상기의 정류된 근전도 신호를 저역통과필터를 거치는 방법이 있다.The EMG signal from which the amplification and noise have been removed from the EMG (2) is applied to the signal processing unit (3), and the signal processing unit (3) includes envelope extraction and maximum isotropic contraction (MVC) in the EMG signal from which the amplification and noise have been removed. Extract the value of Contraction and use it to express skin volume change. Here, a method of extracting an envelope from pre-processed EMG data includes moving average of full-wave rectified or half-wave rectified signals of the EMG signal and passing the low-pass filter on the rectified EMG signals.

한편, 다양한 종류의 모션캡처 장비(예컨대, 기계식, 자기식, 광학식 모션캡쳐 장비)로 이루어지는 모션 캡쳐부(4)를 통해 행위자의 신체 각 분절의 움직임과 관련한 모션을 캡쳐하고, 이와 같이 모션 캡쳐를 통해 획득한 신호는 분절 모션 신호 발생부(5)로 인가되어 애니메이트된 캐릭터를 제어하기 위해 모션캡처를 통한 인체 각 분절의 움직임에 대응하는 신호들을 발생시킨다. 즉, 행위자에 의해 수행되는 것과 동일한 움직임을 나타내기 위해 각 분절의 움직임에 대응하는 분절 모션 신호들을 발생시키게 된다.Meanwhile, the motion capture unit 4 including various kinds of motion capture equipment (eg, mechanical, magnetic, and optical motion capture equipment) captures motion related to the movement of each segment of the actor's body, and thus captures the motion capture. The obtained signal is applied to the segment motion signal generator 5 to generate signals corresponding to the movement of each segment of the human body through motion capture to control the animated character. That is, segment motion signals corresponding to the motion of each segment are generated to represent the same motion as performed by the actor.

이와 같이 신호처리부(3)로부터의 포락선 추출 및 MVC값이 추출된 근전도 신호와, 신호발생부(5)로부터의 인체의 각 분절의 움직임에 대응하는 분절 모션 신호가, 캐릭터의 피부 부피 변화를 표현하도록 프로그래밍하는 피부 부피 변화 표현 프로그래밍부(6)로 인가되어, 컴퓨터 그래픽 애니메이션에서 캐릭터의 피부 부피 변화를 표현하게 된다.The EMG signal from which the envelope extraction and the MVC value are extracted from the signal processor 3 and the segment motion signal corresponding to the movement of each segment of the human body from the signal generator 5 express the change in the skin volume of the character. It is applied to the skin volume change expression programming unit 6, which is programmed to express the skin volume change of the character in the computer graphic animation.

도 2는 팔의 이두근의 움직임에 따라 발생한 인체의 행동과 근전도 신호의 예를 나타낸 도면이다.FIG. 2 is a diagram illustrating an example of a human action and an EMG signal generated according to the biceps movement of the arm.

예컨대, 팔의 경우 도 2의 상단에 도시된 바와 같이 팔이 완전히 펼쳐 있는 상태, 즉 근육의 움직임이 없는 상태에서는 도 2의 하단에 도시된 바와 같이 아무런 근전도 신호가 발생하지 않지만, 팔이 구부러지는 동작을 하게 되면 근전도 신호가 발생하기 시작한다. 완전히 구부러진 상태에서 최대 근전도 신호가 발생되고, 다시 팔이 펴지기 시작하면 근전도 신호의 크기가 작아지다가 완전히 사라지게 된다.For example, in the case of the arm, as shown at the top of FIG. 2, when the arm is fully extended, that is, when there is no muscle movement, no EMG signal is generated as shown at the bottom of FIG. 2, but the arm is bent. In operation, EMG signals begin to occur. The maximum EMG signal is generated in a fully bent state, and when the arm starts to be extended again, the EMG signal decreases in size and disappears completely.

그러나, 근전도 신호는 근육의 움직임에 의해 발생되는 신호로서, 팔이 구부러지거나 펴지지 않고 무거운 물체를 드는 것과 같이 사람의 움직임은 없지만 근육이 활성화 되는 경우가 있다. 따라서, 사람의 움직임에 따른 피부 변화를 명확히 표현하기 위하여 모션캡처 장비가 이용되어야 한다.However, the EMG signal is a signal generated by the movement of the muscle, and there is a case in which the muscle is activated although there is no human movement, such as lifting a heavy object without bending or extending the arm. Therefore, motion capture equipment should be used to clearly express skin changes according to human movement.

도 3은 본 발명의 1실시예에 따라 근전도(electromyography: EMG) 신호와 모션캡처 장비를 사용하여 캐릭터의 피부 변화를 표현하는 방법을 설명하기 위한 플로우차트이다.FIG. 3 is a flowchart for describing a method of expressing a skin change of a character using an electromyography (EMG) signal and a motion capture device according to an embodiment of the present invention.

먼저, 행위자의 주동근에 부착한 근전도 센서(1)로부터 근전도 데이터를 획득한다(단계 1).First, EMG data is acquired from the EMG sensor 1 attached to the dorsal root muscle of the actor (step 1).

획득한 근전도 데이터를 인가받은 근전도계(2)에서는 획득한 근전도 데이터로부터 노이즈를 제거하기 위하여 노치필터와 대역통과 필터를 거치는 전처리 과정을 수행한다(단계 2).The EMG (2) receiving the acquired EMG data performs a preprocessing process through a notch filter and a bandpass filter to remove noise from the acquired EMG data (step 2).

전처리 과정이 이루어진 근전도 데이터는 신호처리부(3)에서 포락선을 추출한다(단계 3).The EMG data obtained by the preprocessing process extracts an envelope from the signal processor 3 (step 3).

이어, 근전도 데이터에서 포락선 추출이 이루어진 다음, 최대 부하에서 발생하는 근전도의 크기를 검출하기 위하여 MVC를 측정할 것인가의 여부를 판단한다(단계 4).Subsequently, after envelope extraction is performed from EMG data, it is determined whether MVC is measured to detect the magnitude of EMG occurring at the maximum load (step 4).

단계 4에서 이미 측정된 MVC값이 존재하지 않은 경우에는 증폭 및 노이즈가 제거된 근전도 신호에서 바로 MVC값을 추출하고(단계 5), 단계 1로 되돌아간다.If there is no MVC value already measured in step 4, the MVC value is extracted directly from the amplified and noise-free EMG signal (step 5), and the process returns to step 1.

단계 4에서 이미 측정된 MVC값이 존재하는 경우에는 단계 6으로 진행하여 인물의 움직임이 있는가를 판단한다.If the MVC value measured in step 4 already exists, the process proceeds to step 6 to determine whether there is a movement of the person.

단계 6에서 인물의 움직임이 없는 것으로 판단하게 되는 경우에는 근육의 움직임을 판단하고(단계 7), 이어 기존의 방법대로 캐릭터의 피부 변화를 표현한다(단계 8). 즉, 인물의 움직임이 없는 것으로 판단하게 되는 경우에는 캐릭터의 움직임은 표현되지 않지만, 근전도 신호가 발생하고 있으므로 근육의 움직임을 판단하여 해당 근육이 있는 부위 피부의 부피 변화를 표현하게 된다.If it is determined in step 6 that there is no movement of the person, the movement of the muscle is determined (step 7), and then the skin change of the character is expressed according to the existing method (step 8). That is, when it is determined that there is no movement of the person, the movement of the character is not expressed, but since the EMG signal is generated, the movement of the muscle is judged to express the volume change of the skin where the muscle is located.

한편, 단계 6에서 인물의 움직임이 있는 것으로 판단하게 되는 경우, 즉 모 션캡처 장비인 모션 캡쳐부(4)를 통해 인물의 움직임이 검출되면, 단계 9로 진행하여 그때의 근전도 신호의 크기가 MVC와 유사한 크기인가를 판단한다.On the other hand, if it is determined in step 6 that there is a movement of the person, that is, if the movement of the person is detected through the motion capture unit 4 which is a motion capture device, the process proceeds to step 9 where the magnitude of the EMG signal at that time is MVC. Determine if the size is similar to.

단계 9에서 근전도 신호의 크기가 MVC와 유사한 크기가 아닌 것으로 판단하게 되는 경우에는, 단계 10으로 진행하여 기존의 방법대로 캐릭터의 움직임을 표현한다.If it is determined in step 9 that the magnitude of the EMG signal is not similar to that of MVC, the process proceeds to step 10 to express the movement of the character according to the conventional method.

한편, 단계 9에서 근전도 신호의 크기가 MVC와 유사한 크기인 것으로 판단하게 되는 경우에는, 단계 11로 진행하여 캐릭터의 움직임을 표현할 뿐만 아니라 근육이 정상적인 경우 보다 과도하게 움직인 경우이므로, 단계 7로 진행하여 다시 근육의 움직임을 판단하고, 이 판단을 기초로 단계 8에서 다시 캐릭터의 피부 변화를 표현하게 된다.On the other hand, if it is determined in step 9 that the magnitude of the EMG signal is similar to MVC, the process proceeds to step 11 because not only the movement of the character is expressed but also the muscles move excessively than normal, and the process proceeds to step 7. Then, the movement of the muscle is judged again, and the skin change of the character is expressed again in step 8 based on the judgment.

도 4는 본 발명의 1실시예에 따른 인체의 움직임이 없고 근전도 신호가 발생하였을 때 피부의 부피 변화의 예를 나타낸 도면이다.4 is a view showing an example of the volume change of the skin when there is no movement of the human body and an EMG signal is generated according to an embodiment of the present invention.

배우의 움직임이 없음에도 불구하고, 도 4에 도시된 바와 같이 근전도 신호가 발생할 경우에는 근전도 신호의 크기에 따라 근육이 움직인 것으로 판단하여 해당 근육이 있는 부위 피부의 부피 변화를 표현하게 된다.Although there is no movement of the actor, when the EMG signal is generated as shown in FIG. 4, it is determined that the muscle is moved according to the magnitude of the EMG signal, thereby expressing the volume change of the skin where the muscle is located.

도 5는 인체 하지에 광학식 마커와 근전도 센서가 부착된 행위자의 사진을 나타낸 것으로, 근전도와 광학식 모션 캡쳐 장비의 마커가 부착된 실제 모습을 나타낸 것이다.5 is a photograph of an actor to which the optical marker and the EMG sensor are attached to the lower extremity of the human body, and shows the actual appearance of the EMG and the marker of the optical motion capture device.

이상 본 발명에 대한 기술 사상을 예시도면과 함께 설명하였지만, 이는 본 발명의 가장 바람직한 1실시예를 예시적으로 설명한 것으로, 본 발명을 한정하는 것은 아니다. 또한, 이 기술 분야의 통상의 지식을 가진 자라면 누구나 본 발명의 기술 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.Although the technical idea of the present invention has been described with reference to the drawings, this is by way of example to illustrate the most preferred embodiment of the present invention, it does not limit the present invention. In addition, it is obvious that any person skilled in the art may make various modifications and imitations without departing from the scope of the technical idea of the present invention.

도 1은 본 발명의 1실시예에 따른 인체 피부의 부피 변화 표현 방법을 구현하기 위한 시스템의 블록도,1 is a block diagram of a system for implementing a method of expressing volume change of human skin according to an embodiment of the present invention;

도 2는 팔의 이두근의 움직임에 따라 발생한 인체의 행동과 근전도 신호의 예를 나타낸 도면,2 is a diagram showing an example of an action and an EMG signal of a human body caused by the movement of the biceps of the arm;

도 3은 본 발명의 1실시예에 따라 근전도(electromyography: EMG) 신호와 모션캡처 장비를 사용하여 캐릭터의 피부 변화를 표현하는 방법을 설명하기 위한 플로우차트,3 is a flowchart for explaining a method of expressing a skin change of a character using an electromyography (EMG) signal and a motion capture device, according to an embodiment of the present invention;

도 4는 본 발명의 1실시예에 따른 인체의 움직임이 없고 근전도 신호가 발생하였을 때 피부의 부피 변화의 예를 나타낸 도면,4 is a view showing an example of the volume change of the skin when there is no movement of the human body and an EMG signal is generated according to an embodiment of the present invention,

도 5는 인체 하지에 광학식 마커와 근전도 센서가 부착된 행위자의 사진이다.5 is a photograph of an actor with an optical marker and an EMG sensor attached to the lower extremity of the human body.

Claims (2)

행위자의 주동근으로부터 근전도 데이터를 획득하는 단계(단계 1)와;Acquiring EMG data from the dorsal root muscle (step 1); 획득한 근전도 데이터로부터 노이즈를 제거하기 위하여 노치필터와 대역통과 필터를 거치는 전처리 과정을 수행하는 단계(단계 2);Performing a preprocessing process through a notch filter and a bandpass filter to remove noise from the acquired EMG data (step 2); 전처리 과정이 이루어진 근전도 데이터에서 포락선을 추출하는 단계(단계 3);Extracting an envelope from the EMG data in which the preprocessing process is performed (step 3); 근전도 데이터에서 포락선 추출이 이루어진 다음 최대 부하에서 발생하는 근전도의 크기를 검출하기 위하여 MVC를 측정할 것인가의 여부를 판단하는 단계(단계 4);Determining whether MVC is to be measured to detect the magnitude of the EMG occurring at the maximum load after the envelope extraction is performed from the EMG data (step 4); 단계 4에서 이미 측정된 MVC값이 존재하지 않은 경우에는 증폭 및 노이즈가 제거된 근전도 신호에서 바로 MVC값을 추출하는 단계(단계 5);Extracting the MVC value directly from the EMG signal from which the amplification and the noise have been removed if the MVC value measured in step 4 does not exist (step 5); 단계 4에서 이미 측정된 MVC값이 존재하는 경우에는, 인물의 움직임이 있는가를 판단하는 단계(단계 6);If the MVC value measured in step 4 already exists, determining whether there is a movement of the person (step 6); 단계 6에서 인물의 움직임이 없는 것으로 판단하게 되는 경우에는 근육의 움직임을 판단하는 단계(단계 7);If it is determined in step 6 that there is no movement of the person, determining the movement of the muscle (step 7); 단계 7에서 판단한 근육의 움직임에 따라 움직임이 없는 캐릭터의 피부 변화를 표현하는 단계(단계8);Expressing a skin change of the character without movement according to the movement of the muscle determined in step 7 (step 8); 단계 6에서 인물의 움직임이 있는 것으로 판단하게 되는 경우, 근전도 신호의 크기가 MVC와 유사한 크기인가를 판단하는 단계(단계 9);If it is determined in step 6 that there is movement of the person, determining whether the magnitude of the EMG signal is similar to that of MVC (step 9); 단계 9에서 근전도 신호의 크기가 MVC와 유사한 크기가 아닌 것으로 판단하게 되는 경우에는, MVC의 크기와 유사하지 않은 근전도 신호의 크기에 따른 근육의 움직임에 대한 캐릭터의 움직임을 표현하는 단계(단계10) 및;If it is determined in step 9 that the magnitude of the EMG signal is not similar to that of MVC, expressing the movement of the character with respect to the movement of the muscle according to the magnitude of the EMG signal that is not similar to the magnitude of the MVC (step 10). And; 단계 9에서 근전도 신호의 크기가 MVC와 유사한 크기인 것으로 판단하게 되는 경우에는, MVC의 크기와 유사한 근전도 신호의 크기에 따른 근육의 움직임에 대한 캐릭터의 움직임을 표현하는 단계(단계 11)를 수행함과 더불어 상기 근육의 움직임에 대해 다시 근육의 움직임을 판단하는 단계(단계 7)를 수행한 다음 단계 7에서의 판단을 기초로 다시 움직임이 있는 캐릭터의 피부 변화를 표현하는 단계(단계 8)를 갖추어 이루어진 것을 특징으로 하는 컴퓨터 그래픽 애니메이션용 인체 피부의 부피 변화 표현 방법.If it is determined in step 9 that the magnitude of the EMG signal is similar to that of MVC, the step of expressing the movement of the character with respect to the movement of the muscle according to the magnitude of the EMG signal similar to the magnitude of the MVC (step 11) and In addition, after the step (step 7) of determining the movement of the muscle with respect to the movement of the muscle, based on the determination in step 7 to represent the skin change of the character with the movement again (step 8) A method of expressing volume change of human skin for computer graphic animation, characterized in that the. 행위자의 주동근에 부착되어 행위자의 주동근의 움직임에 따른 근전도를 감지하고, 감지된 근전도를 기초로 근전도 신호를 발생시키는 근전도 센서(1)와;An EMG sensor (1) attached to the main root muscle of the actor to detect the EMG according to the movement of the main root muscle of the actor and generate an EMG signal based on the detected EMG; 상기 근전도 센서(1)로부터 근전도 신호를 인가받아 근전도 신호의 증폭 및 노이즈 제거를 수행하는 근전도계(2);An EMG (2) receiving an EMG signal from the EMG sensor (1) to perform amplification and noise removal of the EMG signal; 상기 근전도계(2)에서 증폭 및 노이즈가 제거된 근전도 신호로부터 포락선 추출 및 최대 등척성 수축(MVC)값을 추출하는 신호처리부(3);A signal processor (3) for extracting envelope extraction and maximum isometric contraction (MVC) value from the EMG signal from which the amplification and noise are removed from the EMG (2); 행위자의 신체 각 분절의 움직임과 관련한 모션을 캡쳐하는 모션 캡쳐부(4);A motion capture unit 4 for capturing motion associated with the movement of each segment of the body of the actor; 상기 모션 캡쳐부(4)에 의해 획득된 모션 캡쳐 데이터를 기초로 행위자에 의해 수행되는 것과 동일한 움직임을 나타내기 위해 각 분절의 움직임에 대응하는 분절 모션 신호들을 발생시키는 분절 모션 신호 발생부(5) 및;Segmented motion signal generator (5) for generating segmented motion signals corresponding to the movement of each segment to represent the same movement as performed by an actor based on the motion capture data acquired by the motion capturer (4) And; 상기 신호처리부(3)로부터의 포락선 추출 및 MVC값이 추출된 근전도 신호와, 신호발생부(5)로부터의 인체의 각 분절의 움직임에 대응하는 분절 모션 신호를 인가받아 캐릭터의 피부 부피 변화를 표현하도록 프로그래밍하여 캐릭터의 피부 부피 변화를 표현하는 피부 부피 변화 표현 프로그래밍부(6)를 구비하여 구성된 것을 특징으로 하는 컴퓨터 그래픽 애니메이션용 인체 피부의 부피 변화 표현 장치.Expression of the skin volume of the character is applied by applying the EMG signal from which the envelope extraction and the MVC value are extracted from the signal processor 3 and the segment motion signal corresponding to the movement of each segment of the human body from the signal generator 5. A volume change expression apparatus of human skin for computer graphics animation, comprising: a skin volume change expression programming unit (6) for programming to express a change in skin volume of a character.
KR1020080103734A 2008-10-22 2008-10-22 A method and apparatus for expressing the variation of volume in human skin for the computer graphic animation KR100962986B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080103734A KR100962986B1 (en) 2008-10-22 2008-10-22 A method and apparatus for expressing the variation of volume in human skin for the computer graphic animation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080103734A KR100962986B1 (en) 2008-10-22 2008-10-22 A method and apparatus for expressing the variation of volume in human skin for the computer graphic animation

Publications (2)

Publication Number Publication Date
KR20100044549A KR20100044549A (en) 2010-04-30
KR100962986B1 true KR100962986B1 (en) 2010-06-09

Family

ID=42219234

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080103734A KR100962986B1 (en) 2008-10-22 2008-10-22 A method and apparatus for expressing the variation of volume in human skin for the computer graphic animation

Country Status (1)

Country Link
KR (1) KR100962986B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101819535B1 (en) 2011-06-30 2018-01-17 삼성전자주식회사 Method and apparatus for expressing rigid area based on expression control points
WO2020111344A1 (en) * 2018-11-30 2020-06-04 이창훈 System and method for implementing physical motion in virtual space by using electromyographic signal

Also Published As

Publication number Publication date
KR20100044549A (en) 2010-04-30

Similar Documents

Publication Publication Date Title
KR100917486B1 (en) System and method for tracking facial muscle and eye motion for computer graphics animation
Preis et al. Gait recognition with kinect
JP4934813B2 (en) INPUT INFORMATION PROCESSING DEVICE, INPUT INFORMATION PROCESSING METHOD, INPUT INFORMATION PROCESSING PROGRAM, AND COMPUTER-READABLE RECORDING MEDIUM CONTAINING THE SAME
AU2012304260B2 (en) System and method for processing sensor data for the visually impaired
JP6334925B2 (en) Motion information processing apparatus and method
KR101615719B1 (en) Apparatus and method for extracting user's third dimension facial expression
Shingade et al. Animation of 3d human model using markerless motion capture applied to sports
KR101519775B1 (en) Method and apparatus for generating animation based on object motion
KR101118654B1 (en) rehabilitation device using motion analysis based on motion capture and method thereof
US20100328319A1 (en) Information processor and information processing method for performing process adapted to user motion
KR20150135776A (en) Image analysis device, image analysis method, and image analysis program
CN108062536A (en) A kind of detection method and device, computer storage media
CN110298286B (en) Virtual reality rehabilitation training method and system based on surface myoelectricity and depth image
Nissler et al. Optical myography: detecting finger movements by looking at the forearm
WO2016031313A1 (en) Physical condition-detecting apparatus, physical condition-detecting method, and physical condition-detecting program
CN113658211A (en) User posture evaluation method and device and processing equipment
Hanassy et al. Stereotypical reaching movements of the octopus involve both bend propagation and arm elongation
Elgendi et al. Real-time speed detection of hand gesture using Kinect
Klein et al. A markeless augmented reality tracking for enhancing the user interaction during virtual rehabilitation
KR100962986B1 (en) A method and apparatus for expressing the variation of volume in human skin for the computer graphic animation
JP5604249B2 (en) Human body posture estimation device, human body posture estimation method, and computer program
JP2012141881A (en) Human body motion estimation device, human body motion estimation method and computer program
Ángel-López et al. Kinematic hand analysis using motion capture technology
KR101276429B1 (en) Apparatus for replacing eye movement data in motion capture and computer-readable storage medium
CN112382390A (en) Method, system and storage medium for generating health assessment report

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130409

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140402

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160126

Year of fee payment: 6

R401 Registration of restoration
FPAY Annual fee payment

Payment date: 20170123

Year of fee payment: 7

R401 Registration of restoration
FPAY Annual fee payment

Payment date: 20170627

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee