KR102289695B1 - Motion Data Recording Method of Human Animation by Singular Point Extraction - Google Patents

Motion Data Recording Method of Human Animation by Singular Point Extraction Download PDF

Info

Publication number
KR102289695B1
KR102289695B1 KR1020200021646A KR20200021646A KR102289695B1 KR 102289695 B1 KR102289695 B1 KR 102289695B1 KR 1020200021646 A KR1020200021646 A KR 1020200021646A KR 20200021646 A KR20200021646 A KR 20200021646A KR 102289695 B1 KR102289695 B1 KR 102289695B1
Authority
KR
South Korea
Prior art keywords
motion data
singularity
displacement
point
extraction
Prior art date
Application number
KR1020200021646A
Other languages
Korean (ko)
Inventor
박진하
김충일
박영걸
Original Assignee
(주)코어센스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)코어센스 filed Critical (주)코어센스
Priority to KR1020200021646A priority Critical patent/KR102289695B1/en
Application granted granted Critical
Publication of KR102289695B1 publication Critical patent/KR102289695B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G06K9/46
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention relates to a motion data recording method of a human animation through singular point extraction to optimize motion data applied to a human animation (human three-dimensional model) when creating animation content through a three-dimensional engine such as Unity or Unreal. According to the present invention, the motion data recording method of a human animation records motion data of a human animation through a motion data recording apparatus and comprises: a step of collecting motion data for creating a human animation by a data collection unit (120) of the motion data recording apparatus (100); a step of designating a singular point extraction point (n) of a three-dimensional animation human model by a singular point extraction unit (130), and assigning a weight (w^n) for each designated point; and a step of extracting a singular point of collected motion data in accordance with the weight (w^n) assigned for each point and a singularity degree by the singular point extraction unit (130), and recording motion data after compressing the motion data by selecting a frame stored based on a singular point extracted through the singular point extraction unit (130) by a compression performing unit (140). The capacity of motion data can be effectively compressed and recorded.

Description

특이점 추출을 통한 휴먼 애니메이션의 모션 데이터 레코딩 방법 {Motion Data Recording Method of Human Animation by Singular Point Extraction}{Motion Data Recording Method of Human Animation by Singular Point Extraction}

본 발명은 휴먼 애니메이션의 모션 데이터 레코딩 방법에 관한 것으로, 특히 유니티나 언리얼 등의 3D 엔진을 통해 애니메이션 콘텐츠 제작 시, 휴먼 애니메이션(휴먼 3D모델)에 적용되는 모션 데이터의 최적화를 위해 특이점 추출을 통한 모션 데이터를 레코딩하는 방법에 관한 것이다. The present invention relates to a method for recording motion data of human animation, and in particular, when animation content is produced through a 3D engine such as Unity or Unreal, motion through singular point extraction for optimization of motion data applied to human animation (human 3D model) How to record data.

모션 캡쳐(Motion Cature)란 신체에 센서를 부착시키거나, 적외선 카메라 등을 이용하는 방법으로 인체의 움직임을 파악하여 디지털 형태로 기록하는 작업을 말한다. 이러한 모션 캡쳐를 통해 얻어지는 모션 데이터는 디지털 콘텐츠로서, 애니메이션이나 영화 게임, 동작분석, 재활 등 다양하게 활용된다. Motion capture refers to the work of attaching a sensor to the body or using an infrared camera, etc. to capture the movement of the human body and record it in digital form. Motion data obtained through such motion capture is digital content and is used in various ways, such as animation, movie games, motion analysis, and rehabilitation.

이러한 모션 캡쳐 방법 중 하나로 3D 휴먼 모델에 모션센서를 부착하고, 이 모션센서의 움직임을 파악하여 휴먼 애니메이션의 모션 데이터를 레코딩 하는 방법이 있다. 하지만, 3D 휴먼 모델을 통한 애니메이션 제작 시, 각각의 프레임마다 3D 휴먼 모델의 모든 관절과 마디의 회전방향(Euler or quaternion)과 위치(position)가 저장되어야 하기 때문에 과도한 용량의 파일을 생성하고 적용해야 하는 문제점이 있었다. 특히, 2명 이상의 다중 모델이나 군중의 모션을 표현하는 애니메이션 제작 시 과도한 용량 증가 뿐만 아니라 렌더링 시간의 급증으로 제작 기간 및 효율성이 저감하는 문제점이 있었다. As one of these motion capture methods, there is a method of attaching a motion sensor to a 3D human model and recording the motion data of the human animation by detecting the motion of the motion sensor. However, when creating animations using 3D human models, the rotation direction (Euler or quaternion) and position of all joints and nodes of the 3D human model must be saved for each frame, so it is necessary to create and apply an excessively large file. there was a problem with In particular, there was a problem in that the production period and efficiency were reduced due to the rapid increase in rendering time as well as excessive increase in capacity when producing animations expressing the motion of multiple models or crowds of two or more people.

대한민국 등록특허공보 제10-1519775호 (2015.05.06. 등록)Republic of Korea Patent Publication No. 10-1519775 (Registered on May 6, 2015) 대한민국 등록특허공보 제10-0415884호 (2004.01.08. 등록)Republic of Korea Patent Publication No. 10-0415884 (Registered on Aug. 1, 2004)

본 발명은 종래 휴먼 애니메이션의 모션 데이터 레코딩시 발생하는 문제점을 해결하기 위하여 제안된 것으로서, 본 발명의 목적은 모션의 특이점 추출을 통해 휴먼 애니메이션에 적용되는 모션 데이터의 용량을 압축하여 레코딩함으로써 모션을 정확하게 표현하면서도 모션 데이터의 용량을 저감할 수 있도록 하는 휴먼 애니메이션의 모션 데이터 레코딩 방법을 제공하는데 있다. The present invention has been proposed to solve a problem that occurs when recording motion data of a conventional human animation, and an object of the present invention is to accurately record a motion by compressing and recording the capacity of motion data applied to a human animation through extraction of a singularity of the motion. An object of the present invention is to provide a method of recording motion data of a human animation that can reduce the amount of motion data while expressing it.

상기 목적을 달성하기 위한 본 발명에 따른 휴먼 애니메이션의 모션 데이터 레코딩 방법은 모션 데이터 레코딩 장치를 통하여 휴먼 애니메이션의 모션 데이터를 레코딩 하는 방법으로서, 모션 데이터 레코딩 장치의 데이터 수집부에서 휴먼 애니메이션을 제작하기 위한 모션 데이터를 수집하는 단계와; 특이점 추출부에서 3D 애니메이션 휴먼 모델의 특이점 추출 포인트(n)를 지정하고, 지정되는 포인트 별 가중치(wn)를 부여하는 단계와 ; 특이점 추출부에서 상기 포인트 별 부여된 가중치(wn)와 특이정도에 따라 수집된 모션 데이터의 특이점을 추출하고, 압축 수행부에서 상기 특이점 추출부를 통하여 추출되는 특이점을 기준으로 저장되는 프레임을 선택하여 모션 데이터를 압축 후 레코딩하는 단계;를 포함한다. A method for recording motion data of a human animation according to the present invention for achieving the above object is a method of recording motion data of a human animation through a motion data recording device. collecting motion data; Designating the singularity extraction point (n) of the 3D animation human model in the singularity extraction unit, and assigning a weight (w n ) to each designated point; The singularity extractor extracts the singularity of the motion data collected according to the weight (w n ) given to each point and the degree of singularity, and the compression performing unit selects a frame to be stored based on the singularity extracted through the singularity extractor. and recording the motion data after compression.

상기 포인트 별 가중치를 부여하는 단계는 휴먼 모델에서 움직임이 발생하는 부위를 추출 포인트(n)로 지정하고, 지정된 추출 포인트 별 가중치(wn)를 동일 또는 차등하게 부여하게 된다. In the step of assigning a weight for each point, a region where a motion occurs in the human model is designated as an extraction point (n), and a weight (w n ) for each designated extraction point is equally or differentially applied.

또한, 상기 모션 데이터 압축 후 레코딩 되는 단계에서, 상기 모션 데이터의 특이점 추출은 최초 모션 데이터의 각 추출 포인트의 초기 변위(P0 n)를 저장하는 단계와, 모션 데이터의 프레임 별 각 추출 포인트의 변위 변화율 벡터(Vt n)를 추출하는 단계와, 추출된 변위 변화율 벡터(Vt n)를 이용하여 모션 데이터의 각 프레임의 예측 변위(

Figure 112020018755103-pat00001
)를 구하는 단계와, 구해진 각 프레임의 예측 변위(
Figure 112020018755103-pat00002
)와 실제 변위(
Figure 112020018755103-pat00003
), 예측 변위를 추정한 이전 프레임의 변위(
Figure 112020018755103-pat00004
) 정보를 이용하여 특이정도를 계산하는 단계와, 계산된 특이정도와 포인트 별 가중치를 이용하여 특이점을 추출하고 추출된 특이점을 바탕으로 모션 데이터를 압축하여 레코딩하는 단계를 포함한다. In addition, in the step of recording after compression of the motion data, the singular point extraction of the motion data includes the steps of storing the initial displacement (P 0 n ) of each extraction point of the original motion data, and the displacement of each extraction point for each frame of motion data rate of change vectors (V t n) of each frame predicting the displacement of the motion data by using the phase and the extracted vector displacement change rate (V t n) for extracting (
Figure 112020018755103-pat00001
), and the predicted displacement (
Figure 112020018755103-pat00002
) and the actual displacement (
Figure 112020018755103-pat00003
), the displacement of the previous frame from which the predicted displacement was estimated (
Figure 112020018755103-pat00004
) calculating the singularity using the information, extracting the singularity using the calculated singularity and weight for each point, and compressing and recording motion data based on the extracted singularity.

상기 특이점을 추출하고 추출된 특이점을 바탕으로 모션 데이터를 압축하여 레코딩하는 단계는, 모션 데이터의 한 프레임의 첫 번째 포인트의 실제변위(

Figure 112020018755103-pat00005
)와 예측 변위(
Figure 112020018755103-pat00006
)를 통하여 계산된 특이정도의 방향(
Figure 112020018755103-pat00007
)이 특이점 추출 방향 기준값인
Figure 112020018755103-pat00008
보다 클 경우 특이점으로 판단하여 실제 변위(
Figure 112020018755103-pat00009
)를 저장하고, 특이정도의 방향(
Figure 112020018755103-pat00010
)이 특이점 추출 방향 기준값인
Figure 112020018755103-pat00011
보다 작은 경우, 계산된 특이정도 크기(
Figure 112020018755103-pat00012
)가 특이점 추출 크기 기준값인 T보다 클 경우 특이점으로 판단하여 가중치 적용을 진행하며, 한 프레임에서 모든 포인트의 특이정도 크기(
Figure 112020018755103-pat00013
) 계산 후, 특이점 추출 크기 기준값과 비교하여 한 포인트라도 기준값(T)을 초과 할 경우 그 차이와 가중치를 곱한 값의 제곱근으로 특이점 추출 게인값(D ; gain value)을 계산하고, 계산된 게인값(D)이 특이점 추출 판단값(DT)보다 클 경우 최종 특이점 추출로 판단하여 현재 프레임을 저장하여, 특이점으로 판단된 프레임 저장을 통해 최종 모션 데이터 압축이 수행되게 된다. The step of extracting the singularity and compressing and recording motion data based on the extracted singularity includes the actual displacement (
Figure 112020018755103-pat00005
) and the predicted displacement (
Figure 112020018755103-pat00006
), the direction of the specificity calculated through (
Figure 112020018755103-pat00007
) is the reference value for the outlier extraction direction.
Figure 112020018755103-pat00008
If it is larger than the actual displacement (
Figure 112020018755103-pat00009
), and the direction of the singularity (
Figure 112020018755103-pat00010
) is the reference value for the outlier extraction direction.
Figure 112020018755103-pat00011
If less than, the calculated singularity size (
Figure 112020018755103-pat00012
) is larger than the standard value of the size of the singularity extraction, T, it is determined as a singularity and weight is applied, and the singularity size (
Figure 112020018755103-pat00013
) after calculation, if even one point exceeds the reference value (T) compared with the reference value of the size of the singularity extraction, the gain value (D ; gain value) is calculated as the square root of the value multiplied by the difference and the weight, and the calculated gain value If (D) is greater than the singularity extraction determination value (D T ), the final singularity extraction is determined and the current frame is stored, and the final motion data compression is performed through the storage of the frame determined as the singularity point.

한편, 상기 모션 데이터를 수집하는 단계에서, 데이터 수집부는 인체의 모션을 표현한 모션 캡쳐 시스템을 통하여 생성된 모션 데이터, 애니메이터가 캐릭터의 관절 key를 직접 조작하여 생성되는 모션 데이터, 데이터 최적화를 위해 재레코딩 하기 위한 기존 레코딩 모션 데이터 중 어느 하나의 모션 데이터를 수집하게 된다. Meanwhile, in the step of collecting the motion data, the data collection unit re-records the motion data generated through the motion capture system expressing the motion of the human body, the motion data generated by the animator directly manipulating the joint key of the character, and data optimization. Any one of the existing recorded motion data for this purpose is collected.

본 발명의 휴먼 애니메이션의 모션 데이터 레코딩 방법에 따르면, 종래 단순히 프레임을 일정 간격으로 삭제하여 압축하는 방식에서 벗어나, 모션의 특이점을 추출하여 애니메이터가 표현하고자 하는 모션을 정확하게 표현할 수 있으며, 모션 데이터의 용량을 효과적으로 압축하여 레코딩 할 수 있는 효과가 있다. 특히, 본 발명은 인체의 모션을 그대로 표현한 모션캡쳐 시스템의 모션 데이터 뿐만 아니라, 애니메이터가 캐릭터의 관절 key를 직접 조작하여 수집한 모션 데이터, 데이터 최적화(압축)을 위해 재레코딩 하기 위한 기존의 모션 데이터 등 다양한 모션 데이터를 대상으로 효과적인 레코딩이 이루어질 수 있도록 하는 효과가 있다.According to the motion data recording method of the human animation of the present invention, it is possible to accurately express the motion that the animator wants to express by extracting the singularity of the motion, away from the conventional method of simply deleting and compressing frames at regular intervals, and the capacity of the motion data It has the effect of effectively compressing and recording. In particular, the present invention provides not only the motion data of the motion capture system that expresses the motion of the human body as it is, but also the motion data collected by the animator by directly manipulating the character's joint key, the existing motion data for re-recording for data optimization (compression). It has the effect of enabling effective recording for various motion data such as

또한, 본 발명은 군중의 모션을 표현할 시 급증하는 모션 데이터의 용량을 저감함으로써, 렌더링 시간 단축을 통하여 제작 기간을 단축할 수 있으며 작업의 효율성이 증가시킬 수 있는 효과가 있다. In addition, the present invention has the effect of reducing the amount of motion data that rapidly increases when expressing the motion of a crowd, thereby shortening the production period by reducing the rendering time and increasing the efficiency of the work.

도 1은 본 발명에 따른 휴먼 애니메이션의 모션 데이터 레코딩 장치의 블록 구성도,
도 2는 본 발명에 따른 휴먼 애니메이션의 모션 데이터 레코딩 장치를 통하여 모션 데이터 레코딩 과정을 나타낸 흐름도,
도 3은 본 발명에 적용되는 3D 애니메이션 휴먼 모델의 특이점 추출 포인트 및 가중치 부여 개념도,
도 4는 본 발명에 따른 모션 데이터의 프레임별 각 변위 사이의 벡터를 추출하는 개념도,
도 5는 본 발명에 따른 모션 데이터의 각 프레임의 변위 위치를 예측하는 개념도,
도 6은 본 발명에 따른 모션 데이터의 각 프레임의 변위 위치에 대한 특이정도의 크기를 계산하는 과정을 나타낸 개념도,
도 7은 본 발명에 따른 모션 데이터의 각 프레임의 변위 위치에 대한 특이점을 추출하는 개념도,
도 8은 본 발명에 따른 모션 데이터의 각 프레임의 변위 위치에 대해 계산된 특이정도 크기와 특이점 추출 기준값 비교 과정을 나타낸 개념도,
도 9는 본 발명에 따른 모션 데이터의 각 프레임의 변위 위치에 대한 특이정도의 방향을 결정하기 위한 조건을 나타낸 개념도,
도 10은 본 발명에 따른 모션 데이터의 각 프레임의 변위 위치에 대한 특이정보의 방향을 계산하는 방법을 나타낸 개념도,
도 11은 본 발명에 따라 모션 데이터의 최종 특이점이 추출되어 압축이 수행되는 과정을 나타낸 흐름도,
도 12는 본 발명에 따른 모션 데이터의 최종 압축 데이터의 일례를 나타낸 것이다.
1 is a block diagram of an apparatus for recording motion data of human animation according to the present invention;
2 is a flowchart showing a motion data recording process through the motion data recording apparatus of human animation according to the present invention;
3 is a conceptual diagram of a singular point extraction point and weighting of a 3D animation human model applied to the present invention;
4 is a conceptual diagram of extracting a vector between each displacement for each frame of motion data according to the present invention;
5 is a conceptual diagram for predicting a displacement position of each frame of motion data according to the present invention;
6 is a conceptual diagram illustrating a process of calculating the magnitude of the singularity with respect to the displacement position of each frame of motion data according to the present invention;
7 is a conceptual diagram of extracting a singular point for a displacement position of each frame of motion data according to the present invention;
8 is a conceptual diagram illustrating a process of comparing the magnitude of the degree of singularity calculated for the displacement position of each frame of motion data and the reference value for extracting the singularity according to the present invention;
9 is a conceptual diagram illustrating a condition for determining the direction of the singularity with respect to the displacement position of each frame of motion data according to the present invention;
10 is a conceptual diagram illustrating a method of calculating a direction of singular information for a displacement position of each frame of motion data according to the present invention;
11 is a flowchart showing a process in which the final singularity of motion data is extracted and compression is performed according to the present invention;
12 shows an example of final compressed data of motion data according to the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명하기로 한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시 예에 따른 휴먼 애니메이션의 모션 데이터 레코딩 장치의 블록 구성도를 나타낸 것이다. 1 is a block diagram of an apparatus for recording motion data of human animation according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명에 따른 휴먼 애니메이션의 모션 데이터 레코딩 장치(100)는 휴먼 애니메이션에 적용되는 모션 데이터의 특이점 추출을 통해 모션 데이터를 효과적으로 압축하여 레코딩하게 되는데, 이 휴먼 애니메이션의 모션 데이터 레코딩 장치(100)는 컴퓨터에 탑재되어 구동되는 프로그램인 애니매이션 콘텐츠 제작용 3D 엔진으로 제작될 수 있다. As shown in FIG. 1, the apparatus 100 for recording motion data for human animation according to the present invention effectively compresses and records motion data through singular point extraction of motion data applied to human animation. The data recording apparatus 100 may be manufactured with a 3D engine for animation content production, which is a program mounted and driven in a computer.

본 발명에 따른 휴먼 애니메이션의 모션 데이터 레코딩 장치(100)에는 외부로부터 모션 데이터를 수집하는 모션 데이터 수집부(120)와, 상기 수집된 모션 데이터의 특이점을 추출하는 특이점 추출부(130)와, 상기 특이점 추출부(130)를 통하여 추출된 특이점을 기반으로 모션 데이터의 압축을 수행하여 레코딩을 수행하는 압축 수행부(140)와, 상기 각 구성부의 동작을 제어하는 제어부(110)가 구비된다. In the motion data recording apparatus 100 for human animation according to the present invention, a motion data collecting unit 120 for collecting motion data from the outside, a singularity extracting unit 130 for extracting a singularity of the collected motion data, and the A compression performing unit 140 for performing recording by performing compression of motion data based on the singularity extracted through the singularity extraction unit 130, and a control unit 110 for controlling the operation of each component are provided.

상기 모션 데이터 수집부(120)는 휴먼 애니메이션 모델에 적용되는 모션 데이터를 수집하게 되는데, 이 모션 데이터 수집부(120)는 인체의 모션을 그대로 표현한 모션 캡쳐 시스템을 통하여 생성된 모션 데이터뿐만 아니라, 애니메이터가 캐릭터의 관절 key를 직접 조작하여 생성되는 모션 데이터와, 데이터 최적화(압축)를 위해 재레코딩 하기 위해 기존 레코딩 모션 데이터를 수집하게 된다. The motion data collection unit 120 collects motion data applied to the human animation model, and the motion data collection unit 120 includes not only motion data generated through a motion capture system expressing human motion as it is, but also animators. The motion data generated by directly manipulating the character's joint key and the existing recorded motion data are collected for re-recording for data optimization (compression).

상기 특이점 추출부(130)는 모션 데이터 수집부(120)를 통하여 수집된 모션 데이터의 최적화를 위해 특이점을 추출하게 되는데, 이 특이점 추출부(130)는 수집된 모션 데이터에서 특이점 추출 포인트를 지정하고 지정된 포인트별 가중치를 부여하며, 각 포인트별 초기 변위를 설정하고 각 변위 사이의 벡터를 추출하여 각 프레임별 변위 위치를 예측하게 된다. 또한, 예측 변위 및 실제 변위 정보를 이용하여 특이정도(크기, 방향)를 계산하게 되는데, 계산된 특이정도와 포인트별 가중치를 이용하여 최종 특이점을 추출하게 된다. The singularity extractor 130 extracts a singularity for optimization of the motion data collected through the motion data collection unit 120, and the singularity extractor 130 designates a singularity extraction point from the collected motion data. A weight is given to each designated point, an initial displacement is set for each point, a vector between each displacement is extracted, and a displacement position for each frame is predicted. In addition, the degree of singularity (magnitude and direction) is calculated using the predicted displacement and actual displacement information, and the final singularity is extracted using the calculated singularity and weight for each point.

상기 압축 수행부(140)는 특이점 추출부(130)를 통하여 추출된 특이점을 바탕으로 모션 데이터의 압축을 수행하여 모션 데이터를 레코딩하게 된다. The compression performing unit 140 performs compression of the motion data based on the singularity extracted through the singularity extraction unit 130 to record the motion data.

이하에서는 상기 구성으로 이루어진 휴먼 애니메이션의 모션 데이터 레코딩 장치(100)를 통하여 모션 데이터 레코딩이 이루어지는 과정에 대하여 설명하기로 한다. Hereinafter, a process of recording motion data through the motion data recording apparatus 100 of a human animation configured as described above will be described.

도 2는 본 발명의 실시 예에 따른 휴먼 애니메이션의 모션 데이터 레코딩 장치를 통하여 모션 데이터 레코딩 과정을 나타낸 흐름도이다. 2 is a flowchart illustrating a motion data recording process through an apparatus for recording motion data of a human animation according to an embodiment of the present invention.

단계 S100 : 먼저, 휴먼 애니메이션의 모션 데이터 레코딩 장치(100)의 모션 데이터 수집부(120)는 모션 데이터를 수집하게 되는데, 이 모션 데이터 수집부(120)는 애니메이션 콘텐츠 제작 시 3D 휴먼 모델을 이용할 경우 다음의 3가지 방법을 통해 모션 데이터를 수집할 수 있다. Step S100: First, the motion data collection unit 120 of the motion data recording apparatus 100 of human animation collects motion data, and the motion data collection unit 120 uses a 3D human model when producing animation content. Motion data can be collected through the following three methods.

1) 모션 캡쳐 시스템1) Motion capture system

2) 애니메이터 조작 데이터 : 애니메이터가 직접 3D 모델의 관절과 마디의 회전과 위치 이동을 통해 모션 데이터를 만듬 2) Animator manipulation data: An animator directly creates motion data by rotating and moving the joints and nodes of the 3D model.

3) 기존 레코딩 데이터3) Existing recording data

상기 모션 데이터 수집부(120)를 통해 수집된 모션 데이터는 각 프레임 별로 3D 모델의 모든 관절과 마디의 시작과 끝의 위치가 저장되어 있다. In the motion data collected through the motion data collection unit 120, the positions of the beginning and the end of all joints and nodes of the 3D model are stored for each frame.

단계 S110 : 모션 데이터 수집부(120)를 통하여 모션 데이터가 수집되면, 특이점 추출부(130)는 모션 데이터의 특이점 추출을 위해 먼저 특이점 추출 포인트를 지정하게 된다. 본 발명에서는 특이점 추출 시 휴먼 모델의 모든 포인트를 고려하지 않는 대신, 휴먼 모델의 특이점을 추출하는 포인트는 일반적으로 모션 표현 시 변위의 변화가 가장 많은 곳을 기준으로 하게 된다. 만약 세부적인 움직임을 강조하고 싶다면 애니메이터가 추출 포인트를 추가할 수 있고, 용량 저감을 위해 포인트를 줄이는 것 또한 가능하다. Step S110: When motion data is collected through the motion data collecting unit 120, the singularity extraction unit 130 first designates a singularity extraction point for extracting the singularity of the motion data. In the present invention, instead of considering all points of the human model when extracting the singularity, the point for extracting the singularity of the human model is generally based on the place where the change in displacement is greatest when expressing motion. If you want to emphasize detailed movement, the animator can add extraction points, and it is also possible to reduce the points to reduce capacity.

단계 S120 : 또한, 특이점 추출부(130)는 포인트 지정 후 각 포인트별로 가중치를 부여하게 되는데, 이 가중치는 모든 포인트에 동일하게 부여할 수도 있고 모션 표현 시 애니메이터가 강조하고자 하는 위치 포인트에 높은 가중치를 부여하는 것 또한 가능하다. 이 포인트별 가중치는 최종적으로 모션 데이터의 압축을 수행할 때 특이정도와 함께 기준 특이정도와 비교하여 특이점 추출 여부를 결정하는데 이용된다. Step S120: In addition, the singularity extraction unit 130 assigns a weight to each point after designating the points. This weight may be equally applied to all points, or a high weight is applied to the position point that the animator wants to emphasize when expressing motion. It is also possible to give This weight for each point is finally used to determine whether to extract the singularity by comparing it with the reference singularity along with the singularity when motion data is compressed.

도 3은 본 발명에 적용되는 3D 애니메이션 휴먼 모델의 특이점 추출 포인트 및 가중치 부여 개념도를 나타낸 것이다. 도 3에 도시된 바와 같이, 본 발명의 실시 예에서는 휴먼 모델에서 움직임이 많은 부위(양측 발목, 양측 손목, 양측 팔꿈치, 머리 정수리)에 각각 특이점 추출 포인트(n ; 1~7)를 지정하고, 각 포인트별 가중치(wn)를 부여하였다. 도 3에서 n은 특이점 추출 포인트를, t는 시간(프레임 시간)을,

Figure 112020018755103-pat00014
은 시간(또는 프레임) t에서의 n번째 포인트에서 발생하는 변위 정보를.
Figure 112020018755103-pat00015
은 n번째 포인트의 가중치를 나타낸다. 3 shows a conceptual diagram of a singular point extraction point and weighting of a 3D animation human model applied to the present invention. As shown in FIG. 3, in the embodiment of the present invention, each singular point extraction point (n; 1 to 7) is designated in a part with a lot of movement in the human model (both ankles, both wrists, both elbows, and the crown of the head), A weight (w n ) was given to each point. 3, n is the singularity extraction point, t is the time (frame time),
Figure 112020018755103-pat00014
is the displacement information occurring at the nth point in time (or frame) t.
Figure 112020018755103-pat00015
denotes the weight of the nth point.

단계 S130 : 또한, 특이점 추출부(130)는 각 포인트의 초기 변위를 저장하게 되는데, 최초 모션 데이터의 각 포인트는 변위 벡터를 구할 수 없기 때문에 최초 모션 데이터의 포인트 변위는 최초값으로 저장된다. 따라서, 도 3에서 n개의 포인트를 지정했을 경우, 각 포인트의 가중치와 최초 변위는 다음과 같이 표현된다. Step S130: Also, the singular point extractor 130 stores the initial displacement of each point. Since a displacement vector cannot be obtained for each point of the initial motion data, the point displacement of the initial motion data is stored as an initial value. Accordingly, when n points are designated in FIG. 3 , the weight and initial displacement of each point are expressed as follows.

Figure 112020018755103-pat00016
: 애니메이터가 지정한 n번째 포인트의 가중치
Figure 112020018755103-pat00016
: Weight of the nth point specified by the animator

Figure 112020018755103-pat00017
: n번째 포인트의 최초 변위
Figure 112020018755103-pat00017
: the initial displacement of the nth point

단계 S140 : 각 포인트별 최초 변위가 저장되면, 특이점 추출부(130)는 모션 데이터의 각 프레임 별 포인트의 변위 사이의 벡터를 추출하게 된다. 도 4는 각 변위 사이의 벡터를 추출하는 방법을 나타낸 것으로, 최초 모션 데이터의 n번째 포인트가 P0를 시작으로 P1, P2, P3로 이동할 때, 각각의 프레임 별로 n번째 포인트 변위의 변화율 벡터

Figure 112020018755103-pat00018
를 다음의 수학식 1와 같이 구할 수 있다. Step S140: When the initial displacement for each point is stored, the singular point extractor 130 extracts a vector between the displacements of the points for each frame of the motion data. 4 shows a method of extracting a vector between each displacement. When the n-th point of the first motion data moves from P 0 to P 1 , P 2 , P 3 , the displacement of the n-th point for each frame rate of change vector
Figure 112020018755103-pat00018
can be obtained as in Equation 1 below.

Figure 112020018755103-pat00019
Figure 112020018755103-pat00019

(여기서, t는 프레임의 시간으로, tt는 현재 시간, t(t-1)은 이전 프레임 시간을 나타낸다)(where t is the time of the frame, t t is the current time, and t (t-1) is the previous frame time)

단계 S150 : 상기 과정을 통해 각 변위 사이의 벡터가 추출되면, 특이점 추출부(130)는 변위 사이의 벡터를 이용하여 각 프레임의 변위 위치를 예측하게 된다. 도 5는 각 프레임의 변위 위치를 예측하는 과정을 나타낸 것으로, n번째 포인트 Pt n를 기준으로 변위의 변화율 벡터

Figure 112020018755103-pat00020
를 이용하여 각 프레임의 예측 변위
Figure 112020018755103-pat00021
을 다음의 수학식 2와 같이 예측하게 된다. Step S150: When the vector between each displacement is extracted through the above process, the singular point extractor 130 predicts the displacement position of each frame by using the vector between the displacements. 5 is a diagram illustrating a process of predicting the displacement position of each frame, and is a vector rate of change of displacement based on the nth point P t n .
Figure 112020018755103-pat00020
Predicted displacement of each frame using
Figure 112020018755103-pat00021
is predicted as in Equation 2 below.

Figure 112020018755103-pat00022
Figure 112020018755103-pat00022

(여기서, t는 프레임 시간으로, tt는 현재 시간, tt+1은 변위를 예측할 다음 프레임 시간을 나타낸다)(where t is the frame time, t t is the current time, and t t+1 is the next frame time to predict the displacement)

단계 S160 : 이후, 특이점 추출부(130)는 모션 데이터의 특이정도를 계산하게 되는데, 계산되는 특이정보는 특이점을 추출하는데 이용된다. 본 발명의 실시 예에서 상기 과정에서 구한 예측 변위

Figure 112020018755103-pat00023
(수학식 2에서 계산된 예측 변위
Figure 112020018755103-pat00024
의 시간 t+1은 다음 프레임에서 현재 시간 t가 되므로, 이하에서는 예측 변위를 현재 시간인
Figure 112020018755103-pat00025
로 기재한다)과 모션 데이터의 실제 변위
Figure 112020018755103-pat00026
, 그리고
Figure 112020018755103-pat00027
를 추정한 이전 프레임의 변위
Figure 112020018755103-pat00028
을 이용하여 모션 데이터의 특이정도를 계산한다. Step S160: Thereafter, the singularity extraction unit 130 calculates the degree of singularity of the motion data, and the calculated singularity information is used to extract the singularity. Predicted displacement obtained in the above process in an embodiment of the present invention
Figure 112020018755103-pat00023
(The predicted displacement calculated in Equation 2
Figure 112020018755103-pat00024
Since the time t+1 of becomes the current time t in the next frame, the predicted displacement is
Figure 112020018755103-pat00025
) and the actual displacement of the motion data.
Figure 112020018755103-pat00026
, And
Figure 112020018755103-pat00027
Displacement of the previous frame estimated by
Figure 112020018755103-pat00028
is used to calculate the specificity of the motion data.

이렇게 계산되는 특이정도는 특이점 추출의 판단 기준이 되는데, 본 발명에서는 특이점 판단을 위해 특이정도의 크기와 방향, 이렇게 2가지 방법을 이용한다. The degree of singularity calculated in this way serves as a criterion for determining the extraction of the singularity. In the present invention, two methods are used to determine the singularity, namely the magnitude and direction of the singularity.

1) 먼저, 첫 번째로 특이점 판단을 위해 특이정도의 크기를 계산하는 방법을 설명한다. 도 6은 특이정도의 크기를 계산하는 과정을 나타낸 것이고, 도 7은 특이점을 추출하는 개념도를 나타낸 것이다. 도 6과 도 7에 도시된 바와 같이, 특이정도의 크기는 예측 변위

Figure 112020018755103-pat00029
과 움직임 데이터의 실제 변위
Figure 112020018755103-pat00030
과의 물리적 거리, 즉 스칼라값으로 계산된다. 특이정도
Figure 112020018755103-pat00031
은 다음의 수학식 3과 같이 구해지며, 이를 이용하여 특이정도의 크기
Figure 112020018755103-pat00032
는 수학식 4와 같이 구해진다.1) First, the method of calculating the magnitude of the singularity level for judging the singularity will be described. 6 shows a process of calculating the magnitude of the singularity, and FIG. 7 shows a conceptual diagram of extracting a singularity. As shown in Figs. 6 and 7, the magnitude of the specificity is the predicted displacement.
Figure 112020018755103-pat00029
and actual displacement of motion data
Figure 112020018755103-pat00030
It is calculated as a physical distance from and, that is, a scalar value. special degree
Figure 112020018755103-pat00031
is obtained as in the following Equation 3, and using this, the size of the singularity
Figure 112020018755103-pat00032
is obtained as in Equation (4).

Figure 112020018755103-pat00033
Figure 112020018755103-pat00033

(여기에서,

Figure 112020018755103-pat00034
은 예상 변위와 실제 변위와의 차이를 나타낸다)(From here,
Figure 112020018755103-pat00034
represents the difference between the expected displacement and the actual displacement)

Figure 112020018755103-pat00035
Figure 112020018755103-pat00035

상기 과정을 통하여 특이정도 크기가 계산되면, 계산된 특이정도 크기는 미리 설정된 특이점 추출 기준값과 비교하게 되는데, 도 8은 계산된 특이정도 크기와 특이점 추출 기준값 비교 과정을 나타낸 것이다. 도 8에 도시된 바와 같이, 특이정도의 크기

Figure 112020018755103-pat00036
가 특이점 추출의 크기 기준값 T보다 작은 값일 경우 예상할 수 있는 범위의 값이므로 실제범위
Figure 112020018755103-pat00037
는 기록되고, 이전 변위
Figure 112020018755103-pat00038
가 속한 프레임은 삭제된다. 즉, 최초 변위
Figure 112020018755103-pat00039
에서 최종 변위
Figure 112020018755103-pat00040
까지 예측할 수 있는 속도와 크기로 변위가 이동한다고 판단할 수 있으므로, 최초 변위와 최종변위만 저장하여 데이터를 압축할 수 있다. 만약,
Figure 112020018755103-pat00041
가 기준치 T보다 클 경우 이전 변위
Figure 112020018755103-pat00042
은 최종 변위임으로
Figure 112020018755103-pat00043
가 속한 프레임은 삭제하지 않고 기록된다. 이와 같이 최종 변위를 반드시 저장함으로써, 모션 애니메이션은 애니메이터가 표현하고자 하는 지점까지 정확하게 표현될 수 있다. 여기에서, 특이점 추출 크기 기준값 T는 압축 정도에 따라 애니메이터가 조절할 수 있도록 하여 압축 정도를 결정할 수 있게 된다. When the specificity magnitude is calculated through the above process, the calculated specificity magnitude is compared with a preset singularity extraction reference value. As shown in Fig. 8, the size of the specificity
Figure 112020018755103-pat00036
If is a value smaller than the size reference value T of the singularity extraction, it is a value within the expected range, so the actual range
Figure 112020018755103-pat00037
is recorded, and the previous displacement
Figure 112020018755103-pat00038
The frame to which it belongs is deleted. That is, the first displacement
Figure 112020018755103-pat00039
final displacement at
Figure 112020018755103-pat00040
Since it can be determined that the displacement moves at a speed and magnitude that can be predicted up to , it is possible to compress the data by storing only the initial displacement and the final displacement. what if,
Figure 112020018755103-pat00041
If is greater than the reference value T, the previous displacement
Figure 112020018755103-pat00042
is the final displacement.
Figure 112020018755103-pat00043
The frame to which belongs is recorded without deletion. By always storing the final displacement in this way, the motion animation can be accurately expressed up to the point the animator wants to express. Here, the singularity extraction size reference value T can be adjusted by the animator according to the degree of compression to determine the degree of compression.

2) 다음으로, 두 번째 특이점 판단을 위해 특이정도의 방향을 계산하는 방법을 설명한다. 예측 변위는 이전 변위의 방향성을 그대로 유지하여 예측되었기 때문에 실제 변위의 방향성이 달라졌을 경우, 특이정도의 크기만으로는 특이점 추출을 할 수 없게 된다. 2) Next, a method of calculating the direction of the singularity for the second singularity determination will be described. Since the predicted displacement was predicted while maintaining the directionality of the previous displacement, if the direction of the actual displacement is changed, singularity extraction cannot be performed only with the magnitude of the singularity.

본 발명에서 특이정도의 방향은 이전 프레임의 변위

Figure 112020018755103-pat00044
를 기준으로 예측 범위
Figure 112020018755103-pat00045
의 방향이 실제 변위
Figure 112020018755103-pat00046
의 방향에서 결정한 특이점 추출의 방향 기준값 이내에 존재할 때 특이점으로 추출한다. In the present invention, the direction of specificity is the displacement of the previous frame.
Figure 112020018755103-pat00044
Prediction range based on
Figure 112020018755103-pat00045
the direction of the actual displacement
Figure 112020018755103-pat00046
It is extracted as a singularity when it exists within the direction reference value of the singularity extraction determined in the direction of .

도 9는 본 발명의 실시 예에서 특이정도의 방향을 결정하기 위한 조건을 나타낸 것으로, 이전 프레임의 변위

Figure 112020018755103-pat00047
를 원점으로 한 구의 녹색으로 표시한 부위에 포함된 예측값
Figure 112020018755103-pat00048
를 유효값으로 결정한다. 9 shows the conditions for determining the direction of the specificity in an embodiment of the present invention, the displacement of the previous frame
Figure 112020018755103-pat00047
The predicted value included in the green area of the sphere with the origin
Figure 112020018755103-pat00048
is determined as a valid value.

도 10은 본 발명의 실시 예에서 특이정보의 방향을 계산하는 방법을 나타낸 것으로, 특이정도의 방향은 이전 프레임의 변위

Figure 112020018755103-pat00049
를 기준으로 한 실제 변위
Figure 112020018755103-pat00050
로의 벡터
Figure 112020018755103-pat00051
와 예측 변위
Figure 112020018755103-pat00052
로의 벡터
Figure 112020018755103-pat00053
의 내적을 이용하여 계산한다. 10 shows a method for calculating the direction of singularity information in an embodiment of the present invention. The direction of the singularity is the displacement of the previous frame.
Figure 112020018755103-pat00049
actual displacement with respect to
Figure 112020018755103-pat00050
vector of lo
Figure 112020018755103-pat00051
and predicted displacement
Figure 112020018755103-pat00052
vector of lo
Figure 112020018755103-pat00053
is calculated using the dot product of

여기서, 두 벡터

Figure 112020018755103-pat00054
Figure 112020018755103-pat00055
는 다음의 수학식 5 및 6과 같이 계산할 수 있다.Here, the two vectors
Figure 112020018755103-pat00054
Wow
Figure 112020018755103-pat00055
can be calculated as in Equations 5 and 6 below.

Figure 112020018755103-pat00056
Figure 112020018755103-pat00056

Figure 112020018755103-pat00057
Figure 112020018755103-pat00057

이렇게 구해진 두 벡터

Figure 112020018755103-pat00058
Figure 112020018755103-pat00059
를 통해 두 벡터의 내적
Figure 112020018755103-pat00060
를 구할 수 있는데, 이때 계산되는 내적값으로 다음의 수학식 7과 같이 두 벡터 사이의 각을 구하여 특이정도의 방향
Figure 112020018755103-pat00061
를 구할 수 있다. The two vectors obtained in this way
Figure 112020018755103-pat00058
Wow
Figure 112020018755103-pat00059
dot product of two vectors through
Figure 112020018755103-pat00060
The direction of singularity can be obtained by calculating the angle between the two vectors as in Equation 7 as the dot product calculated at this time.
Figure 112020018755103-pat00061
can be obtained

Figure 112020018755103-pat00062
Figure 112020018755103-pat00062

상기 과정을 통하여 계산한 특이정도의 방향

Figure 112020018755103-pat00063
는 특이점 추출의 방향 기준값인
Figure 112020018755103-pat00064
이내에 포함되는지 확인하게 되는데, 기준값에 포함되면 이는 예측 가능한 값이므로 실제범위
Figure 112020018755103-pat00065
는 기록되고, 이전 변위
Figure 112020018755103-pat00066
가 속한 프레임은 삭제된다. 이러한 두 번째 판단을 통해서 첫 번째 판단에서 계산한 특이정도의 크기는 기준값을 만족하나 방향성이 상이한 프레임의 포인트를 압축에서 제외하여 압축과정에서 발생할 수 있는 모션 예측 오차를 줄일 수 있게 된다. The direction of the specificity calculated through the above process
Figure 112020018755103-pat00063
is the direction reference value for singularity extraction.
Figure 112020018755103-pat00064
It is checked whether it is within
Figure 112020018755103-pat00065
is recorded, and the previous displacement
Figure 112020018755103-pat00066
The frame to which it belongs is deleted. Through this second determination, the magnitude of the singularity calculated in the first determination satisfies the reference value, but it is possible to reduce the motion prediction error that may occur in the compression process by excluding the points of the frame with different directions from compression.

단계 S170, S180 : 상기 과정을 통하여 계산한 특이정도 방향과 크기, 그리고 특이점 추출 포인트별 가중치를 이용하여 특이점 추출부(130)는 최종 특이점을 추출하고(S170), 이를 바탕으로 압축 수행부(140)는 압축을 수행하게 된다(S180). Steps S170, S180: The singularity extraction unit 130 extracts the final singularity by using the direction and magnitude of the singularity degree calculated through the above process, and the weight for each singularity extraction point (S170), and based on this, the compression performing unit 140 ) is to perform compression (S180).

도 11은 본 발명의 실시 예에 따라 최종 특이점이 추출되어 압축이 수행되는 과정을 나타낸 흐름도이다. 11 is a flowchart illustrating a process in which a final singularity is extracted and compression is performed according to an embodiment of the present invention.

1) 먼저, 한 프레임의 첫 번째 포인트의 실제 변위

Figure 112020018755103-pat00067
와 예측 변위
Figure 112020018755103-pat00068
를 이용하여 특이정도 방향이 계산되면, 특이정도의 방향
Figure 112020018755103-pat00069
가 특이점 추출의 방향 기준값인
Figure 112020018755103-pat00070
보다 클 경우 특이점으로 판단하여 실제 변위
Figure 112020018755103-pat00071
를 저장한다. 1) First, the actual displacement of the first point in one frame
Figure 112020018755103-pat00067
and predicted displacement
Figure 112020018755103-pat00068
If the singularity direction is calculated using
Figure 112020018755103-pat00069
is the direction reference value for singularity extraction.
Figure 112020018755103-pat00070
If it is larger than that, it is judged as a singularity and the actual displacement
Figure 112020018755103-pat00071
save the

2) 만약, 특이정도의 방향

Figure 112020018755103-pat00072
가 특이점 추출의 방향 기준값인
Figure 112020018755103-pat00073
보다 작은 경우, 다음 단계로 계산된 특이정도 크기
Figure 112020018755103-pat00074
가 특이점 추출의 크기 기준값인 T보다 클 경우 특이점으로 판단하여 가중치 적용 단계로 넘어간다. 2) If the direction of specificity
Figure 112020018755103-pat00072
is the direction reference value for singularity extraction.
Figure 112020018755103-pat00073
If less than, the magnitude of the singularity computed to the next step
Figure 112020018755103-pat00074
If is larger than T, which is the size reference value of the singularity extraction, it is determined as a singularity and proceeds to the weight application step.

3) 한 프레임에서 모든 포인트의 특이정도 크기(

Figure 112020018755103-pat00075
) 계산 후, 특이점 추출 크기 기준값과 비교하여 한 포인트라도 기준값(T)을 초과 할 경우, 다음의 수학식 8과 같이, 그 차이와 가중치를 곱한 값의 제곱근으로 특이점 추출 게인값(gain value) D를 계산한다. 게인값 D가 특이점 추출 판단값 DT보다 클 경우, 최종 특이점 추출로 판단하여 현재 프레임을 저장한다. 3) Singularity size of all points in one frame (
Figure 112020018755103-pat00075
) after calculation, if even one point exceeds the reference value (T) compared with the reference value of the size of the singularity extraction, as in the following Equation 8, as the square root of the value multiplied by the difference and the weight, the singularity extraction gain value D to calculate When the gain value D is greater than the singularity extraction determination value D T , it is determined as the final singularity extraction and the current frame is stored.

Figure 112020018755103-pat00076
Figure 112020018755103-pat00076

4) 특이점으로 판단된 프레임을 저장하여 최종 모션 데이터의 압축을 수행하여 레코딩하게 된다. 4) The frame determined as a singularity is saved and the final motion data is compressed and recorded.

도 12는 최종 압축 데이터의 일례를 나타낸 것으로, 한 포인트를 예를 들어 설명하면, 도 12에서 frame #2에서 특이점 검출이 되지 않기 때문에 t-1번째, 즉 frame #1은 저장되지 않는다. frame #3에서 특이정도의 크기가 기준값 T값 이상이므로 frame #2는 특이점으로 판단하여 저장된다. FIG. 12 shows an example of the final compressed data. If one point is described as an example, the t-1 th, that is, frame #1, is not stored because a singular point is not detected in frame #2 in FIG. 12 . Since the size of the singularity in frame #3 is greater than the reference value T, frame #2 is determined as a singularity and stored.

이와 같이, 본 발명에서는 3D 애니메이션 휴먼 모델에 특이점 추출 포인트 및 가중치를 부여하고, 포인트 별 부여된 가중치와 특이정도에 따라 특이점을 추출하여, 그 특이점을 기준으로 저장되는 프레임이 선택되어 모션 데이터가 압축 후 레코딩됨으로써, 모션 데이터의 용량을 효과적으로 압축하여 레코딩 할 수 있게 된다. As described above, in the present invention, a singularity extraction point and weight are given to the 3D animation human model, the singularity is extracted according to the weight and singularity given for each point, and a frame to be stored is selected based on the singularity, and motion data is compressed. By being recorded later, it is possible to effectively compress and record the motion data.

이러한 본 발명은 상술한 실시 예에 한정되는 것은 아니며 본 발명이 속하는 기술 분야에서 통상의 지식을 갖는 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구 범위의 균등범위 내에서 다양한 수정 및 변형이 이루어질 수 있음은 물론이다. The present invention is not limited to the above-described embodiments, and various modifications and variations can be made by those of ordinary skill in the art to which the present invention pertains within the scope of equivalents of the technical spirit of the present invention and the claims to be described below. Of course, this can be done.

100 : 모션 데이터 레코딩 장치 110 : 제어부
120 : 모션 데이터 수집부 130 : 특이점 추출부
140 : 압축 수행부
100: motion data recording device 110: control unit
120: motion data collection unit 130: singularity extraction unit
140: compression performing unit

Claims (11)

모션 데이터 레코딩 장치(100)의 데이터 수집부(120)에서 휴먼 애니메이션을 제작하기 위한 모션 데이터를 수집하는 단계(a)와; 특이점 추출부(130)에서 3D 애니메이션 휴먼 모델의 특이점 추출 포인트(n)를 지정하고, 지정되는 포인트 별 가중치(wn)를 부여하는 단계(b)와; 특이점 추출부(130)에서 상기 포인트 별 부여된 가중치(wn)와 특이정도에 따라 수집된 모션 데이터의 특이점을 추출하고, 압축 수행부(140)에서 상기 특이점 추출부(130)를 통하여 추출되는 특이점을 기준으로 저장되는 프레임을 선택하여 모션 데이터를 압축 후 레코딩하는 단계(c);를 포함하는 휴먼 애니메이션의 모션 데이터 레코딩 방법으로서,
상기 모션 데이터 압축 후 레코딩 되는 단계(c)에서,
상기 모션 데이터의 특이점 추출은,
(c-1) 최초 모션 데이터의 각 추출 포인트의 초기 변위(P0 n)를 저장하는 단계와,
(c-2) 모션 데이터의 프레임 별 각 추출 포인트의 변위 변화율 벡터(Vt n)를 추출하는 단계와,
(c-3) 추출된 변위 변화율 벡터(Vt n)를 이용하여 모션 데이터의 각 프레임의 예측 변위(
Figure 112021039770632-pat00123
)를 구하는 단계와,
(c-4) 구해진 각 프레임의 예측 변위(
Figure 112021039770632-pat00124
)와 실제 변위(
Figure 112021039770632-pat00125
), 예측 변위를 추정한 이전 프레임의 변위(
Figure 112021039770632-pat00126
) 정보를 이용하여 특이정도를 계산하는 단계와,
(c-5) 계산된 특이정도와 포인트 별 가중치를 이용하여 특이점을 추출하고, 추출된 특이점을 바탕으로 모션 데이터를 압축하여 레코딩하는 단계를 포함하는 것을 특징으로 하는 휴먼 애니메이션의 모션 데이터 레코딩 방법.
Collecting motion data for producing a human animation in the data collection unit 120 of the motion data recording apparatus 100 (a) and; (b) designating the singularity extraction point (n) of the 3D animation human model in the singularity extraction unit 130, and assigning a weight (w n) to each designated point; The singularity extractor 130 extracts the singularity of the motion data collected according to the weight (w n ) assigned to each point and the degree of singularity, and the compression performing unit 140 extracts the singularity through the singularity extractor 130 . A method of recording motion data of human animation comprising a step (c) of selecting a frame to be stored based on a singularity and recording the motion data after compression,
In the step (c) of being recorded after the motion data is compressed,
Singularity extraction of the motion data is
(c-1) storing the initial displacement (P 0 n ) of each extraction point of the initial motion data;
(c-2) extracting a displacement change rate vector (V t n ) of each extraction point for each frame of motion data;
(c-3) Using the extracted displacement change rate vector (V t n ), the predicted displacement (
Figure 112021039770632-pat00123
), and
(c-4) The predicted displacement of each frame obtained (
Figure 112021039770632-pat00124
) and the actual displacement (
Figure 112021039770632-pat00125
), the displacement of the previous frame from which the predicted displacement was estimated (
Figure 112021039770632-pat00126
) calculating the specificity using the information;
(c-5) A method for recording motion data for human animation, comprising extracting a singularity using the calculated singularity and weight for each point, and compressing and recording the motion data based on the extracted singularity.
제 1항에 있어서,
상기 포인트 별 가중치를 부여하는 단계(b)는,
휴먼 모델에서 움직임이 발생하는 부위를 추출 포인트(n)로 지정하고, 지정된 추출 포인트 별 가중치(wn)를 동일 또는 차등하게 부여하는 것을 특징으로 하는 휴먼 애니메이션의 모션 데이터 레코딩 방법.
The method of claim 1,
The step (b) of assigning a weight for each point is,
A method of recording motion data for human animation, characterized in that a region where motion occurs in the human model is designated as an extraction point (n), and a weight (w n ) for each designated extraction point is equally or differentially assigned.
삭제delete 제 1항에 있어서,
상기 변위 변화율 벡터(Vt n)를 추출하는 단계(b-2)에서,
최초 모션 데이터의 n번째 포인트가 P0를 시작으로 P1, P2, P3로 이동할 때, 각각의 프레임 별로 n번째 포인트 변위의 변화율 벡터 Vt n은 다음의 수학식을 통해 구해지는 것을 특징으로 하는 휴먼 애니메이션의 모션 데이터 레코딩 방법.
Figure 112021039770632-pat00081

(여기서, n은 특이점 추출 포인트, t는 프레임 시간, Pt n은 n번째 포인트의 변위를 나타낸다)
The method of claim 1,
In the step (b-2) of extracting the displacement change rate vector (V t n ),
When the nth point of the first motion data moves from P 0 to P 1 , P 2 , P 3 , the rate of change vector V t n of the displacement of the nth point for each frame is obtained through the following equation A method of recording motion data for human animation.
Figure 112021039770632-pat00081

(where n is the singular point extraction point, t is the frame time, and P t n is the displacement of the nth point)
제 1항에 있어서,
상기 각 프레임의 예측 변위를 구하는 단계(c-3)에서,
각 프레임의 예측 변위
Figure 112021039770632-pat00082
은 n번째 포인트 변위 Pt n를 기준으로 변위의 변화율 벡터 Vt n를 이용하여 다음의 수학식을 통해 구해지는 것을 특징으로 휴먼 애니메이션의 모션 데이터 레코딩 방법.
Figure 112021039770632-pat00083

The method of claim 1,
In the step (c-3) of obtaining the predicted displacement of each frame,
Predicted displacement of each frame
Figure 112021039770632-pat00082
A method for recording motion data of human animation, characterized in that it is obtained through the following equation using the rate of change vector V t n of the displacement based on the displacement P t n of the n-th point.
Figure 112021039770632-pat00083

제 1항에 있어서,
상기 특이정도를 계산하는 단계(c-4)에서,
상기 특이정도는 특이점 추출을 위한 특이정도 크기와 방향을 포함하되,
상기 특이정도 크기(
Figure 112021039770632-pat00084
)는 예측 변위
Figure 112021039770632-pat00085
과 모션 데이터 각 프레임의 실제 변위
Figure 112021039770632-pat00086
과의 물리적 거리인 스칼라값으로 계산되며,
상기 특이정도 방향(
Figure 112021039770632-pat00087
)은 이전 프레임의 변위
Figure 112021039770632-pat00088
를 기준으로, 한 실제 변위
Figure 112021039770632-pat00089
로의 벡터
Figure 112021039770632-pat00090
와 예측 변위
Figure 112021039770632-pat00091
로의 벡터
Figure 112021039770632-pat00092
의 내적을 이용하여 계산되는 것을 특징으로 하는 휴먼 애니메이션의 모션 데이터 레코딩 방법.
The method of claim 1,
In the step (c-4) of calculating the specificity,
The specificity includes the magnitude and direction of the specificity for extraction of the singularity,
The specificity size (
Figure 112021039770632-pat00084
) is the predicted displacement
Figure 112021039770632-pat00085
and motion data actual displacement of each frame
Figure 112021039770632-pat00086
It is calculated as a scalar value that is the physical distance from
The specificity direction (
Figure 112021039770632-pat00087
) is the displacement of the previous frame
Figure 112021039770632-pat00088
Based on , one actual displacement
Figure 112021039770632-pat00089
vector of lo
Figure 112021039770632-pat00090
and predicted displacement
Figure 112021039770632-pat00091
vector of lo
Figure 112021039770632-pat00092
A method for recording motion data of human animation, characterized in that it is calculated using the dot product of .
제 6항에 있어서,
상기 특이정도 크기(
Figure 112021039770632-pat00093
)는 다음의 수학식을 통해 계산되는 것을 특징으로 하는 휴먼 애니메이션의 모션 데이터 레코딩 방법.
Figure 112021039770632-pat00094

Figure 112021039770632-pat00095

7. The method of claim 6,
The specificity size (
Figure 112021039770632-pat00093
) is a motion data recording method of human animation, characterized in that it is calculated through the following equation.
Figure 112021039770632-pat00094

Figure 112021039770632-pat00095

제 6항에 있어서,
상기 특이정도 방향(
Figure 112020018755103-pat00096
)은
벡터
Figure 112020018755103-pat00097
와 벡터
Figure 112020018755103-pat00098
의 내적
Figure 112020018755103-pat00099
을 이용하여 다음의 수학식을 통해 계산되는 것을 특징으로 하는 휴먼 애니메이션의 모션 데이터 레코딩 방법.
Figure 112020018755103-pat00100

7. The method of claim 6,
The specificity direction (
Figure 112020018755103-pat00096
)silver
vector
Figure 112020018755103-pat00097
with vector
Figure 112020018755103-pat00098
dot product of
Figure 112020018755103-pat00099
Motion data recording method of human animation, characterized in that it is calculated through the following equation using
Figure 112020018755103-pat00100

제 6항에 있어서,
상기 특이점을 추출하고 추출된 특이점을 바탕으로 모션 데이터를 압축하여 레코딩하는 단계(c-5)는,
(ⅰ) 모션 데이터의 한 프레임의 첫 번째 포인트의 실제 변위(
Figure 112020018755103-pat00101
)와 예측 변위(
Figure 112020018755103-pat00102
)를 통하여 계산된 특이정도의 방향(
Figure 112020018755103-pat00103
)이 특이점 추출 방향 기준값인
Figure 112020018755103-pat00104
보다 클 경우 특이점으로 판단하여 실제 변위(
Figure 112020018755103-pat00105
)를 저장하고,
(ⅱ) 특이정도의 방향(
Figure 112020018755103-pat00106
)이 특이점 추출 방향 기준값인
Figure 112020018755103-pat00107
보다 작은 경우, 계산된 특이정도 크기(
Figure 112020018755103-pat00108
)가 특이점 추출 크기 기준값인 T보다 클 경우 특이점으로 판단하여 가중치 적용을 진행하며,
(ⅲ) 한 프레임에서 모든 포인트의 특이정도 크기(
Figure 112020018755103-pat00109
) 계산 후, 특이점 추출 크기 기준값과 비교하여 한 포인트라도 기준값(T)을 초과 할 경우, 그 차이와 가중치를 곱한 값의 제곱근으로 특이점 추출 게인값(D ; gain value)을 계산하고, 계산된 게인값(D)이 특이점 추출 판단값(DT)보다 클 경우 최종 특이점 추출로 판단하여 현재 프레임을 저장하여,
(ⅳ) 특이점으로 판단된 프레임 저장을 통해 최종 모션 데이터 압축이 수행되는 것을 특징으로 하는 휴먼 애니메이션의 모션 데이터 레코딩 방법.
7. The method of claim 6,
Step (c-5) of extracting the singularity and compressing and recording the motion data based on the extracted singularity,
(i) Actual displacement of the first point of one frame of motion data (
Figure 112020018755103-pat00101
) and the predicted displacement (
Figure 112020018755103-pat00102
), the direction of the specificity calculated through (
Figure 112020018755103-pat00103
) is the reference value for the outlier extraction direction.
Figure 112020018755103-pat00104
If it is larger than the actual displacement (
Figure 112020018755103-pat00105
) and save
(ii) direction of specificity (
Figure 112020018755103-pat00106
) is the reference value for the outlier extraction direction.
Figure 112020018755103-pat00107
If less than, the calculated singularity size (
Figure 112020018755103-pat00108
) is greater than T, which is the standard value of the size of the singularity, it is determined as a singularity and weight is applied.
(iii) Singularity size of all points in one frame (
Figure 112020018755103-pat00109
) after calculation, if even one point exceeds the reference value (T) compared with the reference value for the size of the singularity extraction, the gain value (D ; gain value) is calculated as the square root of the value multiplied by the difference and the weight, and the calculated gain If the value (D) is greater than the singularity extraction judgment value (D T ), it is determined as the final singularity extraction and the current frame is saved,
(iv) A method for recording motion data of human animation, characterized in that final motion data compression is performed through the storage of frames determined as singularities.
제 9항에 있어서,
상기 특이점 추출 게인값(D)은 다음의 수학식을 통해 계산되는 것을 특징으로 하는 휴먼 애니메이션의 모션 데이터 레코딩 방법.
Figure 112020018755103-pat00110

10. The method of claim 9,
The singular point extraction gain value (D) is a motion data recording method of a human animation, characterized in that calculated through the following equation.
Figure 112020018755103-pat00110

제 1항에 있어서,
상기 모션 데이터를 수집하는 단계(a)에서,
상기 데이터 수집부(120)는 인체의 모션을 표현한 모션 캡쳐 시스템을 통하여 생성된 모션 데이터, 애니메이터가 캐릭터의 관절 key를 직접 조작하여 생성되는 모션 데이터, 데이터 최적화를 위해 재레코딩 하기 위한 기존 레코딩 모션 데이터 중 어느 하나의 모션 데이터를 수집하는 것을 특징으로 하는 휴먼 애니메이션의 모션 데이터 레코딩 방법.
The method of claim 1,
In the step (a) of collecting the motion data,
The data collection unit 120 includes motion data generated through a motion capture system expressing the motion of a human body, motion data generated by an animator directly manipulating a character's joint key, and existing recorded motion data for re-recording for data optimization Motion data recording method of human animation, characterized in that any one of the motion data is collected.
KR1020200021646A 2020-02-21 2020-02-21 Motion Data Recording Method of Human Animation by Singular Point Extraction KR102289695B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200021646A KR102289695B1 (en) 2020-02-21 2020-02-21 Motion Data Recording Method of Human Animation by Singular Point Extraction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200021646A KR102289695B1 (en) 2020-02-21 2020-02-21 Motion Data Recording Method of Human Animation by Singular Point Extraction

Publications (1)

Publication Number Publication Date
KR102289695B1 true KR102289695B1 (en) 2021-08-13

Family

ID=77313524

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200021646A KR102289695B1 (en) 2020-02-21 2020-02-21 Motion Data Recording Method of Human Animation by Singular Point Extraction

Country Status (1)

Country Link
KR (1) KR102289695B1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100415884B1 (en) 2000-11-06 2004-01-24 (주)모션테크놀로지 Method and apparatus for capturing motion of human body and thereby making motion data file
KR20060072454A (en) * 2004-12-23 2006-06-28 삼성전자주식회사 Method and apparatus for authoring/rendering effectively 3 dimension character animation
KR20100072745A (en) * 2008-12-22 2010-07-01 한국전자통신연구원 Method for constructing motion-capture database and method for motion synthesis by using the motion-capture database
KR20110066610A (en) * 2009-12-11 2011-06-17 한국전자통신연구원 Apparatus and method for detecting similar pose of motion capture data
KR101519775B1 (en) 2014-01-13 2015-05-12 인천대학교 산학협력단 Method and apparatus for generating animation based on object motion
KR20170086317A (en) * 2016-01-18 2017-07-26 한국전자통신연구원 Apparatus and Method for Generating 3D Character Motion via Timing Transfer

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100415884B1 (en) 2000-11-06 2004-01-24 (주)모션테크놀로지 Method and apparatus for capturing motion of human body and thereby making motion data file
KR20060072454A (en) * 2004-12-23 2006-06-28 삼성전자주식회사 Method and apparatus for authoring/rendering effectively 3 dimension character animation
KR20100072745A (en) * 2008-12-22 2010-07-01 한국전자통신연구원 Method for constructing motion-capture database and method for motion synthesis by using the motion-capture database
KR20110066610A (en) * 2009-12-11 2011-06-17 한국전자통신연구원 Apparatus and method for detecting similar pose of motion capture data
KR101519775B1 (en) 2014-01-13 2015-05-12 인천대학교 산학협력단 Method and apparatus for generating animation based on object motion
KR20170086317A (en) * 2016-01-18 2017-07-26 한국전자통신연구원 Apparatus and Method for Generating 3D Character Motion via Timing Transfer

Similar Documents

Publication Publication Date Title
JP4181473B2 (en) Video object trajectory synthesis apparatus, method and program thereof
CN107943837B (en) Key-framed video abstract generation method for foreground target
JP4542207B1 (en) Moving object detection method and moving object detection apparatus
JP6419830B2 (en) System, method and apparatus for image retrieval
JP6561830B2 (en) Information processing system, information processing method, and program
JP4954206B2 (en) Cut and paste video objects
JP4973188B2 (en) Video classification device, video classification program, video search device, and video search program
WO2011013299A1 (en) Mobile body detection apparatus and mobile body detection method
JP2011513868A (en) Image processing method and image processing apparatus
JP4668360B2 (en) Moving object detection method and moving object detection apparatus
KR20170086317A (en) Apparatus and Method for Generating 3D Character Motion via Timing Transfer
KR20140108828A (en) Apparatus and method of camera tracking
RU2009131724A (en) IMAGE PROCESSING DEVICE, MOVING IMAGE PLAYBACK AND PROCESSING METHOD AND PROCESSING PROGRAM FOR THEM
CN101477690A (en) Method and device for object contour tracking in video frame sequence
CN102036079A (en) Omni-directional prediction error histogram modification-based reversible image watermarking algorithm
JP4496992B2 (en) Animal up-frame detection method, program, and storage medium storing program, and animal up-shot detection method, animal up-frame or shot detection method, program, and storage medium
KR20110074107A (en) Method for detecting object using camera
CN108615011A (en) Non- trimming video behavior identification prediction method based on multi-scale sliding window mouth
CN111798486B (en) Multi-view human motion capture method based on human motion prediction
KR102289695B1 (en) Motion Data Recording Method of Human Animation by Singular Point Extraction
KR102467903B1 (en) Method for presenting motion by mapping of skeleton employing Augmented Reality
KR102576001B1 (en) Automation device and method for evaluating Rock Mass Rating(RMR) using deep learning models
JP4559375B2 (en) Object position tracking method, apparatus, and program
KR100963701B1 (en) Video identification device
JP2000348180A (en) Method and device for tracing moving area and recording medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant