KR102560754B1

KR102560754B1 - Apparatus and method for motion retargeting

Info

Publication number: KR102560754B1
Application number: KR1020180097363A
Authority: KR
Inventors: 장한용; 김종민
Original assignee: 주식회사 엔씨소프트
Priority date: 2018-08-21
Filing date: 2018-08-21
Publication date: 2023-07-28
Also published as: KR20200021702A

Abstract

본 발명의 일실시예에 따르면, 모션 리타겟팅 장치가 소스 모션 데이터들에 따라 소스 모션 특징 값들(features values)을 획득하는 동작, 모션 리타겟팅 장치가 상기 획득한 소스 모션 특징 값들(features values)에 타겟 정보를 결합하여 리타겟팅 특징 값들(retargeting features values)을 생성하는 동작, 모션 리타겟팅 장치가 상기 생성한 리타겟팅 특징 값들(retargeting features values)을 이용하여 리타겟팅 된 모션 데이터들을 획득하는 동작 및 모션 리타겟팅 장치가 손실 함수(loss function)에 따라 상기 획득한 리타겟팅 된 모션 데이터들을 업데이트 하는 동작을 포함한다.According to an embodiment of the present invention, the motion retargeting device obtains source motion feature values according to source motion data, and the motion retargeting device obtains source motion feature values. An operation of generating retargeting feature values by combining target information, an operation of acquiring retargeted motion data using the retargeting feature values generated by a motion retargeting device, and motion and updating, by the retargeting device, the acquired retargeted motion data according to a loss function.

Description

Motion retargeting device and motion retargeting method {APPARATUS AND METHOD FOR MOTION RETARGETING}

아래의 실시예들은 모션 리타겟팅 장치 및 모션 리타겟팅 방법에 관한 것으로, 보다 상세하게는 리타겟팅 특징 값들을 이용하여 리타겟팅 된 모션 데이터들을 획득하고, 손실 함수에 따라 상기 획득한 리타겟팅 된 모션 데이터들을 업데이트하는 모션 리타겟팅 장치 및 모션 리타겟팅 방법에 관한 것이다.The following embodiments relate to a motion retargeting device and a motion retargeting method, and more particularly, to obtaining retargeted motion data using retargeting feature values, and obtaining the obtained retargeted motion data according to a loss function It relates to a motion retargeting device and a motion retargeting method for updating .

전통적인 3D 컴퓨터 애니메이션의 캐릭터 모션은 애니메이터의 키프레이밍 기법으로 제작되었으며, 키프레이밍 기법은 지금까지도 영화 및 애니메이션 산업에서 가장 대표적으로 캐릭터 애니메이션을 제작하는 방식 중 하나이다. 이러한 키프레이밍 애니메이션을 제작하기 위해서 애니메이터는 대부분 정교하게 제작된 캐릭터 리그(Character Rig)로 작업을 하게 된다.The character motion of traditional 3D computer animation was produced by an animator's keyframing technique, and keyframing technique is still one of the most representative methods of producing character animation in the film and animation industries. To produce these keyframing animations, animators mostly work with elaborately crafted character rigs.

캐릭터 리그란 일반적으로 애니메이션 제작을 위하여 캐릭터의 관절 움직임(Joint Motion) 및 자연스러운 몸체 변형(Body Deformation)을 애니메이터가 보다 편리하게 조작 할 수 있도록 하기 위하여 만들어진 직관적이고 친숙한 컨트롤러들을 말한다. 애니메이터는 이러한 컨트롤러들을 통하여 캐릭터의 관절 및 디포머들의 파라미터들을 조절함으로써, 새로운 키프레이밍 애니메이션을 제작하거나 이미 만들어진 애니메이션을 수정하는데 유용하게 활용한다.Character rigs generally refer to intuitive and familiar controllers designed to allow animators to more conveniently manipulate the character's joint motion and natural body deformation for animation production. An animator uses these controllers to adjust the parameters of the character's joints and deformers to create new keyframing animations or modify existing animations.

키프레이밍 방식은 애니메이터의 역량에 크게 의존하며 시간과 비용이 많이 드는 단점이 있기에, 좀 더 쉽고 빠르게 사실적인 모션을 얻을 수 있는 모션 캡쳐 및 리타겟팅 기술이 각광받게 되었다.Since the keyframing method is highly dependent on the animator's ability and has the disadvantage of requiring a lot of time and money, motion capture and retargeting technologies that can obtain realistic motion more easily and quickly have come into the limelight.

모션 캡쳐 및 리타겟팅 기술은 그 동안의 여러 발명 및 기술 개발에 힘입어 이제 전통적인 키프레이밍 기법과 함께 실제 게임, 영화 및 애니메이션 프로덕션에서 매우 중요하게 사용되고 있다.Thanks to many inventions and technical developments over the years, motion capture and retargeting technologies are now being used with great importance in actual game, film, and animation production along with traditional keyframing techniques.

머신 러닝(machine learning)은 인공 지능의 한 분야로, 패턴인식과 컴퓨터 학습 이론의 연구로부터 진화한 분야이며, 컴퓨터가 학습할 수 있도록 하는 알고리즘과 기술을 개발하는 분야를 말한다. Machine learning is a field of artificial intelligence, which has evolved from the study of pattern recognition and computer learning theory, and refers to the field of developing algorithms and techniques that enable computers to learn.

머신 러닝은 경험적 데이터를 기반으로 학습을 하고 예측을 수행하고 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술이라 할 수 있다. 머신 러닝의 알고리즘들은 엄격하게 정해진 정적인 프로그램 명령들을 수행하는 것이 아니라, 입력 데이터를 기반으로 예측이나 결정을 이끌어내기 위해 특정한 모델을 구축하는 방식을 취한다.Machine learning is a technology that studies and builds systems and algorithms that learn, make predictions, and improve their performance based on empirical data. Algorithms in machine learning do not execute rigidly defined, static program instructions, but rather build specific models to derive predictions or decisions based on input data.

머신 러닝의 핵심은 표현(representation)과 일반화(generalization)에 있다. 표현이란 데이터의 평가이며, 일반화란 아직 알 수 없는 데이터에 대한 처리이다. 이는 전산 학습 이론 분야이기도 하다.The core of machine learning lies in representation and generalization. Representation is the evaluation of data, and generalization is the treatment of data that is not yet known. This is also the field of computational learning theory.

딥 러닝(deep learning)은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화를 시도하는 기계학습(machine learning) 알고리즘의 집합으로 정의되며, 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야라고 이야기할 수 있다.Deep learning is defined as a set of machine learning algorithms that attempt a high level of abstraction through a combination of several nonlinear transformation methods. You could say it's a field.

어떠한 데이터가 있을 때 이를 컴퓨터가 알아 들을 수 있는 형태로 표현하고 이를 학습에 적용하기 위해 많은 연구가 진행되고 있으며, 이러한 노력의 결과로 deep neural networks, convolutional deep neural networks, deep belief networks와 같은 다양한 딥 러닝 기법들이 컴퓨터 비젼, 음성인식, 자연어처리, 음성/신호처리 등의 분야에 적용되어 최첨단의 결과들을 보여주고 있다.When there is some data, a lot of research is being conducted to express it in a form that a computer can understand and apply it to learning. As a result of these efforts, various deep neural networks, convolutional deep neural networks, and deep belief networks have been developed. Learning techniques are applied to fields such as computer vision, voice recognition, natural language processing, and voice/signal processing, showing state-of-the-art results.

대한민국 등록특허공보 제10- 1501405호(2015.03.04.등록)Korean Registered Patent Publication No. 10-1501405 (registered on March 4, 2015)

또한, 상기 획득한 리타겟팅 된 모션 데이터들을 업데이트 하는 동작은, 상기 손실 함수(loss function) 값이 최소가 될 때까지 운동학적 최적화(kinematic optimization) 과정을 통하여 상기 리타겟팅 된 모션 데이터들을 업데이트 할 수 있다.In addition, the operation of updating the acquired retargeted motion data may update the retargeted motion data through a kinematic optimization process until the loss function value is minimized. there is.

또한, 상기 운동학적 최적화 과정은, 상기 리타겟팅 특징 값들을 조절하기(adjusted) 위하여 백프로퍼게이션(back-propagation) 알고리즘을 이용할 수 있다.In addition, the kinematic optimization process may use a back-propagation algorithm to adjust the retargeting feature values.

또한, 상기 소스 모션 데이터들 및 상기 리타겟팅 된 모션 데이터들은 애니메이션 데이터들일 수 있다.Also, the source motion data and the retargeted motion data may be animation data.

또한, 상기 소스 모션 데이터들 및 상기 리타겟팅 된 모션 데이터들은 관절 위치(joint positions) 정보를 포함할 수 있다.Also, the source motion data and the retargeted motion data may include joint positions information.

또한, 상기 소스 모션 데이터들은 뼈(bone)의 정보를 포함할 수 있다.Also, the source motion data may include bone information.

또한, 상기 타겟 정보는 뼈(bone)의 길이 비율 정보를 포함할 수 있다.Also, the target information may include bone length ratio information.

본 발명의 다른 실시예에 따르면, 모션 리타겟팅 장치에 있어서, 상기 모션 리타겟팅 장치는 프로세서를 포함하고, 상기 프로세서는, 소스 모션 데이터들에 따라 소스 모션 특징 값들(features values)을 획득하고, 상기 획득한 소스 모션 특징 값들(features values)에 타겟 정보를 결합하여 리타겟팅 특징 값들(retargeting features values)을 생성하고, 상기 생성한 리타겟팅 특징 값들(retargeting features values)을 이용하여 리타겟팅 된 모션 데이터들을 획득하며, 손실 함수(loss function)에 따라 상기 획득한 리타겟팅 된 모션 데이터들을 업데이트한다.According to another embodiment of the present invention, in a motion retargeting device, the motion retargeting device includes a processor, wherein the processor obtains source motion feature values according to source motion data; Combining target information with acquired source motion feature values to generate retargeting feature values, and retargeting motion data using the generated retargeting feature values and update the acquired retargeted motion data according to a loss function.

또한, 상기 획득한 리타겟팅 된 모션 데이터들을 업데이트 하는 것은, 상기 손실 함수(loss function) 값이 최소가 될 때까지 운동학적 최적화(kinematic optimization) 과정을 통하여 상기 리타겟팅 된 모션 데이터들을 업데이트 할 수 있다.In addition, updating the acquired retargeted motion data may update the retargeted motion data through a kinematic optimization process until the loss function value is minimized. .

도 1은 본 발명의 일실시예에 따른 모션 리타겟팅 장치의 동작을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 모션 리타겟팅 장치의 구성을 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 모션 리타겟팅 방법을 나타내는 플로우 차트이다.
도 4는 본 발명의 일실시예에 따라 소스 모션 데이터들의 에러가 자동적으로 수정된 리타겟팅 된 모션 데이터들을 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따라 다양한 유형(type)과 다양한 크기(size)로 리타겟팅 된 모션 데이터들을 나타내는 도면이다.
도 6은 본 발명의 일실시예를 구현하기 위한 예시적인 컴퓨터 시스템의 블록도이다.1 is a diagram illustrating the operation of a motion retargeting device according to an embodiment of the present invention.
2 is a diagram showing the configuration of a motion retargeting device according to an embodiment of the present invention.
3 is a flow chart illustrating a motion retargeting method according to an embodiment of the present invention.
4 is a diagram illustrating retargeted motion data in which errors in source motion data are automatically corrected according to an embodiment of the present invention.
5 is a diagram illustrating motion data retargeted in various types and sizes according to an embodiment of the present invention.
6 is a block diagram of an exemplary computer system for implementing one embodiment of the present invention.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.Specific structural or functional descriptions of the embodiments according to the concept of the present invention disclosed in this specification are only illustrated for the purpose of explaining the embodiments according to the concept of the present invention, and the embodiments according to the concept of the present invention It can be embodied in various forms and is not limited to the embodiments described herein.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.Embodiments according to the concept of the present invention can apply various changes and can have various forms, so the embodiments are illustrated in the drawings and described in detail in this specification. However, this is not intended to limit the embodiments according to the concept of the present invention to specific disclosure forms, and includes all changes, equivalents, or substitutes included in the spirit and technical scope of the present invention.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.Terms such as first or second may be used to describe various components, but the components should not be limited by the terms. The above terms are only for the purpose of distinguishing one component from another component, e.g., without departing from the scope of rights according to the concept of the present invention, a first component may be termed a second component, and similarly The second component may also be referred to as the first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle. It should be. On the other hand, when an element is referred to as “directly connected” or “directly connected” to another element, it should be understood that no other element exists in the middle. Other expressions describing the relationship between elements, such as "between" and "directly between" or "adjacent to" and "directly adjacent to", etc., should be interpreted similarly.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.Terms used in this specification are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise.

본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this specification, terms such as "comprise" or "have" are intended to indicate that the described feature, number, step, operation, component, part, or combination thereof exists, but that one or more other features or numbers are present. However, it should be understood that it does not preclude the presence or addition of steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in this specification, it should not be interpreted in an ideal or excessively formal meaning. don't

이하의 설명에서 동일한 식별 기호는 동일한 구성을 의미하며, 불필요한 중복적인 설명 및 공지 기술에 대한 설명은 생략하기로 한다.In the following description, the same identification symbol means the same configuration, and unnecessary redundant descriptions and descriptions of known technologies will be omitted.

본 발명의 실시 예에서 '통신', '통신망' 및 '네트워크'는 동일한 의미로 사용될 수 있다. 상기 세 용어들은, 파일을 사용자 단말, 다른 사용자들의 단말 및 다운로드 서버 사이에서 송수신할 수 있는 유무선의 근거리 및 광역 데이터 송수신망을 의미한다.In an embodiment of the present invention, 'communication', 'communication network' and 'network' may be used in the same meaning. The above three terms refer to wired and wireless local and wide area data transmission and reception networks capable of transmitting and receiving files between user terminals, terminals of other users, and download servers.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.Hereinafter, the present invention will be described in detail by describing preferred embodiments of the present invention with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 모션 리타겟팅(retargeting, 이하, 리타겟팅 이라 함) 장치의 동작을 나타내는 도면이다.1 is a diagram illustrating an operation of a motion retargeting (hereinafter referred to as retargeting) apparatus according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일실시예에 따른 모션 리타겟팅 장치(100)는 소스 모션 데이터들(101)을 입력 받아 리타겟팅 된 모션 데이터들(103)을 획득한다.Referring to FIG. 1 , a motion retargeting apparatus 100 according to an embodiment of the present invention receives source motion data 101 and obtains retargeted motion data 103 .

소스 모션 데이터들(101)은 모션 리타겟팅 장치(100)로 입력된다.The source motion data 101 are input to the motion retargeting device 100 .

소스 모션 데이터들(101)은 애니메이션 데이터들 일 수 있다.The source motion data 101 may be animation data.

소스 모션 데이터들(101)은 관절 위치(joint positions) 정보를 포함할 수 있다.The source motion data 101 may include joint positions information.

이때, 상기 관절 위치(joint positions) 정보는 벡터 일 수 있다.In this case, the joint positions information may be a vector.

소스 모션 데이터들(101)은 뼈(bone)의 하이어라키(hierarchy) 정보를 포함할 수 있다.The source motion data 101 may include bone hierarchy information.

이때, 상기 뼈(bone)의 하이어라키(hierarchy) 정보는 손이 어떤 팔에 결합되어 있는지에 관한 정보 및 상기 손이 결합된 상기 팔이 어떤 쪽 어깨에 결합되는지에 관한 정보 일 수 있다.In this case, the bone hierarchy information may be information about which arm the hand is coupled to and information about which shoulder the arm to which the hand is coupled is coupled.

소스 모션 데이터들(101)은 연결성 정보를 포함할 수 있다.The source motion data 101 may include connectivity information.

소스 모션 데이터들(101)은 고정된 길이의 뼈(bone)에 관한 정보를 포함할 수 있다.The source motion data 101 may include information about a fixed length bone.

소스 모션 데이터들(101)은 뼈(bone)의 정보를 포함할 수 있다.The source motion data 101 may include bone information.

이때, 상기 뼈의 정보는 뼈의 회전 정보, 뼈의 위치 정보 또는 뼈의 회전 정보 및 위치 정보 중 적어도 어느 하나일 수 있다.In this case, the bone information may be at least one of bone rotation information, bone position information, or bone rotation information and position information.

소스 모션 데이터들(101)은 뼈(bone)의 회전 정보를 포함할 수 있다.The source motion data 101 may include rotation information of a bone.

소스 모션 데이터들(101)은 뼈(bone)의 위치 정보를 포함할 수 있다.The source motion data 101 may include bone position information.

소스 모션 데이터들(101)은 뼈(bone)의 회전 정보 및 위치 정보를 포함할 수 있다.The source motion data 101 may include rotation information and position information of a bone.

이때, 상기 뼈는 인체를 구성하는 뼈 중 적어도 어느 하나에 해당할 수 있다.At this time, the bone may correspond to at least one of the bones constituting the human body.

또한, 상기 뼈는 상체 또는 하체를 구성하는 뼈 중 적어도 어느 하나에 해당할 수 있다.In addition, the bone may correspond to at least one of bones constituting the upper body or the lower body.

또한, 상기 뼈는 인체를 구성하는 뼈를 필요(예컨대, 리타겟팅 되는 모션)에 따라 상기 인체를 임의로 분류한 부분의 뼈 중 적어도 어느 하나에 해당할 수 있다.In addition, the bone may correspond to at least one of the bones of a part of the human body that are arbitrarily classified according to the need (for example, motion to be retargeted) of the bones constituting the human body.

또한, 상기 뼈는 척추(spine), 왼쪽 팔(left arm), 오른쪽 팔(right arm), 왼쪽 다리(left leg) 및 오른쪽 다리(right leg) 뼈 중 적어도 어느 하나에 해당할 수 있다.In addition, the bone may correspond to at least one of a spine, a left arm, a right arm, a left leg, and a right leg bone.

또한, 상기 뼈는 척추 (spine), 왼쪽 팔(left arm), 오른쪽 팔(right arm), 왼쪽 다리(left leg) 및 오른쪽 다리(right leg)를 구성하는 각각의 뼈 중 적어도 어느 하나에 해당할 수 있다.In addition, the bone may correspond to at least one of the bones constituting the spine, the left arm, the right arm, the left leg, and the right leg. can

또한, 상기 뼈는 척추 (spine), 팔(arm) 및 다리(leg) 중 적어도 어느 하나에 해당할 수 있다.In addition, the bone may correspond to at least one of a spine, an arm, and a leg.

또한, 상기 뼈는 척추 (spine), 팔(arm) 및 다리(leg)를 구성하는 각각의 뼈 중 적어도 어느 하나에 해당할 수 있다.In addition, the bone may correspond to at least one of bones constituting a spine, an arm, and a leg.

소스 모션 데이터들(101)은 인덱싱(indexing)된 데이터일 수 있다.The source motion data 101 may be indexed data.

소스 모션 데이터들(101)은 뼈의 회전 정보가 인덱싱(indexing)된 데이터일 수 있다. The source motion data 101 may be data indexed with bone rotation information.

소스 모션 데이터들(101)은 뼈의 위치 정보가 인덱싱(indexing)된 데이터일 수 있다.The source motion data 101 may be data indexed with bone position information.

소스 모션 데이터들(101)은 뼈의 회전 정보 및 위치 정보가 인덱싱(indexing)된 데이터일 수 있다.The source motion data 101 may be data indexed with bone rotation information and position information.

소스 모션 데이터들(101)은 뼈의 회전 정보에 따라 분류된(classified) 데이터들일 수 있다.The source motion data 101 may be data classified according to bone rotation information.

소스 모션 데이터들(101)은 뼈의 위치 정보에 따라 분류된(classified) 데이터들일 수 있다.The source motion data 101 may be data classified according to bone position information.

소스 모션 데이터들(101)은 뼈의 회전 정보 및 위치 정보에 따라 분류된(classified) 데이터들일 수 있다.The source motion data 101 may be data classified according to bone rotation information and position information.

소스 모션 데이터들(101)은 인덱싱(indexing)된 뼈의 회전 정보에 따라 분류된 데이터들일 수 있다.The source motion data 101 may be data classified according to indexed bone rotation information.

소스 모션 데이터들(101)은 인덱싱(indexing)된 뼈의 위치 정보에 따라 분류된 데이터들일 수 있다.The source motion data 101 may be data classified according to indexed bone position information.

소스 모션 데이터들(101)은 인덱싱(indexing)된 뼈의 회전 정보 및 위치 정보에 따라 분류된 데이터들일 수 있다.The source motion data 101 may be data classified according to indexed bone rotation information and position information.

도 2는 본 발명의 일실시예에 따른 모션 리타겟팅 장치의 구성을 나타내는 도면이다.2 is a diagram showing the configuration of a motion retargeting device according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일실시예에 따른 모션 리타겟팅 장치(100)는 제1 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network), 리타겟팅 특징 값들 생성 모듈(120), 제2 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network)(130) 및 손실 함수 값 결정 모듈(140)을 포함한다.Referring to FIG. 2 , the motion retargeting apparatus 100 according to an embodiment of the present invention includes a first convolutional neural network, a retargeting feature value generating module 120, and a second convolutional neural network. It includes a convolutional neural network (130) and a loss function value determination module (140).

제1 컨볼루셔널 뉴럴 네트워크(110)는 본 발명의 일실시예에 따라 학습된 컨볼루셔널 뉴럴 네트워크인 것이 바람직하나 이에 한정되는 것은 아니다.The first convolutional neural network 110 is preferably a convolutional neural network trained according to an embodiment of the present invention, but is not limited thereto.

제1 컨볼루셔널 뉴럴 네트워크(110)는 소스 모션 데이터들(101)을 획득한다.The first convolutional neural network 110 obtains source motion data 101 .

이때, 소스 모션 데이터들(101)은 인덱싱(indexing)된 뼈의 회전 정보에 따라 인체를 구성하는 뼈로 분류된 데이터들일 수 있다.In this case, the source motion data 101 may be data classified into bones constituting the human body according to indexed bone rotation information.

또한, 소스 모션 데이터들(101)은 인덱싱(indexing)된 뼈의 회전 정보에 따라 상체 또는 하체를 구성하는 뼈로 분류된 데이터들일 수 있다.In addition, the source motion data 101 may be data classified into bones constituting the upper body or lower body according to indexed bone rotation information.

또한, 소스 모션 데이터들(101)은 인덱싱(indexing)된 뼈의 회전 정보에 따라 인체를 구성하는 뼈를 필요 (예컨대, 리타겟팅 되는 모션)에 따라 상기 인체를 임의로 분류한 부분의 뼈로 분류된 데이터들일 수 있다.In addition, the source motion data 101 is data classified as bones of a part where the bones constituting the human body are arbitrarily classified according to the indexed rotation information of the bones (eg, retargeted motion) can be picked up

또한, 소스 모션 데이터들(101)은 인덱싱(indexing)된 뼈의 회전 정보에 따라 척추 (spine), 왼쪽 팔(left arm), 오른쪽 팔(right arm), 왼쪽 다리(left leg) 및 오른쪽 다리(right leg)로 분류된 데이터들일 수 있다.In addition, the source motion data 101 includes the spine, left arm, right arm, left leg, and right leg according to indexed bone rotation information ( It may be data classified as right leg).

또한, 소스 모션 데이터들(101)은 인덱싱(indexing)된 뼈의 회전 정보에 따라 척추 (spine), 왼쪽 팔(left arm), 오른쪽 팔(right arm), 왼쪽 다리(left leg) 및 오른쪽 다리(right leg)를 구성하는 각각의 뼈로 분류된 데이터들일 수 있다.In addition, the source motion data 101 includes the spine, left arm, right arm, left leg, and right leg according to indexed bone rotation information ( right leg) may be data classified into respective bones constituting the right leg.

또한, 소스 모션 데이터들(101)은 인덱싱(indexing)된 뼈의 회전 정보에 따라 척추 (spine), 팔(arm) 및 다리(leg)로 분류된 데이터들일 수 있다. In addition, the source motion data 101 may be data classified into spine, arm, and leg according to indexed bone rotation information.

또한, 소스 모션 데이터들(101)은 인덱싱(indexing)된 뼈의 회전 정보에 따라 척추(spine), 팔(arm) 및 다리(leg)를 구성하는 각각의 뼈로 분류된 데이터들일 수 있다.In addition, the source motion data 101 may be data classified into individual bones constituting a spine, an arm, and a leg according to indexed bone rotation information.

또한, 소스 모션 데이터들(101)은 인덱싱(indexing)된 뼈의 위치 정보에 따라 인체를 구성하는 뼈로 분류된 데이터들일 수 있다.In addition, the source motion data 101 may be data classified into bones constituting the human body according to indexed bone position information.

또한, 소스 모션 데이터들(101)은 인덱싱(indexing)된 뼈의 위치 정보에 따라 상체 또는 하체를 구성하는 뼈로 분류된 데이터들일 수 있다.In addition, the source motion data 101 may be data classified into bones constituting the upper body or lower body according to indexed bone position information.

또한, 소스 모션 데이터들(101)은 인덱싱(indexing)된 뼈의 위치 정보에 따라 인체를 구성하는 뼈를 필요 (예컨대, 리타겟팅 되는 모션)에 따라 상기 인체를 임의로 분류한 부분의 뼈로 분류된 데이터들일 수 있다.In addition, the source motion data 101 is data classified as bones of a part where the bones constituting the human body are arbitrarily classified according to the indexed bone position information (eg, retargeting motion) can be picked up

또한, 소스 모션 데이터들(101)은 인덱싱(indexing)된 뼈의 위치 정보에 따라 척추(spine), 왼쪽 팔(left arm), 오른쪽 팔(right arm), 왼쪽 다리(left leg) 및 오른쪽 다리(right leg)로 분류된 데이터들일 수 있다.In addition, the source motion data 101 may include a spine, a left arm, a right arm, a left leg, and a right leg according to indexed bone position information ( It may be data classified as right leg).

또한, 소스 모션 데이터들(101)은 인덱싱(indexing)된 뼈의 위치 정보에 따라 척추(spine), 왼쪽 팔(left arm), 오른쪽 팔(right arm), 왼쪽 다리(left leg) 및 오른쪽 다리(right leg)를 구성하는 각각의 뼈로 분류된 데이터들일 수 있다.In addition, the source motion data 101 may include a spine, a left arm, a right arm, a left leg, and a right leg according to indexed bone position information ( right leg) may be data classified into respective bones constituting the right leg.

또한, 소스 모션 데이터들(101)은 인덱싱(indexing)된 뼈의 위치 정보에 따라 척추(spine), 팔(arm) 및 다리(leg)로 분류된 데이터들일 수 있다. In addition, the source motion data 101 may be data classified into spine, arm, and leg according to indexed bone position information.

또한, 소스 모션 데이터들(101)은 인덱싱(indexing)된 뼈의 위치 정보에 따라 척추(spine), 팔(arm) 및 다리(leg)를 구성하는 각각의 뼈로 분류된 데이터들일 수 있다.In addition, the source motion data 101 may be data classified into bones constituting a spine, an arm, and a leg according to indexed bone position information.

또한, 소스 모션 데이터들(101)은 인덱싱(indexing)된 뼈의 회전 정보 및 위치 정보에 따라 인체를 구성하는 뼈로 분류된 데이터들일 수 있다.In addition, the source motion data 101 may be data classified into bones constituting the human body according to indexed rotation information and position information of the bones.

또한, 소스 모션 데이터들(101)은 인덱싱(indexing)된 뼈의 회전 정보 및 위치 정보에 따라 상체 또는 하체를 구성하는 뼈로 분류된 데이터들일 수 있다.In addition, the source motion data 101 may be data classified into bones constituting the upper body or lower body according to indexed rotation information and position information of the bones.

또한, 소스 모션 데이터들(101)은 인덱싱(indexing)된 뼈의 회전 정보 및 위치 정보에 따라 인체를 구성하는 뼈를 필요 (예컨대, 리타겟팅 되는 모션)에 따라 상기 인체를 임의로 분류한 부분의 뼈로 분류된 데이터들일 수 있다.In addition, the source motion data 101 converts the bones constituting the human body according to indexed rotation information and position information of the bones into bones of a part of the human body arbitrarily classified according to necessity (eg, retargeted motion). It may be classified data.

또한, 소스 모션 데이터들(101)은 인덱싱(indexing)된 뼈의 회전 정보 및 위치 정보에 따라 척추(spine), 왼쪽 팔(left arm), 오른쪽 팔(right arm), 왼쪽 다리(left leg) 및 오른쪽 다리(right leg)로 분류된 데이터들일 수 있다.In addition, the source motion data 101 is a spine, a left arm, a right arm, a left leg, and a spine according to rotation information and position information of indexed bones. It may be data classified as a right leg.

또한, 소스 모션 데이터들(101)은 인덱싱(indexing)된 뼈의 회전 정보 및 위치 정보에 따라 척추(spine), 왼쪽 팔(left arm), 오른쪽 팔(right arm), 왼쪽 다리(left leg) 및 오른쪽 다리(right leg)를 구성하는 각각의 뼈로 분류된 데이터들일 수 있다.In addition, the source motion data 101 is a spine, a left arm, a right arm, a left leg, and a spine according to rotation information and position information of indexed bones. It may be data classified into each bone constituting the right leg.

또한, 소스 모션 데이터들(101)은 인덱싱(indexing)된 뼈의 회전 정보 및 위치 정보에 따라 척추(spine), 팔(arm) 및 다리(leg)로 분류된 데이터들일 수 있다. In addition, the source motion data 101 may be data classified into spine, arm, and leg according to indexed rotation information and position information of bones.

또한, 소스 모션 데이터들(101)은 인덱싱(indexing)된 뼈의 회전 정보 및 위치 정보에 따라 척추(spine), 팔(arm) 및 다리(leg)를 구성하는 각각의 뼈로 분류된 데이터들일 수 있다.In addition, the source motion data 101 may be data classified into individual bones constituting the spine, arm, and leg according to indexed rotation information and position information of the bones. .

제1 컨볼루셔널 뉴럴 네트워크(110)는 소스 모션 데이터들(101)에 따라 소스 모션 특징 값들(features values)을 획득한다.The first convolutional neural network 110 obtains source motion feature values according to the source motion data 101 .

제1 컨볼루셔널 뉴럴 네트워크(110)는 인덱싱(indexing)된 뼈의 회전 정보에 따라 분류된 소스 모션 데이터들(101)에 따라 소스 모션 특징 값들(features values)을 획득할 수 있다.The first convolutional neural network 110 may obtain source motion feature values according to the source motion data 101 classified according to indexed bone rotation information.

제1 컨볼루셔널 뉴럴 네트워크(110)는 인덱싱(indexing)된 뼈의 위치 정보에 따라 분류된 소스 모션 데이터들(101)에 따라 소스 모션 특징 값들(features values)을 획득할 수 있다.The first convolutional neural network 110 may obtain source motion feature values according to the source motion data 101 classified according to indexed bone position information.

제1 컨볼루셔널 뉴럴 네트워크(110)는 인덱싱(indexing)된 뼈의 회전 정보 및 위치 정보에 따라 분류된 소스 모션 데이터들(101)에 따라 소스 모션 특징 값들(features values)을 획득할 수 있다.The first convolutional neural network 110 may obtain source motion feature values according to the source motion data 101 classified according to indexed bone rotation information and position information.

제1 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network)는 복수개의 서브 컨볼루셔널 뉴럴 네트워크를 포함할 수 있다.The first convolutional neural network may include a plurality of sub-convolutional neural networks.

제1 컨볼루셔널 뉴럴 네트워크(110)는 인체를 구성하는 뼈의 숫자와 같은 수의 서브 컨볼루셔널 뉴럴 네트워크들을 포함할 수 있다. The first convolutional neural network 110 may include the same number of sub-convolutional neural networks as the number of bones constituting the human body.

제1 컨볼루셔널 뉴럴 네트워크(110)는 상체 또는 하체에 대응되는 2개의 서브 컨볼루셔널 뉴럴 네트워크들을 포함할 수 있다. The first convolutional neural network 110 may include two sub-convolutional neural networks corresponding to the upper or lower body.

제1 컨볼루셔널 뉴럴 네트워크(110)는 인체를 필요 (예컨대, 리타겟팅 되는 모션)에 따라 임의로 분류한 부분의 개수에 대응되는 서브 컨볼루셔널 뉴럴 네트워크들을 포함할 수 있다.The first convolutional neural network 110 may include sub-convolutional neural networks corresponding to the number of parts of the human body that are arbitrarily classified according to needs (eg, retargeted motion).

제1 컨볼루셔널 뉴럴 네트워크(110)는 척추(spine), 왼쪽 팔(left arm), 오른쪽 팔(right arm), 왼쪽 다리(left leg) 및 오른쪽 다리(right leg)에 대응되는 5개의 서브 컨볼루셔널 뉴럴 네트워크들을 포함할 수 있다.The first convolutional neural network 110 has five sub-convolutions corresponding to the spine, left arm, right arm, left leg, and right leg. It may include volutional neural networks.

제1 컨볼루셔널 뉴럴 네트워크(110)는 척추(spine), 팔(arm) 및 다리(leg)에 대응되는 3개의 서브 컨볼루셔널 뉴럴 네트워크들을 포함할 수 있다.The first convolutional neural network 110 may include three sub-convolutional neural networks corresponding to a spine, an arm, and a leg.

제1 컨볼루셔널 뉴럴 네트워크(110)는 소스 모션 데이터들(101)과 상기 서브 컨볼루셔널 뉴럴 네트워크들을 매칭시킬 수 있다.The first convolutional neural network 110 may match the source motion data 101 and the sub convolutional neural networks.

제1 컨볼루셔널 뉴럴 네트워크(110)는 매칭시킨 서브 컨볼루셔널 네트워크를 이용하여 소스 모션 특징 값들(features values)을 획득할 수 있다.The first convolutional neural network 110 may obtain source motion feature values using the matched sub-convolutional network.

제1 컨볼루셔널 뉴럴 네트워크(110)는 인덱싱(indexing)된 뼈의 회전 정보에 따라 분류된 소스 모션 데이터들(101)과 제1 컨볼루셔널 뉴럴 네트워크(110)에 포함된 상기 인체를 구성하는 뼈의 숫자와 같은 수의 서브 컨볼루셔널 뉴럴 네트워크들을 매칭시킬 수 있다.The first convolutional neural network 110 includes the source motion data 101 classified according to indexed bone rotation information and the human body included in the first convolutional neural network 110. The same number of sub-convolutional neural networks as the number of bones can be matched.

제1 컨볼루셔널 뉴럴 네트워크(110)는 인덱싱(indexing)된 뼈의 회전 정보에 따라 분류된 소스 모션 데이터들(101)과 매칭된 상기 인체를 구성하는 뼈의 숫자와 같은 수의 서브 컨볼루셔널 뉴럴 네트워크들을 이용하여 소스 모션 특징 값들을 획득할 수 있다.The first convolutional neural network 110 uses the same number of sub-convolutional neural networks as the number of bones constituting the human body matched with the source motion data 101 classified according to indexed bone rotation information. Source motion feature values may be obtained using neural networks.

제1 컨볼루셔널 뉴럴 네트워크(110)는 인덱싱(indexing)된 뼈의 회전 정보에 따라 분류된 소스 모션 데이터들(101)과 제1 컨볼루셔널 뉴럴 네트워크(110)에 포함된 상기 상체 또는 하체에 대응되는 2개의 서브 컨볼루셔널 뉴럴 네트워크들을 매칭시킬 수 있다.The first convolutional neural network 110 transmits the source motion data 101 classified according to indexed bone rotation information and the upper or lower body included in the first convolutional neural network 110. Two corresponding sub-convolutional neural networks may be matched.

제1 컨볼루셔널 뉴럴 네트워크(110)는 인덱싱(indexing)된 뼈의 회전 정보에 따라 분류된 소스 모션 데이터들(101)과 매칭된 상기 상체 또는 하체에 대응되는 2개의 서브 컨볼루셔널 뉴럴 네트워크들을 이용하여 소스 모션 특징 값들을 획득할 수 있다.The first convolutional neural network 110 uses two sub-convolutional neural networks corresponding to the upper or lower body matched with the source motion data 101 classified according to indexed bone rotation information. Source motion feature values can be obtained using

제1 컨볼루셔널 뉴럴 네트워크(110)는 인덱싱(indexing)된 뼈의 회전 정보에 따라 분류된 소스 모션 데이터들(101)과 제1 컨볼루셔널 뉴럴 네트워크(110)에 포함된 상기 인체를 필요 (예컨대, 리타겟팅 되는 모션)에 따라 임의로 분류한 부분의 개수에 대응되는 서브 컨볼루셔널 뉴럴 네트워크들을 매칭시킬 수 있다.The first convolutional neural network 110 needs source motion data 101 classified according to indexed bone rotation information and the human body included in the first convolutional neural network 110 ( For example, sub convolutional neural networks corresponding to the number of parts randomly classified according to a motion being retargeted may be matched.

제1 컨볼루셔널 뉴럴 네트워크(110)는 인덱싱(indexing)된 뼈의 회전 정보에 따라 분류된 소스 모션 데이터들(101)과 매칭된 상기 인체를 필요 (예컨대, 리타겟팅 되는 모션)에 따라 임의로 분류한 부분의 개수에 대응되는 서브 컨볼루셔널 뉴럴 네트워크들을 이용하여 소스 모션 특징 값들을 획득할 수 있다.The first convolutional neural network 110 arbitrarily classifies the human body matched with the source motion data 101 classified according to indexed bone rotation information as needed (eg, retargeted motion) Source motion feature values may be obtained using sub-convolutional neural networks corresponding to the number of parts.

제1 컨볼루셔널 뉴럴 네트워크(110)는 인덱싱(indexing)된 뼈의 회전 정보에 따라 분류된 소스 모션 데이터들(101)과 제1 컨볼루셔널 뉴럴 네트워크(110)에 포함된 상기 척추(spine), 상기 왼쪽 팔(left arm), 상기 오른쪽 팔(right arm), 상기 왼쪽 다리(left leg) 및 상기 오른쪽 다리(right leg)에 대응되는 5개의 서브 컨볼루셔널 뉴럴 네트워크들을 매칭시킬 수 있다.The first convolutional neural network 110 includes the source motion data 101 classified according to indexed bone rotation information and the spine included in the first convolutional neural network 110. , five sub-convolutional neural networks corresponding to the left arm, the right arm, the left leg, and the right leg can be matched.

제1 컨볼루셔널 뉴럴 네트워크(110)는 인덱싱(indexing)된 뼈의 회전 정보에 따라 분류된 소스 모션 데이터들(101)과 매칭된 상기 척추(spine), 상기 왼쪽 팔(left arm), 상기 오른쪽 팔(right arm), 상기 왼쪽 다리(left leg) 및 상기 오른쪽 다리(right leg)에 대응되는 5개의 서브 컨볼루셔널 뉴럴 네트워크들을 이용하여 소스 모션 특징 값들을 획득할 수 있다.The first convolutional neural network 110 matches the source motion data 101 classified according to indexed bone rotation information, and the spine, the left arm, and the right Source motion feature values may be obtained using five sub-convolutional neural networks corresponding to the right arm, the left leg, and the right leg.

제1 컨볼루셔널 뉴럴 네트워크(110)는 인덱싱(indexing)된 뼈의 회전 정보에 따라 분류된 소스 모션 데이터들(101)과 제1 컨볼루셔널 뉴럴 네트워크(110)에 포함된 상기 척추(spine), 상기 팔(arm) 및 상기 다리(leg)에 대응되는 3개의 서브 컨볼루셔널 뉴럴 네트워크들을 매칭시킬 수 있다.The first convolutional neural network 110 includes the source motion data 101 classified according to indexed bone rotation information and the spine included in the first convolutional neural network 110. , three sub-convolutional neural networks corresponding to the arm and the leg may be matched.

제1 컨볼루셔널 뉴럴 네트워크(110)는 인덱싱(indexing)된 뼈의 회전 정보에 따라 분류된 소스 모션 데이터들(101)과 매칭된 상기 척추(spine), 상기 팔(arm) 및 상기 다리(leg)에 대응되는 3개의 서브 컨볼루셔널 뉴럴 네트워크들을 이용하여 소스 모션 특징 값들을 획득할 수 있다.The first convolutional neural network 110 matches the source motion data 101 classified according to the indexed rotation information of the bones, the spine, the arm, and the leg. ), source motion feature values may be obtained using three sub-convolutional neural networks corresponding to .

제1 컨볼루셔널 뉴럴 네트워크(110)는 인덱싱(indexing)된 뼈의 위치 정보에 따라 분류된 소스 모션 데이터들(101)과 제1 컨볼루셔널 뉴럴 네트워크(110)에 포함된 상기 인체를 구성하는 뼈의 숫자와 같은 수의 서브 컨볼루셔널 뉴럴 네트워크들을 매칭시킬 수 있다.The first convolutional neural network 110 includes the source motion data 101 classified according to indexed bone position information and the human body included in the first convolutional neural network 110. The same number of sub-convolutional neural networks as the number of bones can be matched.

제1 컨볼루셔널 뉴럴 네트워크(110)는 인덱싱(indexing)된 뼈의 위치 정보에 따라 분류된 소스 모션 데이터들(101)과 매칭된 상기 인체를 구성하는 뼈의 숫자와 같은 수의 서브 컨볼루셔널 뉴럴 네트워크들을 이용하여 소스 모션 특징 값들을 획득할 수 있다.The first convolutional neural network 110 uses the same number of sub-convolutional neural networks as the number of bones constituting the human body matched with the source motion data 101 classified according to indexed bone position information. Source motion feature values may be obtained using neural networks.

제1 컨볼루셔널 뉴럴 네트워크(110)는 인덱싱(indexing)된 뼈의 위치 정보에 따라 분류된 소스 모션 데이터들(101)과 제1 컨볼루셔널 뉴럴 네트워크(110)에 포함된 상기 상체 또는 하체에 대응되는 2개의 서브 컨볼루셔널 뉴럴 네트워크들을 매칭시킬 수 있다.The first convolutional neural network 110 transmits the source motion data 101 classified according to indexed bone position information and the upper or lower body included in the first convolutional neural network 110. Two corresponding sub-convolutional neural networks may be matched.

제1 컨볼루셔널 뉴럴 네트워크(110)는 인덱싱(indexing)된 뼈의 위치 정보에 따라 분류된 소스 모션 데이터들(101)과 매칭된 상기 상체 또는 하체에 대응되는 2개의 서브 컨볼루셔널 뉴럴 네트워크들을 이용하여 소스 모션 특징 값들을 획득할 수 있다.The first convolutional neural network 110 uses two sub-convolutional neural networks corresponding to the upper or lower body matched with the source motion data 101 classified according to indexed bone position information. Source motion feature values can be obtained using

제1 컨볼루셔널 뉴럴 네트워크(110)는 인덱싱(indexing)된 뼈의 위치 정보에 따라 분류된 소스 모션 데이터들(101)과 제1 컨볼루셔널 뉴럴 네트워크(110)에 포함된 상기 인체를 필요 (예컨대, 리타겟팅 되는 모션)에 따라 임의로 분류한 부분의 개수에 대응되는 서브 컨볼루셔널 뉴럴 네트워크들을 매칭시킬 수 있다.The first convolutional neural network 110 needs source motion data 101 classified according to indexed bone position information and the human body included in the first convolutional neural network 110 ( For example, sub convolutional neural networks corresponding to the number of parts randomly classified according to a motion being retargeted may be matched.

제1 컨볼루셔널 뉴럴 네트워크(110)는 인덱싱(indexing)된 뼈의 위치 정보에 따라 분류된 소스 모션 데이터들(101)과 매칭된 상기 인체를 필요 (예컨대, 리타겟팅 되는 모션)에 따라 임의로 분류한 부분의 개수에 대응되는 서브 컨볼루셔널 뉴럴 네트워크들을 이용하여 소스 모션 특징 값들을 획득할 수 있다.The first convolutional neural network 110 randomly classifies the human body matched with the source motion data 101 classified according to indexed bone position information as needed (eg, retargeted motion) Source motion feature values may be obtained using sub-convolutional neural networks corresponding to the number of parts.

제1 컨볼루셔널 뉴럴 네트워크(110)는 인덱싱(indexing)된 뼈의 위치 정보에 따라 분류된 소스 모션 데이터들(101)과 제1 컨볼루셔널 뉴럴 네트워크(110)에 포함된 상기 척추(spine), 상기 왼쪽 팔(left arm), 상기 오른쪽 팔(right arm), 상기 왼쪽 다리(left leg) 및 상기 오른쪽 다리(right leg)에 대응되는 5개의 서브 컨볼루셔널 뉴럴 네트워크들을 매칭시킬 수 있다.The first convolutional neural network 110 includes the source motion data 101 classified according to indexed bone position information and the spine included in the first convolutional neural network 110. , five sub-convolutional neural networks corresponding to the left arm, the right arm, the left leg, and the right leg can be matched.

제1 컨볼루셔널 뉴럴 네트워크(110)는 인덱싱(indexing)된 뼈의 위치 정보에 따라 분류된 소스 모션 데이터들(101)과 매칭된 상기 척추(spine), 상기 왼쪽 팔(left arm), 상기 오른쪽 팔(right arm), 상기 왼쪽 다리(left leg) 및 상기 오른쪽 다리(right leg)에 대응되는 5개의 서브 컨볼루셔널 뉴럴 네트워크들을 이용하여 소스 모션 특징 값들을 획득할 수 있다.The first convolutional neural network 110 matches the source motion data 101 classified according to indexed bone position information, and the spine, the left arm, and the right arm. Source motion feature values may be obtained using five sub-convolutional neural networks corresponding to the right arm, the left leg, and the right leg.

제1 컨볼루셔널 뉴럴 네트워크(110)는 인덱싱(indexing)된 뼈의 위치 정보에 따라 분류된 소스 모션 데이터들(101)과 제1 컨볼루셔널 뉴럴 네트워크(110)에 포함된 상기 척추(spine), 상기 팔(arm) 및 상기 다리(leg)에 대응되는 3개의 서브 컨볼루셔널 뉴럴 네트워크들을 매칭시킬 수 있다.The first convolutional neural network 110 includes the source motion data 101 classified according to indexed bone position information and the spine included in the first convolutional neural network 110. , three sub-convolutional neural networks corresponding to the arm and the leg may be matched.

제1 컨볼루셔널 뉴럴 네트워크(110)는 인덱싱(indexing)된 뼈의 위치 정보에 따라 분류된 소스 모션 데이터들(101)과 매칭된 상기 척추(spine), 상기 팔(arm) 및 상기 다리(leg)에 대응되는 3개의 서브 컨볼루셔널 뉴럴 네트워크들을 이용하여 소스 모션 특징 값들을 획득할 수 있다.The first convolutional neural network 110 matches the source motion data 101 classified according to indexed bone position information, and the spine, the arm, and the leg. ), source motion feature values may be obtained using three sub-convolutional neural networks corresponding to .

제1 컨볼루셔널 뉴럴 네트워크(110)는 인덱싱(indexing)된 뼈의 회전 정보 및 위치 정보에 따라 분류된 소스 모션 데이터들(101)과 제1 컨볼루셔널 뉴럴 네트워크(110)에 포함된 상기 인체를 구성하는 뼈의 숫자와 같은 수의 서브 컨볼루셔널 뉴럴 네트워크들을 매칭시킬 수 있다.The first convolutional neural network 110 includes the source motion data 101 classified according to indexed rotation information and position information of bones and the human body included in the first convolutional neural network 110. It is possible to match the same number of sub-convolutional neural networks as the number of bones constituting .

제1 컨볼루셔널 뉴럴 네트워크(110)는 인덱싱(indexing)된 뼈의 회전 정보 및 위치 정보에 따라 분류된 소스 모션 데이터들(101)과 매칭된 상기 인체를 구성하는 뼈의 숫자와 같은 수의 서브 컨볼루셔널 뉴럴 네트워크들을 이용하여 소스 모션 특징 값들을 획득할 수 있다.The first convolutional neural network 110 has the same number of subs as the number of bones constituting the human body matched with the source motion data 101 classified according to the indexed rotation information and position information of the bones. Source motion feature values may be obtained using convolutional neural networks.

제1 컨볼루셔널 뉴럴 네트워크(110)는 인덱싱(indexing)된 뼈의 회전 정보 및 위치 정보에 따라 분류된 소스 모션 데이터들(101)과 제1 컨볼루셔널 뉴럴 네트워크(110)에 포함된 상기 상체 또는 하체에 대응되는 2개의 서브 컨볼루셔널 뉴럴 네트워크들을 매칭시킬 수 있다.The first convolutional neural network 110 includes the source motion data 101 classified according to indexed rotation information and position information of bones and the upper body included in the first convolutional neural network 110. Alternatively, two sub convolutional neural networks corresponding to the lower body may be matched.

제1 컨볼루셔널 뉴럴 네트워크(110)는 인덱싱(indexing)된 뼈의 회전 정보 및 위치 정보에 따라 분류된 소스 모션 데이터들(101)과 매칭된 상기 상체 또는 하체에 대응되는 2개의 서브 컨볼루셔널 뉴럴 네트워크들을 이용하여 소스 모션 특징 값들을 획득할 수 있다.The first convolutional neural network 110 uses two sub-convolutional neural networks corresponding to the upper or lower body matched with the source motion data 101 classified according to the indexed rotation information and position information of the bones. Source motion feature values may be obtained using neural networks.

제1 컨볼루셔널 뉴럴 네트워크(110)는 인덱싱(indexing)된 뼈의 회전 정보 및 위치 정보에 따라 분류된 소스 모션 데이터들(101)과 제1 컨볼루셔널 뉴럴 네트워크(110)에 포함된 상기 인체를 필요 (예컨대, 리타겟팅 되는 모션)에 따라 임의로 분류한 부분의 개수에 대응되는 서브 컨볼루셔널 뉴럴 네트워크들을 매칭시킬 수 있다.The first convolutional neural network 110 includes the source motion data 101 classified according to indexed rotation information and position information of bones and the human body included in the first convolutional neural network 110. Sub convolutional neural networks corresponding to the number of parts randomly classified according to need (eg, retargeted motion) may be matched.

제1 컨볼루셔널 뉴럴 네트워크(110)는 인덱싱(indexing)된 뼈의 회전 정보 및 위치 정보에 따라 분류된 소스 모션 데이터들(101)과 매칭된 상기 인체를 필요 (예컨대, 리타겟팅 되는 모션)에 따라 임의로 분류한 부분의 개수에 대응되는 서브 컨볼루셔널 뉴럴 네트워크들을 이용하여 소스 모션 특징 값들을 획득할 수 있다.The first convolutional neural network 110 uses the human body matched with the source motion data 101 classified according to indexed rotation information and position information of bones as necessary (eg, retargeted motion). Source motion feature values may be obtained using sub-convolutional neural networks corresponding to the number of parts randomly classified according to the method.

제1 컨볼루셔널 뉴럴 네트워크(110)는 인덱싱(indexing)된 뼈의 회전 정보 및 위치 정보에 따라 분류된 소스 모션 데이터들(101)과 제1 컨볼루셔널 뉴럴 네트워크(110)에 포함된 상기 척추(spine), 상기 왼쪽 팔(left arm), 상기 오른쪽 팔(right arm), 상기 왼쪽 다리(left leg) 및 상기 오른쪽 다리(right leg)에 대응되는 5개의 서브 컨볼루셔널 뉴럴 네트워크들을 매칭시킬 수 있다.The first convolutional neural network 110 includes the source motion data 101 classified according to indexed rotation information and position information of bones and the vertebrae included in the first convolutional neural network 110. Five sub-convolutional neural networks corresponding to the spine, the left arm, the right arm, the left leg, and the right leg may be matched. there is.

제1 컨볼루셔널 뉴럴 네트워크(110)는 인덱싱(indexing)된 뼈의 회전 정보 및 위치 정보에 따라 분류된 소스 모션 데이터들(101)과 매칭된 상기 척추(spine), 상기 왼쪽 팔(left arm), 상기 오른쪽 팔(right arm), 상기 왼쪽 다리(left leg) 및 상기 오른쪽 다리(right leg)에 대응되는 5개의 서브 컨볼루셔널 뉴럴 네트워크들을 이용하여 소스 모션 특징 값들을 획득할 수 있다.The first convolutional neural network 110 uses the spine and the left arm matched with the source motion data 101 classified according to indexed rotation information and position information of bones. , Source motion feature values may be obtained using five sub-convolutional neural networks corresponding to the right arm, left leg, and right leg.

제1 컨볼루셔널 뉴럴 네트워크(110)는 인덱싱(indexing)된 뼈의 회전 정보 및 위치 정보에 따라 분류된 소스 모션 데이터들(101)과 제1 컨볼루셔널 뉴럴 네트워크(110)에 포함된 상기 척추(spine), 상기 팔(arm) 및 상기 다리(leg)에 대응되는 3개의 서브 컨볼루셔널 뉴럴 네트워크들을 매칭시킬 수 있다.The first convolutional neural network 110 includes the source motion data 101 classified according to indexed rotation information and position information of bones and the vertebrae included in the first convolutional neural network 110. Three sub-convolutional neural networks corresponding to the spine, the arm, and the leg may be matched.

제1 컨볼루셔널 뉴럴 네트워크(110)는 인덱싱(indexing)된 뼈의 회전 정보 및 위치 정보에 따라 분류된 소스 모션 데이터들(101)과 매칭된 상기 척추(spine), 상기 팔(arm) 및 상기 다리(leg)에 대응되는 3개의 서브 컨볼루셔널 뉴럴 네트워크들을 이용하여 소스 모션 특징 값들을 획득할 수 있다.The first convolutional neural network 110 uses the spine, the arm, and the spine matched with the source motion data 101 classified according to the indexed rotation information and position information of the bones. Source motion feature values may be obtained using three sub-convolutional neural networks corresponding to a leg.

제1 컨볼루셔널 뉴럴 네트워크(110)가 획득한 소스 모션 특징 값들을 소스 모션 피쳐 맵(content feature map)이라 할 수 있다.Source motion feature values acquired by the first convolutional neural network 110 may be referred to as a source motion feature map.

제1 컨볼루셔널 뉴럴 네트워크(110)가 획득한 소스 모션 특징 값들을 소스 모션 벡터(content vector)라 할 수 있다.Source motion feature values acquired by the first convolutional neural network 110 may be referred to as a source motion vector (content vector).

제1 컨볼루셔널 뉴럴 네트워크(110)가 획득한 소스 모션 특징 값들의 배열(array)을 소스 모션 벡터(content vector)라 할 수 있다. An array of source motion feature values acquired by the first convolutional neural network 110 may be referred to as a source motion vector (content vector).

리타겟팅 특징 값들 생성 모듈(120)은 제1 컨볼루셔널 뉴럴 네트워크(110)가 획득한 소스 모션 특징 값들에 타겟 정보를 결합하여 리타겟팅 특징 값들(retargeting features values)을 생성한다.The retargeting feature values generation module 120 generates retargeting feature values by combining source motion feature values acquired by the first convolutional neural network 110 with target information.

이때, 상기 타겟 정보는 뼈(bone)의 길이(length) 정보를 포함할 수 있다.In this case, the target information may include bone length information.

또한, 상기 타겟 정보는 뼈(bone)의 비율(ratio) 정보를 포함할 수 있다.Also, the target information may include bone ratio information.

또한, 상기 타겟 정보는 뼈의 길이 비율(bone length ratio) 정보를 포함할 수 있다.Also, the target information may include bone length ratio information.

또한, 상기 타겟 정보는 뼈(bone)의 길이 정보, 뼈의 비율 정보 및 뼈의 길이 비율 정보를 포함할 수 있다.Also, the target information may include bone length information, bone ratio information, and bone length ratio information.

또한, 상기 타겟 정보는 척추(spine), 왼쪽 팔(left arm), 오른쪽 팔(right arm), 왼쪽 다리(left leg) 및 오른쪽 다리(right leg) 뼈의 길이 정보를 포함할 수 있다.Also, the target information may include length information of bones of the spine, left arm, right arm, left leg, and right leg.

또한, 상기 타겟 정보는 척추(spine), 왼쪽 팔(left arm), 오른쪽 팔(right arm), 왼쪽 다리(left leg) 및 오른쪽 다리(right leg) 뼈의 비율 정보를 포함할 수 있다.Also, the target information may include ratio information of bones of the spine, left arm, right arm, left leg, and right leg.

또한, 상기 타겟 정보는 척추(spine), 왼쪽 팔(left arm), 오른쪽 팔(right arm), 왼쪽 다리(left leg) 및 오른쪽 다리(right leg) 뼈의 길이 비율 정보를 포함할 수 있다.Also, the target information may include length ratio information of bones of the spine, left arm, right arm, left leg, and right leg.

또한, 상기 타겟 정보는 척추(spine), 왼쪽 팔(left arm), 오른쪽 팔(right arm), 왼쪽 다리(left leg) 및 오른쪽 다리(right leg) 뼈의 길이 정보, 척추(spine), 왼쪽 팔(left arm), 오른쪽 팔(right arm), 왼쪽 다리(left leg) 및 오른쪽 다리(right leg) 뼈의 비율 정보 및 척추(spine), 왼쪽 팔(left arm), 오른쪽 팔(right arm), 왼쪽 다리(left leg) 및 오른쪽 다리(right leg) 뼈의 길이 비율 정보를 포함할 수 있다.In addition, the target information includes length information of bones of the spine, left arm, right arm, left leg, and right leg, spine, and left arm. (left arm), right arm, left leg and right leg bone ratio information and spine, left arm, right arm, left It may include length ratio information of the left leg and right leg bones.

또한, 상기 타겟 정보는 벡터 일 수 있다.Also, the target information may be a vector.

또한, 상기 타겟 정보는 척추(spine), 팔(arm), 및 다리(leg) 뼈의 길이 정보를 포함할 수 있다.Also, the target information may include length information of spine, arm, and leg bones.

또한, 상기 타겟 정보는 척추(spine), 팔(arm), 및 다리(leg) 뼈의 비율 정보를 포함할 수 있다.Also, the target information may include ratio information of spine, arm, and leg bones.

또한, 상기 타겟 정보는 척추(spine), 팔(arm), 및 다리(leg) 뼈의 길이 비율 정보를 포함할 수 있다.Also, the target information may include length ratio information of spine, arm, and leg bones.

또한, 상기 타겟 정보는 척추(spine), 팔(arm), 및 다리(leg) 뼈의 길이 정보, 척추(spine), 팔(arm), 및 다리(leg) 뼈의 비율 정보 및 척추(spine), 팔(arm), 및 다리(leg) 뼈의 길이 비율 정보를 포함할 수 있다.In addition, the target information includes length information of spine, arm, and leg bones, ratio information of spine, arm, and leg bones, and spine , arm, and leg bone length ratio information.

리타겟팅 특징 값들 생성 모듈(120)은 fully connected layer를 포함할 수 있다.The retargeting feature values generating module 120 may include a fully connected layer.

리타겟팅 특징 값들 생성 모듈(120)은 fully connected layer로 구현될 수 있다.The retargeting feature values generating module 120 may be implemented as a fully connected layer.

리타겟팅 특징 값들 생성 모듈(120)은 상기 fully connected layer를 이용하여 상기 소스 모션 특징 값들에 상기 타겟 정보를 결합하여 리타겟팅 특징 값들(retargeting features values)을 생성할 수 있다.The retargeting feature values generation module 120 may generate retargeting feature values by combining the target information with the source motion feature values using the fully connected layer.

리타겟팅 특징 값들 생성 모듈(120)은 상기 fully connected layer에서 상기 소스 모션 특징 값들에 상기 타겟 정보를 결합하여 리타겟팅 특징 값들(retargeting features values)을 생성할 수 있다.The retargeting feature values generation module 120 may generate retargeting feature values by combining the target information with the source motion feature values in the fully connected layer.

제2 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network)(130)는 리타겟팅 된 특징 값들 생성 모듈(120)이 상기 생성한 리타겟팅 특징 값들(retargeting features values)을 이용하여 리타겟팅 된 모션 데이터들(103)을 획득한다.The second convolutional neural network 130 generates retargeted motion data 103 using the retargeting feature values generated by the retargeted feature values generation module 120. ) to obtain

제2 컨볼루셔널 뉴럴 네트워크(130)는 본 발명의 일실시예에 따라 학습된 컨볼루셔널 뉴럴 네트워크인 것이 바람직하나 이에 한정되는 것은 아니다.The second convolutional neural network 130 is preferably a convolutional neural network trained according to an embodiment of the present invention, but is not limited thereto.

이때, 리타겟팅 된 모션 데이터들(103)은 애니메이션 데이터들 일 수 있다.In this case, the retargeted motion data 103 may be animation data.

또한, 리타겟팅 된 모션 데이터들(103)은 관절 위치(joint positions) 정보를 포함할 수 있다.Also, the retargeted motion data 103 may include joint positions information.

또한, 리타겟팅 된 모션 데이터들(103)은 뼈(bone)의 회전 정보를 포함할 수 있다.Also, the retargeted motion data 103 may include bone rotation information.

또한, 리타겟팅 된 모션 데이터들(103)은 뼈(bone)의 위치 정보를 포함할 수 있다.Also, the retargeted motion data 103 may include bone position information.

또한, 리타겟팅 된 모션 데이터들(103)은 뼈(bone)의 회전 정보 및 위치 정보를 포함할 수 있다.Also, the retargeted motion data 103 may include rotation information and position information of a bone.

또한, 상기 뼈는 인체를 구성하는 뼈를 필요(예컨대, 리타겟팅 되는 모션)에 따라 임의로 분류한 부분의 뼈 중 적어도 어느 하나에 해당할 수 있다.In addition, the bone may correspond to at least one of bones constituting the human body, which are arbitrarily classified according to necessity (eg, motion to be retargeted).

또한, 상기 뼈는 척추(spine), 왼쪽 팔(left arm), 오른쪽 팔(right arm), 왼쪽 다리(left leg) 및 오른쪽 다리(right leg)를 구성하는 각각의 뼈 중 적어도 어느 하나에 해당할 수 있다.In addition, the bone may correspond to at least one of the bones constituting the spine, the left arm, the right arm, the left leg, and the right leg. can

또한, 리타겟팅 된 모션 데이터들(103)은 인덱싱(indexing)된 데이터일 수 있다.Also, the retargeted motion data 103 may be indexed data.

또한, 리타겟팅 된 모션 데이터들(103)은 뼈의 회전 정보가 인덱싱(indexing)된 데이터일 수 있다.Also, the retargeted motion data 103 may be data indexed with bone rotation information.

또한, 리타겟팅 된 모션 데이터들(103)은 뼈의 위치 정보가 인덱싱(indexing)된 데이터일 수 있다.Also, the retargeted motion data 103 may be data indexed with bone position information.

또한, 리타겟팅 된 모션 데이터들(103)은 뼈의 회전 정보 및 위치 정보가 인덱싱(indexing)된 데이터일 수 있다.Also, the retargeted motion data 103 may be indexed data of bone rotation information and position information.

또한, 리타겟팅 된 모션 데이터들(103)은 뼈의 회전 정보에 따라 분류된(classified) 데이터들일 수 있다. Also, the retargeted motion data 103 may be data classified according to bone rotation information.

또한, 리타겟팅 된 모션 데이터들(103)은 뼈의 위치 정보에 따라 분류된(classified) 데이터들일 수 있다.Also, the retargeted motion data 103 may be data classified according to bone position information.

또한, 리타겟팅 된 모션 데이터들(103)은 뼈의 회전 정보 및 위치 정보에 따라 분류된(classified) 데이터들일 수 있다.Also, the retargeted motion data 103 may be data classified according to bone rotation information and position information.

또한, 리타겟팅 된 모션 데이터들(103)은 인덱싱(indexing)된 뼈의 회전 정보에 따라 분류된 데이터들일 수 있다.Also, the retargeted motion data 103 may be data classified according to indexed bone rotation information.

또한, 리타겟팅 된 모션 데이터들(103)은 인덱싱(indexing)된 뼈의 위치 정보에 따라 분류된 데이터들일 수 있다. Also, the retargeted motion data 103 may be data classified according to indexed bone position information.

또한, 리타겟팅 된 모션 데이터들(103)은 인덱싱(indexing)된 뼈의 회전 정보 및 위치 정보에 따라 분류된 데이터들일 수 있다.Also, the retargeted motion data 103 may be data classified according to indexed rotation information and position information of bones.

또한, 리타겟팅 된 모션 데이터들(103)은 인덱싱(indexing)된 뼈의 회전 정보에 따라 인체를 구성하는 뼈로 분류된 데이터들일 수 있다.In addition, the retargeted motion data 103 may be data classified into bones constituting the human body according to indexed bone rotation information.

또한, 리타겟팅 된 모션 데이터들(103)은 인덱싱(indexing)된 뼈의 회전 정보에 따라 상체 또는 하체를 구성하는 뼈로 분류된 데이터들일 수 있다.Also, the retargeted motion data 103 may be data classified into bones constituting the upper or lower body according to indexed bone rotation information.

또한, 리타겟팅 된 모션 데이터들(103)은 인덱싱(indexing)된 뼈의 회전 정보에 따라 인체를 구성하는 뼈를 필요 (예컨대, 리타겟팅 되는 모션)에 따라 상기 인체를 임의로 분류한 부분의 뼈로 분류된 데이터들일 수 있다.In addition, the retargeted motion data 103 classifies the bones constituting the human body according to the rotation information of the indexed bones into bones of an arbitrarily classified part of the human body according to necessity (eg, retargeted motion) may be data.

또한, 리타겟팅 된 모션 데이터들(103)은 인덱싱(indexing)된 뼈의 회전 정보에 따라 척추(spine), 왼쪽 팔(left arm), 오른쪽 팔(right arm), 왼쪽 다리(left leg) 및 오른쪽 다리(right leg)로 분류된 데이터들일 수 있다. In addition, the retargeted motion data 103 may be used for the spine, left arm, right arm, left leg, and right arm according to indexed bone rotation information. It may be data classified as a right leg.

또한, 리타겟팅 된 모션 데이터들(103)은 인덱싱(indexing)된 뼈의 회전 정보에 따라 척추(spine), 왼쪽 팔(left arm), 오른쪽 팔(right arm), 왼쪽 다리(left leg) 및 오른쪽 다리(right leg)를 구성하는 각각의 뼈로 분류된 데이터들일 수 있다.In addition, the retargeted motion data 103 may be used for the spine, left arm, right arm, left leg, and right arm according to indexed bone rotation information. It may be data classified into each bone constituting the right leg.

또한, 리타겟팅 된 모션 데이터들(103)은 인덱싱(indexing)된 뼈의 회전 정보에 따라 척추 (spine), 팔(arm) 및 다리(leg)로 분류된 데이터들일 수 있다.In addition, the retargeted motion data 103 may be data classified into spine, arm, and leg according to indexed bone rotation information.

또한, 리타겟팅 된 모션 데이터들(103)은 인덱싱(indexing)된 뼈의 회전 정보에 따라 척추 (spine), 팔(arm) 및 다리(leg)를 구성하는 각각의 뼈로 분류된 데이터들 일 수 있다. In addition, the retargeted motion data 103 may be data classified into each bone constituting the spine, arm, and leg according to the indexed rotation information of the bone. .

또한, 리타겟팅 된 모션 데이터들(103)은 인덱싱(indexing)된 뼈의 위치 정보에 따라 인체를 구성하는 뼈로 분류된 데이터들일 수 있다.Also, the retargeted motion data 103 may be data classified into bones constituting the human body according to indexed bone position information.

또한, 리타겟팅 된 모션 데이터들(103)은 인덱싱(indexing)된 뼈의 위치 정보에 따라 상체 또는 하체를 구성하는 뼈로 분류된 데이터들일 수 있다.Also, the retargeted motion data 103 may be data classified into bones constituting the upper body or lower body according to indexed bone position information.

또한, 리타겟팅 된 모션 데이터들(103)은 인덱싱(indexing)된 뼈의 위치 정보에 따라 인체를 구성하는 뼈를 필요 (예컨대, 리타겟팅 되는 모션)에 따라 상기 인체를 임의로 분류한 부분의 뼈로 분류된 데이터들일 수 있다.In addition, the retargeted motion data 103 classifies the bones constituting the human body according to the indexed bone position information into bones of an arbitrarily classified part of the human body according to necessity (eg, retargeted motion) may be data.

또한, 리타겟팅 된 모션 데이터들(103)은 인덱싱(indexing)된 뼈의 위치 정보에 따라 척추(spine), 왼쪽 팔(left arm), 오른쪽 팔(right arm), 왼쪽 다리(left leg) 및 오른쪽 다리(right leg)로 분류된 데이터들일 수 있다.In addition, the retargeted motion data 103 is a spine, a left arm, a right arm, a left leg, and a right arm according to indexed bone position information. It may be data classified as a right leg.

또한, 리타겟팅 된 모션 데이터들(103)은 인덱싱(indexing)된 뼈의 위치 정보에 따라 척추(spine), 왼쪽 팔(left arm), 오른쪽 팔(right arm), 왼쪽 다리(left leg) 및 오른쪽 다리(right leg)를 구성하는 각각의 뼈로 분류된 데이터들일 수 있다.In addition, the retargeted motion data 103 is a spine, a left arm, a right arm, a left leg, and a right arm according to indexed bone position information. It may be data classified into each bone constituting the right leg.

또한, 리타겟팅 된 모션 데이터들(103)은 인덱싱(indexing)된 뼈의 위치 정보에 따라 척추 (spine), 팔(arm) 및 다리(leg)로 분류된 데이터들일 수 있다.Also, the retargeted motion data 103 may be data classified into spine, arm, and leg according to indexed bone position information.

또한, 리타겟팅 된 모션 데이터들(103)은 인덱싱(indexing)된 뼈의 위치 정보에 따라 척추 (spine), 팔(arm) 및 다리(leg)를 구성하는 각각의 뼈로 분류된 데이터들 일 수 있다. In addition, the retargeted motion data 103 may be data classified into individual bones constituting the spine, arm, and leg according to indexed bone position information. .

또한, 리타겟팅 된 모션 데이터들(103)은 인덱싱(indexing)된 뼈의 회전 정보 및 위치 정보에 따라 인체를 구성하는 뼈로 분류된 데이터들일 수 있다.Also, the retargeted motion data 103 may be data classified into bones constituting the human body according to indexed rotation information and position information of the bones.

또한, 리타겟팅 된 모션 데이터들(103)은 인덱싱(indexing)된 뼈의 회전 정보 및 위치 정보에 따라 상체 또는 하체를 구성하는 뼈로 분류된 데이터들일 수 있다.Also, the retargeted motion data 103 may be data classified into bones constituting the upper body or lower body according to indexed rotation information and position information of the bones.

또한, 리타겟팅 된 모션 데이터들(103)은 인덱싱(indexing)된 뼈의 회전 정보 및 위치 정보에 따라 인체를 구성하는 뼈를 필요 (예컨대, 리타겟팅 되는 모션)에 따라 상기 인체를 임의로 분류한 부분의 뼈로 분류된 데이터들일 수 있다.In addition, the retargeted motion data 103 is a part of the human body arbitrarily classified according to the need (eg, retargeted motion) of the bones constituting the human body according to the indexed rotation information and position information of the bones. It may be data classified as bones of .

또한, 리타겟팅 된 모션 데이터들(103)은 인덱싱(indexing)된 뼈의 회전 정보 및 위치 정보에 따라 척추(spine), 왼쪽 팔(left arm), 오른쪽 팔(right arm), 왼쪽 다리(left leg) 및 오른쪽 다리(right leg)로 분류된 데이터들일 수 있다.In addition, the retargeted motion data 103 is a spine, a left arm, a right arm, and a left leg according to the rotation information and position information of indexed bones. ) and data classified as right leg.

또한, 리타겟팅 된 모션 데이터들(103)은 인덱싱(indexing)된 뼈의 회전 정보 및 위치 정보에 따라 척추(spine), 왼쪽 팔(left arm), 오른쪽 팔(right arm), 왼쪽 다리(left leg) 및 오른쪽 다리(right leg)를 구성하는 각각의 뼈로 분류된 데이터들일 수 있다.In addition, the retargeted motion data 103 is a spine, a left arm, a right arm, and a left leg according to the rotation information and position information of indexed bones. ) and data classified into each bone constituting the right leg.

또한, 리타겟팅 된 모션 데이터들(103)은 인덱싱(indexing)된 뼈의 회전 정보 및 위치 정보에 따라 척추 (spine), 팔(arm) 및 다리(leg)로 분류된 데이터들일 수 있다.Also, the retargeted motion data 103 may be data classified into spine, arm, and leg according to indexed rotation information and position information of bones.

또한, 리타겟팅 된 모션 데이터들(103)은 인덱싱(indexing)된 뼈의 회전 정보 및 위치 정보에 따라 척추 (spine), 팔(arm) 및 다리(leg)를 구성하는 각각의 뼈로 분류된 데이터들 일 수 있다. In addition, the retargeted motion data 103 is data classified into each bone constituting the spine, arm, and leg according to indexed rotation information and position information of the bones. can be

제2 컨볼루셔널 뉴럴 네트워크(130)는 복수개의 서브 컨볼루셔널 뉴럴 네트워크들을 포함할 수 있다.The second convolutional neural network 130 may include a plurality of sub convolutional neural networks.

제2 컨볼루셔널 뉴럴 네트워크(130)는 인체를 구성하는 뼈의 숫자와 같은 수의 서브 컨볼루셔널 뉴럴 네트워크들을 포함할 수 있다. The second convolutional neural network 130 may include the same number of sub-convolutional neural networks as the number of bones constituting the human body.

제2 컨볼루셔널 뉴럴 네트워크(130)는 상체 또는 하체에 대응되는 2개의 서브 컨볼루셔널 뉴럴 네트워크들을 포함할 수 있다.The second convolutional neural network 130 may include two sub-convolutional neural networks corresponding to the upper or lower body.

제2 컨볼루셔널 뉴럴 네트워크(130)는 인체를 필요 (예컨대, 리타겟팅 되는 모션)에 따라 임의로 분류한 부분의 개수에 대응되는 서브 컨볼루셔널 뉴럴 네트워크들을 포함할 수 있다.The second convolutional neural network 130 may include sub-convolutional neural networks corresponding to the number of parts of the human body that are arbitrarily classified according to needs (eg, retargeted motion).

제2 컨볼루셔널 뉴럴 네트워크(130)는 척추(spine), 왼쪽 팔(left arm), 오른쪽 팔(right arm), 왼쪽 다리(left leg) 및 오른쪽 다리(right leg)에 대응되는 5개의 서브 컨볼루셔널 뉴럴 네트워크들을 포함할 수 있다.The second convolutional neural network 130 has five sub-convolutions corresponding to the spine, left arm, right arm, left leg, and right leg. It may include volutional neural networks.

제2 컨볼루셔널 뉴럴 네트워크(130)는 척추(spine), 팔(arm), 및 다리(leg)에 대응되는 3개의 서브 컨볼루셔널 뉴럴 네트워크들을 포함할 수 있다.The second convolutional neural network 130 may include three sub-convolutional neural networks corresponding to a spine, an arm, and a leg.

제2 컨볼루셔널 뉴럴 네트워크(130)는 리타겟팅 특징 값들 생성 모듈(120)이 상기 생성한 리타겟팅 특징 값들과 상기 서브 컨볼루셔널 뉴럴 네트워크들을 매칭시킬 수 있다.The second convolutional neural network 130 may match the retargeting feature values generated by the retargeting feature values generating module 120 with the sub convolutional neural networks.

제2 컨볼루셔널 뉴럴 네트워크(130)는 매칭시킨 서브 컨볼루셔널 네트워크를 이용하여 리타겟팅 된 모션 데이터들을 획득할 수 있다.The second convolutional neural network 130 may obtain retargeted motion data using the matched sub-convolutional network.

제2 컨볼루셔널 뉴럴 네트워크(130)는 리타겟팅 특징 값들 생성 모듈(120)이 상기 생성한 리타겟팅 특징 값들과 제2 컨볼루셔널 뉴럴 네트워크(130)에 포함된 상기 인체를 구성하는 뼈의 숫자와 같은 수의 서브 컨볼루셔널 뉴럴 네트워크들을 매칭시킬 수 있다.The second convolutional neural network 130 uses the retargeting feature values generated by the retargeting feature values generation module 120 and the number of bones constituting the human body included in the second convolutional neural network 130 The same number of sub convolutional neural networks can be matched.

제2 컨볼루셔널 뉴럴 네트워크(130)는 리타겟팅 특징 값들 생성 모듈(120)이 상기 생성한 리타겟팅 특징 값들과 매칭된 상기 인체를 구성하는 뼈의 숫자와 같은 수의 서브 컨볼루셔널 뉴럴 네트워크들을 이용하여 리타겟팅 된 모션 데이터들을 획득할 수 있다.The second convolutional neural network 130 includes the same number of sub-convolutional neural networks as the number of bones constituting the human body matched with the retargeting feature values generated by the retargeting feature value generation module 120 Retargeted motion data can be acquired using

제2 컨볼루셔널 뉴럴 네트워크(130)는 리타겟팅 특징 값들 생성 모듈(120)이 상기 생성한 리타겟팅 특징 값들과 제2 컨볼루셔널 뉴럴 네트워크(130)에 포함된 상기 상체 또는 하체에 대응되는 2개의 서브 컨볼루셔널 뉴럴 네트워크들을 매칭시킬 수 있다.The second convolutional neural network 130 generates the retargeting feature values generated by the retargeting feature value generation module 120 and the second convolutional neural network 130 corresponding to the upper or lower body. It is possible to match sub-convolutional neural networks.

제2 컨볼루셔널 뉴럴 네트워크(130)는 리타겟팅 특징 값들 생성 모듈(120)이 상기 생성한 리타겟팅 특징 값들과 매칭된 상기 상체 또는 하체에 대응되는 2개의 서브 컨볼루셔널 뉴럴 네트워크들을 이용하여 리타겟팅 된 모션 데이터들을 획득할 수 있다.The second convolutional neural network 130 uses two sub-convolutional neural networks corresponding to the upper or lower body matched with the retargeting feature values generated by the retargeting feature value generation module 120 to generate retargeting features. Targeted motion data may be acquired.

제2 컨볼루셔널 뉴럴 네트워크(130)는 리타겟팅 특징 값들 생성 모듈(120)이 상기 생성한 리타겟팅 특징 값들과 제2 컨볼루셔널 뉴럴 네트워크(130)에 포함된 상기 인체를 필요 (예컨대, 리타겟팅 되는 모션)에 따라 임의로 분류한 부분의 개수에 대응되는 서브 컨볼루셔널 뉴럴 네트워크들을 매칭시킬 수 있다.The second convolutional neural network 130 needs the retargeting feature values generated by the retargeting feature value generating module 120 and the human body included in the second convolutional neural network 130 (eg, Lee It is possible to match sub-convolutional neural networks corresponding to the number of randomly classified parts according to the target motion).

제2 컨볼루셔널 뉴럴 네트워크(130)는 리타겟팅 특징 값들 생성 모듈(120)이 상기 생성한 리타겟팅 특징 값들과 매칭된 상기 인체를 필요 (예컨대, 리타겟팅 되는 모션)에 따라 임의로 분류한 부분의 개수에 대응되는 서브 컨볼루셔널 뉴럴 네트워크들을 이용하여 리타겟팅 된 모션 데이터들을 획득할 수 있다.The second convolutional neural network 130 randomly classifies the human body matched with the retargeting feature values generated by the retargeting feature value generation module 120 according to necessity (eg, retargeting motion). Retargeted motion data may be obtained using sub convolutional neural networks corresponding to the number.

제2 컨볼루셔널 뉴럴 네트워크(130)는 리타겟팅 특징 값들 생성 모듈(120)이 상기 생성한 리타겟팅 특징 값들과 제2 컨볼루셔널 뉴럴 네트워크(130)에 포함된 척추(spine), 왼쪽 팔(left arm), 오른쪽 팔(right arm), 왼쪽 다리(left leg) 및 오른쪽 다리(right leg)에 대응되는 5개의 서브 컨볼루셔널 뉴럴 네트워크들을 매칭시킬 수 있다.The second convolutional neural network 130 includes the retargeting feature values generated by the retargeting feature value generation module 120 and the spine and left arm included in the second convolutional neural network 130 ( Five sub-convolutional neural networks corresponding to the left arm, right arm, left leg, and right leg may be matched.

제2 컨볼루셔널 뉴럴 네트워크(130)는 리타겟팅 특징 값들 생성 모듈(120)이 상기 생성한 리타겟팅 특징 값들과 매칭된 상기 척추(spine), 왼쪽 팔(left arm), 오른쪽 팔(right arm), 왼쪽 다리(left leg) 및 오른쪽 다리(right leg)에 대응되는 5개의 서브 컨볼루셔널 뉴럴 네트워크들을 이용하여 리타겟팅 된 모션 데이터들을 획득할 수 있다.The second convolutional neural network 130 generates the spine, left arm, and right arm matched with the retargeting feature values generated by the retargeting feature value generating module 120. , Retargeted motion data can be obtained using five sub-convolutional neural networks corresponding to the left leg and the right leg.

제2 컨볼루셔널 뉴럴 네트워크(130)는 리타겟팅 특징 값들 생성 모듈(120)이 상기 생성한 리타겟팅 특징 값들과 척추(spine), 팔(arm), 및 다리(leg)에 대응되는 3개의 서브 컨볼루셔널 뉴럴 네트워크들을 매칭시킬 수 있다.The second convolutional neural network 130 generates three sub-characters corresponding to the retargeting feature values generated by the retargeting feature value generation module 120 and the spine, arm, and leg. Convolutional neural networks can be matched.

제2 컨볼루셔널 뉴럴 네트워크(130)는 리타겟팅 특징 값들 생성 모듈(120)이 상기 생성한 리타겟팅 특징 값들과 매칭된 상기 척추(spine), 팔(arm), 및 다리(leg)에 대응되는 3개의 서브 컨볼루셔널 뉴럴 네트워크들을 이용하여 리타겟팅 된 모션 데이터들을 획득할 수 있다.The second convolutional neural network 130 corresponds to the spine, arm, and leg matched with the retargeting feature values generated by the retargeting feature value generation module 120 Retargeted motion data may be obtained using three sub-convolutional neural networks.

본 발명의 다른 실시예에 따라 제1 컨볼루셔널 뉴럴 네트워크(110) 및 제2 컨볼루셔널 뉴럴 네트워크(130)를 하나의 컨볼루셔널 뉴럴 네트워크로 구현하는 것도 가능하다.According to another embodiment of the present invention, it is also possible to implement the first convolutional neural network 110 and the second convolutional neural network 130 as one convolutional neural network.

손실 함수 값 결정 모듈(140)은 손실 함수(loss function)에 따라 상기 획득한 리타겟팅 된 모션 데이터들을 업데이트한다.The loss function value determination module 140 updates the acquired retargeted motion data according to a loss function.

손실 함수 값 결정 모듈(140)은 손실 함수를 포함할 수 있다.Loss function value determination module 140 may include a loss function.

이때, 상기 손실 함수는 운동학적 제약들(kinematic constraints)이 위반(violate)되면 손실 함수 값이 증가하도록 구현될 수 있다.In this case, the loss function may be implemented so that the value of the loss function increases when kinematic constraints are violated.

손실 함수 값 결정 모듈(140)은 상기 포함한 손실 함수를 이용하여 손실 함수 값을 결정할 수 있다.The loss function value determining module 140 may determine a loss function value using the included loss function.

손실 함수 값 결정 모듈(140)은 상기 결정한 손실 함수 값에 따라 상기 획득한 리타겟팅 된 모션 데이터들을 업데이트 할 수 있다.The loss function value determination module 140 may update the acquired retargeted motion data according to the determined loss function value.

손실 함수 값 결정 모듈(140)은 발 접촉(foot contacts)에 관한 손실 함수(loss function)를 포함할 수 있다.The loss function value determination module 140 may include a loss function for foot contacts.

손실 함수 값 결정 모듈(140)은 상기 발 접촉(foot contacts)에 관한 손실 함수(loss function)를 이용하여 손실 함수 값을 결정할 수 있다.The loss function value determination module 140 may determine a loss function value using a loss function for the foot contacts.

손실 함수 값 결정 모듈(140)은 상기 발 접촉(foot contacts)에 관한 손실 함수(loss function)를 이용하여 상기 결정한 손실 함수 값에 따라 상기 획득한 리타겟팅 된 모션 데이터들을 업데이트 할 수 있다.The loss function value determining module 140 may update the acquired retargeted motion data according to the determined loss function value using a loss function related to the foot contacts.

손실 함수 값 결정 모듈(140)은 경로(trajectory)에 관한 손실 함수를 포함할 수 있다.Loss function value determination module 140 may include a loss function for a trajectory.

손실 함수 값 결정 모듈(140)은 상기 경로(trajectory)에 관한 손실 함수를 이용하여 손실 함수 값을 결정할 수 있다.The loss function value determination module 140 may determine a loss function value using the loss function for the trajectory.

손실 함수 값 결정 모듈(140)은 상기 경로(trajectory)에 관한 손실 함수를 이용하여 상기 결정한 손실 함수 값에 따라 상기 획득한 리타겟팅 된 모션 데이터들을 업데이트 할 수 있다.The loss function value determining module 140 may update the acquired retargeted motion data according to the determined loss function value using the loss function for the trajectory.

손실 함수 값 결정 모듈(140)은 뼈 길이(bone length)에 관한 손실 함수를 포함할 수 있다.The loss function value determination module 140 may include a loss function related to bone length.

손실 함수 값 결정 모듈(140)은 상기 뼈 길이(bone length)에 관한 손실 함수를 이용하여 손실 함수 값을 결정할 수 있다.The loss function value determining module 140 may determine a loss function value using the loss function related to the bone length.

손실 함수 값 결정 모듈(140)은 상기 뼈 길이(bone length)에 관한 손실 함수를 이용하여 상기 결정한 손실 함수 값에 따라 상기 획득한 리타겟팅 된 모션 데이터들을 업데이트 할 수 있다.The loss function value determination module 140 may update the acquired retargeted motion data according to the determined loss function value using the loss function related to the bone length.

손실 함수 값 결정 모듈(140)은 상기 손실 함수(loss function) 값이 최소가 될 때까지 운동학적 최적화(kinematic optimization) 과정을 통하여 상기 리타겟팅 된 모션 데이터들을 업데이트 할 수 있다.The loss function value determination module 140 may update the retargeted motion data through a kinematic optimization process until the loss function value is minimized.

손실 함수 값 결정 모듈(140)은 상기 운동학적 최적화(kinematic optimization) 과정에서 리타겟팅 특징 값들 생성 모듈(120)이 생성한 리타겟팅 특징 값들을 조절하기 위하여 백프로퍼게이션(back-propagation) 알고리즘을 이용할 수 있다.The loss function value determination module 140 uses a back-propagation algorithm to adjust the retargeting feature values generated by the retargeting feature value generation module 120 in the kinematic optimization process. can

이때, 제2 컨볼루셔널 뉴럴 네트워크(130)의 가중치는 고정된다.At this time, the weight of the second convolutional neural network 130 is fixed.

손실 함수 값 결정 모듈(140)은 상기 발 접촉(foot contacts)에 관한 손실 함수(loss function) 값이 최소가 될 때까지 운동학적 최적화(kinematic optimization) 과정을 통하여 상기 리타겟팅 된 모션 데이터들을 업데이트 할 수 있다.The loss function value determination module 140 updates the retargeted motion data through a kinematic optimization process until a loss function value for the foot contacts is minimized. can

손실 함수 값 결정 모듈(140)은 상기 발 접촉(foot contacts)에 관한 손실 함수(loss function) 값이 최소가 될 때까지 운동학적 최적화(kinematic optimization) 과정을 통하여 상기 리타겟팅 된 모션 데이터들을 반복적으로 업데이트할 수 있다.The loss function value determination module 140 repeatedly converts the retargeted motion data through a kinematic optimization process until the loss function value for the foot contacts is minimized. can be updated

손실 함수 값 결정 모듈(140)은 상기 경로(trajectory)에 관한 손실 함수(loss function) 값이 최소가 될 때까지 운동학적 최적화(kinematic optimization) 과정을 통하여 상기 리타겟팅 된 모션 데이터들을 업데이트 할 수 있다.The loss function value determination module 140 may update the retargeted motion data through a kinematic optimization process until a loss function value for the trajectory is minimized. .

손실 함수 값 결정 모듈(140)은 상기 경로(trajectory)에 관한 손실 함수(loss function) 값이 최소가 될 때까지 운동학적 최적화(kinematic optimization) 과정을 통하여 상기 리타겟팅 된 모션 데이터들을 반복적으로 업데이트 할 수 있다.The loss function value determination module 140 may repeatedly update the retargeted motion data through a kinematic optimization process until a loss function value for the trajectory is minimized. can

손실 함수 값 결정 모듈(140)은 상기 뼈 길이(bone length)에 관한 손실 함수(loss function) 값이 최소가 될 때까지 운동학적 최적화(kinematic optimization) 과정을 통하여 상기 리타겟팅 된 모션 데이터들을 업데이트 할 수 있다.The loss function value determining module 140 updates the retargeted motion data through a kinematic optimization process until a loss function value with respect to the bone length is minimized. can

손실 함수 값 결정 모듈(140)은 상기 뼈 길이(bone length)에 관한 손실 함수(loss function) 값이 최소가 될 때까지 운동학적 최적화(kinematic optimization) 과정을 통하여 상기 리타겟팅 된 모션 데이터들을 반복적으로 업데이트 할 수 있다.The loss function value determination module 140 repeatedly converts the retargeted motion data through a kinematic optimization process until a loss function value with respect to the bone length is minimized. can be updated

여기서 사용된 '장치 또는 모듈'이라는 용어는 논리적인 구성 단위를 나타내는 것으로서, 반드시 물리적으로 구분되는 구성 요소가 아니라는 점은 본 발명이 속하는 기술분야의 당업자에게 자명한 사항이다.It is obvious to those skilled in the art that the term 'device or module' used herein denotes a logical unit and is not necessarily a physically separated component.

도 3은 본 발명의 일실시예에 따른 모션 리타겟팅 방법을 나타내는 플로우 차트이다.3 is a flow chart illustrating a motion retargeting method according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 일실시예에 따른 모션 리타겟팅 방법은 모션 리타겟팅 장치가 소스 모션 데이터들을 인식한다(300).Referring to FIG. 3 , in a motion retargeting method according to an embodiment of the present invention, a motion retargeting device recognizes source motion data ( 300 ).

이때, 상기 소스 모션 데이터들은 애니메이션 데이터들일 수 있다.In this case, the source motion data may be animation data.

또한, 상기 소스 모션 데이터들은 인덱싱(indexing) 된 뼈의 회전 정보에 따라 분류된 데이터들일 수 있다.Also, the source motion data may be data classified according to indexed bone rotation information.

모션 리타겟팅 장치가 소스 모션 특징 값들(features values)을 획득한다(310).A motion retargeting device obtains source motion feature values (310).

이때, 모션 리타겟팅 장치는 인덱싱(indexing)된 뼈의 회전 정보 및 위치 정보에 따라 분류된 소스 모션 데이터들(101)에 따라 소스 모션 특징 값들(features values)을 획득할 수 있다.In this case, the motion retargeting apparatus may obtain source motion feature values according to the source motion data 101 classified according to the indexed rotation information and position information of the bones.

모션 리타겟팅 장치가 상기 획득한 소스 모션 특징 값들(features values)에 타겟 정보를 결합하여 리타겟팅 특징 값들(retargeting features values)을 생성한다(320).The motion retargeting device generates retargeting feature values by combining target information with the obtained source motion feature values (320).

이때, 상기 타겟 정보는 뼈(bone)의 길이 비율 정보를 포함할 수 있다.In this case, the target information may include bone length ratio information.

모션 리타겟팅 장치가 상기 생성한 리타겟팅 특징 값들(retargeting features values)을 이용하여 리타겟팅 된 모션 데이터들을 획득한다(330).The motion retargeting device acquires retargeted motion data using the generated retargeting feature values (330).

이때, 모션 리타겟팅 장치는 상기 생성한 리타겟팅 특징 값들과 매칭된 상기 인체를 필요 (예컨대, 리타겟팅 되는 모션)에 따라 임의로 분류한 부분의 개수에 대응되는 서브 컨볼루셔널 뉴럴 네트워크들을 이용하여 리타겟팅 된 모션 데이터들을 획득할 수 있다.At this time, the motion retargeting device uses sub-convolutional neural networks corresponding to the number of parts randomly classified according to necessity (eg, retargeting motion) of the human body matched with the generated retargeting feature values to retarget. Targeted motion data may be acquired.

모션 리타겟팅 장치가 손실 함수(loss function)에 따라 상기 획득한 리타겟팅 된 모션 데이터들을 업데이트한다(340).The motion retargeting device updates the acquired retargeted motion data according to a loss function (340).

이때, 모션 리타겟팅 장치는 상기 손실 함수(loss function) 값이 최소가 될 때까지 운동학적 최적화(kinematic optimization) 과정을 통하여 상기 리타겟팅 된 모션을 업데이트 할 수 있다.In this case, the motion retargeting device may update the retargeted motion through a kinematic optimization process until the loss function value is minimized.

도 4는 본 발명의 일실시예에 따라 소스 모션 데이터들의 에러가 자동적으로 수정된 리타겟팅 된 모션 데이터들을 나타내는 도면이다.4 is a diagram illustrating retargeted motion data in which errors in source motion data are automatically corrected according to an embodiment of the present invention.

도 4의 (a)를 참조하면, 도 4의 (a)의 좌측의 모션 데이터는 소스 모션 데이터를 나타내고, 도 4의 (a)의 우측의 모션 데이터는 리타겟팅 된 모션 데이터를 나타낸다.Referring to FIG. 4(a), motion data on the left side of FIG. 4(a) indicates source motion data, and motion data on the right side of FIG. 4(a) indicates retargeted motion data.

도 4의 (a)의 좌측의 소스 모션 데이터는 화살표가 가리키는 소스 모션 데이터의 오른쪽 발(401)의 앞 부분이 좌측으로 들린 상태이다. 이는 운동학적 제약들(kinematic constraints)이 위반(violate)된 상태이다.The source motion data on the left side of FIG. 4(a) is a state in which the front part of the right foot 401 of the source motion data indicated by the arrow is lifted to the left. This is a state in which kinematic constraints are violated.

도 4의 (a)의 우측의 리타겟팅 된 모션 데이터의 오른쪽 발(402)의 앞 부분은 본 발명의 일실시예에 따라 상기 소스 모션 데이터에 포함된 상기 위반된 운동학적 제약들(kinematic constraints)이 자동적으로 수정되어 상기 운동학적 제약들(kinematic constraints)이 유지된다.The front part of the right foot 402 of the retargeted motion data on the right side of FIG. 4(a) is the violated kinematic constraints included in the source motion data according to an embodiment of the present invention. is automatically corrected so that the kinematic constraints are maintained.

도 4의 (b)를 참조하면, 도 4의 (b)의 좌측의 모션 데이터는 소스 모션 데이터를 나타내고, 도 4의 (b)의 우측의 모션 데이터는 리타겟팅 된 모션 데이터를 나타낸다.Referring to FIG. 4(b), motion data on the left side of FIG. 4(b) indicates source motion data, and motion data on the right side of FIG. 4(b) indicates retargeted motion data.

도 4의 (b)의 좌측의 소스 모션 데이터는 화살표가 가리키는 소스 모션 데이터의 오른쪽 발(403)의 앞 부분이 우측으로 들린 상태이다. 이는 운동학적 제약들(kinematic constraints)이 위반(violate)된 상태이다.The source motion data on the left side of FIG. 4(b) is a state in which the front part of the right foot 403 of the source motion data indicated by the arrow is lifted to the right. This is a state in which kinematic constraints are violated.

도 4의 (b)의 우측의 리타겟팅 된 모션 데이터의 오른쪽 발(404)의 앞 부분은 본 발명의 일실시예에 따라 상기 소스 모션 데이터에 포함된 상기 위반된 운동학적 제약들(kinematic constraints)이 자동적으로 수정되어 상기 운동학적 제약들(kinematic constraints)이 유지된다.The front part of the right foot 404 of the retargeted motion data on the right side of FIG. 4(b) is the violated kinematic constraints included in the source motion data according to an embodiment of the present invention. is automatically corrected so that the kinematic constraints are maintained.

도 4의 (c)를 참조하면, 도 4의 (c)의 좌측의 모션 데이터는 소스 모션 데이터를 나타내고, 도 4의 (c)의 우측의 모션 데이터는 리타겟팅 된 모션 데이터를 나타낸다.Referring to FIG. 4(c), the motion data on the left side of FIG. 4(c) represents source motion data, and the motion data on the right side of FIG. 4(c) represents retargeted motion data.

도 4의 (c)의 좌측의 소스 모션 데이터는 화살표가 가리키는 소스 모션 데이터의 오른쪽 발(405)의 앞 부분이 수직으로 펴진 상태이다. 이는 운동학적 제약들(kinematic constraints)이 위반(violate)된 상태이다.The source motion data on the left side of FIG. 4(c) is in a state in which the front part of the right foot 405 of the source motion data indicated by the arrow is vertically stretched. This is a state in which kinematic constraints are violated.

도 4의 (c)의 우측의 리타겟팅 된 모션 데이터의 오른쪽 발(406)의 앞 부분은 본 발명의 일실시예에 따라 상기 소스 모션 데이터에 포함된 상기 위반된 운동학적 제약들(kinematic constraints)이 자동적으로 수정되어 상기 운동학적 제약들(kinematic constraints)이 유지된다.The front part of the right foot 406 of the retargeted motion data on the right side of FIG. 4(c) is the violated kinematic constraints included in the source motion data according to an embodiment of the present invention. is automatically corrected so that the kinematic constraints are maintained.

도 5는 본 발명의 일실시예에 따라 다양한 유형(type)과 다양한 크기(size)로 리타겟팅 된 모션 데이터들을 나타내는 도면이다.5 is a diagram illustrating motion data retargeted in various types and sizes according to an embodiment of the present invention.

도 5를 참조하면, 본 발명의 일실시예에 따라 다양한 소스 모션 데이터들이 다양한 유형과 다양한 크기로 리타겟팅 된 모션 데이터들은 좌, 우가 한 쌍(500, 510)을 이룬다. 이때, 상기 한 쌍(500, 510)에서 좌측의 모션 데이터(501, 511)가 소스 모션 데이터에 해당하며, 우측의 모션 데이터(502, 512)가 리타겟팅 된 모션 데이터를 나타낸다.Referring to FIG. 5 , motion data retargeted in various types and sizes of various source motion data according to an embodiment of the present invention form a pair 500 and 510 of left and right sides. At this time, in the pair 500 and 510, motion data 501 and 511 on the left correspond to source motion data, and motion data 502 and 512 on the right indicate retargeted motion data.

도 5의 중간 아래 부분의 한 쌍의 모션 데이터(500)를 살펴보면, 리타겟팅 된 모션 데이터(502)는 소스 모션 데이터(501)에서 다리 부분이 리타겟팅 된 것을 알 수 있다.Looking at the pair of motion data 500 in the lower middle of FIG. 5 , it can be seen that the leg part is retargeted in the source motion data 501 as the retargeted motion data 502 .

이때, 소스 모션 데이터(501)에서 다리 부분이 리타겟팅 된 리타겟팅 된 모션 데이터(502)는 운동학적 제약들(kinematic constraints)이 유지된다.At this time, in the retargeted motion data 502 in which the leg part is retargeted in the source motion data 501, kinematic constraints are maintained.

도 5의 중간 위 부분의 한 쌍의 모션 데이터(510)를 살펴보면, 리타겟팅 된 모션 데이터(512)는 소스 모션 데이터(511)에서 팔, 다리 및 크기 부분이 리타겟팅 된 것을 알 수 있다.Looking at a pair of motion data 510 in the middle upper portion of FIG. 5 , it can be seen that the retargeted motion data 512 is retargeted in the source motion data 511 for arms, legs, and size.

이때, 소스 모션 데이터(511)에서 팔, 다리 및 크기 부분이 리타겟팅 된 리타겟팅 된 모션 데이터(512)는 운동학적 제약들(kinematic constraints)이 유지된다.At this time, in the retargeted motion data 512 in which the arm, leg, and size part are retargeted in the source motion data 511, kinematic constraints are maintained.

도 6은 본 발명의 일실시예를 구현하기 위한 예시적인 컴퓨터 시스템의 블록도이다.6 is a block diagram of an exemplary computer system for implementing one embodiment of the present invention.

도 6을 참조하면, 본 발명의 일실시예를 구현하기 위한 예시적인 컴퓨터 시스템은 정보를 교환하기 위한 버스 또는 다른 커뮤니케이션 채널(601)을 포함하고, 프로세서(602)는 정보를 처리하기 위하여 버스(601)와 연결된다.Referring to FIG. 6 , an exemplary computer system for implementing one embodiment of the present invention includes a bus or other communication channel 601 for exchanging information, and a processor 602 for processing the information. 601) is connected.

컴퓨터 시스템(600)은 정보 및 프로세서(602)에 의해 처리되는 명령들을 저장하기 위하여 버스(601)와 연결된 RAM(Random Access Memory) 또는 다른 동적 저장 장치인 메인 메모리(603)를 포함한다. Computer system 600 includes main memory 603, which is random access memory (RAM) or other dynamic storage device coupled to bus 601 for storing information and instructions processed by processor 602.

또한, 메인 메모리(603)는 프로세서(602)에 의한 명령들의 실행동안 임시변수들 또는 다른 중간 정보를 저장하기 위해 사용될 수 있다.Main memory 603 may also be used to store temporary variables or other intermediate information during execution of instructions by processor 602.

컴퓨터 시스템(600)은 프로세서(602)에 대한 정적인 정보 또는 명령들을 저장하기 위하여 버스(601)에 결합된 ROM(Read Only Memory) 및 다른 정적 저장장치(604)를 포함할 수 있다.Computer system 600 may include read only memory (ROM) and other static storage 604 coupled to bus 601 for storing static information or instructions for processor 602 .

마그네틱 디스크, 집(zip) 또는 광 디스크 같은 데이터 저장장치(605) 및 그것과 대응하는 드라이브 또한 정보 및 명령들을 저장하기 위하여 컴퓨터 시스템(600)에 연결될 수 있다.A data storage device 605 and its corresponding drive, such as a magnetic disk, zip or optical disk, may also be coupled to the computer system 600 to store information and instructions.

컴퓨터 시스템(600)은 엔드 유저(end user)에게 정보를 디스플레이 하기 위하여 버스(601)를 통해 음극선관 또는 엘씨디 같은 디스플레이 장치(610)와 연결될 수 있다.The computer system 600 may be connected to a display device 610 such as a cathode ray tube or LCD through a bus 601 to display information to an end user.

키보드(620)와 같은 문자 입력 장치는 프로세서(602)에 정보 및 명령을 전달하기 위하여 버스(601)에 연결될 수 있다.A text input device such as a keyboard 620 may be coupled to bus 601 to convey information and commands to processor 602 .

다른 유형의 사용자 입력 장치는 방향 정보 및 명령 선택을 프로세서(602)에 전달하고, 디스플레이(610) 상의 커서의 움직임을 제어하기 위한 마우스, 트랙볼 또는 커서 방향 키들과 같은 커서 컨트롤 디바이스(630)이다.Another type of user input device is cursor control device 630, such as a mouse, trackball, or cursor direction keys for communicating direction information and command selections to processor 602 and controlling movement of a cursor on display 610.

통신 장치(640) 역시 버스(601)와 연결된다. The communication device 640 is also connected to the bus 601.

통신 장치(640)는 지역 네트워크 또는 광역망에 접속되는 것을 서포트 하기 위하여 모뎀, 네트워크 인터페이스 카드, 이더넷, 토큰 링 또는 다른 유형의 물리적 결합물과 연결하기 위해 사용되는 인터페이스 장치를 포함할 수 있다. 이러한 방식으로 컴퓨터 시스템(600)은 인터넷 같은 종래의 네트워크 인프라 스트럭쳐를 통하여 다수의 클라이언트 및 서버와 연결될 수 있다.Communication device 640 may include an interface device used to interface with a modem, network interface card, Ethernet, token ring, or other type of physical combination to support access to a local area network or wide area network. In this manner, computer system 600 may be connected to a number of clients and servers through a conventional network infrastructure such as the Internet.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 적어도 하나로 선택적으로 결합하여 동작할 수도 있다. In the above, even though all the components constituting the embodiment of the present invention have been described as being combined or operated as one, the present invention is not necessarily limited to these embodiments. That is, within the scope of the object of the present invention, all of the components may be selectively combined with at least one and operated.

또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. In addition, although all of the components may be implemented as a single independent piece of hardware, some or all of the components are selectively combined to perform some or all of the combined functions in one or a plurality of hardware. It may be implemented as a computer program having. Codes and code segments constituting the computer program may be easily inferred by a person skilled in the art.

이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 등이 포함될 수 있다.Such a computer program may implement an embodiment of the present invention by being stored in a computer readable storage medium, read and executed by a computer. A storage medium of a computer program may include a magnetic recording medium, an optical recording medium, and the like.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. In addition, terms such as "include", "comprise" or "have" described above mean that the corresponding component may be inherent unless otherwise stated, excluding other components. It should be construed as being able to further include other components.

기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.All terms, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs, unless defined otherwise. Commonly used terms, such as terms defined in a dictionary, should be interpreted as consistent with the meaning in the context of the related art, and unless explicitly defined in the present invention, they are not interpreted in an ideal or excessively formal meaning.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. The above description is merely an example of the technical idea of the present invention, and various modifications and variations can be made to those skilled in the art without departing from the essential characteristics of the present invention.

따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed according to the claims below, and all technical ideas within the equivalent range should be construed as being included in the scope of the present invention.

100...모션 리타겟팅 장치 110...제1 컨볼루셔널 뉴럴 네트워크
120...리타겟팅 특징 값들 생성 모듈 130...제2 컨볼루셔널 뉴럴 네트워크
140... 손실 함수 값 결정 모듈100 ... motion retargeting device 110 ... first convolutional neural network
120 ... Retargeting feature values generation module 130 ... Second convolutional neural network
140 ... loss function value determination module

Claims

obtaining, by a motion retargeting device, source motion feature values according to the source motion data;
generating, by a motion retargeting device, retargeting feature values by combining target information with the obtained source motion feature values;
obtaining retargeted motion data by using retargeting feature values generated by a motion retargeting device; and
Updating, by the motion retargeting device, the acquired retargeted motion data according to a loss function
Including,
the source motion feature values and the target information are vectors,
motion retargeting device
A motion retargeting method of matching the source motion data classified into preset parts with sub-convolutional networks and acquiring the source motion feature values using the matched sub-convolutional networks.

According to claim 1,
The operation of updating the acquired retargeted motion data,
A motion retargeting method of updating the retargeted motion data through a kinematic optimization process until the loss function value is minimized.

According to claim 2,
The kinematic optimization process,
A motion retargeting method using a back-propagation algorithm to adjust the retargeting feature values.

According to claim 1,
The source motion data and the retargeted motion data are animation data.

According to claim 1,
The source motion data and the retargeted motion data include joint positions information.

According to claim 1,
The source motion data includes bone information.

According to claim 1,
The target information includes bone length ratio information.

A computer-readable storage medium containing a computer program that performs the method of any one of claims 1 to 7 when executed in one or more processes.

In the motion retargeting device,
The motion retargeting device includes a processor,
the processor,
obtaining source motion feature values according to the source motion data;
Combine target information with the obtained source motion feature values to generate retargeting feature values;
Obtaining retargeted motion data using the generated retargeting feature values,
Update the acquired retargeted motion data according to a loss function,
the source motion feature values and the target information are vectors,
the processor,
A motion retargeting device for matching the source motion data classified into preset parts with sub-convolutional networks and obtaining the source motion feature values using the matched sub-convolutional networks.

According to claim 9,
Updating the acquired retargeted motion data,
A motion retargeting device that updates the retargeted motion data through a kinematic optimization process until the loss function value is minimized.

According to claim 10,
The kinematic optimization process,
A motion retargeting device using a back-propagation algorithm to adjust the retargeting feature values.

According to claim 9,
The source motion data and the retargeted motion data are animation data.

According to claim 9,
The motion retargeting device of claim 1 , wherein the source motion data and the retargeted motion data include joint positions information.

According to claim 9,
The source motion data includes bone information.

According to claim 9,
The target information includes bone length ratio information.