KR101768958B1 - Hybird motion capture system for manufacturing high quality contents - Google Patents

Hybird motion capture system for manufacturing high quality contents Download PDF

Info

Publication number
KR101768958B1
KR101768958B1 KR1020160143192A KR20160143192A KR101768958B1 KR 101768958 B1 KR101768958 B1 KR 101768958B1 KR 1020160143192 A KR1020160143192 A KR 1020160143192A KR 20160143192 A KR20160143192 A KR 20160143192A KR 101768958 B1 KR101768958 B1 KR 101768958B1
Authority
KR
South Korea
Prior art keywords
motion
human body
information
module
human
Prior art date
Application number
KR1020160143192A
Other languages
Korean (ko)
Inventor
박진하
김민경
정하형
박준형
Original Assignee
(주)코어센스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)코어센스 filed Critical (주)코어센스
Priority to KR1020160143192A priority Critical patent/KR101768958B1/en
Application granted granted Critical
Publication of KR101768958B1 publication Critical patent/KR101768958B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

The present invention relates to a hybrid motion capture system for producing high quality contents by combining an optical type motion capture system with a sensor type motion capture system. The hybrid motion capture system according to the present invention is a motion capture system capable of grasping and analyzing the location movement and the movement of a human. The hybrid motion capture system according to the present invention includes: a motion sensor unit (100) which measures posture-based human movement information and image-based location movement information; and a monitoring unit (300) which collects measured data from the motion sensor unit (100), generates human model data in which the location movement information and the human movement information are included by combining the location movement information with the posture movement information of the human, and displays the human model data, thereby reducing noise generation probability of the human model data to produce the high quality contents.

Description

고품질 콘텐츠 제작을 위한 하이브리드 모션캡쳐 시스템 {HYBIRD MOTION CAPTURE SYSTEM FOR MANUFACTURING HIGH QUALITY CONTENTS}[0001] HYBRID MOTION CAPTURE SYSTEM FOR MANUFACTURING HIGH QUALITY CONTENTS [0002]

본 발명은 모션캡쳐 시스템에 관한 것으로, 특히 광학식 모션캡쳐 시스템과 센서식 모션캡쳐 시스템을 융합하여 고품질의 콘텐츠를 제작할 수 있도록 하는 하이브리드 모션캡쳐 시스템에 관한 것이다. BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a motion capture system, and more particularly, to a hybrid motion capture system that enables high-quality contents to be produced by combining an optical motion capture system and a sen-style motion capture system.

모션 캡쳐(Motion Cature)란 신체에 센서를 부착시키거나, 적외선 카메라 등을 이용하는 방법으로 인체의 움직임을 파악하여 디지털 형태로 기록하는 작업을 말한다. 이러한 모션 캡쳐를 통해 얻어지는 모션 캡쳐 데이터는 디지털 콘텐츠로서, 애니메이션이나 영화 게임, 동작분석, 재활 등 다양하게 활용된다. Motion Curation refers to the task of attaching a sensor to a body or using an infrared camera to record the movement of a human body in a digital form. The motion capture data obtained through the motion capture is used as digital contents such as animation, movie game, motion analysis, and rehabilitation.

종래 모션 캡쳐 시스템으로는 여러 대의 카메라를 통해서 마커의 위치를 추적함으로서 인체 및 사물의 모션 캡쳐를 수행하는 광학식 모션캡쳐 시스템이 있는데, 이러한 광학식 모셥캡쳐 방식은 마커가 관찰 가능할 때 정밀한 위치정보를 제공해 줄 수 있지만, 마커가 가려지는 경우 추적이 실패하거나 인체 스켈레톤 정보를 제작하는 후반 작업시간이 길어지는 단점을 가지고 있다.In the conventional motion capture system, there is an optical motion capture system that performs motion capture of the human body and objects by tracking the position of the marker through a plurality of cameras. Such an optical capture method provides precise position information when the marker is observable However, when the marker is hidden, tracking failure or the time required for post-processing to produce human skeleton information is prolonged.

다른 방식으로 인체나 사물에 모션센서를 부착하고 이 모션센서의 움직임을 파악하여 모션 캡쳐를 수행하는 센서식 모션캡쳐 시스템이 이용되기도 하는데, 이 방식은 모션센서를 부착하는 방식이기 때문에 광학식에 비하면 사용자의 착용이 수월한 편이다. 하지만, 이 센서식 모션캡쳐 방식은 실제 모션 데이터를 수집할 때 지터링이 심하게 발생하며, 특히 자기식 센서의 경우 특성상 철골 구조물 내부의 스튜디오 환경에서 자세 정보의 변형이 빈번하게 발생하여 사용에 어려움이 있다. 또한, 자기식 센서가 적용된 모션캡쳐는 일반적으로 허리 뒤쪽의 센서를 기준으로 팔과 다리와 같은 온몸의 모션을 추정하는 것이 일반적인데, 이때는 이동 정보를 포함하지 않기 때문에 인체의 움직이는 동작이 발생해도 기준센서가 이동하지 않기 때문에 제자리에서 움직이는 현상이 발생하는 문제점이 있었다. In addition, a sen-style motion capture system is known in which a motion sensor is attached to a human body or object in a different manner and motion capture is performed by detecting the motion of the motion sensor. However, since this method attaches a motion sensor, Is easy to wear. However, in this type of motion capture method, jittering occurs seriously when the actual motion data is collected. Especially, in the case of the magnetic sensor, since the posture information is frequently deformed in the studio environment inside the steel frame structure, have. In addition, motion capture using a magnetic sensor generally estimates motion of an entire body such as arms and legs based on a sensor at the back of the waist. In this case, since motion information is not included, Since the sensor does not move, there is a problem that the sensor moves in place.

대한민국 등록특허공보 제10-1483713호 (2015.01.12)Korean Registered Patent No. 10-1483713 (Jan. 1, 2015)

본 발명은 상기 종래 광학식 또는 센서식 모션캡쳐 시스템에서 발생하는 문제점을 해결하기 위하여 제안된 것으로서, 본 발명의 목적은 광학식 모션캡쳐 시스템과 센서식 모션캡쳐 시스템을 융합하여 고품질의 콘텐츠를 제작할 수 있도록 하는 하이브리드 모션캡쳐 시스템을 제공하는 데 있다. An object of the present invention is to provide a motion capture system and a motion capture system which can combine an optical motion capture system and a sen format motion capture system to produce high quality contents And to provide a hybrid motion capture system.

상기 목적을 달성하기 위한 본 발명에 따른 하이브리드 모션캡쳐 시스템은 인체 움직임 및 위치 이동을 파악하여 분석하는 모션캡쳐 시스템으로서, 자세 기반의 인체 움직임 정보와, 영상 기반의 위치 이동 정보를 각각 측정하는 모션센서부와; 상기 모션센서부로부터 측정된 데이터를 수집하여, 인체의 자세 움직임 정보 및 위치 이동 정보를 융합하여 인체의 움직임 및 이동 정보가 포함된 인체 모델 데이터를 생성하고 표시하는 모니터링부;를 포함한다. According to an aspect of the present invention, there is provided a hybrid motion capture system for capturing and analyzing human motion and position movement, the motion capture system including a motion sensor for measuring posture-based human motion information and image- Wealth; And a monitoring unit for collecting the measured data from the motion sensor unit and fusing the posture motion information and the movement information of the human body to generate and display the human body model data including the motion and movement information of the human body.

상기 모션센서부는 인체의 관절에 각각 부착되어 인체의 움직임에 따른 정보를 각각 측정하는 복수의 모션센서가 구비된 자세측정센서 기반의 센서식 모션측정모듈과; 인체의 기준 위치에 부착된 마커를 카메라를 통하여 촬영하여 마커가 부착된 인체의 위치 이동 정보를 측정하는 광학식 위치측정모듈;을 포함한다. 또한, 상기 모션센서에는 MEMS(Micro Electro Mechanical Systems) 형태의 3축 자이로센서, 가속도센서, 지자기센서가 구비된 센서부와, 마이크로프로세서가 구비된 신호처리부와, 전원부 및 Wifi 방식 또는 Micro USB 방식의 통신부가 구비되어, 인체의 움직임에 따른 롤, 피치, 요 자세정보를 측정하고, 측정된 3차원 움직임 정보를 통신부를 통하여 외부에 전송하게 된다. 여기에서 상기 모션센서는 15개 이상 인체의 관절 부위에 각각 부착되어 인체의 움직임 정보를 측정하고, 상기 광학식 위치측정모듈에서 위치 이동의 기준이 되는 마커는 인체의 머리 부위에 부착된 모션센서에 부착되는 것이 바람직하다. The motion sensor unit may include a sensor for sensing motion based on the sensor of the posture sensor, the motion sensor unit being attached to the joint of the human body and measuring motion information of the human body, respectively; And an optical position measuring module for measuring a marker attached to the reference position of the human body through the camera and measuring the positional information of the human body to which the marker is attached. In addition, the motion sensor includes a sensor unit having a three-axis gyro sensor of MEMS (Micro Electro Mechanical Systems) type, an acceleration sensor, a geomagnetic sensor, a signal processing unit having a microprocessor, a power unit, A communication unit is provided to measure the roll, pitch, and yaw attitude information according to the motion of the human body, and transmits the measured three-dimensional motion information to the outside through the communication unit. Here, the motion sensor is attached to at least 15 joints of the human body to measure motion information of the human body, and the marker, which is a reference for movement of the optical position measuring module, is attached to a motion sensor attached to the head of the human body .

한편, 상기 모니터링부는 모션센서부를 통하여 측정된 데이터를 수신하여 수집하는 데이터 수집모듈과; 상기 데이터 수집모듈을 통하여 수집된 데이터 중 센서식 모션측정모듈을 통하여 측정된 데이터를 분석하여 인체 움직임 정보를 파악하는 움직임 분석모듈과; 상기 데이터 수집모듈을 통하여 수집된 데이터 중 광학식 위치측정모듈을 통하여 측정된 데이터를 분석하여 인체 위치 이동 정보를 파악하는 위치 분석모듈과; 상기 움직임 분석모듈과 위치 분석모듈을 통하여 파악되는 인체의 움직임 정보 및 위치 이동 정보를 융합하여 인체 모델 데이터를 생성하는 모션 융합모듈과; 상기 모션 융합모듈을 통하여 융합된 인체 모델 데이터의 움직임 및 이동 정보를 3차원 영상으로 표시하는 3D 표시모듈;을 포함한다. The monitoring unit may include a data acquisition module for receiving and collecting data measured through the motion sensor unit; A motion analysis module for analyzing data measured through a senformant motion measurement module of the data collected through the data acquisition module to grasp human motion information; A position analysis module for analyzing the data measured through the optical position measurement module among the data collected through the data collection module to grasp the human body position movement information; A motion fusion module for generating human body model data by fusing movement information and movement information of the human body, which are grasped through the motion analysis module and the position analysis module; And a 3D display module for displaying movement and movement information of the human body model data fused through the motion fusion module in a three-dimensional image.

여기에서 상기 움직임 분석 모듈은 센서식 모션측정모듈을 통하여 측정된 인체 움직임 신호를 분석하여, 인체 관절의 회전은 3차원 공간 좌표계에서 오일러각(Euler angle)으로 나타내고, 여기에 골격 기하형상 정보를 정렬시켜 자세제어 알고리즘을 통하여 각 관절에 대한 회전각을 생성하며, 초기 자세에서의 관절각도를 기준으로 각도 제한 값을 이용하여 표현함으로써 디지털 인체 모델링 구조인 H-ANIM 표준을 기반으로 인체 모델링을 수행하게 된다. Here, the motion analysis module analyzes the human motion signal measured through the senformant motion measurement module. The rotation of the human joint is represented by an Euler angle in a three-dimensional spatial coordinate system, and the skeletal geometric shape information is sorted And the angle of rotation of each joint is generated through the attitude control algorithm. By expressing the angle of rotation based on the joint angle in the initial posture, human body modeling is performed based on the H-ANIM standard, which is a digital human body modeling structure do.

또한, 상기 모니터링부에는 모션 융합모듈을 통하여 생성된 인체 모델 데이터를 실시간으로 모션 빌더(Motion Builder)로 전송해주는 모션 빌더 플러그인이 구비된다. In addition, the monitoring unit is provided with a motion builder plug-in that transmits the human body model data generated through the motion fusion module to a motion builder in real time.

상기 모션센서부는 측정 데이터를 Mico-USB 커넥터 또는 Wifi 통신을 통하여 중계기에 전송하고, 상기 중계기는 모션센서부로부터 전송되는 측정 데이터를 취합하여 Wifi 통신을 통해 모니터링부에 전송할 수 있다. The motion sensor unit transmits measurement data to a repeater through a Mico-USB connector or Wifi communication. The repeater collects measurement data transmitted from the motion sensor unit and transmits the measurement data to the monitoring unit through Wifi communication.

본 발명에 따른 하이브리드 모션캡쳐 시스템은 광학식 모션캡쳐 시스템과 센서식 모션캡쳐 시스템을 융합하여 인체 모델 데이터의 노이즈 발생 확률을 줄일 수 있어 고품질의 콘텐츠를 제작할 수 있도록 하는 효과가 있다. 특히, 종래 센서식 모션캡쳐는 위치정보를 주지 못하기 때문에 인체의 모션이 제자리에서만 움직이는 단점을 가지고 있지만, 본 발명에서는 인체 모션의 위치 정보를 광학식 모션캡쳐 장비로부터 받기 때문에 자연스러운 이동의 표현이 가능한 효과가 있다. The hybrid motion capture system according to the present invention is capable of reducing the noise generation probability of the human body model data by combining the optical motion capture system and the sen-style motion capture system, thereby producing a high-quality content. Particularly, although the conventional sen format motion capture has the disadvantage that the motion of the human body moves only in place because it can not give the position information, in the present invention, since the position information of the human motion is received from the optical motion capture device, .

도 1은 본 발명에 따른 하이브리드 모션캡쳐 시스템의 전체 개념도,
도 2는 본 발명에 따른 하이브리드 모션캡쳐 시스템의 블럭 구성도,
도 3은 본 발명에 따른 모션센서부의 설치 일례,
도 4는 본 발명에 따른 모션센서의 일례,
도 5는 본 발명에 따른 중계기의 블럭 구성도.
도 6은 본 발명에 따른 모니터링부의 3D 표시모듈을 통하여 화면에 표시되는 인체 움직임 화면 일례,
도 7은 본 발명에 따른 모션 빌더 플러그인을 통하여 데이터가 실시간으로 전송되는 모니터링부와 모션 빌더의 화면 일례,
도 8은 본 발명에 따른 하이브리드 모션캡쳐 시스템의 동작 과정을 나타낸 흐름도이다. FIG. 1 is a whole conceptual view of a hybrid motion capture system according to the present invention,
FIG. 2 is a block diagram of a hybrid motion capture system according to the present invention.
FIG. 3 is a view showing an example of the installation of the motion sensor unit according to the present invention,
4 shows an example of a motion sensor according to the present invention,
5 is a block diagram of a repeater according to the present invention;
FIG. 6 illustrates an example of a human motion picture displayed on a screen through the 3D display module of the monitoring unit according to the present invention,
FIG. 7 illustrates an example of a screen of a monitoring unit and a motion builder in which data is transmitted in real time through a motion builder plug-in according to the present invention,
FIG. 8 is a flowchart illustrating an operation of the hybrid motion capture system according to the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 하이브리드 모션캡쳐 시스템의 전체 개념도를 나타낸 것이다. 1 is a general conceptual diagram of a hybrid motion capture system according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명에 따른 하이브리드 모션캡쳐 시스템은 인체에 부착된 모션센서의 신호를 분석하여 인체의 3차원 움직임을 파악하고, 광학식 카메라를 통하여 인체에 부착된 마커의 이동을 촬영하고 분석하여 위치 이동을 파악하며, 이러한 인체의 3차원 움직임 정보와 인체의 위치 이동 정보를 융합하여 고정밀 모션캡쳐를 수행하는 시스템이다. 즉, 자세측정센서 기반의 모션센서는 롤, 피치, 요의 자세정보만을 제공하기 때문에 인체 모델 데이터에서 움직임은 표현하지만 공간상에서의 이동정보는 표현할 수 없는데, 본 발명에서는 여기에 카메라 기반의 광학식 위치측정 시스템과 결합하여 모션캡쳐시 자세정보뿐만 아니라 이동 정보를 제공할 수 있도록 한다. As shown in FIG. 1, the hybrid motion capture system according to the present invention analyzes signals of a motion sensor attached to a human body and grasps the three-dimensional movement of the human body, captures the movement of the marker attached to the human body through an optical camera Dimensional motion information of the human body and position movement information of the human body to perform high-precision motion capturing. In other words, since the motion sensor based on the attitude sensor provides only the attitude information of the roll, pitch, and urine, motion can be expressed in the human body model data, but movement information in the space can not be expressed. In the present invention, It is combined with the measurement system to provide motion information as well as posture information in motion capture.

또한, 본 발명의 하이브리드 모션캡쳐 시스템은 이러한 인체의 3차원 움직임 정보와 위치 이동 정보가 융합된 인체 모델 데이터를 모니터링 프로그램을 통해 실시간으로 화면에 표시하며, 이를 플러그인을 통해 특수촬영업계에서 사용하고 있는 모션빌더(Motion Builder)와 연동시키게 된다. Further, the hybrid motion capture system of the present invention displays human body model data in which three-dimensional motion information and position movement information of a human body are fused, on a screen in real time through a monitoring program, and is used in a special shooting industry through a plug- It will be linked with Motion Builder.

도 2는 이러한 본 발명에 따른 하이브리드 모션캡쳐 시스템의 블럭 구성도를 나타낸 것이다. FIG. 2 is a block diagram of the hybrid motion capture system according to the present invention.

도 2에 도시된 바와 같이, 본 발명에 따른 하이브리드 모션캡쳐 시스템은 인체의 움직임 및 위치 이동 정보를 측정하는 모션센서부(100)와, 상기 모션센서부(100)로부터 측정 데이터를 수집하여 모니터링부(300)에 전송하는 중계기(200)와, 상기 중계기(200)로부터 전송되는 모션센서부(100)의 측정 데이터를 분석하여 인체의 움직임 및 위치 이동 정보가 함께 포함된 인체 모델 데이터를 생성하고 표시하는 모니터링부(300)를 포함하여 이루어진다. 2, the hybrid motion capturing system according to the present invention includes a motion sensor unit 100 for measuring movement and position information of a human body, and a controller 120 for collecting measurement data from the motion sensor unit 100, (200) for analyzing the measurement data of the motion sensor unit (100) transmitted from the relay device (200) to generate human body model data including human body movement and position movement information, And a monitoring unit (300)

상기 모션센서부(100)는 인체의 3차원 움직임을 감지하는 센서식 모션측정모듈(110)과 인체의 위치 이동을 감지하는 광학식 위치측정모듈(120)을 포함하여 이루어진다. The motion sensor unit 100 includes a senformant motion measurement module 110 for sensing three-dimensional movement of a human body and an optical position measurement module 120 for sensing a movement of a human body.

상기 센서식 모션측정모듈(110)은 인체의 관절 부위에 자세측정 기반의 모션센서를 부착하고, 이 모션센서를 통하여 인체의 3차원 움직임을 측정하여 중계기(200)에 전송하게 된다. 이러한 자세측정센서 기반의 모션센서는 롤(Roll), 피치(Pitch), 요(Yaw)의 자세정보만을 제공하기 때문에 인체 모델링 데이터에서 움직임은 표현하지만 공간상에서의 이동 정보는 표현할 수 없다. The senst form motion measurement module 110 attaches a motion sensor based on a posture measurement to a joint region of the human body, measures the three-dimensional movement of the human body through the motion sensor, and transmits the motion to the relay 200. Since the motion sensor based on the attitude sensor provides only the attitude information of the roll, pitch, and yaw, movement is expressed in the human body modeling data, but movement information in the space can not be expressed.

이에 따라 본 발명에서는 인체의 공간상 이동 정보를 파악하기 위해 모션센서부(100)에 광학식 위치측정모듈(120)을 구비하였는데, 이 광학식 위치측정모듈(120)은 인체에 위치 이동 기준점이 되는 마커를 부착하고 광학식 카메라를 이용하여 이 마커를 촬영한 후 마커의 위치 이동을 분석하여 인체의 위치 이동을 파악할 수 있도록 한다. Accordingly, in the present invention, the motion sensor unit 100 is provided with the optical position measurement module 120 to grasp the spatial movement information of the human body. The optical position measurement module 120 includes a marker And the marker is photographed using an optical camera, and then the positional movement of the marker is analyzed to grasp the positional shift of the human body.

도 3은 본 발명의 실시예에 따른 모션센서부의 설치 일례를 나타낸 것으로, 본 발명의 실시예에서는 15개 이상의 모션센서(S)를 인체의 관절 부위에 부착하여 인체의 움직임을 파악할 수 있도록 하는데, 이 모션센서(S)에는 각각 고유의 ID가 부여되어 어느 관절에서 측정한 신호인지를 구별할 수 있도록 한다. 또한, 인체의 머리 부위에 카메라로 인식 가능한 비젼 마커(M)를 부착하고 이를 광학식 카메라(C)로 촬영하여 마커(M)의 위치 이동을 파악할 수 있도록 하였다. 본 발명의 실시예에서 상기 마커(M)는 인체의 머리 부위에 부착된 모션센서(S)에 부착되어 인체의 위치 이동 기준점을 제공하게 된다. FIG. 3 shows an example of the installation of the motion sensor unit according to the embodiment of the present invention. In the embodiment of the present invention, more than 15 motion sensors S are attached to the joints of the human body, Each motion sensor S is given a unique ID so that it can distinguish which signal is measured by which joint. In addition, a vision marker M recognizable by a camera is attached to the head of a human body, and the movement of the marker M can be grasped by photographing the vision marker M with the optical camera C. In the embodiment of the present invention, the marker M is attached to a motion sensor S attached to a head part of a human body to provide a reference point of movement of the human body.

도 4는 본 발명의 실시예에 따른 모션센서의 일례를 나타낸 것으로, 모션센서(S)는 MEMS(Micro Electro Mechanical Systems) 형태의 3축 자이로센서, 가속도센서, 지자기센서가 구비된 센서부와, ARM 기반 마이크로프로세서가 구비된 신호처리부와, 전원부 및 Wifi 방식 또는 Micro USB 방식의 통신부를 포함하는 전자기판(PCB)으로 설계되어, 인체에 착용 가능하게 구성된다. 상기의 구성으로 이루어지는 모션센서(S)는 인체의 관절부위에 부착되어 인체의 움직임에 따른 롤, 피치, 요 자세정보를 측정하고, 측정된 움직임 신호를 통신부를 통하여 중계기(200)에 각각 전송하게 된다. 4 illustrates an example of a motion sensor according to an embodiment of the present invention. The motion sensor S includes a sensor unit including a three-axis gyro sensor of MEMS (Micro Electro Mechanical Systems) type, an acceleration sensor, and a geomagnetic sensor, A signal processing unit provided with an ARM-based microprocessor, and an electronic board (PCB) including a power unit and a Wifi or Micro USB communication unit. The motion sensor S having the above-described structure is attached to the joint part of the human body, measures the roll, pitch, and yaw attitude information according to the motion of the human body, and transmits the measured motion signal to the relay device 200 through the communication part do.

상기 중계기(200)는 모션센서부(100)의 센서식 모션측정모듈(110)에 구비된 각 모션센서로부터 인체 움직임 측정 데이터를 전송받고, 광학식 위치측정모듈(120)로부터 마커 이동 측정 데이터를 전송받아 이를 취합한 후, 무선 방식으로 모니터링부(300)에 전송하는 중계 장치이다. 본 발명의 실시예에서 상기 중계기는 AP(Access Point) 장치로 이루어지는데, 도 5는 이러한 AP 장치로 이루어지는 중계기의 블럭 구성도를 나타낸 것이다. The repeater 200 receives the human motion measurement data from each motion sensor provided in the senformed motion measurement module 110 of the motion sensor unit 100 and transmits marker movement measurement data from the optical position measurement module 120 Collects them, and transmits them to the monitoring unit 300 in a wireless manner. In the embodiment of the present invention, the repeater is composed of AP (Access Point) devices, and FIG. 5 is a block diagram of a repeater composed of such AP devices.

도 5에 도시된 바와 같이, 중계기(200)에는 모션센서부(100)와의 통신을 위한 커넥터부(211), X86 기반의 프로세서로 구성된 신호 처리부(212), 전원부(213), 센서 상태를 표시하는 디스플레이부(214), 모니터링부(300)와 통신을 수행하는 Wi-fi 방식의 데이터 전송부(215)를 포함하는 전자기판(PCB)으로 설계된다, 상기 커넥터부(211)는 모션센서와의 통신을 위한 Wifi 통신모듈 또는 USB 커넥터로 이루어질 수 있는데, USB 커넥터로 이루어지는 경우 방수 방진이 가능한 원형의 소형 커넥터가 사용되고, 다수의 모션센서를 연결할 수 있도록 USB-Hub Chip이 구비된다. 5, the repeater 200 includes a connector unit 211 for communicating with the motion sensor unit 100, a signal processing unit 212 including an X86-based processor, a power unit 213, And a Wi-fi type data transfer unit 215 for communicating with the monitoring unit 300. The connector unit 211 includes a motion sensor, A USB connector, a USB connector, and the like. In the case of a USB connector, a circular small connector capable of waterproof and dustproofing is used, and a USB-hub chip is provided to connect a plurality of motion sensors.

상기의 구성으로 이루어지는 중계기(200)는 모션센서부(100)로부터 전송되는 데이터를 통합하여 Wifi 통신을 통하여 모니터링부(300)에 전송하게 되는데, 모션센서부(100)와 모니터링부(300)에 근접에 위치하는 경우 이러한 중계기(200)는 생략되고 모니터링부(300)에서 모션센서부(100)로부터 측정 데이터를 직접 전송받아 취합하여 분석할 수도 있다. The repeater 200 configured as described above integrates the data transmitted from the motion sensor unit 100 and transmits the combined data to the monitoring unit 300 through Wifi communication. The motion sensor unit 100 and the monitoring unit 300 The repeater 200 may be omitted and the monitoring unit 300 may directly receive the measurement data from the motion sensor unit 100 and analyze the collected data.

상기 모니터링부(300)는 중계기(200)를 통하여 전송되는 모션센서부(100)의 측정 데이터를 분석하여 인체의 3차원 움직임 및 위치 이동 정보를 융합하여 3차원 영상으로 표현하는 프로그램이다. 본 발명에 따른 모니터링부(300)에는 중계기(200)로부터 전송되는 모션센서부(100)의 측정데이터를 수신하는 취합하는 데이터 수집모듈(310)과, 상기 데이터 수집모듈(310)을 통하여 수집된 데이터 중 센서식 모션측정모듈(110)을 통하여 측정된 데이터를 분석하여 인체 움직임을 파악하는 움직임 분석모듈(320)과, 상기 데이터 수집모듈(310)을 통하여 수집된 데이터 중 광학식 위치측정모듈(120)을 통하여 측정된 데이터를 분석하여 인체 위치 이동을 파악하는 위치 분석모듈(330)과, 상기 움직임 분석모듈(320)과 위치 분석모듈(330)을 통하여 파악되는 인체의 움직임 및 위치 이동 정보를 융합하여 인체 모델 데이터를 생성하는 모션 융합모듈(340)과, 상기 모션 융합모듈(340)을 통하여 융합된 인체 모델 데이터의 움직임 및 이동 정보를 3차원 영상으로 표현하는 3D 표시모듈(350)과, 상기 모션 융합모듈(340)을 통하여 생성된 인체 모델 데이터를 실시간으로 모션 빌더로 연결해주는 모션 빌더 플러그인(360)이 구비된다. The monitoring unit 300 analyzes the measurement data of the motion sensor unit 100 transmitted through the repeater 200 and fuses the three-dimensional motion and the positional movement information of the human body and displays the three-dimensional image. The monitoring unit 300 according to the present invention includes a data collecting module 310 for collecting measurement data of the motion sensor unit 100 transmitted from the repeater 200, A motion analyzing module 320 for analyzing the measured data through the senform motion measuring module 110 of the data and analyzing the human body motion and an optical position measuring module 120 for collecting data collected through the data collecting module 310. [ A motion analysis module 320 and a position analysis module 330. The motion analysis module 330 analyzes the measured motion data and the motion information of the human body to determine the position of the human body, A motion fusion module 340 for generating human body model data, a 3D table 330 for representing movement and movement information of the human body model data fused through the motion fusion module 340 as a three- The module 350, a motion builder plug 360 that connects the human body model data generated by the motion fusion module 340 to the motion builder real time is provided.

상기 움직임 분석모듈(320)은 데이터 수집모듈(310)을 통하여 수집된 데이터 중 센서식 모션측정모듈(110)의 각 모션센서를 통하여 측정된 인체 관절의 3차원 움직임 신호, 즉 롤(Roll), 피치(Pitch), 요(Yaw)의 자세 정보를 이용하여 인체의 움직임을 분석하게 된다. 본 발명의 실시예에서 상기 움직임 분석모듈(320)은 디지털 인체 모델링 구조인 H-ANIM 표준에 기반하여 인체 움직임을 모델링하게 되는데, 이 H-ANIM은 3D 인체모델을 사용하는 프로그램과 시스템들이 서로 간에 정보교환이 원활하게 이루어지지 않는 문제점을 해결하기 위해 제안된 표준으로 별도의 데이터 변환없이 다양한 모션 기반 서비스 컨텐츠 개발에 적용된다. 모션센서를 통하여 측정된 데이터는 센서에서 측정한 각도로 표현한 3차원 자세정보를 가지는데, 본 발명에서는 각 관절의 움직임을 1, 3 자유도의 구형(spherical) 조인트로 모델링 하여 순기구학이나 동역학 시물레이션 수행을 용이하도록 한다. 즉, 각 관절의 회전은 3차원 공간 좌표계에서 오일러각(Euler angle)으로 나타내고, 여기에 골격 기하형상 정보를 정렬시켜 자세제어 알고리즘을 통하여 각 관절에 대한 회전각을 생성하며, 초기 자세에서의 관절각도를 기준으로 각도 제한 값을 이용하여 표현하게 된다. 또한, 관절 제한 보정을 위해서 인접한 부위(예를 들면, 몸체, 어깨, 팔꿈치 등) 간의 자세 차각을 계산하여 각 관절의 정확한 관절각의 범위를 비교하며 몸체를 자세의 기준으로 몸체에서 멀어지는 방향으로 차각을 계산하는 프로세스를 수행하게 된다. The motion analysis module 320 analyzes three-dimensional motion signals of the human joint measured through each motion sensor of the senform motion estimation module 110 among the data collected through the data acquisition module 310, Pitch and Yaw attitude information is used to analyze human body movements. In the embodiment of the present invention, the motion analysis module 320 models human motion based on the H-ANIM standard, which is a digital human body modeling structure. The H-ANIM is a program and a system using a 3D human body model, In order to solve the problem that information exchange is not smooth, it is a proposed standard and it is applied to the development of various motion based service contents without any data conversion. In the present invention, the movement of each joint is modeled as a spherical joint having 1 or 3 degrees of freedom, and the forward kinematics or dynamics simulation is performed. . In other words, the rotation of each joint is represented by an Euler angle in a three-dimensional spatial coordinate system, and the skeletal geometric shape information is aligned to generate rotational angles for each joint through an attitude control algorithm, It is expressed using angle limit value based on angle. In order to correct the limitation of the joint, it is necessary to compute the posture angle difference between the adjacent parts (for example, the body, the shoulder, the elbow, etc.) and to compare the correct range of the joint angle of each joint. Is calculated.

한편, 이러한 움직임 분석모듈(320)에 의해 분석되는 인체의 움직임 정보에는 위치 이동 정보는 포함되지 않는다. 이에 반해, 위치 분석모듈(330)은 데이터 수집모듈(310)을 통하여 수집된 데이터 중 광학식 위치측정모듈(120)의 카메라를 통하여 측정된 마커의 위치 이동 신호를 분석하여, 마커가 부착된 인체의 위치 이동 정보를 파악하게 된다. Meanwhile, the movement information of the human body analyzed by the motion analysis module 320 does not include position movement information. On the other hand, the position analysis module 330 analyzes the position movement signal of the marker measured through the camera of the optical position measurement module 120 among the data collected through the data collection module 310, And the position movement information is grasped.

상기 모션 융합모듈(340)은 움직임 분석모듈(320)과 위치 분석모듈(330)을 통하여 파악되는 인체의 움직임 정보 및 위치 이동 정보를 융합하여, 인체가 실제 공간에서 움직이며 이동하는 동작을 나타내는 인체 모델 데이터를 생성하여 저장하게 된다. 이 모션 융합모듈(340)은 인체의 머리에 부착한 마커의 위치 이동 정보에 모션센서를 통하여 파악되는 인체 움직임 정보를 융합하여 인체의 실제 움직임을 재현하게 된다. The motion fusion module 340 fuses the movement information of the human body and the movement information of the human body detected through the motion analysis module 320 and the position analysis module 330 and displays the motion of the human body Model data is generated and stored. The motion fusion module 340 reproduces the actual motion of the human body by fusing the motion information of the human being detected through the motion sensor with the movement information of the marker attached to the head of the human body.

상기 3D 표시모듈(350)은 모션 융합모듈(340)에 의해 생성되는 인체 모델 데이터를 화면에 표시하여 인체가 실제 움직이는 영상을 표현하게 된다. 도 6은 이러한 3D 표시모듈을 통하여 화면에 표시되는 인체 움직임 화면 일례로서, 3D 표시모듈(350)은 H-ANIM 표준에 맞춰 디자인된 디지털 인체 모델을 사용하여 인체 운동 원리에 따라 자연스러운 움직임을 화면을 표시하게 된다. 본 발명에서는 인체 움직임을 표현할 때 자연스러운 움직임을 위해 각 인체 관절의 자유도에 따라 정해진 축 데이터를 사용하게 되는데, 모션센서부(100)의 각 모션센서가 인체 모델 관절에 해당하게 된다. The 3D display module 350 displays the human body model data generated by the motion fusion module 340 on the screen to display an image in which the human body actually moves. 6 shows an example of a human motion picture displayed on the screen through the 3D display module. The 3D display module 350 uses a digital human body model designed according to the H-ANIM standard to display a natural motion according to the human motion principle . In the present invention, the axis data determined according to the degree of freedom of each human body joint is used for natural movement when expressing human motion. Each motion sensor of the motion sensor unit 100 corresponds to a human model joint.

상기 모션 빌더 플러그인(360)은 모션 융합모듈(340)에 의해 생성되는 인체 모델 데이터를 모션 빌더에 실시간 전송하여 연동가능하게 하는 프로그램으로서, 모션 빌더(Motion Builder)는 Autodesk사에서 개발한 3D 캐릭터 애니메이션을 위한 프로그램으로서, Autodesk에서 제공하는 기존 3D DesignTool인 3D MAX, Maya 등과 호환이 가능하며, 실시간 및 저장된 데이터를 바탕으로 애니메이션 손질이 가능한 툴이다. 본 발명에서는 이 모션 빌더 플러그인(360)을 통하여 실시간으로 모션 빌더에 인체 모델 데이터를 전송하여, 모션 빌더에서 인체 모델 데이터를 이용하여 애니메이션으로 활용하고 수정할 수 있도록 한다. 도 7은 이러한 모션 빌더 플러그인을 통하여 데이터가 실시간으로 전송되는 모니터링부(300)와 모션 빌더의 화면 일례를 나타낸 것이다. The motion builder plug-in 360 is a program that allows the human body model data generated by the motion fusion module 340 to be transmitted to the motion builder in real time and interlocked. The Motion Builder is a 3D character animation It is compatible with 3D MAX and Maya, which are the existing 3D DesignTools provided by Autodesk, and is a tool that can animate based on real-time and stored data. In the present invention, the human body model data is transmitted to the motion builder through the motion builder plug-in 360 in real time, so that the motion builder can utilize and modify the human body model data as an animation. FIG. 7 shows an example of a screen of the monitoring unit 300 and the motion builder in which data is transmitted in real time through the motion builder plug-in.

이하에서는 상기의 구성으로 이루어진 하이브리드 모션캡쳐 시스템을 통하여 인체의 움직임 및 위치 이동 정보가 분석되어 표시되는 과정에 대하여 설명하기로 한다. Hereinafter, a process of analyzing and displaying the movement and position information of a human body through the hybrid motion capturing system having the above-described configuration will be described.

도 8은 본 발명의 실시예에 따른 하이브리드 모션캡쳐 시스템의 동작 과정을 나타낸 흐름도이다. FIG. 8 is a flowchart illustrating an operation of a hybrid motion capture system according to an embodiment of the present invention.

단계 S110, S120 : 모션센서부(100)의 센서식 모션측정모듈(110)은 인체의 각 관절에 부착된 모션센서를 통하여 인체의 3차원 움직임 신호를 측정하고, 이를 중계기(200)에 실시간으로 전송하게 된다(S110). 또한 모션센서부(100)의 광학식 위치측정모듈(120)은 인체의 머리 부위에 부착된 마커를 카메라를 통하여 촬영하여 마커의 위치 이동 신호를 측정하고, 이를 중계기(200)에 실시간으로 전송하게 된다(S120). Steps S110 and S120: The senformed motion measurement module 110 of the motion sensor unit 100 measures a three-dimensional motion signal of the human body through a motion sensor attached to each joint of the human body and transmits the three-dimensional motion signal to the relay 200 in real time (S110). In addition, the optical position measurement module 120 of the motion sensor unit 100 photographs the marker attached to the head of the human body through the camera, measures the position movement signal of the marker, and transmits it to the relay 200 in real time (S120).

단계 S130, S140 : 중계기(200)는 모션센서부(100)의 센서식 모션측정모듈(110) 및 광학식 위치측정모듈(120)로부터 전송되는 인체 움직인 측정 신호 및 마커 위치 이동 신호를 취합하여 Wifi 통신을 통해 모니터링부(300)에 실시간으로 전송하게 되고(S130), 모니터링부(300)의 데이터 수집모듈(310)은 중계기(200)로부터 전송되는 측정 신호를 수집하여 데이터 종류에 따라 각각 움직임 분석모듈(320) 및 위치 분석모듈(330)로 전송하게 된다(S140). Steps S130 and S140: The repeater 200 collects the human moving measurement signal and the marker position movement signal transmitted from the senformant motion measurement module 110 and the optical position measurement module 120 of the motion sensor unit 100, The data acquisition module 310 of the monitoring unit 300 collects measurement signals transmitted from the repeater 200 and performs a motion analysis according to the data types Module 320 and the location analysis module 330 (S140).

단계 S150, S160, S170 : 모니터링부(300)의 움직임 분석모듈(320)은 데이터 수집모듈(310)로부터 전송된 모션센서의 측정 신호를 분석하여 인체의 3차원 움직임 신호를 생성하게 되고(S150), 위치 분석모듈(330)은 광학식 위치측정모듈(120)을 통하여 측정된 마커 이동 신호를 분석하여 인체의 위치 이동 신호를 생성하게 된다(S160). 또한, 모니터링부(300)의 모션 융합모듈(340)은 상기 위치 분석모듈(330)을 통해 파악된 인체 3차원 움직임 신호와 위치 이동 신호를 융합하여 인체의 위치 이동 및 움직임을 나타내는 인체 모델 데이터를 생성하게 된다(S170). Steps S150, S160, and S170: The motion analysis module 320 of the monitoring unit 300 analyzes the measurement signal of the motion sensor transmitted from the data acquisition module 310 to generate a three-dimensional motion signal of the human body (S150) The position analysis module 330 analyzes the marker movement signal measured through the optical position measurement module 120 to generate a position movement signal of the human body at step S160. In addition, the motion fusion module 340 of the monitoring unit 300 fuses the three-dimensional human motion signal and the position movement signal, which are grasped through the position analysis module 330, and outputs the human body model data representing the movement and movement of the human body (S170).

단계 S180 : 모니터링부(300)의 3D 표시모듈(350)은 모션 융합모듈(340)을 통하여 생성된 인체 모델 데이터를 화면에 표시하여 인체의 움직임 및 이동 동작을 3D 화면으로 표시하게 된다. 또한, 모션 빌더 플러그인(360)을 통하여 인체 모델 데이터를 실시간으로 모션 빌더에 전송함으로써 인체 모델 데이터가 모션 빌더를 통하여 애니메이션으로 표출되고 수정될 수 있도록 한다. Step S180: The 3D display module 350 of the monitoring unit 300 displays the human body model data generated through the motion fusion module 340 on the screen to display the movement and movement of the human body on the 3D screen. In addition, the human body model data is transmitted to the motion builder through the motion builder plug-in 360 in real time, so that the human body model data can be expressed and modified through animation through the motion builder.

이와 같이, 본 발명에 따른 하이브리드 모션캡쳐 시스템은 모션센서를 통하여 인체의 3차원 움직임 신호를 측정하고 광학식 카메라 및 마커를 이용하여 인체의 위치 이동 신호를 측정한 후 이를 융합하여 인체의 움직임 및 위치 이동 정보가 포함된 인체 모델 데이터를 생성하여 화면에 자연스러운 3D 영상으로 표시할 수 있도록 제공한다. As described above, the hybrid motion capturing system according to the present invention measures a three-dimensional motion signal of a human body through a motion sensor, measures a position movement signal of a human body using an optical camera and a marker, Human body model data including information is generated and displayed on the screen as a natural 3D image.

이러한 본 발명은 상술한 실시예에 한정되는 것은 아니며 본 발명이 속하는 기술 분야에서 통상의 지식을 갖는 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구 범위의 균등범위 내에서 다양한 수정 및 변형이 이루어질 수 있음은 물론이다. It is to be understood that the present invention is not limited to the above-described embodiment, and that various modifications and changes may be made by those skilled in the art without departing from the spirit and scope of the appended claims. Of course, can be achieved.

100 : 모션센서부 110 : 센서식 모션측정모듈
120 : 광학식 위치측정모듈 200 : 중계기
210 : AP(Access Point) 300 : 모니터링부
310 : 데이터 수집모듈 320 : 움직임 분석모듈
330 : 위치 분석모듈 340 : 모션 융합모듈
350 : 3D 표시모듈 360 : 모션 빌더 플러그인100: motion sensor unit 110: sen format motion measurement module
120: Optical position measuring module 200: Repeater
210: Access Point (AP) 300: Monitoring Unit
310: Data collection module 320: Motion analysis module
330: Position analysis module 340: Motion fusion module
350: 3D display module 360: MotionBuilder plugin

Claims (8)

자세 기반의 인체 움직임 정보와 영상 기반의 위치 이동 정보를 각각 측정하는 모션센서부(100)와, 상기 모션센서부(100)로부터 측정된 데이터를 수집하여 인체의 자세 움직임 정보 및 위치 이동 정보를 융합하여 인체의 움직임 및 이동 정보가 포함된 인체 모델 데이터를 생성하고 표시하는 모니터링부(300)를 포함하는 하이브리드 모션 캡쳐 시스템으로서,
상기 모션센서부(100)는 인체의 관절에 각각 부착되어 인체의 움직임에 따른 정보를 측정하는 복수의 모션센서가 구비된 자세측정센서 기반의 센서식 모션측정모듈(110)과, 인체의 기준 위치에 부착된 마커를 카메라를 통하여 촬영하여 마커가 부착된 인체의 위치 이동 정보를 측정하는 광학식 위치측정모듈(120)를 포함하고,
상기 모니터링부(300)는 상기 모션센서부(100)를 통하여 측정된 데이터를 수신하여 수집하는 데이터 수집모듈(310)과, 상기 데이터 수집모듈(310)을 통하여 수집된 데이터 중 센서식 모션측정모듈(110)을 통하여 측정된 데이터를 분석하여 인체 움직임 정보를 파악하는 움직임 분석모듈(320)과, 상기 데이터 수집모듈(310)을 통하여 수집된 데이터 중 광학식 위치측정모듈(120)을 통하여 측정된 데이터를 분석하여 인체 위치 이동 정보를 파악하는 위치 분석모듈(330)과, 상기 움직임 분석모듈(320)과 위치 분석모듈(330)을 통하여 파악되는 인체의 움직임 정보 및 위치 이동 정보를 융합하여 인체 모델 데이터를 생성하는 모션 융합모듈(340)과, 상기 모션 융합모듈(340)을 통하여 융합된 인체 모델 데이터의 움직임 및 이동 정보를 3차원 영상으로 표시하는 3D 표시모듈(350)을 포함하되,
상기 모니터링부(300)에는 상기 모션 융합모듈(340)을 통하여 생성된 인체 모델 데이터를 실시간으로 모션 빌더(Motion Builder)로 전송해주는 모션 빌더 플러그인(360)이 더 구비되는 것을 특징으로 하는 하이브리드 모션 캡쳐 시스템.
A motion sensor unit 100 for measuring the posture-based human motion information and the image-based position movement information, respectively; and a controller 110 for collecting the measured data from the motion sensor unit 100, And a monitoring unit (300) for generating and displaying human body model data including human body motion and movement information, the hybrid motion capturing system comprising:
The motion sensor unit 100 includes a sensor-type motion-sensing module 110 based on an attitude-measuring sensor having a plurality of motion sensors attached to the joints of the human body and measuring information according to movement of the human body, And an optical position measurement module 120 for measuring the positional information of the human body with the marker attached thereto by photographing the marker through the camera,
The monitoring unit 300 includes a data collecting module 310 for collecting and collecting data measured through the motion sensor unit 100 and a senformant motion measuring module 310 for collecting data collected through the data collecting module 310. [ A motion analyzing module 320 for analyzing the measured data through the optical position measuring module 110 and analyzing the human motion information, A position analysis module 330 for analyzing the body position information and analyzing the body position information and analyzing the body position information and analyzing the body position information; And a 3D display module 350 for displaying the movement and movement information of the human body model data fused through the motion fusion module 340 as a three-dimensional image ),
The monitoring unit 300 may further include a motion builder plug-in 360 for transmitting the human body model data generated through the motion fusion module 340 to a motion builder in real time. system.
삭제delete 제 1항에 있어서,
상기 모션센서에는 MEMS(Micro Electro Mechanical Systems) 형태의 3축 자이로센서, 가속도센서, 지자기센서가 구비된 센서부와, 마이크로프로세서가 구비된 신호처리부와, 전원부 및 Wifi 방식 또는 Micro USB 방식의 통신부가 구비되어,
인체의 움직임에 따른 롤, 피치, 요 자세정보를 측정하고, 측정된 3차원 움직임 정보를 통신부를 통하여 외부에 전송하는 것을 특징으로 하는 하이브리드 모션 캡쳐 시스템.
The method according to claim 1,
The motion sensor includes a sensor unit having a three-axis gyro sensor of MEMS (Micro Electro Mechanical Systems) type, an acceleration sensor, a geomagnetic sensor, a signal processing unit having a microprocessor, a power unit, and a Wifi- Respectively,
Pitch, and yaw attitude information according to the motion of the human body, and transmits the measured three-dimensional motion information to the outside through the communication unit.
제 1항에 있어서,
상기 모션센서는 15개 이상 인체의 관절 부위에 각각 부착되어 인체의 움직임 정보를 측정하고,
상기 광학식 위치측정모듈(120)에서 위치 이동의 기준이 되는 마커는 인체의 머리 부위에 부착된 모션센서에 부착되는 것을 특징으로 하는 하이브리드 모션 캡쳐 시스템.
The method according to claim 1,
The motion sensor is attached to at least 15 joints of the human body to measure motion information of the human body,
Wherein the marker is a motion sensor attached to a head of a human body, and the marker is attached to a motion sensor attached to a head of a human body.
삭제delete 제 1항에 있어서,
상기 움직임 분석 모듈은 센서식 모션측정모듈(110)을 통하여 측정된 인체 움직임 신호를 분석하여, 인체 관절의 회전은 3차원 공간 좌표계에서 오일러각(Euler angle)으로 나타내고, 여기에 골격 기하형상 정보를 정렬시켜 자세제어 알고리즘을 통하여 각 관절에 대한 회전각을 생성하며, 초기 자세에서의 관절각도를 기준으로 각도 제한 값을 이용하여 표현함으로써 디지털 인체 모델링 구조인 H-ANIM 표준을 기반으로 인체 모델링을 수행하는 것을 특징으로 하는 하이브리드 모션 캡쳐 시스템.
The method according to claim 1,
The motion analysis module analyzes the human motion signal measured through the senformant motion measurement module 110. The rotation of the human joint is represented by an Euler angle in a three-dimensional spatial coordinate system, and skeletal geometry information And the angle of rotation of each joint is generated through the alignment algorithm and the angular limit value is expressed based on the joint angle in the initial posture so that the human body modeling is performed based on the digital human body modeling structure H-ANIM standard Wherein the motion estimation unit is configured to determine the motion of the target object based on the motion information.
삭제delete 제 1항에 있어서,
상기 모션센서부(100)는 측정 데이터를 Mico-USB 커넥터 또는 Wifi 통신을 통하여 중계기(200)에 전송하고, 상기 중계기(200)는 모션센서부(100)로부터 전송되는 측정 데이터를 취합하여 Wifi 통신을 통해 모니터링부(300)에 전송하는 것을 특징으로 하는 하이브리드 모션 캡쳐 시스템. The method according to claim 1,
The motion sensor unit 100 transmits measurement data to the repeater 200 via a Mico-USB connector or Wifi communication. The repeater 200 collects measurement data transmitted from the motion sensor unit 100, To the monitoring unit (300).
KR1020160143192A 2016-10-31 2016-10-31 Hybird motion capture system for manufacturing high quality contents KR101768958B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160143192A KR101768958B1 (en) 2016-10-31 2016-10-31 Hybird motion capture system for manufacturing high quality contents

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160143192A KR101768958B1 (en) 2016-10-31 2016-10-31 Hybird motion capture system for manufacturing high quality contents

Publications (1)

Publication Number Publication Date
KR101768958B1 true KR101768958B1 (en) 2017-08-17

Family

ID=59753100

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160143192A KR101768958B1 (en) 2016-10-31 2016-10-31 Hybird motion capture system for manufacturing high quality contents

Country Status (1)

Country Link
KR (1) KR101768958B1 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110442239A (en) * 2019-08-07 2019-11-12 泉州师范学院 Theatre play virtual reality reproducting method based on motion capture technology
KR102094397B1 (en) * 2019-04-19 2020-03-27 (주)코어센스 Animation Export System Using Motion Sensor Device In Unity Progect
WO2020116837A1 (en) * 2018-12-06 2020-06-11 (주)코어센스 Device for implementing motion on basis of convergence motion capture system, and method thereof
KR20200069220A (en) * 2018-12-06 2020-06-16 (주)코어센스 Appartus for implementing motion based convergence motion capture system and method thereof
CN112581574A (en) * 2020-12-25 2021-03-30 江苏环影动漫文化有限公司 Human body motion capture system and method
KR20220010335A (en) 2020-07-17 2022-01-25 (주)코어센스 Ratio correction method between a real model and virtual model
KR20220010304A (en) 2020-07-17 2022-01-25 (주)코어센스 Method for Estimating 3D Position Using Cross Covariance
KR20220082411A (en) * 2020-12-10 2022-06-17 주식회사 제이콥시스템 Simulator for Virtual Training and Driving Method Thereof
KR20220092053A (en) 2020-12-24 2022-07-01 (주)코어센스 Method for Constructing Virtual Space Movement Platform Using Cross-covariance 3D Coordinate Estimation
KR20220159679A (en) 2021-05-26 2022-12-05 (주)코어센스 Hybrid Motion Capture Position Switching Method for Virtual Fire Drill
KR20230004280A (en) * 2021-06-30 2023-01-06 옥재윤 System for tracking motion using deep learning technic
CN117115341A (en) * 2023-08-03 2023-11-24 广州盘古文化传播有限公司 Digital motion capture system based on sensor

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020116837A1 (en) * 2018-12-06 2020-06-11 (주)코어센스 Device for implementing motion on basis of convergence motion capture system, and method thereof
KR20200069220A (en) * 2018-12-06 2020-06-16 (주)코어센스 Appartus for implementing motion based convergence motion capture system and method thereof
KR102262003B1 (en) * 2018-12-06 2021-06-09 (주)코어센스 Appartus for implementing motion based convergence motion capture system and method thereof
KR102094397B1 (en) * 2019-04-19 2020-03-27 (주)코어센스 Animation Export System Using Motion Sensor Device In Unity Progect
CN110442239A (en) * 2019-08-07 2019-11-12 泉州师范学院 Theatre play virtual reality reproducting method based on motion capture technology
CN110442239B (en) * 2019-08-07 2024-01-26 泉州师范学院 Pear game virtual reality reproduction method based on motion capture technology
KR20220010335A (en) 2020-07-17 2022-01-25 (주)코어센스 Ratio correction method between a real model and virtual model
KR20220010304A (en) 2020-07-17 2022-01-25 (주)코어센스 Method for Estimating 3D Position Using Cross Covariance
KR102492499B1 (en) * 2020-12-10 2023-01-30 주식회사 제이콥시스템 Simulator for Virtual Training and Driving Method Thereof
KR20220082411A (en) * 2020-12-10 2022-06-17 주식회사 제이콥시스템 Simulator for Virtual Training and Driving Method Thereof
KR20220092053A (en) 2020-12-24 2022-07-01 (주)코어센스 Method for Constructing Virtual Space Movement Platform Using Cross-covariance 3D Coordinate Estimation
CN112581574A (en) * 2020-12-25 2021-03-30 江苏环影动漫文化有限公司 Human body motion capture system and method
KR20220159679A (en) 2021-05-26 2022-12-05 (주)코어센스 Hybrid Motion Capture Position Switching Method for Virtual Fire Drill
KR102648471B1 (en) * 2021-05-26 2024-03-18 주식회사 아이팝 Hybrid Motion Capture Position Switching Method for Virtual Fire Drill
KR20230004280A (en) * 2021-06-30 2023-01-06 옥재윤 System for tracking motion using deep learning technic
KR102622981B1 (en) 2021-06-30 2024-01-10 옥재윤 System for tracking motion using deep learning technic
CN117115341A (en) * 2023-08-03 2023-11-24 广州盘古文化传播有限公司 Digital motion capture system based on sensor
CN117115341B (en) * 2023-08-03 2024-02-13 广州盘古文化传播有限公司 Digital motion capture system based on sensor

Similar Documents

Publication Publication Date Title
KR101768958B1 (en) Hybird motion capture system for manufacturing high quality contents
CN111156998B (en) Mobile robot positioning method based on RGB-D camera and IMU information fusion
US10852847B2 (en) Controller tracking for multiple degrees of freedom
CN102448681B (en) Operating space presentation device, operating space presentation method, and program
CN106843507B (en) Virtual reality multi-person interaction method and system
CN111091587B (en) Low-cost motion capture method based on visual markers
CN109313417A (en) Help robot localization
CN108846867A (en) A kind of SLAM system based on more mesh panorama inertial navigations
CN107168515A (en) The localization method and device of handle in a kind of VR all-in-ones
EP2849150A1 (en) Method for capturing the 3D motion of an object, unmanned aerial vehicle and motion capture system
CN109242887A (en) A kind of real-time body's upper limks movements method for catching based on multiple-camera and IMU
US20170182412A1 (en) Information processing apparatus and information processing method
US20200029025A1 (en) Imaging system and method of imaging control
CN109166181A (en) A kind of mixing motion capture system based on deep learning
CN113701750A (en) Fusion positioning system of underground multi-sensor
Yang et al. 3-D markerless tracking of human gait by geometric trilateration of multiple Kinects
Núnez et al. Data Fusion Calibration for a 3D Laser Range Finder and a Camera using Inertial Data.
CN111199576B (en) Outdoor large-range human body posture reconstruction method based on mobile platform
CN116443028A (en) Head posture data acquisition system and method
KR102456872B1 (en) System and method for tracking hand motion using strong coupling fusion of image sensor and inertial sensor
Islam et al. Full-body tracking using a sensor array system and laser-based sweeps
KR101525411B1 (en) Image generating method for analysis of user's golf swing, analyzing method for user's golf swing using the same and apparatus for analyzing golf swing
TWI822423B (en) Computing apparatus and model generation method
Petrič et al. Real-time 3D marker tracking with a WIIMOTE stereo vision system: Application to robotic throwing
CN106872990B (en) A kind of Three dimensional Targets precise positioning and method for tracing

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant