KR20200064901A - Motion capture system using synchronizing pulse and method thereof - Google Patents

Motion capture system using synchronizing pulse and method thereof Download PDF

Info

Publication number
KR20200064901A
KR20200064901A KR1020190140867A KR20190140867A KR20200064901A KR 20200064901 A KR20200064901 A KR 20200064901A KR 1020190140867 A KR1020190140867 A KR 1020190140867A KR 20190140867 A KR20190140867 A KR 20190140867A KR 20200064901 A KR20200064901 A KR 20200064901A
Authority
KR
South Korea
Prior art keywords
marker
synchronization signal
modules
shooting
module
Prior art date
Application number
KR1020190140867A
Other languages
Korean (ko)
Inventor
박진하
김충일
정하형
Original Assignee
(주)코어센스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)코어센스 filed Critical (주)코어센스
Publication of KR20200064901A publication Critical patent/KR20200064901A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Abstract

A motion capture system according to an embodiment of the present invention includes: a synchronization device which generates a synchronization signal for generating pulses at predetermined periods; a plurality of marker modules including a plurality of markers and respectively attached to a plurality of objects to be photographed and repeating the blinking of the plurality of markers, wherein the plurality of marker modules have different lighting times; a plurality of cameras which generate an image capturing the plurality of marker modules and generate one frame for each time of the plurality of marker modules which are turned on based on the synchronization signal respectively; and a terminal device for generating the coordinate information of the plurality of markers based on the synchronization signal, wherein the coordinate information for each of the plurality of marker modules is generated.

Description

동기 펄스를 이용한 모션 캡쳐 시스템 및 그 방법{MOTION CAPTURE SYSTEM USING SYNCHRONIZING PULSE AND METHOD THEREOF}MOTION CAPTURE SYSTEM USING SYNCHRONIZING PULSE AND METHOD THEREOF}

실시 예는 동기 펄스를 이용한 모션 캡쳐 시스템 및 그 방법에 관한 것이다.An embodiment relates to a motion capture system and method using a sync pulse.

모션 캡쳐(Motion Cature)란 신체에 센서를 부착시키거나, 적외선 카메라 등을 이용하는 방법으로 인체의 움직임을 파악하여 디지털 형태로 기록하는 작업을 말한다. 이러한 모션 캡쳐를 통해 얻어지는 모션 캡쳐 데이터는 디지털 콘텐츠로서, 애니메이션이나 영화 게임, 동작분석, 재활 등 다양하게 활용된다.Motion capture (Motion Cature) is a method of attaching a sensor to the body, or using an infrared camera, etc., to identify the movement of the human body and record it in digital form. The motion capture data obtained through the motion capture is digital content, and is used in various ways, such as animation, movie games, motion analysis, and rehabilitation.

모션 캡쳐 시스템은 데이터를 추출하는 방식에 따라 광학식, 기계식, 자기식으로 구분될 수 있다. 기계식은 인체의 각 관절부위의 움직임을 기계장치 부착을 통해 캡처하는 방식으로, 제공되는 데이터는 실시간으로 추출된 관절별 회전데이터로서 매우 정확한 데이터를 제공 받을 수 있다. 그러나, 고중량의 기계 장치를 부착함에 따라 대상이 자연스러운 움직임에 제약을 받게 되고 이로 인해 동작데이터의 추출에도 한계가 있다. 자기식 모션캡처시스템은 대상의 각 관절 부위에 자기장을 발생하는 센서를 부착하고 대상의 움직임에 따른 자기장의 변화를 측정하여 위치데이터를 추출하는 방식이다. 하지만 케이블을 사용하기 때문에 대상의 동작에 제약이 있고, 주위의 금속물체 등에 의해 데이터의 손실이 발생할 우려가 있다는 단점이 있다.The motion capture system can be classified into optical, mechanical, and magnetic methods depending on the method of extracting data. The mechanical type is a method of capturing the movement of each joint part of the human body through attachment of a mechanical device, and the provided data can be provided with very accurate data as rotation data for each joint extracted in real time. However, as the heavy-duty mechanical device is attached, the object is restricted to natural movements, and thus there is a limit in extracting motion data. The magnetic motion capture system is a method of attaching a sensor that generates a magnetic field to each joint part of the object and extracting location data by measuring the change in the magnetic field according to the movement of the object. However, there is a disadvantage in that the operation of the object is restricted due to the use of a cable, and data loss may occur due to surrounding metal objects.

이에 따라 최근에는 여러 대의 카메라를 통해서 마커의 위치를 추적함으로서 인체 및 사물의 모션 캡쳐를 수행하는 광학식 모션 캡쳐 시스템이 주로 이용된다. 광학식 모션캡처는 고속으로 촬영할 수 있어 유실되는 데이터가 거의 없고 대상의 움직임을 제약하는 요소가 없어 자유로운 동작 표현이 가능하여 매우 섬세한 동작을 추출해 낼 수 있다. 하지만, 광학식 모션 캡쳐 방식은 마커가 관찰 가능할 때 정밀한 위치정보를 제공해 줄 수 있지만, 마커가 가려지거나 오브젝트 사이의 마커가 겹치는 경우 추적이 실패하는 문제점이 있다. 많은 수의 카메라를 다각도로 설치하여 이를 해결할 수도 있으나, 광학식 모션 캡쳐 시스템에 이용되는 카메라가 매우 고가이고 카메라의 수에 따라 처리해야 할 데이터의 양이 많아지는 문제점이 발생한다. Accordingly, recently, an optical motion capture system that performs motion capture of a human body and an object by tracking the position of a marker through several cameras is mainly used. Since the optical motion capture can shoot at high speed, there is little data lost and there is no element that restricts the movement of the object, so it is possible to express free motion and extract very delicate motion. However, the optical motion capture method may provide precise location information when the marker is observable, but there is a problem in that tracking fails when the marker is obscured or the markers overlap between objects. This can be solved by installing a large number of cameras from multiple angles, but the camera used in the optical motion capture system is very expensive and the amount of data to be processed increases depending on the number of cameras.

본 발명의 배경이 되는 기술은 한국공개특허 제10-2013-0032579호(2013.04.02.공개)에 개시되어 있다. The background technology of the present invention is disclosed in Korean Patent Publication No. 10-2013-0032579 (published on April 2, 2013).

실시 예는 적은 수의 카메라를 이용하여 다수 사용자에게 부착된 마커를 데이터 손실 없이 실시간 트래킹하기 위한 기술을 제공한다. The embodiment provides a technique for tracking markers attached to multiple users in real time without data loss using a small number of cameras.

실시 예에서 해결하고자 하는 과제는 이에 한정되는 것은 아니며, 아래에서 설명하는 과제의 해결수단이나 실시 형태로부터 파악될 수 있는 목적이나 효과도 포함된다고 할 것이다.The problem to be solved in the embodiment is not limited to this, and it will be said that the object or effect that can be grasped from the solution means or the embodiment of the problem described below is also included.

본 발명의 실시예에 따른 모션 캡쳐 시스템은 기 설정된 주기마다 펄스가 발생하는 동기화 신호를 생성하는 동기화 장치, 복수의 마커를 포함하고, 복수의 촬영 대상에 각각 부착되며, 상기 동기화 신호에 기초하여 복수의 마커의 점멸을 반복하되 상기 복수의 촬영 대상 별로 상기 복수의 마커의 점등 시기가 상이한 복수의 마커 모듈, 상기 복수의 마커 모듈을 촬영한 영상을 생성하되, 상기 동기화 신호에 기초하여 상기 복수의 마커 모듈 각각이 점등하는 시점마다 하나의 프레임을 생성하는 복수의 카메라, 그리고 상기 동기화 신호에 기초하여 상기 영상으로부터 상기 복수의 마커의 좌표 정보를 생성하되, 상기 복수의 마커 모듈 별로 대한 상기 좌표 정보를 생성하는 단말 장치를 포함한다. The motion capture system according to an embodiment of the present invention includes a synchronization device that generates a synchronization signal for generating pulses at predetermined periods, a plurality of markers, and is attached to a plurality of shooting objects, and based on the synchronization signal Repeating the blinking of the markers, but generating a plurality of marker modules having different lighting timings of the plurality of markers for each of the plurality of photographing targets, and generating an image of the plurality of marker modules, based on the synchronization signal. Generates coordinate information of the plurality of markers from the image based on the plurality of cameras generating the single frame for each time each module is lit, and the synchronization signal, and generates the coordinate information for each of the plurality of marker modules It includes a terminal device.

상기 복수의 마커 모듈은, 제1 촬영 대상에 부착된 제1 마커 모듈 및 제2 촬영 대상에 부착된 제2 마커 모듈을 포함하고, 상기 제1 마커 모듈은, 상기 동기화 신호의 하이 레벨(High Level)에서 점등되고 상기 동기화 신호의 로우 레벨(Low Level)에서 소등되며, 상기 제2 마커 모듈은, 상기 동기화 신호의 로우 레벨에서 점등되고 상기 동기화 신호의 하이 레벨에서 소등될 수 있다. The plurality of marker modules includes a first marker module attached to a first object and a second marker module attached to a second object, and the first marker module includes a high level of the synchronization signal. ) And turned off at a low level of the synchronization signal, and the second marker module may be turned on at a low level of the synchronization signal and turned off at a high level of the synchronization signal.

상기 영상은, 상기 동기화 신호의 하이 레벨에서 상기 복수의 마커 모듈을 촬영한 제1 마커 촬영 프레임, 및 상기 동기화 신호의 로우 레벨에서 상기 복수의 마커 모듈을 촬영한 제2 마커 촬영 프레임을 포함할 수 있다. The image may include a first marker photographing frame photographing the plurality of marker modules at a high level of the synchronization signal, and a second marker photographing frame photographing the plurality of marker modules at a low level of the synchronization signal. have.

상기 단말 장치는, 상기 영상으로부터 제1 마커 촬영 프레임과 제2 마커 촬영 프레임을 분류하고, 동일 시점에 촬영된 제1 마커 촬영 프레임의 마커 촬영 정보를 통해 각 시점별로 상기 제1 마커 모듈에 대응하는 제1 좌표 정보를 생성하고, 동일 시점에 촬영된 제2 마커 촬영 프레임의 마커 촬영 정보를 통해 각 시점별로 상기 제2 마커 모듈에 대응하는 제2 좌표 정보를 생성할 수 있다. The terminal device classifies the first marker shooting frame and the second marker shooting frame from the image, and corresponds to the first marker module for each viewpoint through marker shooting information of the first marker shooting frame photographed at the same time First coordinate information may be generated, and second coordinate information corresponding to the second marker module may be generated for each viewpoint through marker photographing information of a second marker photographing frame photographed at the same time.

상기 기 설정된 주기(T)는, 상기 복수의 카메라의 촬영 속도(Camera Speed)에 기초하여 설정되며, 아래의 수학식에 의해 산출될 수 있다. The preset period T is set based on the camera speeds of the plurality of cameras, and may be calculated by the following equation.

Figure pat00001
Figure pat00001

모션 캡쳐 시스템을 이용한 모션 캡쳐 방법에 있어서, 모션 캡쳐 방법은, 동기화 장치가 기 설정된 주기마다 펄스가 발생하는 동기화 신호를 생성하는 단계, 복수의 마커를 포함하고, 복수의 촬영 대상에 각각 부착된 복수의 마커 모듈이 상기 동기화 신호에 기초하여 복수의 마커의 점멸을 반복하는 단계, 복수의 카메라가 상기 복수의 마커 모듈을 촬영한 영상을 생성하되, 상기 동기화 신호에 기초하여 상기 복수의 마커 모듈 각각이 점등하는 시점마다 하나의 프레임을 생성하는 단계, 그리고 단말 장치가 상기 동기화 신호에 기초하여 상기 영상으로부터 상기 복수의 마커의 좌표 정보를 생성하되, 상기 복수의 마커 모듈 별로 대한 상기 좌표 정보를 생성하는 단계를 포함하며, 상기 복수의 마커 모듈은, 상기 복수의 촬영 대상 별로 상기 복수의 마커의 점등 시기가 상이하다. In a motion capture method using a motion capture system, the motion capture method includes a step in which a synchronization device generates a synchronization signal in which a pulse is generated at a predetermined period, a plurality of markers, and a plurality of each attached to a plurality of shooting objects Repeating the plurality of markers blinking based on the synchronization signal of the marker module of the plurality of cameras, and generating a video of a plurality of cameras capturing the plurality of marker modules, wherein each of the plurality of marker modules is based on the synchronization signal. Generating one frame for each lighting point, and generating, by the terminal device, coordinate information of the plurality of markers from the image based on the synchronization signal, and generating the coordinate information for each of the plurality of marker modules. Included, the plurality of marker modules, the lighting timing of the plurality of markers is different for each of the plurality of shooting objects.

상기 복수의 마커 모듈은, 제1 촬영 대상에 부착된 제1 마커 모듈 및 제2 촬영 대상에 부착된 제2 마커 모듈을 포함하고, 상기 제1 마커 모듈은, 상기 동기화 신호의 하이 레벨(High Level)에서 점등되고 상기 동기화 신호의 로우 레벨(Low Level)에서 소등되며, 상기 제2 마커 모듈은, 상기 동기화 신호의 로우 레벨에서 점등되고 상기 동기화 신호의 하이 레벨에서 소등될 수 있다. The plurality of marker modules includes a first marker module attached to a first object and a second marker module attached to a second object, and the first marker module includes a high level of the synchronization signal. ) And turned off at a low level of the synchronization signal, and the second marker module may be turned on at a low level of the synchronization signal and turned off at a high level of the synchronization signal.

상기 영상은, 상기 동기화 신호의 하이 레벨에서 상기 복수의 마커 모듈을 촬영한 제1 마커 촬영 프레임, 및 상기 동기화 신호의 로우 레벨에서 상기 복수의 마커 모듈을 촬영한 제2 마커 촬영 프레임을 포함할 수 있다. The image may include a first marker photographing frame photographing the plurality of marker modules at a high level of the synchronization signal, and a second marker photographing frame photographing the plurality of marker modules at a low level of the synchronization signal. have.

상기 좌표 정보를 생성하는 단계는, 상기 영상으로부터 제1 마커 촬영 프레임과 제2 마커 촬영 프레임을 분류하는 단계, 동일 시점에 촬영된 제1 마커 촬영 프레임의 마커 촬영 정보를 통해 각 시점별로 상기 제1 마커 모듈에 대응하는 제1 좌표 정보를 생성하는 단계, 그리고 동일 시점에 촬영된 제2 마커 촬영 프레임의 마커 촬영 정보를 통해 각 시점별로 상기 제2 마커 모듈에 대응하는 제2 좌표 정보를 생성하는 단계를 포함할 수 있다. The generating of the coordinate information may include classifying a first marker shooting frame and a second marker shooting frame from the image, and the first marker for each viewpoint through marker shooting information of the first marker shooting frame photographed at the same time point. Generating first coordinate information corresponding to a marker module, and generating second coordinate information corresponding to the second marker module for each viewpoint through marker shooting information of a second marker shooting frame photographed at the same time point It may include.

상기 기 설정된 주기(T)는, 상기 복수의 카메라의 촬영 속도(Camera Speed)에 기초하여 설정되며, 아래의 수학식에 의해 산출될 수 있다. The preset period T is set based on the camera speeds of the plurality of cameras, and may be calculated by the following equation.

Figure pat00002
Figure pat00002

실시 예에 따르면, 광학식 모션 캡쳐 시스템에서 마커의 가려짐이나 겹침을 방지하여 데이터의 정확도를 향상시킬 수 있다. According to an embodiment, it is possible to improve the accuracy of data by preventing occlusion or overlapping of markers in the optical motion capture system.

오브젝트 별로 마커가 발광하도록 제어함으로써 적은 수의 카메라를 이용하더라도 마커 트래킹의 정확도를 향상시킬 수 있다. By controlling the emission of markers for each object, even if a small number of cameras are used, the accuracy of marker tracking can be improved.

본 발명의 다양하면서도 유익한 장점과 효과는 상술한 내용에 한정되지 않으며, 본 발명의 구체적인 실시형태를 설명하는 과정에서 보다 쉽게 이해될 수 있을 것이다.Various and beneficial advantages and effects of the present invention are not limited to the above, and will be more easily understood in the course of describing specific embodiments of the present invention.

도 1은 본 발명의 실시예에 따른 3차원 모션 캡쳐 시스템의 개략도이다.
도 2는 본 발명의 실시예에 따른 복수의 마커 모듈을 설명하기 위한 도면이다.
도 3은 본 발명의 제1 실시예에 따른 동기화 신호를 설명하기 위한 도면이다.
도 4은 본 발명의 제2 실시예에 따른 동기화 신호를 설명하기 위한 도면이다.
도 5 및 도 6은 본 발명의 실시예에 따른 마커 모듈의 제1 구동 시퀀스를 나타낸다.
도 7 및 도 8은 본 발명의 실시예에 따른 마커 모듈의 제2 구동 시퀀스를 나타낸다.
도 9 및 도 10은 본 발명의 실시예에 따른 영상 생성 및 좌표 정보 생성에 관한 과정을 설명하기 위한 도면이다.
도 11은 본 발명의 실시예에 따른 모션 캡쳐 방법에 대한 순서도이다.
도 12는 도 11의 S1160 단계를 상세하게 나타낸 순서도이다. 1 is a schematic diagram of a 3D motion capture system according to an embodiment of the present invention.
2 is a view for explaining a plurality of marker modules according to an embodiment of the present invention.
3 is a view for explaining a synchronization signal according to the first embodiment of the present invention.
4 is a view for explaining a synchronization signal according to a second embodiment of the present invention.
5 and 6 show a first driving sequence of a marker module according to an embodiment of the present invention.
7 and 8 show a second driving sequence of the marker module according to an embodiment of the present invention.
9 and 10 are views for explaining a process related to image generation and coordinate information generation according to an embodiment of the present invention.
11 is a flowchart for a motion capture method according to an embodiment of the present invention.
12 is a flowchart illustrating in detail step S1160 of FIG. 11.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. The present invention can be applied to various changes and can have various embodiments, and specific embodiments will be illustrated and described in the drawings. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. Terms including ordinal numbers such as second and first may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from other components. For example, the second component may be referred to as a first component without departing from the scope of the present invention, and similarly, the first component may also be referred to as a second component. The term and/or includes a combination of a plurality of related described items or any one of a plurality of related described items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When an element is said to be "connected" or "connected" to another component, it is understood that other components may be directly connected to or connected to the other component, but there may be other components in between. It should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that no other component exists in the middle.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in this application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, terms such as “include” or “have” are intended to indicate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, one or more other features. It should be understood that the existence or addition possibilities of fields or numbers, steps, operations, components, parts or combinations thereof are not excluded in advance.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person skilled in the art to which the present invention pertains. Terms, such as those defined in a commonly used dictionary, should be interpreted as having meanings consistent with meanings in the context of related technologies, and should not be interpreted as ideal or excessively formal meanings unless explicitly defined in the present application. Does not.

이하, 첨부된 도면을 참조하여 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, exemplary embodiments will be described in detail with reference to the accompanying drawings, but the same or corresponding components are assigned the same reference numbers regardless of reference numerals, and redundant descriptions thereof will be omitted.

도 1은 본 발명의 실시예에 따른 3차원 모션 캡쳐 시스템의 개략도이다. 1 is a schematic diagram of a 3D motion capture system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시예에 따른 모션 캡쳐 시스템은 동기화 장치(100), 복수의 마커 모듈(200), 허브 장치(300), 복수의 카메라(400) 및 단말 장치(500)를 포함할 수 있다. Referring to FIG. 1, a motion capture system according to an embodiment of the present invention includes a synchronization device 100, a plurality of marker modules 200, a hub device 300, a plurality of cameras 400, and a terminal device 500. It can contain.

우선, 동기화 장치(100)는 기 설정된 주기마다 펄스가 발생하는 동기화 신호를 생성할 수 있다. 이를 위해, 동기화 장치(100)는 신호 발생기(signal generator)를 포함할 수 있다. First, the synchronization device 100 may generate a synchronization signal in which pulses are generated at predetermined periods. To this end, the synchronization device 100 may include a signal generator.

동기화 장치(100)는 복수의 마커 모듈(200)과 통신 연결될 수 있다. 일 실시예에 따르면, 동기화 장치(100)는 복수의 마커 모듈(200)과 무선 통신(예를 들어, RF(Radio Frequency) 통신)을 통해 연결될 수 있다. 동기화 장치(100)는 무선 통신망을 통해 동기화 신호를 복수의 마커 모듈(200)로 전송할 수 있다. 또한, 동기화 장치(100)는 허브 장치(300)와 통신 연결될 수 있다. 일 실시예에 따르면, 동기화 장치(100)는 허브 장치(300)와 유선 통신을 통해 연결될 수 있다. 동기화 장치(100)는 유선 통신망을 통해 동기화 신호를 허브 장치(300)로 전송할 수 있다. 동기화 장치(100)가 복수의 마커 모듈(200) 및 허브 장치(300)에 전송하는 동기화 신호는 동일한 신호일 수 있다. The synchronization device 100 may be communicatively connected to the plurality of marker modules 200. According to an embodiment, the synchronization device 100 may be connected to the plurality of marker modules 200 through wireless communication (eg, radio frequency (RF) communication). The synchronization device 100 may transmit a synchronization signal to a plurality of marker modules 200 through a wireless communication network. Also, the synchronization device 100 may be in communication communication with the hub device 300. According to an embodiment, the synchronization device 100 may be connected to the hub device 300 through wired communication. The synchronization device 100 may transmit a synchronization signal to the hub device 300 through a wired communication network. The synchronization signal transmitted from the synchronization device 100 to the plurality of marker modules 200 and the hub device 300 may be the same signal.

복수의 마커 모듈(200)은 동기화 신호에 기초하여 복수의 마커의 점멸을 반복할 수 있다. 따라서, 복수의 마커 모듈(200) 각각은 복수의 마커를 포함할 수 있다. 복수의 마커 모듈(200)은 복수의 촬영 대상에 각각 부착될 수 있다. 일 실시예에 따르면, 복수의 마커 모듈(200)은 제1 마커 모듈(210) 및 제2 마커 모듈(220)을 포함할 수 있으며, 제1 마커 모듈(210)은 제1 촬영 대상에 부착되고 제2 마커 모듈(220)은 제2 촬영 대상에 부착될 수 있다. 복수의 마커 모듈(200)은 복수의 촬영 대상 별로 복수의 마커의 점등 시기가 상이할 수 있다. 예를 들어, 제1 마커 모듈(210)에 포함된 복수의 마커와 제2 마커 모듈(220)에 포함된 복수의 마커는 점등 시기가 서로 상이할 수 있다. 다만, 동일한 마커 모듈에 포함된 복수의 마커는 점등 시기가 서로 동일하다. 즉, 제1 마커 모듈(210)에 포함된 복수의 마커는 동시에 점등되고 동시에 소등되며, 제2 마커 모듈(220)에 포함된 복수의 마커는 동시에 점등되고 동시에 소등된다. 도 1에서는 2개의 마커 모듈만을 도시하고 있으나, 복수의 마커 모듈은 3개 이상의 마커 모듈로 구성될 수도 있다. The plurality of marker modules 200 may repeat blinking of the plurality of markers based on the synchronization signal. Accordingly, each of the plurality of marker modules 200 may include a plurality of markers. The plurality of marker modules 200 may be respectively attached to a plurality of photographing objects. According to one embodiment, the plurality of marker modules 200 may include a first marker module 210 and a second marker module 220, and the first marker module 210 is attached to the first object to be photographed The second marker module 220 may be attached to the second photographing object. The plurality of marker modules 200 may have different lighting timings of the plurality of markers for each of the plurality of photographing targets. For example, a plurality of markers included in the first marker module 210 and a plurality of markers included in the second marker module 220 may have different lighting timings. However, a plurality of markers included in the same marker module have the same lighting timing. That is, the plurality of markers included in the first marker module 210 are simultaneously lit and turned off at the same time, and the plurality of markers included in the second marker module 220 are simultaneously lit and turned off at the same time. Although only two marker modules are illustrated in FIG. 1, a plurality of marker modules may be composed of three or more marker modules.

허브 장치(300)는 동기화 장치(100), 복수의 카메라(400) 및 단말 장치(500)와 통신 연결된다. 허브 장치(300)는 동기화 장치(100), 복수의 카메라(400) 및 단말 장치(500) 상호간에 통신 중계를 수행할 수 있다. 예를 들어, 허브 장치(300)는 동기화 장치(100)로부터 동기화 신호를 수신하여 복수의 카메라(400) 및 단말 장치(500)로 전송할 수 있다. 또한, 허브 장치(300)는 복수의 카메라(400)로부터 영상을 수신하여 단말 장치(500)로 전송할 수 있다. 허브 장치(300)는 동기화 장치(100), 복수의 카메라(400) 및 단말 장치(500)와 유선 연결될 수 있다. The hub device 300 is in communication communication with the synchronization device 100, a plurality of cameras 400, and a terminal device 500. The hub device 300 may perform communication relay between the synchronization device 100, the plurality of cameras 400, and the terminal device 500. For example, the hub device 300 may receive a synchronization signal from the synchronization device 100 and transmit it to the plurality of cameras 400 and the terminal device 500. In addition, the hub device 300 may receive an image from a plurality of cameras 400 and transmit it to the terminal device 500. The hub device 300 may be wiredly connected to the synchronization device 100, a plurality of cameras 400, and a terminal device 500.

복수의 카메라(400)는 동기화 신호에 기초하여 복수의 마커 모듈(200)을 촬영한 영상을 생성한다. 복수의 카메라(400)는 오브젝트나 인체에 부착되는 마커의 점등을 통해 생성되는 빛을 촬영하여 영상을 생성할 수 있다. 복수의 카메라(400)는 마커가 생성하는 빛의 파장대를 촬영할 수 있다. 예를 들어, 마커가 적외선 파장대의 빛의 생성하는 경우 복수의 카메라(400)는 적외선 파장대의 빛을 촬영할 수 있도록 구성될 수 있다. 다른 예로, 마커가 가시광선 파장대의 빛을 생성하는 경우, 복수의 카메라(400)는 가시광선 파장대의 빛을 촬영할 수 있도록 구성될 수 있다. 그리고, 복수의 카메라(400)는 동기화 신호에 기초하여 복수의 마커 모듈(200) 각각이 점등하는 시점마다 하나의 프레임을 생성할 수 있다. 구체적으로, 복수의 카메라(400)는 동기화 신호에 기초하여 복수의 마커 모듈(200)이 순차적으로 발광하는 시점마다 각각 1개의 프레임을 생성함으로써 영상을 생성할 수 있다. The plurality of cameras 400 generates an image of the plurality of marker modules 200 based on the synchronization signal. The plurality of cameras 400 may generate an image by photographing light generated through lighting of an object or a marker attached to a human body. The plurality of cameras 400 may photograph a wavelength band of light generated by the marker. For example, when the marker generates light in the infrared wavelength band, the plurality of cameras 400 may be configured to photograph light in the infrared wavelength band. As another example, when the marker generates light in the visible light wavelength range, the plurality of cameras 400 may be configured to capture light in the visible light wavelength range. In addition, the plurality of cameras 400 may generate one frame for each time each of the plurality of marker modules 200 is turned on based on the synchronization signal. Specifically, the plurality of cameras 400 may generate an image by generating one frame each time a plurality of marker modules 200 sequentially emit light based on a synchronization signal.

단말 장치(500)는 복수의 카메라(400)로부터 생성된 영상을 통해 마커의 좌표 정보를 생성할 수 있다. 단말 장치(500)는 동기화 신호에 기초하여 영상으로부터 복수의 마커의 좌표 정보를 생성하되, 복수의 촬영 대상 별로 대한 좌표 정보를 생성할 수 있다. 단말 장치(500)는 PC(personal computer), 서버(server), 클라우드(cloud)와 같이 데이터를 처리 및 연산할 수 있는 장치를 포함할 수 있다. The terminal device 500 may generate coordinate information of a marker through an image generated from a plurality of cameras 400. The terminal device 500 may generate coordinate information of a plurality of markers from an image based on a synchronization signal, but may generate coordinate information for each of a plurality of photographing targets. The terminal device 500 may include a device capable of processing and calculating data, such as a personal computer (PC), a server, and a cloud.

도 2는 본 발명의 실시예에 따른 복수의 마커 모듈을 설명하기 위한 도면이다. 2 is a view for explaining a plurality of marker modules according to an embodiment of the present invention.

도 2를 참조하면, 복수의 마커 모듈(200)은 제1 마커 모듈(210) 및 제2 마커 모듈(220)을 포함할 수 있다. Referring to FIG. 2, the plurality of marker modules 200 may include a first marker module 210 and a second marker module 220.

제1 마커 모듈(210)은 제1 촬영 대상에 부착되는 마커 모듈을 의미할 수 있다. 제1 마커 모듈(210)은 복수의 제1 마커(211), 제1 컨트롤러(212), 전원 공급 장치(213) 및 통신부(214)를 포함할 수 있다. The first marker module 210 may mean a marker module attached to a first photographing object. The first marker module 210 may include a plurality of first markers 211, a first controller 212, a power supply device 213, and a communication unit 214.

복수의 제1 마커(211)는 신체의 각 부위에 부착될 수 있다. 예를 들어, 복수의 제1 마커(211)는 머리, 목, 팔, 손목, 허리, 무릎, 발목 등 신체 각 부위에 부착될 수 있다. 제1 마커(211)는 LED(light emitting diode)와 같은 발광 소자를 통해 빛을 출력할 수 있다. 일 실시예에 따르면, 복수의 제1 마커(211)는 각각의 마커가 출력하는 빛의 색상이나 주사율이 상이할 수 있다. 예를 들어, 왼쪽 팔에 부착된 제1 마커(211)와 오른쪽 팔에 부착된 제1 마커(211)가 출력하는 빛의 색상이나 주사율이 상이할 수 있다. 이를 통해, 마커가 부착된 신체 부위의 구분이 가능할 수 있다.The plurality of first markers 211 may be attached to each part of the body. For example, the plurality of first markers 211 may be attached to each part of the body, such as the head, neck, arms, wrists, waist, knees, and ankles. The first marker 211 may output light through a light emitting device such as an LED (light emitting diode). According to an embodiment, the plurality of first markers 211 may have different colors or refresh rates of light output from each marker. For example, the color or refresh rate of light output by the first marker 211 attached to the left arm and the first marker 211 attached to the right arm may be different. Through this, it may be possible to distinguish the body part to which the marker is attached.

제1 컨트롤러(212)는 복수의 제1 마커(211)의 점등 및 소등을 제어하는 장치일 수 있다. 상기에서 설명한 바와 같이, 제1 컨트롤러(212)는 동기화 장치(100)로부터 수신한 동기화 신호를 이용하여 복수의 제1 마커(211)의 점등 및 소등을 제어하는 구동 신호를 생성할 수 있다. The first controller 212 may be a device that controls lighting and extinguishing of the plurality of first markers 211. As described above, the first controller 212 may generate driving signals for controlling the lighting and extinguishing of the plurality of first markers 211 using the synchronization signal received from the synchronization device 100.

제1 마커 모듈(210)은 제1 마커(211)를 발광하는데 이용되는 전력을 공급하는 전원 공급 장치(213, 예를 들어, 배터리), 그리고 동기화 장치(100)와 통신하기 위한 통신부(214)를 포함할 수 있다. The first marker module 210 includes a power supply device 213 (for example, a battery) that supplies power used to emit the first marker 211, and a communication unit 214 for communicating with the synchronization device 100 It may include.

제2 마커 모듈(220)은 제2 촬영 대상에 부착되는 마커 모듈을 의미할 수 있다. 제2 마커 모듈(220)은 복수의 제2 마커(221), 제2 컨트롤러(222), 전원 공급 장치(223) 및 통신부(224)를 포함할 수 있다. The second marker module 220 may mean a marker module attached to a second photographing object. The second marker module 220 may include a plurality of second markers 221, a second controller 222, a power supply device 223, and a communication unit 224.

복수의 제2 마커(221)는 신체의 각 부위에 부착될 수 있다. 예를 들어, 복수의 제2 마커(221)는 머리, 목, 팔, 손목, 허리, 무릎, 발목 등 신체 각 부위에 부착될 수 있다. 제2 마커(221)는 LED와 같은 발광 소자를 통해 빛을 출력할 수 있다. 일 실시예에 따르면, 복수의 제2 마커(221)는 각각의 마커가 출력하는 빛의 색상이나 주사율이 상이할 수 있다. 예를 들어, 왼쪽 팔에 부착된 제2 마커(221)와 오른쪽 팔에 부착된 제2 마커(221)가 출력하는 빛의 색상이나 주사율이 상이할 수 있다. 이를 통해, 마커가 부착된 신체 부위의 구분이 가능할 수 있다. 뿐만 아니라, 복수의 제2 마커(221)는 제1 마커(211)와 상이한 색상의 빛을 출력하거나 상이한 주사율의 빛을 출력할 수도 있다. 이를 통해, 제1 마커(211)와 구분이 가능할 수 있다. The plurality of second markers 221 may be attached to each part of the body. For example, the plurality of second markers 221 may be attached to each part of the body, such as the head, neck, arms, wrists, waist, knees, and ankles. The second marker 221 may output light through a light emitting device such as an LED. According to an embodiment, the plurality of second markers 221 may have different color or refresh rate of light output from each marker. For example, the color or refresh rate of light output by the second marker 221 attached to the left arm and the second marker 221 attached to the right arm may be different. Through this, it may be possible to distinguish the body part to which the marker is attached. In addition, the plurality of second markers 221 may output light having a different color from the first marker 211 or may output light having a different refresh rate. Through this, it may be possible to distinguish from the first marker 211.

제2 컨트롤러(222)는 복수의 제2 마커(221)의 점등 및 소등을 제어하는 장치일 수 있다. 상기에서 설명한 바와 같이, 제2 컨트롤러(222)는 동기화 장치(100)로부터 수신한 동기화 신호를 이용하여 복수의 제2 마커(221)의 점등 및 소등을 제어하는 구동 신호를 생성할 수 있다. The second controller 222 may be a device that controls lighting and extinguishing of the plurality of second markers 221. As described above, the second controller 222 may generate driving signals that control the lighting and turning off of the plurality of second markers 221 using the synchronization signals received from the synchronization device 100.

제2 마커 모듈(220)은 제2 마커(221)를 발광하는데 이용되는 전력을 공급하는 전원 공급 장치(223, 예를 들어, 배터리), 그리고 동기화 장치(100)와 통신하기 위한 통신부(224)를 포함할 수 있다.The second marker module 220 includes a power supply unit 223 (eg, a battery) that supplies power used to emit the second marker 221, and a communication unit 224 for communicating with the synchronization device 100 It may include.

도 2에서는 2개의 마커 모듈을 예시로 설명하였으나, 복수의 마커 모듈(200)은 3개 이상의 마커 모듈을 포함할 수도 있다. In FIG. 2, two marker modules are described as examples, but the plurality of marker modules 200 may include three or more marker modules.

도 3은 본 발명의 제1 실시예에 따른 동기화 신호를 설명하기 위한 도면이다. 3 is a view for explaining a synchronization signal according to the first embodiment of the present invention.

도 3의 (a)는 본 발명이 제1 실시예에 따른 동기화 신호를 나타내고, 도 3의 (b)는 본 발명의 제1 실시예에 따른 제1 마커 모듈(210)의 구동 신호를 나타내고, 도 3의 (c)는 본 발명의 제1 실시예에 따른 제2 마커 모듈(220)의 구동 신호를 나타낸다. 3(a) shows a synchronization signal according to the first embodiment of the present invention, and FIG. 3(b) shows a driving signal of the first marker module 210 according to the first embodiment of the present invention, 3( c) shows the driving signal of the second marker module 220 according to the first embodiment of the present invention.

도 3의 (a)에 도시된 것처럼, 동기화 신호는 하이 레벨과 로우 레벨의 진폭(amplitude)이 반복되는 펄스 신호일 수 있다. 동기화 신호는 소정의 펄스폭을 가진 구형파 신호일 수 있다. 본 발명의 일 실시예에 따르면, 동기화 신호는 듀티 사이클(duty cycle)이 50%일 수 있다. 즉, 동기화 신호의 펄스폭은 주기의 1/2일 수 있다. 이는 일례이며, 동기화 신호는 50% 미만의 듀티 사이클을 가질 수도 있다. As illustrated in (a) of FIG. 3, the synchronization signal may be a pulse signal in which high-level and low-level amplitudes are repeated. The synchronization signal may be a square wave signal having a predetermined pulse width. According to an embodiment of the present invention, the synchronization signal may have a duty cycle of 50%. That is, the pulse width of the synchronization signal may be 1/2 of the period. This is an example, and the synchronization signal may have a duty cycle of less than 50%.

도 3의 (b)에 도시된 것처럼, 제1 마커 모듈(210)의 구동 신호는 동기화 신호와 동일한 형태의 구동 신호를 통해 구동될 수 있다. 즉, 제1 마커 모듈(210)의 구동 신호는 동기화 신호와 동일한 시점에서 하이 레벨과 로우 레벨의 진폭(amplitude)이 반복되는 펄스 신호일 수 있다.As illustrated in FIG. 3B, the driving signal of the first marker module 210 may be driven through the same type of driving signal as the synchronization signal. That is, the driving signal of the first marker module 210 may be a pulse signal in which high and low level amplitudes are repeated at the same time as the synchronization signal.

도 3의 (c)에 도시된 것처럼, 제2 마커 모듈(220)의 구동 신호는 동기화 신호가 반전된 형태의 구동 신호를 통해 구동될 수 있다. 즉, 동기화 신호가 하이 레벨의 진폭 값을 가지면, 제2 마커 모듈(220)의 구동 신호는 로우 레벨의 진폭 값을 가질 수 있다. 그리고, 동기화 신호가 로우 레벨의 진폭 값을 가지면, 제2 마커 모듈(220)의 구동 신호는 하이 레벨의 진폭 값을 가질 수 있다. As illustrated in FIG. 3C, the driving signal of the second marker module 220 may be driven through a driving signal in which the synchronization signal is inverted. That is, when the synchronization signal has a high level amplitude value, the driving signal of the second marker module 220 may have a low level amplitude value. In addition, when the synchronization signal has a low level amplitude value, the driving signal of the second marker module 220 may have a high level amplitude value.

도 4은 본 발명의 제2 실시예에 따른 동기화 신호를 설명하기 위한 도면이다. 4 is a view for explaining a synchronization signal according to a second embodiment of the present invention.

도 4의 (a)는 본 발명이 제2 실시예에 따른 동기화 신호를 나타내고, 도 4의 (b)는 본 발명이 제2 실시예에 따른 제1 마커 모듈(210)의 구동 신호를 나타내고, 도 2의 (c)는 본 발명이 제2 실시예에 따른 제2 마커 모듈(220)의 구동 신호를 나타낸다.4(a) shows the synchronization signal according to the second embodiment of the present invention, and FIG. 4(b) shows the driving signal of the first marker module 210 according to the second embodiment of the present invention, 2(c) shows a driving signal of the second marker module 220 according to the present invention.

도 4의 (a)에 도시된 것처럼, 동기화 신호는 50% 미만의 듀티 사이클을 가지는 구형파 신호일 수도 있다. 예를 들어, 동기화 신호는 25%의 듀티 사이클을 가지는 구형파 신호일 수 있다. 즉, 동기화 신호의 펄스폭은 주기의 1/4일 수 있다.As shown in FIG. 4(a), the synchronization signal may be a square wave signal having a duty cycle of less than 50%. For example, the synchronization signal may be a square wave signal having a duty cycle of 25%. That is, the pulse width of the synchronization signal may be 1/4 of the period.

도 4의 (b)에 도시된 것처럼, 제1 마커 모듈(210)의 구동 신호는 동기화 신호와 동일한 형태의 구동 신호를 통해 구동될 수 있다. 제1 마커 모듈(210)의 구동 신호는 동기화 신호와 동일한 듀티 사이클 및 주기를 가질 수 있다. 즉, 제1 마커 모듈(210)의 구동 신호는 동기화 신호와 동일한 시점에서 하이 레벨과 로우 레벨의 진폭(amplitude)이 반복되는 펄스 신호일 수 있다. As illustrated in FIG. 4B, the driving signal of the first marker module 210 may be driven through the same type of driving signal as the synchronization signal. The driving signal of the first marker module 210 may have the same duty cycle and period as the synchronization signal. That is, the driving signal of the first marker module 210 may be a pulse signal in which high and low level amplitudes are repeated at the same time as the synchronization signal.

도 4의 (c)에 도시된 것처럼, 제2 마커 모듈(220)의 구동 신호는 동기화 신호와 동일한 듀티 사이클 및 주기를 가질 수 있다. 제2 마커 모듈(220)의 구동 신호는 동기화 신호보다 1/2 주기만큼 느린 신호일 수 있다. 예를 들어, 주기가 t이고 듀티 사이클이 25%인 동기화 신호가 0에서 1/4t에 하이 레벨의 진폭 값을 가지면, 제2 마커 모듈(220)의 구동 신호는 1/2t에서 3/4t에 하이 레벨의 진폭값을 가질 수 있다. As illustrated in FIG. 4C, the driving signal of the second marker module 220 may have the same duty cycle and period as the synchronization signal. The driving signal of the second marker module 220 may be a signal that is 1/2 cycle slower than the synchronization signal. For example, if the synchronization signal having a period t and a duty cycle of 25% has a high level amplitude value from 0 to 1/4t, the driving signal of the second marker module 220 is 1/2t to 3/4t. It can have a high level amplitude value.

상기에서 살펴본 것처럼, 동기화 신호의 듀티 사이클이 50% 미만인 경우, 제1 마커 모듈(210) 및 제2 마커 모듈(220)의 구동 신호는 하이 레벨을 출력하는 구간이 겹치지 않도록 배치될 수 있다. 이는 3개 이상의 마커 모듈이 포함된 경우 역시 동일할 수 있으며, 이때, 각 구동신호는 하이 레벨을 순차적으로 출력할 수 있다. 예를 들어, 3개의 마커 모듈로 구성될 경우, 3개의 마커 모듈의 각 구동신호는 서로 하이 레벨을 출력하는 구간이 겹치지 않도록 생성될 수 있다. 상세하게는, 첫번째 마커 모듈의 구동 신호가 하이 레벨을 출력한 후 로우 레벨을 출력하는 시점에서 두번째 마커 모듈의 구동신호가 하이 레벨을 출력할 수 있다. 그리고 두번째 마커 모듈의 구동신호가 하이 레벨을 출력한 후 로우 레벨을 출력하는 시점에서 세번째 마커 모듈의 구동신호가 하이 레벨을 출력할 수 있다. 그리고 세번째 마커 모듈의 구동신호가 하이 레벨을 출력한 후 로우 레벨을 출력하는 시점에서 첫번째 마커 모듈의 구동신호가 다시 하이 레벨을 출력할 수 있다.As described above, when the duty cycle of the synchronization signal is less than 50%, the driving signals of the first marker module 210 and the second marker module 220 may be arranged so that the sections outputting the high level do not overlap. This may also be the same when three or more marker modules are included, and in this case, each driving signal may sequentially output a high level. For example, when it is composed of three marker modules, each driving signal of the three marker modules may be generated so that sections that output high levels from each other do not overlap. In detail, a driving signal of the second marker module may output a high level at a time when the driving signal of the first marker module outputs a high level and then outputs a low level. In addition, when the driving signal of the second marker module outputs a high level and then outputs a low level, the driving signal of the third marker module may output a high level. In addition, when the driving signal of the third marker module outputs the high level and then outputs the low level, the driving signal of the first marker module may output the high level again.

이하에서는 도 5 내지 도 8을 통해 동기화 신호에 따른 마커 모듈의 구동을 살펴보도록 한다. Hereinafter, driving of the marker module according to the synchronization signal will be described with reference to FIGS. 5 to 8.

도 5 및 도 6은 본 발명의 실시예에 따른 마커 모듈의 제1 구동 시퀀스를 나타내고, 도 7 및 도 8은 본 발명의 실시예에 따른 마커 모듈의 제2 구동 시퀀스를 나타낸다. 5 and 6 show a first driving sequence of a marker module according to an embodiment of the present invention, and FIGS. 7 and 8 show a second driving sequence of a marker module according to an embodiment of the present invention.

본 발명의 실시예에 따르면, 제1 마커 모듈(210)은 동기화 신호의 하이 레벨(High Level)에서 점등되고 동기화 신호의 로우 레벨(Low Level)에서 소등된다. 그리고, 제2 마커 모듈(220)은 동기화 신호의 로우 레벨에서 점등되고 동기화 신호의 하이 레벨에서 소등된다. According to an embodiment of the present invention, the first marker module 210 is turned on at a high level of the synchronization signal and turned off at a low level of the synchronization signal. Then, the second marker module 220 is turned on at a low level of the synchronization signal and turned off at a high level of the synchronization signal.

제1 구동 시퀀스는 동기화 신호가 하이 레벨인 때 동작하는 시퀀스를 의미할 수 있고, 제2 구동 시퀀스는 동기화 신호가 로우 레벨인 때 동작하는 시퀀스를 의미할 수 있다. The first driving sequence may mean a sequence that operates when the synchronization signal is at a high level, and the second driving sequence may mean a sequence that operates when the synchronization signal is at a low level.

제1 구동 시퀀스에서 동기화 신호는 하이 레벨이므로, 제1 마커 모듈(210)에서는 하이 레벨의 제1 구동 신호가 제1 마커(211)로 입력되고, 제2 마커 모듈(220)에서는 로우 레벨의 제2 구동 신호가 제2 마커(221)로 입력된다. 따라서, 도 5 및 도 6 도시된 것처럼, 제1 촬영 대상에 부착된 제1 마커(211)는 점등되고, 제2 촬영 대상에 부착된 제2 마커(221)는 소등된다. Since the synchronization signal in the first driving sequence is a high level, the first driving signal of a high level is input to the first marker 211 in the first marker module 210 and the low level of the first marker signal in the second marker module 220. 2 The driving signal is input to the second marker 221. Accordingly, as illustrated in FIGS. 5 and 6, the first marker 211 attached to the first photographing object is turned on, and the second marker 221 attached to the second photographing object is turned off.

제2 구동 시퀀스에서 동기화 신호는 로우 레벨이므로, 제1 마커 모듈(210)에서는 로우 레벨의 제1 구동 신호가 제1 마커(211)로 입력되고, 제2 마커 모듈(220)에서는 하이 레벨의 제2 구동 신호가 제2 마커(221)로 입력된다. 따라서, 도 7 및 도 8 도시된 것처럼, 제1 촬영 대상에 부착된 제1 마커(211)는 소등되고, 제2 촬영 대상에 부착된 제2 마커(221)는 점등된다.Since the synchronization signal in the second driving sequence is low level, the first driving signal of the low level is input to the first marker 211 in the first marker module 210, and the high level of the first signal in the second marker module 220. 2 The driving signal is input to the second marker 221. Accordingly, as illustrated in FIGS. 7 and 8, the first marker 211 attached to the first photographing object is turned off, and the second marker 221 attached to the second photographing object is turned on.

제1 마커 모듈(210)에 포함된 복수의 제1 마커(211)는 동시에 점등되고 소등되며, 제2 마커 모듈(220)에 포함된 복수의 제2 마커(221) 역시 동시에 점등되고 소등될 수 있다. The plurality of first markers 211 included in the first marker module 210 may be turned on and off simultaneously, and the plurality of second markers 221 included in the second marker module 220 may also be turned on and off simultaneously. have.

도 5 내지 도 8에서는 설명의 편의를 위해, 2개의 마커 모듈만을 설명하고 있으나, 3개 이상의 마커 모듈을 포함할 수도 있다. 이때, 3개의 마커 모듈은 서로 다른 시간에 서로 점등될 수 있다. 예를 들어, 제1 마커 모듈(210)이 점등되면, 제2 마커 모듈(220) 및 제3 마커 모듈이 소등될 수 있다. 제2 마커 모듈(220)이 점등되면, 제1 마커 모듈(210) 및 제3 마커 모듈이 소등될 수 있다. 제3 마커 모듈이 점등되면, 제1 마커 모듈(210) 및 제2 마커 모듈(220)이 소등될 수 있다. 5 to 8, for convenience of description, only two marker modules are described, but three or more marker modules may be included. At this time, the three marker modules may be turned on at different times. For example, when the first marker module 210 is turned on, the second marker module 220 and the third marker module may be turned off. When the second marker module 220 is turned on, the first marker module 210 and the third marker module may be turned off. When the third marker module is turned on, the first marker module 210 and the second marker module 220 may be turned off.

도 9 및 도 10은 본 발명의 실시예에 따른 영상 생성 및 좌표 정보 생성에 관한 과정을 설명하기 위한 도면이다. 9 and 10 are views for explaining a process related to image generation and coordinate information generation according to an embodiment of the present invention.

복수의 카메라(400)는 복수의 마커 모듈(200)을 촬영한 영상을 생성하되, 동기화 신호에 기초하여 복수의 마커 모듈(200) 각각이 점등하는 시점마다 하나의 프레임을 생성할 수 있다. 즉, 영상을 구성하는 각 프레임은 복수의 마커 모듈(200) 중 어느 하나의 마커 모듈이 점등하는 시기를 촬영한 정보일 수 있다. The plurality of cameras 400 may generate an image of the plurality of marker modules 200, but may generate one frame for each time each of the plurality of marker modules 200 lights up based on a synchronization signal. That is, each frame constituting the image may be information indicating when one of the plurality of marker modules 200 lights up.

일 실시예에 따르면, 영상은 동기화 신호의 하이 레벨에서 복수의 마커 모듈(200)을 촬영한 제1 마커 촬영 프레임, 및 동기화 신호의 로우 레벨에서 복수의 마커 모듈(200)을 촬영한 제2 마커 촬영 프레임으로 구성될 수 있다. 따라서, 영상은 제1 마커 촬영 프레임 및 제2 마커 촬영 프레임이 교번하며 반복될 수 있다. According to one embodiment, the image is a first marker shooting frame in which a plurality of marker modules 200 are taken at a high level of a synchronization signal, and a second marker in which a plurality of marker modules 200 are taken at a low level of a synchronization signal. It may be composed of a shooting frame. Therefore, the image may be repeated with the first marker shooting frame and the second marker shooting frame alternating.

도 9 및 도 10에 도시된 것처럼, 카메라(400)는 동기화 장치(100)가 생성한 동기화 신호를 허브 장치(300)를 통해 전송받을 수 있다. 카메라(400)는 동기화 신호에 따라 각 영상 프레임을 촬영하는데, 이때, 카메라(400)는 동기화 신호의 하이 레벨 및 로우 레벨 각각을 구분하여 영상 프레임을 촬영할 수 있다. 즉, 카메라(400)는 동기화 신호의 하이 레벨에서 점등된 제1 마커(211)와 동기화 신호의 로우 레벨에서 점등된 제2 마커(221)를 구분하여 촬영할 수 있다. 예를 들어, 카메라(400)가 120FPS의 속도인 경우, 1초에 120장의 프레임을 촬영하게 되며, 이 경우 하이 레벨에 대응하는 제1 마커 촬영 프레임이 60장, 로우 레벨에 대응하는 제2 마커 촬영 프레임이 60장이 될 수 있다. 하나의 프레임이 촬영될 때 1개의 마커 모듈만이 점등되어야 하므로, 동기화 신호의 펄스 주기는 복수의 카메라(400)의 촬영 속도(Camera Speed)에 기초하여 기 설정될 수 있다. 9 and 10, the camera 400 may receive the synchronization signal generated by the synchronization device 100 through the hub device 300. The camera 400 photographs each image frame according to the synchronization signal. In this case, the camera 400 may classify each of the high level and low level of the synchronization signal and photograph the image frame. That is, the camera 400 may photograph the first marker 211 lit at the high level of the synchronization signal and the second marker 221 lit at the low level of the synchronization signal. For example, when the camera 400 is at a speed of 120 FPS, 120 frames are taken in one second, and in this case, the first marker frame corresponding to the high level is 60 frames, and the second marker corresponding to the low level The shooting frame can be 60. Since only one marker module should be turned on when one frame is photographed, the pulse period of the synchronization signal may be preset based on the camera speeds of the plurality of cameras 400.

기 설정된 주기(T)는 촬영 속도(Camera Speed)를 이용하여 아래의 수학식 1에 의해 산출될 수 있다.The preset period T may be calculated by Equation 1 below using a camera speed.

Figure pat00003
Figure pat00003

단말 장치(500)는 영상으로부터 제1 마커 촬영 프레임과 제2 마커 촬영 프레임을 분류할 수 있다. 예를 들어, 단말 장치(500)는 영상으로부터 2n-1번째 프레임과 2n번째 프레임을 분류할 수 있다. The terminal device 500 may classify the first marker shooting frame and the second marker shooting frame from the image. For example, the terminal device 500 may classify the 2n-1th frame and the 2nth frame from the image.

그리고, 단말 장치(500)는 도 9 및 도 10에 도시된 것처럼, 동일 시점에 촬영된 제1 마커 촬영 프레임의 마커 촬영 정보를 통해 각 시점별로 제1 마커 모듈(210)에 대응하는 제1 좌표 정보를 생성하고, 동일 시점에 촬영된 제2 마커 촬영 프레임의 마커 촬영 정보를 통해 각 시점별로 제2 마커 모듈(220)에 대응하는 제2 좌표 정보를 생성할 수 있다. 좌표 정보는 3차원 좌표 정보일 수 있고, 단말 장치(500)는 삼각 측량과 같은 3차원 좌표 산출 기법을 이용하여 제1 좌표 정보 및 제2 좌표 정보를 생성할 수 있다. In addition, as illustrated in FIGS. 9 and 10, the terminal device 500 has first coordinates corresponding to the first marker module 210 for each viewpoint through marker shooting information of the first marker shooting frame photographed at the same time. Information may be generated and second coordinate information corresponding to the second marker module 220 may be generated for each viewpoint through marker shooting information of the second marker shooting frame photographed at the same time. The coordinate information may be 3D coordinate information, and the terminal device 500 may generate first and second coordinate information using a 3D coordinate calculation technique such as triangulation.

도 11은 본 발명의 실시예에 따른 모션 캡쳐 방법에 대한 순서도이다. 11 is a flowchart for a motion capture method according to an embodiment of the present invention.

본 발명의 실시예에 따른 모션 캡쳐 방법은 위에서 설명한 모션 캡쳐 시스템을 이용하여 구현될 수 있다. The motion capture method according to the embodiment of the present invention may be implemented using the motion capture system described above.

우선, 동기화 장치(100)는 기 설정된 주기마다 펄스가 발생하는 동기화 신호를 생성한다(S1105). First, the synchronization device 100 generates a synchronization signal that generates a pulse every predetermined period (S1105).

동기화 장치(100)는 동기화 신호를 복수의 마커 모듈(200)로 전송한다(S1110). 그리고 동기화 장치(100)는 허브 장치(300)로 동기화 신호를 전송한다(S1115). The synchronization device 100 transmits a synchronization signal to the plurality of marker modules 200 (S1110). Then, the synchronization device 100 transmits a synchronization signal to the hub device 300 (S1115).

허브 장치(300)는 동기화 신호를 수신한 후, 동기화 신호를 복수의 카메라(400)로 전송한다(S1120). 그리고 허브 장치(300)는 동기화 신호를 단말 장치(500)로 전송한다(S1125).After receiving the synchronization signal, the hub device 300 transmits the synchronization signal to the plurality of cameras 400 (S1120). Then, the hub device 300 transmits a synchronization signal to the terminal device 500 (S1125).

복수의 마커 모듈(200)은 동기화 신호에 기초하여 복수의 마커의 점멸을 반복한다. 이때, 복수의 마커 모듈(200) 각각은 복수의 마커를 포함하고, 복수의 촬영 대상에 각각 부착된다. 복수의 마커 모듈(200)은 복수의 촬영 대상 별로 복수의 마커의 점등 시기가 상이할 수 있다. The plurality of marker modules 200 repeat flashing of the plurality of markers based on the synchronization signal. At this time, each of the plurality of marker modules 200 includes a plurality of markers, and is attached to each of a plurality of shooting objects. The plurality of marker modules 200 may have different lighting timings of the plurality of markers for each of the plurality of photographing targets.

이와 함께, 복수의 카메라(400)는 동기화 신호에 기초하여 복수의 마커 모듈(200)을 촬영한 영상을 생성하되, 상기 동기화 신호에 기초하여 상기 복수의 마커 모듈(200) 각각이 점등하는 시점마다 하나의 프레임을 생성한다.In addition, the plurality of cameras 400 generates an image of a plurality of marker modules 200 based on a synchronization signal, but each time the plurality of marker modules 200 light up based on the synchronization signal. Create one frame.

구체적으로, 복수의 마커 모듈(200)이 제1 촬영 대상에 부착된 제1 마커 모듈(210) 및 제2 촬영 대상에 부착된 제2 마커 모듈(220)을 포함하는 경우, 우선, 제1 마커 모듈(210)은 동기화 신호의 하이 레벨(High Level)에서 점등되고, 제2 마커 모듈(220)은 동기화 신호의 하이 레벨에서 소등된다(S1130). 이와 동시에 복수의 카메라(400)는 제1 촬영 대상 및 제2 촬영 대상을 촬영하여 프레임을 생성한다(S1135). 이때, 제1 마커 모듈(210)에 포함된 복수의 마커만이 점등되어 있으므로, 해당 프레임은 제1 마커 모듈(210)에 대한 프레임일 수 있다. 다음으로, 제1 마커 모듈(210)은 동기화 신호의 로우 레벨(Low Level)에서 소등되며, 제2 마커 모듈(220)은 동기화 신호의 로우 레벨에서 점등된다(S1140). 이와 동시에 복수의 카메라(400)는 제1 촬영 대상 및 제2 촬영 대상을 촬영하여 프레임을 생성한다(S1145). 이때, 제2 마커 모듈(220)에 포함된 복수의 마커만이 점등되어 있으므로, 해당 프레임은 제2 마커 모듈(220)에 대한 프레임일 수 있다. 따라서, 영상은 동기화 신호의 하이 레벨에서 복수의 마커 모듈(200)을 촬영한 제1 마커 촬영 프레임, 및 동기화 신호의 로우 레벨에서 복수의 마커 모듈(200)을 촬영한 제2 마커 촬영 프레임을 포함할 수 있다.Specifically, when the plurality of marker modules 200 include the first marker module 210 attached to the first shooting object and the second marker module 220 attached to the second shooting object, first, the first marker The module 210 is turned on at a high level of the synchronization signal, and the second marker module 220 is turned off at a high level of the synchronization signal (S1130). At the same time, the plurality of cameras 400 photographs the first shooting target and the second shooting target to generate a frame (S1135). At this time, since only a plurality of markers included in the first marker module 210 are lit, the corresponding frame may be a frame for the first marker module 210. Next, the first marker module 210 is turned off at the low level of the synchronization signal, and the second marker module 220 is turned on at the low level of the synchronization signal (S1140). At the same time, the plurality of cameras 400 photographs the first shooting target and the second shooting target to generate a frame (S1145). At this time, since only a plurality of markers included in the second marker module 220 are lit, the corresponding frame may be a frame for the second marker module 220. Accordingly, the image includes a first marker shooting frame in which the plurality of marker modules 200 are taken at a high level of the synchronization signal, and a second marker shooting frame in which the plurality of marker modules 200 are taken at a low level of the synchronization signal. can do.

즉, S1130 및 S1135 단계가 함께 진행되고, S1140 및 S1145 단계가 함께 진행될 수 있으며, 해당 프로세스는 소정의 촬영 시간동안 반복될 수 있다. That is, steps S1130 and S1135 may be performed together, and steps S1140 and S1145 may be performed together, and the corresponding process may be repeated for a predetermined shooting time.

영상 촬영이 종료되면, 복수의 카메라(400)는 생성된 영상을 허브 장치(300)로 전송하고(S1150), 허브 장치(300)는 영상을 단말 장치(500)로 전송한다(S1155).When the imaging is finished, the plurality of cameras 400 transmit the generated image to the hub device 300 (S1150), and the hub device 300 transmits the image to the terminal device 500 (S1155).

그러면, 단말 장치(500)는 동기화 신호에 기초하여 영상으로부터 복수의 마커의 좌표 정보를 생성하되, 복수의 마커 모듈(200) 별로 대한 좌표 정보를 생성한다(S1160).Then, the terminal device 500 generates coordinate information of the plurality of markers from the image based on the synchronization signal, but generates coordinate information for each of the plurality of marker modules 200 (S1160).

도 12는 도 11의 S1160 단계를 상세하게 나타낸 순서도이다. 12 is a flowchart illustrating in detail step S1160 of FIG. 11.

도 12를 참조하면, 단말 장치(500)는 영상으로부터 제1 마커 촬영 프레임과 제2 마커 촬영 프레임을 분류한다(S1161). 단말 장치(500)는 동기화 신호를 이용하여 제1 마커 촬영 프레임과 제2 마커 촬영 프레임을 분류할 수 있다. Referring to FIG. 12, the terminal device 500 classifies a first marker shooting frame and a second marker shooting frame from an image (S1161). The terminal device 500 may classify the first marker shooting frame and the second marker shooting frame using a synchronization signal.

그러면, 단말 장치(500)는 동일 시점에 촬영된 제1 마커 촬영 프레임의 마커 촬영 정보를 통해 각 시점별로 제1 마커 모듈(210)에 대응하는 제1 좌표 정보를 생성할 수 있다(S1162). 그리고, 단말 장치(500)는 동일 시점에 촬영된 제2 마커 촬영 프레임의 마커 촬영 정보를 통해 각 시점별로 제2 마커 모듈(220)에 대응하는 제2 좌표 정보를 생성할 수 있다(S1163). 예를 들어, 시점 t1, t3, t5에서 제1 마커 촬영 프레임이 생성되고, 시점 t2, t4, t6에서 제2 마커 촬영 프레임이 생성되며, 각 시점에는 3개의 프레임이 있다고 가정한다. 그러면, 단말 장치(500)는 t1, t3, t5에 각각에서 3개의 프레임을 통해 제1 마커 모듈(210)에 대응하는 t1, t3, t5에서의 제1 좌표 정보를 생성하고, t2, t4, t6에 각각에서 3개의 프레임을 통해 제2 마커 모듈(220)에 대응하는 t2, t4, t6에서의 제2 좌표 정보를 생성할 수 있다. Then, the terminal device 500 may generate first coordinate information corresponding to the first marker module 210 for each viewpoint through marker photographing information of the first marker photographing frame photographed at the same time (S1162). Then, the terminal device 500 may generate second coordinate information corresponding to the second marker module 220 for each viewpoint through marker shooting information of the second marker shooting frame photographed at the same time (S1163). For example, a first marker shooting frame is generated at time points t 1 , t 3 , and t 5 , and a second marker shooting frame is generated at time points t 2 , t 4 , and t 6 , and there are three frames at each time point. I assume. Then, the terminal 500 generates the first coordinate information of the t 1, t 3, t 1, t 3, t 5 to t 5 corresponds to the first marker module 210 through the three frames in each and, t 2, t 4, over the three frames in each of the t 6 may generate a second coordinate information of the t 2, t 4, t 6 corresponds to a second marker module 220.

이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다. The embodiments have been mainly described above, but this is merely an example and does not limit the present invention, and those of ordinary skill in the art to which the present invention pertains have not been exemplified above in a range that does not depart from the essential characteristics of the present embodiment. It will be appreciated that various modifications and applications are possible. For example, each component specifically shown in the embodiments can be implemented by modification. And differences related to these modifications and applications should be construed as being included in the scope of the invention defined in the appended claims.

100: 동기화 장치
200 : 복수의 마커 모듈
300 : 허브 장치
400 : 복수의 카메라
500 : 단말 장치 100: synchronization device
200: a plurality of marker modules
300: hub device
400: multiple cameras
500: terminal device

Claims (10)

기 설정된 주기마다 펄스가 발생하는 동기화 신호를 생성하는 동기화 장치,
복수의 마커를 포함하고, 복수의 촬영 대상에 각각 부착되며, 상기 동기화 신호에 기초하여 복수의 마커의 점멸을 반복하되 상기 복수의 촬영 대상 별로 상기 복수의 마커의 점등 시기가 상이한 복수의 마커 모듈,
상기 복수의 마커 모듈을 촬영한 영상을 생성하되, 상기 동기화 신호에 기초하여 상기 복수의 마커 모듈 각각이 점등하는 시점마다 하나의 프레임을 생성하는 복수의 카메라, 그리고
상기 동기화 신호에 기초하여 상기 영상으로부터 상기 복수의 마커의 좌표 정보를 생성하되, 상기 복수의 마커 모듈 별로 대한 상기 좌표 정보를 생성하는 단말 장치를 포함하는 모션 캡쳐 시스템. Synchronization device that generates a synchronization signal that generates a pulse every predetermined period,
A plurality of marker modules including a plurality of markers, each attached to a plurality of shooting targets, and repeating blinking of the plurality of markers based on the synchronization signal, wherein the lighting timing of the plurality of markers differs for each of the plurality of shooting targets,
A plurality of cameras that generate an image of the plurality of marker modules, and generate one frame for each time each of the plurality of marker modules is turned on based on the synchronization signal, and
A motion capture system comprising a terminal device generating coordinate information of the plurality of markers from the image based on the synchronization signal, and generating the coordinate information for each of the plurality of marker modules. 제1항에 있어서,
상기 복수의 마커 모듈은,
제1 촬영 대상에 부착된 제1 마커 모듈 및 제2 촬영 대상에 부착된 제2 마커 모듈을 포함하고,
상기 제1 마커 모듈은,
상기 동기화 신호의 하이 레벨(High Level)에서 점등되고 상기 동기화 신호의 로우 레벨(Low Level)에서 소등되며,
상기 제2 마커 모듈은,
상기 동기화 신호의 로우 레벨에서 점등되고 상기 동기화 신호의 하이 레벨에서 소등되는 모션 캡쳐 시스템. According to claim 1,
The plurality of marker modules,
And a first marker module attached to the first photographing object and a second marker module attached to the second photographing object,
The first marker module,
Lights up at a high level of the synchronization signal and turns off at a low level of the synchronization signal,
The second marker module,
A motion capture system that lights at a low level of the synchronization signal and turns off at a high level of the synchronization signal. 제2항에 있어서,
상기 영상은,
상기 동기화 신호의 하이 레벨에서 상기 복수의 마커 모듈을 촬영한 제1 마커 촬영 프레임, 및
상기 동기화 신호의 로우 레벨에서 상기 복수의 마커 모듈을 촬영한 제2 마커 촬영 프레임을 포함하는 모션 캡쳐 시스템. According to claim 2,
The video,
A first marker photographing frame photographing the plurality of marker modules at a high level of the synchronization signal, and
And a second marker photographing frame photographing the plurality of marker modules at a low level of the synchronization signal. 제3항에 있어서,
상기 단말 장치는,
상기 영상으로부터 제1 마커 촬영 프레임과 제2 마커 촬영 프레임을 분류하고,
동일 시점에 촬영된 제1 마커 촬영 프레임의 마커 촬영 정보를 통해 각 시점별로 상기 제1 마커 모듈에 대응하는 제1 좌표 정보를 생성하고,
동일 시점에 촬영된 제2 마커 촬영 프레임의 마커 촬영 정보를 통해 각 시점별로 상기 제2 마커 모듈에 대응하는 제2 좌표 정보를 생성하는 모션 캡쳐 시스템. According to claim 3,
The terminal device,
Classifying the first marker shooting frame and the second marker shooting frame from the image,
The first coordinate information corresponding to the first marker module is generated for each viewpoint through marker shooting information of the first marker shooting frame photographed at the same time point,
A motion capture system that generates second coordinate information corresponding to the second marker module for each viewpoint through marker shooting information of a second marker shooting frame photographed at the same time. 제1항에 있어서,
상기 기 설정된 주기(T)는,
상기 복수의 카메라의 촬영 속도(Camera Speed)에 기초하여 설정되며, 아래의 수학식에 의해 산출되는 모션 캡쳐 시스템:
Figure pat00004
According to claim 1,
The preset period (T),
It is set based on the shooting speed (Camera Speed) of the plurality of cameras, the motion capture system calculated by the following equation:
Figure pat00004
 모션 캡쳐 시스템을 이용한 모션 캡쳐 방법에 있어서,
동기화 장치가 기 설정된 주기마다 펄스가 발생하는 동기화 신호를 생성하는 단계,
복수의 마커를 포함하고, 복수의 촬영 대상에 각각 부착된 복수의 마커 모듈이 상기 동기화 신호에 기초하여 복수의 마커의 점멸을 반복하는 단계,
복수의 카메라가 상기 복수의 마커 모듈을 촬영한 영상을 생성하되, 상기 동기화 신호에 기초하여 상기 복수의 마커 모듈 각각이 점등하는 시점마다 하나의 프레임을 생성하는 단계, 그리고
단말 장치가 상기 동기화 신호에 기초하여 상기 영상으로부터 상기 복수의 마커의 좌표 정보를 생성하되, 상기 복수의 마커 모듈 별로 대한 상기 좌표 정보를 생성하는 단계를 포함하며,
상기 복수의 마커 모듈은, 상기 복수의 촬영 대상 별로 상기 복수의 마커의 점등 시기가 상이한 모션 캡쳐 방법. In the motion capture method using the motion capture system,
The synchronization device generates a synchronization signal that generates a pulse every predetermined period,
A plurality of marker modules, each of which includes a plurality of markers and attached to a plurality of photographing objects, repeats blinking of the plurality of markers based on the synchronization signal.
Generating a video in which a plurality of cameras captures the plurality of marker modules, and generating one frame for each time each of the plurality of marker modules lights up based on the synchronization signal; and
The terminal device generates coordinate information of the plurality of markers from the image based on the synchronization signal, and includes generating the coordinate information for each of the plurality of marker modules,
The plurality of marker modules, a motion capture method in which the lighting times of the plurality of markers are different for each of the plurality of shooting objects. 제6항에 있어서,
상기 복수의 마커 모듈은,
제1 촬영 대상에 부착된 제1 마커 모듈 및 제2 촬영 대상에 부착된 제2 마커 모듈을 포함하고,
상기 제1 마커 모듈은,
상기 동기화 신호의 하이 레벨(High Level)에서 점등되고 상기 동기화 신호의 로우 레벨(Low Level)에서 소등되며,
상기 제2 마커 모듈은,
상기 동기화 신호의 로우 레벨에서 점등되고 상기 동기화 신호의 하이 레벨에서 소등되는 모션 캡쳐 방법. The method of claim 6,
The plurality of marker modules,
And a first marker module attached to the first photographing object and a second marker module attached to the second photographing object,
The first marker module,
Lights up at a high level of the synchronization signal and turns off at a low level of the synchronization signal,
The second marker module,
A motion capture method that lights up at a low level of the synchronization signal and turns off at a high level of the synchronization signal. 제7항에 있어서,
상기 영상은,
상기 동기화 신호의 하이 레벨에서 상기 복수의 마커 모듈을 촬영한 제1 마커 촬영 프레임, 및
상기 동기화 신호의 로우 레벨에서 상기 복수의 마커 모듈을 촬영한 제2 마커 촬영 프레임을 포함하는 모션 캡쳐 방법. The method of claim 7,
The video,
A first marker photographing frame photographing the plurality of marker modules at a high level of the synchronization signal, and
And a second marker photographing frame photographing the plurality of marker modules at a low level of the synchronization signal. 제8항에 있어서,
상기 좌표 정보를 생성하는 단계는,
상기 영상으로부터 제1 마커 촬영 프레임과 제2 마커 촬영 프레임을 분류하는 단계,
동일 시점에 촬영된 제1 마커 촬영 프레임의 마커 촬영 정보를 통해 각 시점별로 상기 제1 마커 모듈에 대응하는 제1 좌표 정보를 생성하는 단계, 그리고
동일 시점에 촬영된 제2 마커 촬영 프레임의 마커 촬영 정보를 통해 각 시점별로 상기 제2 마커 모듈에 대응하는 제2 좌표 정보를 생성하는 단계를 포함하는 모션 캡쳐 방법. The method of claim 8,
Generating the coordinate information,
Classifying the first marker shooting frame and the second marker shooting frame from the image,
Generating first coordinate information corresponding to the first marker module for each viewpoint through marker shooting information of the first marker shooting frame photographed at the same time point, and
And generating second coordinate information corresponding to the second marker module for each viewpoint through marker shooting information of the second marker shooting frame photographed at the same time. 제6항에 있어서,
상기 기 설정된 주기(T)는,
상기 복수의 카메라의 촬영 속도(Camera Speed)에 기초하여 설정되며, 아래의 수학식에 의해 산출되는 모션 캡쳐 방법:
Figure pat00005
The method of claim 6,
The preset period (T),
It is set based on the shooting speed (Camera Speed) of the plurality of cameras, the motion capture method calculated by the following equation:
Figure pat00005
KR1020190140867A 2018-11-29 2019-11-06 Motion capture system using synchronizing pulse and method thereof KR20200064901A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180151056 2018-11-29
KR1020180151056 2018-11-29

Publications (1)

Publication Number Publication Date
KR20200064901A true KR20200064901A (en) 2020-06-08

Family

ID=71090126

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190140867A KR20200064901A (en) 2018-11-29 2019-11-06 Motion capture system using synchronizing pulse and method thereof

Country Status (1)

Country Link
KR (1) KR20200064901A (en)

Similar Documents

Publication Publication Date Title
KR102439771B1 (en) Augmented reality display device with deep learning sensors
CN105912980B (en) Unmanned plane and UAV system
TWI723529B (en) Face recognition module and face recognition method
EP3724747B1 (en) Detecting the pose of an out-of-range controller
EP2823751B1 (en) Eye gaze imaging
JP2019506826A5 (en)
CN103838371A (en) Dynamic conservation of imaging power
US10192134B2 (en) Color identification using infrared imaging
CN105829829A (en) Image processing device and image processing method
CN109240496B (en) Acousto-optic interaction system based on virtual reality
US20220021798A1 (en) Information processing apparatus, information processing system, device for position and posture acquisition, and device information acquisition method
CN106131419B (en) It is a kind of for synchronizing the method and system and virtual reality system of multiple wireless camera equipment
WO2018014420A1 (en) Light-emitting target recognition-based unmanned aerial vehicle tracking control system and method
Müller et al. A miniature low-power sensor system for real time 2D visual tracking of LED markers
EP3979202A1 (en) Image processing method and device, and storage medium
CN105262538B (en) A kind of optical information positioning system
CN111757010B (en) Active optical rigid body configuration method, system and terminal equipment
CN103657089A (en) System and method for judging posture of device
KR20200064901A (en) Motion capture system using synchronizing pulse and method thereof
CN104076990B (en) Screen localization method and device
US10389444B2 (en) Image processing apparatus, image processing system, image processing method, and recording medium
US11814155B2 (en) Control apparatus and control method for specular object detection based on an unmanned aerial vehicle's reflection
CN111796674B (en) Gesture touch sensitivity adjusting method based on head-mounted equipment and storage medium
WO2018211711A1 (en) Behavior analysis device, behavior analysis program, behavior analysis system, marker control device, and marker control program
CN211132929U (en) Simulation management system for flying saucer training

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination