KR20110125556A - Three-demensional body motion recognition method using led marker and wearable device using the same - Google Patents

Three-demensional body motion recognition method using led marker and wearable device using the same Download PDF

Info

Publication number
KR20110125556A
KR20110125556A KR1020100045148A KR20100045148A KR20110125556A KR 20110125556 A KR20110125556 A KR 20110125556A KR 1020100045148 A KR1020100045148 A KR 1020100045148A KR 20100045148 A KR20100045148 A KR 20100045148A KR 20110125556 A KR20110125556 A KR 20110125556A
Authority
KR
South Korea
Prior art keywords
operator
attached
led
led marker
marker
Prior art date
Application number
KR1020100045148A
Other languages
Korean (ko)
Other versions
KR101170236B1 (en
Inventor
박성우
이주성
이건우
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020100045148A priority Critical patent/KR101170236B1/en
Publication of KR20110125556A publication Critical patent/KR20110125556A/en
Application granted granted Critical
Publication of KR101170236B1 publication Critical patent/KR101170236B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

PURPOSE: A 3D body motion recognition method using a LED marker and wearable apparatus using the same are provided to correct wrong parts on real time by extracting the posture of a user from motion in which is recognized by the LED marker and a video camera. CONSTITUTION: Video information is received from a LED(Light Emitting Diode) marker in which is attached to the body of a user through a camera apparatus(S100). The LED marker includes two or more colors. The video information is separated to various colors(S200). The location information of the LED marker is acquired using the separated video information(S300). The exercise form of a user is determined by measuring the location and angle of a joint from the location information of the LED marker in which is attached to head, waist, and wrist(S400).

Description

ＬＥＤ마커를 이용한 3차원 신체동작 인식방법 및 이를 이용하는 웨어러블 장치{THREE-DEMENSIONAL BODY MOTION RECOGNITION METHOD USING LED MARKER AND WEARABLE DEVICE USING THE SAME}3D body motion recognition method using LED marker and wearable device using the same {THREE-DEMENSIONAL BODY MOTION RECOGNITION METHOD USING LED MARKER AND WEARABLE DEVICE USING THE SAME}

본 발명은 LED(Light-Emitting Diode) 마커를 이용한 3차원 신체동작 인식방법 및 이를 이용하는 웨어러블 장치에 관한 것으로, 더욱 상세하게는, 웨어러블 장치에 LED 마커를 부착하여 신체동작을 인식할 수 있도록 하는 LED 마커 인식방법 및 이를 이용하는 자켓 형태의 웨어러블 장치에 관한 것이다. The present invention relates to a three-dimensional body motion recognition method using a light-emitting diode (LED) marker and a wearable device using the same. More particularly, the LED is attached to the wearable device to recognize a body motion. A marker recognition method and a jacket type wearable device using the same.

일반적으로 운동 종목을 선택하여 운동하고자 할 때, 올바른 자세에 의해 그 운동을 더 쉽게 배우고 실력을 향상시킬 수 있다. 자세 교정을 위한 다양한 모션 캡쳐(motion capture) 장치들이 제안되어 왔다. 예를 들어, 기계식 신체 부착형 모션 캡쳐 장치는 신체 각 관절의 움직임들을 측정하기 위하여 각 관절의 운동부에 기계적 센서들을 부착시키는 방식이다. 상당히 복잡한, 수많은 센서들이 부착된 일종의 옷 형태의 장비를 입어야 하므로, 설치시간이 매우 길고, 부착 후의 센서 보정 작업이 이루어져야 하며, 동작자의 운동이 부착 장치들 때문에 속도 및 범위에 많은 제한을 받게 된다.In general, when you want to exercise by selecting a sport, the correct posture can easily learn the exercise and improve your skills. Various motion capture devices for posture correction have been proposed. For example, a mechanical body-attached motion capture device is a method of attaching mechanical sensors to the motion of each joint to measure movements of each joint of the body. Due to the fact that a complex piece of equipment has to be worn in the form of a piece of clothing with many sensors attached, the installation time is very long, the sensor calibration work has to be carried out after attachment, and the movement of the operator is very limited in speed and range due to the attachment devices.

또한, 자기센서 부착형 모션 캡쳐 장치는 신체의 주요 부위에 자기 센서들을부착하는 방식이다. 각 센서마다 전선이 연결되어 있어, 많은 센서를 부착하는 경우, 많은 양의 전선 다발이 형성되며, 이들이 동작자의 운동을 방해하는 단점이 있다. In addition, the magnetic sensor attached motion capture device is a method of attaching the magnetic sensors to the main part of the body. Since each wire is connected to each sensor, when a large number of sensors are attached, a large amount of wire bundles are formed, and they have a disadvantage in that they interfere with the movement of the operator.

또한, 광학 카메라 이용식 모션 캡쳐 장치는 다수대의 고가의 고속 적외선 카메라들을 사용하고, 동작자는 일반적으로 검은 옷을 착용하고 옷 위에 다수의 구형의 적외선 반사 마커를 부착하게 된다. 기존의 적외선 반사 마커는 카메라에서 방출하는 적외선을 마커가 반사하여 그 빛을 카메라가 잡아내는 방식이다. 그러나, 이러한 적외선 반사 마커의 경우, 조명이나 사용 환경에 크게 구애 받지 않고 비교적 적은 노이즈로 인식할 수 있다는 장점을 가지고 있으나, 색상의 구분을 할 수 없기 때문에 좀 더 빠른 연산과정을 거치지 못한다는 단점이 있다. In addition, optical camera-enabled motion capture devices use a number of expensive high-speed infrared cameras, and the operator generally wears black clothes and attaches a number of spherical infrared reflecting markers on the clothes. Conventional infrared reflection markers reflect the infrared light emitted by the camera and capture the light. However, such an infrared reflecting marker has the advantage of being able to recognize with relatively little noise regardless of the lighting or the use environment, but the disadvantage that it cannot go through a faster calculation process because it cannot distinguish colors. have.

결과적으로, 기존의 모션 캡쳐 장치들은 가격이 상당히 비싸고, 장치 자체가 동작자의 운동을 방해하며, 너무 많은 마커들을 설치함으로써 마커들이 혼동되는 상황이 발생하고, 센서 또는 마커들의 가격이 비싸 관리 비용이 상승한다는 문제점이 있다.As a result, existing motion capture devices are quite expensive, the device itself obstructs the movement of the operator, and there are situations where the markers are confusing by installing too many markers, and the cost of the sensors or markers is high, leading to increased management costs. There is a problem.

본 발명의 목적은, 비디오 카메라와 LED 마커를 이용하여 3차원 신체동작 정보를 얻고, 특히, 서로 다른 부위에 부착한 LED 를 마커로 사용하여 색 구별 작업을 통해, 인식이 좀 더 용이한 장점을 가지고 있다.It is an object of the present invention to obtain three-dimensional physical motion information using a video camera and an LED marker, and in particular, through the color discrimination operation using LEDs attached to different areas as markers, the recognition is more easy. Have.

또한, 신체의 최소한의 주요 부분에만 LED 마커를 부착하여 이들로부터 3차원 신체동작 정보를 얻는, 저렴한 가격으로 구현할 수 있는 3차원 인식방법을 제공한다.In addition, the present invention provides a three-dimensional recognition method that can be implemented at a low price to obtain a three-dimensional body movement information from them by attaching the LED marker only at least the main part of the body.

그리고, LED 마커를 이용함으로써 조명의 영향을 비교적 덜 받는다는 장점을 가지고 있다.And, by using the LED marker has the advantage of being relatively less affected by the illumination.

한편, LED 마커를 이용한 3차원 신체동작 인식방법을 적용하는 착용 가능한 장치를 통하여, 특히, 골프 스윙시에 동작자의 무게 중심 이동을 측정하고, 카메라만으로 무게 중심이 이동하는 양상을 확인할 수 있어, 스윙 폼의 교정이 가능하다.On the other hand, through the wearable device applying the three-dimensional body motion recognition method using the LED marker, in particular, the movement of the center of gravity of the operator during the golf swing, it is possible to check the aspect that the center of gravity is moved only by the camera, swing Foam correction is possible.

상기 목적을 달성하기 위해, 본 발명은 3차원 신체동작 인식방법을 제공한다. 상기 3차원 신체동작 인식방법은 동작자의 신체에 부착된 둘 이상의 색상을 갖는 LED 마커로부터 적어도 하나 이상의 카메라 장치를 통하여 화상 정보를 입력받는 단계, 상기 입력받은 화상 정보를 각각 색상별로 분리하는 단계, 상기 분리된 화상 정보를 이용하여 상기 LED 마커의 위치 정보를 취득하는 단계, 및 상기 취득된 LED 마커의 위치 정보로부터 동작자의 운동 형태를 결정하는 단계를 포함한다.In order to achieve the above object, the present invention provides a three-dimensional body motion recognition method. The 3D physical gesture recognition method includes receiving image information from at least one camera device having at least two colors attached to an operator's body through at least one camera device, separating the received image information by color, respectively, Acquiring the position information of the LED marker using the separated image information, and determining the movement type of the operator from the acquired position information of the LED marker.

상기 취득된 LED 마커의 위치 정보로부터 동작자의 운동 형태를 결정하는 단계는 동작자의 머리 부분, 허리 부분 및 팔목 부분에 부착된 LED 마커의 위치 정보로부터 상기 동작자의 관절의 위치 및 각도를 측정하는 것을 특징으로 할 수 있다.Determining the movement type of the operator from the acquired position information of the LED marker is characterized in that for measuring the position and angle of the joint of the operator from the position information of the LED marker attached to the head, waist and cuff of the operator You can do

상기 3차원 신체동작 인식방법은 상기 취득된 LED 마커의 위치 정보로부터 동작자의 무게 중심을 측정하는 단계를 더 포함할 수 있다.The 3D physical gesture recognition method may further include measuring a center of gravity of the operator from the acquired position information of the LED marker.

한편, 본 발명은 3차원 신체동작 인식을 위한 웨어러블 장치를 제공한다. 상기 웨어러블 장치는 동작자가 상의에 입을 수 있는, 어깨부 및 허리부로 상하 구분되는 자켓 형태의 의복, 및 상기 의복에 부착되는 적어도 하나 이상의 LED 마커들을 포함한다.On the other hand, the present invention provides a wearable device for three-dimensional body movement recognition. The wearable device includes a jacket-type garment divided into a shoulder portion and a waist portion, and an at least one LED marker attached to the garment, which the operator can wear on the top.

상기 LED 마커의 일부는 상기 어깨부에 부착되고, 상기 LED 마커의 일부는 상기 허리부의 둘레에 밴드 타입으로 감겨져서 부착될 수 있다.A portion of the LED marker may be attached to the shoulder portion, and a portion of the LED marker may be wound and attached to the circumference of the waist in a band type.

상기 LED 마커는 상기 동작자의 양 손목과 양 발목에 밴드 타입으로 감겨져서 더 부착될 수 있다. The LED marker may be further attached by being wound in a band type on both wrists and both ankles of the operator.

상기 LED 마커는 상기 동작자의 머리에 밴드 타입으로 감겨져서 더 부착될 수 있다.The LED marker may be further attached by being wound in a band type on the head of the operator.

이러한 본 발명에 따르면, 비디오 카메라와 LED 마커를 통해 인식된 모션에서 동작자의 자세를 추출해서 분석할 수 있다. 분석된 자세를 통해 잘못된 부위를 찾아내어 이에 대한 실시간 교정이 가능하다. 또한, 동작자가 상의에 입을 수 있는 LED 마커가 부착된 웨어러블 장치를 동해 손쉽게 탈착이 가능하다. According to the present invention, the posture of the operator can be extracted and analyzed in the motion recognized through the video camera and the LED marker. The analyzed posture can find out the wrong part and correct it in real time. In addition, the wearable device equipped with an LED marker that can be worn by the operator can be easily attached and detached.

도 1은 본 발명에 따른 LED 마커를 이용한 3차원 신체동작 인식방법을 나타내는 순서도이다.
도 2는 본 발명에 따른 LED 마커를 이용한 3차원 동작 인식방법의 실현을 위한 인식 시스템의 기능별 구성을 나타내는 개략도이다.
도 3a는 동작자의 어깨 부분 및 허리 부분에 부착된 LED 마커와 동작자의 전신을 촬영하는 1대의 비디오 카메라를 나타내는 개략도이다.
도 3a는 동작자의 어깨 부분 및 허리 부분에 부착된 LED 마커와 동작자의 전신을 촬영하는 2대의 비디오 카메라를 나타내는 개략도이다.
도 4a는 동작자의 머리 부분에 밴드 타입으로 감겨져서 부착되는 LED 마커가 부착된 모습을 나타내는 개략도이다.
도 4b는 동작자의 손목에 밴드 타입으로 감겨져서 부착되는 LED 마커가 부착된 모습을 나타내는 개략도이다.
도 4c는 동작자의 발목에 밴드 타입으로 감겨져서 부착되는 LED 마커가 부착된 모습을 나타내는 개략도이다.
도 5는 동작자의 머리, 허리, 및 손목에 부착된 LED 마커들의 위치 정보에 근거하여 팔의 관절들의 위치와 각도를 구하기 위한 개략도이다.
도 6는 동작자가 상의에 입을 수 있는 의복에 LED 마커가 부착된 웨어러블 장치를 나타내는 개략도이다.
도 7a는 동작자의 골프 스윙시 준비 동작과 스윙 전을 비교하여 동작자의 무게 중심의 변화를 나타내는 도면이다.
도 7b는 동작자의 골프 스윙시 준비 동작과 스윙 후를 비교하여 동작자의 무게 중심의 변화를 나타내는 도면이다.1 is a flow chart illustrating a three-dimensional body motion recognition method using the LED marker according to the present invention.
Figure 2 is a schematic diagram showing the functional configuration of the recognition system for realizing the three-dimensional motion recognition method using the LED marker according to the present invention.
3A is a schematic diagram showing an LED marker attached to the operator's shoulder and waist and one video camera for photographing the operator's entire body.
3A is a schematic diagram showing an LED marker attached to the operator's shoulder and waist and two video cameras for photographing the operator's entire body.
Figure 4a is a schematic diagram showing a state attached to the LED marker is wound wound attached to the band type of the operator.
Figure 4b is a schematic diagram showing a state attached to the LED marker is wound wound attached to the wrist type of the operator.
Figure 4c is a schematic diagram showing a state attached to the LED marker is wound attached to the band type on the operator's ankle.
FIG. 5 is a schematic diagram for obtaining positions and angles of arm joints based on position information of LED markers attached to an operator's head, waist, and wrist.
6 is a schematic diagram showing a wearable device having an LED marker attached to a garment that an operator can wear on the garment.
FIG. 7A is a view illustrating a change in the center of gravity of the operator by comparing the preparatory operation with the swing before the operator's golf swing.
7B is a view showing a change in the center of gravity of the operator by comparing the preparatory action and the swing during the golf swing of the operator.

이하, 도면들을 참조하여, 본 발명의 LED 마커를 이용한 3차원 신체동작 인식방법 및 이를 이용하는 웨어러블 장치에 관하여 보다 상세하게 설명하고자 한다. Hereinafter, with reference to the drawings, it will be described in more detail with respect to the three-dimensional body motion recognition method using the LED marker of the present invention and a wearable device using the same.

도 1은 본 발명에 따른 LED 마커를 이용한 3차원 신체동작 인식방법을 나타내는 순서도이고, 도 2는 본 발명에 따른 LED 마커를 이용한 3차원 동작 인식방법의 실현을 위한 인식 시스템의 기능별 구성을 나타내는 개략도이다.1 is a flow chart showing a three-dimensional body motion recognition method using the LED marker according to the present invention, Figure 2 is a schematic diagram showing the functional configuration of the recognition system for realizing the three-dimensional motion recognition method using the LED marker according to the present invention to be.

도 1을 참조하면, 상기 3차원 신체동작 인식방법은, 화상 정보를 입력받는 단계(S100), 화상 정보를 색상별로 분리하는 단계(S200), LED 마커의 위치 정보를 취득하는 단계(S300), 및 동작자의 운동 형태를 결정하는 단계(S400)로 구성된다. 상기 화상 정보를 입력받는 단계(S100)에서 동작자의 신체에 부착된 둘 이상의 색상을 갖는 LED 마커로부터 적어도 하나 이상의 카메라 장치를 통하여 화상 정보를 입력받는다. 상기 카메라로부터 얻어진 화상 정보들은 디지털화되어 본 발명의 인식 시스템에 전달된다. 상기 입력받은 화상 정보를 각각 색상별로 분리한다(S200). 상기 분리된 화상 정보를 이용하여 상기 LED 마커의 위치 정보를 취득하며(S300), 상기 취득된 LED 마커의 위치 정보로부터 동작자의 운동 형태를 결정한다(S400). Referring to FIG. 1, the three-dimensional physical motion recognition method includes receiving image information (S100), separating image information by color (S200), obtaining position information of an LED marker (S300), And determining a movement form of the operator (S400). In the step of receiving the image information (S100), the image information is received through at least one or more camera devices from the LED markers having two or more colors attached to the body of the operator. Image information obtained from the camera is digitized and transferred to the recognition system of the present invention. The input image information is separated for each color (S200). The position information of the LED marker is acquired using the separated image information (S300), and the movement type of the operator is determined from the acquired position information of the LED marker (S400).

도 2를 참조하면, 인식 시스템은 화상 정보 입력 모듈(10), 색분리 모듈(20), 마커 추출 모듈(30), 3차원 좌표 연산 모듈(40), 현재 동작 결정 모듈(50), 및 제어 모듈(60)을 포함한다. 화상 정보 입력 모듈(10)은 LED 마커와 카메라로부터 얻어진 화상 정보들을 디지털화하여 입력받는 역할을 한다. 색분리 모듈(20)은 상기 화상 정보를 색 구별 작업을 통하여 각각 색상별로 분리한다. Referring to FIG. 2, the recognition system includes an image information input module 10, a color separation module 20, a marker extraction module 30, a three-dimensional coordinate calculation module 40, a current motion determination module 50, and a control. Module 60. The image information input module 10 serves to receive digitalized image information obtained from the LED marker and the camera. The color separation module 20 separates the image information for each color through color discrimination.

마커 추출 모듈(30)은 색상별로 분리된 상기 각각의 화상 정보를 분석하여 LED 마커의 형상과 위치 정보를 취득하며, 3차원 좌표 연산 모듈(40)은 상기 취득된 LED 마커의 형상과 위치 정보를 기준으로 3차원 공간 상에서 마커의 위치를 계산한다. The marker extraction module 30 analyzes the respective image information separated by colors to obtain the shape and position information of the LED marker, and the three-dimensional coordinate calculation module 40 obtains the shape and position information of the acquired LED marker. The position of the marker in the three-dimensional space is calculated as a reference.

현재 동작 결정 모듈(50)은 3차원 좌표 연산 모듈(40)에서 계산된 3차원 공간 상의 마커들의 위치들을 분석하여 현재 동작자의 운동 종류 및 자세를 결정한다. The current motion determination module 50 analyzes the positions of the markers in the 3D space calculated by the 3D coordinate calculation module 40 to determine the movement type and posture of the current operator.

제어 모듈(60)은 상기 설명한 모듈들의 중심부로서 각 모듈의 동작을 제어하며, 각 모듈에서 결정되는 정보들의 입출력을 제어한다. The control module 60 controls the operation of each module as the center of the above-described modules, and controls the input / output of information determined in each module.

도 3a는 동작자의 어깨 및 허리에 부착된 LED 마커와 동작자의 전신을 촬영하는 1대의 비디오 카메라를 나타내는 개략도이고, 도 3b는 동작자의 어깨 및 허리에 부착된 LED 마커와 동작자의 전신을 촬영하는 2대의 비디오 카메라를 나타내는 개략도이다.FIG. 3A is a schematic diagram showing an LED marker attached to an operator's shoulder and waist and one video camera for photographing the operator's entire body, and FIG. 3B is an image showing an LED marker attached to the operator's shoulder and waist and an operator's entire body. A schematic diagram showing a large video camera.

도 3a 및 3b를 참조하면, 하나 이상의 LED 마커(12, 14)가 동작자의 몸에 직접 부착된다. 상기 LED 마커(12, 14)는 동작자의 착용한 의복 위에 부착되거나, 의복을 착용하지 않고 피부에 직접 부착될 수 있다. LED 마커(12)는 동작자의 양 어깨에 하나씩 부착될 수 있고, 또는 가슴 부위에 부착될 수도 있다. 부착되는 LED 마커(12)의 수가 증가할수록 동작자의 운동 형태는 더 자세하게 결정될 수 있다. 또한, LED 마커(14)는 동작자의 허리에 부착될 수 있다. 상기 어깨에 부착되는 LED 마커(12)와 마찬가지로, LED 마커(14)는 동작자의 착용한 의복 위에 부착되거나, 의복을 착용하지 않고 피부에 직접 부착될 수 있다. 하나 또는 그 이상의 LED 마커(14)가 허리에 부착될 수 있고, 부착되는 LED 마커(14)의 수가 증가할수록 동작자의 운동 형태는 더 자세하게 결정될 수 있다. 3A and 3B, one or more LED markers 12, 14 are attached directly to the operator's body. The LED markers 12 and 14 may be attached on the operator's worn garment or directly on the skin without wearing the garment. The LED markers 12 may be attached to each of the shoulders of the operator one by one, or may be attached to the chest. As the number of LED markers 12 attached increases, the type of movement of the operator can be determined in more detail. In addition, the LED marker 14 may be attached to the waist of the operator. Like the LED marker 12 attached to the shoulder, the LED marker 14 may be attached on the operator's worn garment or directly on the skin without wearing the garment. One or more LED markers 14 may be attached to the waist, and as the number of LED markers 14 attached increases, the type of movement of the operator may be determined in more detail.

상기 카메라(22)는 동작자와 일정 거리 떨어진 수평 위치에서 전신을 커버하도록 측면에 설치되어 비출 수 있으며, 도시한 바와 같이, 동작자의 상부에 1대의 카메라(24)가 더 설치될 수 있다. 보다 정확한 영상 촬영을 위해서 3대의 카메라를 사용할 수 있으며, 상황에 따라 카메라(22, 24)의 수는 증가될 수 있다. 도 3a 및 3b에서는 카메라(22, 24)의 설치 위치를 측면 및 상부로 도시하였으나, 상황에 따라 다양한 위치에 설치할 수 있다. 한편, 카메라(22, 24)는 일반 비디오 카메라(Video Signal Camera), USB 카메라, IEEE1394 카메라, 또는 전용의 고속 디지털 카메라 등 어떤 종류도 사용할 수 있다. The camera 22 may be installed on the side so as to cover the whole body at a horizontal position away from the operator by a predetermined distance, and as shown, one camera 24 may be further installed on the operator. Three cameras may be used for more accurate image capturing, and the number of cameras 22 and 24 may increase depending on the situation. In FIGS. 3A and 3B, installation positions of the cameras 22 and 24 are illustrated in side and top portions, but may be installed in various positions according to circumstances. On the other hand, the cameras 22 and 24 can use any kind, such as a general video camera, a USB camera, an IEEE1394 camera, or a dedicated high speed digital camera.

필요에 따라서는, 도 4a 내지 4c에서 도시한 바와 같이, LED 마커(16, 18, 19)가 동작자의 머리, 손목, 및 발목에 밴드 타입으로 감겨져서 부착될 수 있다. 상기 도 3a 및 3b에서의 LED 마커(12, 14)와 마찬가지로 머리, 손목, 발목의 피부에 직접 부착될 수도 있다. 한편, 밴드 타입 대신 동작자가 머리에 쓸 수 있는 모자 형태로 마커가 부착되어 착용할 수도 있고, 손목 및 발목 부위는 장갑, 신발 등의 형태로 LED 마커를 부착하여 착용할 수도 있다. LED 마커의 부착 방법은 상기의 실시예에 한정되지 않는다.If necessary, as shown in Figs. 4A to 4C, the LED markers 16, 18, and 19 may be wound and attached to the operator's head, wrist, and ankle in a band type. Similar to the LED markers 12 and 14 in FIGS. 3A and 3B, they may be directly attached to the skin of the head, wrist, and ankle. On the other hand, instead of the band type, the operator may wear the marker in the form of a hat that can be worn on the head, and the wrist and ankle may be worn by attaching the LED marker in the form of gloves, shoes, and the like. The method of attaching the LED marker is not limited to the above embodiment.

본 발명에 따른 3차원 신체동작 인식방법은 상기 LED 마커의 위치를 참조하여 상기 동작자의 관절의 위치 및 각도를 측정하는 단계를 더 포함할 수 있다. 도 5는 동작자의 머리, 허리, 및 손목에 부착된 LED 마커의 위치 정보에 근거하여 팔의 관절들의 위치와 각도를 구하기 위한 개략도이다. 3D physical motion recognition method according to the present invention may further comprise the step of measuring the position and angle of the joint of the operator with reference to the position of the LED marker. Figure 5 is a schematic diagram for obtaining the position and angle of the joints of the arm based on the position information of the LED marker attached to the head, waist, and wrist of the operator.

도 5를 참조하면, LED 마커(P3, PW)가 동작자의 손목 부위 및 허리 부위에 부착된다. 동작자의 자세의 결정은 허리에 부착된 LED 마커(PW)의 인식으로부터 시작된다. 만약 머리에 부착된 마커(PH)도 있다면 두 정보를 같이 고려하면 신체의 몸통의 위치 및 자세가 결정된다. 또한, 양 손목, 양 발목의 마커 위치를 고려하면 대략의 자세가 추정될 수 있다. 먼저, 머리와 허리에 부착된 LED 마커(PH, PW)의 위치 가 카메라에 의해 구해지고 우측 손목에 부착된 LED 마커(P3)의 위치가 구해지면 대략의 자세가 예측되게 된다. 즉, 머리와 몸통의 상황으로 대략의 우측 어깨 관절에 부착된 LED 마커(P1)의 위치를 추정할 수 있고, 동작자의 추정적인 신체 구조 치수에 의해 상부 팔과 하부 팔의 길이 L1, L2는 이미 결정되어 있으며, 우측 손목에 부착된 LED 마커(P3)의 위치는 카메라에 의해 구해지게 되므로, 결국은 상부 팔과 하부 팔 사이의 관절의 위치(P2)가 추정된다. 이와 같이, 관절의 위치(P2)가 추정되면 결국 동작자의 팔에 대한 모든 3차원 정보가 구해지게 된다. Referring to FIG. 5, LED markers P 3 and P W are attached to the wrist and waist of the operator. Determination of the operator's posture begins with the recognition of the LED marker P W attached to the waist. If there is a marker (P H ) attached to the head, considering both information together, the position and posture of the torso of the body is determined. In addition, an approximate posture can be estimated by considering marker positions of both wrists and both ankles. First, when the positions of the LED markers P H and P W attached to the head and the waist are obtained by the camera and the positions of the LED markers P 3 attached to the right wrist are obtained, an approximate posture is predicted. That is, it is possible to estimate the position of the LED marker P 1 attached to the approximately right shoulder joint in the situation of the head and torso, and the lengths of the upper and lower arms L 1 , L by the estimated body structure of the operator. 2 is already determined, and the position of the LED marker P 3 attached to the right wrist is obtained by the camera, so that the position P 2 of the joint between the upper and lower arms is estimated. As such, when the position P 2 of the joint is estimated, all three-dimensional information about the arm of the operator is obtained.

이와 같이, P1, P2, P3가 구해지면 적절한 추정 평면이 구해지고, 상부 팔과 하부 팔의 길이 L1, L2와 함께 각 관절의 상대각 θ2, θ3가 구해지며, 어깨의 회전각 θ1도 적절히 추정할 수 있다. In this way, when P 1 , P 2 , and P 3 are obtained, an appropriate estimation plane is obtained, and the relative angles θ 2 , θ 3 of each joint are obtained along with the lengths L 1 and L 2 of the upper and lower arms, and the shoulders the rotation angle θ 1 of the can also be appropriately estimated.

한편, 본 발명에 따른 3차원 신체동작 인식방법은 상기 취득된 LED 마커의 위치 정보로부터 동작자의 무게 중심을 측정하는 단계를 더 포함할 수 있다. 도 7a는 동작자의 골프 스윙시 준비 동작과 스윙 전을 비교하여 동작자의 무게 중심의 변화를 나타내는 도면이고, 도 7b는 동작자의 골프 스윙시 준비 동작과 스윙 후를 비교하여 동작자의 무게 중심의 변화를 나타내는 도면이다.On the other hand, the three-dimensional body motion recognition method according to the invention may further comprise the step of measuring the center of gravity of the operator from the acquired position information of the LED marker. 7A is a view showing a change in the center of gravity of the operator by comparing the preparatory action and the swing before the golf swing of the operator, Figure 7b is a change in the center of gravity of the operator by comparing the preparatory action and the swing after the golf swing of the operator It is a figure which shows.

무게 중심(COG, Center of Gravity) 이동 인식기술은 골프 스윙시에 동작자의 무게 중심 이동을 측정하는 기술이다. 현재로써는 무게 중심을 측정할 때 지면 반력기라는 고가의 장비를 사용하고 있는데, 이러한 장비가 필요 없이 카메라만으로 무게 중심이 이동하는 양상을 확인할 수 있다. 본 발명에서는 영상 처리 기술 중 하나인 실루엣 트래킹(silhouette tracking)을 사용하는데, 즉, 타겟(target)이 되는 물체가 차지하고 있는 영역을 다른 영역과 구분하여 이미지 상에 나타낸다. 예를 들어, 한 영상에서 사람의 실루엣을 찾고자 한다면 사람을 제외한 배경은 모두 검은색으로 칠하고 사람은 모두 흰색으로 칠하는 방식이다. 그리고 사람으로 지정된 흰색 영역을 영상 처리하여 원하는 작업을 수행할 수 있다. 본 발명에서는 우선, 사람의 영역을 흰색으로, 배경을 검은색으로 구분하고 사람의 실루엣 영역의 무게 중심을 찾아 골프 스윙 시에 어떻게 이동하는지 확인할 수 있도록 하였다.Center of Gravity (COG) movement recognition technology measures the movement of the center of gravity of an operator during a golf swing. Currently, when measuring the center of gravity, expensive equipment called ground reaction force is used, and it is possible to check the movement of the center of gravity by the camera alone without the need for such equipment. In the present invention, silhouette tracking, which is one of image processing techniques, is used. That is, an area occupied by an object as a target is displayed on an image by distinguishing it from other areas. For example, if you want to find the silhouette of a person in an image, you can paint all the background except people in black and all the people in white. The white area designated as a person may be imaged to perform a desired task. In the present invention, first, the human area is divided into white, the background is divided into black, and the center of gravity of the silhouette area of the person is found to check how the golf swing moves.

도 7a 및 7b를 참조하면, 실루엣 트래킹을 통해, 기존 영상에서 배경 영상을 비교하여 같은 부분을 잘라내고 나머지 부분을 흰색으로 처리하여, 동작자의 영역을 흰색으로 만들 수 있다. 흰색으로 지정된 픽셀(pixel)들을 이용하여, 아래 식을 적용하면 무게 중심을 찾을 수 있다.Referring to FIGS. 7A and 7B, through silhouette tracking, an area of an operator may be white by comparing a background image from an existing image and cutting out the same portion and processing the remaining portion in white. Using pixels specified as white, we can find the center of gravity by applying

XCOG =

Figure pat00001
, YCOG =
Figure pat00002
X COG =
Figure pat00001
, Y COG =
Figure pat00002

여기서, XCOG 는 동작자의 가로 방향의 무게 중심 좌표이고, YCOG 는 동작자의 세로 방향의 무게 중심 좌표이다. N은 전체 픽셀의 개수이며, Xi 및 Yi 는 가로 및 세로 방향 픽셀 좌표이다. 도 7a 및 7b에 도시된 바와 같이, 어드레스(address) 자세에서의 무게 중심과 탑(top) 자세, 스윙 후(after swing) 자세에서의 무게 중심 위치가 서로 다르다는 것을 확인할 수 있다.Here, X COG is the center of gravity coordinates in the transverse direction of the operator , Y COG is the center of gravity coordinates in the longitudinal direction of the operator. N is the total number of pixels, and Xi and Yi are the horizontal and vertical pixel coordinates. As shown in FIGS. 7A and 7B, it can be seen that the center of gravity at the address posture, the center of gravity at the top posture and the after swing posture are different from each other.

본 발명은 또한, 3차원 신체동작 인식을 위한 LED 마커가 부착되어 동작자가 착용할 수 있는 웨어러블 장치를 제공한다. 웨어러블 장치는 동작자가 상의에 입을 수 있는, 어깨부 및 허리부로 상하 구분되는 자켓 형태의 의복, 및 상기 의복에 부착되는 적어도 하나 이상의 LED 마커를 포함한다.The present invention also provides a wearable device that can be worn by the operator is attached to the LED marker for three-dimensional body movement recognition. The wearable device includes a jacket-type garment divided into a shoulder portion and a waist portion, and an at least one LED marker attached to the garment, which the operator can wear on the top.

도 6은 동작자가 상의에 입을 수 있는 의복에 LED 마커가 부착된 웨어러블 장치를 나타내는 개략도이다. 도시된 바와 같이, LED 마커(32, 34)는 자켓 형태의 장치의 어깨 및 허리에 부착된다. 기존에 상용화되어 있는 자켓은 동작 인식에 방해가 되는 요소가 있는데, 골프 스윙을 하게 되면 어깨와 허리가 구분되어 있지 않기 때문에 어깨가 돌면 허리 부분도 같이 돌아가게 된다. 그러므로, 마커를 붙여도 어깨와 허리 각도를 정확히 계산하지 못한다는 단점이 있다. 따라서, 본 발명에 따른 웨어러블 장치는 어깨와 허리 사이에 유연한 재질의 섬유를 이용하여 어깨와 허리의 꼬임이 잘 드러나도록 할 수 있다. 즉, 상기 LED 마커의 일부(32)는 어깨부에 부착되고, 상기 LED 마커의 일부(34)는 허리부의 둘레에 밴드 타입으로 감겨져서 부착될 수 있다.6 is a schematic diagram illustrating a wearable device having an LED marker attached to a garment that an operator can wear on the garment. As shown, the LED markers 32, 34 are attached to the shoulders and waist of the jacket-shaped device. The jacket that has been commercialized in the past has an element that hinders motion recognition. When the golf swing is performed, the shoulder and the waist are not distinguished, so the waist part rotates with the shoulder. Therefore, even if a marker is attached, there is a disadvantage in that the shoulder and waist angles cannot be calculated accurately. Therefore, the wearable device according to the present invention can be made to expose the twist of the shoulder and waist well by using a fiber of a flexible material between the shoulder and the waist. That is, a portion 32 of the LED marker may be attached to the shoulder portion, and a portion 34 of the LED marker may be wound around the waist portion in a band type.

한편, LED 마커는 상기 동작자의 양 손목과 양 발목에 밴드 타입으로 감겨져서 더 부착될 수 있다. 또한, LED 마커는 상기 동작자의 머리에 밴드 타입으로 감겨져서 더 부착될 수 있다. On the other hand, the LED marker may be further attached by being wound in a band type on both wrists and both ankles of the operator. In addition, the LED marker may be further attached to the head of the operator wound in a band type.

본 발명의 3차원 신체동작 인식방법 및 이를 이용하는 웨어러블 장치에 의해서, 동작자의 신체동작을 즉시 파악할 수 있고, 특히,골프 스윙시의 동작 분석이 가능함으로써, 스윙 폼을 실시간으로 교정할 수 있다.According to the three-dimensional body motion recognition method of the present invention and the wearable device using the same, it is possible to immediately grasp the body motion of the operator, in particular, by analyzing the motion during the golf swing, it is possible to correct the swing form in real time.

이상에서는 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described above with reference to the embodiments, those skilled in the art can be variously modified and changed within the scope of the invention without departing from the spirit and scope of the invention described in the claims below. I can understand.

10: 화상 정보 입력 모듈 20: 색분리 모듈
30: 마커 추출 모듈 40: 3차원 좌표 연산 모듈
50: 현재 동작 결정 모듈 60: 제어 모듈
22, 24: 카메라 장치
12, 14, 16, 18, 19, PH, PW, P3, 32, 34: LED 마커10: image information input module 20: color separation module
30: marker extraction module 40: three-dimensional coordinate calculation module
50: current operation determination module 60: control module
22, 24: camera unit
12, 14, 16, 18, 19, PH, PW, P3, 32, 34: LED marker

Claims (7)

동작자의 신체에 부착된 둘 이상의 색상을 갖는 LED 마커로부터 적어도 하나 이상의 카메라 장치를 통하여 화상 정보를 입력받는 단계;
상기 입력받은 화상 정보를 각각 색상별로 분리하는 단계;
상기 분리된 화상 정보를 이용하여 상기 LED 마커의 위치 정보를 취득하는 단계; 및
상기 취득된 LED 마커의 위치 정보로부터 동작자의 운동 형태를 결정하는 단계를 포함하는 3차원 신체동작 인식방법.Receiving image information from at least one camera device having at least one color attached to an operator's body through at least one camera device;
Separating the input image information for each color;
Acquiring position information of the LED marker using the separated image information; And
3. The method of claim 3, further comprising determining a motion form of the operator from the acquired position information of the LED marker. 제1항에 있어서,
상기 취득된 LED 마커의 위치 정보로부터 동작자의 운동 형태를 결정하는 단계는
동작자의 머리, 허리 및 손목 부분에 부착된 LED 마커의 위치 정보로부터 상기 동작자의 관절의 위치 및 각도를 측정하는 것을 특징으로 하는 3차원 신체동작 인식방법.The method of claim 1,
Determining the movement type of the operator from the acquired position information of the LED marker
3D body motion recognition method comprising measuring the position and angle of the joint of the operator from the position information of the LED marker attached to the head, waist and wrist of the operator. 제1항에 있어서,
상기 취득된 LED 마커의 위치 정보로부터 동작자의 무게 중심을 측정하는 단계를 더 포함하는 것을 특징으로 하는 3차원 신체동작 인식방법.The method of claim 1,
And measuring the center of gravity of the operator from the acquired position information of the LED marker. 동작자가 상의에 입을 수 있는, 어깨부 및 허리부로 상하 구분되는 자켓 형태의 의복; 및
상기 의복에 부착되는 적어도 하나 이상의 LED 마커들을 포함하는 3차원 신체동작 인식을 위한 웨어러블 장치.A jacket-type garment divided into a shoulder and a waist, which the operator can wear on the top; And
Wearable device for 3D gesture recognition comprising at least one LED marker attached to the garment. 제4항에 있어서,
상기 LED 마커의 일부는 상기 어깨부에 부착되고, 상기 LED 마커의 일부는 상기 허리부의 둘레에 밴드 타입으로 감겨져서 부착되는 것을 특징으로 하는 웨어러블 장치.The method of claim 4, wherein
Part of the LED marker is attached to the shoulder portion, wearable device, characterized in that a portion of the LED marker is wound around the waist portion is attached to the band type. 제5항에 있어서,
상기 LED 마커는 상기 동작자의 양 손목과 양 발목에 밴드 타입으로 감겨져서 더 부착되는 것을 특징으로 하는 웨어러블 장치.The method of claim 5,
The LED marker is a wearable device, characterized in that the wrist is wound around both wrists and both ankles of the band type attached more. 제6항에 있어서,
상기 LED 마커는 상기 동작자의 머리에 밴드 타입으로 감겨져서 더 부착되는 것을 특징으로 하는 웨어러블 장치.The method of claim 6,
The LED marker is wearable device, characterized in that further attached to the head of the operator wound in a band type.
KR1020100045148A 2010-05-13 2010-05-13 Three-demensional body motion recognition method using led marker and wearable device using the same KR101170236B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100045148A KR101170236B1 (en) 2010-05-13 2010-05-13 Three-demensional body motion recognition method using led marker and wearable device using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100045148A KR101170236B1 (en) 2010-05-13 2010-05-13 Three-demensional body motion recognition method using led marker and wearable device using the same

Publications (2)

Publication Number Publication Date
KR20110125556A true KR20110125556A (en) 2011-11-21
KR101170236B1 KR101170236B1 (en) 2012-07-31

Family

ID=45394986

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100045148A KR101170236B1 (en) 2010-05-13 2010-05-13 Three-demensional body motion recognition method using led marker and wearable device using the same

Country Status (1)

Country Link
KR (1) KR101170236B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101394276B1 (en) * 2013-12-31 2014-05-13 (주) 골프존 Image generating method for analysis of user's golf swing motion through depth image analysis, and method and apparatus for analysis of golf swing motion using the same
GB2533134A (en) * 2014-12-11 2016-06-15 Sony Computer Entertainment Inc Exercise mat, entertainment device and method of interaction between them
KR20160077708A (en) * 2014-12-24 2016-07-04 주식회사 홍인터내셔날 Wearable device for measuring recode of dart sport
CN109840490A (en) * 2019-01-25 2019-06-04 深圳大学 Processing method, system, electronic device and the storage medium of human action characterization
WO2020208272A1 (en) * 2019-04-12 2020-10-15 Asociacion Centro Tecnologico Ceit Ik-4 Measuring device for determining the weight of freight wagons

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102268954B1 (en) 2019-08-30 2021-06-25 (주) 알디텍 Method for detecting golf ball hitting and golf swing motion analysis apparatus using the same

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101394276B1 (en) * 2013-12-31 2014-05-13 (주) 골프존 Image generating method for analysis of user's golf swing motion through depth image analysis, and method and apparatus for analysis of golf swing motion using the same
WO2015102391A1 (en) * 2013-12-31 2015-07-09 (주)골프존 Image generating method for analyzing golf swing posture of user through depth image analysis, and method and device for analyzing golf swing posture using same
GB2533134A (en) * 2014-12-11 2016-06-15 Sony Computer Entertainment Inc Exercise mat, entertainment device and method of interaction between them
US9814925B2 (en) 2014-12-11 2017-11-14 Sony Interactive Entertainment Inc. Exercise mat, entertainment device and method of interaction between them
KR20160077708A (en) * 2014-12-24 2016-07-04 주식회사 홍인터내셔날 Wearable device for measuring recode of dart sport
CN109840490A (en) * 2019-01-25 2019-06-04 深圳大学 Processing method, system, electronic device and the storage medium of human action characterization
CN109840490B (en) * 2019-01-25 2021-10-22 深圳大学 Human motion representation processing method and system, electronic device and storage medium
WO2020208272A1 (en) * 2019-04-12 2020-10-15 Asociacion Centro Tecnologico Ceit Ik-4 Measuring device for determining the weight of freight wagons

Also Published As

Publication number Publication date
KR101170236B1 (en) 2012-07-31

Similar Documents

Publication Publication Date Title
KR101170236B1 (en) Three-demensional body motion recognition method using led marker and wearable device using the same
EP3035164B1 (en) Wearable sensor for tracking articulated body-parts
JP3749369B2 (en) Hand pointing device
CN106681510B (en) Pose recognition device, virtual reality display device and virtual reality system
JP5564300B2 (en) Head mounted augmented reality video presentation device and virtual display object operating method thereof
US20160104298A1 (en) Apparatus and method for poomsae recognition and dan promotion test of taekwondo based on skeleton of human body using depth camera
KR100452917B1 (en) Method and System for sensing Three-Dimensional body motion using color marker
WO2015139750A1 (en) System and method for motion capture
KR20190087473A (en) Wearable motion tracking system
KR20120134488A (en) Method of user interaction based gesture recognition and apparatus for the same
KR101759444B1 (en) Expression recognition sysyem and method using a head mounted display
JP2018119833A (en) Information processing device, system, estimation method, computer program, and storage medium
US20190095718A1 (en) Information processing apparatus
US11944897B2 (en) Device including plurality of markers
CN111095168A (en) Visual and inertial motion tracking
JP6932946B2 (en) Detection system, detection method, and detection program
CN110968181A (en) Finger bending degree detection device and method
JP2019141262A (en) Method for analyzing motion of martial art
KR100955539B1 (en) Motion analysis system for golf swing and motion analysis method adapted for the same
JPWO2018207388A1 (en) Program, apparatus and method for motion capture
JP5932889B2 (en) Head mounted augmented reality video presentation device and virtual display object operating method
JP2020201183A (en) Camera position adjustment method
CN206819292U (en) A kind of marker for interactive virtual reality experience shop
WO2012124842A1 (en) Motion capture suit
Kempfle et al. Quaterni-On: Calibration-free Matching of Wearable IMU Data to Joint Estimates of Ambient Cameras

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150629

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160204

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170626

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180620

Year of fee payment: 7