KR20180062068A - 관성센서 및 뎁스 카메라를 이용한 모션 취득 시스템 및 이를 이용한 모션 취득 방법 - Google Patents

관성센서 및 뎁스 카메라를 이용한 모션 취득 시스템 및 이를 이용한 모션 취득 방법 Download PDF

Info

Publication number
KR20180062068A
KR20180062068A KR1020160161941A KR20160161941A KR20180062068A KR 20180062068 A KR20180062068 A KR 20180062068A KR 1020160161941 A KR1020160161941 A KR 1020160161941A KR 20160161941 A KR20160161941 A KR 20160161941A KR 20180062068 A KR20180062068 A KR 20180062068A
Authority
KR
South Korea
Prior art keywords
user
information
depth camera
inertial sensor
motion
Prior art date
Application number
KR1020160161941A
Other languages
English (en)
Other versions
KR101914194B1 (ko
Inventor
반성범
황세현
고경리
Original Assignee
조선대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조선대학교산학협력단 filed Critical 조선대학교산학협력단
Priority to KR1020160161941A priority Critical patent/KR101914194B1/ko
Publication of KR20180062068A publication Critical patent/KR20180062068A/ko
Application granted granted Critical
Publication of KR101914194B1 publication Critical patent/KR101914194B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012—Comparing movements or motion sequences with a registered reference
    • A63B2024/0015—Comparing movements or motion sequences with computerised simulations of movements or motion sequences, e.g. for generating an ideal template as reference to be achieved by the user

Abstract

본 발명은 관성센서 및 뎁스 카메라를 이용한 모션 취득 시스템 및 이를 이용한 모션 취득 방법에 관한 것으로서, 상기 관성센서 및 뎁스 카메라를 이용한 모션 취득 시스템은 사용자의 자세를 감지할 수 있도록 사용자의 신체에 장착된 다수의 관성센서가 마련된 센서유닛과, 상기 사용자에 대한 깊이 영상을 촬영하는 뎁스카메라와, 상시 센서유닛으로부터 감지된 감지정보를 토대로 사용자의 자세에 대한 초기 모션 데이터를 생성하는 데이터 생성부와, 상기 뎁스카메라로부터 제공받은 깊이영상을 토대로 상기 사용자의 자세정보를 산출하는 정보획득부와, 상기 정보획득부를 통해 산출된 자세정보를 토대로 상기 초기 모션 데이터를 보정하는 보정부를 구비한다.
본 발명에 따른 관성센서 및 뎁스 카메라를 이용한 모션 취득 시스템 및 이를 이용한 모션 취득 방법은 관성센서들로부터 획득한 정보로 생성된 모션 데이터를 뎁스 카메라로부터 획득한 깊이 영상을 토대로 보정하므로 보다 정확한 사용자의 모션 데이터를 획득할 수 있다는 장점이 있다.

Description

관성센서 및 뎁스 카메라를 이용한 모션 취득 시스템 및 이를 이용한 모션 취득 방법{Motion acquisition system using inertial sensor and depth camera and motion acquisition method using the same}
본 발명은 관성센서 및 뎁스 카메라를 이용한 모션 취득 시스템 및 이를 이용한 모션 취득 방법에 관한 것으로서, 더욱 상세하게는 관성센서들로부터 획득한 모션 데이터를 뎁스 카메라를 통해 획득한 깊이 정보를 토대로 보정하는 관성센서 및 뎁스 카메라를 이용한 모션 취득 시스템 및 이를 이용한 모션 취득 방법에 관한 것이다.
골프 스윙의 연습에 있어서 어드레스(address)부터 백스윙(back swing), 다운스윙(down swing), 임팩트(impact) 및 피니쉬(finish)에 이르기까지 각 동작이 정확하게 구현이 되어야만 비로소 좋은 골프 스윙이 나올수 있다. 이와 같은 좋은 골프 스윙을 위해서는 자신의 골프 스윙에 대한 전문가의 정확한 분석을 토대로 꾸준한 연습과 분석 결과를 바탕으로 한 교정을 반복적으로 수행하여야 한다.
종래에는 전문가에 의한 골프 스윙자세의 분석은 전문가가 사용자의 골프 스윙모션에 대한 영상에 가이드라인을 수동으로 표시하고 사용자의 스윙모션이 표시된 가이드라인에 대해 어느 정도 잘못된 부분이 있는지 설명하는 방식으로 이루어졌었다.
또한, 종래에는 별도의 동작분석시스템을 사용하여 사용자의 모션 데이터를 취득하여 분석하였다. 상기 동작분석시스템은 사용자가 신체에 관성센서를 부착할 것을 요구하며 관성센서는 손, 둔부, 어깨 및 머리 같은 분리된 신체부의 위치데이터를 전달한다. 신체의 분리된 점은 중앙점이 실(室)에서 고정점인 절대적 참조계(예를들면 빗좌표계)와 일치하여 스윙동안 측정된다.
그러나, 상술된 종래의 동작분석시스템은 단순히 관성센서들을 통해 측정된 정보를 토대로 모션 데이터를 생성하므로 생성된 모션 데이터와 실제 사용자의 자세와 오차가 발생하여 정확한 분석이 이루어지는데 어려움이 있다.
공개특허공보 제10-2014-0044754호: 골프스윙 해석장치 및 골프스윙 해석방법
본 발명은 상기와 같은 문제점을 개선하기 위해 창안된 것으로서, 관성센서들로부터 획득한 정보로 생성된 모션 데이터를 뎁스 카메라로부터 획득한 깊이 영상을 토대로 보정할 수 있는 관성센서 및 뎁스 카메라를 이용한 모션 취득 시스템 및 이를 이용한 모션 취득 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명에 따른 관성센서 및 뎁스 카메라를 이용한 모션 취득 시스템은 사용자의 자세를 감지할 수 있도록 사용자의 신체에 장착된 다수의 관성센서가 마련된 센서유닛과, 상기 사용자에 대한 깊이 영상을 촬영하는 뎁스카메라와, 상시 센서유닛으로부터 감지된 감지정보를 토대로 사용자의 자세에 대한 초기 모션 데이터를 생성하는 데이터 생성부와, 상기 뎁스카메라로부터 제공받은 깊이영상을 토대로 상기 사용자의 자세정보를 산출하는 정보획득부와, 상기 정보획득부를 통해 산출된 자세정보를 토대로 상기 초기 모션 데이터를 보정하는 보정부를 구비한다.
한편, 본 발명에 따른 관성센서 및 뎁스 카메라를 이용한 모션 취득 시스템은 상기 보정부에 의해 보정된 모션 데이터를 디스플레이하는 디스플레이부;를 더 구비한다.
상기 정보획득부는 상기 깊이 영상을 분석하여 사용자의 오른발과 왼발의 좌우 폭, 사용자의 오른발 단부 및 왼발 단부 사이의 전후방향 이격거리를 상기 자세정보로 산출한다.
상기 정보획득부는 상기 깊이 영상을 분석하여 사용자의 신체 정보 및 초기 시선 방향 정보를 상기 자세 정보로 산출하는 것이 바람직하다.
상기 센서유닛은 사용자의 머리에 장착되는 제1관성센서와, 사용자의 좌우 어깨부위에 각각 장착되는 복수의 제2관성센서와, 사용자의 상기 제2관성센서들 사이 부위에 설치되며, 상기 제2관성센서에 대응되는 높이에 설치되는 제3관성센서와, 사용자의 오른팔 및 왼팔의 팔꿈치에 인접된 위치에 각각 설치되는 복수의 제4관성센서와, 사용자의 오른팔 및 왼팔의 손목부위에 각각 설치되는 복수의 제5관성센서와, 사용자의 오른손 및 왼손에 각각 설치되는 복수의 제6관성센서와, 사용자의 무릎에 대해 상측으로 이격된 위치의 오른다리 및 왼다리에 각각 설치되는 복수의 제7관성센서와, 사용자의 무릎과 발목 사이의 오른다리 및 왼다리에 각각 설치되는 복수의 제8관성센서와, 사용자의 오른발 및 왼발에 각각 설치되는 복수의 제9관성센서와, 사용자의 허리 부분에 설치되는 제10관성센서를 구비한다.
한편, 본 발명에 따른 관성센서 및 뎁스 카메라를 이용한 모션 취득 방법은 사용자의 신체에 장착된 다수의 관성센서의 감지정보를 획득하는 정보획득단계와, 뎁스 카메라로부터 사용자에 대한 깊이 영상을 획득하는 깊이 영상 획득단계와, 상기 정보획득단계를 통해 획득한 감지정보를 토대로 사용자의 자세에 대한 초기 모션 데이터를 생성하는 데이터 생성단계와, 상기 깊이 영상획득단계를 통해 획득한 깊이 영상을 토대로 상기 사용자의 자세정보를 산출하는 산출단계와, 상기 산출단계를 통해 산출된 사용자의 자세정보를 토대로 상기 초기 모션 데이터를 보정하는 보정단계를 포함한다.
한편, 본 발명에 따른 관성센서 및 뎁스 카메라를 이용한 모션 취득 방법은 상기 보정단계를 통해 보정된 모션 데이트를 디스플레이부를 통해 디스플레이하는 표시단계를 더 포함하는 것이 바람직하다.
상기 산출단계에서, 상기 깊이 영상을 분석하여 상기 사용자의 자세정보로서 사용자의 오른발과 왼발의 좌우 폭, 사용자의 오른발 단부 및 왼발 단부 사이의 전후방향 이격거리를 산출한다.
상기 산출단계에서, 상기 깊이 영상을 분석하여 상기 사용자의 자세정보로서 사용자의 신체 정보 및 초기 시선 방향 정보를 산출한다.
본 발명에 따른 관성센서 및 뎁스 카메라를 이용한 모션 취득 시스템 및 이를 이용한 모션 취득 방법은 관성센서들로부터 획득한 정보로 생성된 모션 데이터를 뎁스 카메라로부터 획득한 깊이 영상을 토대로 보정하므로 보다 정확한 사용자의 모션 데이터를 획득할 수 있다는 장점이 있다.
도 1은 본 발명에 따른 관성센서 및 뎁스 카메라를 이용한 모션 취득 시스템에 대한 개념도이고,
도 2는 도 1의 관성센서 및 뎁스 카메라를 이용한 모션 취득 시스템의 센서유닛을 착용한 사용자의 정면도이고,
도 3은 도 1의 관성센서 및 뎁스 카메라를 이용한 모션 취득 시스템의 센서유닛을 착용한 사용자의 후면도이고,
도 4은 도 1의 관성센서 및 뎁스 카메라를 이용한 모션 취득 시스템에 대한 블럭도이고,
도 5는 본 발명에 따른 관성센서 및 뎁스 카메라를 이용한 모션 취득 방법에 대한 순서도이고,
도 6은 실제 사용자의 영상, 초기 모션 데이터 및 본 발명에 따른 관성센서 및 뎁스 카메라를 이용한 모션 취득 시스템 및 모션 취득 방법에 의해 보정된 모션 데이터에 대한 사진이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 따른 관성센서 및 뎁스 카메라를 이용한 모션 취득 시스템 및 이를 이용한 모션 취득 방법에 대해 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1 내지 도 4에는 본 발명에 따른 관성센서 및 뎁스 카메라를 이용한 모션 취득 시스템(100)이 도시되어 있다.
도면을 참조하면, 관성센서 및 뎁스 카메라를 이용한 모션 취득 시스템(100)은 사용자(10)의 자세를 감지할 수 있도록 사용자(10)의 신체에 장착된 다수의 관성센서가 마련된 센서유닛(200)과, 상기 사용자(10)에 대한 깊이 영상을 촬영하는 뎁스 카메라(300)와, 센서유닛(200) 및 뎁스 카메라(300)를 통해 측정된 감지정보 및 깊이 영상을 토대로 사용자(10)의 모션 데이터를 생성하는 정보처리유닛(400)을 구비한다.
센서유닛(200)은 사용자(10)의 신체에 착용하는 착용부재(210)와, 사용자(10)의 신체 부위에 대응되는 위치의 착용부재(210)에 장착되는 제1 내지 제10관성센서(221,222,223,224,225,226,227,228,229,230)를 구비한다.
착용부재(210)는 사용자(10)의 머리에 착용하는 헤어밴드와, 사용자(10)의 상체에 착용하는 몸통밴드(212)와, 사용자(10)의 좌우 팔에 각각 착용하는 복수의 팔 밴드(213)와, 사용자(10)의 좌우 손목에 각각 착용하는 복수의 손목밴드(214)와, 사용자(10)의 좌우 손에 각각 착용하는 복수의 장갑(215)과, 사용자(10)의 하체에 착용하는 하체밴드(216)와, 사용자(10)의 무릎 하측의 좌우 다리에 각각 설치되는 다리밴드(217)를 구비한다.
상기 헤어밴드, 손목밴드(214), 다리밴드(217)는 사용자(10)가 용이하게 착용할 수 있도록 소정의 탄성을 갖는 환형으로 형성된 밴드 타입으로 구성되나, 이에 한정하는 것이 아니라 사용자(10)의 각 신체 부위에 용이하게 착용할 수 있는 구조이면 무엇이든 적용이 가능하다.
몸통밴드(212)는 다수의 결속끈이 상호 연결되어 사용자(10)의 상체를 감싸도록 형성되어 있는데, 사용자(10)의 어깨부위 및 사용자(10)의 등 상부를 지나도록 형성되어 있다. 하체밴드(216)도 다수의 결속끈이 상호 연결되어 사용자(10)의 하체를 감싸도록 형성되어 있는데, 무릅 상측의 오른다리 및 왼다리를 각각 지나도록 형성되어 있다. 상술된 몸통밴드(212) 및 하체밴드(216)는 상호 연결된 다수의 결속끈으로 구성된 것으로 설명하였으나, 몸통밴드(212) 및 하체밴드(216)는 이에 한정하는 것이 아니라 사용자(10)의 상체 및 하체를 각각 감싸도록 형성된 구조이면 무엇이든 가능하다.
제1관성센서(221)는 사용자(10)의 머리에 장착되는 것으로서, 착용부재(210)의 헤드밴드(211)에 설치된다. 제2관성센서(222)는 복수개가 사용자(10)의 좌우 어깨부위에 각각 장착되는 것으로서, 사용자(10)의 좌우 어깨에 대응되는 상체밴드에 각각 설치되는 것이 바람직하다. 제3관성센서(223)는 사용자(10)의 상기 제2관성센서(222)들 사이 부위에 설치되며, 상기 제2관성센서(222)에 대응되는 높이에 설치되는 것으로서, 사용자(10)의 등 상부에 대응되는 상체밴드에 설치된다. 제4관성센서(224)는 복수개가 사용자(10)의 오른팔 및 왼팔의 팔꿈치에 인접된 위치의 상체 밴드에 각각 설치된다. 제5관성센서(225)는 복수개가 사용자(10)의 오른팔 및 왼팔의 손목부위에 각각 장착된 손목밴드(214)에 각각 설치되며, 제6관성센서(226)는 복수개가 사용자(10)가 오름손 및 왼손에 착용한 장갑(215)에 각각 설치된다. 제7관성센서(227)는 복수개가 사용자(10)의 무릎에 대해 상측으로 이격된 위치의 오른다리 및 왼다리에 각각 대응되는 위치의 하체밴드(216)에 각각 설치되며, 제8관성센서(228)는 복수개가 사용자(10)의 무릎과 발목 사이의 오른다리 및 왼다리에 각각 착용된 다리밴드(217)들에 각각 설치된다. 또한, 제9관성센서(229)는 복수개가 사용자(10)가 오른발 및 왼발에 착용한 신발에 각각 설치된다. 그리고, 제10관성센서(230)는 사용자(10)의 허리에 대응되는 하체밴드(216)에 설치된다. 상기 제1 내지 제10관성센서(221,222,223,224,225,226,227,228,229,230)는 MEMS 기반 관성센서로서, 종래에 일반적으로 사용되는 관성센서이므로 상세한 설명은 생략한다.
한편, 도면에 도시되진 않았지만, 센서유닛(200)은 제1 내지 제10관성센서(221,222,223,224,225,226,227,228,229,230)로부터 측정된 감지정보를 무선통신망을 통해 정보처리유닛(400)으로 전송할 수 있도록 통신모듈을 구비할 수도 있다.
뎁스 카메라(300)는 사용자(10)에 대한 깊이 영상을 촬영할 수 있도록 사용자(10)의 정면에 대해 전방으로 소정거리 이격된 위치에 설치되어 있다. 뎁스 카메라(300)는 컬러영상 및 깊이 영상을 획득할 수 있는 카메라 및 깊이 센서가 포함된 키넥트(Kinect)와 같은 기기인 것이 바람직하다.
정보처리유닛(400)은 상시 센서유닛(200)으로부터 감지된 감지정보를 토대로 사용자(10)의 자세에 대한 초기 모션 데이터를 생성하는 데이터 생성부(410)와, 상기 뎁스 카메라(300)로부터 제공받은 깊이영상을 토대로 상기 사용자(10)의 자세정보를 산출하는 정보획득부(420)와, 상기 정보획득부(420)를 통해 산출된 자세정보를 토대로 상기 초기 모션 데이터를 보정하는 보정부(430)를 구비한다. 한편, 정보처리유닛(400)은 도면에 도시되진 않았지만, 센서유닛(200)으로부터 전송된 감지정보를 무선통신망을 통해 수신할 수 있도록 통신모듈을 구비할 수도 있다.
데이터 생성부(410)는 제1 내지 제10관성센서(221,222,223,224,225,226,227,228,229,230)로부터 측정된 감지정보를 토대로 초기 모션 데이터를 생성한다. 상기 초기 모션 데이터는 사용자(10)의 신체에 대응되게 각 관성센서들의 위치를 연결하여 이미지화한 것으로서, 각 관성센서들에서 감지된 위치정보 또는 움직임 정보를 통해 사용자(10)의 자세와 유사한 이미지로 생성된다.
정보획득부(420)는 뎁스 카메라(300)로부터 전달받은 깊이 영상 정보를 토대로 사용자(10)의 자세정보를 산출한다. 여기서, 상기 자세정보는 사용자(10)의 신체정보, 초기 시선 방향 정보 및 스탠스 정보가 포함된다.
여기서, 신체정보는 깊이 영상의 픽셀을 분석하여 사용자(10)의 키, 어깨 폭 등에 대한 정보이고, 초기 시선 방향 정보는 깊이 영상을 통해 분석된 사용자(10)의 시선 방향에 대한 정보이다. 또한, 스탠스 정보는 골프 스윙 전 사용자(10)의 자세 정보로서, 사용자(10)의 오른발과 왼발의 좌우 폭, 사용자(10)의 오른발 단부 및 왼발 단부 사이의 전후방향 이격거리가 포함된다.
한편, 정보획득부(420)가 스탠스 정보를 산출하는 과정을 보다 상세하게 설명하면 다음과 같다. 깊이 영상에서 사용자(10)의 신체가 차지하는 세로 픽셀과 가로 픽셀 수를 통해 길이를 알아낼 수 있으며, 해상도와 화각을 이용하여 신체가 차지하는 각도를 알 수 있다. 이를 통해 알아내고자 하는 부분의 양 끝점을 픽셀 단위 거리로 계산하고, 하기의 수학식1을 통해 신체 즉, 좌우 발 사이의 각도를 구할 수 있다.
Figure pat00001
여기서, θ는 뎁스 카메라(300)의 화각이고, P는 깊이 영상의 전체 픽셀 수이고, h는 신체 즉, 좌우 발이 차지하는 픽셀 수이다. 이때, 뎁스 카메라(300)는 세로 길이 화각 즉, 사용자(10)를 기준으로 상하방향 화각은 60˚이고, 세로 픽셀 즉, 상하 픽셀은 1080이고, 가로길이 즉, 사용자(10)를 기준으로 좌우방향 화각은 70˚이고, 가로픽셀 즉, 좌우픽셀은 1920인 카메라가 적용되는 것이 바람직하다.
상기 수학식 1을 이용하여 가로에 대한 각 즉, 양발의 좌우 방향에 대한 각도 σx와 세로에 대한 각 즉, 양발의 상하 방향에 대한 각 σy을 구하고, 구하고자 하는 양발의 단부의 깊이 값 a와 b를 이용하여 제2코사인 번칙을 통하여 깊이영상에서 실제 구하고자 하는 양발 사이의 좌우방향 거리 nx와, 양발 사이의 상하 방향 거리 ny 길이를 구할 수 있다. 이때, 하기의 수학식 2를 이용할 수 있다.
Figure pat00002
여기서, a는 사용자(10) 왼발의 깊이 정보 즉, 사용자(10) 왼발의 전후방향 깊이 정보이고, b는 사용자(10)의 오른발의 깊이 정보 즉, 사용자(10) 오른발의 전후방향 깊이 정보이다.
하기 표1에는 실제 사용자(10)의 양발의 좌우폭과 뎁스 카메라(300)로부터 촬영된 깊이영상을 분석하여 산출한 양발의 좌우 폭 사이의 오차가 기재되어 있다. 여기서, Foot Width는 실제 사용자(10) 양발의 좌우 폭이고, Average는 깊이영상을 분석하여 산출한 양발의 좌우 폭 사이의 오차 평균 값이다.
Figure pat00003
하기 표2에는 실제 사용자(10)의 양발의 전후 폭과 뎁스 카메라(300)로부터 촬영된 깊이영상을 분석하여 산출한 양발의 전후 폭 사이의 오차가 기재되어 있다. 여기서, Foot Position는 실제 사용자(10) 양발의 전후 폭이고, Average는 깊이영상을 분석하여 산출한 양발의 전후 폭 사이의 오차 평균 값이다.
Figure pat00004
표 1 및 표 2를 참조하면, 실제 사용자(10) 양발의 좌우 폭, 전후 폭과 깊이 영상을 분석하여 산출된 사용자(10) 양발의 좌우 폭, 전후 폭 사이에 오차가 비교적 작다는 것을 알 수 있다.
보정부(430)는 정보획득부(420)를 통해 산출된 사용자(10)의 자세정보를 토대로 초기 모션 데이터를 보정한다. 즉, 보정부(430)는 정보획득부(420)로부터 제공받은 사용자(10)의 신체정보, 초기 시선 방향 정보 및 스탠스 정보에 대응되게 초기 모션 데이터를 수정하여 최종 모션 데이터를 생성한다.
한편, 정보처리유닛(400)은 상기 보정부(430)에 의해 보정된 모션 데이터를 디스플레이하는 디스플레이부(440)를 더 구비한다. 디스플레이부(440)는 LCD와 같은 디스플레이 장치가 적용되며, 최종 모션 데이터를 3D 뷰어 상에 표시한다.
도 5를 참조하여 상술된 바와 같이 구성된 본 발명에 따른 관성센서 및 뎁스 카메라(300)를 이용한 모션 취득 시스템(100)을 이용한 모션 취득 방법을 상세히 설명하면 다음과 같다.
본 발명에 다른 관성센서 및 뎁스 카메라를 이용한 모션 취득 방법은 정보획득단계(S101), 깊이 영상 획득단계(S102), 데이터 생성단계(S103), 산출단계(S104) 및 보정단계(S105)를 포함한다.
정보획득단계(S101)는 사용자(10)의 신체에 장착된 다수의 관성센서의 감지정보를 획득하는 단계이다. 사용자(10)는 제1 내지 제10관성센서(221,222,223,224,225,226,227,228,229,230)가 장착된 착용부재(210)를 착용한다. 이때, 사용자(10)는 센서유닛(200)을 장착시 관성센서들을 초기화하는 것이 바람직하다. 관성센서들의 초기화가 완료되면 사용자(10)는 골프 스윙을 위한 자세를 취한다. 사용자(10)의 자세에 따라 각 관성센서들에서 측정된 감지정보는 무선통신망을 통해 정보처리유닛(400)으로 전송된다.
깊이 영상 획득단계(S102)는 뎁스 카메라(300)로부터 사용자(10)에 대한 깊이 영상을 획득하는 단계이다. 사용자(10)의 전방에 설치된 뎁스 카메라(300)를 통해 사용자(10)에 대한 깊이 영상을 획득한다. 이때, 깊이 영상 획득단계(S102)는 정보획득단계(S101)와 동시에 진행되는 것이 바람직하다.
데이터 생성단계(S103)는 상기 정보획득단계(S101)를 통해 획득한 감지정보를 토대로 사용자(10)의 자세에 대한 초기 모션 데이터를 생성하는 단계이다. 정보처리유닛(400)의 데이터 생성부(410)는 센서유닛(200)으로부터 제공받은 감지정보들을 토대로 초기 모션 데이터를 생성한다. 이때, 초기 모션데이터는 상술된 바와 같이 사용자(10)의 신체에 대응되게 각 관성센서들의 위치를 연결하여 이미지화한 것으로서, 각 관성센서들에서 감지된 위치정보 또는 움직임 정보를 통해 사용자(10)의 자세와 유사한 이미지로 생성된다.
산출단계(S104)는 상기 깊이 영상획득단계를 통해 획득한 깊이 영상을 토대로 상기 사용자(10)의 자세정보를 산출하는 단계이다. 정보획득부(420)는 뎁스 카메라(300)를 통해 제공받은 깊이 영상을 통해 사용자(10)의 자세정보를 산출한다. 이때, 자세정보는 상술된 바와 같이 사용자(10)의 신체정보, 초기 시선 방향 정보 및 스탠스 정보가 포함된다. 이때, 스탠스 정보는 골프 스윙 전 사용자(10)의 자세 정보로서, 사용자(10)의 오른발과 왼발의 좌우 폭, 사용자(10)의 오른발 단부 및 왼발 단부 사이의 전후방향 이격거리가 포함된다.
보정단계(S105)는 상기 산출단계(S104)를 통해 산출된 사용자(10)의 자세정보를 토대로 상기 초기 모션 데이터를 보정하는 단계이다. 보정부(430)는 정보획득부(420)로부터 제공받은 사용자(10)의 신체정보, 초기 시선 방향 정보 및 스탠스 정보에 대응되게 초기 모션 데이터를 수정하여 최종 모션 데이터를 생성한다.
한편, 본 발명에 따른 관성센서 및 뎁스 카메라(300)를 이용한 모션 취득 방법은 상기 보정단계(S105)를 통해 보정된 모션 데이트를 디스플레이부(440)를 통해 디스플레이하는 표시단계(S106)를 더 포함한다. 표시단계(S106)에서, 디스플레이부(440)는 최종 모션 데이터를 3D 뷰어 상에 표시한다.
도 6에는 실제 사용자(10)의 영상, 초기 모션 데이터 및 보정부(430)에 의해 보정된 모션 데이터가 기재되어 있다. 도 6의 (a)열은 사용자(10)의 실제 사진이고, 도 6의 (b)열은 본 발명과 달리 광학식 센서를 이용해 취득한 모션 데이터이고, 도 6의 (c)열은 본 발명에 따른 초기 모션 데이터이고, 도 6의 (d)열은 보정부(430)를 통해 보정된 모션데이터에 관한 것이다. 도면을 참조하면, 보정 전의 모션 데이터는 실제 사용자(10)와 다른 시선 방향이 표현되어 있으며, 사용자(10)의 스탠스 상태도 실제와 상이하게 표현되어 있으나, 보정부(430)를 통해 보정된 모션 데이터는 실제 사용자(10)의 사진과 동일한 모션을 나타내고 있음을 알 수 있다.
상술된 바와 같이 구성된 본 발명에 따른 관성센서 및 뎁스 카메라를 이용한 모션 취득 시스템(100) 및 이를 이용한 모션 취득 방법은 관성센서들로부터 획득한 정보로 생성된 모션 데이터를 뎁스 카메라로부터 획득한 깊이 영상을 토대로 보정하므로 보다 정확한 사용자(10)의 모션 데이터를 획득할 수 있다는 장점이 있다.
제시된 실시예들에 대한 설명은 임의의 본 발명의 기술분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.
100: 관성센서 및 뎁스 카메라를 이용한 모션 취득 시스템
200: 센서유닛
210: 착용부재
211: 헤드밴드
212: 몸통밴드
213: 팔 밴드
214: 손목밴드
215: 장갑
216: 하체밴드
217: 다리밴드
221: 제1관성센서
222: 제2관성센서
223: 제3관성센서
224: 제4관성센서
225: 제5관성센서
226: 제6관성센서
227: 제7관성센서
228: 제8관성센서
229: 제9관성센서
300: 뎁스 카메라
400: 정보처리유닛
410: 데이터 생성부
420: 정보획득부
430: 보정부
440: 디스플레이부

Claims (9)

  1. 사용자의 자세를 감지할 수 있도록 사용자의 신체에 장착된 다수의 관성센서가 마련된 센서유닛과;
    상기 사용자에 대한 깊이 영상을 촬영하는 뎁스카메라와;
    상시 센서유닛으로부터 감지된 감지정보를 토대로 사용자의 자세에 대한 초기 모션 데이터를 생성하는 데이터 생성부와;
    상기 뎁스카메라로부터 제공받은 깊이영상을 토대로 상기 사용자의 자세정보를 산출하는 정보획득부와,
    상기 정보획득부를 통해 산출된 자세정보를 토대로 상기 초기 모션 데이터를 보정하는 보정부;를 구비하는,
    관성센서 및 뎁스 카메라를 이용한 모션 취득 시스템.
  2. 제1항에 있어서,
    상기 보정부에 의해 보정된 모션 데이터를 디스플레이하는 디스플레이부;를 더 구비하는,
    관성센서 및 뎁스 카메라를 이용한 모션 취득 시스템.
  3. 제1항에 있어서,
    상기 정보획득부는 상기 깊이 영상을 분석하여 사용자의 오른발과 왼발의 좌우 폭, 사용자의 오른발 단부 및 왼발 단부 사이의 전후방향 이격거리를 상기 자세정보로 산출하는,
    관성센서 및 뎁스 카메라를 이용한 모션 취득 시스템.
  4. 제1항에 있어서,
    상기 정보획득부는 상기 깊이 영상을 분석하여 사용자의 신체 정보 및 초기 시선 방향 정보를 상기 자세 정보로 산출하는,
    관성센서 및 뎁스 카메라를 이용한 모션 취득 시스템.
  5. 제1항에 있어서,
    상기 센서유닛은
    사용자의 머리에 장착되는 제1관성센서와,
    사용자의 좌우 어깨부위에 각각 장착되는 복수의 제2관성센서와,
    사용자의 상기 제2관성센서들 사이 부위에 설치되며, 상기 제2관성센서에 대응되는 높이에 설치되는 제3관성센서와,
    사용자의 오른팔 및 왼팔의 팔꿈치에 인접된 위치에 각각 설치되는 복수의 제4관성센서와,
    사용자의 오른팔 및 왼팔의 손목부위에 각각 설치되는 복수의 제5관성센서와,
    사용자의 오른손 및 왼손에 각각 설치되는 복수의 제6관성센서와,
    사용자의 무릎에 대해 상측으로 이격된 위치의 오른다리 및 왼다리에 각각 설치되는 복수의 제7관성센서와,
    사용자의 무릎과 발목 사이의 오른다리 및 왼다리에 각각 설치되는 복수의 제8관성센서와,
    사용자의 오른발 및 왼발에 각각 설치되는 복수의 제9관성센서와,
    사용자의 허리 부분에 설치되는 제10관성센서를 구비하는,
    관성센서 및 뎁스 카메라를 이용한 모션 취득 시스템.
  6. 사용자의 신체에 장착된 다수의 관성센서의 감지정보를 획득하는 정보획득단계와;
    뎁스 카메라로부터 사용자에 대한 깊이 영상을 획득하는 깊이 영상 획득단계와;
    상기 정보획득단계를 통해 획득한 감지정보를 토대로 사용자의 자세에 대한 초기 모션 데이터를 생성하는 데이터 생성단계와;
    상기 깊이 영상획득단계를 통해 획득한 깊이 영상을 토대로 상기 사용자의 자세정보를 산출하는 산출단계와;
    상기 산출단계를 통해 산출된 사용자의 자세정보를 토대로 상기 초기 모션 데이터를 보정하는 보정단계;를 포함하는,
    관성센서 및 뎁스 카메라를 이용한 모션 취득 방법.
  7. 제6항에 있어서,
    상기 보정단계를 통해 보정된 모션 데이트를 디스플레이부를 통해 디스플레이하는 표시단계;를 더 포함하는,
    관성센서 및 뎁스 카메라를 이용한 모션 취득 방법.
  8. 제6항에 있어서,
    상기 산출단계에서, 상기 깊이 영상을 분석하여 상기 사용자의 자세정보로서 사용자의 오른발과 왼발의 좌우 폭, 사용자의 오른발 단부 및 왼발 단부 사이의 전후방향 이격거리를 산출하는,
    관성센서 및 뎁스 카메라를 이용한 모션 취득 방법.
  9. 제6항에 있어서,
    상기 산출단계에서, 상기 깊이 영상을 분석하여 상기 사용자의 자세정보로서 사용자의 신체 정보 및 초기 시선 방향 정보를 산출하는,
    관성센서 및 뎁스 카메라를 이용한 모션 취득 방법.





KR1020160161941A 2016-11-30 2016-11-30 관성센서 및 뎁스 카메라를 이용한 모션 취득 시스템 및 이를 이용한 모션 취득 방법 KR101914194B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160161941A KR101914194B1 (ko) 2016-11-30 2016-11-30 관성센서 및 뎁스 카메라를 이용한 모션 취득 시스템 및 이를 이용한 모션 취득 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160161941A KR101914194B1 (ko) 2016-11-30 2016-11-30 관성센서 및 뎁스 카메라를 이용한 모션 취득 시스템 및 이를 이용한 모션 취득 방법

Publications (2)

Publication Number Publication Date
KR20180062068A true KR20180062068A (ko) 2018-06-08
KR101914194B1 KR101914194B1 (ko) 2018-11-01

Family

ID=62600130

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160161941A KR101914194B1 (ko) 2016-11-30 2016-11-30 관성센서 및 뎁스 카메라를 이용한 모션 취득 시스템 및 이를 이용한 모션 취득 방법

Country Status (1)

Country Link
KR (1) KR101914194B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109186594A (zh) * 2018-09-20 2019-01-11 鎏玥（上海）科技有限公司 利用惯性传感器和深度摄像头传感器获取运动数据的方法
KR20200074609A (ko) * 2018-12-17 2020-06-25 이화여자대학교 산학협력단 홈 트레이닝 제공 방법 및 시스템
KR20200087436A (ko) * 2019-01-11 2020-07-21 포항공과대학교 산학협력단 영상 데이터 및 센싱 데이터에 기반한 운동 정보 제공 방법 및 장치
CN116310083A (zh) * 2023-02-03 2023-06-23 杭州百世伽信息科技有限公司 人体姿态深度图像的生成方法与人体姿态识别系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120020045A (ko) * 2010-08-26 2012-03-07 삼성전자주식회사 인터페이스 제어 장치 및 방법
US20130222565A1 (en) * 2012-02-28 2013-08-29 The Johns Hopkins University System and Method for Sensor Fusion of Single Range Camera Data and Inertial Measurement for Motion Capture
KR20140044754A (ko) 2012-10-05 2014-04-15 세이코 엡슨 가부시키가이샤 골프스윙 해석장치 및 골프스윙 해석방법
US20160151696A1 (en) * 2016-01-15 2016-06-02 Inxpar Inc. System for analyzing golf swing process and method thereof
KR20160097582A (ko) * 2015-02-09 2016-08-18 주식회사 골프존 사용자 운동 동작 분석 정보 제공을 위한 데이터 처리방법 및 이를 이용한 사용자 운동 동작 분석장치와, 사용자 골프 스윙 분석정보 제공을 위한 데이터 처리방법 및 이를 이용한 골프 스윙 분석 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120020045A (ko) * 2010-08-26 2012-03-07 삼성전자주식회사 인터페이스 제어 장치 및 방법
US20130222565A1 (en) * 2012-02-28 2013-08-29 The Johns Hopkins University System and Method for Sensor Fusion of Single Range Camera Data and Inertial Measurement for Motion Capture
KR20140044754A (ko) 2012-10-05 2014-04-15 세이코 엡슨 가부시키가이샤 골프스윙 해석장치 및 골프스윙 해석방법
KR20160097582A (ko) * 2015-02-09 2016-08-18 주식회사 골프존 사용자 운동 동작 분석 정보 제공을 위한 데이터 처리방법 및 이를 이용한 사용자 운동 동작 분석장치와, 사용자 골프 스윙 분석정보 제공을 위한 데이터 처리방법 및 이를 이용한 골프 스윙 분석 장치
US20160151696A1 (en) * 2016-01-15 2016-06-02 Inxpar Inc. System for analyzing golf swing process and method thereof

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109186594A (zh) * 2018-09-20 2019-01-11 鎏玥（上海）科技有限公司 利用惯性传感器和深度摄像头传感器获取运动数据的方法
KR20200074609A (ko) * 2018-12-17 2020-06-25 이화여자대학교 산학협력단 홈 트레이닝 제공 방법 및 시스템
KR20200087436A (ko) * 2019-01-11 2020-07-21 포항공과대학교 산학협력단 영상 데이터 및 센싱 데이터에 기반한 운동 정보 제공 방법 및 장치
CN116310083A (zh) * 2023-02-03 2023-06-23 杭州百世伽信息科技有限公司 人体姿态深度图像的生成方法与人体姿态识别系统
CN116310083B (zh) * 2023-02-03 2023-11-14 杭州百世伽信息科技有限公司 人体姿态深度图像的生成方法与人体姿态识别系统

Also Published As

Publication number Publication date
KR101914194B1 (ko) 2018-11-01

Similar Documents

Publication Publication Date Title
KR101914194B1 (ko) 관성센서 및 뎁스 카메라를 이용한 모션 취득 시스템 및 이를 이용한 모션 취득 방법
US20200250408A1 (en) Motion state evaluation system, motion state evaluation device, motion state evaluation server, motion state evaluation method, and motion state evaluation program
US9119569B2 (en) Method and apparatus for calibrating a motion tracking system
JP5579014B2 (ja) 映像情報処理装置および方法
US20180153445A1 (en) Measurement device and measurement method
US20130033591A1 (en) Image processing device, method, and computer program product
WO2016084285A1 (ja) 歩行解析システムおよび歩行解析プログラム
JP2016140591A (ja) 動作解析評価装置、動作解析評価方法、及びプログラム
US9558719B2 (en) Information processing apparatus
JP6518721B2 (ja) 動的動作検出システム
Wiedemann et al. Performance evaluation of joint angles obtained by the Kinect v2
Nagymáté et al. Affordable gait analysis using augmented reality markers
CN107613867B (zh) 动作显示系统以及记录介质
JP2007289683A5 (ko)
KR102251315B1 (ko) 운동 트레이닝 시스템
KR101739647B1 (ko) 관성 센서를 이용한 경직 및 간대성 경련 평가 보조 장치 및 방법
CN109045651B (zh) 高尔夫挥杆矫正系统
KR102310964B1 (ko) 근골격계 증상을 진단하기 위한 전자 장치, 방법, 및 시스템
JP6279159B2 (ja) 表示システム、情報処理装置、情報処理方法及びプログラム
KR102035919B1 (ko) 바른자세관리를 위한 자세분석 어플리케이션 제공방법
KR101398193B1 (ko) 캘리브레이션 장치 및 방법
WO2016135560A2 (en) Range of motion capture
US20210343028A1 (en) Analysis device, analysis method, non-transient computer-readable recording medium stored with program, and calibration method
Hejda et al. System for precise measurement of head and shoulders position
US20160249834A1 (en) Range of motion capture

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right