KR20220055225A - 3차원 모델링을 통한 홈 트레이닝 모니터링 방법 및 이를 실행하는 서버 - Google Patents

3차원 모델링을 통한 홈 트레이닝 모니터링 방법 및 이를 실행하는 서버 Download PDF

Info

Publication number
KR20220055225A
KR20220055225A KR1020200139482A KR20200139482A KR20220055225A KR 20220055225 A KR20220055225 A KR 20220055225A KR 1020200139482 A KR1020200139482 A KR 1020200139482A KR 20200139482 A KR20200139482 A KR 20200139482A KR 20220055225 A KR20220055225 A KR 20220055225A
Authority
KR
South Korea
Prior art keywords
exercise posture
image data
exercise
exerciser
data
Prior art date
Application number
KR1020200139482A
Other languages
English (en)
Other versions
KR102423421B1 (ko
Inventor
이태린
김현아
백주영
Original Assignee
재단법인차세대융합기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인차세대융합기술연구원 filed Critical 재단법인차세대융합기술연구원
Priority to KR1020200139482A priority Critical patent/KR102423421B1/ko
Publication of KR20220055225A publication Critical patent/KR20220055225A/ko
Application granted granted Critical
Publication of KR102423421B1 publication Critical patent/KR102423421B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012—Comparing movements or motion sequences with a registered reference
    • A63B2024/0015—Comparing movements or motion sequences with computerised simulations of movements or motion sequences, e.g. for generating an ideal template as reference to be achieved by the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0636—3D visualisation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명의 일 실시예에 따른 3차원 모델링을 통한 홈 트레이닝 모니터링 서버는 홈 트레이닝을 실행하는 운동자에 대한 데이터 중 영상 데이터를 기초로 생성된 3차원 영상 데이터를 수신하는 3차원 영상 데이터 수신부, 상기 영상 촬영 기기에 의해 촬영된 영상 데이터 중 음성 데이터를 수신하는 음성 데이터 수신부, 상기 3차원 영상 데이터 및 상기 음성 데이터를 분석하여 미리 결정된 운동 자세 별로 3차원 영상 데이터 및 음성 데이터를 분할한 후, 상기 분할된 3차원 영상 데이터 및 음성 데이터 각각에 서로 다른 운동 자세 태그를 할당하는 운동 자세 태그 할당부, 운동자 단말로부터 수신된 운동자 정보를 이용하여 상기 운동자 등급을 결정하는 운동자 등급 결정부, 운동자 등급 및 운동 자세 패턴 별로 표준 운동 자세 패턴이 대응되어 저장되어 있는 운동 자세 데이터베이스 및 상기 운동 자세 태그가 할당된 3차원 영상 데이터를 분석하여 운동 자세 패턴을 추출하고, 상기 운동 자세 데이터베이스에서 운동자 등급 및 상기 운동 자세 패턴에 해당하는 표준 운동 자세 패턴을 독출하고, 상기 운동 자세 패턴 및 표준 운동 자세 패턴을 비교하여 운동 자세 피드백 정보를 생성하는 운동 자세 피드백 정보 생성부를 포함한다.

Description

3차원 모델링을 통한 홈 트레이닝 모니터링 방법 및 이를 실행하는 서버{METHOD OF MORNITORING HOME TRAINING USING THREE DIMENSIONAL MODELING AND SERVER PERFORMING THE SAME}
본 발명은 3차원 모델링을 통한 홈 트레이닝 모니터링 방법 및 이를 실행하는 서버에 관한 것이다. 본 발명의 실시예를 따르면, 홈 트레이닝을 실행하는 사용자를 촬영한 영상 데이터에 3차원 포즈 추정 방법을 적용하여 3차원 영상 데이터를 생성할 수 있으며, 이를 통해 운동자의 개인 정보를 보호하면서 운동자의 운동 자세에 대한 피드백을 제공할 수 있도록 하는 3차원 모델링을 통한 홈 트레이닝 모니터링 방법 및 이를 실행하는 서버에 관한 것이다.
건강을 유지하기 위해 운동은 필수 요소로 알려져 있으며 이에 따라 현대인들의 건강 증진을 위한 피트니스 센터, 필라테스 학원, 요가원 등이 많이 생기고 있다.
그러나 바쁜 현대인들이 운동을 하기 위해 운동 시간이 정해져 있는 피트니스 센터 등을 꾸준히 가기 어려울 수 있다. 이러한 이유로 인해 집에서 하는 운동인 홈 트레이닝에 대한 관심이 증가하고 있는 추세이며, 유투브의 운동 컨텐츠나 홈 트레이닝 어플리케이션이 많이 증가하고 있다.
그러나 기존의 홈 트레이닝을 위한 영상 콘텐츠나 어플리케이션의 경우, 운동 동작을 가르쳐주는 트레이너의 모습이나 아바타의 모습이 한 각도에서 보이는 모습을 제공하는 경우가 많다.
따라서 운동자가 운동 동작을 따라 함에 있어 정확한 동작을 따라서 하기 힘들 수 있고, 운동자가 동작을 따라할 때 제대로 하고 있는지 판단하기 어렵다.
또한, 홈 트레이닝의 단점은 운동자 혼자 진행하는 운동이기 때문에 쉽게 흥미가 사라질 수 있고 의지가 강하지 않은 사람들에게는 오래 지속하기 어려울 수 있다는 점이다.
본 발명은 홈 트레이닝을 실행하는 운동자에 대한 영상 데이터에 3차원 포즈 추정 방법을 적용하여 3차원 영상 데이터를 생성하는 3차원 모델링을 통한 홈 트레이닝 모니터링 방법 및 이를 실행하는 서버를 제공하는 것을 목적으로 한다.
또한, 본 발명은 3차원 영상 데이터를 통해 운동자의 개인 정보를 보호하면서 운동자의 운동 자세에 대한 피드백을 제공할 수 있도록 하는 3차원 모델링을 통한 홈 트레이닝 모니터링 방법 및 이를 실행하는 서버를 제공하는 것을 목적으로 한다.
또한, 본 발명은 시간적 및 공간적 제약 없이 운동자의 운동 자세의 분석 및 관찰이 가능하도록 하는 3차원 모델링을 통한 홈 트레이닝 모니터링 방법 및 이를 실행하는 서버를 제공하는 것을 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
이러한 목적을 달성하기 위한 3차원 모델링을 통한 홈 트레이닝 모니터링 서버는 홈 트레이닝을 실행하는 운동자에 대한 데이터 중 영상 데이터를 기초로 생성된 3차원 영상 데이터를 수신하는 3차원 영상 데이터 수신부, 상기 영상 촬영 기기에 의해 촬영된 영상 데이터 중 음성 데이터를 수신하는 음성 데이터 수신부, 상기 3차원 영상 데이터 및 상기 음성 데이터를 분석하여 미리 결정된 운동 자세 별로 3차원 영상 데이터 및 음성 데이터를 분할한 후, 상기 분할된 3차원 영상 데이터 및 음성 데이터 각각에 서로 다른 운동 자세 태그를 할당하는 운동 자세 태그 할당부, 운동자 단말로부터 수신된 운동자 정보를 이용하여 상기 운동자 등급을 결정하는 운동자 등급 결정부, 운동자 등급 및 운동 자세 패턴 별로 표준 운동 자세 패턴이 대응되어 저장되어 있는 운동 자세 데이터베이스 및 상기 운동 자세 태그가 할당된 3차원 영상 데이터를 분석하여 운동 자세 패턴을 추출하고, 상기 운동 자세 데이터베이스에서 운동자 등급 및 상기 운동 자세 패턴에 해당하는 표준 운동 자세 패턴을 독출하고, 상기 운동 자세 패턴 및 표준 운동 자세 패턴을 비교하여 운동 자세 피드백 정보를 생성하는 운동 자세 피드백 정보 생성부를 포함한다.
또한, 이러한 목적을 달성하기 위한 3차원 모델링을 통한 홈 트레이닝 모니터링 서버에서 실행되는 3차원 모델링을 통한 홈 트레이닝 모니터링 방법은 홈 트레이닝을 실행하는 운동자에 대한 데이터 중 영상 데이터를 기초로 생성된 3차원 영상 데이터를 수신하는 단계, 상기 영상 촬영 기기에 의해 촬영된 영상 데이터 중 음성 데이터를 수신하는 단계, 상기 3차원 영상 데이터 및 상기 음성 데이터를 분석하여 미리 결정된 운동 자세 별로 3차원 영상 데이터 및 음성 데이터를 분할하는 단계, 상기 분할된 3차원 영상 데이터 및 음성 데이터 각각에 서로 다른 운동 자세 태그를 할당하는 단계, 상기 운동 자세 태그가 할당된 3차원 영상 데이터를 분석하여 운동 자세 패턴을 추출하는 단계, 운동자 등급 및 운동 자세 패턴 별로 표준 운동 자세 패턴이 대응되어 저장되어 있는 운동 자세 데이터베이스에서 운동자 등급 및 상기 운동 자세 패턴에 해당하는 표준 운동 자세 패턴을 독출하는 단계 및 상기 운동 자세 패턴 및 상기 표준 운동 자세 패턴을 비교하여 운동 자세 피드백 정보를 생성하여 운동자 단말에 제공하는 단계를 포함한다.
전술한 바와 같은 본 발명에 의하면, 홈 트레이닝을 실행하는 운동자에 대한 영상 데이터에 3차원 포즈 추정 방법을 적용하여 3차원 영상 데이터를 생성한 후 이를 이용하여 운동자의 운동 자세를 관찰할 수 있다는 장점이 있다.
또한 본 발명에 의하면, 3차원 영상 데이터를 통해 운동자의 개인 정보를 보호하면서 운동자의 운동 자세에 대한 피드백을 제공할 수 있다는 장점이 있다.
또한 본 발명에 의하면, 시간적 및 공간적 제약 없이 운동자의 운동 자세의 분석 및 관찰이 가능하다는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 모델링을 통한 홈 트레이닝 제공 시스템을 설명하기 위한 네트워크 구성도이다.
도 2는 본 발명의 일 실시예에 따른 홈 트레이닝 모니터링 서버의 내부 구조를 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 홈 트레이닝 모니터링 방법의 일 실시예를 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 홈 트레이닝 모니터링 과정을 설명하기 위한 예시도이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
도 1은 본 발명의 일 실시예에 따른 3차원 모델링을 통한 홈 트레이닝 제공 시스템을 설명하기 위한 네트워크 구성도이다.
도 1을 참조하면, 3차원 모델링을 통한 홈 트레이닝 제공 시스템은 영상 촬영 기기(100), 3차원 모델링 장치(200), 홈 트레이닝 모니터링 서버(300), 트레이너 단말(400) 및 운동자 단말(500)을 포함한다.
영상 촬영 기기(100)는 홈 트레이닝을 실행하는 운동자를 포함하는 주변 환경을 촬영하여 데이터를 생성한다. 그 후, 영상 촬영 기기(100)는 데이터 중 영상 데이터를 3차원 모델링 장치(200)에 제공하고, 음성 데이터를 홈 트레이닝 모니터링 서버(300)에 제공한다.
영상 촬영 기기(100)는 예를 들어, 모노(monocular) 카메라 또는 스테레오(stereo) 카메라일 수 있다. 따라서, 영상 촬영 기기(100)에 의해 촬영된 영상은 복수의 프레임들을 포함할 수 있다.
3차원 모델링 장치(200)는 영상 촬영 기기(100)로부터 수신된 영상 데이터를 이용하여 3차원 포즈 추정 방법을 통해 3차원 영상 데이터를 생성하는 장치이다.
먼저, 3차원 모델링 장치(200)는 영상 촬영 기기(100)에 의해 촬영된 영상 데이터로부터 적어도 하나의 영역(region)을 추출한다.
예를 들어, 3차원 모델링 장치(200)는 영상의 픽셀 강도(light intensity)의 1차 미분 결과에 해당하는 그래디언트(gradient) 변화가 미리 설정된 기준을 초과하는 부분(예를 들어, 에지(edge))을 포함하는 적어도 하나의 영역을 검색하여 추출할 수 있다. 3차원 모델링 장치(200)는 필요에 따라 영상의 픽셀 강도에 대한 1차 미분 결과 및/또는 2차 미분 결과를 활용하여 에지를 검출할 수도 있다.
그런 다음, 3차원 모델링 장치(200)는 영상 촬영 기기(100)에 의해 촬영된 영상으로부터 추출된 2차원의 특징점들(feature points)에 기반하여 추적(tracking)된 영상 촬영 기기(100)의 포즈(pose) 정보를 수신한다. 이때, 영상 촬영 기기(100)의 포즈 정보는 예를 들어, 2차 영상 데이터에 대응되는 키 프레임(key frame) 및 제1 위치에서 제2 위치로의 영상 촬영 기기(100)의 이동에 따라 변화되는 포즈 변화량 중 적어도 하나를 포함할 수 있다.
여기서, “키 프레임”은 일반 프레임들 중 2차원 특징점이 추출되고, 두 프레임 사이에 특정 수 이상의 매칭이 되어 영상 간 상대적 위치를 결정할 수 있는 수준이 되는 두 프레임들에 해당한다.
예를 들어, 특징점의 위치 추출, 기술자(descriptor) 추출, 기술자를 이용한 특징점 매칭, 카메라의 포즈 계산 등에 많은 연산 시간이 소요된다. 따라서, 매 영상마다 해당 과정을 수행하기는 어려우므로 일 실시예에서는 키 프레임을 이용하여 상술한 과정을 수행할 수 있다.
이때, 촬영된 영상 데이터로부터 추출된 2차원의 특징점들은 성긴(sparse) 특징점들에 해당하며, 카메라의 위치 및 영상의 장면에 대한 기하 정보를 산출하는 특징 기반의 VSLAM 방법에 의해 추출된 것일 수 있다.
특징 기반의 VSLAM 방법은 추출된 영상 데이터의 특징점들에 기초하여 영상 데이터에 대응하는 프레임들 간의 6 자유도 이동 정보를 추적할 수 있다. 카메라의 포즈 정보는 예를 들어, 6 자유도 포즈 정보를 포함할 수 있다.
그 후, 3차원 모델링 장치(200)는 적어도 하나의 영역 및 영상 촬영 기기(100)의 포즈 정보에 기초하여 영상 데이터의 제1 깊이 정보를 추정(estimate)한다.
예를 들어, 3차원 모델링 장치(200)는 영상 촬영 기기(100)의 포즈 정보를 기초로, 제1 위치에서 제2 위치로의 영상 촬영 기기(100)의 이동에 따라 영상에 대응되는 키 프레임을 새로운 키 프레임으로 교체(replace)할 지 또는 키 프레임을 재정의(refine)할 지 여부를 결정할 수 있다. 모델링 장치는 상기 결정에 기초하여, 새로운 키 프레임에 대한 깊이 정보 또는 재정의된 키 프레임에 대한 깊이 정보 중 어느 하나의 깊이 정보를 영상의 제1 깊이 정보로 추정할 수 있다.
3차원 모델링 장치(200)는 제1 깊이 정보에 기초하여 영상에 대응한 맵(map)의 모델링을 위한 3차원의 포인트 클라우드(point clouds)를 생성한다. 영상에 대응한 맵은 키 프레임들의 포즈 그래프(pose graph)에 의해 표현될 수 있다. 키 프레임들은 영상, 인버스 깊이 맵(inverse depth map), 및 인버스 깊이 맵의 분산(variance)에 의해 구성될 수 있다. 단안 SLAM(monocular SLAM)에서 깊이 불확실성(depth uncertainty)이 가우시안(Gaussian)에 의해 잘 모델링되지 않는다.
이와 같은 이유로, 고전적인 X,Y,Z 표현을 대신하여 역 깊이(inverse depth)를 사용하여 미리 결정된 캐릭터 및 식별자(예를 들어, 운동자 식별자 등)를 맵핑하여 표현한다. “인버스 깊이 맵”은 이와 같이 역 깊이를 사용하여 특징을 맵핑한 맵에 해당할 수 있다.
또한, 인버스 깊이 맵 및 인버스 깊이 맵의 분산은 픽셀들의 서브 셋(sub set)에 대하여 정의될 수 있다. 인버스 깊이 맵 및 인버스 깊이 맵의 분산은 영상에서 픽셀 강도의 그래디언트(Gradient) 변화가 미리 설정된 기준을 초과하는 모든 영역들에 대응한 것일 수 있다.
3차원의 포인트 클라우드는 예를 들어, 3차원 좌표를 가지고 있는 포인트들, 다시 말해 3차원 포인트들을 포함할 수 있으며, 포인트 클라우드 내의 3차원 포인트들은 불규칙하게 구성될 수 있다.
홈 트레이닝 모니터링 서버(300)는 3차원 모델링 장치(200)로부터 수신된 3차원 영상 데이터를 이용하여 운동 자세 패턴을 추출하고, 미리 생성된 운동 자세 패턴 빅데이터를 기초로 운동 자세 패턴을 분석하여 운동 자세 피드백 정보를 생성하는 서버이다.
이를 위해, 홈 트레이닝 모니터링 서버(300)는 3차원 영상 데이터 및 음성 데이터 각각을 트레이너 단말(400)에 제공하고, 트레이너 단말(400)에 의한 운동 자세 피드백 정보를 수신하여 운동자 단말(500)에 제공한다.
먼저, 홈 트레이닝 모니터링 서버(300)는 운동자 단말(500)로부터 운동 종류 별 경험 정보 및 운동 자세 피드백 정보 생성부(360)에 의해 결정된 등급 업그레이드 정보를 기초로 운동자 등급을 결정한다.
일 실시예에서, 홈 트레이닝 모니터링 서버(300)는 운동자에 대한 미리 결정된 운동자 등급이 존재하지 않는 경우 운동자 단말(500)로부터 운동 종류 별 경험 정보를 기초로 운동자 등급을 결정한다. 즉, 홈 트레이닝 모니터링 서버(300)는 운동 종류 별 경험 연차에 따라 운동자 등급을 결정할 수 있다.
다른 일 실시예에서, 홈 트레이닝 모니터링 서버(300)는 운동자에 대한 미리 결정된 운동자 등급이 존재하는 경우, 운동자의 홈 트레이닝 결과에 따라 생성된 등급 업그레이드 정보를 기초로 운동자 등급을 상향시킨다.
또한, 홈 트레이닝 모니터링 서버(300)는 3차원 영상 데이터 및 음성 데이터 중 일부 영상 데이터 및 일부 음성 데이터 각각을 추출하여 트레이너 단말(400)에 제공한다. 이와 같은 이유는, 3차원 영상 데이터 및 음성 데이터 각각의 용량은 매우 크기 때문에 트레이너가 많은 양의 데이터를 전부 확인하기 어렵기 때문이다.
따라서, 홈 트레이닝 모니터링 서버(300)는 운동 자세 별로 3차원 영상 데이터 및 음성 데이터를 분할한 후 분할된 3차원 영상 데이터 및 음성 데이터를 트레이너 단말(400)에 제공하며, 추후에 트레이너 단말(400)로부터 수신된 운동 자세 피드백 정보가 빅데이터화된 경우 운동 자세 별로 3차원 영상 데이터 및 음성 데이터를 분할한 후 트레이너 단말(400)에 제공하지 않고 내부에서 분석하여 처리한다.
먼저, 홈 트레이닝 모니터링 서버(300)는 운동 자세 별로 3차원 영상 데이터 및 음성 데이터를 분할한 후, 분할된 3차원 영상 데이터 및 음성 데이터 각각에 운동 자세 태그를 할당하여 트레이너 단말(400)에 제공한다.
이때, 운동 자세 태그는 운동의 종류에 따라 해당 운동에서 동작 가능한 동작의 이름으로 결정될 수 있다. 예를 들어, 운동의 종류가 요가인 경우 운동 자세 태그는 요가에서 동작 가능한 동작 이름으로 결정될 수 있다.
일 실시예에서, 홈 트레이닝 모니터링 서버(300)는 음성 데이터를 분석하여 자세 변환을 지시하는 미리 결정된 단어가 추출되면, 음성 데이터 및 3차원 영상 데이터를 상기 미리 결정된 단어가 추출된 시점까지 분할한다.
그런 다음, 홈 트레이닝 모니터링 서버(300)는 분할된 음성 데이터에서 미리 결정된 운동 자세를 지시하는 단어를 추출한 후, 음성 데이터 및 3차원 영상 데이터 각각에 운동 자세 태그를 할당하여 트레이너 단말(400)에 제공한다.
예를 들어, 홈 트레이닝 모니터링 서버(300)는 음성 데이터를 분석하여 음성 데이터에 “다음 자세”, “이번 자세” 등과 같은 자세 변환을 지시하는 단어가 추출되면 음성 데이터 및 3차원 영상 데이터를 상기 미리 결정된 단어가 추출된 시점까지 분할한다. 그런 다음, 분할된 음성 데이터에서 미리 결정된 운동 자세를 지시하는 단어 “활 자세”를 추출한 후, 음성 데이터 및 3차원 영상 데이터 각각에 “활 자세 태그”를 할당한다.
그 후, 홈 트레이닝 모니터링 서버(300)는 운동 자세 태그가 할당된 3차원 영상 데이터에서 운동 자세 패턴을 추출하고, 운동 자세 패턴 및 미리 결정된 운동 자세 패턴을 비교하여 일치하는지 여부에 따라 운동 자세 피드백 정보를 생성한다.
일 실시예에서, 홈 트레이닝 모니터링 서버(300)는 운동 자세 데이터베이스에서 운동자 등급 및 상기 운동 자세 패턴에 해당하는 표준 운동 자세 패턴을 독출하고, 운동 자세 패턴 및 표준 운동 자세 패턴을 비교하여 운동 자세 피드백 정보를 생성한다.
상기의 실시예에서, 홈 트레이닝 모니터링 서버(300)는 운동 자세 패턴 및 표준 운동 자세 패턴의 일치 비율을 산출하고, 일치 비율이 특정 비율 이상이면 상기 운동자 등급을 다음 등급으로 상향시키는 등급 업그레이드 정보를 생성함으로써 운동자 등급이 상향되도록 한다.
즉, 홈 트레이닝 모니터링 서버(300)는 운동 자세 패턴 및 표준 운동 자세 패턴을 비교하여 운동 자세를 실행하는 사용된 신체 부위 사이의 차이 각도를 산출한 후, 차이 각도에 따라 일치 비율을 산출할 수 있다. 예를 들어, 요가의 운동 자세 “아사나”의 경우, 운동 자세 패턴 및 표준 운동 자세 패턴을 비교하여 발꿈치의 차이 각도를 산출한 후 차이 각도에 따른 일치 비율을 산출할 수 있다.
트레이너 단말(400)은 홈 트레이닝 모니터링 서버(300)로부터 수신된 3차원 영상 데이터 및 음성 데이터를 분석하고, 분석 결과 운동 자세 피드백 정보를 생성하여 홈 트레이닝 모니터링 서버(300)에 제공하는 사용자가 보유하는 단말이다.
운동자 단말(500)은 홈 트레이닝을 실행하는 운동자가 보유하며, 홈 트레이닝 모니터링 서버(300)로부터 운동 자세 피드백 정보를 수신하는 단말이다.
운동자 단말(500)은 운동자 등급을 결정하기 위한 운동 종류 별 경험 정보를 홈 트레이닝 모니터링 서버(300)에 제공하고, 홈 트레이닝 모니터링 서버(300)에 의해 결정된 운동자 등급에 따라 홈 트레이닝에 대한 운동 자세 피드백 정보를 수신할 수 있다.
도 2는 본 발명의 일 실시예에 따른 홈 트레이닝 모니터링 서버의 내부 구조를 설명하기 위한 블록도이다.
도 2를 참조하면, 홈 트레이닝 모니터링 서버(300)는 3차원 영상 데이터 수신부(310), 음성 데이터 수신부(320), 운동 자세 태그 할당부(330), 운동자 등급 결정부(340), 운동 자세 데이터베이스(350) 및 운동 자세 피드백 정보 생성부(360)를 포함한다.
3차원 영상 데이터 수신부(310)는 홈 트레이닝을 실행하는 운동자에 대한 데이터 중 영상 데이터를 기초로 생성된 3차원 영상 데이터를 수신한다.
이때, 3차원 영상 데이터는 영상 촬영 기기(100)가 촬영된 홈 트레이닝을 실행하는 운동자의 영상 데이터를 기초로 생성된 영상이다. 상기의 3차원 영상 데이터는 영상 데이터 상의 운동자가 캐릭터를 통해 모델링되어 있는 영상이기 때문에, 운동자의 개인 정보를 보호하면서 운동자의 운동 자세를 관찰할 수 있는 것이다.
음성 데이터 수신부(320)는 영상 촬영 기기(100)에 의해 촬영된 영상 데이터 중 음성 데이터를 수신한다. 예를 들어, 음성 데이터는 홈 트레이닝 제공 장치에서 제공되는 강사의 음성 및 홈 트레이닝 제공 장치에서 제공되는 영상에 따라 홈 트레이닝을 실행하는 운동자의 음성이 포함되어 있을 것이다.
운동 자세 태그 할당부(330)는 3차원 영상 데이터 및 음성 데이터를 분석하여 운동 자세 별로 3차원 영상 데이터 및 음성 데이터를 분할한 후, 분할된 3차원 영상 데이터 및 음성 데이터 각각에 운동 자세 태그를 할당한다.
이때, 운동 자세 태그는 운동의 종류에 따라 해당 운동에서 동작 가능한 동작의 이름으로 결정될 수 있다. 예를 들어, 운동의 종류가 요가인 경우 운동 자세 태그는 요가에서 동작 가능한 동작 이름으로 결정될 수 있다.
일 실시예에서, 운동 자세 태그 할당부(330)는 음성 데이터를 분석하여 자세 변환을 지시하는 미리 결정된 단어가 추출되면, 음성 데이터 및 3차원 영상 데이터를 상기 미리 결정된 단어가 추출된 시점까지 분할한다.
그런 다음, 운동 자세 태그 할당부(330)는 분할된 음성 데이터에서 미리 결정된 운동 자세를 지시하는 단어를 추출한 후, 음성 데이터 및 3차원 영상 데이터 각각에 운동 자세 태그를 할당한다.
예를 들어, 운동 자세 태그 할당부(330)는 음성 데이터를 분석하여 음성 데이터에 “다음 자세”, “이번 자세” 등과 같은 자세 변환을 지시하는 단어가 추출되면 음성 데이터 및 3차원 영상 데이터를 상기 미리 결정된 단어가 추출된 시점까지 분할한다. 그런 다음, 분할된 음성 데이터에서 미리 결정된 운동 자세를 지시하는 단어 “활 자세”를 추출한 후, 음성 데이터 및 3차원 영상 데이터 각각에 “활 자세 태그”를 할당한다.
운동자 등급 결정부(340)는 운동자 단말(500)로부터 운동 종류 별 경험 정보 및 운동 자세 피드백 정보 생성부(360)에 의해 결정된 등급 업그레이드 정보를 기초로 운동자 등급을 결정한다.
일 실시예에서, 운동자 등급 결정부(340)는 운동자에 대한 미리 결정된 운동자 등급이 존재하지 않는 경우 운동자 단말(500)로부터 운동 종류 별 경험 정보를 기초로 운동자 등급을 결정한다. 즉, 홈 트레이닝 모니터링 서버(300)는 운동 종류 별 경험 연차에 따라 운동자 등급을 결정할 수 있다.
다른 일 실시예에서, 운동자 등급 결정부(340)는 운동자에 대한 미리 결정된 운동자 등급이 존재하는 경우, 운동자의 홈 트레이닝 결과에 따라 생성된 등급 업그레이드 정보를 기초로 운동자 등급을 상향시킨다.
운동 자세 데이터베이스(350)에는 운동자 등급 및 운동 자세 패턴 별로 표준 운동 자세 패턴이 대응되어 저장되어 있다. 이와 같이, 운동자 등급 및 운동 자세 패턴 별로 표준 운동 자세 패턴이 저장되어 있는 이유는, 운동자 등급에 따라 운동자가 취할 수 있는 운동 자세의 정확도가 다르기 때문이다.
예를 들어, 요가의 운동 자세 “아사나”의 경우, 표준 운동 자세 패턴은 발꿈치가 바닥에 딛혀져 있어야 하지만 운동자 등급에 따라 발꿈치가 바닥에 딛혀지지 않을 수 있기 때문에, 운동자 등급 별로 발꿈치가 바닥에 딛혀지는 각도를 달리한 표준 운동 자세 패턴이 저장되어 있을 것이다.
운동 자세 피드백 정보 생성부(360)는 운동 자세 태그가 할당된 3차원 영상 데이터에서 운동 자세 패턴을 추출하고, 운동 자세 패턴 및 미리 결정된 운동 자세 패턴을 비교하여 일치하는지 여부에 따라 운동 자세 피드백 정보를 생성한다.
일 실시예에서, 운동 자세 피드백 정보 생성부(360)는 운동 자세 데이터베이스에서 운동자 등급 및 상기 운동 자세 패턴에 해당하는 표준 운동 자세 패턴을 독출하고, 운동 자세 패턴 및 표준 운동 자세 패턴을 비교하여 운동 자세 피드백 정보를 생성한다.
상기의 실시예에서, 운동 자세 피드백 정보 생성부(360)는 운동 자세 패턴 및 표준 운동 자세 패턴의 일치 비율을 산출하고, 일치 비율이 특정 비율 이상이면 상기 운동자 등급을 다음 등급으로 상향시키는 등급 업그레이드 정보를 운동자 등급 결정부(340)에 제공한다.
즉, 운동 자세 피드백 정보 생성부(360)는 운동 자세 패턴 및 표준 운동 자세 패턴을 비교하여 운동 자세를 실행하는 사용된 신체 부위 사이의 차이 각도를 산출한 후, 차이 각도에 따라 일치 비율을 산출할 수 있다.
예를 들어, 요가의 운동 자세 “아사나”의 경우, 운동 자세 패턴 및 표준 운동 자세 패턴을 비교하여 발꿈치의 차이 각도를 산출한 후 차이 각도에 따른 일치 비율을 산출할 수 있다.
도 3은 본 발명의 일 실시예에 따른 홈 트레이닝 모니터링 방법의 일 실시예를 설명하기 위한 흐름도이다.
도 3을 참조하면, 홈 트레이닝 모니터링 서버(300)는 홈 트레이닝을 실행하는 운동자에 대한 데이터 중 영상 데이터를 기초로 생성된 3차원 영상 데이터를 수신한다(단계 S310).
홈 트레이닝 모니터링 서버(300)는 상기 영상 촬영 기기에 의해 촬영된 영상 데이터 중 음성 데이터를 수신한다(단계 S320).
홈 트레이닝 모니터링 서버(300)는 3차원 영상 데이터 및 상기 음성 데이터를 분석하여 미리 결정된 운동 자세 별로 3차원 영상 데이터 및 음성 데이터를 분할한다(단계 S330).
홈 트레이닝 모니터링 서버(300)는 분할된 3차원 영상 데이터 및 음성 데이터 각각에 서로 다른 운동 자세 태그를 할당한다(단계 S340).
홈 트레이닝 모니터링 서버(300)는 운동 자세 태그가 할당된 3차원 영상 데이터를 분석하여 운동 자세 패턴을 추출한다(단계 S350).
홈 트레이닝 모니터링 서버(300)는 운동자 등급 및 운동 자세 패턴 별로 표준 운동 자세 패턴이 대응되어 저장되어 있는 운동 자세 데이터베이스에서 운동자 등급 및 상기 운동 자세 패턴에 해당하는 표준 운동 자세 패턴을 독출한다(단계 S350).
홈 트레이닝 모니터링 서버(300)는 운동 자세 패턴 및 상기 표준 운동 자세 패턴을 비교하여 운동 자세 피드백 정보를 생성하여 운동자 단말에 제공한다(단계 S360).
도 4는 본 발명의 일 실시예에 따른 홈 트레이닝 모니터링 과정을 설명하기 위한 예시도이다.
도 4를 참조하면, 영상 촬영 기기(100)는 홈 트레이닝을 실행하는 운동자를 포함하는 주변 환경을 촬영하여 데이터를 생성한다. 그 후, 영상 촬영 기기(100)는 데이터 중 영상 데이터를 3차원 모델링 장치(200)에 제공하고, 음성 데이터를 홈 트레이닝 모니터링 서버(300)에 제공한다.
3차원 모델링 장치(200)는 홈 트레이닝을 실행하는 운동자에 대한 데이터 중 영상 데이터를 기초로 3차원 영상 데이터를 생성하고, 3차원 영상 데이터를 홈 트레이닝 모니터링 서버(300)에 제공한다.
홈 트레이닝 모니터링 서버(300)는 3차원 영상 데이터 및 음성 데이터 중 일부 영상 데이터 및 일부 음성 데이터 각각을 추출하여 트레이너 단말(400)에 제공한다. 이와 같은 이유는, 3차원 영상 데이터 및 음성 데이터 각각의 용량은 매우 크기 때문에 트레이너가 많은 양의 데이터를 전부 확인하기 어렵기 때문이다.
따라서, 홈 트레이닝 모니터링 서버(300)는 운동 자세 별로 3차원 영상 데이터 및 음성 데이터를 분할한 후 분할된 3차원 영상 데이터 및 음성 데이터를 트레이너 단말(400)에 제공하며, 추후에 트레이너 단말(400)로부터 수신된 운동 자세 피드백 정보가 빅데이터화된 경우 운동 자세 별로 3차원 영상 데이터 및 음성 데이터를 분할한 후 트레이너 단말(400)에 제공하지 않고 내부에서 분석하여 처리한다.
한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
100: 영상 촬영 기기
200: 3차원 모델링 장치
300: 홈 트레이닝 모니터링 서버
310: 3차원 영상 데이터 수신부
320: 음성 데이터 수신부
330: 운동 자세 태그 할당부
340: 운동자 등급 결정부
350: 운동 자세 데이터베이스
360: 운동 자세 피드백 정보 생성부
400: 트레이너 단말
500: 운동자 단말

Claims (2)

  1. 홈 트레이닝을 실행하는 운동자에 대한 데이터 중 영상 데이터를 기초로 생성된 3차원 영상 데이터를 수신하는 3차원 영상 데이터 수신부;
    상기 영상 촬영 기기에 의해 촬영된 영상 데이터 중 음성 데이터를 수신하는 음성 데이터 수신부;
    상기 3차원 영상 데이터 및 상기 음성 데이터를 분석하여 미리 결정된 운동 자세 별로 3차원 영상 데이터 및 음성 데이터를 분할한 후, 상기 분할된 3차원 영상 데이터 및 음성 데이터 각각에 서로 다른 운동 자세 태그를 할당하는 운동 자세 태그 할당부;
    운동자 단말로부터 수신된 운동자 정보를 이용하여 상기 운동자 등급을 결정하는 운동자 등급 결정부;
    운동자 등급 및 운동 자세 패턴 별로 표준 운동 자세 패턴이 대응되어 저장되어 있는 운동 자세 데이터베이스; 및
    상기 운동 자세 태그가 할당된 3차원 영상 데이터를 분석하여 운동 자세 패턴을 추출하고, 상기 운동 자세 데이터베이스에서 운동자 등급 및 상기 운동 자세 패턴에 해당하는 표준 운동 자세 패턴을 독출하고, 상기 운동 자세 패턴 및 표준 운동 자세 패턴을 비교하여 운동 자세 피드백 정보를 생성하는 운동 자세 피드백 정보 생성부를 포함하는 것을 특징으로 하는
    3차원 모델링을 통한 홈 트레이닝 모니터링 서버.
  2. 3차원 모델링을 통한 홈 트레이닝 모니터링 서버에서 실행되는 3차원 모델링을 통한 홈 트레이닝 모니터링 방법에 있어서,
    홈 트레이닝을 실행하는 운동자에 대한 데이터 중 영상 데이터를 기초로 생성된 3차원 영상 데이터를 수신하는 단계;
    상기 영상 촬영 기기에 의해 촬영된 영상 데이터 중 음성 데이터를 수신하는 단계;
    상기 3차원 영상 데이터 및 상기 음성 데이터를 분석하여 미리 결정된 운동 자세 별로 3차원 영상 데이터 및 음성 데이터를 분할하는 단계;
    상기 분할된 3차원 영상 데이터 및 음성 데이터 각각에 서로 다른 운동 자세 태그를 할당하는 단계;
    상기 운동 자세 태그가 할당된 3차원 영상 데이터를 분석하여 운동 자세 패턴을 추출하는 단계;
    운동자 등급 및 운동 자세 패턴 별로 표준 운동 자세 패턴이 대응되어 저장되어 있는 운동 자세 데이터베이스에서 운동자 등급 및 상기 운동 자세 패턴에 해당하는 표준 운동 자세 패턴을 독출하는 단계; 및
    상기 운동 자세 패턴 및 상기 표준 운동 자세 패턴을 비교하여 운동 자세 피드백 정보를 생성하여 운동자 단말에 제공하는 단계를 포함하는 것을 특징으로 하는
    3차원 모델링을 통한 홈 트레이닝 모니터링 방법.
KR1020200139482A 2020-10-26 2020-10-26 3차원 모델링을 통한 홈 트레이닝 모니터링 방법 및 이를 실행하는 서버 KR102423421B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200139482A KR102423421B1 (ko) 2020-10-26 2020-10-26 3차원 모델링을 통한 홈 트레이닝 모니터링 방법 및 이를 실행하는 서버

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200139482A KR102423421B1 (ko) 2020-10-26 2020-10-26 3차원 모델링을 통한 홈 트레이닝 모니터링 방법 및 이를 실행하는 서버

Publications (2)

Publication Number Publication Date
KR20220055225A true KR20220055225A (ko) 2022-05-03
KR102423421B1 KR102423421B1 (ko) 2022-07-21

Family

ID=81591034

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200139482A KR102423421B1 (ko) 2020-10-26 2020-10-26 3차원 모델링을 통한 홈 트레이닝 모니터링 방법 및 이를 실행하는 서버

Country Status (1)

Country Link
KR (1) KR102423421B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006320424A (ja) * 2005-05-17 2006-11-30 Tama Tlo Kk 動作教示装置とその方法
KR101909693B1 (ko) * 2017-06-07 2018-10-24 (주)앤트로스 증강현실 기반의 가상 피트니스 트레이너가 제공되는 피트니스 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006320424A (ja) * 2005-05-17 2006-11-30 Tama Tlo Kk 動作教示装置とその方法
KR101909693B1 (ko) * 2017-06-07 2018-10-24 (주)앤트로스 증강현실 기반의 가상 피트니스 트레이너가 제공되는 피트니스 시스템

Also Published As

Publication number Publication date
KR102423421B1 (ko) 2022-07-21

Similar Documents

Publication Publication Date Title
CN112184705B (zh) 一种基于计算机视觉技术的人体穴位识别、定位及应用系统
US11928800B2 (en) Image coordinate system transformation method and apparatus, device, and storage medium
CN106033601B (zh) 检测异常情形的方法和装置
CN104599287B (zh) 对象跟踪方法和装置、对象识别方法和装置
CN105426827A (zh) 活体验证方法、装置和系统
CN110544301A (zh) 一种三维人体动作重建系统、方法和动作训练系统
JP6719497B2 (ja) 画像生成方法、画像生成装置及び画像生成システム
JP7311640B2 (ja) 行動予測方法及び装置、歩容認識方法及び装置、電子機器並びにコンピュータ可読記憶媒体
JP7292492B2 (ja) オブジェクト追跡方法及び装置、記憶媒体並びにコンピュータプログラム
CN112070782B (zh) 识别场景轮廓的方法、装置、计算机可读介质及电子设备
KR100560464B1 (ko) 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법
CN103679742B (zh) 对象跟踪方法和装置
WO2017161734A1 (zh) 通过电视和体感配件矫正人体动作及系统
KR20150039252A (ko) 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법
KR20220160066A (ko) 이미지 처리 방법 및 장치
KR20210079542A (ko) 3d 골격 정보를 이용한 사용자 동작 인식 방법 및 시스템
CN115035546B (zh) 三维人体姿态检测方法、装置及电子设备
JP2016066270A (ja) 作業類似度算出方法、装置およびプログラム
KR102258128B1 (ko) 인공지능 기반의 영상 인식을 이용한 댄스 트레이닝을 위한 사용자 모션 분석 방법
KR102423421B1 (ko) 3차원 모델링을 통한 홈 트레이닝 모니터링 방법 및 이를 실행하는 서버
CN111881807A (zh) 基于人脸建模及表情追踪的vr会议控制系统及方法
CN107831921B (zh) 一种手柄空间位置与编码对应关系的确定方法、装置及系统
Psarras et al. Visual saliency in navigation: Modelling navigational behaviour using saliency and depth analysis
CN114463663A (zh) 一种人员身高的计算方法、装置、电子设备及存储介质
KR20130081126A (ko) 손 제스처 인식 방법 및 그 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant