KR101970687B1 - Fitness coaching system using personalized augmented reality technology - Google Patents

Fitness coaching system using personalized augmented reality technology Download PDF

Info

Publication number
KR101970687B1
KR101970687B1 KR1020180042426A KR20180042426A KR101970687B1 KR 101970687 B1 KR101970687 B1 KR 101970687B1 KR 1020180042426 A KR1020180042426 A KR 1020180042426A KR 20180042426 A KR20180042426 A KR 20180042426A KR 101970687 B1 KR101970687 B1 KR 101970687B1
Authority
KR
South Korea
Prior art keywords
user
unit
fitness
skeleton
module
Prior art date
Application number
KR1020180042426A
Other languages
Korean (ko)
Inventor
이상기
Original Assignee
주식회사 큐랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 큐랩 filed Critical 주식회사 큐랩
Priority to KR1020180042426A priority Critical patent/KR101970687B1/en
Application granted granted Critical
Publication of KR101970687B1 publication Critical patent/KR101970687B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075—Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/50—Wireless data transmission, e.g. by radio transmitters or telemetry

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention relates to a fitness coaching system using a personalized augmented reality technology, which enables a user to exercise in an accurate posture. The fitness coaching system comprises: a user device unit for collecting body information and activity data of a user; a service providing server unit for providing the user with a customized fitness course; a motion sensing unit for sensing an exercise motion of the user; a skeleton data extracting unit; a motion comparing unit for comparing skeleton data of the user with skeleton data of a virtual trainer; a feedback providing unit; a model control unit for generating and controlling a virtual user model; and an output unit.

Description

개인화 증강현실 기술을 이용한 피트니스 코칭 시스템{FITNESS COACHING SYSTEM USING PERSONALIZED AUGMENTED REALITY TECHNOLOGY}FIELD COACHING SYSTEM USING PERSONALIZED AUGMENTED REALITY TECHNOLOGY USING PERSONALIZED ARGUMENT TECHNOLOGY

본 발명은 사용자에게 피트니스 코칭을 제공하는 시스템에 관한 것으로서, 보다 구체적으로는 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템에 관한 것이다.The present invention relates to a system for providing fitness coaching to a user, and more particularly to a fitness coaching system using personalized augmented reality technology.

현대인은 신체 활동이 감소하면서 운동 부족으로 인해 비만과 같은 성인병이 증가하고 있다. 이에 따라 신체 건강을 유지하기 위해 피트니스(Fitness)에 대한 관심이 증가하는 추세이다.
Modern people are increasing their adult diseases like obesity due to lack of exercise due to decrease in physical activity. As a result, there is a growing interest in fitness to maintain physical fitness.

일반적으로 피지컬 피트니스(Physical Fitness) 또는 피트니스(Fitness)는 밸런스가 잡힌 건강한 신체를 만들어내는 일, 또는 그것을 위한 운동을 말한다. 이러한 피트니스는 전문 장비가 구비된 피트니스 센터에서 전문 트레이너의 개인 지도(Personal Training)를 통해 이루어지게 된다. 그러나 현대인은 바쁜 일상 때문에 체육관에 찾아가 정기적으로 전문 트레이너의 지도를 받기 어렵고, 비싼 강습료로 인해 피트니스를 지속하기가 매우 어려운 실정이다.
In general, physical fitness or fitness refers to the work of creating a balanced, healthy body, or a workout for it. Such fitness is provided through a Personal Trainer of a professional trainer at a fitness center equipped with professional equipment. However, it is difficult for modern people to visit the gym because of their busy daily life and to be regularly trained by professional trainers.

위와 같은 어려움 때문에 스마트 디바이스(Smart Device)를 이용해 전문 트레이너 없이 가정에서 사용자가 혼자 운동을 할 수 있는 스마트 피트니스(Smart Fitness)가 도입되고 있다. 그러나 이러한 스마트 피트니스는, 사용자 개인의 운동 수준에 따라 맞춤형 피트니스 코스가 제안되지 않고 일괄적으로 정해진 피트니스 코스를 수행하게 되므로 실질적인 운동 효과를 보기 어렵고, 잘못된 운동으로 인해 오히려 부상을 초래할 수 있다. 또한, 스마트 피트니스는 목표에 따른 유동적인 변화 없이 정해진 코스만을 반복하게 되므로, 사용자가 피트니스를 중도에 포기해버리는 경우가 많은 문제점이 있다.
Because of these difficulties, Smart Fitness is being introduced to enable users to exercise alone at home without a professional trainer using a Smart Device. However, such a smart fitness does not propose a customized fitness course according to the exercise level of the user, and performs a fitness course that is set in a batch, so it is difficult to see a substantial exercise effect and may cause injury due to erroneous exercise. In addition, since smart fitness repeats a predetermined course without a fluid change according to a goal, there are many problems that a user abandons fitness in the middle.

게다가, 기존 3D 가상 트레이너는 스컬프팅(조소형) 모델링이 아닌 하이폴리곤 모델링으로 제작되어 리깅 작업이 간단하고 애니메이션 제작이 용이하여 게임용 캐릭터에 적합할 뿐, 복잡한 리깅이 배제되어 캐릭터의 관절부분이나 골반, 어깨부분 등에서 폴리곤이 깨지거나 부자연스러움이 발생한다. 또한, 사용자의 운동 동작과 가상 트레이너의 동작을 비교하여 사용자가 어떠한 상세 동작에서 틀렸는지 직관적으로 파악하기에 다소 부족하다는 문제점이 있다.
In addition, the existing 3D virtual trainers are made by high polygon modeling instead of sculpting (small size) modeling, so it is easy to rigging and easy to make animation, so it is suitable for game characters. Complex rigging is eliminated, , The polygon breaks on the shoulder portion or the like, or unnaturalness occurs. In addition, there is a problem that the motion of the user is compared with the operation of the virtual trainer, so that it is somewhat insufficient for intuitively grasping what the user is wrong in the detailed operation.

한편, 스마트 피트니스 시스템과 관련된 선행기술로, 한국 공개특허 제10-2015-0064506호 ‘스마트 체중 감량 시스템’ 등이 제시된 바 있다.Meanwhile, Korean Patent Laid-Open No. 10-2015-0064506 'Smart weight loss system' has been proposed as a prior art related to smart fitness system.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 증강현실 기술을 이용하여 사용자 피드백 시스템을 개선함으로써, 사용자가 가상 트레이너의 운동 동작을 따라하며 정확한 자세로 운동을 할 수 있고, 사용자의 실루엣에 스켈레톤을 영상 접합하여 가상 트레이너와의 동작 불일치 여부가 표시되는 사용자가 자신의 틀린 동작을 직관적으로 알 수 있도록 하는, 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템을 제공하는 것을 목적으로 한다.
The present invention has been proposed in order to solve the above-mentioned problems of the previously proposed methods. By improving the user feedback system using the augmented reality technique, the user can follow the exercise of the virtual trainer and exercise in the correct posture It is an object of the present invention to provide a fitness coaching system using a personalized augmented reality technique that allows a user to visually confirm whether a user is inconsistent with a virtual trainer by visually joining a skeleton to a silhouette of a user, .

또한, 본 발명은, 사용자의 모션 영상에 실시간으로 피드백을 제공함으로써, 사용자가 운동을 하고 있는 동안에도 실시간으로 피드백을 제공할 수 있고, 증강현실에 표현되는 영상 정보를 이용하여 사용자가 운동 동작을 스스로 교정할 수 있도록 지원할 수 있는, 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템을 제공하는 것을 목적으로 한다.In addition, the present invention provides feedback in real time to a motion image of a user, thereby providing feedback in real time while a user is exercising, and also provides a user with motion information using image information expressed in an augmented reality The present invention provides a fitness coaching system using personalized augmented reality technology capable of supporting self-calibration.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템은,According to an aspect of the present invention, there is provided a fitness coaching system using personalized augmented reality technology,

사용자에게 피트니스 코칭을 제공하는 시스템에 있어서,A system for providing fitness coaching to a user,

사용자의 신체 정보 및 활동량 데이터를 수집하는 사용자 디바이스부;A user device for collecting user's body information and activity data;

상기 사용자 디바이스부로부터 수집된 상기 신체 정보 및 활동량 데이터를 이용하여 사용자에게 맞춤형 피트니스 코스를 제공하는 서비스 제공 서버부;A service providing server unit for providing a customized fitness course to a user using the body information and activity amount data collected from the user device unit;

모션 인식 카메라 모듈을 통해 사용자의 운동 동작을 감지하는 동작 감지부;An operation sensing unit for sensing a movement motion of the user through the motion recognition camera module;

상기 동작 감지부에서 감지한 상기 사용자의 운동 동작으로부터 사용자의 스켈레톤 데이터를 추출하는 스켈레톤 데이터 추출부;A skeleton data extracting unit for extracting a skeleton data of a user from the motion of the user sensed by the motion sensing unit;

상기 스켈레톤 데이터 추출부에서 추출한 상기 사용자의 스켈레톤 데이터를 가상 트레이너의 스켈레톤 데이터와 비교하는 동작 비교부;An operation comparator comparing the skeleton data of the user extracted by the skeleton data extraction unit with skeleton data of a virtual trainer;

상기 동작 비교부에서 비교한 결과를 이용하여, 상기 사용자의 스켈레톤 데이터와 상기 가상 트레이너의 스켈레톤 데이터가 일치하지 않는 부분에 대한 피드백을 제공하는 피드백 제공부;A feedback providing unit for providing feedback on a portion where the skeleton data of the user and the skeleton data of the virtual trainer do not match using the comparison result of the operation comparing unit;

상기 스켈레톤 데이터 추출부에서 추출한 상기 사용자의 스켈레톤 데이터를 그래픽 이미지로 구현한 가상 사용자 모델을 생성하여 제어하는 모델 제어부; 및A model control unit for generating and controlling a virtual user model in which the skeleton data extracted by the skeleton data extraction unit is implemented as a graphic image; And

상기 모델 제어부에서 생성한 가상 사용자 모델을 포함하는 증강현실을 출력하고, 상기 피드백 제공부에서 제공하는 피드백을 상기 가상 사용자 모델에 합성하여 출력하는 출력부를 포함하는 것을 그 구성상의 특징으로 한다.
And an output unit outputting the augmented reality including the virtual user model generated by the model control unit and synthesizing the feedback provided by the feedback providing unit with the virtual user model.

바람직하게는, 상기 서비스 제공 서버부는,Preferably, the service providing server unit,

상기 사용자 디바이스부로부터 상기 사용자의 신체 정보 및 활동량 데이터를 수신하는 수신 모듈;A receiving module for receiving the user's body information and activity data from the user device;

상기 수신 모듈이 수신한 상기 사용자의 신체 정보 및 활동량 데이터를 저장하는 데이터베이스 모듈;A database module for storing body information and activity data of the user received by the receiving module;

상기 데이터베이스 모듈에 저장된 상기 사용자의 신체 정보 및 활동량 데이터를 분석하여 활동량 변화를 분석하는 활동량 분석 모듈;An activity analyzing module for analyzing the user's body information and activity amount data stored in the database module and analyzing the activity amount change;

상기 활동량 분석 모듈에서 분석된 활동량 변화에 따라 피트니스 코스를 제안하는 피트니스 코스 제안 모듈; 및A fitness course proposal module for suggesting a fitness course according to the change in activity amount analyzed by the activity amount analysis module; And

상기 피트니스 코스 제안 모듈에서 제안된 피트니스 코스에서 상기 활동량 분석 모듈에서 분석된 활동량 변화에 따라 피트니스의 강도를 조절하는 피트니스 강도 조절 모듈을 포함할 수 있다.
And a fitness intensity adjusting module for adjusting the fitness of the fitness according to the change in activity amount analyzed in the activity intensity analyzing module in the fitness course proposed in the fitness course suggesting module.

더욱 바람직하게는, 상기 서비스 제공 서버부는,More preferably, the service providing server unit,

상기 사용자 디바이스부로부터 운동 목표와 운동 시간을 입력받는 목표 설정 모듈; 및A target setting module that receives a motion target and a motion time from the user device; And

상기 사용자 디바이스부로부터 사용자의 식사 정보를 입력받아 섭취한 칼로리를 계산하는 식사 정보 모듈을 더 포함할 수 있다.
And a meal information module for calculating the calories consumed by receiving the user's meal information from the user device unit.

더욱 더 바람직하게는, 상기 서비스 제공 서버부는,Still more preferably, the service providing server unit,

상기 식사 정보 모듈에서 계산된 칼로리를 반영하여 상기 목표 설정 모듈에 입력된 운동 목표와 운동 시간에 따라 운동 스케줄을 예약할 수 있다.
The exercise schedule can be reserved according to the exercise goal and exercise time input to the goal setting module by reflecting the calories calculated in the meal information module.

바람직하게는, 상기 스켈레톤 데이터 추출부는,Preferably, the skeleton data extracting unit extracts,

상기 동작 감지부에서 감지한 상기 사용자의 운동 동작으로부터 골격을 기반으로 관절과 뼈로 구성되는 사용자 스켈레톤 데이터를 추출할 수 있다.
The user's skeleton data composed of joints and bones can be extracted based on the skeleton from the motion of the user sensed by the motion sensing unit.

더욱 바람직하게는, 상기 동작 비교부는,More preferably, the operation comparing unit includes:

상기 스켈레톤 데이터 추출부에서 추출한 사용자의 스켈레톤 데이터를 이용하여 가상 사용자 모델과 가상 트레이너의 운동 동작에서 각각의 뼈대와의 각도를 비교할 수 있다.
The skeleton data extracted by the skeleton data extracting unit may be used to compare the angles of the skeletons in the movement of the virtual user model and the virtual trainer.

더욱 더 바람직하게는, 상기 피드백 제공부는,Even more preferably, the feedback providing unit includes:

상기 가상 사용자 모델의 실루엣 상에 상기 사용자의 스켈레톤을 영상 접합하여 가상 트레이너와 동작 불일치 부위에 대한 피드백을 제공할 수 있다.
And the user's skeleton is image-joined on the silhouette of the virtual user model to provide feedback on the operation discrepancy region with the virtual trainer.

바람직하게는, 상기 모델 제어부는,Preferably, the model control unit includes:

상기 가상 트레이너의 스켈레톤 데이터를 이용하여 그래픽 이미지로 구현한 가상 트레이너 모델을 생성하여 제어하고, 상기 동작 감지부에서 감지한 상기 사용자의 운동 동작을 실시간으로 반영하여 상기 가상 사용자 모델을 제어할 수 있다.A virtual trainer model implemented as a graphic image is generated and controlled using skeleton data of the virtual trainer, and the virtual user model can be controlled by reflecting the motion of the user sensed by the motion sensing unit in real time.

본 발명에서 제안하고 있는 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템에 따르면, 증강현실 기술을 이용하여 사용자 피드백 시스템을 개선함으로써, 사용자가 가상 트레이너의 운동 동작을 따라하며 정확한 자세로 운동을 할 수 있고, 사용자가 자신의 틀린 동작을 직관적으로 알 수 있도록 사용자의 실루엣에 스켈레톤을 영상 접합하여 가상 트레이너와의 동작 불일치 여부가 표시될 수 있다.
According to the fitness coaching system using the personalized augmented reality technique proposed in the present invention, by improving the user feedback system using the augmented reality technique, the user can follow the exercise of the virtual trainer and exercise in the correct posture, A skeleton may be image-joined to the silhouette of the user so that the user can intuitively know the wrong operation of the user, so that the operation inconsistency with the virtual trainer can be displayed.

또한, 본 발명에서 제안하고 있는 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템에 따르면, 사용자의 모션 영상에 실시간으로 피드백을 제공함으로써, 사용자가 운동을 하고 있는 동안에도 실시간으로 피드백을 제공할 수 있고, 증강현실에 표현되는 영상 정보를 이용하여 사용자가 운동 동작을 스스로 교정할 수 있도록 지원할 수 있다.Also, according to the fitness coaching system using the personalized augmented reality technique proposed in the present invention, it is possible to provide feedback in real time while the user is exercising by providing feedback to the user's motion image in real time, It is possible to support the user to calibrate the exercise motion by using the image information expressed in reality.

도 1은 본 발명의 일 실시예에 따른 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일 실시예에 따른 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템에서 서비스 제공 서버부의 구성을 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템의 스켈레톤 데이터 추출부에서 사용자의 스켈레톤 데이터를 추출하는 모습을 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템의 출력부에서 출력되는 가상 사용자 모델을 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템의 출력부에서 (a) 피드백이 각도, 색 중 적어도 하나로 제공되는 모습과 (b) 피드백이 텍스트 형식으로 제공되는 모습을 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템의 출력부에서 출력되는 영상을 도시한 도면.1 is a view showing a configuration of a fitness coaching system using personalized augmented reality technology according to an embodiment of the present invention;
BACKGROUND OF THE INVENTION 1. Field of the Invention [0002] The present invention relates to a fitness coaching system using personalized augmented reality technology.
FIG. 3 is a view illustrating a method of extracting a user's skeleton data from a skeleton data extraction unit of a fitness coaching system using a personalized augmented reality technique according to an embodiment of the present invention; FIG.
4 is a diagram illustrating a virtual user model output from an output unit of a fitness coaching system using personalized augmented reality technology according to an embodiment of the present invention;
FIG. 5 is a diagram illustrating the output of the fitness coaching system using the personalized augmented reality technique according to an exemplary embodiment of the present invention. Referring to FIG. 5, (a) shows how feedback is provided in at least one of angles and colors, Fig.
6 is a view illustrating an image output from an output unit of a fitness coaching system using personalized augmented reality technology according to an embodiment of the present invention;

이하에서는 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일 또는 유사한 부호를 사용한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. In the following detailed description of the preferred embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The same or similar reference numerals are used throughout the drawings for portions having similar functions and functions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, in the entire specification, when a part is referred to as being 'connected' to another part, it may be referred to as 'indirectly connected' not only with 'directly connected' . Also, to "include" an element means that it may include other elements, rather than excluding other elements, unless specifically stated otherwise.

도 1은 본 발명의 일 실시예에 따른 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템은, 사용자에게 피트니스를 제공하는 시스템에 있어서, 사용자 디바이스부(100), 서비스 제공 서버부(200), 동작 감지부(300), 스켈레톤 데이터 추출부(400), 동작 비교부(500), 피드백 제공부(600), 모델 제어부(700), 및 출력부(800)를 포함할 수 있다. 이하에서는, 본 발명의 일 실시예에 따른 개인화 기술을 이용한 인공지능 피트니스 코칭 시스템의 각각의 구성에 대해 상세히 설명하기로 한다.
FIG. 1 is a view showing a configuration of a fitness coaching system using personalized augmented reality technology according to an embodiment of the present invention. 1, a fitness coaching system using personalized augmented reality technology according to an embodiment of the present invention includes a user device unit 100, a service providing server unit 200 An operation detecting unit 300, a skeleton data extracting unit 400, an operation comparing unit 500, a feedback providing unit 600, a model control unit 700, and an output unit 800. Hereinafter, each configuration of an artificial intelligent fitness coaching system using a personalization technique according to an embodiment of the present invention will be described in detail.

사용자 디바이스부(100)는, 사용자의 신체 정보 및 활동량 데이터를 수집할 수 있다. 여기서 신체 정보는 적어도 사용자의 성별, 키, 및 몸무게를 포함하며, 활동량 데이터는 적어도 심박수를 포함할 수 있다. 실시 예에 따라서는, 신체 정보는 사용자 디바이스부(100)를 통해 사용자가 직접 입력할 수 있으나, 별도의 디바이스를 통해 자동으로 측정되어 입력될 수 있다. 또한 활동량 데이터는 사용자 디바이스부(100)의 센서 모듈(미도시)을 통해 자동으로 수집될 수 있다.
The user device unit 100 can collect the user's body information and activity amount data. Here, the body information includes at least the user's sex, height, and weight, and the activity data may include at least the heart rate. In some embodiments, the body information may be directly input by the user through the user device unit 100, but may be automatically measured and input through a separate device. Further, the activity amount data can be automatically collected through the sensor module (not shown) of the user device unit 100.

사용자 디바이스부(100)는, 사용자의 신체 정보 및 활동량 데이터 수집 기능이 구현된 애플리케이션을 다운로드할 수 있는 스마트 기기일 수 있다. 여기서, 스마트 기기는 스마트폰(Smartphone), 태블릿 PC(Tablet PC) 및 웨어러블(Wearable) 기기 등 각종 모바일 디바이스를 포함할 수 있다. 그러나 스마트 기기는, 전술한 디바이스의 종류에 한정되는 것은 아니며, 센서 모듈을 통해 사용자의 신체 정보 및 활동량 데이터를 수집하고, 서비스 제공 서버부(200)의 서비스를 이용할 수 있다면 그 구체적인 종류에 관계없이 사용자 디바이스부(100)의 역할을 할 수 있다.
The user device unit 100 may be a smart device capable of downloading an application in which the body information of the user and the activity data collection function are implemented. Here, the smart device may include various mobile devices such as a smartphone, a tablet PC, and a wearable device. However, the smart device is not limited to the above-described device type, and if the service of the service providing server unit 200 can be used by collecting the user's body information and activity amount data through the sensor module, And can serve as the user device unit 100.

서비스 제공 서버부(200)는, 사용자 디바이스부(100)로부터 수집된 신체 정보 및 활동량 데이터를 이용하여 사용자에게 맞춤형 피트니스 코스를 제공할 수 있다. 따라서 사용자는 서비스 제공 서버부(200)에서 제공된 피트니스 코스에 따라 효율적으로 운동할 수 있고, 제공된 피트니스 코스에 따fms 신체 정보 및 활동량 데이터의 변화에 따라 자동적으로 피트니스 코스 및 피트니스 강도에 대한 피드백이 이루어질 수 있다.
The service providing server unit 200 may provide a customized fitness course to the user using the body information and the activity amount data collected from the user device unit 100. [ Therefore, the user can exercise efficiently according to the fitness course provided by the service providing server unit 200, and feedback on the fitness course and fitness intensity is automatically performed according to the change in the fms body information and activity amount data according to the provided fitness course .

도 2는 본 발명의 일 실시예에 따른 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템에서 서비스 제공 서버부의 구성을 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템에서 서비스 제공 서버부는, 수신 모듈(210), 데이터베이스 모듈(220), 피트니스 코스 제안 모듈(230), 및 피트니스 강도 조절 모듈(240)을 포함하며, 목표 설정 모듈(250) 및 식사 정보 모듈(260)을 더 포함할 수 있다. 이하에서는, 본 발명의 일 실시예에 따른 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템에서 서비스 제공 서버부의 각각의 구성에 대해 상세히 설명하기로 한다.
FIG. 2 is a diagram illustrating a configuration of a service providing server unit in a fitness coaching system using personalized augmented reality technology according to an embodiment of the present invention. Referring to FIG. 2, in the fitness coaching system using the personalized augmented reality technology according to an embodiment of the present invention, the service providing server unit includes a receiving module 210, a database module 220, a fitness course suggesting module 230, And fitness intensity adjustment module 240, and may further include a goal setting module 250 and a meal information module 260. Hereinafter, each configuration of the service providing server unit in the fitness coaching system using the personalized augmented reality technology according to an embodiment of the present invention will be described in detail.

수신 모듈(210)은, 사용자 디바이스부(100)로부터 신체 정보 및 활동량 데이터를 수신할 수 있다. 수신 모듈(210)은, 네트워크를 통해 신체 정보 및 활동량 데이터를 수신할 수 있다. 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(Mobile Radio Communication Network), 위성 통신망, WIBRO(Wireless Broadband Internet), HSDPA(High Speed Downlink Packet Access)등과 같은 모든 종류의 무선 네트워크를 포함할 수 있다.
The receiving module 210 can receive the body information and the activity amount data from the user device unit 100. [ Receiving module 210 may receive body information and activity data via the network. The network may be a wired network such as a local area network (LAN), a wide area network (WAN) or a value added network (VAN), a mobile radio communication network, Wireless Broadband Internet), HSDPA (High Speed Downlink Packet Access), and the like.

데이터베이스 모듈(220)은, 수신 모듈(210)이 수신한 신체 정보 및 활동량 데이터를 저장할 수 있다. 특히, 데이터베이스 모듈(220)은, 시간에 따라 사용자의 신체 정보 및 활동량 데이터를 누적하여 저장함으로써, 변화하는 사용자의 신체 정보 및 활동량 데이터를 기록할 수 있다.
The database module 220 may store the body information and the activity amount data received by the receiving module 210. Particularly, the database module 220 accumulates and stores the user's body information and activity amount data according to time, thereby recording the changed user's body information and activity amount data.

활동량 분석 모듈(230)은, 데이터베이스 모듈(220)에 저장된 신체 정보 및 활동량 데이터를 분석하여 활동량 변화를 분석할 수 있다. 특히, 활동량 분석 모듈(230)은, 과거의 활동량 데이터와 현재의 활동량 데이터를 비교하여 활동량 변화를 증가, 감소 또는 동일 중 어느 하나의 상태로 분석할 수 있다. 이때, 활동량 분석 모듈(230)은, 활동량 데이터를 미리 정해진 기준으로 과거 또는 현재의 활동량 데이터로 구분할 수 있다. 예를 들어, 미리 정해진 기준이 1일인 경우, 1일이 지난 활동량 데이터는 과거의 활동량 데이터로 구분될 수 있다. 따라서 활동량 분석 모듈(230)은, 1일을 기준으로 활동량 변화가 증감하는지 여부를 판단할 수 있다.
The activity analysis module 230 analyzes the body information and the activity data stored in the database module 220 to analyze the activity change. Particularly, the activity analysis module 230 can compare the past activity data with the current activity data to analyze the activity change as increase, decrease, or the same state. At this time, the activity amount analysis module 230 can divide the activity amount data into past or present activity amount data based on a predetermined reference. For example, if the predetermined criterion is 1 day, the activity data after 1 day can be divided into the past activity data. Therefore, the activity-amount analysis module 230 can determine whether or not the change in activity amount is increased or decreased based on one day.

피트니스 코스 제안 모듈(240)은, 활동량 분석 모듈(230)에서 분석된 활동량 변화에 따라 피트니스 코스를 제안할 수 있다. 피트니스 코스는 복수의 운동 동작을 포함하며, 피트니스 코스 제안 모듈(240)은, 활동량 분석 모듈에서 분석된 활동량 변화에 따라 개별적인 운동 동작을 조합하여 하나의 피트니스 코스를 구성할 수 있다. 예를 들어, 사용자가 일정 기간 운동을 하지 않아 활동량 분석 모듈(230)에서 사용자의 활동량 변화를 감소 상태로 판단하는 경우, 피트니스 코스 제안 모듈(240)은 피트니스 코스에 워밍업에 해당하는 운동 동작 비율을 증가시켜 피트니스 코스를 제안할 수 있다. 반대로, 활동량 분석 모듈(230)에서 사용자의 활동량 변화를 증가 상태로 판단하는 경우, 피트니스 코스 제안 모듈(240)은 워밍업에 해당하는 운동 동작 비율을 감소시켜 피트니스 코스를 제안할 수 있다.
The fitness course proposal module 240 can suggest a fitness course according to the change in the activity amount analyzed by the activity amount analysis module 230. [ The fitness course includes a plurality of exercise operations, and the fitness course suggestion module 240 can configure one fitness course by combining individual exercise operations according to the change in activity amount analyzed by the activity amount analysis module. For example, if the user does not exercise for a predetermined period of time and determines that the change in the activity amount of the user is a decrease state in the activity amount analysis module 230, the fitness course suggestion module 240 sets a fitness operation course corresponding to the warm- It is possible to propose a fitness course. Conversely, when the activity amount analysis module 230 determines that the user's activity amount change is an increase state, the fitness course suggestion module 240 may propose a fitness course by reducing the exercise operation ratio corresponding to warm-up.

피트니스 강도 조절 모듈(250)은, 피트니스 코스 제안 모듈(240)에서 제안된 피트니스 코스에서 활동량 분석 모듈(230)에 의해 분석된 활동량 변화에 따라 피트니스 강도를 조절할 수 있다. 또한, 피트니스 강도 조절 모듈(250)은, 활동량 분석 모듈(230)에서 분석된 활동량 변화가 동일 또는 감소 상태인 경우 피트니스의 강도를 증가시킬 수 있다. 예를 들어, 사용자가 일정 기간 운동을 하지 않아 활동량 변화가 감소된 상태이고, 피트니스 코스 제안 모듈(240)에 의해 제안된 피트니스 코스 중에 스쿼트가 있다면, 피트니스 강도 조절 모듈(250)은 스쿼트의 횟수나 피트니스 코스에서 스쿼트가 차지하는 비중을 증가시킬 수 있다.
The fitness intensity adjustment module 250 can adjust the fitness intensity according to the change in activity amount analyzed by the activity amount analysis module 230 in the fitness course proposed by the fitness course suggestion module 240. [ In addition, the fitness intensity adjustment module 250 may increase the strength of the fitness when the variation of the activity amount analyzed by the activity amount analysis module 230 is the same or decreased. For example, if the user does not exercise for a certain period of time and there is a decrease in the amount of activity, and there is a squat in the fitness course suggested by the fitness course suggestion module 240, the fitness intensity adjustment module 250 may determine the number of squats You can increase the proportion of squats in your fitness course.

보다 구체적으로, 피트니스 강도 조절 모듈(250)은 피트니스 코스를 마치는데 소요된 시간과 운동 시의 활동량 데이터를 반영하여, 사용자의 수준별로 피트니스 코스의 운동 강도를 조절할 수 있다. 예를 들어, 운동 시 사용자의 심박 수가 최대 심박 수 대비 81~84%에 해당하는 경우, NML(No Man's Land) 구간에 해당하여 생리학적으로 아무런 운동 효과가 없다. 따라서 피트니스 강도 조절 모듈(250)은, 사용자의 운동 시 심박 수가 최대 심박 수 대비 60~80%에 해당할 수 있도록 실시간으로 운동 강도를 조절할 수 있다.
More specifically, the fitness intensity adjusting module 250 can adjust the exercise intensity of the fitness course according to the user's level, reflecting the time taken to finish the fitness course and the activity data at the time of exercise. For example, if the user's heart rate during exercise is 81 to 84% of the maximum heart rate, there is no physiological exercise effect corresponding to the NML (No Man's Land) section. Therefore, the fitness intensity adjusting module 250 can adjust the exercise intensity in real time so that the heart rate during the user's exercise may correspond to 60 to 80% of the maximum heart rate.

목표 설정 모듈(260)은, 사용자 디바이스부(100)로부터 운동 목표와 운동 시간을 입력받을 수 있다. 여기서, 운동 목표는, 실시예에 따라서는 체중 감량 또는 근력 강화를 포함하나 이에 한정되는 것은 아니다. 피트니스 코스 제안 모듈(240)은, 목표 설정 모듈(260)에 입력된 운동 목표에 따라 피트니스 코스를 제안 할 수 있다. 또한, 피트니스 강도 조절 모듈(250)은 목표 설정 모듈(260)에 입력된 운동 시간에 따라 피트니스 코스의 강도를 조절할 수 있다. 예를 들어, 운동 목표가 체중 감량이고 운동 시간이 1시간인 경우, 피트니스 코스 제안 모듈(240)은 체중 감량에 효과적인 운동을 제안하며, 피트니스 강도 조절 모듈(250)은 설정된 시간 동안 효과적으로 운동을 할 수 있도록 운동의 강도를 조절할 수 있다.
The goal setting module 260 can receive the exercise goal and the exercise time from the user device unit 100. [ Here, the exercise goals include, but are not limited to, weight loss or muscle strength enhancement depending on the embodiment. The fitness course proposal module 240 can suggest a fitness course according to the exercise goal input to the goal setting module 260. [ In addition, the fitness intensity adjustment module 250 can adjust the intensity of the fitness course according to the exercise time input to the goal setting module 260. [ For example, if the exercise goal is weight loss and the exercise time is 1 hour, the fitness course suggestion module 240 suggests exercise effective for weight loss, and the fitness intensity adjustment module 250 may exercise So that the intensity of the exercise can be controlled.

식사 정보 모듈(270)은, 사용자 디바이스부(100)로부터 사용자의 식사 정보를 입력받아 사용자가 섭취한 칼로리를 계산할 수 있다. 운동 목표를 성취하기 위해서는, 운동뿐만 아니라 사용자가 섭취하는 음식에 따른 칼로리 계산이 필요하므로, 식사 정보 모듈(270)은 사용자가 섭취한 음식을 입력받아 식사 정보를 데이터베이스 모듈(220)에 저장하고, 피트니스로 인해 소모된 칼로리와 음식 섭취로 인한 증가된 칼로리를 계산할 수 있다. 실시예에 따라서는, 식사 정보 모듈(270)은 사용자가 보다 편리하게 식사 정보를 입력할 수 있도록 미리 음식의 종류, 내용 및 칼로리를 포함할 수 있다. 따라서 사용자는 복잡한 입력 과정 없이, 섭취한 음식을 간단히 선택하여 식사 정보를 입력할 수 있다.
The meal information module 270 can receive the user's meal information from the user device unit 100 and calculate the calories consumed by the user. In order to achieve the exercise goal, the exercise information module 270 receives the food consumed by the user, stores the meal information in the database module 220, You can calculate the calories burned due to fitness and the increased calories burned by your food intake. In some embodiments, the meal information module 270 may include the type, content, and calories of the food in advance to allow the user to more easily enter the meal information. Therefore, the user can easily input the meal information by simply selecting the food to be ingested without complicated input process.

서비스 제공 서버부(200)는, 식사 정보 모듈(270)에서 계산된 칼로리를 반영하여 목표 설정 모듈(260)에 입력된 운동 목표와 운동 시간에 따라 운동 스케줄을 예약할 수 있다. 서비스 제공 서버부(200)는, 운동 스케줄을 사용자 디바이스부(100)에 푸시 메시지 또는 알람 형태로 송신할 수 있다. 따라서 사용자는 운동 스케줄을 고민할 필요 없이, 서비스 제공 서버부(200)에서 제공되는 운동 스케줄에 따라 운동함으로써, 자연스럽게 운동 목표를 달성할 수 있다.
The service providing server unit 200 may reserve the exercise schedule according to the exercise goal and the exercise time input to the goal setting module 260 by reflecting the calories calculated by the meal information module 270. [ The service providing server unit 200 may transmit the exercise schedule to the user device unit 100 in the form of a push message or an alarm. Therefore, the user can exercise goals naturally by exercising according to the exercise schedule provided by the service providing server unit 200 without having to worry about the exercise schedule.

동작 감지부(300)는, 모션 인식 카메라 모듈을 통해 사용자의 운동 동작을 감지할 수 있다. 동작 감지부(300)는, 모션 인식 카메라 모듈을 통해 입력되는 영상에서 사용자의 신체를 트래킹하여 사용자의 운동 동작을 감지할 수 있다. 따라서 동작 감지부(300)는, 별도의 마커(Marker) 없이도 사용자의 운동 동작을 감지할 수 있다. 그러나 실시예에 따라서는, 동작 감지부(300)는, 보다 정확한 운동 동작을 감지하기 위해 마커를 인식하여 사용자의 운동 동작을 감지할 수 있다. 실시예에 따라서는, 동작 감지부(300)는, 미리 등록된 사용자의 신체 부위를 마커로 인식하여 사용자의 운동 동작을 감지할 수도 있다.
The motion sensing unit 300 can sense the motion of the user through the motion recognition camera module. The motion detection unit 300 may track the user's motion in the image input through the motion recognition camera module. Therefore, the motion sensing unit 300 can sense the motion of the user without a separate marker. However, according to the embodiment, the motion sensing unit 300 may recognize the motion of the user by recognizing the marker to sense a more accurate motion motion. According to an embodiment, the motion sensing unit 300 may recognize a user's motion by recognizing previously registered body parts of a user as a marker.

도 3은 본 발명의 일 실시예에 따른 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템의 스켈레톤 데이터 추출부에서 사용자의 스켈레톤 데이터를 추출하는 모습을 도시한 도면이다. 도 3에 도시된 바와 같이, 스켈레톤 데이터 추출부(400)는, 동작 감지부(300)에서 감지한 사용자의 운동 동작으로부터 사용자의 스켈레톤 데이터(Skeleton Data)를 추출할 수 있다. 이때, 스켈레톤 데이터 추출부(400)는, 동작 감지부(300)에서 감지한 사용자의 운동 동작으로부터 골격을 기반으로 관절과 뼈로 구성되는 사용자의 스켈레톤 데이터를 추출할 수 있다. 여기서, 사용자의 스켈레톤 데이터는, 복수의 관절(Joint)와 뼈(Bone)로 구성되며, 복수의 관절과 뼈가 하나의 집합으로 설정된 데이터일 수 있다. 도 3의 (a)에 도시된 바와 같이, 스켈레톤 데이터 추출부(400)는, 사용자의 운동 동작 이미지에서 사용자의 골격을 인식하고, 골격을 기반으로 관절과 뼈를 추출할 수 있다. 그리고 도 3의 (b)를 참조하면, 스켈레톤 데이터 추출부(400)는, 사용자의 스켈레톤 데이터에서 관절에 대한 공간상의 x, y, z값을 추출함으로써 사용자의 스켈레톤 데이터를 추출할 수 있다. 즉, 스켈레톤 데이터 추출부(400)는, 각각의 관절을 3차원적으로 인식해서 공간상의 좌표를 추출할 수 있다. 예를 들어, Z축 상에 동작 감지부가 위치한다고 가정하면, 해당 좌표 상에서 각각의 관절과 동작 감지부(300) 간의 거리를 측정할 수 있다. 이때, X축은 거리가 각도적인 측면과 함께 고려되어 측정되고, Y축은 거리가 높이적인 측면과 고려되어 측정될 수 있다. Z축은 일직선상에서 동작 감지부(300)와의 거리일 수 있다.
FIG. 3 is a diagram illustrating a method of extracting a user's skeleton data from a skeleton data extracting unit of a fitness coaching system using a personalized augmented reality technique according to an embodiment of the present invention. Referring to FIG. As shown in FIG. 3, the skeleton data extraction unit 400 may extract skeleton data of the user from the motion of the user sensed by the motion sensing unit 300. At this time, the skeleton data extraction unit 400 may extract skeleton data of a user composed of joints and bones based on the skeleton from the motion of the user sensed by the motion sensing unit 300. Here, the user's skeleton data may be composed of a plurality of joints and bones, and may be data in which a plurality of joints and bones are set as one set. As shown in FIG. 3A, the skeleton data extraction unit 400 recognizes the skeleton of the user in the motion image of the user and extracts joints and bones based on the skeleton. Referring to FIG. 3B, the skeleton data extraction unit 400 extracts the skeleton data of the user by extracting the x, y, and z values on the space of the joint from the skeleton data of the user. That is, the skeleton data extracting unit 400 can extract coordinates in space by recognizing each joint three-dimensionally. For example, if it is assumed that the motion sensing unit is located on the Z axis, the distance between each joint and the motion sensing unit 300 on the corresponding coordinate can be measured. At this time, the X axis is measured while considering the distance along the angular side, and the Y axis can be measured considering the distance side. The Z axis may be a distance from the motion sensing unit 300 on a straight line.

한편, 실시예에 따라서는 스켈레톤 데이터 추출부(400)에서 추출하는 스켈레톤 데이터의 관절과 뼈의 개수는 20개의 관절과 19개의 뼈로 구성될 수 있다. 그러나 전술한 실시예로 한정되는 것은 아니며, 관절과 뼈의 개수는 다양하게 설정될 수 있다.
Meanwhile, according to the embodiment, the number of joints and bones of the skeleton data extracted by the skeleton data extraction unit 400 may be composed of 20 joints and 19 bones. However, the present invention is not limited to the above-described embodiment, and the number of joints and bones can be set variously.

본 발명의 일 실시예에 따른 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템에서 동작비교부(500)는, 스켈레톤 데이터 추출부에서 추출한 사용자의 스켈레톤 데이터를 이용하여 가상 사용자 모델과 가상 트레이너의 운동 동작에서 각각의 뼈대와의 각도를 비교할 수 있어, 본 발명의 일 실시예에 따른 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템은, 동작 비교부(500)를 통해 사용자의 스켈레톤 데이터와 가상 트레이너의 스켈레톤 데이터의 일치도에 따라 사용자가 정확한 동작으로 운동을 하고 있는지 여부를 판단할 수 있다.In the fitness coaching system using the personalized augmented reality technique according to an embodiment of the present invention, the operation comparator 500 compares the skeleton data extracted by the skeleton data extraction unit with the fitness values of the virtual user model and the virtual trainer The fitness coaching system using the personalized augmented reality technique according to an embodiment of the present invention can compare the angle of the skeleton data of the user with the skeleton of the virtual trainer through the operation comparator 500 Accordingly, it is possible to judge whether or not the user is exercising with correct motion.

기존의 가상 트레이너는 하이폴리곤 모델링으로 제작되어 복잡한 리깅이 배제되고 가상 트레이너의 관절부분이나 골반, 어깨부분 등에서 폴리곤이 깨지거나 부자연스러움이 발생하였다. 이를 해결하기 위해, 본 발명의 일 실시예에 따른 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템에 있어서 가상의 트레이너를 제작하는데 있어 스컬프팅 모델링을 이용하여 20만개 이상의 폴리곤을 사용함으로써, 높은 수준의 퀄리티와 다양한 포즈에도 문제없는 디테일한 어깨, 골반, 다리 트위스트 보정을 이용한 하이 퀄리티 리깅이 적용될 수 있다. 또한, 가상의 트레이너와 사용자는 성별이 다를 수 있다. 따라서 가상 트레이너는 적어도 남녀 각각 1명 이상일 수 있다.
Existing virtual trainers were produced with high polygon modeling, eliminating complicated rigging and causing polygon breaks or unnaturalness in joints, pelvis or shoulders of virtual trainers. In order to solve this problem, in the fitness coaching system using the personalized augmented reality technique according to an embodiment of the present invention, more than 200,000 polygons are used by using sculpting modeling to produce a virtual trainer, High-quality rigging can be applied using various details such as shoulder, pelvis, and leg twist correction. Also, the virtual trainers and users may have different genders. Therefore, the virtual trainers can be at least one male and one male.

가상의 트레이너와 사용자는 체형이 다를 수 있다. 이러한 체형의 차이점으로 인해, 사용자가 정확하게 운동 동작을 하고 있는 경우에도 사용자의 스켈레톤 데이터와 가상 트레이너의 스켈레톤 데이터가 일치하지 않을 수 있다. 이때, 동작 비교부(500)는 스켈레톤 데이터 추출부(400)에서 추출한 사용자의 스켈레톤 데이터를 이용하여 스켈레톤 모델을 생성하고 스켈레톤 모델 상에서 각각의 뼈대와의 각도를 비교할 수 있다. 여기서, 스켈레톤 모델은, 사용자의 스켈레톤 데이터를 이용하여 모델링한 모델로서, 사용자의 신체를 주요 골격으로 추상화한 모델일 수 있다. 즉, 스켈레톤 모델은 복수의 관절과 뼈로 구성될 수 있으며, 스켈레톤 모델에서 관절과 뼈의 개수는 스켈레톤 데이터 추출부에서 추출한 사용자의 스켈레톤 데이터의 관절과 뼈의 개수에 해당할 수 있다. 따라서 동작 비교부는 사용자의 스켈레톤 데이터를 이용하여 사용자의 스켈레톤 모델을 생성하고, 가상 트레이너의 스켈레톤 데이터를 이용하여 가상 트레이너의 스켈레톤 모델을 생성할 수 있다. 이때, 스켈레톤 모델은 사용자의 신체를 골격과 뼈로 구성한 모델에 해당하므로, 사용자와 가상 트레이너 모델 간에 체형에서 차이가 있는 경우에도 스켈레톤 모델의 스케일(Scale)을 조절하여 서로 근사시킬 수 있다. 동작 비교부(500)는, 스케일을 조절하여 가상 트레이너의 스켈레톤 모델을 사용자의 스켈레톤 모델과 일치시킨 후, 스켈레톤 모델 상에서 각각의 뼈대와의 각도를 비교하면 사용자의 스켈레톤 데이터와 가상 트레이너의 스켈레톤 데이터 간의 운동 동작을 보다 정확하게 비교할 수 있다. 따라서 동작 비교부는, 사용자의 스켈레톤 모델과 가상 트레이너의 스켈레톤 모델을 이용하여 각각의 뼈대에서 각도 차이를 비교할 수 있다.
Virtual trainers and users may have different body shapes. Because of this difference in body shape, even if the user is correctly performing the exercise, the skeleton data of the user and the skeleton data of the virtual trainer may not match. At this time, the operation comparing unit 500 can generate a skeleton model using the skeleton data of the user extracted by the skeleton data extracting unit 400, and compare the angles with respective skeletons on the skeleton model. Here, the skeleton model may be a model modeled by using the user's skeleton data, and may be a model in which the user's body is abstracted into a main skeleton. That is, the skeleton model may be composed of a plurality of joints and bones, and the number of joints and bones in the skeleton model may correspond to the number of joints and bones of the user's skeleton data extracted by the skeleton data extraction unit. Therefore, the operation comparing unit can generate the skeleton model of the user using the skeleton data of the user, and generate the skeleton model of the virtual trainer by using the skeleton data of the virtual trainer. At this time, since the skeleton model corresponds to a model in which the user's body is composed of skeleton and bone, even if there is a difference in body shape between the user and the virtual trainer model, the scale of the skeleton model can be adjusted to approximate each other. After comparing the skeleton model of the virtual trainer with the skeleton model of the user by adjusting the scale and comparing the angle with each skeleton on the skeleton model, the operation comparing unit 500 compares the skeleton data of the user with the skeleton data of the virtual trainer The movement motion can be compared more accurately. Therefore, the motion comparison unit can compare the angular difference in each skeleton using the user's skeleton model and the skeleton model of the virtual trainer.

본 발명의 일 실시예에 따른 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템에서 피드백 제공부(600)는, 사용자가 자신의 틀린 동작을 직관적으로 알 수 있도록 가상 사용자 모델의 실루엣 상에 사용자의 스켈레톤을 영상 접합하여 가상 트레이너와 동작 불일치 부위에 대한 피드백을 제공할 수 있다.
In the fitness coaching system using the personalized augmented reality technique according to an embodiment of the present invention, the feedback providing unit 600 may display the skeleton of the user on the silhouette of the virtual user model so that the user can intuitively know the wrong operation of the user. And can provide feedback to the virtual trainer and the operation discrepancy region.

피드백 제공부(600)는, 동작 비교부(500)에서 비교한 결과를 이용하여 사용자의 스켈레톤 데이터와 가상 트레이너의 스켈레톤 데이터가 일치하지 않는 부분에 대한 피드백을 제공할 수 있다. 이때, 동작 비교부(500)에서 스켈레톤 모델의 각각의 뼈대에서 가상 트레이너의 스켈레톤 모델과의 각도 차이를 비교하는 경우, 스켈레톤 모델의 각각의 뼈대에서 가상 트레이너의 스켈레톤 모델과의 각도가 일치한다면 동작 비교부는 사용자가 정확한 동작으로 운동을 하고 있다고 판단할 수 있다. 그러나 각도가 일치하지 않는다면, 동작 비교부는 사용자가 정확하지 않은 동작으로 운동을 하고 있다고 판단할 수 있다. 따라서 피드백 제공부(600)는 사용자의 스켈레톤 데이터와 가상 트레이너의 스켈레톤 데이터가 일치하지 않는 부분에 대한 피드백을 제공하여 사용자가 보다 정확한 동작으로 운동을 할 수 있도록 피드백을 제공할 수 있다. 피드백 제공부(600)가 피드백을 제공하는 구체적인 구성에 대해서는 후술하여 설명한다.
The feedback providing unit 600 may provide feedback on a part where the skeleton data of the user and the skeleton data of the virtual trainer do not match using the comparison result of the operation comparing unit 500. [ When the angles of the skeleton models are compared with the skeleton model of the virtual trainer in each skeleton of the skeleton model in the operation comparing unit 500, The part can judge that the user is exercising with correct motion. However, if the angles do not match, the motion comparison unit may determine that the user is exercising with an incorrect motion. Accordingly, the feedback unit 600 may provide feedback on a portion where the skeleton data of the user and the skeleton data of the virtual trainer do not coincide with each other, so that the user can provide feedback so that the user can exercise with more accurate motion. The specific configuration in which the feedback providing unit 600 provides feedback will be described later.

도 4는 본 발명의 일 실시예에 따른 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템의 출력부(800)에서 출력되는 가상 사용자 모델을 도시한 도면이다. 도 4에 도시된 바와 같이, 모델 제어부(700)는, 스켈레톤 데이터 추출부(400)에서 추출한 사용자의 스켈레톤 데이터를 그래픽 이미지로 구현한 가상 사용자 모델을 생성하여 제어할 수 있다. 모델 제어부(700)는, 그래픽 이미지로 구현한 가상 사용자 모델을 렌더링하고 후술하는 출력부(800)에 제공함으로써, 출력부(800)에서 출력되는 증강현실에 가상 사용자 모델이 출력될 수 있다. 이때, 도 4를 참조하면, 가상 사용자 모델은, 실루엣 상에 스켈레톤 모델이 중첩되어 표현될 수 있다. 후술하는 바와 같이, 피드백 제공부(600)에서 제공하는 피드백은 스켈레톤 모델 상에서 표현되므로, 증강현실에서 스켈레톤 모델이 표현될 필요가 있다. 따라서 모델 제어부(700)는, 가상 사용자 모델을 텍스처가 입혀진 그래픽 이미지로 렌더링하는 것이 아니라, 가상 사용자 모델을 실루엣으로 표현하고, 그 내부에 스켈레톤 모델을 중첩한 그래픽 이미지로 표현할 수 있다.
4 is a diagram illustrating a virtual user model output from the output unit 800 of the fitness coaching system using the personalized augmented reality technique according to an embodiment of the present invention. As shown in FIG. 4, the model control unit 700 can generate and control a virtual user model in which the skeleton data extracted by the skeleton data extraction unit 400 is implemented as a graphic image. The model control unit 700 may render a virtual user model implemented in the graphic image and provide the virtual user model to the output unit 800 to be described later so that the virtual user model may be output to the augmented reality output from the output unit 800. [ Referring to FIG. 4, the virtual user model may be represented by superimposing a skeleton model on a silhouette. As described later, since the feedback provided by the feedback unit 600 is expressed on the skeleton model, the skeleton model needs to be expressed in the augmented reality. Therefore, the model control unit 700 can render the virtual user model as a silhouette, and render the virtual user model as a graphic image in which the skeleton model is superimposed, instead of rendering the virtual user model as a graphic image on which a texture is embedded.

출력부(800)는 모델 제어부(700)에서 생성한 가상 사용자 모델을 포함하는 증강현실을 출력할 수 있다. 이때, 모델 제어부(700)는, 동작 감지부(300)에서 감지한 사용자의 운동 동작을 실시간으로 반영하여 가상 사용자 모델을 제어할 수 있다. 따라서 출력부(800)는 동작 감지부(300)에서 감지한 사용자의 운동 동작을 실시간으로 반영한 증강현실을 출력할 수 있다. 본 발명의 일 실시예에 따른 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템에서는, 사용자의 운동 동작을 실시간으로 감지하고, 이를 그래픽 이미지로 구현하여 증강현실 내에 출력할 수 있다. 따라서 사용자는 출력부(800)에서 출력되는 가상 사용자 모델을 보면서 자신의 운동 동작을 실시간으로 확인할 수 있다.
The output unit 800 may output the augmented reality including the virtual user model generated by the model control unit 700. [ At this time, the model control unit 700 can control the virtual user model by reflecting the motion of the user sensed by the motion sensing unit 300 in real time. Accordingly, the output unit 800 can output the augmented reality that reflects the motion of the user sensed by the motion sensing unit 300 in real time. In the fitness coaching system using the personalized augmented reality technique according to an embodiment of the present invention, the motion of the user can be detected in real time, and can be output as a graphic image to the augmented reality. Accordingly, the user can check his / her movement motion in real time while viewing the virtual user model output from the output unit 800. [

본 발명의 일 실시예에 따른 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템에서 출력부(800)는, 운동 동작 중 엎드리거나 누운 동작을 할 때, 가상 사용자 모델과 가상 트레이너를 한 화면에 담기 위하여 가로형으로 제작될 수 있다. 다만, 전술한 형태로 한정되는 것은 아니다.
In the fitness coaching system using the personalized augmented reality technique according to an exemplary embodiment of the present invention, the output unit 800 may include a virtual user model and a virtual trainer in a horizontal form Can be produced. However, the present invention is not limited thereto.

도 5는 본 발명의 일 실시예에 따른 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템의 출력부에서 (a) 피드백이 각도, 색 중 적어도 하나로 제공되는 모습과 (b) 피드백이 텍스트 형식으로 제공되는 모습을 도시한 도면이다. 출력부(800)는, 피드백 제공부(600)에서 제공하는 피드백을 가상 사용자 모델에 합성하여 출력할 수 있다. 이때, 도 5의 (a)에 도시된 바와 같이, 피드백 제공부(600)는 스켈레톤 모델 상에 표현되는 각도 및 색 중 적어도 어느 하나를 이용하여 피드백을 제공할 수 있다. 본 발명의 일 실시예에 따른 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템은, 스켈레톤 모델을 이용하여 각각의 뼈대에서 가상 트레이너의 스켈레톤 모델과의 각도 차이를 비교하므로, 각도에 대한 피드백을 제공할 수 있다. 따라서 피드백 제공부(600)는, 사용자의 스켈레톤 모델을 기준으로 가상 트레이너의 스켈레톤 모델과 일치하지 않는 부분에 대한 각도를 제공할 수 있다. 그러면 출력부(800)는 피드백 제공부(600)에서 제공한 각도를 가상 사용자 모델에 합성하여 출력할 수 있다.
FIG. 5 is a diagram illustrating the output of the fitness coaching system using the personalized augmented reality technique according to an exemplary embodiment of the present invention. Referring to FIG. 5, (a) shows how feedback is provided in at least one of angles and colors, Fig. The output unit 800 may combine the feedback provided by the feedback unit 600 with the virtual user model and output the result. At this time, as shown in FIG. 5A, the feedback providing unit 600 may provide feedback using at least one of the angle and the color expressed on the skeleton model. The fitness coaching system using the personalized augmented reality technique according to an embodiment of the present invention can provide feedback on angles by comparing the angular difference with the skeleton model of the virtual trainer in each skeleton using the skeleton model . Accordingly, the feedback providing unit 600 may provide an angle with respect to a portion of the virtual trainer that does not match the skeleton model based on the user's skeleton model. Then, the output unit 800 may synthesize the angle provided by the feedback unit 600 with the virtual user model and output the synthesized angle.

또한, 피드백 제공부(600)는 스켈레톤 모델 상에 표현되는 색으로 피드백을 제공할 수 있다. 스켈레톤 모델 상에서 피드백이 각도로 제공되는 경우, 사용자가 각도를 한 눈에 확인하기 어려울 수도 있다. 따라서 피드백 제공부(600)는 스켈레톤 모델을 표현하는 색과 다른 색을 이용하여 보다 직관적인 피드백을 제공할 수 있다. 즉 피드백 제공부(600)는 사용자의 스켈레톤 모델을 기준으로 가상 트레이너의 스켈레톤 모델과 일치하지 않는 부분을 다른 색으로 표현하여 피드백을 제공할 수 있다. 그러면 출력부(800)는 피드백 제공부(600)에서 제공한 색을 가상 사용자 모델에 합성하여 출력할 수 있다.
In addition, the feedback providing unit 600 may provide feedback to colors represented on the skeleton model. If feedback is provided at an angle on the skeleton model, it may be difficult for the user to see the angle at a glance. Accordingly, the feedback unit 600 may provide more intuitive feedback using a color different from the color representing the skeleton model. That is, the feedback providing unit 600 may provide feedback by expressing a portion of the virtual trainer that does not match the skeleton model of the user with a different color, based on the user's skeleton model. Then, the output unit 800 may synthesize the color provided by the feedback unit 600 with the virtual user model and output the synthesized color.

피드백 제공부(600)는, 각도 및 색 모두를 이용하여 피드백을 제공할 수 있다. 도 5의 (a)에 도시된 바와 같이, 피드백 제공부(600)가 스켈레톤 모델 상에서 각도를 다른 색으로 표현하여 피드백을 제공한다면, 사용자가 보다 쉽게 가상 트레이너의 스켈레톤 모델과 일치하지 않는 부분이 어디인지 확인할 수 있다. 증간현실 내에 표현되는 가상 사용자 모델에서 왼쪽 어깨 및 왼쪽 다리에 대한 각도가 표현되고 있으므로, 사용자는 현재 왼쪽 어깨 및 왼쪽 다리에 대한 운동 동작이 가상 트레이너의 스켈레톤 모델과 일치하지 않음을 확인할 수 있다. 따라서 사용자는 출력부(800)를 통해 피드백 제공부(600)에서 제공한 피드백을 확인하고, 왼쪽 어깨 및 왼쪽 다리에 대한 운동 동작을 보다 정확하게 교정할 수 있다.
The feedback providing unit 600 may provide feedback using both angle and color. As shown in FIG. 5 (a), if the feedback providing unit 600 provides feedback by expressing angles in different colors on the skeleton model, it is easier for the user to select the part that does not match the skeleton model of the virtual trainer . Since the angles of the left shoulder and the left leg are expressed in the virtual user model represented in the incremental reality, the user can confirm that the movement motion for the left shoulder and the left leg does not coincide with the skeleton model of the virtual trainer. Accordingly, the user can check the feedback provided by the feedback unit 600 through the output unit 800, and correct the motion of the left shoulder and the left leg more accurately.

도 5의 (b)에 도시된 바와 같이, 피드백 제공부(600)는, 스켈레톤 모델 상에 표현되는 텍스트를 이용하여 피드백을 제공할 수 있다. 실시예에 따라서는, 피드백 제공부(600)는, 텍스트를 이용하여 사용자에게 피드백을 제공할 수 있다. 즉 피드백 제공부(600)는 사용자의 스켈레톤 모델을 기준으로 가상 트레이너의 스켈레톤 모델과 일치하지 않는 부분에 텍스트를 표현하여 피드백을 제공할 수 있다. 그러면 출력부(800)는 피드백 제공부(600)에서 제공한 텍스트를 가상 사용자 모델에 합성하여 출력할 수 있다.
As shown in FIG. 5 (b), the feedback providing unit 600 may provide feedback using the text represented on the skeleton model. Depending on the embodiment, the feedback unit 600 may provide feedback to the user using text. In other words, the feedback providing unit 600 may provide feedback by expressing text on a portion of the user's skeleton model that is inconsistent with the skeleton model of the virtual trainer on the basis of the user's skeleton model. Then, the output unit 800 may synthesize the text provided by the feedback unit 600 with the virtual user model and output the synthesized text.

도 5의 (b)를 참조하면, 증강현실 내에 표현되는 가상 사용자 모델에서 왼쪽 어깨에 ‘WRONG’이라는 텍스트가 표현되고 있으므로, 사용자는 현재 왼쪽 어깨에 대한 운동 동작이 가상 트레이너 모델과 일치하지 않음을 확인할 수 있다. 따라서 사용자는 출력부(800)를 통해 피드백 제공부(600)에서 제공한 피드백을 확인하고, 왼쪽 어깨에 대한 운동 동작을 정확하게 교정할 수 있다.
Referring to FIG. 5B, since the text 'WRONG' is displayed on the left shoulder in the virtual user model represented in the augmented reality, the user can see that the motion of the current left shoulder does not coincide with the virtual trainer model Can be confirmed. Accordingly, the user can check the feedback provided by the feedback unit 600 through the output unit 800, and accurately correct the motion of the left shoulder.

도 6은 본 발명의 일 실시예에 따른 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템의 출력부에서 출력되는 영상을 도시한 도면이다. 도 6에 도시된 바와 같이, 모델 제어부(700)는 가상 트레이너의 스켈레톤 데이터를 이용하여 그래픽 이미지로 구현한 가상 트레이너 모델을 생성하여 제어할 수 있다. 모델 제어부(700)는 그래픽 이미지로 구현한 가상 트레이너 모델을 렌더링하고 출력부(800)에 제공함으로써, 출력부(800)에서 출력되는 증강현실에 가상 사용자 모델 및 가상 트레이너 모델이 함께 출력될 수 있다. 따라서 사용자는 증간현실을 통해 가상 트레이너 모델과 함께 운동하는 것처럼 느낄 수 있으며, 가상 트레이너 모델의 운동 동작을 따라하며 보다 쉽게 운동을 할 수 있다. 동시에, 출력부(800)를 통해 가상 트레이너 모델과 일치하지 않는 부분에 대한 피드백이 제공되므로, 사용자는 가상 트레이너 모델과 함께 운동하는 동안에도 실시간으로 운동 동작을 교정할 수 있다.
FIG. 6 is a diagram illustrating an image output from the output unit of the fitness coaching system using the personalized augmented reality technique according to an exemplary embodiment of the present invention. Referring to FIG. As shown in FIG. 6, the model control unit 700 can generate and control a virtual trainer model implemented as a graphic image using skeleton data of a virtual trainer. The model control unit 700 may render the virtual user model and the virtual trainer model together with the augmented reality output from the output unit 800 by rendering the virtual trainer model implemented by the graphic image and providing the virtual trainer model to the output unit 800 . Therefore, users can feel as if they are exercising with the virtual trainer model through incremental reality, and can easily exercise by following the motion of the virtual trainer model. At the same time, feedback is provided to the portion that does not coincide with the virtual trainer model through the output unit 800, so that the user can calibrate the movement motion in real time while exercising with the virtual trainer model.

한편, 실시예에 따라서는, 가상 트레이너 모델은, 가상 사용자 모델과 달리 실루엣으로 표현될 필요가 없으므로, 인기 피트니스 전문가 모델을 형상화한 캐릭터로 표현될 수도 있다.
On the other hand, according to the embodiment, since the virtual trainer model does not need to be represented as a silhouette unlike the virtual user model, it may be expressed as a character that shapes the popular fitness expert model.

전술한 바와 같이, 본 발명에서 제안하고 있는 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템에 따르면, 증강현실 기술을 이용하여 사용자 피드백 시스템을 개선함으로써, 사용자가 가상 트레이너의 운동 동작을 따라하며 정확한 자세로 운동을 할 수 있고, 사용자가 자신의 틀린 동작을 직관적으로 알 수 있도록 사용자의 실루엣에 스켈레톤을 영상 접합하여 가상 트레이너와의 동작 불일치 여부가 표시될 수 있다. 또한, 본 발명에서 제안하고 있는 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템에 따르면, 사용자의 모션 영상에 실시간으로 피드백을 제공함으로써, 사용자가 운동을 하고 있는 동안에도 실시간으로 피드백을 제공할 수 있고, 증강현실에 표현되는 영상 정보를 이용하여 사용자가 운동 동작을 스스로 교정할 수 있도록 지원할 수 있다.
As described above, according to the fitness coaching system using the personalized augmented reality technique proposed in the present invention, by improving the user feedback system using the augmented reality technique, the user follows the exercise of the virtual trainer, And a skeleton may be image-joined to the silhouette of the user so that the user can intuitively know the wrong operation of the user, so that the operation inconsistency with the virtual trainer can be displayed. Also, according to the fitness coaching system using the personalized augmented reality technique proposed in the present invention, it is possible to provide feedback in real time while the user is exercising by providing feedback to the user's motion image in real time, It is possible to support the user to calibrate the exercise motion by using the image information expressed in reality.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention may be embodied in many other specific forms without departing from the spirit or essential characteristics of the invention.

10: 본 발명의 일실시예에 따른 사용자에게 피트니스를 제공하는 시스템
100: 사용자 디바이스부
200: 서비스 제공 서버부
210: 수신모듈
220: 데이터베이스 모듈
230: 활동량 분석 모듈
240: 피트니스 코스 제안 모듈
250: 피트니스 강도 조절 모듈
260: 목표 설정 모듈
270: 식사정보 모듈
300: 동작 감지부
400: 스켈레톤 데이터 추출부
500: 동작 비교부
600: 피드백 제공부
700: 모델 제어부
800: 출력부10: A system for providing fitness to a user according to an embodiment of the present invention
100:
200: service providing server unit
210: receiving module
220: Database module
230: activity analysis module
240: Fitness Course Proposal Module
250: fitness intensity control module
260: Goal Setting Module
270: Meal information module
300:
400: skeleton data extracting unit
500:
600: Feedback Offering
700: Model control unit
800: Output section

Claims (8)

사용자에게 피트니스 코칭을 제공하는 시스템에 있어서,
사용자의 신체 정보 및 활동량 데이터를 수집하는 사용자 디바이스부;
상기 사용자 디바이스부로부터 수집된 상기 신체 정보 및 활동량 데이터를 이용하여 사용자에게 맞춤형 피트니스 코스를 제공하는 서비스 제공 서버부;
모션 인식 카메라 모듈을 통해 사용자의 운동 동작을 감지하는 동작 감지부;
상기 동작 감지부에서 감지한 상기 사용자의 운동 동작으로부터 사용자의 스켈레톤 데이터를 추출하는 스켈레톤 데이터 추출부;
상기 스켈레톤 데이터 추출부에서 추출한 상기 사용자의 스켈레톤 데이터를 가상 트레이너의 스켈레톤 데이터와 비교하는 동작 비교부;
상기 동작 비교부에서 비교한 결과를 이용하여, 상기 사용자의 스켈레톤 데이터와 상기 가상 트레이너의 스켈레톤 데이터가 일치하지 않는 부분에 대한 피드백을 제공하는 피드백 제공부;
상기 스켈레톤 데이터 추출부에서 추출한 상기 사용자의 스켈레톤 데이터를 그래픽 이미지로 구현한 가상 사용자 모델을 생성하여 제어하는 모델 제어부; 및
상기 모델 제어부에서 생성한 가상 사용자 모델을 포함하는 증강현실을 출력하고, 상기 피드백 제공부에서 제공하는 피드백을 상기 가상 사용자 모델에 합성하여 출력하는 출력부를 포함하되,
상기 서비스 제공 서버부는,
상기 사용자 디바이스부로부터 상기 사용자의 신체 정보 및 활동량 데이터를 수신하는 수신 모듈;
상기 수신 모듈이 수신한 상기 사용자의 신체 정보 및 활동량 데이터를 저장하는 데이터베이스 모듈;
상기 데이터베이스 모듈에 저장된 상기 사용자의 신체 정보 및 활동량 데이터를 분석하여 활동량 변화를 분석하는 활동량 분석 모듈;
상기 활동량 분석 모듈에서 분석된 활동량 변화에 따라 피트니스 코스를 제안하는 피트니스 코스 제안 모듈;
상기 피트니스 코스 제안 모듈에서 제안된 피트니스 코스에서 상기 활동량 분석 모듈에서 분석된 활동량 변화에 따라 피트니스의 강도를 조절하는 피트니스 강도 조절 모듈;
상기 사용자 디바이스부로부터 운동 목표와 운동 시간을 입력받는 목표 설정 모듈; 및
상기 사용자 디바이스부로부터 사용자의 식사 정보를 입력받아 섭취한 칼로리를 계산하는 식사 정보 모듈을 포함하고,
상기 서비스 제공 서버부는,
상기 식사 정보 모듈에서 계산된 칼로리를 반영하여 상기 목표 설정 모듈에 입력된 운동 목표와 운동 시간에 따라 운동 스케줄을 예약하고,
상기 스켈레톤 데이터 추출부는,
상기 동작 감지부에서 감지한 상기 사용자의 운동 동작으로부터 골격을 기반으로 20개의 관절과 19개의 뼈로 구성되는 사용자 스켈레톤 데이터를 추출하고,
상기 동작 비교부는,
상기 스켈레톤 데이터 추출부에서 추출한 사용자의 스켈레톤 데이터를 이용하여 가상 사용자 모델과 가상 트레이너의 운동 동작에서 각각의 뼈대와의 각도를 비교하며,
상기 피드백 제공부는,
상기 가상 사용자 모델의 실루엣 상에 상기 사용자의 스켈레톤을 영상 접합하여 가상 트레이너와 동작 불일치 부위에 대한 피드백을 제공하되,
상기 피드백 제공부는,
스켈레톤 모델 상에 표현되는 각도, 색 및 텍스트 중 적어도 어느 하나를 이용하여 사용자에게 피드백을 제공하는 것을 특징으로 하는, 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템.
A system for providing fitness coaching to a user,
A user device for collecting user's body information and activity data;
A service providing server unit for providing a customized fitness course to a user using the body information and activity amount data collected from the user device unit;
An operation sensing unit for sensing a movement motion of the user through the motion recognition camera module;
A skeleton data extracting unit for extracting a skeleton data of a user from the motion of the user sensed by the motion sensing unit;
An operation comparator comparing the skeleton data of the user extracted by the skeleton data extraction unit with skeleton data of a virtual trainer;
A feedback providing unit for providing feedback on a portion where the skeleton data of the user and the skeleton data of the virtual trainer do not match using the comparison result of the operation comparing unit;
A model control unit for generating and controlling a virtual user model in which the skeleton data extracted by the skeleton data extraction unit is implemented as a graphic image; And
And an output unit for outputting the augmented reality including the virtual user model generated by the model control unit and combining the feedback provided by the feedback providing unit with the virtual user model,
The service providing server unit,
A receiving module for receiving the user's body information and activity data from the user device;
A database module for storing body information and activity data of the user received by the receiving module;
An activity analyzing module for analyzing the user's body information and activity amount data stored in the database module and analyzing the activity amount change;
A fitness course proposal module for suggesting a fitness course according to the change in activity amount analyzed by the activity amount analysis module;
A fitness intensity adjusting module for adjusting the fitness of the fitness according to the change in activity amount analyzed in the activity intensity analyzing module in the fitness course proposed in the fitness course suggesting module;
A target setting module that receives a motion target and a motion time from the user device; And
And a meal information module for calculating calories consumed by receiving user's meal information from the user device unit,
The service providing server unit,
A calorie calculation module for calibrating an exercise schedule based on the exercise goal and the exercise time input to the target setting module,
Wherein the skeleton data extracting unit
Extracting user skeleton data composed of 20 joints and 19 bones based on the skeleton from the motion of the user sensed by the motion sensing unit,
Wherein,
A skeleton data extraction unit for skeletonizing skeleton data of the virtual user model and the virtual trainer using the skeleton data of the user extracted by the skeleton data extraction unit,
The feedback providing unit,
Providing a feedback on the operation discrepancy region with the virtual trainer by image-joining the user's skeleton on the silhouette of the virtual user model,
The feedback providing unit,
A fitness coaching system using personalized augmented reality technology, wherein feedback is provided to a user using at least one of an angle, color, and text represented on a skeleton model.
삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 제1항에 있어서, 상기 모델 제어부는,
상기 가상 트레이너의 스켈레톤 데이터를 이용하여 그래픽 이미지로 구현한 가상 트레이너 모델을 생성하여 제어하고, 상기 동작 감지부에서 감지한 상기 사용자의 운동 동작을 실시간으로 반영하여 상기 가상 사용자 모델을 제어하는 것을 특징으로 하는, 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템.The image processing apparatus according to claim 1,
A virtual trainer model implemented as a graphic image is generated and controlled using skeleton data of the virtual trainer and the virtual user model is controlled by reflecting the motion of the user sensed by the motion sensing unit in real time A fitness coaching system using personalized augmented reality technology.
KR1020180042426A 2018-04-11 2018-04-11 Fitness coaching system using personalized augmented reality technology KR101970687B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180042426A KR101970687B1 (en) 2018-04-11 2018-04-11 Fitness coaching system using personalized augmented reality technology

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180042426A KR101970687B1 (en) 2018-04-11 2018-04-11 Fitness coaching system using personalized augmented reality technology

Publications (1)

Publication Number Publication Date
KR101970687B1 true KR101970687B1 (en) 2019-04-19

Family

ID=66283578

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180042426A KR101970687B1 (en) 2018-04-11 2018-04-11 Fitness coaching system using personalized augmented reality technology

Country Status (1)

Country Link
KR (1) KR101970687B1 (en)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102120828B1 (en) * 2019-05-01 2020-06-09 이영규 Apparatus for monitoring health based on virtual reality using Artificial Intelligence and method thereof
KR102173335B1 (en) * 2019-12-30 2020-11-03 주식회사 그림에스앤씨 A method and an apparatus for analyzing personal physical ability based on motion recognition
CN111916178A (en) * 2019-05-09 2020-11-10 宁波睿特菲体育科技有限公司 Fitness management method and fitness management system
JP2020195648A (en) * 2019-06-04 2020-12-10 Kddi株式会社 Operation degree-of-similarity evaluation device, method, and program
JP2020199049A (en) * 2019-06-10 2020-12-17 Kddi株式会社 Coaching application construction device, method and program
KR102196793B1 (en) 2020-09-10 2020-12-30 이영규 Non-face-to-face training system using artificial intelligence
CN112348942A (en) * 2020-09-18 2021-02-09 当趣网络科技(杭州)有限公司 Body-building interaction method and system
CN112364564A (en) * 2020-11-12 2021-02-12 浙大宁波理工学院 Human-in-loop intelligent training load curve optimization algorithm based on evaluation indexes
KR20210017462A (en) * 2019-08-08 2021-02-17 주식회사 엘지유플러스 Apparatus and method for measuring body motion similarity
KR20210053386A (en) * 2019-11-01 2021-05-12 광운대학교 산학협력단 Game Based Artificial Intelligence Fitness System and Method
CN113569743A (en) * 2021-07-29 2021-10-29 上海健指树健康管理有限公司 Fitness evaluation method and system based on limb recognition technology
KR102320960B1 (en) * 2021-05-03 2021-11-02 이다인 Personalized home training behavior guidance and correction system
KR102335192B1 (en) 2020-12-11 2021-12-06 에이치두(주) Method, device and system for providing interactive home coaching content
KR20220011845A (en) * 2020-07-21 2022-02-03 주식회사 글로벌제조혁신네트웍 healthcare management system and drive method of the Same
KR102358331B1 (en) * 2021-09-08 2022-02-08 아이디어링크 주식회사 Method and apparatus for assisting exercise posture correction using action muscle information according to movement
WO2022044399A1 (en) * 2020-08-27 2022-03-03 株式会社Ｊｖｃケンウッド Terminal device and support method for improving form
KR20220027621A (en) * 2020-08-27 2022-03-08 주식회사 맥케이 Apparatus and method for analyzing human body pose
KR20220037107A (en) * 2020-09-17 2022-03-24 주식회사 지누소프트 Method and apparatus of coaching home training service
KR102387730B1 (en) * 2020-11-10 2022-04-18 주식회사 조이펀 User Information Based on Interface automatic control system Using Projection Mapping
WO2022092589A1 (en) * 2020-10-27 2022-05-05 엘지전자 주식회사 Exercise coaching device based on artificial intelligence
KR20220068282A (en) 2020-11-18 2022-05-26 재단법인대구경북과학기술원 Intelligent virtual fitness system utilizing face recognition and motion recognition and operating method thereof
KR20220090961A (en) * 2020-12-23 2022-06-30 중앙대학교 산학협력단 Feedback providing device, physical activity feedback providing system and method using the same
KR102416925B1 (en) 2022-01-10 2022-07-05 김동욱 O2O Fitness online to offline marketing and the method using it
KR20220145194A (en) 2021-04-21 2022-10-28 백태규 Study bunker system based on media art and crowd effect and its studying method
KR20230056118A (en) * 2021-10-19 2023-04-27 주식회사 지니소프트 Exercise program recommendation system according to physical ability
WO2023096235A1 (en) * 2021-11-23 2023-06-01 (주) 로완 Method and apparatus for evaluating health condition by using skeleton model
KR20230108051A (en) * 2022-01-10 2023-07-18 주식회사 다윈테크 personal health care system
KR20230174507A (en) 2022-06-21 2023-12-28 주식회사 잇올 The study cafe system capable of online and off line learning management
CN117357100A (en) * 2023-10-17 2024-01-09 北京鑫视觉数字科技有限公司 Intelligent garment capable of detecting whole body dynamics in real time
CN117766098A (en) * 2024-02-21 2024-03-26 江苏森讯达智能科技有限公司 Body-building optimization training method and system based on virtual reality technology
KR20240104665A (en) 2022-12-28 2024-07-05 한국신체정보(주) Device for evaluating movement of user using matching between skeleton information and virtual objects and physical information of user
KR20240104664A (en) 2022-12-28 2024-07-05 한국신체정보(주) Device for evaluating movement of user using matching between skeleton information and virtual objects
KR102691115B1 (en) * 2023-10-24 2024-08-05 김현 System for providing human body skeleton coordinae and joint based artificial intelligence personal trainer service

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010018462A (en) * 1999-08-19 2001-03-05 이용진 Diet managing method using personal wireless portable communication device
KR20120017320A (en) * 2010-08-18 2012-02-28 (주)성삼 Exercise system and method using augmented reality
KR20130099323A (en) * 2012-02-29 2013-09-06 디게이트 주식회사 Functional measurement and evaluation method for exercising health and rehabilitation based on natural interaction
KR20140148019A (en) * 2013-06-21 2014-12-31 최종석 The program providing exercise method using Agmented-Reality tecnology
KR20160093131A (en) * 2015-01-28 2016-08-08 한국전자통신연구원 Method and System for Motion Based Interactive Service
KR20170038722A (en) * 2015-09-30 2017-04-07 가부시키가이샤 리코 Information processing device and system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010018462A (en) * 1999-08-19 2001-03-05 이용진 Diet managing method using personal wireless portable communication device
KR20120017320A (en) * 2010-08-18 2012-02-28 (주)성삼 Exercise system and method using augmented reality
KR20130099323A (en) * 2012-02-29 2013-09-06 디게이트 주식회사 Functional measurement and evaluation method for exercising health and rehabilitation based on natural interaction
KR20140148019A (en) * 2013-06-21 2014-12-31 최종석 The program providing exercise method using Agmented-Reality tecnology
KR20160093131A (en) * 2015-01-28 2016-08-08 한국전자통신연구원 Method and System for Motion Based Interactive Service
KR20170038722A (en) * 2015-09-30 2017-04-07 가부시키가이샤 리코 Information processing device and system

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102120828B1 (en) * 2019-05-01 2020-06-09 이영규 Apparatus for monitoring health based on virtual reality using Artificial Intelligence and method thereof
CN111916178A (en) * 2019-05-09 2020-11-10 宁波睿特菲体育科技有限公司 Fitness management method and fitness management system
JP2020195648A (en) * 2019-06-04 2020-12-10 Kddi株式会社 Operation degree-of-similarity evaluation device, method, and program
JP2020199049A (en) * 2019-06-10 2020-12-17 Kddi株式会社 Coaching application construction device, method and program
KR20210017462A (en) * 2019-08-08 2021-02-17 주식회사 엘지유플러스 Apparatus and method for measuring body motion similarity
KR102292415B1 (en) * 2019-08-08 2021-08-24 주식회사 엘지유플러스 Apparatus and method for measuring body motion similarity
KR20210053386A (en) * 2019-11-01 2021-05-12 광운대학교 산학협력단 Game Based Artificial Intelligence Fitness System and Method
KR102296178B1 (en) * 2019-11-01 2021-08-31 광운대학교 산학협력단 Game Based Artificial Intelligence Fitness System and Method
KR102173335B1 (en) * 2019-12-30 2020-11-03 주식회사 그림에스앤씨 A method and an apparatus for analyzing personal physical ability based on motion recognition
KR102372945B1 (en) * 2020-07-21 2022-03-11 주식회사 글로벌제조혁신네트웍 healthcare management system and drive method of the Same
KR20220011845A (en) * 2020-07-21 2022-02-03 주식회사 글로벌제조혁신네트웍 healthcare management system and drive method of the Same
KR102412457B1 (en) * 2020-08-27 2022-06-23 주식회사 맥케이 Apparatus and method for analyzing human body pose
WO2022044399A1 (en) * 2020-08-27 2022-03-03 株式会社Ｊｖｃケンウッド Terminal device and support method for improving form
KR20220027621A (en) * 2020-08-27 2022-03-08 주식회사 맥케이 Apparatus and method for analyzing human body pose
KR102196793B1 (en) 2020-09-10 2020-12-30 이영규 Non-face-to-face training system using artificial intelligence
KR102472086B1 (en) * 2020-09-17 2022-11-30 주식회사 지누소프트 Method and apparatus of coaching home training service
KR20220037107A (en) * 2020-09-17 2022-03-24 주식회사 지누소프트 Method and apparatus of coaching home training service
CN112348942B (en) * 2020-09-18 2024-03-19 当趣网络科技(杭州)有限公司 Body-building interaction method and system
CN112348942A (en) * 2020-09-18 2021-02-09 当趣网络科技(杭州)有限公司 Body-building interaction method and system
WO2022092589A1 (en) * 2020-10-27 2022-05-05 엘지전자 주식회사 Exercise coaching device based on artificial intelligence
EP4238619A4 (en) * 2020-10-27 2024-08-28 Lg Electronics Inc Exercise coaching device based on artificial intelligence
KR102387730B1 (en) * 2020-11-10 2022-04-18 주식회사 조이펀 User Information Based on Interface automatic control system Using Projection Mapping
CN112364564A (en) * 2020-11-12 2021-02-12 浙大宁波理工学院 Human-in-loop intelligent training load curve optimization algorithm based on evaluation indexes
KR20220068282A (en) 2020-11-18 2022-05-26 재단법인대구경북과학기술원 Intelligent virtual fitness system utilizing face recognition and motion recognition and operating method thereof
KR102335192B1 (en) 2020-12-11 2021-12-06 에이치두(주) Method, device and system for providing interactive home coaching content
KR102544649B1 (en) * 2020-12-23 2023-06-16 중앙대학교 산학협력단 Feedback providing device, physical activity feedback providing system and method using the same
KR20220090961A (en) * 2020-12-23 2022-06-30 중앙대학교 산학협력단 Feedback providing device, physical activity feedback providing system and method using the same
KR20220145194A (en) 2021-04-21 2022-10-28 백태규 Study bunker system based on media art and crowd effect and its studying method
KR102320960B1 (en) * 2021-05-03 2021-11-02 이다인 Personalized home training behavior guidance and correction system
CN113569743A (en) * 2021-07-29 2021-10-29 上海健指树健康管理有限公司 Fitness evaluation method and system based on limb recognition technology
KR102358331B1 (en) * 2021-09-08 2022-02-08 아이디어링크 주식회사 Method and apparatus for assisting exercise posture correction using action muscle information according to movement
KR102700604B1 (en) * 2021-10-19 2024-08-30 주식회사 지니소프트 Exercise program recommendation system according to physical ability
KR20230056118A (en) * 2021-10-19 2023-04-27 주식회사 지니소프트 Exercise program recommendation system according to physical ability
WO2023096235A1 (en) * 2021-11-23 2023-06-01 (주) 로완 Method and apparatus for evaluating health condition by using skeleton model
KR20230108051A (en) * 2022-01-10 2023-07-18 주식회사 다윈테크 personal health care system
KR102688617B1 (en) * 2022-01-10 2024-07-26 주식회사 다윈테크 personal health care system
KR102416925B1 (en) 2022-01-10 2022-07-05 김동욱 O2O Fitness online to offline marketing and the method using it
KR20230174507A (en) 2022-06-21 2023-12-28 주식회사 잇올 The study cafe system capable of online and off line learning management
KR20240104665A (en) 2022-12-28 2024-07-05 한국신체정보(주) Device for evaluating movement of user using matching between skeleton information and virtual objects and physical information of user
KR20240104664A (en) 2022-12-28 2024-07-05 한국신체정보(주) Device for evaluating movement of user using matching between skeleton information and virtual objects
CN117357100A (en) * 2023-10-17 2024-01-09 北京鑫视觉数字科技有限公司 Intelligent garment capable of detecting whole body dynamics in real time
CN117357100B (en) * 2023-10-17 2024-06-04 北京鑫视觉数字科技有限公司 Intelligent garment capable of detecting whole body dynamics in real time
KR102691115B1 (en) * 2023-10-24 2024-08-05 김현 System for providing human body skeleton coordinae and joint based artificial intelligence personal trainer service
CN117766098A (en) * 2024-02-21 2024-03-26 江苏森讯达智能科技有限公司 Body-building optimization training method and system based on virtual reality technology

Similar Documents

Publication Publication Date Title
KR101970687B1 (en) Fitness coaching system using personalized augmented reality technology
KR102700604B1 (en) Exercise program recommendation system according to physical ability
AU2022201300B2 (en) Augmented reality therapeutic movement display and gesture analyzer
US11037369B2 (en) Virtual or augmented reality rehabilitation
KR101931784B1 (en) Virtual fitness system for multi-user
KR101687252B1 (en) Management system and the method for customized personal training
KR101959079B1 (en) Method for measuring and evaluating body performance of user
KR101979750B1 (en) Dance training contents authoring system
CN103127691B (en) Video-generating device and method
KR101909693B1 (en) Fitness system providing virtual fitness trainer based on augmented reality
CN111228752B (en) Method for automatically configuring sensor, electronic device, and recording medium
WO2022034771A1 (en) Program, method, and information processing device
JP2012232103A (en) Apparatus for assisted performance of fitness exercise
CN110404243A (en) A kind of method of rehabilitation and rehabilitation system based on posture measurement
KR102556863B1 (en) User customized exercise method and system
JP6884306B1 (en) System, method, information processing device
JP2023168557A (en) Program, method, and information processing device
KR102051004B1 (en) Mixed reality based exercise system providing optimized sound
US20210307652A1 (en) Systems and devices for measuring, capturing, and modifying partial and full body kinematics
JP6741892B1 (en) Measuring system, method, program
CN113178241A (en) VR rehabilitation training system
WO2022230557A1 (en) Content generation device for generating content in accordance with exercise by user, and content generation method for generating content in accordance with exercise by user
JP6978811B1 (en) Training management system, training management method and training management program
WO2024159402A1 (en) An activity tracking apparatus and system
JPH1124548A (en) Acceleration simulation system

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant