KR102423421B1 - Method of mornitoring home training using three dimensional modeling and server performing the same - Google Patents
Method of mornitoring home training using three dimensional modeling and server performing the same Download PDFInfo
- Publication number
- KR102423421B1 KR102423421B1 KR1020200139482A KR20200139482A KR102423421B1 KR 102423421 B1 KR102423421 B1 KR 102423421B1 KR 1020200139482 A KR1020200139482 A KR 1020200139482A KR 20200139482 A KR20200139482 A KR 20200139482A KR 102423421 B1 KR102423421 B1 KR 102423421B1
- Authority
- KR
- South Korea
- Prior art keywords
- exercise posture
- athlete
- image data
- exercise
- pattern
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
- A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
- A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
- A63B2024/0012—Comparing movements or motion sequences with a registered reference
- A63B2024/0015—Comparing movements or motion sequences with computerised simulations of movements or motion sequences, e.g. for generating an ideal template as reference to be achieved by the user
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
- A63B2071/0636—3D visualisation
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/80—Special sensors, transducers or devices therefor
- A63B2220/806—Video cameras
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Physical Education & Sports Medicine (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명의 일 실시예에 따른 3차원 모델링을 통한 홈 트레이닝 모니터링 서버는 홈 트레이닝을 실행하는 운동자에 대한 데이터 중 영상 데이터를 기초로 생성된 3차원 영상 데이터를 수신하는 3차원 영상 데이터 수신부, 상기 영상 촬영 기기에 의해 촬영된 영상 데이터 중 음성 데이터를 수신하는 음성 데이터 수신부, 상기 3차원 영상 데이터 및 상기 음성 데이터를 분석하여 미리 결정된 운동 자세 별로 3차원 영상 데이터 및 음성 데이터를 분할한 후, 상기 분할된 3차원 영상 데이터 및 음성 데이터 각각에 서로 다른 운동 자세 태그를 할당하는 운동 자세 태그 할당부, 운동자 단말로부터 수신된 운동자 정보를 이용하여 상기 운동자 등급을 결정하는 운동자 등급 결정부, 운동자 등급 및 운동 자세 패턴 별로 표준 운동 자세 패턴이 대응되어 저장되어 있는 운동 자세 데이터베이스 및 상기 운동 자세 태그가 할당된 3차원 영상 데이터를 분석하여 운동 자세 패턴을 추출하고, 상기 운동 자세 데이터베이스에서 운동자 등급 및 상기 운동 자세 패턴에 해당하는 표준 운동 자세 패턴을 독출하고, 상기 운동 자세 패턴 및 표준 운동 자세 패턴을 비교하여 운동 자세 피드백 정보를 생성하는 운동 자세 피드백 정보 생성부를 포함한다.A home training monitoring server through three-dimensional modeling according to an embodiment of the present invention includes a three-dimensional image data receiving unit for receiving three-dimensional image data generated based on image data among data about an athlete performing home training, the image An audio data receiving unit for receiving audio data from among the image data captured by a photographing device, the three-dimensional image data and the audio data are analyzed to divide the three-dimensional image data and the audio data for each predetermined movement posture, and then the divided An exercise posture tag allocator for allocating different exercise posture tags to each of the three-dimensional image data and audio data, an exerciser rating determiner for determining the exerciser class using the exerciser information received from the exerciser terminal, the exerciser class and exercise posture pattern By analyzing the exercise posture database in which the standard exercise posture pattern is stored correspondingly and the three-dimensional image data to which the exercise posture tag is assigned, the exercise posture pattern is extracted, and the exercise posture database corresponds to the exerciser grade and the exercise posture pattern and an exercise posture feedback information generator configured to read a standard exercise posture pattern of
Description
본 발명은 3차원 모델링을 통한 홈 트레이닝 모니터링 방법 및 이를 실행하는 서버에 관한 것이다. 본 발명의 실시예를 따르면, 홈 트레이닝을 실행하는 사용자를 촬영한 영상 데이터에 3차원 포즈 추정 방법을 적용하여 3차원 영상 데이터를 생성할 수 있으며, 이를 통해 운동자의 개인 정보를 보호하면서 운동자의 운동 자세에 대한 피드백을 제공할 수 있도록 하는 3차원 모델링을 통한 홈 트레이닝 모니터링 방법 및 이를 실행하는 서버에 관한 것이다.The present invention relates to a method for monitoring home training through three-dimensional modeling and a server for executing the same. According to an embodiment of the present invention, three-dimensional image data can be generated by applying a three-dimensional pose estimation method to image data photographed by a user performing home training, and through this, exercise of an athlete while protecting personal information of the athlete It relates to a home training monitoring method through three-dimensional modeling that can provide feedback on posture, and to a server executing the same.
건강을 유지하기 위해 운동은 필수 요소로 알려져 있으며 이에 따라 현대인들의 건강 증진을 위한 피트니스 센터, 필라테스 학원, 요가원 등이 많이 생기고 있다.Exercise is known to be an essential element to maintain health, and accordingly, many fitness centers, pilates academies, and yoga centers are being created to promote the health of modern people.
그러나 바쁜 현대인들이 운동을 하기 위해 운동 시간이 정해져 있는 피트니스 센터 등을 꾸준히 가기 어려울 수 있다. 이러한 이유로 인해 집에서 하는 운동인 홈 트레이닝에 대한 관심이 증가하고 있는 추세이며, 유투브의 운동 컨텐츠나 홈 트레이닝 어플리케이션이 많이 증가하고 있다.However, it may be difficult for busy modern people to consistently go to a fitness center where exercise time is set to exercise. For this reason, interest in home training, which is an exercise at home, is increasing, and exercise contents or home training applications on YouTube are increasing.
그러나 기존의 홈 트레이닝을 위한 영상 콘텐츠나 어플리케이션의 경우, 운동 동작을 가르쳐주는 트레이너의 모습이나 아바타의 모습이 한 각도에서 보이는 모습을 제공하는 경우가 많다.However, in the case of existing video content or applications for home training, in many cases, the appearance of a trainer or an avatar teaching an exercise motion is provided from one angle.
따라서 운동자가 운동 동작을 따라 함에 있어 정확한 동작을 따라서 하기 힘들 수 있고, 운동자가 동작을 따라할 때 제대로 하고 있는지 판단하기 어렵다.Therefore, it may be difficult for the exerciser to follow the correct motion when imitating the motion, and it is difficult to determine whether the exerciser is doing it properly when imitating the motion.
또한, 홈 트레이닝의 단점은 운동자 혼자 진행하는 운동이기 때문에 쉽게 흥미가 사라질 수 있고 의지가 강하지 않은 사람들에게는 오래 지속하기 어려울 수 있다는 점이다.
한국공개특허 제10-2021-0120148호는 “운동자세 분석 시스템”에 관한 것으로 운동 자세를 분석하는 방법이 개시되어 있다.”하지만, 상기의 문제점을 해결하기 위한 방안이 개시되어 있지 않다.In addition, the disadvantage of home training is that because it is an exercise performed by an athlete alone, interest may easily disappear, and it may be difficult to sustain for a long time for people who do not have a strong will.
Korean Patent Application Laid-Open No. 10-2021-0120148 relates to a “exercise posture analysis system,” and a method for analyzing an exercise posture is disclosed.” However, a method for solving the above problems is not disclosed.
본 발명은 홈 트레이닝을 실행하는 운동자에 대한 영상 데이터에 3차원 포즈 추정 방법을 적용하여 3차원 영상 데이터를 생성하는 3차원 모델링을 통한 홈 트레이닝 모니터링 방법 및 이를 실행하는 서버를 제공하는 것을 목적으로 한다.An object of the present invention is to provide a home training monitoring method through three-dimensional modeling for generating three-dimensional image data by applying a three-dimensional pose estimation method to image data for an athlete performing home training, and a server for executing the same .
또한, 본 발명은 3차원 영상 데이터를 통해 운동자의 개인 정보를 보호하면서 운동자의 운동 자세에 대한 피드백을 제공할 수 있도록 하는 3차원 모델링을 통한 홈 트레이닝 모니터링 방법 및 이를 실행하는 서버를 제공하는 것을 목적으로 한다.In addition, an object of the present invention is to provide a home training monitoring method through 3D modeling that can provide feedback on the exercise posture of the exerciser while protecting the exerciser's personal information through 3D image data and a server executing the same do it with
또한, 본 발명은 시간적 및 공간적 제약 없이 운동자의 운동 자세의 분석 및 관찰이 가능하도록 하는 3차원 모델링을 통한 홈 트레이닝 모니터링 방법 및 이를 실행하는 서버를 제공하는 것을 목적으로 한다.In addition, an object of the present invention is to provide a home training monitoring method through three-dimensional modeling that enables analysis and observation of an exercise posture of an exerciser without temporal and spatial constraints, and a server executing the same.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention not mentioned may be understood by the following description, and will be more clearly understood by the examples of the present invention. It will also be readily apparent that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the appended claims.
이러한 목적을 달성하기 위한 3차원 모델링을 통한 홈 트레이닝 모니터링 서버는 홈 트레이닝을 실행하는 운동자에 대한 데이터 중 영상 데이터를 기초로 생성된 3차원 영상 데이터를 수신하는 3차원 영상 데이터 수신부, 상기 영상 촬영 기기에 의해 촬영된 영상 데이터 중 음성 데이터를 수신하는 음성 데이터 수신부, 상기 3차원 영상 데이터 및 상기 음성 데이터를 분석하여 미리 결정된 운동 자세 별로 3차원 영상 데이터 및 음성 데이터를 분할한 후, 상기 분할된 3차원 영상 데이터 및 음성 데이터 각각에 서로 다른 운동 자세 태그를 할당하는 운동 자세 태그 할당부, 운동자 단말로부터 수신된 운동자 정보를 이용하여 상기 운동자 등급을 결정하는 운동자 등급 결정부, 운동자 등급 및 운동 자세 패턴 별로 표준 운동 자세 패턴이 대응되어 저장되어 있는 운동 자세 데이터베이스 및 상기 운동 자세 태그가 할당된 3차원 영상 데이터를 분석하여 운동 자세 패턴을 추출하고, 상기 운동 자세 데이터베이스에서 운동자 등급 및 상기 운동 자세 패턴에 해당하는 표준 운동 자세 패턴을 독출하고, 상기 운동 자세 패턴 및 표준 운동 자세 패턴을 비교하여 운동 자세 피드백 정보를 생성하는 운동 자세 피드백 정보 생성부를 포함한다.The home training monitoring server through three-dimensional modeling for achieving this purpose includes a three-dimensional image data receiving unit that receives three-dimensional image data generated based on image data among data about an athlete performing home training, the image capturing device A voice data receiver for receiving voice data among the image data captured by An exercise posture tag allocator for allocating different exercise posture tags to each of the video data and audio data, an exerciser rating determiner for determining the exerciser class using the exerciser information received from the exerciser terminal, and a standard for each exerciser class and exercise posture pattern An exercise posture database in which the movement posture pattern is stored correspondingly and the three-dimensional image data to which the exercise posture tag is assigned are analyzed to extract an exercise posture pattern, and the exerciser grade and the standard corresponding to the exercise posture pattern from the exercise posture database and an exercise posture feedback information generating unit that reads the exercise posture pattern and generates exercise posture feedback information by comparing the exercise posture pattern with the standard exercise posture pattern.
또한, 이러한 목적을 달성하기 위한 3차원 모델링을 통한 홈 트레이닝 모니터링 서버에서 실행되는 3차원 모델링을 통한 홈 트레이닝 모니터링 방법은 홈 트레이닝을 실행하는 운동자에 대한 데이터 중 영상 데이터를 기초로 생성된 3차원 영상 데이터를 수신하는 단계, 상기 영상 촬영 기기에 의해 촬영된 영상 데이터 중 음성 데이터를 수신하는 단계, 상기 3차원 영상 데이터 및 상기 음성 데이터를 분석하여 미리 결정된 운동 자세 별로 3차원 영상 데이터 및 음성 데이터를 분할하는 단계, 상기 분할된 3차원 영상 데이터 및 음성 데이터 각각에 서로 다른 운동 자세 태그를 할당하는 단계, 상기 운동 자세 태그가 할당된 3차원 영상 데이터를 분석하여 운동 자세 패턴을 추출하는 단계, 운동자 등급 및 운동 자세 패턴 별로 표준 운동 자세 패턴이 대응되어 저장되어 있는 운동 자세 데이터베이스에서 운동자 등급 및 상기 운동 자세 패턴에 해당하는 표준 운동 자세 패턴을 독출하는 단계 및 상기 운동 자세 패턴 및 상기 표준 운동 자세 패턴을 비교하여 운동 자세 피드백 정보를 생성하여 운동자 단말에 제공하는 단계를 포함한다.In addition, the home training monitoring method through 3D modeling executed in the home training monitoring server through 3D modeling for achieving this purpose is a 3D image generated based on image data among data about an exerciser who executes home training. Receiving data, receiving audio data among the image data photographed by the image photographing device, analyzing the three-dimensional image data and the audio data, and dividing the three-dimensional image data and the audio data for each predetermined movement posture allocating different exercise posture tags to each of the divided three-dimensional image data and audio data, analyzing the three-dimensional image data to which the exercise posture tag is assigned and extracting an exercise posture pattern; Reading a standard exercise posture pattern corresponding to an athlete's grade and the exercise posture pattern from an exercise posture database in which a standard exercise posture pattern is stored corresponding to each exercise posture pattern, and comparing the exercise posture pattern and the standard exercise posture pattern and generating the exercise posture feedback information and providing it to the exerciser terminal.
전술한 바와 같은 본 발명에 의하면, 홈 트레이닝을 실행하는 운동자에 대한 영상 데이터에 3차원 포즈 추정 방법을 적용하여 3차원 영상 데이터를 생성한 후 이를 이용하여 운동자의 운동 자세를 관찰할 수 있다는 장점이 있다. According to the present invention as described above, the advantage of being able to observe the movement posture of the exerciser using the 3D image data generated by applying the 3D pose estimation method to the image data of the exerciser performing home training is have.
또한 본 발명에 의하면, 3차원 영상 데이터를 통해 운동자의 개인 정보를 보호하면서 운동자의 운동 자세에 대한 피드백을 제공할 수 있다는 장점이 있다.In addition, according to the present invention, there is an advantage in that it is possible to provide feedback on the exercise posture of the exerciser while protecting the exerciser's personal information through the 3D image data.
또한 본 발명에 의하면, 시간적 및 공간적 제약 없이 운동자의 운동 자세의 분석 및 관찰이 가능하다는 장점이 있다.In addition, according to the present invention, there is an advantage that it is possible to analyze and observe the movement posture of the exerciser without temporal and spatial restrictions.
도 1은 본 발명의 일 실시예에 따른 3차원 모델링을 통한 홈 트레이닝 제공 시스템을 설명하기 위한 네트워크 구성도이다.
도 2는 본 발명의 일 실시예에 따른 홈 트레이닝 모니터링 서버의 내부 구조를 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 홈 트레이닝 모니터링 방법의 일 실시예를 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 홈 트레이닝 모니터링 과정을 설명하기 위한 예시도이다.1 is a network configuration diagram illustrating a system for providing home training through three-dimensional modeling according to an embodiment of the present invention.
2 is a block diagram illustrating an internal structure of a home training monitoring server according to an embodiment of the present invention.
3 is a flowchart illustrating an embodiment of a home training monitoring method according to an embodiment of the present invention.
4 is an exemplary diagram for explaining a home training monitoring process according to an embodiment of the present invention.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.The above-described objects, features and advantages will be described below in detail with reference to the accompanying drawings, and accordingly, those skilled in the art to which the present invention pertains will be able to easily implement the technical idea of the present invention. In describing the present invention, if it is determined that a detailed description of a known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description will be omitted. Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to refer to the same or similar components.
도 1은 본 발명의 일 실시예에 따른 3차원 모델링을 통한 홈 트레이닝 제공 시스템을 설명하기 위한 네트워크 구성도이다.1 is a network configuration diagram illustrating a system for providing home training through three-dimensional modeling according to an embodiment of the present invention.
도 1을 참조하면, 3차원 모델링을 통한 홈 트레이닝 제공 시스템은 영상 촬영 기기(100), 3차원 모델링 장치(200), 홈 트레이닝 모니터링 서버(300), 트레이너 단말(400) 및 운동자 단말(500)을 포함한다. Referring to FIG. 1 , a system for providing home training through three-dimensional modeling includes an image capturing
영상 촬영 기기(100)는 홈 트레이닝을 실행하는 운동자를 포함하는 주변 환경을 촬영하여 데이터를 생성한다. 그 후, 영상 촬영 기기(100)는 데이터 중 영상 데이터를 3차원 모델링 장치(200)에 제공하고, 음성 데이터를 홈 트레이닝 모니터링 서버(300)에 제공한다. The
영상 촬영 기기(100)는 예를 들어, 모노(monocular) 카메라 또는 스테레오(stereo) 카메라일 수 있다. 따라서, 영상 촬영 기기(100)에 의해 촬영된 영상은 복수의 프레임들을 포함할 수 있다.The
3차원 모델링 장치(200)는 영상 촬영 기기(100)로부터 수신된 영상 데이터를 이용하여 3차원 포즈 추정 방법을 통해 3차원 영상 데이터를 생성하는 장치이다. The
먼저, 3차원 모델링 장치(200)는 영상 촬영 기기(100)에 의해 촬영된 영상 데이터로부터 적어도 하나의 영역(region)을 추출한다.First, the
예를 들어, 3차원 모델링 장치(200)는 영상의 픽셀 강도(light intensity)의 1차 미분 결과에 해당하는 그래디언트(gradient) 변화가 미리 설정된 기준을 초과하는 부분(예를 들어, 에지(edge))을 포함하는 적어도 하나의 영역을 검색하여 추출할 수 있다. 3차원 모델링 장치(200)는 필요에 따라 영상의 픽셀 강도에 대한 1차 미분 결과 및/또는 2차 미분 결과를 활용하여 에지를 검출할 수도 있다. For example, the
그런 다음, 3차원 모델링 장치(200)는 영상 촬영 기기(100)에 의해 촬영된 영상으로부터 추출된 2차원의 특징점들(feature points)에 기반하여 추적(tracking)된 영상 촬영 기기(100)의 포즈(pose) 정보를 수신한다. 이때, 영상 촬영 기기(100)의 포즈 정보는 예를 들어, 2차 영상 데이터에 대응되는 키 프레임(key frame) 및 제1 위치에서 제2 위치로의 영상 촬영 기기(100)의 이동에 따라 변화되는 포즈 변화량 중 적어도 하나를 포함할 수 있다. Then, the three-
여기서, “키 프레임”은 일반 프레임들 중 2차원 특징점이 추출되고, 두 프레임 사이에 특정 수 이상의 매칭이 되어 영상 간 상대적 위치를 결정할 수 있는 수준이 되는 두 프레임들에 해당한다.Here, the “key frame” corresponds to two frames in which two-dimensional feature points are extracted from among general frames, and a certain number or more is matched between the two frames to a level at which the relative positions between images can be determined.
예를 들어, 특징점의 위치 추출, 기술자(descriptor) 추출, 기술자를 이용한 특징점 매칭, 카메라의 포즈 계산 등에 많은 연산 시간이 소요된다. 따라서, 매 영상마다 해당 과정을 수행하기는 어려우므로 일 실시예에서는 키 프레임을 이용하여 상술한 과정을 수행할 수 있다.For example, it takes a lot of computation time to extract the position of the feature point, extract a descriptor, match the feature point using the descriptor, and calculate the pose of the camera. Accordingly, since it is difficult to perform the corresponding process for every image, in an embodiment, the above-described process may be performed using a key frame.
이때, 촬영된 영상 데이터로부터 추출된 2차원의 특징점들은 성긴(sparse) 특징점들에 해당하며, 카메라의 위치 및 영상의 장면에 대한 기하 정보를 산출하는 특징 기반의 VSLAM 방법에 의해 추출된 것일 수 있다. At this time, the two-dimensional feature points extracted from the photographed image data correspond to sparse feature points, and may be extracted by a feature-based VSLAM method for calculating geometric information about the camera position and the scene of the image. .
특징 기반의 VSLAM 방법은 추출된 영상 데이터의 특징점들에 기초하여 영상 데이터에 대응하는 프레임들 간의 6 자유도 이동 정보를 추적할 수 있다. 카메라의 포즈 정보는 예를 들어, 6 자유도 포즈 정보를 포함할 수 있다. The feature-based VSLAM method may track 6-DOF movement information between frames corresponding to the image data based on the extracted feature points of the image data. The pose information of the camera may include, for example, 6 degree of freedom pose information.
그 후, 3차원 모델링 장치(200)는 적어도 하나의 영역 및 영상 촬영 기기(100)의 포즈 정보에 기초하여 영상 데이터의 제1 깊이 정보를 추정(estimate)한다. Thereafter, the
예를 들어, 3차원 모델링 장치(200)는 영상 촬영 기기(100)의 포즈 정보를 기초로, 제1 위치에서 제2 위치로의 영상 촬영 기기(100)의 이동에 따라 영상에 대응되는 키 프레임을 새로운 키 프레임으로 교체(replace)할 지 또는 키 프레임을 재정의(refine)할 지 여부를 결정할 수 있다. 모델링 장치는 상기 결정에 기초하여, 새로운 키 프레임에 대한 깊이 정보 또는 재정의된 키 프레임에 대한 깊이 정보 중 어느 하나의 깊이 정보를 영상의 제1 깊이 정보로 추정할 수 있다.For example, the
3차원 모델링 장치(200)는 제1 깊이 정보에 기초하여 영상에 대응한 맵(map)의 모델링을 위한 3차원의 포인트 클라우드(point clouds)를 생성한다. 영상에 대응한 맵은 키 프레임들의 포즈 그래프(pose graph)에 의해 표현될 수 있다. 키 프레임들은 영상, 인버스 깊이 맵(inverse depth map), 및 인버스 깊이 맵의 분산(variance)에 의해 구성될 수 있다. 단안 SLAM(monocular SLAM)에서 깊이 불확실성(depth uncertainty)이 가우시안(Gaussian)에 의해 잘 모델링되지 않는다. The
이와 같은 이유로, 고전적인 X,Y,Z 표현을 대신하여 역 깊이(inverse depth)를 사용하여 미리 결정된 캐릭터 및 식별자(예를 들어, 운동자 식별자 등)를 맵핑하여 표현한다. “인버스 깊이 맵”은 이와 같이 역 깊이를 사용하여 특징을 맵핑한 맵에 해당할 수 있다.For this reason, a predetermined character and identifier (eg, an athlete identifier, etc.) are mapped and expressed using an inverse depth instead of the classic X, Y, and Z representation. The “inverse depth map” may correspond to a map in which features are mapped using inverse depth as described above.
또한, 인버스 깊이 맵 및 인버스 깊이 맵의 분산은 픽셀들의 서브 셋(sub set)에 대하여 정의될 수 있다. 인버스 깊이 맵 및 인버스 깊이 맵의 분산은 영상에서 픽셀 강도의 그래디언트(Gradient) 변화가 미리 설정된 기준을 초과하는 모든 영역들에 대응한 것일 수 있다.In addition, the variance of the inverse depth map and the inverse depth map may be defined for a subset of pixels. The inverse depth map and the variance of the inverse depth map may correspond to all regions in an image in which a gradient change of pixel intensity exceeds a preset criterion.
3차원의 포인트 클라우드는 예를 들어, 3차원 좌표를 가지고 있는 포인트들, 다시 말해 3차원 포인트들을 포함할 수 있으며, 포인트 클라우드 내의 3차원 포인트들은 불규칙하게 구성될 수 있다.The three-dimensional point cloud may include, for example, points having three-dimensional coordinates, that is, three-dimensional points, and the three-dimensional points in the point cloud may be irregularly configured.
홈 트레이닝 모니터링 서버(300)는 3차원 모델링 장치(200)로부터 수신된 3차원 영상 데이터를 이용하여 운동 자세 패턴을 추출하고, 미리 생성된 운동 자세 패턴 빅데이터를 기초로 운동 자세 패턴을 분석하여 운동 자세 피드백 정보를 생성하는 서버이다.The home
이를 위해, 홈 트레이닝 모니터링 서버(300)는 3차원 영상 데이터 및 음성 데이터 각각을 트레이너 단말(400)에 제공하고, 트레이너 단말(400)에 의한 운동 자세 피드백 정보를 수신하여 운동자 단말(500)에 제공한다.To this end, the home
먼저, 홈 트레이닝 모니터링 서버(300)는 운동자 단말(500)로부터 운동 종류 별 경험 정보 및 운동 자세 피드백 정보 생성부(360)에 의해 결정된 등급 업그레이드 정보를 기초로 운동자 등급을 결정한다. First, the home
일 실시예에서, 홈 트레이닝 모니터링 서버(300)는 운동자에 대한 미리 결정된 운동자 등급이 존재하지 않는 경우 운동자 단말(500)로부터 운동 종류 별 경험 정보를 기초로 운동자 등급을 결정한다. 즉, 홈 트레이닝 모니터링 서버(300)는 운동 종류 별 경험 연차에 따라 운동자 등급을 결정할 수 있다. In one embodiment, the home
다른 일 실시예에서, 홈 트레이닝 모니터링 서버(300)는 운동자에 대한 미리 결정된 운동자 등급이 존재하는 경우, 운동자의 홈 트레이닝 결과에 따라 생성된 등급 업그레이드 정보를 기초로 운동자 등급을 상향시킨다.In another embodiment, the home
또한, 홈 트레이닝 모니터링 서버(300)는 3차원 영상 데이터 및 음성 데이터 중 일부 영상 데이터 및 일부 음성 데이터 각각을 추출하여 트레이너 단말(400)에 제공한다. 이와 같은 이유는, 3차원 영상 데이터 및 음성 데이터 각각의 용량은 매우 크기 때문에 트레이너가 많은 양의 데이터를 전부 확인하기 어렵기 때문이다. In addition, the home
따라서, 홈 트레이닝 모니터링 서버(300)는 운동 자세 별로 3차원 영상 데이터 및 음성 데이터를 분할한 후 분할된 3차원 영상 데이터 및 음성 데이터를 트레이너 단말(400)에 제공하며, 추후에 트레이너 단말(400)로부터 수신된 운동 자세 피드백 정보가 빅데이터화된 경우 운동 자세 별로 3차원 영상 데이터 및 음성 데이터를 분할한 후 트레이너 단말(400)에 제공하지 않고 내부에서 분석하여 처리한다. Therefore, the home
먼저, 홈 트레이닝 모니터링 서버(300)는 운동 자세 별로 3차원 영상 데이터 및 음성 데이터를 분할한 후, 분할된 3차원 영상 데이터 및 음성 데이터 각각에 운동 자세 태그를 할당하여 트레이너 단말(400)에 제공한다.First, the home
이때, 운동 자세 태그는 운동의 종류에 따라 해당 운동에서 동작 가능한 동작의 이름으로 결정될 수 있다. 예를 들어, 운동의 종류가 요가인 경우 운동 자세 태그는 요가에서 동작 가능한 동작 이름으로 결정될 수 있다. In this case, the exercise posture tag may be determined as the name of a motion that can be operated in the corresponding exercise according to the type of exercise. For example, when the type of exercise is yoga, the exercise posture tag may be determined as an action name that can be operated in yoga.
일 실시예에서, 홈 트레이닝 모니터링 서버(300)는 음성 데이터를 분석하여 자세 변환을 지시하는 미리 결정된 단어가 추출되면, 음성 데이터 및 3차원 영상 데이터를 상기 미리 결정된 단어가 추출된 시점까지 분할한다.In one embodiment, the home
그런 다음, 홈 트레이닝 모니터링 서버(300)는 분할된 음성 데이터에서 미리 결정된 운동 자세를 지시하는 단어를 추출한 후, 음성 데이터 및 3차원 영상 데이터 각각에 운동 자세 태그를 할당하여 트레이너 단말(400)에 제공한다.Then, the home
예를 들어, 홈 트레이닝 모니터링 서버(300)는 음성 데이터를 분석하여 음성 데이터에 “다음 자세”, “이번 자세” 등과 같은 자세 변환을 지시하는 단어가 추출되면 음성 데이터 및 3차원 영상 데이터를 상기 미리 결정된 단어가 추출된 시점까지 분할한다. 그런 다음, 분할된 음성 데이터에서 미리 결정된 운동 자세를 지시하는 단어 “활 자세”를 추출한 후, 음성 데이터 및 3차원 영상 데이터 각각에 “활 자세 태그”를 할당한다. For example, the home
그 후, 홈 트레이닝 모니터링 서버(300)는 운동 자세 태그가 할당된 3차원 영상 데이터에서 운동 자세 패턴을 추출하고, 운동 자세 패턴 및 미리 결정된 운동 자세 패턴을 비교하여 일치하는지 여부에 따라 운동 자세 피드백 정보를 생성한다.After that, the home
일 실시예에서, 홈 트레이닝 모니터링 서버(300)는 운동 자세 데이터베이스에서 운동자 등급 및 상기 운동 자세 패턴에 해당하는 표준 운동 자세 패턴을 독출하고, 운동 자세 패턴 및 표준 운동 자세 패턴을 비교하여 운동 자세 피드백 정보를 생성한다.In one embodiment, the home
상기의 실시예에서, 홈 트레이닝 모니터링 서버(300)는 운동 자세 패턴 및 표준 운동 자세 패턴의 일치 비율을 산출하고, 일치 비율이 특정 비율 이상이면 상기 운동자 등급을 다음 등급으로 상향시키는 등급 업그레이드 정보를 생성함으로써 운동자 등급이 상향되도록 한다.In the above embodiment, the home
즉, 홈 트레이닝 모니터링 서버(300)는 운동 자세 패턴 및 표준 운동 자세 패턴을 비교하여 운동 자세를 실행하는 사용된 신체 부위 사이의 차이 각도를 산출한 후, 차이 각도에 따라 일치 비율을 산출할 수 있다. 예를 들어, 요가의 운동 자세 “아사나”의 경우, 운동 자세 패턴 및 표준 운동 자세 패턴을 비교하여 발꿈치의 차이 각도를 산출한 후 차이 각도에 따른 일치 비율을 산출할 수 있다. That is, the home
트레이너 단말(400)은 홈 트레이닝 모니터링 서버(300)로부터 수신된 3차원 영상 데이터 및 음성 데이터를 분석하고, 분석 결과 운동 자세 피드백 정보를 생성하여 홈 트레이닝 모니터링 서버(300)에 제공하는 사용자가 보유하는 단말이다. The
운동자 단말(500)은 홈 트레이닝을 실행하는 운동자가 보유하며, 홈 트레이닝 모니터링 서버(300)로부터 운동 자세 피드백 정보를 수신하는 단말이다. The
운동자 단말(500)은 운동자 등급을 결정하기 위한 운동 종류 별 경험 정보를 홈 트레이닝 모니터링 서버(300)에 제공하고, 홈 트레이닝 모니터링 서버(300)에 의해 결정된 운동자 등급에 따라 홈 트레이닝에 대한 운동 자세 피드백 정보를 수신할 수 있다. The
도 2는 본 발명의 일 실시예에 따른 홈 트레이닝 모니터링 서버의 내부 구조를 설명하기 위한 블록도이다.2 is a block diagram illustrating an internal structure of a home training monitoring server according to an embodiment of the present invention.
도 2를 참조하면, 홈 트레이닝 모니터링 서버(300)는 3차원 영상 데이터 수신부(310), 음성 데이터 수신부(320), 운동 자세 태그 할당부(330), 운동자 등급 결정부(340), 운동 자세 데이터베이스(350) 및 운동 자세 피드백 정보 생성부(360)를 포함한다. Referring to FIG. 2 , the home
3차원 영상 데이터 수신부(310)는 홈 트레이닝을 실행하는 운동자에 대한 데이터 중 영상 데이터를 기초로 생성된 3차원 영상 데이터를 수신한다. The 3D image
이때, 3차원 영상 데이터는 영상 촬영 기기(100)가 촬영된 홈 트레이닝을 실행하는 운동자의 영상 데이터를 기초로 생성된 영상이다. 상기의 3차원 영상 데이터는 영상 데이터 상의 운동자가 캐릭터를 통해 모델링되어 있는 영상이기 때문에, 운동자의 개인 정보를 보호하면서 운동자의 운동 자세를 관찰할 수 있는 것이다. In this case, the 3D image data is an image generated based on the image data of an athlete performing home training captured by the
음성 데이터 수신부(320)는 영상 촬영 기기(100)에 의해 촬영된 영상 데이터 중 음성 데이터를 수신한다. 예를 들어, 음성 데이터는 홈 트레이닝 제공 장치에서 제공되는 강사의 음성 및 홈 트레이닝 제공 장치에서 제공되는 영상에 따라 홈 트레이닝을 실행하는 운동자의 음성이 포함되어 있을 것이다. The
운동 자세 태그 할당부(330)는 3차원 영상 데이터 및 음성 데이터를 분석하여 운동 자세 별로 3차원 영상 데이터 및 음성 데이터를 분할한 후, 분할된 3차원 영상 데이터 및 음성 데이터 각각에 운동 자세 태그를 할당한다. The exercise
이때, 운동 자세 태그는 운동의 종류에 따라 해당 운동에서 동작 가능한 동작의 이름으로 결정될 수 있다. 예를 들어, 운동의 종류가 요가인 경우 운동 자세 태그는 요가에서 동작 가능한 동작 이름으로 결정될 수 있다. In this case, the exercise posture tag may be determined as the name of a motion that can be operated in the corresponding exercise according to the type of exercise. For example, when the type of exercise is yoga, the exercise posture tag may be determined as an action name that can be operated in yoga.
일 실시예에서, 운동 자세 태그 할당부(330)는 음성 데이터를 분석하여 자세 변환을 지시하는 미리 결정된 단어가 추출되면, 음성 데이터 및 3차원 영상 데이터를 상기 미리 결정된 단어가 추출된 시점까지 분할한다. In one embodiment, the exercise
그런 다음, 운동 자세 태그 할당부(330)는 분할된 음성 데이터에서 미리 결정된 운동 자세를 지시하는 단어를 추출한 후, 음성 데이터 및 3차원 영상 데이터 각각에 운동 자세 태그를 할당한다. Then, the exercise
예를 들어, 운동 자세 태그 할당부(330)는 음성 데이터를 분석하여 음성 데이터에 “다음 자세”, “이번 자세” 등과 같은 자세 변환을 지시하는 단어가 추출되면 음성 데이터 및 3차원 영상 데이터를 상기 미리 결정된 단어가 추출된 시점까지 분할한다. 그런 다음, 분할된 음성 데이터에서 미리 결정된 운동 자세를 지시하는 단어 “활 자세”를 추출한 후, 음성 데이터 및 3차원 영상 데이터 각각에 “활 자세 태그”를 할당한다. For example, the exercise
운동자 등급 결정부(340)는 운동자 단말(500)로부터 운동 종류 별 경험 정보 및 운동 자세 피드백 정보 생성부(360)에 의해 결정된 등급 업그레이드 정보를 기초로 운동자 등급을 결정한다. The exerciser
일 실시예에서, 운동자 등급 결정부(340)는 운동자에 대한 미리 결정된 운동자 등급이 존재하지 않는 경우 운동자 단말(500)로부터 운동 종류 별 경험 정보를 기초로 운동자 등급을 결정한다. 즉, 홈 트레이닝 모니터링 서버(300)는 운동 종류 별 경험 연차에 따라 운동자 등급을 결정할 수 있다. In one embodiment, the
다른 일 실시예에서, 운동자 등급 결정부(340)는 운동자에 대한 미리 결정된 운동자 등급이 존재하는 경우, 운동자의 홈 트레이닝 결과에 따라 생성된 등급 업그레이드 정보를 기초로 운동자 등급을 상향시킨다.In another embodiment, when there is a predetermined athlete grade for the athlete, the athlete
운동 자세 데이터베이스(350)에는 운동자 등급 및 운동 자세 패턴 별로 표준 운동 자세 패턴이 대응되어 저장되어 있다. 이와 같이, 운동자 등급 및 운동 자세 패턴 별로 표준 운동 자세 패턴이 저장되어 있는 이유는, 운동자 등급에 따라 운동자가 취할 수 있는 운동 자세의 정확도가 다르기 때문이다. In the
예를 들어, 요가의 운동 자세 “아사나”의 경우, 표준 운동 자세 패턴은 발꿈치가 바닥에 딛혀져 있어야 하지만 운동자 등급에 따라 발꿈치가 바닥에 딛혀지지 않을 수 있기 때문에, 운동자 등급 별로 발꿈치가 바닥에 딛혀지는 각도를 달리한 표준 운동 자세 패턴이 저장되어 있을 것이다. For example, in the case of yoga's exercise posture "asana", the standard exercise posture pattern requires the heel to be on the floor, but depending on the athlete's grade, the heel may not be on the floor. A standard exercise posture pattern with different falling angles will be stored.
운동 자세 피드백 정보 생성부(360)는 운동 자세 태그가 할당된 3차원 영상 데이터에서 운동 자세 패턴을 추출하고, 운동 자세 패턴 및 미리 결정된 운동 자세 패턴을 비교하여 일치하는지 여부에 따라 운동 자세 피드백 정보를 생성한다.The exercise posture feedback
일 실시예에서, 운동 자세 피드백 정보 생성부(360)는 운동 자세 데이터베이스에서 운동자 등급 및 상기 운동 자세 패턴에 해당하는 표준 운동 자세 패턴을 독출하고, 운동 자세 패턴 및 표준 운동 자세 패턴을 비교하여 운동 자세 피드백 정보를 생성한다.In an embodiment, the exercise posture feedback
상기의 실시예에서, 운동 자세 피드백 정보 생성부(360)는 운동 자세 패턴 및 표준 운동 자세 패턴의 일치 비율을 산출하고, 일치 비율이 특정 비율 이상이면 상기 운동자 등급을 다음 등급으로 상향시키는 등급 업그레이드 정보를 운동자 등급 결정부(340)에 제공한다. In the above embodiment, the exercise posture feedback
즉, 운동 자세 피드백 정보 생성부(360)는 운동 자세 패턴 및 표준 운동 자세 패턴을 비교하여 운동 자세를 실행하는 사용된 신체 부위 사이의 차이 각도를 산출한 후, 차이 각도에 따라 일치 비율을 산출할 수 있다. That is, the exercise posture feedback
예를 들어, 요가의 운동 자세 “아사나”의 경우, 운동 자세 패턴 및 표준 운동 자세 패턴을 비교하여 발꿈치의 차이 각도를 산출한 후 차이 각도에 따른 일치 비율을 산출할 수 있다. For example, in the case of yoga exercise posture “asana”, the difference angle of the heel can be calculated by comparing the exercise posture pattern and the standard exercise posture pattern, and then the agreement ratio according to the difference angle can be calculated.
도 3은 본 발명의 일 실시예에 따른 홈 트레이닝 모니터링 방법의 일 실시예를 설명하기 위한 흐름도이다.3 is a flowchart illustrating an embodiment of a home training monitoring method according to an embodiment of the present invention.
도 3을 참조하면, 홈 트레이닝 모니터링 서버(300)는 홈 트레이닝을 실행하는 운동자에 대한 데이터 중 영상 데이터를 기초로 생성된 3차원 영상 데이터를 수신한다(단계 S310).Referring to FIG. 3 , the home
홈 트레이닝 모니터링 서버(300)는 상기 영상 촬영 기기에 의해 촬영된 영상 데이터 중 음성 데이터를 수신한다(단계 S320).The home
홈 트레이닝 모니터링 서버(300)는 3차원 영상 데이터 및 상기 음성 데이터를 분석하여 미리 결정된 운동 자세 별로 3차원 영상 데이터 및 음성 데이터를 분할한다(단계 S330).The home
홈 트레이닝 모니터링 서버(300)는 분할된 3차원 영상 데이터 및 음성 데이터 각각에 서로 다른 운동 자세 태그를 할당한다(단계 S340).The home
홈 트레이닝 모니터링 서버(300)는 운동 자세 태그가 할당된 3차원 영상 데이터를 분석하여 운동 자세 패턴을 추출한다(단계 S350).The home
홈 트레이닝 모니터링 서버(300)는 운동자 등급 및 운동 자세 패턴 별로 표준 운동 자세 패턴이 대응되어 저장되어 있는 운동 자세 데이터베이스에서 운동자 등급 및 상기 운동 자세 패턴에 해당하는 표준 운동 자세 패턴을 독출한다(단계 S350).The home
홈 트레이닝 모니터링 서버(300)는 운동 자세 패턴 및 상기 표준 운동 자세 패턴을 비교하여 운동 자세 피드백 정보를 생성하여 운동자 단말에 제공한다(단계 S360).The home
도 4는 본 발명의 일 실시예에 따른 홈 트레이닝 모니터링 과정을 설명하기 위한 예시도이다.4 is an exemplary diagram for explaining a home training monitoring process according to an embodiment of the present invention.
도 4를 참조하면, 영상 촬영 기기(100)는 홈 트레이닝을 실행하는 운동자를 포함하는 주변 환경을 촬영하여 데이터를 생성한다. 그 후, 영상 촬영 기기(100)는 데이터 중 영상 데이터를 3차원 모델링 장치(200)에 제공하고, 음성 데이터를 홈 트레이닝 모니터링 서버(300)에 제공한다. Referring to FIG. 4 , the
3차원 모델링 장치(200)는 홈 트레이닝을 실행하는 운동자에 대한 데이터 중 영상 데이터를 기초로 3차원 영상 데이터를 생성하고, 3차원 영상 데이터를 홈 트레이닝 모니터링 서버(300)에 제공한다. The three-
홈 트레이닝 모니터링 서버(300)는 3차원 영상 데이터 및 음성 데이터 중 일부 영상 데이터 및 일부 음성 데이터 각각을 추출하여 트레이너 단말(400)에 제공한다. 이와 같은 이유는, 3차원 영상 데이터 및 음성 데이터 각각의 용량은 매우 크기 때문에 트레이너가 많은 양의 데이터를 전부 확인하기 어렵기 때문이다. The home
따라서, 홈 트레이닝 모니터링 서버(300)는 운동 자세 별로 3차원 영상 데이터 및 음성 데이터를 분할한 후 분할된 3차원 영상 데이터 및 음성 데이터를 트레이너 단말(400)에 제공하며, 추후에 트레이너 단말(400)로부터 수신된 운동 자세 피드백 정보가 빅데이터화된 경우 운동 자세 별로 3차원 영상 데이터 및 음성 데이터를 분할한 후 트레이너 단말(400)에 제공하지 않고 내부에서 분석하여 처리한다. Therefore, the home
한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.Although it has been described with reference to the limited embodiments and drawings, the present invention is not limited to the above embodiments, and various modifications and variations are possible from these descriptions by those of ordinary skill in the art to which the present invention pertains. Accordingly, the spirit of the present invention should be understood only by the claims described below, and all equivalents or equivalent modifications thereof will fall within the scope of the spirit of the present invention.
100: 영상 촬영 기기
200: 3차원 모델링 장치
300: 홈 트레이닝 모니터링 서버
310: 3차원 영상 데이터 수신부
320: 음성 데이터 수신부
330: 운동 자세 태그 할당부
340: 운동자 등급 결정부
350: 운동 자세 데이터베이스
360: 운동 자세 피드백 정보 생성부
400: 트레이너 단말
500: 운동자 단말100: video recording device
200: 3D modeling device
300: home training monitoring server
310: 3D image data receiving unit
320: voice data receiver
330: exercise posture tag allocation unit
340: athlete class determination unit
350: exercise posture database
360: exercise posture feedback information generating unit
400: trainer terminal
500: exercise terminal
Claims (2)
상기 영상 촬영 기기에 의해 촬영된 영상 데이터 중 음성 데이터를 수신하는 음성 데이터 수신부;
상기 3차원 영상 데이터 및 상기 음성 데이터를 분석하여 미리 결정된 운동 자세 별로 3차원 영상 데이터 및 음성 데이터를 분할한 후, 상기 분할된 3차원 영상 데이터 및 음성 데이터 각각에 서로 다른 운동 자세 태그를 할당하는 운동 자세 태그 할당부;
운동자 단말로부터 수신된 운동자 정보를 이용하여 상기 운동자 등급을 결정하는 운동자 등급 결정부;
운동자 등급 및 운동 자세 패턴 별로 표준 운동 자세 패턴이 대응되어 저장되어 있는 운동 자세 데이터베이스; 및
상기 운동 자세 태그가 할당된 3차원 영상 데이터를 분석하여 운동 자세 패턴을 추출하고, 상기 운동 자세 데이터베이스에서 운동자 등급 및 상기 운동 자세 패턴에 해당하는 표준 운동 자세 패턴을 독출하고, 상기 운동 자세 패턴 및 표준 운동 자세 패턴을 비교하여 운동 자세 피드백 정보를 생성하는 운동 자세 피드백 정보 생성부를 포함하고,
상기 운동 자세 태그 할당부는
음성 데이터를 분석하여 자세 변환을 지시하는 미리 결정된 단어가 추출되면, 음성 데이터 및 3차원 영상 데이터를 상기 미리 결정된 단어가 추출된 시점까지 분할하고, 분할된 음성 데이터에서 미리 결정된 운동 자세를 지시하는 단어를 추출한 후, 음성 데이터 및 3차원 영상 데이터 각각에 운동 자세 태그를 할당하고,
상기 운동자 등급 결정부는
운동자에 대한 미리 결정된 운동자 등급이 존재하지 않는 경우 운동자 단말로부터 운동 종류 별 경험 정보를 기초로 운동자 등급을 결정하고, 운동자에 대한 미리 결정된 운동자 등급이 존재하는 경우 운동자의 홈 트레이닝 결과에 따라 생성된 등급 업그레이드 정보를 기초로 운동자 등급을 상향시키고,
상기 운동 자세 피드백 정보 생성부는
상기 운동 자세 데이터베이스에서 운동자 등급 및 상기 운동 자세 패턴에 해당하는 표준 운동 자세 패턴을 독출하고, 운동 자세 패턴 및 표준 운동 자세 패턴을 비교하여 운동 자세 피드백 정보를 생성하고, 운동 자세 패턴 및 표준 운동 자세 패턴을 비교하여 운동 자세를 실행하는 사용된 신체 부위 사이의 차이 각도를 산출한 후, 차이 각도에 따라 일치 비율을 산출하고, 상기 일치 비율이 특정 비율 이상이면 상기 운동자 등급을 다음 등급으로 상향시키는 등급 업그레이드 정보를 상기 운동자 등급 결정부에 제공하는 것을 특징으로 하는
3차원 모델링을 통한 홈 트레이닝 모니터링 서버.
a three-dimensional image data receiver for receiving three-dimensional image data generated based on image data among data about an athlete performing home training;
an audio data receiver configured to receive audio data from among the video data captured by the video photographing device;
After analyzing the 3D image data and the audio data to divide 3D image data and audio data for each predetermined exercise posture, a movement of assigning different exercise posture tags to each of the divided 3D image data and audio data Posture tag allocator;
an athlete rating determining unit for determining the athlete's grade by using the athlete information received from the athlete terminal;
an exercise posture database in which standard exercise posture patterns are stored correspondingly for each exercise class and exercise posture pattern; and
Extracting an exercise posture pattern by analyzing the three-dimensional image data to which the exercise posture tag is assigned, reading a standard exercise posture pattern corresponding to the exerciser grade and the exercise posture pattern from the exercise posture database, and the exercise posture pattern and standard Comprising an exercise posture feedback information generating unit that compares the exercise posture pattern to generate exercise posture feedback information,
The exercise posture tag allocation unit
When a predetermined word instructing posture change is extracted by analyzing the voice data, the voice data and 3D image data are divided up to the point in time at which the predetermined word is extracted, and a word indicating a predetermined movement posture from the divided voice data After extracting, a movement posture tag is assigned to each of the audio data and the 3D image data,
The athlete grade determination unit
When a predetermined athlete grade for the athlete does not exist, the athlete grade is determined based on the experience information for each exercise type from the athlete terminal, and when a predetermined athlete grade for the athlete exists, the grade generated according to the athlete's home training result Upgrade the athlete's grade based on the upgrade information,
The exercise posture feedback information generating unit
The exercise posture database reads the athlete class and the standard exercise posture pattern corresponding to the exercise posture pattern, compares the exercise posture pattern and the standard exercise posture pattern to generate exercise posture feedback information, and the exercise posture pattern and the standard exercise posture pattern After calculating the angle of difference between the body parts used to perform the exercise posture by comparing Characterized in providing information to the athlete rating determining unit
Home training monitoring server through 3D modeling.
홈 트레이닝을 실행하는 운동자에 대한 데이터 중 영상 데이터를 기초로 생성된 3차원 영상 데이터를 수신하는 단계;
상기 영상 촬영 기기에 의해 촬영된 영상 데이터 중 음성 데이터를 수신하는 단계;
상기 3차원 영상 데이터 및 상기 음성 데이터를 분석하여 미리 결정된 운동 자세 별로 3차원 영상 데이터 및 음성 데이터를 분할하는 단계;
상기 분할된 3차원 영상 데이터 및 음성 데이터 각각에 서로 다른 운동 자세 태그를 할당하는 단계;
상기 운동 자세 태그가 할당된 3차원 영상 데이터를 분석하여 운동 자세 패턴을 추출하는 단계;
운동자 등급 및 운동 자세 패턴 별로 표준 운동 자세 패턴이 대응되어 저장되어 있는 운동 자세 데이터베이스에서 운동자 등급 및 상기 운동 자세 패턴에 해당하는 표준 운동 자세 패턴을 독출하는 단계; 및
상기 운동 자세 패턴 및 상기 표준 운동 자세 패턴을 비교하여 운동 자세 피드백 정보를 생성하여 운동자 단말에 제공하는 단계를 포함하고,
상기 분할된 3차원 영상 데이터 및 음성 데이터 각각에 서로 다른 운동 자세 태그를 할당하는 단계는
운동자에 대한 미리 결정된 운동자 등급이 존재하지 않는 경우 운동자 단말로부터 운동 종류 별 경험 정보를 기초로 운동자 등급을 결정하고, 운동자에 대한 미리 결정된 운동자 등급이 존재하는 경우 운동자의 홈 트레이닝 결과에 따라 생성된 등급 업그레이드 정보를 기초로 운동자 등급을 상향시키는 단계를 포함하고,
상기 운동 자세 패턴 및 상기 표준 운동 자세 패턴을 비교하여 운동 자세 피드백 정보를 생성하여 운동자 단말에 제공하는 단계는
상기 운동 자세 데이터베이스에서 운동자 등급 및 상기 운동 자세 패턴에 해당하는 표준 운동 자세 패턴을 독출하는 단계;
운동 자세 패턴 및 표준 운동 자세 패턴을 비교하여 운동 자세 피드백 정보를 생성하는 단계; 및
운동 자세 패턴 및 표준 운동 자세 패턴을 비교하여 운동 자세를 실행하는 사용된 신체 부위 사이의 차이 각도를 산출한 후, 차이 각도에 따라 일치 비율을 산출하고, 상기 일치 비율이 특정 비율 이상이면 상기 운동자 등급을 다음 등급으로 상향시키는 등급 업그레이드 정보를 제공하여 운동자 등급이 상향되도록 하는 단계를 포함하는 것을 특징으로 하는
3차원 모델링을 통한 홈 트레이닝 모니터링 방법.In the home training monitoring method through 3D modeling executed in the home training monitoring server through 3D modeling,
Receiving the 3D image data generated based on the image data among the data for the exerciser performing home training;
receiving audio data from among the image data captured by the image photographing device;
dividing the 3D image data and the audio data for each predetermined exercise posture by analyzing the 3D image data and the audio data;
allocating different exercise posture tags to each of the divided 3D image data and audio data;
extracting an exercise posture pattern by analyzing the three-dimensional image data to which the exercise posture tag is assigned;
reading a standard exercise posture pattern corresponding to the athlete class and the exercise posture pattern from an exercise posture database in which standard exercise posture patterns are stored corresponding to each exerciser class and exercise posture pattern; and
Comparing the exercise posture pattern and the standard exercise posture pattern, generating exercise posture feedback information and providing it to an exerciser terminal,
Allocating different exercise posture tags to each of the divided 3D image data and audio data includes:
When a predetermined athlete grade for the athlete does not exist, the athlete grade is determined based on the experience information for each exercise type from the athlete terminal, and when a predetermined athlete grade for the athlete exists, the grade generated according to the athlete's home training result Including the step of upgrading the athlete's grade based on the upgrade information,
Comparing the exercise posture pattern and the standard exercise posture pattern, generating exercise posture feedback information and providing it to the exerciser terminal
reading a standard exercise posture pattern corresponding to an athlete class and the exercise posture pattern from the exercise posture database;
generating exercise posture feedback information by comparing the exercise posture pattern and the standard exercise posture pattern; and
After comparing the exercise posture pattern and the standard exercise posture pattern to calculate the difference angle between the body parts used to execute the exercise posture, calculate a coincidence ratio according to the difference angle, and if the coincidence rate is greater than or equal to a certain proportion, the athlete rating It characterized in that it comprises the step of providing the grade upgrade information for upgrading to the next grade so that the athlete's grade is upgraded
Home training monitoring method through 3D modeling.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200139482A KR102423421B1 (en) | 2020-10-26 | 2020-10-26 | Method of mornitoring home training using three dimensional modeling and server performing the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200139482A KR102423421B1 (en) | 2020-10-26 | 2020-10-26 | Method of mornitoring home training using three dimensional modeling and server performing the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220055225A KR20220055225A (en) | 2022-05-03 |
KR102423421B1 true KR102423421B1 (en) | 2022-07-21 |
Family
ID=81591034
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200139482A KR102423421B1 (en) | 2020-10-26 | 2020-10-26 | Method of mornitoring home training using three dimensional modeling and server performing the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102423421B1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006320424A (en) * | 2005-05-17 | 2006-11-30 | Tama Tlo Kk | Action teaching apparatus and method |
KR101909693B1 (en) * | 2017-06-07 | 2018-10-24 | (주)앤트로스 | Fitness system providing virtual fitness trainer based on augmented reality |
-
2020
- 2020-10-26 KR KR1020200139482A patent/KR102423421B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006320424A (en) * | 2005-05-17 | 2006-11-30 | Tama Tlo Kk | Action teaching apparatus and method |
KR101909693B1 (en) * | 2017-06-07 | 2018-10-24 | (주)앤트로스 | Fitness system providing virtual fitness trainer based on augmented reality |
Also Published As
Publication number | Publication date |
---|---|
KR20220055225A (en) | 2022-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11928800B2 (en) | Image coordinate system transformation method and apparatus, device, and storage medium | |
CN112184705B (en) | Human body acupuncture point identification, positioning and application system based on computer vision technology | |
CN106033601B (en) | The method and apparatus for detecting abnormal case | |
CN104599287B (en) | Method for tracing object and device, object identifying method and device | |
CN110544301A (en) | Three-dimensional human body action reconstruction system, method and action training system | |
KR102514697B1 (en) | Apparatus and method for analyzing golf motion | |
KR102106135B1 (en) | Apparatus and method for providing application service by using action recognition | |
JP7292492B2 (en) | Object tracking method and device, storage medium and computer program | |
JP6719497B2 (en) | Image generation method, image generation device, and image generation system | |
CN105426827A (en) | Living body verification method, device and system | |
CN112070782B (en) | Method, device, computer readable medium and electronic equipment for identifying scene contour | |
CN108292362A (en) | gesture recognition for cursor control | |
KR20220160066A (en) | Image processing method and apparatus | |
KR102258128B1 (en) | User motion analysis method for dance training using ai-based image recognition | |
CN114495241B (en) | Image recognition method and device, electronic equipment and storage medium | |
JP6290760B2 (en) | Work similarity calculation method, apparatus and program | |
CN114333046A (en) | Dance action scoring method, device, equipment and storage medium | |
CN113297963A (en) | Multi-person posture estimation method and device, electronic equipment and readable storage medium | |
Mori et al. | Good keyframes to inpaint | |
CN110910426A (en) | Action process and action trend identification method, storage medium and electronic device | |
CN115035546A (en) | Three-dimensional human body posture detection method and device and electronic equipment | |
KR100560464B1 (en) | Multi-view display system with viewpoint adaptation | |
KR102423421B1 (en) | Method of mornitoring home training using three dimensional modeling and server performing the same | |
CN111626212B (en) | Method and device for identifying object in picture, storage medium and electronic device | |
US20230252784A1 (en) | Methods, systems, and media for identifying human coactivity in images and videos using neural networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |