KR102578469B1 - Systme for providing posture and motion correction information of user using expert posture and motion analysis imformation - Google Patents
Systme for providing posture and motion correction information of user using expert posture and motion analysis imformation Download PDFInfo
- Publication number
- KR102578469B1 KR102578469B1 KR1020220105200A KR20220105200A KR102578469B1 KR 102578469 B1 KR102578469 B1 KR 102578469B1 KR 1020220105200 A KR1020220105200 A KR 1020220105200A KR 20220105200 A KR20220105200 A KR 20220105200A KR 102578469 B1 KR102578469 B1 KR 102578469B1
- Authority
- KR
- South Korea
- Prior art keywords
- angle
- key point
- user
- tempo
- posture
- Prior art date
Links
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
- A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0075—Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
-
- A63B2024/0021—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
- G06T2207/20044—Skeletonization; Medial axis transform
Abstract
본 발명은 전문가의 자세 및 동작 분석 정보를 이용한 사용자의 자세 및 동작 교정 정보 제공 시스템에 관한 것으로, 해결하고자 하는 과제는 포즈추정모델을 기반으로 전문가의 운동 자세 및 동작 영상을 분석하고, 분석 결과를 기반으로 전문가와 사용자의 운동 자세 및 동작 영상을 비교 분석하여 보다 정확하고 구체적인 운동 자세 및 동작 교정 정보를 제공하는데 있다.
일례로, 포즈추정모델을 이용하여 제1 사용자 영상으로부터 제1 사용자의 제1 키포인트에 대한 제1 위치데이터를 추출하고, 제2 사용자 영상으로부터 제2 사용자의 제2 키포인트에 대한 제2 위치데이터를 추출하는 키포인트 위치데이터 추출부; 상기 제1 위치데이터를 기반으로 시간흐름에 따른 상기 제1 키포인트의 제1 각도변화데이터를 생성하고, 상기 제2 위치데이터를 기반으로 시간흐름에 따른 상기 제2 키포인트의 제2 각도변화데이터를 생성하는 키포인트 각도변화데이터 생성부; 상기 제1 각도변화데이터를 기준으로 상기 제1 각도변화데이터 및 상기 제2 각도변화데이터 간을 비교하여 상기 제1 키포인트 및 상기 제2 키포인트 간의 각도 및 템포 중 적어도 하나에 대한 키포인트 차이데이터를 생성하는 키포인트 차이데이터 생성부; 및 상기 키포인트 차이데이터를 기반으로 제2 사용자의 자세 및 동작에 대한 각도교정정보 및 템포교정정보 중 적어도 하나를 생성하여 제공하는 사용자 교정정보 제공부를 포함하는 전문가의 자세 및 동작 분석 정보를 이용한 사용자의 자세 및 동작 교정 정보 제공 시스템을 개시한다.The present invention relates to a system for providing user's posture and motion correction information using the expert's posture and motion analysis information. The problem to be solved is to analyze the expert's exercise posture and motion images based on a pose estimation model, and to report the analysis results. Based on this, the purpose is to provide more accurate and specific exercise posture and motion correction information by comparing and analyzing the exercise posture and motion images of experts and users.
For example, using a pose estimation model, first location data for the first key point of the first user is extracted from the first user image, and second location data for the second key point of the second user is extracted from the second user image. Key point location data extraction unit; Generate first angle change data of the first key point over time based on the first location data, and generate second angle change data of the second key point over time based on the second location data. A key point angle change data generation unit; Comparing the first angle change data and the second angle change data based on the first angle change data to generate key point difference data for at least one of the angle and tempo between the first key point and the second key point. Key point difference data generation unit; and a user correction information provider that generates and provides at least one of angle correction information and tempo correction information for the posture and movement of the second user based on the key point difference data. Disclosed is a system for providing posture and motion correction information.
Description
본 발명의 실시예는 전문가의 자세 및 동작 분석 정보를 이용한 사용자의 자세 및 동작 교정 정보 제공 시스템에 관한 것으로, 포즈추정모델을 기반으로 전문가와 사용자의 자세 및 동작을 분석하고, 전문가와 사용자의 자세 및 동작 분석 정보를 비교하여 사용자의 자세 및 동작 교정 정보를 제공하는 시스템에 관한 것이다.An embodiment of the present invention relates to a system for providing posture and motion correction information for a user using the posture and motion analysis information of an expert. The posture and motion of the expert and the user are analyzed based on the pose estimation model, and the posture of the expert and the user is provided. and a system that provides posture and motion correction information for a user by comparing motion analysis information.
운동은, 올바른 자세로 운동을 수행할 경우에는, 원하는 근육에 자극을 주어 신체를 단련하고 부상을 방지할 수 있도록 하여 운동 효율을 높일 수 있지만, 잘못된 자세로 운동을 수행할 경우, 부상의 위험이 매우 높고, 단련 하고자 하는 근육의 사용이 적어져 피로도는 높은 반면 운동 효율은 지극히 낮아 지기 때문에 바른 자세로 운동 을 수행하는 것이 매우 중요하게 여겨진다.If exercise is performed with the correct posture, it can increase exercise efficiency by stimulating the desired muscles to strengthen the body and prevent injuries, but if exercise is performed with the wrong posture, there is a risk of injury. It is very high, and because the muscles to be trained are used less, fatigue is high, but exercise efficiency is extremely low, so performing the exercise with the correct posture is considered very important.
이에 운동을 시작하는 사람들은 개인 트레이너를 고용하여 운동 자세에 대한 코칭을 받기도 하나, 개인 트레이너의 고용은 비용 부담이 클 뿐만 아니라 약속된 시간에 운동 센터 등을 방문해야만 했기 때문에, 경제적, 시간적, 장소적 제약이 큰 한계가 있다.Accordingly, people who begin exercising hire a personal trainer to receive coaching on their exercise posture. However, hiring a personal trainer not only costs a lot of money, but also requires visiting an exercise center at the appointed time, so it is difficult to save economically, time, and place. There are significant limitations.
이러한 종래의 문제를 해결하기 위해 특히 홀로 운동하는 사람들을 위하여 영상 분석을 통한 자세 및 동작을 코칭하는 다양한 시스템들이 개발되고 있으며, 이러한 시스템을 통해 사용자의 올바른 운동 자세와 동작을 코칭하기 위한 정보를 제공하고 있다.To solve these conventional problems, various systems that coach posture and movement through video analysis are being developed, especially for people who exercise alone, and these systems provide information to coach the user's correct exercise posture and movement. I'm doing it.
그러나, 종래의 사용자 운동 자세 및 동작 교정 시스템은 사용자의 전반적인 운동 자세와 동작에 대한 코칭 정보만을 제공하고 있어 정확히 어느 부분에 대한 자세 및 동작에 어떠한 오류가 있으며 어떻게 교정해야 하는지에 대한 구체적인 정보를 제공 받을 수 없어 그 활용 범위가 지극히 제한적인 문제가 있다.However, the conventional user exercise posture and motion correction system only provides coaching information about the user's overall exercise posture and motion, providing specific information about exactly what part of the posture and motion errors are and how to correct them. There is a problem that the scope of use is extremely limited because it cannot be received.
본 발명의 실시예는, 포즈추정모델을 기반으로 전문가의 운동 자세 및 동작 영상을 분석하고, 분석 결과를 기반으로 전문가와 사용자의 운동 자세 및 동작 영상을 비교 분석하여 보다 정확하고 구체적인 운동 자세 및 동작 교정 정보를 제공할 수 있는 전문가의 자세 및 동작 분석 정보를 이용한 사용자의 자세 및 동작 교정 정보 제공 시스템을 제공한다.An embodiment of the present invention analyzes the expert's exercise posture and motion images based on a pose estimation model, and compares and analyzes the expert's and user's exercise posture and motion images based on the analysis results to provide more accurate and specific exercise postures and motions. Provides a system for providing user's posture and motion correction information using posture and motion analysis information from experts who can provide correction information.
본 발명의 실시예에 따른 전문가의 자세 및 동작 분석 정보를 이용한 사용자의 자세 및 동작 교정 정보 제공 시스템은, 포즈추정모델을 이용하여 제1 사용자 영상으로부터 제1 사용자의 제1 키포인트에 대한 제1 위치데이터를 추출하고, 제2 사용자 영상으로부터 제2 사용자의 제2 키포인트에 대한 제2 위치데이터를 추출하는 키포인트 위치데이터 추출부; 상기 제1 위치데이터를 기반으로 시간흐름에 따른 상기 제1 키포인트의 제1 각도변화데이터를 생성하고, 상기 제2 위치데이터를 기반으로 시간흐름에 따른 상기 제2 키포인트의 제2 각도변화데이터를 생성하는 키포인트 각도변화데이터 생성부; 상기 제1 각도변화데이터를 기준으로 상기 제1 각도변화데이터 및 상기 제2 각도변화데이터 간을 비교하여 상기 제1 키포인트 및 상기 제2 키포인트 간의 각도 및 템포 중 적어도 하나에 대한 키포인트 차이데이터를 생성하는 키포인트 차이데이터 생성부; 및 상기 키포인트 차이데이터를 기반으로 제2 사용자의 자세 및 동작에 대한 각도교정정보 및 템포교정정보 중 적어도 하나를 생성하여 제공하는 사용자 교정정보 제공부를 포함한다.A system for providing user's posture and motion correction information using an expert's posture and motion analysis information according to an embodiment of the present invention provides a first position for the first key point of the first user from the first user image using a pose estimation model. a key point location data extraction unit that extracts data and extracts second location data for a second key point of the second user from the second user image; Generate first angle change data of the first key point over time based on the first location data, and generate second angle change data of the second key point over time based on the second location data. A key point angle change data generation unit; Comparing the first angle change data and the second angle change data based on the first angle change data to generate key point difference data for at least one of the angle and tempo between the first key point and the second key point. Key point difference data generation unit; and a user correction information providing unit that generates and provides at least one of angle correction information and tempo correction information for the posture and movement of the second user based on the key point difference data.
또한, 상기 키포인트 각도변화데이터 생성부는, 상기 제1 위치데이터를 기반으로 미리 설정된 샘플링시간 마다 상기 제1 키포인트의 각도를 각각 추출하고, 추출된 상기 제1 키포인트의 각도변화를 시간의 흐름에 따라 나타낸 제1 시간각도변화그래프를 생성하는 제1 시간-각도 변화 산출부; 및 상기 제2 위치데이터를 기반으로 상기 샘플링시간 마다 상기 제2 키포인트의 각도를 각각 추출하고, 추출된 상기 제2 키포인트의 각도변화를 시간의 흐름에 따라 나타낸 제2 시간각도변화그래프를 생성하는 제2 시간-각도 변화 산출부를 포함할 수 있다.In addition, the key point angle change data generator extracts the angle of the first key point at each preset sampling time based on the first position data, and shows the angle change of the extracted first key point over time. a first time-angle change calculation unit that generates a first time-angle change graph; and a second time angle change graph that extracts the angle of the second key point at each sampling time based on the second location data and generates a second time angle change graph showing the angle change of the extracted second key point over time. 2 It may include a time-angle change calculation unit.
또한, 상기 키포인트 차이데이터 생성부는, 상기 샘플링시간 별로 상기 제2 시간각도변화그래프에서 상기 제2 키포인트의 각도가 상기 제1 시간각도변화그래프에서 상기 제1 키포인트의 각도와 얼마나 차이가 나는지를 비교하여 키포인트 각도차이데이터를 생성하는 키포인트 각도차이데이터 생성부; 및 상기 샘플링시간의 각 구간 별로 상기 제1 시간각도변화그래프에서 상기 제1 키포인트의 각도변화속도를 계산하고, 상기 제2 시간각도변화그래프에서 상기 제2 키포인트의 각도변화속도를 계산하고, 상기 제2 키포인트의 각도변화속도가 상기 제1 키포인트의 각도변화속도와 얼마나 차이가 나는지를 비교하여 키포인트 템포차이데이터를 생성하는 키포인트 템포차이데이터 생성부를 포함하고, 상기 제1 키포인트의 각도변화속도(VAKP1)는 하기의 수식 1에 따라 상기 샘플링시간의 각 구간 별로 계산되고, 상기 제2 키포인트의 각도변화속도(VAKP2)는 하기의 수식 2에 따라 상기 샘플링시간의 각 구간 별로 계산되고, 상기 수식 1은 이고, 상기 수식 2는 이고, 상기 DKP1 _Angle은 상기 샘플링시간의 간격 동안 상기 제1 키포인트의 각도 변화량이고, 상기 DKP2 _Angle은 상기 샘플링시간의 간격 동안 상기 제2 키포인트의 각도 변화량이고, 상기 Tsampling은 상기 샘플링시간의 간격일 수 있다.In addition, the key point difference data generator compares how much the angle of the second key point in the second time angle change graph differs from the angle of the first key point in the first time angle change graph for each sampling time. A key point angle difference data generation unit that generates key point angle difference data; and calculating the angle change rate of the first key point in the first time angle change graph for each section of the sampling time, calculating the angle change rate of the second key point in the second time angle change graph, and calculating the angle change rate of the second key point in the second time angle change graph. 2 A key point tempo difference data generator that generates key point tempo difference data by comparing how much the angle change rate of the key point differs from the angle change rate of the first key point, and the angle change rate of the first key point (VA KP1) ) is calculated for each section of the sampling time according to Equation 1 below, and the angular change rate (VA KP2 ) of the second key point is calculated for each section of the sampling time according to Equation 2 below, and Equation 1 silver And the formula 2 above is , where D KP1 _Angle is the angle change amount of the first key point during the sampling time interval, and D KP2 _Angle is the angle change amount of the second key point during the sampling time interval, and T sampling is the angle change amount of the sampling time. It could be an interval.
또한, 상기 사용자 교정정보 제공부는, 상기 키포인트 각도차이데이터에서 상기 샘플링시간 중 상기 제1 키포인트의 각도 및 상기 제2 키포인트의 각도의 차이 값이 미리 설정된 기준각도 값 이상인 각도교정대상 샘플링시간, 상기 각도교정대상 샘플링시간 별로 상기 제1 키포인트의 각도에서 상기 제2 키포인트의 각도를 감산한 각도교정대상 각도차이 값, 및 상기 각도교정대상 각도차이 값의 부호정보를 각각 산출하고, 산출된 상기 각도교정대상 샘플링시간 별로 상기 각도교정대상 각도차이 값 및 상기 각도교정대상 각도차이 값의 부호정보에 따라 상기 제2 키포인트와 관련된 자세 및 동작의 각도교정정보를 각각 생성하여 제공하는 사용자 각도교정정보 제공부; 및 상기 키포인트 템포차이데이터에서 상기 샘플링시간 중 상기 제1 키포인트의 각도변화속도(VAKP1) 및 상기 제2 키포인트의 각도변화속도(VAKP2)의 대소를 비교하여 상기 제2 키포인트의 각도변화속도(VAKP2)가 상기 제1 키포인트의 각도변화속도(VAKP1)보다 미리 설정된 제1 각도변화기준속도 이상인 제1 템포교정대상 샘플링시간과, 상기 제2 키포인트의 각도변화속도(VAKP2)가 상기 제1 키포인트의 각도변화속도(VAKP1)보다 미리 설정된 제2 각도변화 기준속도 이하인 제2 템포교정대상 샘플링시간을 각각 추출하고, 추출된 상기 제1 템포교정대상 샘플링시간 및 상기 제2 템포교정대상 샘플링시간 별 대소 비교 결과에 따라 상기 제2 키포인트와 관련된 동작의 템포교정정보를 각각 생성하여 제공하는 사용자 템포교정정보 제공부를 포함할 수 있다.In addition, the user correction information provider provides an angle correction target sampling time, the angle correction target sampling time in which the difference value between the angle of the first key point and the angle of the second key point among the sampling times in the key point angle difference data is greater than or equal to a preset reference angle value. An angle correction target angle difference value obtained by subtracting the angle of the second key point from the angle of the first key point and sign information of the angle correction target angle difference value are calculated for each correction target sampling time, and the calculated angle correction target angle difference value is calculated by subtracting the angle of the second key point from the angle of the first key point. a user angle correction information provider that generates and provides angle correction information for posture and motion related to the second key point according to the angle correction target angle difference value and sign information of the angle correction target angle difference value for each sampling time; And in the key point tempo difference data, the magnitude of the angle change rate (VA KP1 ) and the angle change rate (VA KP2 ) of the first key point during the sampling time are compared to determine the angle change rate of the second key point ( VA KP2 ) is a first tempo correction target sampling time whose angle change rate (VA KP1 ) is greater than the preset first angle change reference rate of the first key point, and the angle change rate (VA KP2 ) of the second key point is the first tempo correction target sampling time. 1 The second tempo correction target sampling time that is less than the preset second angle change reference speed than the angle change rate (VA KP1 ) of the key point is extracted, respectively, and the extracted first tempo correction target sampling time and the second tempo correction target sampling It may include a user tempo correction information providing unit that generates and provides tempo correction information for each movement related to the second key point according to the size comparison result for each time.
또한, 상기 사용자 각도교정정보 제공부는, 상기 각도교정대상 샘플링시간에서 상기 각도교정대상 각도차이 값의 부호정보가 양(+)의 값을 갖는 경우 상기 제2 키포인트의 자세와 동작 각도를 상기 각도교정대상 각도차이 값만큼 크게 할 것을 가이드 하는 각도교정정보를 제공하고, 상기 각도교정대상 샘플링시간에서 상기 각도교정대상 각도차이 값의 부호정보가 음(-)의 값을 갖는 경우 상기 제2 키포인트의 자세와 동작 각도를 상기 각도교정대상 각도차이 값만큼 작게 할 것을 가이드 하는 각도교정정보를 제공할 수 있다.In addition, when the sign information of the angle difference value of the angle correction target has a positive (+) value at the angle correction target sampling time, the user angle correction information provider performs the angle correction of the posture and operating angle of the second key point. Provides angle correction information that guides how to increase the target angle difference value, and when the sign information of the angle correction target angle difference value has a negative (-) value at the angle correction target sampling time, the posture of the second key point It is possible to provide angle correction information that guides the operation angle to be as small as the angle correction target angle difference value.
또한, 상기 사용자 템포교정정보 제공부는, 상기 제1 템포교정대상 샘플링시간에서 상기 제2 키포인트와 관련된 동작 템포를 느리게 할 것을 가이드 하는 템포교정정보를 제공하고, 상기 제2 템포교정대상 샘플링시간에 대하여 상기 제2 키포인트와 관련된 동작 템포를 빠르게 할 것을 가이드 하는 템포교정정보를 제공할 수 있다.In addition, the user tempo correction information provider provides tempo correction information that guides to slow down the action tempo related to the second key point at the first tempo correction target sampling time, and Tempo correction information can be provided to guide the user to speed up the action tempo related to the second key point.
본 발명에 따르면, 포즈추정모델을 기반으로 전문가의 운동 자세 및 동작 영상을 분석하고, 분석 결과를 기반으로 전문가와 사용자의 운동 자세 및 동작 영상을 비교 분석하여 보다 정확하고 구체적인 운동 자세 및 동작 교정 정보를 제공할 수 있는 전문가의 자세 및 동작 분석 정보를 이용한 사용자의 자세 및 동작 교정 정보 제공 시스템을 제공할 수 있다.According to the present invention, the expert's exercise posture and motion images are analyzed based on the pose estimation model, and based on the analysis results, the expert's and the user's exercise posture and motion images are compared and analyzed to provide more accurate and specific exercise posture and motion correction information. It is possible to provide a system for providing user's posture and motion correction information using the posture and motion analysis information of experts who can provide.
도 1은 본 발명의 실시예에 따른 전문가의 자세 및 동작 분석 정보를 이용한 사용자의 자세 및 동작 교정 정보 제공 시스템의 전체 구성과 동작 흐름을 나타낸 개요도이다.
도 2는 본 발명의 실시예에 따른 전문가의 자세 및 동작 분석 정보를 이용한 사용자의 자세 및 동작 교정 정보 제공 시스템의 전체 구성을 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 키포인트 각도변화데이터 생성부의 구성을 나타낸 블록도이다.
도 4는 본 발명의 실시예에 따른 제1 시간-각도 변화그래프(전문가)와 제2 시간-각도 변화그래프(사용자)를 예시적으로 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 키포인트 차이데이터 생성부의 구성을 나타낸 블록도이다.
도 6은 본 발명의 실시예에 따른 키포인트 각도차이데이터를 설명하기 위해 예시적으로 나타낸 도면이다.
도 7 내지 도 9는 본 발명의 실시예에 따른 키포인트 템포차이데이터를 설명하기 위해 예시적으로 나타낸 도면이다.
도 10은 본 발명의 실시예에 따른 사용자 교정정보 제공부의 구성을 나타낸 블록도이다.Figure 1 is a schematic diagram showing the overall configuration and operational flow of a system for providing user's posture and motion correction information using an expert's posture and motion analysis information according to an embodiment of the present invention.
Figure 2 is a block diagram showing the overall configuration of a system for providing posture and motion correction information for a user using an expert's posture and motion analysis information according to an embodiment of the present invention.
Figure 3 is a block diagram showing the configuration of a key point angle change data generation unit according to an embodiment of the present invention.
Figure 4 is a diagram illustrating a first time-angle change graph (expert) and a second time-angle change graph (user) according to an embodiment of the present invention.
Figure 5 is a block diagram showing the configuration of a key point difference data generator according to an embodiment of the present invention.
Figure 6 is an exemplary diagram illustrating key point angle difference data according to an embodiment of the present invention.
Figures 7 to 9 are diagrams illustrating key point tempo difference data according to an embodiment of the present invention.
Figure 10 is a block diagram showing the configuration of a user correction information providing unit according to an embodiment of the present invention.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.The terms used in this specification will be briefly explained, and the present invention will be described in detail.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.The terms used in the present invention are general terms that are currently widely used as much as possible while considering the function in the present invention, but this may vary depending on the intention or precedent of a person working in the art, the emergence of new technology, etc. In addition, in certain cases, there are terms arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the relevant invention. Therefore, the terms used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, rather than simply the name of the term.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나 이상의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.When it is said that a part "includes" a certain element throughout the specification, this means that, unless specifically stated to the contrary, it does not exclude other elements but may further include other elements. In addition, terms such as "... unit" and "module" used in the specification refer to a unit that processes at least one function or operation, which may be implemented as hardware or software, or as a combination of hardware and software. .
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Below, with reference to the attached drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily implement the present invention. However, the present invention may be implemented in many different forms and is not limited to the embodiments described herein. In order to clearly explain the present invention in the drawings, parts that are not related to the description are omitted, and similar parts are given similar reference numerals throughout the specification.
도 1은 본 발명의 실시예에 따른 전문가의 자세 및 동작 분석 정보를 이용한 사용자의 자세 및 동작 교정 정보 제공 시스템의 전체 구성과 동작 흐름을 나타낸 개요도이고, 도 2는 본 발명의 실시예에 따른 전문가의 자세 및 동작 분석 정보를 이용한 사용자의 자세 및 동작 교정 정보 제공 시스템의 전체 구성을 나타낸 블록도이고, 도 3은 본 발명의 실시예에 따른 키포인트 각도변화데이터 생성부의 구성을 나타낸 블록도이고, 도 4는 본 발명의 실시예에 따른 제1 시간-각도 변화그래프(전문가)와 제2 시간-각도 변화그래프(사용자)를 예시적으로 나타낸 도면이고, 도 5는 본 발명의 실시예에 따른 키포인트 차이데이터 생성부의 구성을 나타낸 블록도이고, 도 6은 본 발명의 실시예에 따른 키포인트 각도차이데이터를 설명하기 위해 예시적으로 나타낸 도면이고, 도 7 내지 도 9는 본 발명의 실시예에 따른 키포인트 템포차이데이터를 설명하기 위해 예시적으로 나타낸 도면이며, 도 10은 본 발명의 실시예에 따른 사용자 교정정보 제공부의 구성을 나타낸 블록도이다.Figure 1 is a schematic diagram showing the overall configuration and operation flow of a system for providing user's posture and motion correction information using the expert's posture and motion analysis information according to an embodiment of the present invention, and Figure 2 is a schematic diagram showing the overall configuration and operation flow of the expert's posture and motion correction information according to an embodiment of the present invention. It is a block diagram showing the overall configuration of a system for providing user's posture and motion correction information using posture and motion analysis information, and Figure 3 is a block diagram showing the configuration of a key point angle change data generation unit according to an embodiment of the present invention. 4 is a diagram illustrating a first time-angle change graph (expert) and a second time-angle change graph (user) according to an embodiment of the present invention, and Figure 5 shows key point differences according to an embodiment of the present invention. It is a block diagram showing the configuration of the data generation unit, Figure 6 is an exemplary diagram to explain key point angle difference data according to an embodiment of the present invention, and Figures 7 to 9 are key point tempo according to an embodiment of the present invention. This is an exemplary diagram to explain difference data, and Figure 10 is a block diagram showing the configuration of a user correction information providing unit according to an embodiment of the present invention.
도 1 및 도 2를 참조하면, 본 발명의 실시예에 따른 전문가의 자세 및 동작 분석 정보를 이용한 사용자의 자세 및 동작 교정 정보 제공 시스템(1000)은 키포인트 위치데이터 추출부(100), 키포인트 각도변화데이터 생성부(200), 키포인트 차이데이터 생성부(300) 및 사용자 교정정보 제공부(400) 중 적어도 하나를 포함할 수 있다.Referring to Figures 1 and 2, the system 1000 for providing user's posture and motion correction information using the posture and motion analysis information of an expert according to an embodiment of the present invention includes a key point location data extractor 100, a key point angle change It may include at least one of a data generator 200, a key point difference data generator 300, and a user correction information provider 400.
상기 키포인트 위치데이터 추출부(100)는, 포즈추정모델을 이용하여 제1 사용자 영상으로부터 제1 사용자의 제1 키포인트에 대한 제1 위치데이터를 추출하고, 제2 사용자 영상으로부터 제2 사용자의 제2 키포인트에 대한 제2 위치데이터를 추출할 수 있다.The key point location data extraction unit 100 extracts first location data for the first key point of the first user from the first user image using a pose estimation model, and extracts the first location data for the first key point of the second user from the second user image. Second location data for the key point can be extracted.
본 실시예에 따른 전문가의 자세 및 동작 분석 정보를 이용한 사용자의 자세 및 동작 교정 정보 제공 시스템(1000)은 사용자 또는 시험자의 자세 및 동작 교정 정보를 제공하기 이전에 전문가의 자세 및 동작에 대한 분석이 선행되며, 이를 위해 키포인트 위치데이터 추출부(100)는 상기한 제1 사용자(전문가)의 운동 자세 및 동작을 촬영한 영상 즉, 제1 사용자 영상을 입력 받고, 미리 구축된 포즈추정모델을 이용하여 제1 사용자 영상으로부터 전문가의 제1 키포인트에 대한 제1 위치데이터를 추출할 수 있으며, 이후 제2 사용자(시험자)의 운동 자세 및 동작을 촬영한 영상 즉, 제2 사용자 영상을 입력 받고, 미리 구축된 포즈추정모델을 이용하여 제2 사용자 영상으로부터 전문가의 제2 키포인트에 대한 제2 위치데이터를 추출할 수 있다. The system 1000 for providing user's posture and motion correction information using the expert's posture and motion analysis information according to this embodiment analyzes the expert's posture and motion before providing posture and motion correction information of the user or tester. This is preceded by, and for this purpose, the key point location data extraction unit 100 receives the image captured of the exercise posture and movement of the first user (expert), that is, the first user image, and uses a pre-built pose estimation model to The first location data for the expert's first key point can be extracted from the first user's image, and then the second user's image, that is, the video of the second user's (tester)'s exercise posture and movement, is input and built in advance. Second location data for the expert's second key point can be extracted from the second user's image using the pose estimation model.
본 실시예에 따른 포즈추정모델은 인간의 몸짓을 감지하기 위한 특수한 센서 없이도 순수하게 영성과 이미지 데이터만으로 인간의 자세와 동작을 인식하는 딥러닝 기술로, 상향식(Bottom-up) 기법 기반의 포즈추정모델이 적용될 수 있다. 상향식 기법은 입력 이미지에서 주요 키포인트의 위치를 찾고, 그에 따라 검출된 키포인트에 대하여 서로 연결정보를 찾아 하나의 객체로 연결시키는 그룹핑 기술이 적용될 수 있다. The pose estimation model according to this embodiment is a deep learning technology that recognizes human posture and movement purely through spirituality and image data without the need for a special sensor to detect human gestures, and pose estimation based on the bottom-up technique. The model can be applied. The bottom-up technique finds the location of major key points in the input image, and grouping technology can be applied to find connection information for the detected key points and connect them into one object.
이러한 상향식 기법 기반의 포즈추정모델은 1 내지 5단계의 알고리즘으로 구성될 수 있다. 1단계에서는 이미지와 비디오 데이터를 입력 받고, 2단계에서는 입력데이터에서 딥러닝 합성곱신경망(CNN)을 통해 이미지 특징을 추출하고, 3단계에서는 추출된 특징을 단계를 거치면서 키포인트를 추출하고, 키포인트 사이를 연결(단계를 반복할수록 성능이 높아짐)할 수 있다. 상기한 각 단계는 브랜치(Branch) 1과 2로 구성되며, 브랜치 1은 이미지에서 키포인트의 위치를 파악할 수 있도록 학습하는 파트이고, 브랜치 2는 키포인트를 연결하여 관계 정보를 생성하는 파트이다. 그리고, 4단계에서는 동일한 사람(객체)의 키포인트 간을 연결할 수 있다. 인접할 수 있는 키포인트의 정보는 사전에 프로그래밍(ex. 오른쪽 어깨와 연결 가능한 키포인트는 목과 오른쪽 팔꿈치가 됨)될 수 있으며, 키포인트와 연결될 가능성이 가장 높은 키포인트를 연결(ex. 해당 오른쪽 어깨와 연결 가능성이 가장 높은 오른쪽 팔꿈치를 연결함)할 수 있다. 어깨와 팔꿈치는 서로 연결 가능한 조합이므로 연결 가능성을 측정하지만, 어깨와 오른발 사이의 연결 가능성은 고려하지 않는다. 마지막 5단계에서는 각 신체 부위에 대한 결과물을 합계하여 출력할 수 있다. This bottom-up technique-based pose estimation model may consist of an algorithm of 1 to 5 steps. In the first step, image and video data are input, in the second step, image features are extracted from the input data through deep learning convolutional neural network (CNN), and in the third step, key points are extracted by going through the extracted features, and key points are extracted. Connections can be made (performance increases as steps are repeated). Each of the above steps consists of branches 1 and 2. Branch 1 is a part that learns to identify the location of key points in the image, and branch 2 is a part that connects key points to create relationship information. And in step 4, key points of the same person (object) can be connected. Information on key points that can be adjacent can be programmed in advance (e.g., key points that can be connected to the right shoulder become the neck and right elbow), and the key point that is most likely to be connected to the key point is connected (e.g., the key point that can be connected to the right shoulder This can be done by connecting the highest right elbow). The shoulder and elbow are combinations that can be connected to each other, so the connection possibility is measured, but the connection possibility between the shoulder and the right foot is not considered. In the final step 5, the results for each body part can be totaled and output.
본 실시예에 따른 포즈추정모델은 이미 공개된 알고리즘을 활용할 수 있으며, 일례로 미디어파이프, 알파포즈, 오픈포즈 등을 다양하게 적용할 수 있다.The pose estimation model according to this embodiment can utilize algorithms that have already been released, and various methods such as media pipe, alpha pose, and open pose can be applied as examples.
본 실시예에 따른 키포인트 위치데이터 추출부(100)는 상향식 기반의 포즈추정모델을 이용하여 전문가 영상으로부터 전문가 객체에 대한 키포인트 좌표데이터를 추출하고, 이와는 별개로 혹은 동시에 시험자 영상으로부터 시험자 객체에 대한 키포인트 좌표데이터를 추출하여 키포인트 각도변화데이터 생성부(200)로 각각 전달할 수 있다.The key point location data extraction unit 100 according to this embodiment extracts key point coordinate data for the expert object from the expert image using a bottom-up based pose estimation model, and separately or simultaneously, key point coordinate data for the expert object from the tester image. Coordinate data can be extracted and transmitted to the key point angle change data generation unit 200, respectively.
상기 키포인트 각도변화데이터 생성부(200)는, 전문가 영상에 대한 포즈추정결과인 제1 위치데이터를 기반으로 시간흐름에 따른 제1 키포인트의 제1 각도변화데이터를 생성하고, 시험자 영상에 대한 포즈추정결과인 제2 위치데이터를 기반으로 시간흐름에 따른 제2 키포인트의 제2 각도변화데이터를 생성할 수 있다.The key point angle change data generation unit 200 generates first angle change data of the first key point over time based on the first position data, which is the pose estimation result for the expert image, and performs pose estimation for the tester image. Based on the resulting second location data, second angle change data of the second key point over time can be generated.
이를 위해 키포인트 각도변화데이터 생성부(200)는 도 3에 도시된 바와 같이, 제1 시간-각도 변화 산출부(210) 및 제2 시간-각도 변화 산출부(220) 중 적어도 하나를 포함할 수 있다.To this end, the key point angle change data generation unit 200 may include at least one of a first time-angle change calculation unit 210 and a second time-angle change calculation unit 220, as shown in FIG. 3. there is.
상기 제1 시간-각도 변화 산출부(210)는, 제1 위치데이터를 기반으로 미리 설정된 샘플링시간 마다 제1 키포인트의 각도를 각각 추출하고, 추출된 제1 키포인트의 각도변화를 시간의 흐름에 따라 나타낸 제1 시간각도변화그래프를 생성할 수 있다.The first time-angle change calculation unit 210 extracts the angle of the first key point at each preset sampling time based on the first location data, and calculates the angle change of the extracted first key point over time. The first time angle change graph shown can be generated.
좀 더 구체적으로, 키포인트 위치데이터 추출부(100)를 통해 추출된 제1 위치데이터에서 약 30msec의 시간(샘플링시간)마다 제1 키포인트들의 각도를 각각 추출할 수 있다. 본 실시예에서 키포인트의 각도는 특정 키포인트를 기준으로 연결되는 두 브랜치(branch)가 이루는 각도를 의미하며 영상에서는 전문가(제1 사용자)가 동작을 행하면서 이루어지는 팔 관절, 다리 관절, 고 관절 등의 각도를 의미한다. 이와 같이 제1 키포인트들의 각도가 추출되면 샘플링시간의 흐름에 따른 제1 키포인트의 각도 변화를 나타낸 제1 시간각도변화그래프를 생성할 수 있으며, 예를 들어 도 4의 (a)에 도시된 바와 같이 전문가(제1 사용자)의 왼쪽 무릎의 시간 별 각도에 대한 그래프데이터를 생성할 수 있다. More specifically, the angles of the first key points can be extracted from the first location data extracted through the key point location data extractor 100 every about 30 msec (sampling time). In this embodiment, the angle of the key point refers to the angle formed by two branches connected based on a specific key point, and in the video, the angle of the arm, leg joint, hip joint, etc. made while the expert (first user) performs the movement. It means angle. When the angles of the first key points are extracted in this way, a first time angle change graph showing the change in the angle of the first key point over the passage of sampling time can be generated, for example, as shown in (a) of FIG. 4. It is possible to generate graph data about the angle of the expert's (first user's) left knee over time.
본 실시예에서 제1 시간각도변화그래프는 그래프 형식으로 표현되는 데이터만을 의미하는 것이 아니라, 샘플링시간의 흐름에 따른 제1 키포인트의 각도 변화를 나타낸 제1 각도변화데이터를 의미하는 것이 바람직하며, 제1 각도변화데이터를 그래프 방식으로 설명한 것은 시각적인 비교가 직관적으로 가능하게 때문에 발명의 이해를 돕기 위한 적합한 하나의 수단으로서 적용한 것이다.In this embodiment, the first time angle change graph does not only refer to data expressed in a graph format, but preferably refers to first angle change data showing the angle change of the first key point over the passage of sampling time. 1 Explaining the angle change data in a graph format was applied as an appropriate means to aid understanding of the invention because it allows for intuitive visual comparison.
상기 제2 시간-각도 변화 산출부(220)는, 제2 위치데이터를 기반으로 샘플링시간 마다 제2 키포인트의 각도를 각각 추출하고, 추출된 제2 키포인트의 각도변화를 시간의 흐름에 따라 나타낸 제2 시간각도변화그래프를 생성할 수 있다.The second time-angle change calculation unit 220 extracts the angle of the second key point at each sampling time based on the second location data, and displays the angle change of the extracted second key point over time. 2 You can create a time angle change graph.
좀 더 구체적으로, 키포인트 위치데이터 추출부(100)를 통해 추출된 제2 위치데이터에서 약 30msec의 시간(샘플링시간)마다 제2 키포인트들의 각도를 각각 추출할 수 있다. 본 실시예에서 키포인트의 각도는 특정 키포인트를 기준으로 연결되는 두 브랜치(branch)가 이루는 각도를 의미하며 영상에서는 시험자(제2 사용자)가 동작을 행하면서 이루어지는 팔 관절, 다리 관절, 고 관절 등의 각도를 의미한다. 이와 같이 제2 키포인트들의 각도가 추출되면 샘플링시간의 흐름에 따른 제2 키포인트의 각도 변화를 나타낸 제2 시간각도변화그래프를 생성할 수 있으며, 예를 들어 도 4의 (b)에 도시된 바와 같이 시험자(제2 사용자)의 왼쪽 무릎의 시간 별 각도에 대한 그래프데이터를 생성할 수 있다. More specifically, the angles of the second key points can be extracted from the second location data extracted through the key point location data extraction unit 100 every about 30 msec (sampling time). In this embodiment, the angle of the key point refers to the angle formed by two branches connected based on a specific key point, and in the video, the angle of the arm joint, leg joint, hip joint, etc. made while the tester (second user) performs the movement. It means angle. When the angles of the second key points are extracted in this way, a second time angle change graph showing the change in the angle of the second key point over the passage of sampling time can be generated, for example, as shown in (b) of FIG. 4. Graph data about the angle of the tester's (second user's) left knee over time can be generated.
본 실시예에서 제2 시간각도변화그래프는 그래프 형식으로 표현되는 데이터만을 의미하는 것이 아니라, 샘플링시간의 흐름에 따른 제2 키포인트의 각도 변화를 나타낸 제2 각도변화데이터를 의미하는 것이 바람직하며, 제2 각도변화데이터를 그래프 방식으로 설명한 것은 시각적인 비교가 직관적으로 가능하게 때문에 발명의 이해를 돕기 위한 적합한 하나의 수단으로서 적용한 것이다.In this embodiment, the second time angle change graph does not only mean data expressed in a graph format, but preferably means second angle change data showing the angle change of the second key point over the passage of sampling time. 2 The explanation of the angle change data in a graph format was applied as a suitable means to aid understanding of the invention because it allows for intuitive visual comparison.
상기 키포인트 차이데이터 생성부(300)는, 제1 각도변화데이터를 기준으로 제1 각도변화데이터 및 제2 각도변화데이터 간을 비교하여 제1 키포인트 및 제2 키포인트 간의 각도 및 템포 중 적어도 하나에 대한 키포인트 차이데이터를 생성할 수 있다.The key point difference data generator 300 compares the first angle change data and the second angle change data based on the first angle change data to determine at least one of the angle and tempo between the first key point and the second key point. Key point difference data can be generated.
이를 위해 키포인트 차이데이터 생성부(300)는 도 5에 도시된 바와 같이, 키포인트 각도차이데이터 생성부(310) 및 키포인트 템포차이데이터 생성부(320) 중 적어도 하나를 포함할 수 있다.To this end, the key point difference data generator 300 may include at least one of the key point angle difference data generator 310 and the key point tempo difference data generator 320, as shown in FIG. 5 .
상기 키포인트 각도차이데이터 생성부(310)는, 샘플링시간 별(ex. 30msec 마다)로 제2 시간각도변화그래프에서 제2 키포인트의 각도가 제1 시간각도변화그래프에서 제1 키포인트의 각도와 얼마나 차이가 나는지를 비교하여 키포인트 각도차이데이터를 생성할 수 있다.The key point angle difference data generator 310 determines how much the angle of the second key point in the second time angle change graph differs from the angle of the first key point in the first time angle change graph for each sampling time (ex. every 30 msec). You can generate key point angle difference data by comparing whether the
여기서, 제1 시간각도변화그래프는 전문가(제1 사용자)의 자세 및 동작에 대한 제1 키포인트들의 샘플링시간 별 각도 값을 포함한 데이터로서 기준데이터로서 활용되며, 제2 시간각도변화그래프는 시험자(제2 사용자)의 자세 및 동작에 대한 제2 키포인트들의 샘플링시간 별 각도 값을 포함한 데이터로서 비교대상데이터로서 활용될 수 있다. Here, the first time angle change graph is data containing angle values for each sampling time of the first key points for the posture and movement of the expert (first user) and is used as reference data, and the second time angle change graph is used as reference data for the tester (first user). 2 This data includes angle values for each sampling time of the second key points for the posture and movement of the user and can be used as comparison target data.
이에 따라, 키포인트 각도차이데이터 생성부(310)는 제2 키포인트의 각도가 제1 키포인트의 각도와 각 샘플링시간 별로 얼마나 차이가 있는지 비교하고, 그 비교결과를 도출하여 키포인트 각도차이데이터를 생성할 수 있다. 이러한 키포인트 각도차이데이터에는 샘플링시간, 각 샘플링시간에서의 제1 키포인트 각도 및 제2 키포인트 각도와, 제1 키포인트 각도에서 제2 키포인트 각도를 감산한 각도 값(부호(양 또는 음) 정보도 포함)을 포함할 수 있다. Accordingly, the key point angle difference data generation unit 310 can compare how much the angle of the second key point differs from the angle of the first key point for each sampling time, derive the comparison result, and generate key point angle difference data. there is. This key point angle difference data includes the sampling time, the first key point angle and the second key point angle at each sampling time, and the angle value obtained by subtracting the second key point angle from the first key point angle (including sign (positive or negative) information). may include.
예를 들어, 도 6에 도시된 바와 같이 이전 샘플링시간(Tsampling _ 0)과 현재 샘플링시간(Tsampling_1)가 서로 동일하다고 가정했을 때, 첫 번째 예시인 현재 샘플링시간(Tsampling_1)에서 제2 키포인트(Ex. 1)의 각도가 제1 키포인트의 각도보다 큰 경우에는 제1 키포인트에서 제2 키포인트(Ex. 1)을 감산함에 따라 해당 각도차이데이터 A는 음(-)의 부호정보를 포함할 수 있고, 두 번째 예시인 현재 샘플링시간(Tsampling_1)에서 제2 키포인트(Ex. 2)의 각도가 제1 키포인트의 각도보다 작은 경우에는 제1 키포인트에서 제2 키포인트(Ex. 1)을 감산함에 따라 해당 각도차이데이터 B는 양(+)의 부호정보를 포함할 수 있다.For example, as shown in Figure 6, assuming that the previous sampling time (T sampling_0 ) and the current sampling time (T sampling_1 ) are the same, in the first example, the current sampling time (T sampling_1 ), the second If the angle of the key point (Ex. 1) is greater than the angle of the first key point, the angle difference data A may include negative (-) sign information as the second key point (Ex. 1) is subtracted from the first key point. In the second example, the current sampling time (T sampling_1 ), if the angle of the second key point (Ex. 2) is smaller than the angle of the first key point, the second key point (Ex. 1) is subtracted from the first key point. Accordingly, the angle difference data B may include positive (+) sign information.
상기 키포인트 템포차이데이터 생성부(320)는, 샘플링시간의 각 구간 별로 제1 시간각도변화그래프에서 제1 키포인트의 각도변화속도를 계산하고, 제2 시간각도변화그래프에서 제2 키포인트의 각도변화속도를 계산하고, 제2 키포인트의 각도변화속도가 제1 키포인트의 각도변화속도와 얼마나 차이가 나는지를 비교하여 키포인트 템포차이데이터를 생성할 수 있다. 여기서, 샘플링시간의 구간은 상술한 예시와 같이 30msec마다 각도 샘플링이 이루어지기 때문에 예를 들어, 총 5번의 샘플링이 이루어진 것으로 가정하면, 0~30msec 샘플링시간구간, 30~60msec 샘플링시간구간, 60~90msec 샘플링시간구간, 90~120msec 샘플링시간구간, 120~150msec 샘플링시간구간으로 이루어지며, 이러한 각 샘플링시간구간 별로 제1 시간각도변화그래프에 포함된 데이터를 이용하여 제1 키포인트의 각도변화속도를 계산하고, 제2 시간각도변화그래프에 포함된 데이터를 이용하여 제2 키포인트의 각도변화속도를 계산할 수 있다.The key point tempo difference data generator 320 calculates the angle change rate of the first key point in the first time angle change graph for each section of the sampling time, and calculates the angle change rate of the second key point in the second time angle change graph. By calculating and comparing how much the angle change rate of the second key point differs from the angle change rate of the first key point, key point tempo difference data can be generated. Here, the sampling time interval is angular sampling every 30 msec as in the above-mentioned example, so for example, assuming that a total of 5 samplings are performed, 0~30 msec sampling time interval, 30~60 msec sampling time interval, 60~ It consists of a 90msec sampling time section, a 90~120msec sampling time section, and a 120~150msec sampling time section, and for each of these sampling time sections, the angle change rate of the first key point is calculated using the data included in the first time angle change graph. And, the angle change rate of the second key point can be calculated using the data included in the second time angle change graph.
본 실시예에 따른 키포인트의 각도변화속도는 이전 샘플링시간과 현재 샘플링시간 동안에 얼마만큼의 키포인트의 각도변화가 일어났는지를 수치적으로 나타낸 값을 의미하며, 각 키포인트에서의 동작 템포를 의미할 수 있다.The angle change rate of the key point according to this embodiment means a value that numerically represents how much the angle change of the key point occurred between the previous sampling time and the current sampling time, and may mean the tempo of operation at each key point. .
상기 제1 키포인트의 각도변화속도(VAKP1)는 하기의 수식 1에 따라 샘플링시간의 각 구간 별로 계산될 수 있다.The angular change rate (VA KP1 ) of the first key point can be calculated for each section of the sampling time according to Equation 1 below.
[수식 1][Formula 1]
수식 1에서 DKP1 _Angle은 샘플링시간의 간격 동안 제1 키포인트의 각도 변화량이고, Tsampling은 샘플링시간의 간격일 수 있다. 예를 들어, 제1 키포인트의 각도 변화량(DKP1_Angle)은 도 7에 도시된 바와 같이 이전 샘플링시간(Tsampling _ 0)의 제1 키포인트 각도와 현재 샘플링시간(Tsampling _ 1)의 제1 키포인트 각도 간의 차이를 의미하며, 해당 변화량을 이전 샘플링시간(Tsampling _ 0)과 현재 샘플링시간(Tsampling _1) 간격으로 나누어주면 특정 샘플링시간의 간격에 대한 제1 키포인트의 각도변화속도(VAKP1)가 계산될 수 있다.In Equation 1, D KP1 _Angle is the angle change amount of the first key point during the sampling time interval, and T sampling may be the sampling time interval. For example, the angle change amount (D KP1_Angle ) of the first key point is the first key point angle of the previous sampling time (T sampling _ 0 ) and the first key point of the current sampling time (T sampling _ 1 ), as shown in FIG. It means the difference between angles, and if the amount of change is divided by the interval between the previous sampling time (T sampling _ 0 ) and the current sampling time (T sampling _1 ), the angle change rate of the first key point for the interval of a specific sampling time (VA KP1 ) can be calculated.
상기 제2 키포인트의 각도변화속도(VAKP2)는 하기의 수식 2에 따라 상기 샘플링시간의 각 구간 별로 계산될 수 있다.The angular change rate (VA KP2 ) of the second key point can be calculated for each section of the sampling time according to Equation 2 below.
[수식 2][Formula 2]
수식 2에서 DKP2 _Angle은 샘플링시간의 간격 동안 제2 키포인트의 각도 변화량이고, Tsampling은 상기 샘플링시간의 간격일 수 있다. 예를 들어, 제2 키포인트(Ex. 1)의 각도 변화량(DKP2 _Angle)은 도 8에 도시된 바와 같이 이전 샘플링시간(Tsampling _ 0)의 제1 키포인트 각도와 현재 샘플링시간(Tsampling _ 1)의 제1 키포인트 각도 간의 차이를 의미하며, 해당 변화량을 이전 샘플링시간(Tsampling _ 0)과 현재 샘플링시간(Tsampling _1) 간격으로 나누어주면 특정 샘플링시간의 간격에 대한 제2 키포인트의 각도변화속도(VAKP2)가 계산될 수 있다. In Equation 2, D KP2 _Angle is the angle change amount of the second key point during the sampling time interval, and T sampling may be the sampling time interval. For example, the angle change amount (D KP2 _Angle ) of the second key point (Ex. 1) is the angle of the first key point of the previous sampling time (T sampling _ 0 ) and the current sampling time (T sampling _) , as shown in FIG. 1 ) means the difference between the angles of the first key point, and if the amount of change is divided by the interval between the previous sampling time (T sampling _ 0 ) and the current sampling time (T sampling _1 ), the angle of the second key point for the interval of the specific sampling time is The rate of change (VA KP2 ) can be calculated.
또한, 도 9에 도시된 바와 같이 제2 키포인트(Ex. 2)의 각도 변화량(DKP2_Angle)은 이전 샘플링시간(Tsampling _ 0)의 제1 키포인트 각도와 현재 샘플링시간(Tsampling_1)의 제1 키포인트 각도 간의 차이를 의미하며, 해당 변화량을 이전 샘플링시간(Tsampling_0)과 현재 샘플링시간(Tsampling _1) 간격으로 나누어주면 특정 샘플링시간의 간격에 대한 제2 키포인트의 각도변화속도(VAKP2)가 계산될 수 있으며, 다만, 도 8과 비교해보면 제1 키포인트의 변화량보다 큰 경우인지 또는 작은 경우인지에 따라 구분될 뿐 제2 키포인트의 각도변화속도를 계산하는 방식은 동일하게 적용될 수 있다.In addition, as shown in FIG. 9, the angle change amount (D KP2_Angle ) of the second key point (Ex. 2) is the first key point angle of the previous sampling time (T sampling_0 ) and the first key point angle of the current sampling time (T sampling_1 ). It means the difference between key point angles, and if the amount of change is divided by the interval between the previous sampling time (T sampling_0 ) and the current sampling time (T sampling _1 ), the angle change rate (VA KP2 ) of the second key point for the interval of the specific sampling time is However, when compared to FIG. 8, it is distinguished depending on whether the amount of change is larger or smaller than the amount of change of the first key point, but the method of calculating the angular change rate of the second key point can be applied in the same way.
상기 사용자 교정정보 제공부(400)는, 키포인트 차이데이터 생성부(300)를 통해 생성된 키포인트 차이데이터를 기반으로 시험자(제2 사용자)의 자세 및 동작에 대한 각도교정정보 및 템포교정정보 중 적어도 하나를 생성하여 제공할 수 있다.The user correction information providing unit 400 provides at least one of angle correction information and tempo correction information for the posture and movement of the tester (second user) based on the key point difference data generated through the key point difference data generating unit 300. You can create one and provide it.
이를 위해 사용자 교정정보 제공부(400)는 도 10에 도시된 바와 같이, 사용자 각도교정정보 제공부(410) 및 사용자 템포교정정보 제공부(420) 중 적어도 하나를 포함할 수 있다.To this end, the user correction information providing unit 400 may include at least one of a user angle correction information providing unit 410 and a user tempo correction information providing unit 420, as shown in FIG. 10 .
상기 사용자 각도교정정보 제공부(410)는, 키포인트 각도차이데이터 생성부(310)로부터 제공되는 키포인트 각도차이데이터에서 각도교정대상 샘플링시간, 각도교정대상 각도차이 값, 및 각도교정대상 각도차이 값의 부호정보를 각각 산출할 수 있다.The user angle correction information providing unit 410 determines the angle correction target sampling time, angle correction target angle difference value, and angle correction target angle difference value from the key point angle difference data provided from the key point angle difference data generating unit 310. Each code information can be calculated.
좀 더 구체적으로 사용자 각도교정정보 제공부(410)는, 다수의 샘플링시간 각각에 대한 제1 키포인트의 각도 및 제2 키포인트의 각도를 비교하고, 제1 키포인트의 각도에서 제2 키포인트의 각도를 감산한 차이 값을 계산하고, 계산된 차이 값의 절대 값이 미리 설정된 기준각도 값 이상인 경우, 해당 샘플링시간을 각도교정대상 샘플링시간으로 선정할 수 있으며, 선정된 각도교정대상 샘플링시간 별로 제1 키포인트의 각도에서 제2 키포인트의 각도를 감산한 각도교정대상 각도차이 값과 더불어, 해당 각도교정대상 각도차이 값의 부호정보를 산출할 수 있다. More specifically, the user angle correction information provider 410 compares the angle of the first key point and the angle of the second key point for each of a plurality of sampling times, and subtracts the angle of the second key point from the angle of the first key point. When one difference value is calculated, and the absolute value of the calculated difference value is greater than the preset reference angle value, the corresponding sampling time can be selected as the angle correction target sampling time, and the first key point can be selected for each selected angle correction target sampling time. In addition to the angle correction target angle difference value obtained by subtracting the angle of the second key point from the angle, sign information of the angle correction target angle difference value can be calculated.
상기 각도교정대상 샘플링시간은, 다수의 샘플링시간 중 제1 키포인트의 각도 및 제2 키포인트의 각도의 차이 값이 미리 설정된 기준각도 값 이상인 샘플링시간을 의미할 수 있다. 즉, 도 6에 도시된 각도차이데이터에 포함된 각도차이 값의 절대 값이 미리 설정된 기준각도 값 이상인 경우에 해당 샘플링시간(즉, 현재 샘플링시간)을 각도교정대상 샘플링시간으로 선정할 수 있다.The angle correction target sampling time may mean a sampling time in which the difference value between the angle of the first key point and the angle of the second key point among the plurality of sampling times is greater than or equal to a preset reference angle value. That is, if the absolute value of the angle difference value included in the angle difference data shown in FIG. 6 is greater than or equal to the preset reference angle value, the corresponding sampling time (i.e., current sampling time) can be selected as the sampling time for angle correction.
상기 각도교정대상 각도차이 값은, 각도교정대상 샘플링시간 별로 제1 키포인트의 각도에서 제2 키포인트의 각도를 감산한 각도차이 값을 의미할 수 있다.The angle correction target angle difference value may mean an angle difference value obtained by subtracting the angle of the second key point from the angle of the first key point for each angle correction target sampling time.
상기 각도교정대상 각도차이 값의 부호정보는, 제1 키포인트의 각도에서 제2 키포인트의 각도를 감산한 각도차이 값에 대한 부호 즉 양(+) 또는 음(-)에 대한 정보를 포함할 수 있다. 즉, 각도교정대상 샘플링시간은 해당 샘플링시간에 대하여 각도교정이 필요함을 의미하고, 각도교정대상 각도차이 값은 제1 키포인트의 각도와 제2 키포인트의 각도 간이 얼마나 차이가 나는지에 대한 정보를 의미하고, 각도교정대상 각도차이 값의 부호정보는 제1 키포인트의 각도와 제2 키포인트의 각도 중 어느 키포인트 각도가 더 큰지에 대한 정보를 의미할 수 있다.The sign information of the angle difference value subject to angle correction may include information about the sign of the angle difference value obtained by subtracting the angle of the second key point from the angle of the first key point, that is, positive (+) or negative (-). . In other words, the angle correction target sampling time means that angle correction is required for the sampling time, and the angle correction target angle difference value refers to information about how much the difference is between the angle of the first key point and the angle of the second key point. , The sign information of the angle difference value subject to angle correction may mean information about which key point angle is larger among the angle of the first key point and the angle of the second key point.
또한, 사용자 각도교정정보 제공부(410)는, 산출된 각도교정대상 샘플링시간 별로 각도교정대상 각도차이 값 및 각도교정대상 각도차이 값의 부호정보에 따라 제2 키포인트와 관련된 자세 및 동작의 각도교정정보를 각각 생성하여 제공할 수 있다.In addition, the user angle correction information provider 410 performs angle correction of the posture and motion related to the second key point according to the angle correction target angle difference value and the sign information of the angle correction target angle difference value for each angle correction target sampling time calculated. Each piece of information can be created and provided.
좀 더 구체적으로 사용자 각도교정정보 제공부(410)는, 각도교정대상 샘플링시간에서 각도교정대상 각도차이 값의 부호정보가 양(+)의 값을 갖는 경우 해당 제2 키포인트의 자세와 동작 각도를 각도교정대상 각도차이 값만큼 크게 할 것을 가이드 하는 각도교정정보를 제공할 수 있으며, 이와 반대로 각도교정대상 샘플링시간에서 각도교정대상 각도차이 값의 부호정보가 음(-)의 값을 갖는 경우 해당 제2 키포인트의 자세와 동작 각도를 각도교정대상 각도차이 값만큼 작게 할 것을 가이드 하는 각도교정정보를 제공할 수 있다. 이때, 각도교정대상 샘플링시간들이 연속적일 가능성이 높으므로, 각도교정대상 샘플링시간들에 해당되는 연속된 이미지를 추출해 짧은 영상을 생성하여 각도교정대상의 자세나 동작 교정이 언제 필요한지를 직관적으로 지적하면서, 가령 해당 시점에서 왼쪽 팔을 좀 더 펴거나 구부리라는 코칭 멘트 또는 오른쪽 다리를 좀 더 펴거나 구부리라는 코칭 멘트를 제공할 수 있다. 다만, 각도교정대상 샘플링시간들이 연속적이지 않더라도 특정 시점에 대한 동작 또는 자세에 대한 이미지 추출 및 코칭 멘트의 제공은 가능하다.More specifically, the user angle correction information providing unit 410 determines the posture and motion angle of the second key point when the sign information of the angle difference value of the angle correction target has a positive (+) value at the angle correction target sampling time. Angle correction information can be provided to guide the angle correction target to be as large as the angle difference value. Conversely, if the sign information of the angle correction target angle difference value has a negative (-) value at the angle correction target sampling time, the corresponding correction information is provided. 2 Angle correction information can be provided to guide the key point posture and motion angles to be as small as the angle correction target angle difference value. At this time, since the sampling times for the angle correction target are likely to be continuous, continuous images corresponding to the sampling times for the angle correction target are extracted and a short video is created to intuitively point out when correction of the posture or motion of the angle correction target is needed. , for example, at that point, a coaching comment may be provided to extend or bend the left arm more or to extend or bend the right leg more. However, even if the sampling times for angle correction are not continuous, it is possible to extract images and provide coaching comments about movements or postures at a specific point in time.
상기 사용자 템포교정정보 제공부(420)는, 키포인트 템포차이데이터에서 샘플링시간 중 제1 키포인트의 각도변화속도(VAKP1) 및 제2 키포인트의 각도변화속도(VAKP2)의 대소를 비교하여 제1 템포교정대상 샘플링시간과 제2 템포교정대상 샘플링시간을 각각 추출할 수 있다.The user tempo correction information provider 420 compares the magnitude of the angle change rate (VA KP1 ) of the first key point and the angle change rate (VA KP2 ) of the second key point during the sampling time in the key point tempo difference data to determine the first The tempo correction target sampling time and the second tempo correction target sampling time can be extracted, respectively.
상기 제1 템포교정대상 샘플링시간은, 제2 키포인트의 각도변화속도(VAKP2)가 제1 키포인트의 각도변화속도(VAKP1)보다 미리 설정된 제1 각도변화기준속도 이상인 샘플링시간을 의미하고, 제2 템포교정대상 샘플링시간은, 제2 키포인트의 각도변화속도(VAKP2)가 제1 키포인트의 각도변화속도(VAKP1)보다 미리 설정된 제2 각도변화 기준속도 이하인 샘플링시간을 의미할 수 있다. 사용자 템포교정정보 제공부(420)는, 이와 같이 추출된 제1 템포교정대상 샘플링시간 및 제2 템포교정대상 샘플링시간 별 대소 비교 결과에 따라 제2 키포인트와 관련된 동작의 템포교정정보를 각각 생성하여 제공할 수 있다.The first tempo correction target sampling time refers to a sampling time at which the angle change rate (VA KP2 ) of the second key point is greater than the first angle change reference rate set in advance than the angle change rate (VA KP1 ) of the first key point, and 2 The sampling time subject to tempo correction may mean a sampling time at which the angle change rate (VA KP2 ) of the second key point is less than the preset second angle change reference rate than the angle change rate (VA KP1 ) of the first key point. The user tempo correction information provider 420 generates tempo correction information for the movement related to the second key point according to the size comparison result for the first tempo correction target sampling time and the second tempo correction target sampling time extracted as described above. can be provided.
좀 더 구체적으로, 사용자 템포교정정보 제공부(420)는, 제1 템포교정대상 샘플링시간에서 제2 키포인트와 관련된 동작 템포를 느리게 할 것을 가이드 하는 템포교정정보를 제공할 수 있으며, 이와 반대로 제2 템포교정대상 샘플링시간에 대하여 제2 키포인트와 관련된 동작 템포를 빠르게 할 것을 가이드 하는 템포교정정보를 제공할 수 있다. 이때, 템포교정대상 샘플링시간들이 연속적일 가능성이 높으므로, 템포교정대상 샘플링시간들에 해당되는 연속된 이미지를 추출해 짧은 영상을 생성하여 템포교정대상의 자세나 동작 교정이 언제 필요한지를 직관적으로 지적하면서, 가령 해당 시점에서 왼쪽 팔을 좀 더 빨리 펴거나 좀 더 천천히 구부리라는 코칭 멘트 또는 오른쪽 다리를 좀 더 느리게 펴거나 빨리 구부리라는 코칭 멘트를 제공할 수 있다. 다만, 템포교정대상 샘플링시간들이 연속적이지 않더라도 특정 시점에 대한 동작 또는 자세에 대한 이미지 추출 및 코칭 멘트의 제공은 가능하다. More specifically, the user tempo correction information provider 420 may provide tempo correction information that guides slowing down the action tempo related to the second key point at the first tempo correction target sampling time, and conversely, the second Tempo correction information can be provided to guide the user to speed up the action tempo related to the second key point with respect to the sampling time subject to tempo correction. At this time, since the sampling times subject to tempo correction are likely to be continuous, continuous images corresponding to the sampling times subject to tempo correction are extracted and a short video is created to intuitively point out when correction of the posture or movement of the tempo correction subject is necessary. , for example, at that point, a coaching comment may be provided to extend the left arm more quickly or bend more slowly, or to extend the right leg more slowly or bend more quickly. However, even if the sampling times subject to tempo correction are not continuous, it is possible to extract images and provide coaching comments about movements or postures at a specific point in time.
이상에서 설명한 것은 본 발명에 의한 전문가의 자세 및 동작 분석 정보를 이용한 사용자의 자세 및 동작 교정 정보 제공 시스템을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.What has been described above is only one embodiment for implementing the system for providing user posture and motion correction information using the expert's posture and motion analysis information according to the present invention, and the present invention is not limited to the above embodiment. As claimed in the patent claims, it will be said that the technical spirit of the present invention exists to the extent that anyone skilled in the art can make various changes and implementations without departing from the gist of the present invention.
1000: 사용자의 자세 및 동작 교정 시스템
100: 키포인트 위치데이터 추출부
200: 키포인트 각도변화데이터 생성부
210: 제1 시간-각도 변화 산출부
220: 제2 시간-각도 변화 산출부
300: 키포인트 차이데이터 생성부
310: 키포인트 각도차이데이터 생성부
320: 키포인트 템포차이데이터 생성부
400: 사용자 교정정보 제공부
410: 사용자 각도교정정보 제공부
420: 사용자 템포교정정보 제공부1000: User’s posture and motion correction system
100: Key point location data extraction unit
200: Key point angle change data generation unit
210: first time-angle change calculation unit
220: Second time-angle change calculation unit
300: Key point difference data generation unit
310: Key point angle difference data generation unit
320: Key point tempo difference data generation unit
400: User correction information provision unit
410: User angle correction information provision unit
420: User tempo correction information provision unit
Claims (6)
상기 제1 위치데이터를 기반으로 시간흐름에 따른 상기 제1 키포인트의 제1 각도변화데이터를 생성하고, 상기 제2 위치데이터를 기반으로 시간흐름에 따른 상기 제2 키포인트의 제2 각도변화데이터를 생성하는 키포인트 각도변화데이터 생성부;
상기 제1 각도변화데이터를 기준으로 상기 제1 각도변화데이터 및 상기 제2 각도변화데이터 간을 비교하여 상기 제1 키포인트 및 상기 제2 키포인트 간의 각도 및 템포 중 적어도 하나에 대한 키포인트 차이데이터를 생성하는 키포인트 차이데이터 생성부; 및
상기 키포인트 차이데이터를 기반으로 제2 사용자의 자세 및 동작에 대한 각도교정정보 및 템포교정정보 중 적어도 하나를 생성하여 제공하는 사용자 교정정보 제공부를 포함하고,
상기 키포인트 각도변화데이터 생성부는,
상기 제1 위치데이터를 기반으로 미리 설정된 샘플링시간 마다 상기 제1 키포인트의 각도를 각각 추출하고, 추출된 상기 제1 키포인트의 각도변화를 시간의 흐름에 따라 나타낸 제1 시간각도변화그래프를 생성하는 제1 시간-각도 변화 산출부; 및
상기 제2 위치데이터를 기반으로 상기 샘플링시간 마다 상기 제2 키포인트의 각도를 각각 추출하고, 추출된 상기 제2 키포인트의 각도변화를 시간의 흐름에 따라 나타낸 제2 시간각도변화그래프를 생성하는 제2 시간-각도 변화 산출부를 포함하고,
상기 키포인트 차이데이터 생성부는,
상기 샘플링시간 별로 상기 제2 시간각도변화그래프에서 상기 제2 키포인트의 각도가 상기 제1 시간각도변화그래프에서 상기 제1 키포인트의 각도와 얼마나 차이가 나는지를 비교하여 키포인트 각도차이데이터를 생성하는 키포인트 각도차이데이터 생성부; 및
상기 샘플링시간의 각 구간 별로 상기 제1 시간각도변화그래프에서 상기 제1 키포인트의 각도변화속도를 계산하고, 상기 제2 시간각도변화그래프에서 상기 제2 키포인트의 각도변화속도를 계산하고, 상기 제2 키포인트의 각도변화속도가 상기 제1 키포인트의 각도변화속도와 얼마나 차이가 나는지를 비교하여 키포인트 템포차이데이터를 생성하는 키포인트 템포차이데이터 생성부를 포함하고,
상기 사용자 교정정보 제공부는,
상기 키포인트 각도차이데이터에서 상기 샘플링시간 중 상기 제1 키포인트의 각도 및 상기 제2 키포인트의 각도의 차이 값이 미리 설정된 기준각도 값 이상인 각도교정대상 샘플링시간, 상기 각도교정대상 샘플링시간 별로 상기 제1 키포인트의 각도에서 상기 제2 키포인트의 각도를 감산한 각도교정대상 각도차이 값, 및 상기 각도교정대상 각도차이 값의 부호정보를 각각 산출하고, 산출된 상기 각도교정대상 샘플링시간 별로 상기 각도교정대상 각도차이 값 및 상기 각도교정대상 각도차이 값의 부호정보에 따라 상기 제2 키포인트와 관련된 자세 및 동작의 각도교정정보를 각각 생성하여 제공하는 사용자 각도교정정보 제공부; 및
상기 키포인트 템포차이데이터에서 상기 샘플링시간 중 상기 제1 키포인트의 각도변화속도(VAKP1) 및 상기 제2 키포인트의 각도변화속도(VAKP2)의 대소를 비교하여 상기 제2 키포인트의 각도변화속도(VAKP2)가 상기 제1 키포인트의 각도변화속도(VAKP1)보다 미리 설정된 제1 각도변화기준속도 이상인 제1 템포교정대상 샘플링시간과, 상기 제2 키포인트의 각도변화속도(VAKP2)가 상기 제1 키포인트의 각도변화속도(VAKP1)보다 미리 설정된 제2 각도변화 기준속도 이하인 제2 템포교정대상 샘플링시간을 각각 추출하고, 추출된 상기 제1 템포교정대상 샘플링시간 및 상기 제2 템포교정대상 샘플링시간 별 대소 비교 결과에 따라 상기 제2 키포인트와 관련된 동작의 템포교정정보를 각각 생성하여 제공하는 사용자 템포교정정보 제공부를 포함하고,
상기 사용자 각도교정정보 제공부는,
각도교정대상 샘플링시간들에 해당되는 이미지들을 각각 추출하여 각도교정대상 영상을 생성하고, 상기 제2 키포인트와 관련된 자세 및 동작에 대한 코칭 멘트 및 상기 각도교정대상 영상을 포함하는 각도교정정보를 제공하고,
상기 사용자 템포교정정보 제공부는,
템포교정대상 샘플링시간들에 해당되는 이미지들을 각각 추출하여 템포교정대상 영상을 생성하고, 상기 제2 키포인트와 관련된 동작에 대한 코칭 멘트 및 상기 템포교정대상 영상을 포함하는 템포교정정보를 제공하는 것을 특징으로 하는 전문가의 자세 및 동작 분석 정보를 이용한 사용자의 자세 및 동작 교정 정보 제공 시스템.
A key point that extracts first location data for the first key point of the first user from the first user image using a pose estimation model, and extracts second location data for the second key point of the second user from the second user image. Location data extraction unit;
Generate first angle change data of the first key point over time based on the first location data, and generate second angle change data of the second key point over time based on the second location data. A key point angle change data generation unit;
Comparing the first angle change data and the second angle change data based on the first angle change data to generate key point difference data for at least one of the angle and tempo between the first key point and the second key point. Key point difference data generation unit; and
A user correction information provider that generates and provides at least one of angle correction information and tempo correction information for the posture and movement of the second user based on the key point difference data,
The key point angle change data generation unit,
A device that extracts the angle of the first key point at each preset sampling time based on the first location data and generates a first time angle change graph showing the angle change of the extracted first key point over time. 1 Time-angle change calculation unit; and
A second device for extracting the angle of the second key point at each sampling time based on the second location data and generating a second time angle change graph showing the angle change of the extracted second key point over time. It includes a time-angle change calculation unit,
The key point difference data generation unit,
Key point angle for generating key point angle difference data by comparing how much the angle of the second key point in the second time angle change graph differs from the angle of the first key point in the first time angle change graph for each sampling time. Difference data generation unit; and
Calculate the angular change rate of the first key point in the first time angle change graph for each section of the sampling time, calculate the angular change rate of the second key point in the second time angle change graph, and calculate the angular change rate of the second key point in the second time angle change graph. A key point tempo difference data generator that generates key point tempo difference data by comparing how much the angle change rate of the key point differs from the angle change rate of the first key point,
The user correction information provider,
In the key point angle difference data, the angle correction target sampling time in which the difference value between the angle of the first key point and the angle of the second key point during the sampling time is more than a preset reference angle value, the first key point for each angle correction target sampling time Calculate the angle correction target angle difference value by subtracting the angle of the second key point from the angle, and the sign information of the angle correction target angle difference value, respectively, and calculate the angle correction target angle difference for each angle correction target sampling time. a user angle correction information provider that generates and provides angle correction information for posture and motion related to the second key point according to the value and sign information of the angle difference value to be corrected; and
In the key point tempo difference data , the angle change rate (VA KP2 ) is a first tempo correction target sampling time whose angle change rate (VA KP1 ) is more than the first angle change reference rate set in advance than the angle change rate (VA KP1) of the first key point, and the angle change rate (VA KP2 ) of the second key point is the first tempo correction target sampling time. The second tempo correction target sampling time that is less than the preset second angle change reference speed than the angle change rate (VA KP1 ) of the key point is extracted, and the extracted first tempo correction target sampling time and the second tempo correction target sampling time It includes a user tempo correction information providing unit that generates and provides tempo correction information for each movement related to the second key point according to the size comparison result,
The user angle correction information provider,
An angle correction target image is generated by extracting images corresponding to the angle correction target sampling times, and angle correction information including the angle correction target image and coaching comments on posture and movement related to the second key point are provided. ,
The user tempo correction information provision unit,
A tempo correction target image is generated by extracting images corresponding to tempo correction target sampling times, and tempo correction information including the tempo correction target image and a coaching comment for an action related to the second key point is provided. A system that provides user posture and motion correction information using expert posture and motion analysis information.
상기 제1 키포인트의 각도변화속도(VAKP1)는 하기의 수식 1에 따라 상기 샘플링시간의 각 구간 별로 계산되고,
상기 제2 키포인트의 각도변화속도(VAKP2)는 하기의 수식 2에 따라 상기 샘플링시간의 각 구간 별로 계산되고,
상기 수식 1은 이고, 상기 수식 2는 이고,
상기 DKP1_Angle은 상기 샘플링시간의 간격 동안 상기 제1 키포인트의 각도 변화량이고,
상기 DKP2_Angle은 상기 샘플링시간의 간격 동안 상기 제2 키포인트의 각도 변화량이고,
상기 Tsampling은 상기 샘플링시간의 간격인 것을 특징으로 하는 전문가의 자세 및 동작 분석 정보를 이용한 사용자의 자세 및 동작 교정 정보 제공 시스템.
According to claim 1,
The angular change rate (VA KP1 ) of the first key point is calculated for each section of the sampling time according to Equation 1 below,
The angular change rate (VA KP2 ) of the second key point is calculated for each section of the sampling time according to Equation 2 below,
Formula 1 above is And the formula 2 above is ego,
The D KP1_Angle is the angle change amount of the first key point during the sampling time interval,
The D KP2_Angle is the angle change amount of the second key point during the sampling time interval,
A system for providing user's posture and motion correction information using expert's posture and motion analysis information, wherein the T sampling is the sampling time interval.
상기 사용자 각도교정정보 제공부는,
상기 각도교정대상 샘플링시간에서 상기 각도교정대상 각도차이 값의 부호정보가 양(+)의 값을 갖는 경우 상기 제2 키포인트의 자세와 동작 각도를 상기 각도교정대상 각도차이 값만큼 크게 할 것을 가이드 하는 각도교정정보를 제공하고,
상기 각도교정대상 샘플링시간에서 상기 각도교정대상 각도차이 값의 부호정보가 음(-)의 값을 갖는 경우 상기 제2 키포인트의 자세와 동작 각도를 상기 각도교정대상 각도차이 값만큼 작게 할 것을 가이드 하는 각도교정정보를 제공하는 것을 특징으로 하는 전문가의 자세 및 동작 분석 정보를 이용한 사용자의 자세 및 동작 교정 정보 제공 시스템.
According to claim 1,
The user angle correction information provider,
When the sign information of the angle correction target angle difference value has a positive (+) value at the angle correction target sampling time, guiding the attitude and motion angle of the second key point to be increased by the angle correction target angle difference value. Provides angle correction information,
If the sign information of the angle difference value of the angle correction target has a negative value at the angle correction target sampling time, guiding the attitude and motion angle of the second key point to be as small as the angle correction target angle difference value. A system for providing user posture and motion correction information using expert posture and motion analysis information, characterized in that it provides angle correction information.
상기 사용자 템포교정정보 제공부는,
상기 제1 템포교정대상 샘플링시간에서 상기 제2 키포인트와 관련된 동작 템포를 느리게 할 것을 가이드 하는 템포교정정보를 제공하고,
상기 제2 템포교정대상 샘플링시간에 대하여 상기 제2 키포인트와 관련된 동작 템포를 빠르게 할 것을 가이드 하는 템포교정정보를 제공하는 것을 특징으로 하는 전문가의 자세 및 동작 분석 정보를 이용한 사용자의 자세 및 동작 교정 정보 제공 시스템.
According to claim 1,
The user tempo correction information provision unit,
Providing tempo correction information that guides slowing down the action tempo related to the second key point at the first tempo correction target sampling time,
User's posture and motion correction information using expert's posture and motion analysis information, characterized in that it provides tempo correction information that guides the user to speed up the motion tempo related to the second key point with respect to the second tempo correction target sampling time. Delivery system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220105200A KR102578469B1 (en) | 2022-08-23 | 2022-08-23 | Systme for providing posture and motion correction information of user using expert posture and motion analysis imformation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220105200A KR102578469B1 (en) | 2022-08-23 | 2022-08-23 | Systme for providing posture and motion correction information of user using expert posture and motion analysis imformation |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102578469B1 true KR102578469B1 (en) | 2023-09-14 |
Family
ID=88013901
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220105200A KR102578469B1 (en) | 2022-08-23 | 2022-08-23 | Systme for providing posture and motion correction information of user using expert posture and motion analysis imformation |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102578469B1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140070044A (en) * | 2012-11-30 | 2014-06-10 | 경희대학교 산학협력단 | Method and apparatus for estimation of joint motions capable of bio-feedback |
| KR20200022788A (en) * | 2018-08-23 | 2020-03-04 | 전자부품연구원 | Device and method for analyzing motion |
| KR20210128943A (en) * | 2020-04-17 | 2021-10-27 | 초록소프트 주식회사 | Apparatus and method for comparing and correcting sports posture using neural network |
| KR102372613B1 (en) | 2020-05-22 | 2022-03-08 | 구본준 | Method, apparatus and computer-readable medium for correctting posture through overlay analysis of image |
| KR20220058790A (en) | 2020-10-30 | 2022-05-10 | 주식회사 케이티 | Exercise posture analysis method using dual thermal imaging camera, guide method for posture correction and computer program implementing the same method |
-
2022
- 2022-08-23 KR KR1020220105200A patent/KR102578469B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140070044A (en) * | 2012-11-30 | 2014-06-10 | 경희대학교 산학협력단 | Method and apparatus for estimation of joint motions capable of bio-feedback |
| KR20200022788A (en) * | 2018-08-23 | 2020-03-04 | 전자부품연구원 | Device and method for analyzing motion |
| KR20210128943A (en) * | 2020-04-17 | 2021-10-27 | 초록소프트 주식회사 | Apparatus and method for comparing and correcting sports posture using neural network |
| KR102372613B1 (en) | 2020-05-22 | 2022-03-08 | 구본준 | Method, apparatus and computer-readable medium for correctting posture through overlay analysis of image |
| KR20220058790A (en) | 2020-10-30 | 2022-05-10 | 주식회사 케이티 | Exercise posture analysis method using dual thermal imaging camera, guide method for posture correction and computer program implementing the same method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106650687B (en) | Posture correction method based on depth information and skeleton information | |
| Patrona et al. | Motion analysis: Action detection, recognition and evaluation based on motion capture data | |
| Chaudhari et al. | Yog-guru: Real-time yoga pose correction system using deep learning methods | |
| Zhao et al. | Rule-based human motion tracking for rehabilitation exercises: realtime assessment, feedback, and guidance | |
| Wei et al. | Towards on-demand virtual physical therapist: Machine learning-based patient action understanding, assessment and task recommendation | |
| WO2008129442A1 (en) | System and method of assessing a movement pattern | |
| CN113255522B (en) | Personalized motion attitude estimation and analysis method and system based on time consistency | |
| Nomm et al. | Monitoring of the human motor functions rehabilitation by neural networks based system with kinect sensor | |
| Mortazavi et al. | Continues online exercise monitoring and assessment system with visual guidance feedback for stroke rehabilitation | |
| Kanase et al. | Pose estimation and correcting exercise posture | |
| Goyal et al. | Yoga pose perfection using deep learning: An algorithm to estimate the error in yogic poses | |
| Marusic et al. | Evaluating Kinect, OpenPose and BlazePose for Human Body Movement Analysis on a Low Back Pain Physical Rehabilitation Dataset | |
| CN113974612A (en) | Automatic assessment method and system for upper limb movement function of stroke patient | |
| KR102578469B1 (en) | Systme for providing posture and motion correction information of user using expert posture and motion analysis imformation | |
| Morel et al. | Automatic evaluation of sports motion: A generic computation of spatial and temporal errors | |
| Rozaliev et al. | Methods and applications for controlling the correctness of physical exercises performance | |
| Razzaq et al. | Unskem: unobtrusive skeletal-based emotion recognition for user experience | |
| Kahol et al. | Documenting motion sequences with a personalized annotation system | |
| Parisi et al. | Learning human motion feedback with neural self-organization | |
| CN117109567A (en) | Riding gesture monitoring method and system for dynamic bicycle movement and wearable riding gesture monitoring equipment | |
| CN115530814A (en) | Child motion rehabilitation training method based on visual posture detection and computer deep learning | |
| CN115251905A (en) | Breast cancer postoperative rehabilitation state assessment method and system | |
| CN115019399A (en) | Human body posture detection method | |
| CN114973048A (en) | Method and device for correcting rehabilitation action, electronic equipment and readable medium | |
| Sachdeva et al. | A Computer Vision Assisted Yoga Trainer for a Naive Performer by Using Human Joint Detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| N231 | Notification of change of applicant | ||
| GRNT | Written decision to grant |