KR20220170544A - Object movement recognition system and method for workout assistant - Google Patents
Object movement recognition system and method for workout assistant Download PDFInfo
- Publication number
- KR20220170544A KR20220170544A KR1020210081519A KR20210081519A KR20220170544A KR 20220170544 A KR20220170544 A KR 20220170544A KR 1020210081519 A KR1020210081519 A KR 1020210081519A KR 20210081519 A KR20210081519 A KR 20210081519A KR 20220170544 A KR20220170544 A KR 20220170544A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- image
- image data
- exercise
- posture
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000013139 quantization Methods 0.000 claims abstract description 26
- 230000009471 action Effects 0.000 claims description 53
- 238000004891 communication Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 10
- 230000000694 effects Effects 0.000 abstract description 3
- 230000036544 posture Effects 0.000 description 59
- 238000010586 diagram Methods 0.000 description 14
- 230000006399 behavior Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 210000003127 knee Anatomy 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G06K9/6201—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns
Abstract
Description
본 발명은 운동 보조를 위한 객체 움직임 인식 시스템 및 방법에 관한 것으로, 보다 상세하게는 영상 데이터를 기반으로 이미지 양자화(Quantization)를 수행하여 객체의 스켈레톤 데이터를 인식하고, 스켈레톤 데이터를 이용하여 객체의 행동을 분석하는 운동 보조를 위한 객체 움직임 인식 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for recognizing object motion for motion assistance, and more particularly, to perform image quantization based on image data to recognize skeleton data of an object, and to use the skeleton data to perform object behavior. It relates to an object motion recognition system and method for motion assistance that analyzes.
피트니스 또는 운동 관리를 위해 다양한 홈트레이닝 서비스들이 존재하고 있으나, 기존 홈트레이닝 서비스는 단순한 운동 동작 따라하기, 횟수 세기에 국한되어 실제 사용자의 운동 자세에 대한 분석이나 운동 결과에 대한 피드백을 얻기 힘들다는 단점이 있다. 최근에는 이러한 단점을 해결하기 위해 컴퓨터 비전 기술을 기반으로 하는 영상 판독 기능을 활용하는 방안이 제시되고 있다.There are various home training services for fitness or exercise management, but existing home training services are limited to simple exercise movements and counting, so it is difficult to analyze the user's exercise posture or get feedback on exercise results. there is Recently, in order to solve these disadvantages, a method of utilizing an image reading function based on computer vision technology has been proposed.
한편, 2차원 영상으로부터 사람의 동작을 인식하는 연구는 컴퓨터 비전(computer vision)의 초창기부터 수행되어온 매우 중요한 연구분야 중의 하나로써 영상감시(visual surveillance), 사람-컴퓨터 상호작용(human-computer interaction), 지능로봇(intelligent robot) 등 다양한 적용 분야를 가지고 있다. 동작인식에서 인식의 대상인 사람의 동작은 다양한 의미를 지닐 수 있는데, 신체부위들이 어떻게 배치(a configuration of the human body)되어 있는가를 표현하는 자세 혹은 특정한 의미를 가지는 신체의 움직임을 나타내는 동작(gesture) 등을 들 수 있다.On the other hand, the study of recognizing human motion from 2D images is one of the very important research fields that has been conducted since the early days of computer vision, and it is a field of visual surveillance and human-computer interaction. , intelligent robots, etc. In motion recognition, the motion of a person, the object of recognition, can have various meanings, such as a posture that expresses how body parts are arranged (a configuration of the human body) or a gesture that expresses a body movement that has a specific meaning. can be heard
특히 촬영된 영상에서 사용자의 동작과 자세를 인식하여 사용자의 행동의 의미를 인식하는 기술이 널리 연구되고 있다. 예를 들면 센서 또는 카메라를 이용하여 사람의 신체 골격을 검출하고, 관절의 이동 궤적을 분석하여 사용자의 행동 및 제스처를 인식하는 기술이 개발되어 사용되고 있다. 그리고 이와 같은 기존의 사용자 행동 인식 방법들은 주로 사용자의 동작을 보다 정확하게 분석하여 행동을 인식하려는 노력을 기울여 왔다.In particular, a technique for recognizing the meaning of a user's action by recognizing the user's motion and posture in a photographed image has been widely studied. For example, a technology for detecting a human body skeleton using a sensor or a camera and analyzing a movement trajectory of a joint to recognize a user's action and gesture has been developed and used. In addition, such existing user behavior recognition methods have mainly focused on analyzing the user's behavior more accurately and recognizing the behavior.
그러나 단순히 영상 내에 포함된 정보만을 이용하여 사용자의 행동을 인식하는 방식은 인식 정확도에 있어서 한계가 있고, 잘못된 인식 결과가 출력될 가능성이 높다. However, a method of recognizing a user's behavior using only information included in an image has limitations in recognition accuracy and is highly likely to output erroneous recognition results.
또한, 촬영된 영상에서 사용자의 동작과 자세를 인식하기 위해 딥 러닝 모델이 도입되어 사용되고 있지만 학습과 추론 과정에서 고비용의 전산 자원과 함께 많은 연산량이 필요하고, 이에 따라 많은 학습 시간이 요구되어 개발이 지연되는 등의 문제점을 가지고 있다.In addition, deep learning models have been introduced and used to recognize the user's motion and posture in the captured images, but in the process of learning and reasoning, a large amount of computation is required along with expensive computational resources, and thus a lot of learning time is required, making development difficult. It has problems such as delay.
따라서, 영상 내의 정보를 체계화하고 이를 활용하여 동작을 인식하는데 있어 보다 경량화된 딥 러닝 모델의 요구와 더불어 사용자와 영상 간의 상호 교류가 가능한 기술 개발이 요구되고 있다.Therefore, in order to systematize the information in the image and use it to recognize motion, there is a demand for a more lightweight deep learning model and the development of a technology that enables mutual exchange between the user and the image.
전술한 문제점을 개선하기 위한 본 발명 실시예들의 목적은 사용자 단말을 통하여 촬영된 영상 데이터에 대해 이미지 양자화(Quantization) 작업을 수행하고 양자화된 이미지 신호를 표준 데이터와 비교하여 객체의 골격부터 움직임까지 선과 면으로 재구성하여, 크기와 이동거리를 객관적으로 수치화 함으로써 객체의 움직임을 정확하게 인식할 수 있는 운동 보조를 위한 객체 움직임 인식 시스템 및 방법을 제공하는 데 있다.An object of the embodiments of the present invention to improve the above problems is to perform image quantization on image data captured through a user terminal and compare the quantized image signal with standard data to determine a line from the skeleton to the motion of an object. It is an object of the present invention to provide an object motion recognition system and method for motion assistance that can accurately recognize the motion of an object by reconstructing it into a plane and objectively quantifying the size and moving distance.
본 발명의 다른 목적은 별도의 부가적인 장비 없이도 사용자의 운동 자세를 분석하고 피드백을 줄 수 있도록 객체의 움직임을 촬영하고, 촬영된 영상 데이터로부터 상기 객체의 움직임을 기준 자세와 비교하여 분석하고, 잘못된 자세로 판단된 부분들만 편집하여 오류 영상 데이터를 생성하고, 상기 오류 영상 데이터와 운동 데이터를 트레이너 단말로 전송하는 운동 보조를 위한 객체 움직임 인식 시스템 및 방법을 제공하는 데 있다.Another object of the present invention is to capture the movement of an object so that the user's exercise posture can be analyzed and feedback given without additional equipment, and from the captured image data, the motion of the object is compared with the reference posture and analyzed, and the incorrect It is to provide a system and method for recognizing object movement for exercise assistance that generates error image data by editing only portions determined as postures and transmits the error image data and exercise data to a trainer terminal.
본 발명의 다른 목적은 약인공지능 알고리즘을 활용하여 세부 운동에 대한 카테고라이징 및 라벨링을 통해 특정 운동을 세분화하는 방식으로 경량화된 인공지능을 활용한 영상 속 객체의 움직임 예측 및 평가의 정확도를 높일 수 있는 운동 보조를 위한 객체 움직임 인식 시스템 및 방법을 제공하는 데 있다.Another object of the present invention is to increase the accuracy of motion prediction and evaluation of objects in images using lightweight artificial intelligence by subdividing specific exercises through categorization and labeling of detailed exercises using weak artificial intelligence algorithms. It is to provide an object motion recognition system and method for motion assistance that can be performed.
본 발명의 또 다른 목적은 여러 사람이 참여하는 그룹 운동 시에도 정확하게 각 사람의 움직임을 인식할 수 있는 운동 보조를 위한 객체 움직임 인식 시스템 및 방법을 제공하는 데 있다.Another object of the present invention is to provide an object motion recognition system and method for exercise assistance capable of accurately recognizing each person's motion even during a group exercise involving many people.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 의한 운동 보조를 위한 객체 움직임 인식 시스템은 운동하는 사용자를 촬영하여 영상 데이터를 생성하고, 상기 영상 데이터와 사용자로부터 입력된 운동 데이터를 서버로 전송하는 사용자 단말; 및 상기 영상 데이터의 개별 프레임에 대해 이미지(Quantization) 기법을 수행하여 양자화된 프레임 이미지를 생성하고, 상기 양자화된 프레임 이미지에서 객체를 추출하고, 상기 객체의 움직임을 기준 자세와 비교하여 비교 결과를 기초로 오류 영상 데이터를 생성하며, 상기 오류 영상 데이터 및 운동 데이터를 트레이너 단말로 전송하는 서버;를 포함할 수 있다.In order to achieve the above object, the object motion recognition system for exercise assistance according to an embodiment of the present invention generates image data by photographing a user exercising, and transmits the image data and exercise data input from the user to a server. A user terminal that transmits to; and performing a quantization technique on each frame of the image data to generate a quantized frame image, extract an object from the quantized frame image, and compare the movement of the object with a reference pose based on the comparison result. and a server that generates error image data and transmits the error image data and exercise data to a trainer terminal.
본 발명과 관련된 일 예로서 상기 서버는, 상기 영상 데이터의 개별 프레임에 대해 이미지 양자화(Quantization) 기법을 수행하여 양자화된 프레임 이미지를 생성하고, 상기 양자화된 프레임 이미지에서 상기 객체를 추출하는 객체 추출부; 상기 객체로부터 객체 스켈레톤 데이터를 생성하는 스켈레톤 생성부; 상기 객체 스켈레톤 데이터로부터 액션 파일을 생성하는 액션 파일 생성부; 상기 액션 파일을 기반으로 상기 객체의 움직임을 인식하는 행동 인식부; 인식된 상기 객체의 움직임을 상기 기준 자세와 비교하여 미리 설정된 오차를 초과하면 오류 자세로 판단하는 자세 분석부; 상기 영상 데이터에서 상기 오류 자세로 판단된 부분만 자동으로 선별하여 상기 오류 영상 데이터를 생성하는 오류 영상 데이터 생성부; 상기 영상 데이터 및 운동 데이터를 수신하고, 상기 오류 영상 데이터 및 운동 데이터를 상기 트레이너 단말로 전송하는 통신부; 및 상기 영상 데이터, 운동 데이터, 오류 영상 데이터 및 기준 자세를 저장하는 저장부;를 포함할 수 있다.As an example related to the present invention, the server generates a quantized frame image by performing an image quantization technique on each frame of the video data, and an object extractor configured to extract the object from the quantized frame image. ; a skeleton generation unit generating object skeleton data from the object; an action file generating unit generating an action file from the object skeleton data; an action recognition unit recognizing movement of the object based on the action file; a posture analysis unit that compares the motion of the recognized object with the reference posture and determines that the posture is an error when a preset error is exceeded; an erroneous image data generation unit that automatically selects only the portion determined to be the erroneous posture from the image data and generates the erroneous image data; a communication unit that receives the image data and exercise data and transmits the error image data and exercise data to the trainer terminal; and a storage unit configured to store the image data, exercise data, error image data, and a reference posture.
본 발명과 관련된 일 예로서 상기 이미지 양자화(Quantization) 기법은 이진화(binarization) 기법이고, 상기 액션 파일은 상기 영상 데이터의 개별 프레임 중에서 상기 객체가 수행하는 움직임을 나타내는 복수의 영상 프레임을 포함하는 제1레이어 및 상기 복수의 영상 프레임의 개별 프레임 내에서 상기 객체의 객체 스켈레톤 데이터를 나타내는 제2레이어를 포함할 수 있다.As an example related to the present invention, the image quantization technique is a binarization technique, and the action file includes a plurality of image frames representing motions performed by the object among individual frames of the image data. layer and a second layer representing object skeleton data of the object within individual frames of the plurality of image frames.
본 발명과 관련된 일 예로서 상기 제1레이어는 상기 복수의 영상 프레임 중에서 시작 프레임 정보, 종료 프레임 정보 및 상기 객체 스켈레톤 데이터가 없는 프레임을 포함하고, 상기 객체 스켈레톤 데이터는 상기 객체의 복수의 스켈레톤의 위치 데이터를 포함하고, 상기 제2레이어는 상기 객체의 복수의 스켈레톤의 위치 데이터 중 적어도 일부를 포함하고, 상기 운동 데이터는 운동 종류 및 종류별 동작 시나리오, 운동 세트, 운동 횟수 중 적어도 하나 이상을 포함하고, 상기 기준 자세는 운동 종류 및 종류별 동작 시나리오에 각각 대응하는 표준 객체 스켈레톤 데이터를 포함할 수 있다.As an example related to the present invention, the first layer includes start frame information, end frame information, and a frame without the object skeleton data among the plurality of image frames, and the object skeleton data includes positions of the plurality of skeletons of the object. data, wherein the second layer includes at least some of positional data of a plurality of skeletons of the object, and the exercise data includes at least one of an exercise type, an action scenario for each type, an exercise set, and a number of exercises; The reference posture may include standard object skeleton data respectively corresponding to exercise types and motion scenarios for each type.
본 발명과 관련된 일 예로서 상기 영상 데이터 내에 복수의 객체가 존재하는 경우, 상기 액션 파일 생성부는 상기 복수의 영상 프레임의 개별 프레임 내에 상기 복수의 객체에 각각 대응하는 복수의 랜드마크 레이어를 생성하고, 상기 자세 분석부는 상기 액션 파일 내 복수의 객체의 움직임을 각각 상기 기준 자세와 비교하여 판단할 수 있다.As an example related to the present invention, when a plurality of objects exist in the image data, the action file generator generates a plurality of landmark layers respectively corresponding to the plurality of objects in individual frames of the plurality of image frames, The posture analyzer may compare movements of a plurality of objects in the action file with the reference posture, respectively, and determine the determination.
본 발명과 관련된 일 예로서 상기 영상 데이터 및 운동 데이터는 상기 서버로 실시간 스트리밍 전송되고, 상기 서버는 상기 자세 분석부가 상기 객체의 움직임을 오류 자세로 판단하는 경우, 실시간으로 상기 오류 자세에 대한 피드백 정보를 생성하여 상기 사용자 단말로 전송하는 피드백 생성부를 더 포함할 수 있다.As an example related to the present invention, the video data and motion data are transmitted to the server by streaming in real time, and the server provides feedback information on the erroneous posture in real time when the posture analysis unit determines that the movement of the object is an erroneous posture. It may further include a feedback generator for generating and transmitting to the user terminal.
본 발명의 실시예에 따른 운동 보조를 위한 객체 움직임 인식 방법은 서버에 의해, 사용자 단말로부터 운동하는 사용자를 촬영하여 생성된 영상 데이터와 사용자로부터 입력된 운동 데이터를 수신하는 단계; 객체 추출부에 의해, 상기 영상 데이터의 개별 프레임에 대해 이미지 양자화(Quantization) 기법을 수행하여 양자화된 프레임 이미지를 생성하고, 상기 양자화된 프레임 이미지에서 객체를 추출하는 단계; 스켈레톤 생성부에 의해, 상기 객체로부터 객체 스켈레톤 데이터를 생성하는 단계; 액션 파일 생성부에 의해, 상기 객체 스켈레톤 데이터로부터 액션 파일을 생성하는 단계; 행동 인식부에 의해, 상기 액션 파일을 기반으로 상기 객체의 움직임을 인식하는 단계; 자세 분석부에 의해, 인식된 상기 객체의 움직임을 기준 자세와 비교하여 미리 설정된 오차를 초과하면 오류 자세로 판단하는 단계; 오류 영상 생성부에 의해, 상기 영상 데이터에서 상기 오류 자세로 판단된 부분만 자동으로 선별하여 오류 영상 데이터를 생성하는 단계; 및 상기 서버에 의해, 상기 오류 영상 데이터 및 운동 데이터를 트레이너 단말로 전송하는 단계;를 포함할 수 있다.An object motion recognition method for exercise assistance according to an embodiment of the present invention includes receiving, by a server, image data generated by photographing a user exercising from a user terminal and motion data input from the user; generating a quantized frame image by performing an image quantization technique on each frame of the image data by an object extractor, and extracting an object from the quantized frame image; generating object skeleton data from the object by a skeleton generator; generating an action file from the object skeleton data by an action file generator; Recognizing, by an action recognition unit, movement of the object based on the action file; comparing the movement of the recognized object with a reference posture by a posture analyzer and determining an error posture when a preset error is exceeded; generating erroneous image data by automatically selecting, by an erroneous image generating unit, only the portion determined to be the erroneous posture in the image data; and transmitting, by the server, the error image data and exercise data to a trainer terminal.
본 발명과 관련된 일 예로서 상기 이미지 양자화(Quantization) 기법은 이진화(binarization) 기법이고, 상기 액션 파일을 생성하는 단계는, 상기 영상 데이터의 영상 프레임 중에서 상기 객체가 수행하는 움직임을 나타내는 복수의 영상 프레임을 포함하는 제1레이어를 생성하는 단계; 및 상기 복수의 영상 프레임의 개별 프레임 내에서 상기 객체의 객체 스켈레톤 데이터를 나타내는 제2레이어를 생성하는 단계;를 더 포함할 수 있다.As an example related to the present invention, the image quantization technique is a binarization technique, and the generating of the action file includes a plurality of video frames representing motions performed by the object among video frames of the video data. Creating a first layer including; and generating a second layer representing object skeleton data of the object within individual frames of the plurality of image frames.
본 발명과 관련된 일 예로서 상기 제1레이어는 상기 복수의 영상 프레임 중에서 시작 프레임 정보, 종료 프레임 정보 및 상기 객체 스켈레톤 데이터가 없는 프레임을 포함하고, 상기 객체 스켈레톤 데이터는 상기 객체의 복수의 스켈레톤의 위치 데이터를 포함하고, 상기 제2레이어는 상기 객체의 복수의 스켈레톤의 위치 데이터 중 적어도 일부를 포함하고, 상기 운동 데이터는 운동 종류 및 종류별 동작 시나리오, 운동 세트, 운동 횟수 중 적어도 하나 이상을 포함하고, 상기 기준 자세는 운동 종류 및 종류별 동작 시나리오에 각각 대응하는 표준 객체 스켈레톤 데이터를 포함할 수 있다.As an example related to the present invention, the first layer includes start frame information, end frame information, and a frame without the object skeleton data among the plurality of image frames, and the object skeleton data includes positions of the plurality of skeletons of the object. data, wherein the second layer includes at least some of positional data of a plurality of skeletons of the object, and the exercise data includes at least one of an exercise type, an action scenario for each type, an exercise set, and a number of exercises; The reference posture may include standard object skeleton data respectively corresponding to exercise types and motion scenarios for each type.
본 발명과 관련된 일 예로서, 상기 영상 데이터 내에 복수의 객체가 존재하는 경우, 상기 액션 파일을 생성하는 단계는 상기 복수의 영상 프레임의 개별 프레임 내에 상기 복수의 객체에 각각 대응하는 복수의 랜드마크 레이어를 생성하고, 상기 오류 자세로 판단하는 단계는 상기 액션 파일 내 복수의 객체의 움직임을 각각 상기 기준 자세와 비교하여 판단하는 것을 특징으로 할 수 있다.As an example related to the present invention, when a plurality of objects exist in the image data, the generating of the action file may include a plurality of landmark layers respectively corresponding to the plurality of objects in individual frames of the plurality of image frames. The generating and determining the erroneous posture may be characterized in that the motions of a plurality of objects in the action file are compared with the reference posture and determined.
본 발명과 관련된 일 예로서 상기 영상 데이터 및 운동 데이터는 상기 서버로 실시간 스트리밍 전송되고, 상기 자세 분석부가 상기 객체의 움직임을 오류 자세로 판단하는 경우, 피드백 생성부가 실시간으로 상기 오류 자세에 대한 피드백 정보를 생성하여 상기 사용자 단말로 전송하는 피드백 생성 단계;를 더 포함할 수 있다.As an example related to the present invention, the video data and motion data are transmitted to the server by streaming in real time, and when the posture analysis unit determines the movement of the object as an erroneous posture, the feedback generating unit provides feedback information about the erroneous posture in real time. A feedback generation step of generating and transmitting to the user terminal; may further include.
본 발명의 일 실시예에 따른 운동 보조를 위한 객체 움직임 인식 시스템 및 방법은 영상을 기반으로 사용자가 운동하는 자세를 스켈레톤 데이터를 활용하여 분석할 수 있다.A system and method for recognizing object motion for exercise assistance according to an embodiment of the present invention may analyze a posture in which a user exercises based on an image by using skeleton data.
또한, 본 발명의 일 실시예는 인간의 형상을 본 뜬 스켈레톤 데이터를 활용하여 액션 파일을 생성하게 되어, 객체가 행하는 행동 비교, 객체의 동작 분석 및 예측을 하는데 효율적으로 사용이 가능하고, 회전, 승강에 의한 거부감을 최소화하며 기타 다른 부가적인 도구, 기능, 옵션 등이 추가 되지 않아 스트레스를 줄이며 신체 부위를 정확하게 스캔할 수 있다.In addition, one embodiment of the present invention creates an action file by utilizing skeleton data modeled after a human shape, so that it can be efficiently used for comparing actions performed by an object, analyzing and predicting the movement of an object, rotation, It minimizes the resistance caused by going up and down, and it does not add any other additional tools, functions, or options, so it reduces stress and accurately scans body parts.
본 발명의 일 실시예에 따른 운동 보조를 위한 객체 움직임 인식 시스템 및 방법은 인간의 영상 콘텐츠를 경량화된 인공지능 알고리즘을 기반으로 사람의 관절을 추출하고, 검출된 관절을 활용하여 움직임 예측과 평가를 통해서 인간이 행하는 동작에 대한 피드백, 정확도 등을 판단하여 바른 운동, 보행 등의 동작에 대한 정확도를 잡아줄 수 있다.An object motion recognition system and method for motion assistance according to an embodiment of the present invention extracts human joints based on a lightweight artificial intelligence algorithm from human image content, and predicts and evaluates motions using the detected joints. Through this, it is possible to determine the accuracy of motions such as correct exercise and walking by determining feedback and accuracy of motions performed by humans.
본 발명의 일 실시예에 따르면, 일방적인 콘텐츠의 소비가 아니라 특정 행동을 취했을 때, 오류 정보를 알려주거나 다음 동작을 취할 수 있도록 시청자료가 나타나는 등의 사용자와 콘텐츠 간의 상호교류 및 액션과 반작용을 통한 교류가 가능하여 인터랙션 작용이 가능한 프로그램 및 장기 관리가 필요한 프로그램 등에서 활용이 가능하다.According to an embodiment of the present invention, interaction between a user and content, and action and reaction, such as notification of error information or display of viewing data so that a user can take the next action, when a specific action is taken, rather than unilateral consumption of content. It can be used in programs where interaction is possible and programs that require long-term management.
도 1은 본 발명의 일 실시예에 따른 운동 보조를 위한 객체 움직임 인식 시스템을 개략적으로 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 서버의 구성을 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 운동 보조를 위한 객체 움직임 인식 방법을 도시한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 스켈레톤 모델의 예시를 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 따른 이미지 데이터 양자화(Quantization) 기법을 수행하는 예시를 보여주는 도면이다.
도 6은 본 발명의 일 실시예에 따른 랜드마크 레이어를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 사용자 단말에서 운동 보조를 위한 모바일 어플리케이션을 구동하는 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 사용자 단말에서 운동 보조를 위한 모바일 어플리케이션의 그래픽 인터페이스를 보여주는 도면이다.
도 9는 본 발명의 일 실시예에 따른 월별/일자별 오류 영상 데이터를 볼 수 있는 인터페이스를 보여주는 도면이다.1 is a block diagram schematically illustrating an object motion recognition system for motion assistance according to an embodiment of the present invention.
2 is a block diagram showing the configuration of a server according to an embodiment of the present invention.
3 is a flowchart illustrating an object motion recognition method for motion assistance according to an embodiment of the present invention.
4 is a diagram showing an example of a skeleton model according to an embodiment of the present invention.
5 is a diagram showing an example of performing an image data quantization technique according to an embodiment of the present invention.
6 is a diagram for explaining a landmark layer according to an embodiment of the present invention.
7 is a flowchart of driving a mobile application for exercise assistance in a user terminal according to an embodiment of the present invention.
8 is a diagram showing a graphic interface of a mobile application for exercise assistance in a user terminal according to an embodiment of the present invention.
9 is a diagram showing an interface for viewing erroneous image data by month/date according to an embodiment of the present invention.
상기한 바와 같은 본 발명을 첨부된 도면들과 실시예들을 통해 상세히 설명하도록 한다. The present invention as described above will be described in detail through the accompanying drawings and embodiments.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.It should be noted that technical terms used in the present invention are only used to describe specific embodiments and are not intended to limit the present invention. In addition, technical terms used in the present invention should be interpreted in terms commonly understood by those of ordinary skill in the art to which the present invention belongs, unless specifically defined otherwise in the present invention, and are excessively inclusive. It should not be interpreted in a positive sense or in an excessively reduced sense. In addition, when the technical terms used in the present invention are incorrect technical terms that do not accurately express the spirit of the present invention, they should be replaced with technical terms that those skilled in the art can correctly understand. In addition, general terms used in the present invention should be interpreted as defined in advance or according to context, and should not be interpreted in an excessively reduced sense.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.Also, singular expressions used in the present invention include plural expressions unless the context clearly dictates otherwise. In the present invention, terms such as "consisting of" or "comprising" should not be construed as necessarily including all of the various elements or steps described in the invention, and some of the elements or steps are included. It should be construed that it may not be, or may further include additional components or steps.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.In addition, terms including ordinal numbers such as first and second used in the present invention may be used to describe components, but components should not be limited by the terms. Terms are used only to distinguish one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element, without departing from the scope of the present invention.
본 명세서에 설명된 다양한 기법은 하드웨어 또는 소프트웨어와 함께 구현되거나, 적합한 경우에 이들 모두의 조합과 함께 구현될 수 있다. 본 명세서에 사용된 바와 같은 "...부(Unit)", "...서버(Server)" 및 "...시스템(System)" 등의 용어는 마찬가지로 컴퓨터 관련 엔티티(Entity), 즉 하드웨어, 하드웨어 및 소프트웨어의 조합, 소프트웨어 또는 실행 시의 소프트웨어와 등가로 취급할 수 있다. 또한, 본 발명의 프로그램에서 실행되는 각 기능은 모듈단위로 구성될 수 있고, 하나의 물리적 메모리에 기록되거나, 둘 이상의 메모리 및 기록매체 사이에 분산되어 기록될 수 있다.The various techniques described herein may be implemented with hardware or software, or a combination of both where appropriate. Terms such as "...Unit", "...Server" and "...System" as used herein also refer to computer-related entities, i.e., hardware , a combination of hardware and software, software, or software in execution. In addition, each function executed in the program of the present invention may be configured in module units and recorded in one physical memory or distributed between two or more memories and recording media.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, a preferred embodiment according to the present invention will be described in detail with reference to the accompanying drawings, but the same or similar components are assigned the same reference numerals regardless of reference numerals, and redundant description thereof will be omitted.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.In addition, in describing the present invention, if it is determined that a detailed description of a related known technology may obscure the gist of the present invention, the detailed description will be omitted. In addition, it should be noted that the accompanying drawings are only for easily understanding the spirit of the present invention, and should not be construed as limiting the spirit of the present invention by the accompanying drawings.
이하, 도면을 참조하여 본 발명의 실시예에 따른 운동 보조를 위한 객체 움직임 인식 시스템 및 방법을 설명한다.Hereinafter, an object motion recognition system and method for motion assistance according to an embodiment of the present invention will be described with reference to the drawings.
도 1은 본 발명의 일 실시예에 따른 운동 보조를 위한 객체 움직임 인식 시스템을 개략적으로 나타내는 블록도이다.1 is a block diagram schematically illustrating an object motion recognition system for motion assistance according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 운동 보조를 위한 객체 움직임 인식 시스템은, 운동하는 사용자를 촬영하여 영상 데이터를 생성하고, 상기 영상 데이터와 사용자로부터 입력된 운동 데이터를 서버로 전송하는 사용자 단말(100), 상기 영상 데이터의 개별 프레임에 대해 이미지 양자화(Quantization) 기법을 수행하여 양자화된 프레임 이미지를 생성하고, 상기 양자화된 프레임 이미지에서 객체를 추출하고, 상기 객체의 움직임을 기준 자세와 비교하여 비교 결과를 기초로 오류 영상 데이터를 생성하며, 상기 오류 영상 데이터 및 운동 데이터를 트레이너 단말(300)로 전송하는 서버(200)를 포함할 수 있다.Referring to FIG. 1, an object motion recognition system for exercise assistance according to an embodiment of the present invention generates image data by photographing a user exercising, and transmits the image data and exercise data input from the user to a server. The
이때, 도 1의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 사용자 단말(100)은 네트워크를 통하여 서버(200)와 연결될 수 있다. 서버(200)는, 네트워크를 통하여 상기 사용자 단말(100) 및 트레이너 단말(300)과 연결될 수 있다.At this time, each component of FIG. 1 is generally connected through a network. For example, the
여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.Here, the network refers to a connection structure capable of exchanging information between nodes such as a plurality of terminals and servers, and examples of such networks include a local area network (LAN) and a wide area network (WAN: Wide Area Network), the Internet (WWW: World Wide Web), wired and wireless data communications networks, telephone networks, and wired and wireless television communications networks. Examples of wireless data communication networks include 3G, 4G, 5G, 3rd Generation Partnership Project (3GPP), 5th Generation Partnership Project (5GPP), Long Term Evolution (LTE), World Interoperability for Microwave Access (WIMAX), Wi-Fi , Internet (Internet), LAN (Local Area Network), Wireless LAN (Wireless Local Area Network), WAN (Wide Area Network), PAN (Personal Area Network), RF (Radio Frequency), Bluetooth (Bluetooth) network, NFC ( A Near-Field Communication (Near-Field Communication) network, a satellite broadcasting network, an analog broadcasting network, a Digital Multimedia Broadcasting (DMB) network, etc. are included, but not limited thereto.
전술한 사용자 단말(100) 및 트레이너 단말(300)로는 PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 모바일 단말 장치 및 거치형PC, 노트북과 같은 컴퓨팅 장치가 이용될 수 있다.The
도 2는 본 발명의 일 실시예에 따른 서버의 구성을 나타내는 블록도이다.2 is a block diagram showing the configuration of a server according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 일 실시예에 따른 서버(200)는, 영상 데이터의 개별 프레임에 대해 이미지 양자화(Quantization) 기법을 수행하여 양자화된 프레임 이미지를 생성하고, 상기 양자화된 프레임 이미지에서 상기 객체를 추출하는 객체 추출부(220), 상기 객체로부터 객체 스켈레톤 데이터를 생성하는 스켈레톤 생성부(230), 상기 객체 스켈레톤 데이터로부터 액션 파일을 생성하는 액션 파일 생성부(240), 상기 액션 파일을 기반으로 상기 객체의 움직임을 인식하는 행동 인식부(250), 인식된 상기 객체의 움직임을 상기 기준 자세와 비교하여 미리 설정된 오차를 초과하면 오류 자세로 판단하는 자세 분석부(260), 상기 영상 데이터에서 상기 오류 자세로 판단된 부분만 자동으로 선별하여 상기 오류 영상 데이터를 생성하는 오류 영상 데이터 생성부(270), 상기 영상 데이터 및 운동 데이터를 수신하고, 상기 오류 영상 데이터 및 운동 데이터를 상기 트레이너 단말로 전송하는 통신부(210) 및 상기 영상 데이터, 운동 데이터, 오류 영상 데이터 및 기준 자세를 저장하는 저장부(290)를 포함할 수 있다.Referring to FIG. 2 , the
상기 서버(200)는 상기 자세 분석부(260)가 상기 객체의 움직임을 오류 자세로 판단하는 경우, 실시간으로 상기 오류 자세에 대한 피드백 정보를 생성하여 상기 사용자 단말로 전송하는 피드백 생성부(280)를 더 포함할 수 있다.When the
상기 객체 추출부(220)가 양자화된 프레임 이미지를 생성하기 위해 영상 데이터의 개별 프레임에 대해 수행하는 이미지 양자화(Quantization) 기법은 이진화(binarization) 기법일 수 있다.An image quantization technique performed on individual frames of video data by the
상기 액션 파일 생성부(240)가 생성하는 액션 파일은 상기 영상 데이터의 개별 프레임 중에서 상기 객체가 수행하는 움직임을 나타내는 복수의 영상 프레임을 포함하는 제1레이어 및 상기 복수의 영상 프레임의 개별 프레임 내에서 상기 객체의 객체 스켈레톤 데이터를 나타내는 제2레이어를 포함할 수 있다.The action file generated by the
상기 제1레이어는 상기 복수의 영상 프레임 중에서 시작 프레임 정보, 종료 프레임 정보 및 상기 객체 스켈레톤 데이터가 없는 프레임을 포함하고, 상기 객체 스켈레톤 데이터는 상기 객체의 복수의 스켈레톤의 위치 데이터를 포함하고, 상기 제2레이어는 상기 객체의 복수의 스켈레톤의 위치 데이터 중 적어도 일부를 포함하고, 상기 운동 데이터는 운동 종류 및 종류별 동작 시나리오, 운동 세트, 운동 횟수 중 적어도 하나 이상을 포함하고, 상기 기준 자세는 운동 종류 및 종류별 동작 시나리오에 각각 대응하는 표준 객체 스켈레톤 데이터를 포함할 수 있다.The first layer includes start frame information, end frame information, and a frame without object skeleton data among the plurality of image frames, the object skeleton data includes position data of a plurality of skeletons of the object, and the first layer includes position data of a plurality of skeletons of the object.
본 발명의 실시예에 따른 액션 파일 생성부(240)는 상기 영상 데이터 내에 복수의 객체가 존재하는 경우, 상기 복수의 영상 프레임의 개별 프레임 내에 상기 복수의 객체에 각각 대응하는 복수의 랜드마크 레이어를 생성하고, 자세 분석부(260)는 액션 파일 내 복수의 객체의 움직임을 각각 상기 기준 자세와 비교하여 판단할 수 있다.When a plurality of objects exist in the image data, the
본 발명의 일 실시예에 따르면, 사용자 단말(100)은 영상 데이터와 운동 데이터를 서버(200)로 실시간 스트리밍 전송할 수 있고, 서버(200)는 자세 분석부(260)가 객체의 움직임을 오류 자세로 판단하는 경우, 피드백 생성부(280)가 실시간으로 오류 자세에 대한 피드백 정보를 생성하여 사용자 단말(100)로 전송할 수 있다.According to an embodiment of the present invention, the
도 3은 본 발명의 일 실시예에 따른 운동 보조를 위한 객체 움직임 인식 방법을 도시한 흐름도이다.3 is a flowchart illustrating an object motion recognition method for motion assistance according to an embodiment of the present invention.
도 3을 참조하면, 서버(200)에 의해, 사용자 단말(100)로부터 운동하는 사용자를 촬영하여 생성된 영상 데이터와 사용자로부터 입력된 운동 데이터를 수신하는 단계(S310), 객체 추출부(220)에 의해, 상기 영상 데이터의 개별 프레임에 대해 이미지 양자화(Quantization) 기법을 수행하여 양자화된 프레임 이미지를 생성하고, 상기 양자화된 프레임 이미지에서 객체를 추출하는 단계(S320), 스켈레톤 생성부(230)에 의해, 상기 객체로부터 객체 스켈레톤 데이터를 생성하는 단계(S330), 액션 파일 생성부(240)에 의해, 상기 객체 스켈레톤 데이터로부터 액션 파일을 생성하는 단계(S340), 행동 인식부(250)에 의해, 상기 액션 파일을 기반으로 상기 객체의 움직임을 인식하는 단계(S350), 자세 분석부(260)에 의해, 인식된 상기 객체의 움직임을 기준 자세와 비교하여 미리 설정된 오차를 초과하면 오류 자세로 판단하는 단계(S360), 오류 영상 데이터 생성부(270)에 의해, 상기 영상 데이터에서 상기 오류 자세로 판단된 부분만 자동으로 선별하여 오류 영상 데이터를 생성하는 단계(S370), 상기 서버(200)에 의해, 상기 오류 영상 데이터 및 운동 데이터를 트레이너 단말로 전송하는 단계(S380), 피드백 생성부(280)에 의해, 상기 오류 자세에 대한 피드백 정보를 생성하여 사용자 단말(S390)로 전송하는 단계를 포함할 수 있다.Referring to FIG. 3 , the step of receiving, by the server 200, image data generated by photographing a user exercising from the user terminal 100 and exercise data input from the user (S310), object extraction unit 220 By performing an image quantization technique on each frame of the video data to generate a quantized frame image, and extracting an object from the quantized frame image (S320), the skeleton generator 230 By the step of generating object skeleton data from the object (S330), by the action file generation unit 240, by the step of generating an action file from the object skeleton data (S340), by the action recognition unit 250, Recognizing the motion of the object based on the action file (S350), comparing the recognized motion of the object with a reference posture by the posture analysis unit 260, and determining an error posture when a preset error is exceeded Step (S360), generating erroneous image data by automatically selecting only the part determined to be the erroneous posture in the image data by the erroneous image data generator 270 (S370), by the server 200 , Transmitting the erroneous image data and exercise data to a trainer terminal (S380), generating feedback information on the erroneous posture by the feedback generating unit 280 and transmitting the generated feedback information to the user terminal (S390). can
본 발명의 일 실시예에 따르면, 상기 이미지 양자화(Quantization) 기법은 이진화(binarization) 기법일 수 있다.According to an embodiment of the present invention, the image quantization technique may be a binarization technique.
본 발명의 일 실시예에 따르면, 상기 액션 파일을 생성하는 단계(S340)는, 상기 영상 데이터의 영상 프레임 중에서 상기 객체가 수행하는 움직임을 나타내는 복수의 영상 프레임을 포함하는 제1레이어를 생성하는 단계 및 상기 복수의 영상 프레임의 개별 프레임 내에서 상기 객체의 객체 스켈레톤 데이터를 나타내는 제2레이어를 생성하는 단계를 더 포함할 수 있다.According to an embodiment of the present invention, the generating of the action file (S340) may include generating a first layer including a plurality of image frames representing motions performed by the object among the image frames of the image data. and generating a second layer representing object skeleton data of the object within individual frames of the plurality of image frames.
상기 제1레이어는 상기 복수의 영상 프레임 중에서 시작 프레임 정보, 종료 프레임 정보 및 상기 객체 스켈레톤 데이터가 없는 프레임을 포함하고, 상기 객체 스켈레톤 데이터는 상기 객체의 복수의 스켈레톤의 위치 데이터를 포함하고, 상기 제2레이어는 상기 객체의 복수의 스켈레톤의 위치 데이터 중 적어도 일부를 포함하고, 상기 운동 데이터는 운동 종류 및 종류별 동작 시나리오, 운동 세트, 운동 횟수 중 적어도 하나 이상을 포함하고, 상기 기준 자세는 운동 종류 및 종류별 동작 시나리오에 각각 대응하는 표준 객체 스켈레톤 데이터를 포함할 수 있다.The first layer includes start frame information, end frame information, and a frame without object skeleton data among the plurality of image frames, the object skeleton data includes position data of a plurality of skeletons of the object, and the first layer includes position data of a plurality of skeletons of the object.
본 발명의 일 실시예에 따르면, 상기 영상 데이터 내에 복수의 객체가 존재하는 경우, 상기 액션 파일을 생성하는 단계(S340)는 상기 복수의 영상 프레임의 개별 프레임 내에 상기 복수의 객체에 각각 대응하는 복수의 랜드마크 레이어를 생성하고, 상기 오류 자세로 판단하는 단계(S360)는 상기 액션 파일 내 복수의 객체의 움직임을 각각 상기 기준 자세와 비교하여 판단할 수 있다.According to an embodiment of the present invention, when a plurality of objects exist in the image data, generating the action file (S340) includes a plurality of objects respectively corresponding to the plurality of objects in individual frames of the plurality of image frames. In the step of creating a landmark layer of and determining the erroneous posture (S360), motions of a plurality of objects in the action file may be compared with the reference posture, respectively.
도 4는 본 발명의 일 실시예에 따른 스켈레톤 모델의 예시를 보여주는 도면이다.4 is a diagram showing an example of a skeleton model according to an embodiment of the present invention.
도 4를 참조하면, 신체에 대하여 코, 우안, 좌안, 우측 귀, 좌측 귀, 우측 어깨, 좌측 어깨, 우측 팔꿈치, 좌측 팔꿈치, 우측 손목, 좌측 손목, 우측 엉덩이, 좌측 엉덩이, 우측 무릎, 좌측 무릎, 우측 발목, 좌측 발목의 총 17개의 키포인트를 선으로 각각 연결하여 스켈레톤 모델을 설정하고, 이를 이용하여 운동 종류 및 종류별 동작 시나리오에 따라 기준 자세를 생성할 수 있다.4, with respect to the body, nose, right eye, left eye, right ear, left ear, right shoulder, left shoulder, right elbow, left elbow, right wrist, left wrist, right hip, left hip, right knee, left knee A total of 17 key points of the , right ankle, and left ankle are connected with a line to set a skeleton model, and using this, a reference posture can be created according to the type of exercise and the motion scenario for each type.
일 실시예에 따르면, 신체의 관절이나 특정 부위의 스켈레톤 데이터를 추출하기 위해 마이크로소프트의 Kinetics 데이터 세트나 NTU-RGB-D(Nanyang Technological University's Red Blue Green and Depth information) 데이터 세트와 같은 관절 검출 알고리즘을 활용할 수 있다.According to an embodiment, a joint detection algorithm such as Microsoft's Kinetics data set or NTU-RGB-D (Nanyang Technological University's Red Blue Green and Depth information) data set is used to extract skeleton data of joints or specific parts of the body. can be utilized
본 발명의 일 실시예에 따르면, 운동종류는 다이나믹 체스트, 런지, 사이드 크런치, 원투 니킥, 점핑잭, 스쿼트, 트래블링 로우 등 피트니스의 주요 동작들을 포함할 수 있다.According to an embodiment of the present invention, the exercise type may include main motions of fitness such as dynamic chest, lunge, side crunch, one-two knee kick, jumping jack, squat, and traveling row.
본 발명의 일 실시예에 따른 운동 보조를 위한 객체 움직임 인식 시스템은 운동 종류 및 종류별 동작 시나리오에 대응하는 세부 동작별로 17개의 키포인트에 대해 라벨링하여 표준 객체 스켈레톤 데이터를 생성할 수 있다. 또한 운동 종류 및 종류별 동작 시나리오에 대응하는 복수의 운동 영상을 제작하거나 수집하여 훈련용 및 테스트용 데이터셋을 구축하고, 상기 훈련용 데이터셋에 대해 인공지능 동체 분석 알고리즘이 적용된 이용하여 운동 영상 속 객체를 추출하고, 상기 객체의 움직임을 인식하는 기계 학습을 수행하도록 한다. 이때 인공지능 동체 분석 알고리즘은 합성곱 신경망(Convolutional Neural Network, CNN) 또는 장단기 메모리(Long Short-Term Memory, LSTM) 기법을 기반으로 기계 학습을 수행할 수 있다. 테스트용 데이터셋에 대해 기계 학습을 수행하는 동안, 객체 움직임에 대한 인식 정확도를 분석하여 인공지능 동체 분석 알고리즘의 튜닝 작업을 수행하여 인공지능 모델을 완성할 수 있다.The object motion recognition system for exercise assistance according to an embodiment of the present invention may generate standard object skeleton data by labeling 17 key points for each detailed motion corresponding to the type of exercise and the motion scenario for each type. In addition, a plurality of exercise images corresponding to exercise types and motion scenarios for each type are produced or collected to build a training and test dataset, and an artificial intelligence motion analysis algorithm is applied to the training dataset to use an object in the exercise video. is extracted, and machine learning for recognizing the movement of the object is performed. At this time, the artificial intelligence motion analysis algorithm may perform machine learning based on a Convolutional Neural Network (CNN) or Long Short-Term Memory (LSTM) technique. While performing machine learning on the test dataset, the artificial intelligence model can be completed by performing the tuning task of the artificial intelligence movement analysis algorithm by analyzing the recognition accuracy of the object movement.
위와 같은 과정을 거쳐 생성된 인공지능 모델의 경량화를 위해, 이미지 양자화(Quantization) 기법이 수행될 수 있다. In order to lighten the artificial intelligence model generated through the above process, an image quantization technique may be performed.
도 5를 통해 이미지 양자화(Quantization) 기법에 대해서 설명하기로 한다.An image quantization technique will be described with reference to FIG. 5 .
도 5는 본 발명의 일 실시예에 따른 이미지 데이터 양자화(Quantization) 기법을 수행하는 예시를 보여주는 도면이다.5 is a diagram showing an example of performing an image data quantization technique according to an embodiment of the present invention.
양자화(Quantization) 기법은 FP32(32비트 부동소수점 타입) 기반의 학습 파라미터의 값들을 이보다 낮은 비트너비를 갖는 1~K 비트 크기로 표현하기 위해 사용하는 기법이다. 양자화란 용어는 본래 아날로그 신호를 디지털로 변환하는데 있어 아날로그 값을 비트열로 표현할 수 있는 디지털 값으로 변환하는 과정을 일컫지만, 여기에서는 기존 부동소수점 타입으로 표현되던 값을 보다 적은 비트로 표현하기 위해 변환하는 과정을 의미한다.The quantization technique is a technique used to express learning parameter values based on FP32 (32-bit floating point type) with a bit size of 1 to K bits having a lower bit width. The term quantization originally refers to the process of converting an analog signal into a digital value that can be expressed as a bit string in converting an analog signal into a digital signal. means the process of
기계 학습에 적용되는 많은 딥 러닝 모델들은 파라미터 저장을 위해 FP32(32비트) 타입을 주로 사용하는데, 이를 그보다 훨씬 낮은 K 비트들로 표현함으로써 파라미터들의 일부를 버리지 않더라도 모델의 크기를 이론상 32/K 배만큼 줄일 수 있기 때문에 적은 저장 공간과 연산량만으로도 효율적인 추론이 가능하다는 장점이 있다. 바람직하게는 본 발명의 실시예에 따른 이미지 양자화 기법은 이진화(binarization) 기법을 사용할 수 있다. 이진화 기법은 상술한 파라미터를 -1 또는 1 값만 가지는 1비트로 표현하는 것을 의미한다.Many deep learning models applied to machine learning mainly use the FP32 (32-bit) type for parameter storage, and by expressing it with much lower K bits, the size of the model can be theoretically increased by 32/K times even if some of the parameters are not discarded. Since it can be reduced as much as possible, it has the advantage that efficient inference is possible with a small amount of storage space and computation. Preferably, the image quantization technique according to an embodiment of the present invention may use a binarization technique. The binarization technique means expressing the above-mentioned parameter with 1 bit having only -1 or 1 value.
도 5를 참조하면, 원본 이미지에서 입력된 데이터 값에 대해 이미지 양자화를 수행하여 양자화된 이미지 및 양자화된 입력값을 볼 수 있다. 이와 같이 이미지의 특정 파라미터에 대해 32비트로 표현되는 값을 1 또는 -1로 표현하는 이진화 기법을 사용하여 기존 인공지능 모델을 경량화 시킬 수 있다.Referring to FIG. 5 , image quantization is performed on data values input from an original image to view a quantized image and a quantized input value. In this way, the existing artificial intelligence model can be lightened by using a binarization technique in which a value expressed in 32 bits for a specific parameter of an image is expressed as 1 or -1.
도 6은 본 발명의 일 실시예에 따른 랜드마크 레이어를 설명하기 위한 도면이다.6 is a diagram for explaining a landmark layer according to an embodiment of the present invention.
도 6을 참조하면, 본 발명의 일 실시예에 따른 서버(200)는 사용자 단말(100)로부터 수신한 영상 데이터 내에 복수의 객체 존재 여부를 인식할 수 있다. 이에 대해 구체적으로 설명하면, 객체 추출부(220)가 영상 데이터의 개별 프레임에 대해 이미지 양자화(Quantization) 기법을 수행하여 양자화된 프레임 이미지를 생성하고, 상기 양자화된 프레임 이미지에서 상기 객체를 추출하는 과정에서 복수의 객체 존재 여부를 인식할 수 있다. 상기 객체 추출부(220)가 복수의 객체 존재를 인식하면, 스켈레톤 생성부(230)가 복수의 객체별로 각각 객체 스켈레톤 데이터를 생성하고, 액션 파일 생성부(240)는 복수의 영상 프레임의 개별 프레임 내에 상기 복수의 객체에 각각 대응하는 복수의 랜드마크 레이어를 생성할 수 있다. Referring to FIG. 6 , the
도 6은 영상 데이터 내에 복수의 객체가 존재하는 경우, 액션 파일 생성부(240)가 영상 데이터 내 복수의 영상 프레임 중 특정 프레임 t에서 복수의 객체에 대해 각각 랜드마크 레이어를 생성한 모습을 보여준다. 상기 액션 파일 생성부(240)는 영상 데이터 내의 복수의 영상 프레임 전체에 대해 각각 랜드마크 레이어를 생성할 수 있다.6 shows a state in which, when a plurality of objects exist in the image data, the
한편, 자세 분석부(260)는 상기 액션 파일 생성부(240)가 생성한 복수의 객체별 액션 파일을 기반으로 액션 파일 내 복수의 객체의 움직임을 각각 기준 자세와 비교하여 판단할 수 있다.Meanwhile, the
도 7과 8은 본 발명의 일 실시예에 따른 사용자 단말에서 운동 보조를 위한 모바일 어플리케이션을 구동하는 흐름과 이에 따른 그래픽 인터페이스를 보여주는 도면이다.7 and 8 are diagrams illustrating a flow of driving a mobile application for exercise assistance in a user terminal and a graphic interface according to the flow according to an embodiment of the present invention.
도 7 및 8을 참조하면, 사용자 단말(100)은 서버(200)로부터 제공받은 모바일 어플리케이션을 설치하고, 구동할 수 있다. 사용자 단말(100)이 모바일 어플리케이션을 구동하면, 인트로 동영상이 재생되고, 로그인 화면이 제시된다.Referring to FIGS. 7 and 8 , the
사용자가 로그인을 수행하면 어플리케이션 하단에 운동하기(셋팅 화면), 레포트, 설정의 세가지 메뉴를 위한 내비게이션 바가 제공된다. 사용자가 운동하기 메뉴를 선택하면 운동 종류별 명칭과 아이콘이 제공되고, 사용자가 운동 종류를 선택하고, 운동 세트수, 운동 횟수를 선택하면, 운동 화면을 통해 사용자가 선택한 운동을 따라할 수 있으며, 사용자의 운동 횟수는 자동으로 카운팅되어 사용자 단말(100)의 화면에 표시될 수 있다.When a user logs in, a navigation bar is provided at the bottom of the application for three menus: exercise (setting screen), report, and settings. When the user selects the exercise menu, names and icons for each exercise type are provided, and when the user selects the exercise type, number of exercise sets, and number of exercises, the user can follow the exercise selected by the user through the exercise screen. The number of workouts may be automatically counted and displayed on the screen of the
사용자가 레포트 메뉴를 선택하면 일일 레포트를 볼 수 있으며, 일일 레포트 메뉴에서는 사용자가 실시한 운동 종류, 운동 세트, 운동 횟수 등의 통계 기록을 확인할 수 있다. 추가적으로, 사용자가 운동하는 모습이 녹화된 영상도 확인할 수 있다. 녹화된 영상은 운동 시작부터 끝까지 모두 녹화된 영상일 수 있으나 이에 제한되지 않으며, 서버(200)에서 생성된 오류 영상 데이터를 볼 수 있도록 제공될 수 있다.If the user selects the report menu, he/she can see the daily report. In the daily report menu, the user can check statistical records such as the type of exercise, exercise set, and number of exercises performed by the user. Additionally, a recorded video of the user exercising may also be checked. The recorded video may be a video recorded from the start to the end of the exercise, but is not limited thereto, and may be provided so that error image data generated by the
사용자가 설정 메뉴를 선택하면 로그아웃, 회원 정보, 어플리케이션 버전 정보, 라이선스 정보, 효과음 등의 어플리케이션 설정 및 관련 정보를 확인하기 위한 메뉴들이 제공될 수 있다.When the user selects the setting menu, menus for checking application settings and related information such as logout, member information, application version information, license information, and sound effects may be provided.
도 9는 본 발명의 일 실시예에 따른 월별/일별 오류 영상 데이터를 볼 수 있는 인터페이스를 보여주는 도면이다.9 is a diagram showing an interface for viewing erroneous image data per month/daily according to an embodiment of the present invention.
도 9의 월별/일별 오류 영상 데이터를 볼 수 있는 인터페이스는 사용자 단말(100) 또는 트레이너 단말(300)에 제공될 수 있다.The interface for viewing the monthly/daily error image data of FIG. 9 may be provided to the
이와 같이 운동 보조를 위한 객체 움직임 인식 시스템은 월별/일별 오류 영상 데이터를 사용자 단말(100)과 관련된 트레이너 단말(300)에 제공함으로써, 트레이너가 사용자의 운동 모습 중 오류 자세만을 신속하고 간단하게 확인할 수 있고, 이를 통해 트레이너가 오프라인 상에서 사용자의 운동 자세 교정에만 집중할 수 있으므로 적은 시간만으로도 사용자의 운동 자세 교정을 도울 수 있는 효과가 있다.In this way, the object motion recognition system for exercise assistance provides monthly/daily erroneous image data to the
이상에서는 본 발명에 따른 바람직한 실시예들에 대하여 도시하고 또한 설명하였다. 그러나 본 발명은 상술한 실시예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능할 것이다.In the above, preferred embodiments according to the present invention have been shown and described. However, the present invention is not limited to the above-described embodiments, and various modifications can be made by anyone having ordinary knowledge in the technical field to which the present invention belongs without departing from the gist of the present invention appended within the scope of the claims. .
100: 사용자 단말
200: 서버
210: 통신부
220: 객체 추출부
230: 스켈레톤 생성부
240: 액션 파일 생성부
250: 행동 인식부
260: 자세 분석부
270: 오류 영상 데이터 생성부
280: 피드백 생성부
290: 저장부
300: 트레이너 단말100: user terminal 200: server
210: communication unit 220: object extraction unit
230: Skeleton generation unit 240: Action file generation unit
250: action recognition unit 260: posture analysis unit
270: error image data generator 280: feedback generator
290: storage unit 300: trainer terminal
Claims (4)
상기 영상 데이터의 개별 프레임에 대해 이미지 양자화(Quantization) 기법을 수행하여 양자화된 프레임 이미지를 생성하고, 상기 양자화된 프레임 이미지에서 객체를 추출하고, 상기 객체의 움직임을 기준 자세와 비교하여 비교 결과를 기초로 오류 영상 데이터를 생성하며, 상기 오류 영상 데이터 및 운동 데이터를 트레이너 단말로 전송하는 서버;
를 포함하는 운동 보조를 위한 객체 움직임 인식 시스템.a user terminal for generating image data by photographing an exercising user and transmitting the image data and exercise data input from the user to a server; and
An image quantization technique is performed on each frame of the video data to generate a quantized frame image, an object is extracted from the quantized frame image, and the motion of the object is compared with a reference pose based on the comparison result. a server that generates error image data and transmits the error image data and exercise data to a trainer terminal;
Object motion recognition system for motion assistance including a.
상기 서버는,
상기 영상 데이터의 개별 프레임에 대해 이미지 양자화(Quantization) 기법을 수행하여 양자화된 프레임 이미지를 생성하고, 상기 양자화된 프레임 이미지에서 상기 객체를 추출하는 객체 추출부;
상기 객체로부터 객체 스켈레톤 데이터를 생성하는 스켈레톤 생성부;
상기 객체 스켈레톤 데이터로부터 액션 파일을 생성하는 액션 파일 생성부;
상기 액션 파일을 기반으로 상기 객체의 움직임을 인식하는 행동 인식부;
인식된 상기 객체의 움직임을 상기 기준 자세와 비교하여 미리 설정된 오차를 초과하면 오류 자세로 판단하는 자세 분석부;
상기 영상 데이터에서 상기 오류 자세로 판단된 부분만 자동으로 선별하여 상기 오류 영상 데이터를 생성하는 오류 영상 데이터 생성부;
상기 영상 데이터 및 운동 데이터를 수신하고, 상기 오류 영상 데이터 및 운동 데이터를 상기 트레이너 단말로 전송하는 통신부; 및
상기 영상 데이터, 운동 데이터, 오류 영상 데이터 및 기준 자세를 저장하는 저장부;
를 포함하는 운동 보조를 위한 객체 움직임 인식 시스템.According to claim 1,
The server,
an object extraction unit generating a quantized frame image by performing an image quantization technique on each frame of the image data and extracting the object from the quantized frame image;
a skeleton generation unit generating object skeleton data from the object;
an action file generating unit generating an action file from the object skeleton data;
an action recognition unit recognizing movement of the object based on the action file;
a posture analysis unit that compares the motion of the recognized object with the reference posture and determines that the posture is an error when a preset error is exceeded;
an erroneous image data generation unit that automatically selects only the portion determined to be the erroneous posture from the image data and generates the erroneous image data;
a communication unit that receives the image data and exercise data and transmits the error image data and exercise data to the trainer terminal; and
a storage unit for storing the image data, exercise data, error image data, and a reference posture;
Object motion recognition system for motion assistance including a.
상기 이미지 양자화(Quantization) 기법은 이진화(binarization) 기법이고,
상기 액션 파일은 상기 영상 데이터의 개별 프레임 중에서 상기 객체가 수행하는 움직임을 나타내는 복수의 영상 프레임을 포함하는 제1레이어 및 상기 복수의 영상 프레임의 개별 프레임 내에서 상기 객체의 객체 스켈레톤 데이터를 나타내는 제2레이어를 포함하고,
상기 제1레이어는 상기 복수의 영상 프레임 중에서 시작 프레임 정보, 종료 프레임 정보 및 상기 객체 스켈레톤 데이터가 없는 프레임을 포함하고,
상기 객체 스켈레톤 데이터는 상기 객체의 복수의 스켈레톤의 위치 데이터를 포함하고,
상기 제2레이어는 상기 객체의 복수의 스켈레톤의 위치 데이터 중 적어도 일부를 포함하고,
상기 운동 데이터는 운동 종류 및 종류별 동작 시나리오, 운동 세트, 운동 횟수 중 적어도 하나 이상을 포함하고,
상기 기준 자세는 운동 종류 및 종류별 동작 시나리오에 각각 대응하는 표준 객체 스켈레톤 데이터를 포함하는 것을 특징으로 하는 운동 보조를 위한 객체 움직임 인식 시스템.According to claim 2,
The image quantization technique is a binarization technique,
The action file is a first layer including a plurality of image frames representing motions performed by the object among individual frames of the image data, and a second layer representing object skeleton data of the object within individual frames of the plurality of image frames. contains layers,
The first layer includes start frame information, end frame information, and a frame without the object skeleton data among the plurality of image frames,
The object skeleton data includes position data of a plurality of skeletons of the object,
The second layer includes at least some of positional data of a plurality of skeletons of the object,
The exercise data includes at least one of an exercise type, an action scenario for each type, an exercise set, and the number of exercises;
The reference posture includes standard object skeleton data corresponding to each exercise type and motion scenario for each type.
상기 영상 데이터 내에 복수의 객체가 존재하는 경우,
상기 액션 파일 생성부는,
상기 복수의 영상 프레임의 개별 프레임 내에 상기 복수의 객체에 각각 대응하는 복수의 랜드마크 레이어를 생성하고,
상기 자세 분석부는,
상기 액션 파일 내 복수의 객체의 움직임을 각각 상기 기준 자세와 비교하여 판단하고,
상기 영상 데이터 및 운동 데이터는 상기 서버로 실시간 스트리밍 전송되고,
상기 서버는,
상기 자세 분석부가 상기 객체의 움직임을 오류 자세로 판단하는 경우, 실시간으로 상기 오류 자세에 대한 피드백 정보를 생성하여 상기 사용자 단말로 전송하는 피드백 생성부를 더 포함하는 것을 특징으로 하는 운동 보조를 위한 객체 움직임 인식 시스템.
According to claim 3,
When a plurality of objects exist in the image data,
The action file creation unit,
Creating a plurality of landmark layers respectively corresponding to the plurality of objects in individual frames of the plurality of image frames;
The posture analysis unit,
Determining the movement of a plurality of objects in the action file by comparing them with the reference posture, respectively;
The video data and exercise data are transmitted to the server by real-time streaming,
The server,
and a feedback generating unit configured to generate feedback information on the erroneous posture in real time and transmit the feedback information to the user terminal when the posture analysis unit determines that the movement of the object is an erroneous posture. recognition system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210081519A KR20220170544A (en) | 2021-06-23 | 2021-06-23 | Object movement recognition system and method for workout assistant |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210081519A KR20220170544A (en) | 2021-06-23 | 2021-06-23 | Object movement recognition system and method for workout assistant |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220170544A true KR20220170544A (en) | 2022-12-30 |
Family
ID=84538658
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210081519A KR20220170544A (en) | 2021-06-23 | 2021-06-23 | Object movement recognition system and method for workout assistant |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20220170544A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116173484A (en) * | 2023-03-03 | 2023-05-30 | 乐渊网络科技(上海)有限公司 | Motion data processing method and device and electronic equipment |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101762010B1 (en) | 2015-08-28 | 2017-07-28 | 경희대학교 산학협력단 | Method of modeling a video-based interactive activity using the skeleton posture datset |
| KR101908284B1 (en) | 2012-01-13 | 2018-10-16 | 삼성전자주식회사 | Apparatus and method for analysising body parts association |
-
2021
- 2021-06-23 KR KR1020210081519A patent/KR20220170544A/en not_active Application Discontinuation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101908284B1 (en) | 2012-01-13 | 2018-10-16 | 삼성전자주식회사 | Apparatus and method for analysising body parts association |
| KR101762010B1 (en) | 2015-08-28 | 2017-07-28 | 경희대학교 산학협력단 | Method of modeling a video-based interactive activity using the skeleton posture datset |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116173484A (en) * | 2023-03-03 | 2023-05-30 | 乐渊网络科技(上海)有限公司 | Motion data processing method and device and electronic equipment |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11776421B2 (en) | Systems and methods for monitoring and evaluating body movement | |
| US11819734B2 (en) | Video-based motion counting and analysis systems and methods for virtual fitness application | |
| CN109697499A (en) | Pedestrian's flow funnel generation method and device, storage medium, electronic equipment | |
| US20230082953A1 (en) | System and Method for Real-Time Interaction and Coaching | |
| US11954869B2 (en) | Motion recognition-based interaction method and recording medium | |
| US11450010B2 (en) | Repetition counting and classification of movements systems and methods | |
| KR102340519B1 (en) | Systems and methods for analyzing line-and-face recognition-based motion posture | |
| Rangari et al. | Video based exercise recognition and correct pose detection | |
| Guler et al. | Human joint angle estimation and gesture recognition for assistive robotic vision | |
| KR20220170544A (en) | Object movement recognition system and method for workout assistant | |
| Singh et al. | Fast and robust video-based exercise classification via body pose tracking and scalable multivariate time series classifiers | |
| He | Athlete human behavior recognition based on continuous image deep learning and sensors | |
| CN117137435A (en) | Rehabilitation action recognition method and system based on multi-mode information fusion | |
| KR20230093191A (en) | Method for recognizing joint by error type, server | |
| Bolaños et al. | A comparative analysis of pose estimation models as enablers for a smart-mirror physical rehabilitation system | |
| Zhong | A convolutional neural network based online teaching method using edge-cloud computing platform | |
| Ferreira et al. | Exploring workout repetition counting and validation through deep learning | |
| Jia et al. | SwingNet: Ubiquitous fine-grained swing tracking framework via stochastic neural architecture search and adversarial learning | |
| Alpatov et al. | Chatbot for Remote Physical Knee Rehabilitation with Exercise Monitoring based on Machine Learning | |
| Palanivel et al. | Adaptive Exercise Meticulousness in Pose Detection and Monitoring via Machine Learning | |
| Sinclair et al. | P\= uioio: On-device Real-Time Smartphone-Based Automated Exercise Repetition Counting System | |
| Enegi et al. | Adaptive multimedia learning framework with facial recognition system | |
| Lease et al. | Online Bio-mechanical Evaluation System for Posture Assessment and Correction | |
| Tileubay et al. | Development of Deep Learning Enabled Augmented Reality Framework for Monitoring the Physical Quality Training of Future Trainers-Teachers. | |
| Si et al. | Design of home fitness assistant system based on android mobile network and optical sensing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |