KR20220043911A - Method and device for providing service that analyzes exercise and recommends sports facilities based on deep-learning - Google Patents
Method and device for providing service that analyzes exercise and recommends sports facilities based on deep-learning Download PDFInfo
- Publication number
- KR20220043911A KR20220043911A KR1020210128842A KR20210128842A KR20220043911A KR 20220043911 A KR20220043911 A KR 20220043911A KR 1020210128842 A KR1020210128842 A KR 1020210128842A KR 20210128842 A KR20210128842 A KR 20210128842A KR 20220043911 A KR20220043911 A KR 20220043911A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- sports facility
- model
- learning
- facility recommendation
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000013135 deep learning Methods 0.000 title claims abstract description 34
- 238000004458 analytical method Methods 0.000 claims abstract description 95
- 238000013136 deep learning model Methods 0.000 claims abstract description 20
- 230000033001 locomotion Effects 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 19
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 230000015654 memory Effects 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 10
- 238000010200 validation analysis Methods 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 5
- 230000006403 short-term memory Effects 0.000 claims description 4
- 230000006872 improvement Effects 0.000 abstract description 2
- 230000001939 inductive effect Effects 0.000 abstract 1
- 230000036544 posture Effects 0.000 description 43
- 238000004891 communication Methods 0.000 description 13
- 238000012937 correction Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000009491 slugging Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011985 exploratory data analysis Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000003862 health status Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000221484 Tilletiaceae Species 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000001513 elbow Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000004941 influx Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 210000002832 shoulder Anatomy 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000003612 virological effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
Abstract
Description
본 발명은 운동을 하는 사용자를 위한 딥러닝 기반 운동 분석 및 스포츠 시설 추천 서비스 제공방법 및 제공장치에 관한 것이다.The present invention relates to a method and apparatus for providing a deep learning-based exercise analysis and sports facility recommendation service for users who exercise.
최근, 사용자의 신체, 건강, 운동내역 및 선호도를 종합하여 맞춤형 운동을 제안하는 방법이 연구 개발되고 있다.Recently, a method for suggesting customized exercise by synthesizing a user's body, health, exercise history, and preference has been researched and developed.
일 예로, 사용자의 건강상태를 혈압기, 맥박측정기 등의 생체 지수 측정 기기와 기존의 환자 건강 상태 데이터베이스를 통한 운동량 및 선호도를 종합하여 가장 적절한 운동을 추천해주고, 그 수행 정도를 평가하여 추후 추천시 평가 내용을 반영하는 사용자 맞춤형 운동 추천 서비스를 들 수 있다.For example, it recommends the most appropriate exercise by synthesizing the user's health status by synthesizing the amount of exercise and preference through bio-index measuring devices such as blood pressure monitors and pulse monitors and the existing patient health status database, and evaluates the performance level to evaluate the recommendation later There is a user-customized exercise recommendation service that reflects the content.
한편, 최근 다양한 분야에서, 기계학습을 통해 소비자의 니즈를 충족시키는 결과물을 도출하고, 이에 따라 이윤을 창출하는 비즈니스 모델이 도입되고 있다.Meanwhile, in various fields, a business model that derives results that satisfy consumer needs through machine learning and creates profits accordingly has been introduced.
이러한 인공지능 서비스는 운동 사업 분야에서도 제공되고 있으나, 대부분의 서비스는 홈트레이닝과 관련된 것으로 단순 횟수의 카운팅을 도와주는 등 형식적인 도우미 역할에 그치고 있는 상황이다.These artificial intelligence services are also provided in the exercise business field, but most of the services are related to home training and are limited to a formal helper role, such as helping with simple counting.
따라서, 운동, 스포츠 분야에서도, 일반인에서 선수까지 모두 이용 가능한 인공지능 서비스의 도입이 필요한 실정이다. 특히, 인간의 육체적 활동과 밀접 관련된 분야로서, 인공신경망 기반 딥러닝(deep-learning)의 적극적인 활용을 통한 사용자 맞춤형 운동 분석 및 예측 기술의 개발이 요구되고 있다.Therefore, in the field of exercise and sports, it is necessary to introduce an artificial intelligence service that can be used by everyone from the general public to the athlete. In particular, as a field closely related to human physical activity, the development of user-customized exercise analysis and prediction technology through active use of artificial neural network-based deep-learning is required.
본 발명의 일 실시예는, 딥러닝에 기반한 운동 분석 및 예측 모델을 구축하고, 이를 활용하여 운동을 하는 사용자에게 향후 퍼포먼스 예측, 자세 분석 서비스를 제공하며, 사용자 ??춤형 스포츠 용품 및 공간 등 최적의 스포츠 시설을 추천하는 것을 목적으로 한다.An embodiment of the present invention builds an exercise analysis and prediction model based on deep learning, and provides future performance prediction and posture analysis services to users who exercise by using it, and provides optimal performance for users such as dancing sports equipment and space. The purpose of recommending sports facilities of
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical problems to be achieved by the present embodiment are not limited to the technical problems described above, and other technical problems may exist.
본 발명의 일 실시예에 따르는, 서버에 의해 수행되는, 딥러닝(Deep Learning) 기반 운동 분석 및 스포츠 시설 추천 서비스 제공방법은, (a) 기 수집한 특정 스포츠에 대한 사용자들의 신체 데이터, 운동영상 데이터 및 개인기록 데이터에 기초하여 학습 데이터를 생성하는 단계; (b) 상기 학습 데이터를 기 설정된 딥러닝 모델로 학습시켜 운동분석 및 스포츠시설추천 모델을 구축하는 단계; 및 (c) 사용자 단말로부터 수신한 입력 데이터를 상기 운동분석 및 스포츠시설추천 모델에 적용하여 자세분석 데이터, 퍼포먼스예측 데이터 및 스포츠시설추천 데이터 중 적어도 하나의 데이터를 추출하고 상기 사용자 단말로 제공하는 단계;를 포함하되, 상기 입력 데이터는 상기 스포츠에 대한 특정 사용자의 신체 데이터, 운동영상 데이터 및 개인기록 데이터 중 적어도 하나의 데이터를 포함하는 것이다.According to an embodiment of the present invention, a method for providing a deep learning-based exercise analysis and sports facility recommendation service performed by a server according to an embodiment of the present invention includes (a) previously collected user body data and exercise images for a specific sport. generating learning data based on the data and personal record data; (b) learning the learning data with a preset deep learning model to build an exercise analysis and sports facility recommendation model; and (c) applying the input data received from the user terminal to the exercise analysis and sports facility recommendation model to extract at least one of posture analysis data, performance prediction data, and sports facility recommendation data and providing the data to the user terminal. ; but, the input data includes at least one data of a specific user's body data for the sport, exercise image data, and personal record data.
본 발명의 일 실시예에 따르면, 상기 (a)단계는, 기 설정된 비율로 상기 학습 데이터를 각각 트레이닝셋(training set), 밸리데이션셋(validation set) 및 테스트셋(test set)으로 구분하는 단계;를 포함하되, 상기 (b)단계에서, 상기 트레이닝셋을 상기 딥러닝 모델로 학습시켜 복수의 운동분석 및 스포츠시설추천 모델을 생성하고, 상기 밸리데이션셋을 이용하여 학습 오류가 가장 적은 모델을 선정한 후, 상기 테스트셋을 통해 상기 학습 오류를 보완하는 것이다.According to an embodiment of the present invention, the step (a) comprises: dividing the training data into a training set, a validation set, and a test set at a preset ratio; However, in step (b), the training set is trained with the deep learning model to generate a plurality of exercise analysis and sports facility recommendation models, and after selecting the model with the least learning error using the validation set , to compensate for the learning error through the test set.
본 발명의 일 실시예에 따르면, 상기 운동분석 및 스포츠시설추천 모델은, 상기 (b)단계에서 상기 운동영상 데이터에 기초한 학습 데이터를 통해 상기 자세분석 데이터를 추출하는 포즈 에스티메이션 모델(pose estimation model)을 포함하는 것이다.According to an embodiment of the present invention, the exercise analysis and sports facility recommendation model is a pose estimation model for extracting the posture analysis data through learning data based on the exercise image data in step (b). ) is included.
본 발명의 일 실시예에 따르면, 상기 (c)단계는, 상기 사용자 단말로부터 수신한 운동영상 데이터로부터 사용자의 특정 신체부위에 대응하는 복수의 키포인트를 산출하는 단계; 및 각각의 키포인트 별로 좌표값을 생성하고 상기 좌표값에 대한 각도 및 길이의 변화를 기 설정된 시간 단위로 산출함으로써 상기 사용자의 자세분석 데이터를 추출하는 단계;를 포함한다.According to an embodiment of the present invention, the step (c) comprises: calculating a plurality of key points corresponding to a specific body part of the user from the motion image data received from the user terminal; and extracting the user's posture analysis data by generating a coordinate value for each key point and calculating a change in angle and length with respect to the coordinate value in a preset time unit.
본 발명의 일 실시예에 따르면, 상기 (a)단계는, 사용자 별로 수집된 각각의 개인기록 데이터를 통상 개인기록 데이터와 시계열 개인기록 데이터로 가공하는 단계;를 포함하되, 상기 통상 개인기록 데이터는 상기 스포츠의 기 설정된 평가지표 별로 전체기록의 평균에 대응하여 산출되는 것이고, 상기 시계열 개인기록 데이터는 기 설정된 기간 동안 내 기록 및 기록 변화 추이 데이터를 포함하며 상기 기 설정된 기간 이외의 개인기록 데이터는 필터링되는 것이다.According to an embodiment of the present invention, the step (a) includes processing each personal record data collected for each user into normal personal record data and time series personal record data; It is calculated corresponding to the average of all records for each preset evaluation index of the sport, the time series personal record data includes my records and record change trend data for a preset period, and personal record data other than the preset period is filtered will become
본 발명의 일 실시예에 따르면, 상기 (b)단계는, 상기 운동분석 및 스포츠시설추천 모델은, 상기 신체 데이터, 상기 통상 개인기록 데이터 및 상기 시계열 개인기록 데이터를 DNN(Deep Neural Network)모델 또는 LSTM(Long Short-Term Memory models)모델에 적용하여 상기 퍼포먼스예측 데이터를 추출하도록 학습되는 것이다.According to an embodiment of the present invention, in step (b), the exercise analysis and sports facility recommendation model uses the body data, the normal personal record data, and the time series personal record data with a DNN (Deep Neural Network) model or It is learned to extract the performance prediction data by applying the LSTM (Long Short-Term Memory models) model.
본 발명의 일 실시예에 따르면, 상기 (b)단계는, 상기 (b)단계는, 상기 운동분석 및 스포츠시설추천 모델은, 상기 학습 데이터를 DNN(Deep Neural Network)모델 또는 LSTM(Long Short-Term Memory models)모델에 적용하여 상기 스포츠시설추천 데이터를 추출하도록 학습되는 것이다.According to an embodiment of the present invention, in step (b), in step (b), the exercise analysis and sports facility recommendation model converts the learning data into a Deep Neural Network (DNN) model or a Long Short- It is learned to extract the sports facility recommendation data by applying to the Term Memory models) model.
본 발명의 일 실시예에 따르면, 상기 (b)단계는, 상기 수집된 개인기록 데이터 중 기 설정된 기간 동안 수집된 데이터는 소실되지 않은 채 상기 LSTM모델을 통한 학습에 계속적으로 사용되도록, 상기 LSTM모델 내 망각 게이트(forget gate)에 대한 가중치를 결정하는 것이다.According to an embodiment of the present invention, in the step (b), the LSTM model is continuously used for learning through the LSTM model without losing data collected during a preset period among the collected personal record data. To determine the weight for my forget gate.
본 발명의 일 실시예에 따르는, 딥러닝(Deep Learning) 기반 운동 분석 및 스포츠 시설 추천 서비스 제공방법은, 상기 (c)단계에서 추출된 자세분석 데이터 및 상기 퍼포먼스예측 데이터 중 적어도 하나의 데이터는, 상기 스포츠시설추천 데이터를 추출하기 위하여 상기 운동분석 및 스포츠시설추천 모델에 입력되는 데이터로 더 추가되는 것이다.According to an embodiment of the present invention, in the method of providing a deep learning-based exercise analysis and sports facility recommendation service, at least one of the posture analysis data and the performance prediction data extracted in step (c) includes: In order to extract the sports facility recommendation data, it is further added as data input to the exercise analysis and sports facility recommendation model.
본 발명의 일 실시예에 따르는, 딥러닝 기반 운동 분석 및 스포츠 시설 추천 서비스 제공서버는, 딥러닝 기반 운동 분석 및 스포츠 시설 추천 서비스 제공방법을 수행하기 위한 프로그램이 저장된 메모리; 및 상기 프로그램을 수행하기 위한 프로세서;를 포함하며, 상기 딥러닝 기반 운동 분석 및 스포츠 시설 추천 서비스 제공방법은, (a) 기 수집한 특정 스포츠에 대한 사용자들의 신체 데이터, 운동영상 데이터 및 개인기록 데이터에 기초하여 학습 데이터를 생성하는 단계; (b) 상기 학습 데이터를 기 설정된 딥러닝 모델로 학습시켜 운동분석 및 스포츠시설추천 모델을 구축하는 단계; 및 (c) 사용자 단말로부터 수신한 입력 데이터를 상기 운동분석 및 스포츠시설추천 모델에 적용하여 자세분석 데이터, 퍼포먼스예측 데이터 및 스포츠시설추천 데이터 중 적어도 하나의 데이터를 추출하고 상기 사용자 단말로 제공하는 단계;를 포함하되, 상기 입력 데이터는 상기 스포츠에 대한 특정 사용자의 신체 데이터, 운동영상 데이터 및 개인기록 데이터 중 적어도 하나의 데이터를 포함하는 것이다.According to an embodiment of the present invention, a deep learning-based exercise analysis and sports facility recommendation service providing server includes a memory in which a program is stored for performing a deep learning-based exercise analysis and sports facility recommendation service providing method; and a processor for executing the program, wherein the deep learning-based exercise analysis and sports facility recommendation service providing method includes (a) previously collected user body data, exercise image data, and personal record data for a specific sport. generating learning data based on the (b) learning the learning data with a preset deep learning model to build an exercise analysis and sports facility recommendation model; and (c) applying the input data received from the user terminal to the exercise analysis and sports facility recommendation model to extract at least one of posture analysis data, performance prediction data, and sports facility recommendation data and providing the data to the user terminal. ; but, the input data includes at least one data of a specific user's body data for the sport, exercise image data, and personal record data.
본 발명의 일 실시예는, 인공신경망 기반 딥러닝 모델을 이용하여, 운동을 수행하는 사용자의 자세를 분석함에 따라, 사용자의 자세 교정에 관한 적용종목을 확장하여 진입장벽을 낮출 수 있다.According to an embodiment of the present invention, by analyzing the posture of a user performing an exercise by using an artificial neural network-based deep learning model, it is possible to lower the entry barrier by expanding the applications related to the user's posture correction.
본 발명의 일 실시예는, 인공신경망 기반 딥러닝 모델을 이용하여, 스포츠 경기 참여자에게 향후 퍼포먼스 예측 결과를 제공함으로써, 사용자의 안전하고 전략적인 경기 운영에 기여할 수 있다.An embodiment of the present invention can contribute to a safe and strategic game operation of a user by providing future performance prediction results to sports event participants using an artificial neural network-based deep learning model.
본 발명의 일 실시예는, 인공신경망 기반 딥러닝 모델을 이용하여, 운동을 수행하는 사용자들에게 최적화된 스포츠 용품 및 공간을 추천할 수 있다.An embodiment of the present invention may use an artificial neural network-based deep learning model to recommend sporting goods and a space optimized to users performing an exercise.
이와 같이, 본 발명의 일 실시예에 따르면, 다각화된 방면으로 맞춤형 운동 정보를 제공함으로써, 일반인부터 프로선수까지 모두 포괄 가능한 서비스 구축이 가능하다.As such, according to an embodiment of the present invention, by providing customized exercise information in a diversified way, it is possible to build a service that can be encompassed by everyone from the general public to professional players.
따라서, 사용자들의 흥미를 유발하여 활발한 스포츠 활동을 고취시키고, 보다 효과적인 실력 증진을 유도할 수 있다.Accordingly, it is possible to arouse the interest of users to inspire active sports activities, and to induce more effective skill improvement.
또한, 추천한 스포츠 용품 및 공간 운영업체와 사용자를 연결시킴으로써, 스포츠 산업의 이윤 창출과 사업 확장성에 기여할 수 있다.In addition, by connecting users with recommended sporting goods and space operators, it can contribute to profit creation and business expansion of the sports industry.
도 1은 본 발명의 일 실시예에 따르는 딥러닝 기반 운동 분석 및 스포츠 시설 추천 서비스 제공시스템의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따르는 딥러닝 기반 운동 분석 및 스포츠 시설 추천 서비스 제공방법에 대한 순서도이다.
도 3은 본 발명의 일 실시예에 따르는 사용자의 자세를 인식하는 방법을 나타내는 순서도이다.
도 4는 본 발명의 일 실시예에 따르는 사용자의 자세를 인식하는 방법을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따라 퍼포먼스 예측을 수행하는 딥러닝 모델을 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따라 스포츠 시설을 추천하는 딥러닝 모델을 설명하기 위한 예시도이다.1 is a diagram showing the configuration of a deep learning-based exercise analysis and sports facility recommendation service providing system according to an embodiment of the present invention.
2 is a flowchart of a deep learning-based exercise analysis and sports facility recommendation service providing method according to an embodiment of the present invention.
3 is a flowchart illustrating a method of recognizing a user's posture according to an embodiment of the present invention.
4 is an exemplary diagram for explaining a method of recognizing a user's posture according to an embodiment of the present invention.
5 is an exemplary diagram for explaining a deep learning model for performing performance prediction according to an embodiment of the present invention.
6 is an exemplary diagram for explaining a deep learning model for recommending a sports facility according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily implement them. However, the present invention may be embodied in several different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is "connected" with another part, this includes not only the case of being "directly connected" but also the case of being "electrically connected" with another element interposed therebetween. . Also, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated.
이하에서 언급되는 "단말"은 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), VR HMD(예를 들어, HTC VIVE, Oculus Rift, GearVR, DayDream, PSVR 등)등을 포함할 수 있다. 여기서, VR HMD 는 PC용 (예를 들어, HTC VIVE, Oculus Rift, FOVE, Deepon 등)과 모바일용(예를 들어, GearVR, DayDream, 폭풍마경, 구글 카드보드 등) 그리고 콘솔용(PSVR)과 독립적으로 구현되는 Stand Alone 모델(예를 들어, Deepon, PICO 등) 등을 모두 포함한다. 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 스마트폰(smart phone), 태블릿 PC, 웨어러블 디바이스뿐만 아니라, 블루투스(BLE, Bluetooth Low Energy), NFC, RFID, 초음파(Ultrasonic), 적외선, 와이파이(WiFi), 라이파이(LiFi) 등의 통신 모듈을 탑재한 각종 디바이스를 포함할 수 있다. 또한, "네트워크"는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.The "terminal" referred to below may be implemented as a computer or portable terminal that can access a server or other terminal through a network. Here, the computer is, for example, a laptop, desktop, laptop, VR HMD (eg, HTC VIVE, Oculus Rift, GearVR, DayDream, PSVR, etc.) equipped with a web browser (WEB Browser), etc. may include Here, VR HMD is for PC (eg, HTC VIVE, Oculus Rift, FOVE, Deepon, etc.), for mobile (eg, GearVR, DayDream, Storm Horse, Google Cardboard, etc.) Independently implemented Stand Alone models (eg Deepon, PICO, etc.) are included. A portable terminal is, for example, a wireless communication device that guarantees portability and mobility, and includes not only a smart phone, a tablet PC, a wearable device, but also Bluetooth (BLE, Bluetooth Low Energy), NFC, RFID, and ultrasound (Ultrasonic). , infrared, Wi-Fi, Li-Fi, etc. may include various devices equipped with a communication module. In addition, the term "network" refers to a connection structure capable of exchanging information between each node, such as terminals and servers, and includes a local area network (LAN), a wide area network (WAN), and the Internet. (WWW: World Wide Web), wired and wireless data networks, telephone networks, wired and wireless television networks, and the like. Examples of wireless data communication networks include 3G, 4G, 5G, 3rd Generation Partnership Project (3GPP), Long Term Evolution (LTE), World Interoperability for Microwave Access (WIMAX), Wi-Fi, Bluetooth communication, infrared communication, ultrasound Communication, Visible Light Communication (VLC), LiFi, and the like are included, but are not limited thereto.
이하, 첨부한 도면을 활용하여, 본 발명의 일 실시예를 상세히 설명하도록 한다.Hereinafter, an embodiment of the present invention will be described in detail using the accompanying drawings.
도 1은 본 발명의 일 실시예에 따르는 딥러닝 기반 운동 분석 및 스포츠 시설 추천 서비스 제공시스템의 구성을 나타내는 도면이다.1 is a diagram showing the configuration of a deep learning-based exercise analysis and sports facility recommendation service providing system according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따르는 시스템은, 사용자 단말(100), 서버(200), 스포츠 용품업체 단말(300) 및 스포츠 공간업체 단말(400)을 포함할 수 있다. 한편, 이하 언급되는 "스포츠 시설"은 스포츠 용품 및 경기장, 연습장 등의 스포츠 공간을 포함하는 용어를 의미한다.Referring to FIG. 1 , a system according to an embodiment of the present invention may include a
일 실시예에 따르면, 서버(200)는 통신모듈(210), 메모리(220), 프로세서(230) 및 데이터베이스를 포함한다.According to an embodiment, the
통신모듈(210)은 사용자 단말(100), 스포츠 용품업체 단말(300) 및 스포츠 공간업체 단말(400)과 각각 데이터 통신을 처리한다.The
메모리(220)에는 딥러닝 기반 운동 분석 및 스포츠 시설 추천 서비스 제공방법을 수행하기 위한 프로그램이 저장되어 있다.The
프로세서(230)는 메모리(220)에 저장된 프로그램을 실행하여, 딥러닝 기반 운동 분석 및 스포츠 시설 추천 서비스 제공방법에 관한 각 과정에 대응하는 처리를 수행한다.The
데이터베이스에는, 서버(200)에 등록된 사용자, 스포츠 용품업체 및 스포츠 공간업체에 대한 각 종 정보들이 저장되어 있다. 예를 들어, 사용자 단말(100)로부터 수신한 사용자의 신체 데이터, 운동영상 데이터 및 특정 스포츠의 개인기록 데이터가 저장되어 있다. 또한, 스포츠 용품업체 단말(300) 및 스포츠 공간업체 단말(400)로부터 수신한 스포츠 종류 별 용품 및 공간에 대한 데이터가 저장되어 있다.In the database, various types of information about a user registered in the
일 실시예에 따르면, 사용자 단말(100)은 통신모듈(110), 메모리(120) 및 프로세서(130)를 포함할 수 있다.According to an embodiment, the
통신모듈(110)은 프로세서(130)의 제어에 따라, 서버(200)와 각각 데이터 통신을 수행한다.The
메모리(120)는 딥러닝 기반 운동 분석 및 스포츠 시설 추천 서비스를 제공받을 수 있는 프로그램이 저장되어 있다. 이러한 프로그램은 프로세서(130)에 의하여 구동된다.The
한편, 도 1을 참조하면, 서버(200)에 접속하여 인증절차를 수행한 결과에 따라, 사용자 단말(100, … 100n), 스포츠 용품업체 단말(300, … 300n) 및 스포츠 공간업체 단말(400, … 400n)은 복수로 구성될 수 있다.Meanwhile, referring to FIG. 1 , according to the result of performing an authentication procedure by accessing the
또한, 전술한 사용자 단말(100)의 구성은 다른 사용자 단말(100n)에도 동일하게 구현될 뿐 아니라 스포츠 용품업체 단말(300) 및 스포츠 공간업체 단말(400)에도 동일하게 구현될 수 있다.In addition, the above-described configuration of the
이하, 도 2를 참조하여, 딥러닝 기반 운동 분석 및 스포츠 시설 추천 서비스 제공방법에 대한 일 실시예를 설명하도록 한다.Hereinafter, an embodiment of a method for providing a deep learning-based exercise analysis and sports facility recommendation service will be described with reference to FIG. 2 .
도 2는 본 발명의 일 실시예에 따르는 딥러닝 기반 운동 분석 및 스포츠 시설 추천 서비스 제공방법에 대한 순서도이다.2 is a flowchart of a deep learning-based exercise analysis and sports facility recommendation service providing method according to an embodiment of the present invention.
단계 S210에서, 서버(200)는 특정 스포츠에 대한 사용자들의 신체 데이터, 운동영상 데이터 및 개인기록 데이터를 수집한다.In step S210, the
신체 데이터는 예를 들어, 사용자의 나이, 성별, 키, 몸무게, 인종 등에 대한 데이터를 포함할 수 있으며, 스포츠의 종목 및 포지션에 따라 이에 제한되지 않고 다양하게 구성될 수 있다.The body data may include, for example, data on the user's age, gender, height, weight, race, and the like, and may be configured in various ways without being limited thereto according to sports events and positions.
운동영상 데이터는 사용자가 해당 스포츠를 수행하는 이미지(프레임)가 적어도 하나 이상 포함된 운동 동영상을 의미할 수 있다.The exercise image data may refer to an exercise video including at least one image (frame) in which a user performs a corresponding sport.
개인기록 데이터는, 스포츠의 종목 및 포지션에 따라 그 평가지표가 미리 설정될 수 있다. 예를 들어, 야구에서 타자인 경우, 개인기록은 타율, 출루율, 장타율, OPS(출루율+장타율), WAR(대체 선수 대비 승리 기여도), 홈런수, 안타수, 도루수, 도루성공율, 배트스피드, 번트성공율 등을 포함하는 평가지표로 분류될 수 있으며, 이러한 예시로 한정되는 것은 아니다. In the personal record data, the evaluation index may be preset according to the sports event and position. For example, if you are a hitter in baseball, your personal records are batting average, on-base percentage, slugging percentage, OPS (on-base percentage + slugging percentage), WAR (victory contribution to substitutes), home runs, hits, stolen bases, stolen bases percentage, bat speed, bunts It may be classified as an evaluation index including a success rate, and the like, but is not limited to this example.
또한, 개인기록이 책정되는 시간적 단위는 일(경기), 주, 월, 분기, 시즌, 총누적 기록 등 다양하게 수집될 수 있다. 예를 들어, 사용자가 야구 경기를 할 때마다 서버(200)에 입력하는 경우, 일 단위의 평가지표 별 개인기록이 수집될 수 있다. 또는, 사용자가 한 시즌이 끝난 후 서버(200)에 입력하는 경우, 일, 주, 월, 분기, 시즌 단위 중 적어도 하나의 단위의 평가지표 별 개인기록이 수집될 수 있다.In addition, the time unit for which individual records are set may be collected in various ways, such as days (games), weeks, months, quarters, seasons, and total accumulated records. For example, when a user inputs to the
일 실시예에 따르면, 서버(200)는, 서버(200)에 등록된 사용자 단말(100)의 입력에 따라 해당 사용자의 신체 데이터, 운동영상 데이터 및 개인기록 데이터를 수집할 수 있다. 또는, 특정 스포츠의 경기, 연습을 주관하는 스포츠시설의 서버(미도시)와 연계하여 해당 스포츠시설에 가입된 사용자들의 데이터를 수집할 수도 있다.According to an embodiment, the
일 실시예에 따르면, 서버(200)는, 크롤링(crawling)을 수행하여 인터넷에 공유되는 사용자들의 신체 데이터, 운동영상 데이터 및 개인기록 데이터를 자체적으로 수집할 수도 있다. 예를 들어, 사용자가 프로선수인 경우, 경기 단위, 시즌 단위, 총 누적 단위 등 다양한 단위의 개인기록이 인터넷에 공개되므로, 서버(200)는, 최초 기계학습에 필요한 수만큼 무작위로 선수를 추출한 후, 해당 선수들에 대한 개인기록 데이터를 수집할 수 있다.According to an embodiment, the
추가 실시예에 따르면, 서버(200)는, 운동영상 데이터 또는 개인기록 데이터의 특징이 부각되도록 가공된 데이터를 수집할 수 있다. 예를 들어, 특정 타자에 대한 단일 또는 복수 경기의 하이라이트 영상을 수집하거나, 홈런 순위표와 같이 평가지표 별 기 설정된 순위에 포함된 타자들에 대한 데이터를 수집할 수 있다. 이러한 경우, 단계 S220에서 학습 데이터 생성을 위한 데이터 전처리 과정이 일부 생략되어, 보다 신속한 프로세스가 진행될 수 있다.According to a further embodiment, the
단계 S220에서, 서버(200)는 단계 S210에서 수집한 특정 스포츠에 대한 사용자 별 신체 데이터, 운동영상 데이터 및 개인기록 데이터에 기초하여 학습 데이터를 생성한다.In step S220, the
일 실시예에 따르면, 서버(200)는 서비스 제공 대상에 따라 수집한 데이터 중 기 설정된 기준에 부합하는 데이터만 선별하여 추출할 수 있다. 여기서, 기준은 해당 스포츠의 포지션, 동작, 룰(rule) 또는 이들의 조합을 포함할 수 있다. 예를 들어, 서비스 제공 대상이 주로 타자인 경우, 수집한 데이터 중 타자에 해당하는 사용자의 데이터만을 선별할 수 있다. 또한, 이들 중 타격에 관한 데이터만이 필요한 경우, 타격에 대한 일련의 동작이 포함된 운동영상 데이터 및 타격지표가 포함된 개인기록 데이터로 더 한정하여 선별할 수 있다.According to an embodiment, the
일 실시예에 따르면, 서버(200)는 단계 S210에서 수집된 로우 데이터(raw data) 또는 기 설정된 기준에 부합되어 추출된 데이터들을 학습에 최적화된 데이터로 가공할 수 있다. 즉, 서버(200)는 딥러닝을 위한 데이터 전처리를 수행할 수 있다. 예를 들어, 1차적으로 EDA(Exploratory data analysis)를 통해 노이즈를 제거하는 등 데이터 필터링을 수행하고, 2차적으로 데이터 범주화, 더미화, 정규화 등을 통해 필터링된 각 데이터가 포함하는 특징이 부각되도록 가공하거나 분류할 수 있다.According to an embodiment, the
보다 구체적인 예를 들면, 타격에 한정되어 추출된 데이터에서, 1차적으로 타율, 장타율 등의 타격지표가 비정상적으로 높거나 낮은 개인기록 데이터는 노이즈로 인지하여 제거한다. 또는, 타격에 대한 일련의 동작이 포함된 운동영상 데이터 중 비정상적인 코스로 들어오거나 비정상적인 동작으로 타격한 운동영상 데이터는 노이즈로 인지하여 제거한다. 일 실시예에 따르면, 비정상의 판단은 서버(200)에 미리 설정되어 저장된 정상 데이터와의 비교를 통해 수행될 수 있다. 또한 2차적으로, 타율이 기 설정된 구간(예로, 5푼 단위)인 개인기록 데이터들로 범주화할 수 있다. 또는 2차적으로, 1차 전처리된 운동영상 데이터를 배트에 공이 접촉하는 프레임으로 더 압축하여 타격 특징이 부각되는 특징데이터로 가공할 수 있다.As a more specific example, from the data extracted limited to hitting, the personal record data with abnormally high or low hitting indicators such as batting average and slugging ratio are recognized as noise and removed. Alternatively, among the motion image data including a series of motions for hitting, motion image data that entered an abnormal course or hit with an abnormal motion is recognized as noise and removed. According to an embodiment, the determination of the abnormality may be performed through comparison with normal data preset and stored in the
일 실시예에 따르면, 서버(200)는 단계 S220에서 생성된 학습 데이터들을 각각 트레이닝셋(training set), 밸리데이션셋(validation set) 및 테스트셋(test set)으로 구분하여 설정할 수 있다. 여기서, 각 셋이 구성되는 비율은 서버(200)에 미리 설정된 비율일 수 있으며, 예로, 60 : 20 : 20의 비율로 설정될 수 있다.According to an embodiment, the
트레이닝셋은, 단계 S230에서 딥러닝 모델에 의해 학습되는 데이터셋을 의미한다. 서버(200)는 트레이닝셋을 이용하여 복수의 운동분석 및 스포츠시설추천 모델을 생성할 수 있다.The training set means a dataset learned by the deep learning model in step S230. The
밸리데이션셋은, 단계 S230의 학습에 관여하되 학습 오류를 파악하는 데 이용되는 데이터셋을 의미한다. 서버(200)는 밸리데이션셋을 이용하여 트레이닝셋을 통해 생성된 복수의 운동분석 및 스포츠시설추천 모델 중 학습 오류가 가장 적은 모델을 선정할 수 있다.The validation set refers to a dataset that is involved in the learning of step S230 but is used to identify learning errors. The
테스트셋은, 단계 S230의 학습에 관여하지 않고, 학습이 완료된 후 선정된 모델에 대한 검증에 이용되는 데이터셋을 의미한다. 서버(200)는 테스트셋을 이용하여 밸리데이션셋을 통해 선정된 모델의 학습 오류를 보완할 수 있다.The test set refers to a dataset used for verification of a selected model after learning is completed without being involved in the learning of step S230. The
추가 실시예로서, 서버(200)는 학습 데이터 중 가장 최근에 수집된 학습 데이터부터 역순으로 기 설정된 범위(예로, 20%)에 해당하는 학습 데이터를 테스트셋으로 선정할 수 있다. 이 후, 나머지 학습 데이터를 나열하고 이들의 중간(평균)을 기준으로 기 설정된 범위(예로, 전체 중 평균 내외의 20%)에 해당하는 학습 데이터를 밸리데이션셋으로 선정할 수 있다. 즉, 서버(200)는 테스트셋을 제외한 학습 데이터들만 딥러닝에 관여시키되, 이들의 평균을 나타내는 학습 데이터는 학습에 직접 이용하지 않고, 1차 딥러닝 검증에 이용할 수 있다. 이 후, 최신의 데이터인 테스트셋으로 2차 딥러닝 검증을 수행함으로써, 과적합을 방지하고 신뢰도를 높인 운동분석 및 스포츠시설추천 모델을 구축할 수 있다.As an additional embodiment, the
일 실시예에 따르면, 서버(200)는 단계 S220에서, 사용자 별로 수집된 각각의 개인기록 데이터를 통상 개인기록 데이터와 시계열 개인기록 데이터로 가공하는 전처리를 수행할 수 있다.According to an embodiment, in step S220, the
여기서 통상 개인기록 데이터는 특정 스포츠의 기 설정된 평가지표 별로 전체기록의 평균에 대응하여 산출되는 것을 의미할 수 있다. 예를 들어, 특정 사용자의 타격에 대한 개인기록 데이터가 경기 별로 수집되는 경우, 서버(200)는 수집된 타율을 종합한 후 평균하여 커리어 통상의 타율을 산출할 수 있으며, 이를 학습 데이터로 설정할 수 있다.Here, the personal record data may mean that it is calculated corresponding to the average of the overall records for each preset evaluation index of a specific sport. For example, when personal record data for hitting a specific user is collected for each game, the
또한, 시계열 개인기록 데이터는 기 설정된 기간 동안의 기록 및 기록의 변화를 나타내는 추이 데이터를 포함할 수 있다. 예를 들어, 특정 사용자의 타격에 대한 개인기록 데이터가 경기 별로 수집되는 경우, 서버(200)는 최근 5경기에 대한 타격기록을 추출하고 이를 학습 데이터로 설정한 후 이외의 개인기록 데이터는 필터링 할 수 있다. 또한, 추출한 타격기록의 추이를 나타내는 변화율 또는 그래프를 생성하여 이를 학습 데이터로 설정할 수도 있다. 이러한 경우, 특징적인 개인기록은 충분히 학습에 반영되면서, 학습 데이터의 양은 최소화되어 처리 속도가 향상되는 효과가 도모될 수 있다.In addition, the time-series personal record data may include trend data representing records and changes in records for a preset period. For example, when personal record data for a specific user's hitting is collected for each game, the
일 실시예에 따르면, 이와 같이 설정된 통상 개인기록 데이터 및 시계열 개인기록 데이터는, S230에서 퍼포먼스예측 데이터를 추출하는 딥러닝 모델을 구축하는 데 이용될 수 있다.According to an embodiment, the normal personal record data and time series personal record data set as described above may be used to build a deep learning model for extracting performance prediction data in S230.
단계 S230에서, 서버(200)는 단계 S220에서 생성된 학습 데이터를 기 설정된 딥러닝 모델로 학습시켜 운동분석 및 스포츠시설추천 모델을 구축한다. 여기서 운동분석 및 스포츠시설추천 모델은, 입력되는 학습 데이터에 따라 자세분석 데이터, 퍼포먼스예측 데이터 및 스포츠시설추천 데이터 중 적어도 하나의 데이터를 추출하도록 학습되는 분류 모델을 의미한다.In step S230, the
일 실시예에 따르면, 운동분석 및 스포츠시설추천 모델은, 단계 S220에서 생성된 운동영상 데이터에 기초한 학습 데이터를 이용하여 자세분석 데이터를 추출하도록 설계될 수 있다. 또한, 이는 CNN(Convolutional Neural Network)기반의 포즈 에스티메이션 모델(pose estimation model)로 설계되는 것이 바람직하다.According to an embodiment, the exercise analysis and sports facility recommendation model may be designed to extract posture analysis data using learning data based on the exercise image data generated in step S220. In addition, it is preferably designed as a pose estimation model based on a CNN (Convolutional Neural Network).
예를 들어, 서버(200)는 운동영상 데이터가 전처리되어 생성된 학습 이미지(학습 데이터)를 입력값으로 하고, 해당 이미지에서 인식된 사용자의 관절 18개(기 설정된 개수)에 대한 키포인트를 출력값으로 하도록, CNN기반으로 학습할 수 있다. 이러한 학습에 따라 구축되는 포즈 에스티메이션 모델은, 특정 이미지를 입력하면 해당 이미지 상의 사용자 및 그의 관절에 대한 키포인트를 인식하게 된다.For example, the
이러한 인식 과정에서, 포즈 에스티메이션 모델은 키포인트 18개에 대한 콘볼루션(convolution) 연산을 수행하여 관절 간의 관계 데이터를 추출하게 된다. 또한, 산출된 관절 간의 관계 데이터에 기초하여 연관성이 높은 키포인트를 각각 결합하여 뼈대를 생성하게 된다. 최종적으로 관절 간의 관계데이터 및 키포인트 간의 결합된 데이터를 이용하여, 이미지 상에 뼈대를 결합하여 표시하게 된다. 이를 바탕으로, 이미지 속 사용자의 각 관절 위치 및 이동 등에 대한 자세분석 데이터를 산출할 수 있게 된다.In this recognition process, the pose estimation model performs a convolution operation on 18 keypoints to extract relationship data between joints. In addition, based on the calculated relationship data between joints, each key point with high correlation is combined to generate a skeleton. Finally, using the joint data between the joints and the combined data between the key points, the bones are displayed on the image by combining them. Based on this, it is possible to calculate posture analysis data for each joint position and movement of the user in the image.
일 실시예에 따르면, 운동분석 및 스포츠시설추천 모델은, 신체 데이터, 통상 개인기록 데이터 및 시계열 개인기록 데이터를 통해 퍼포먼스예측 데이터를 추출하도록 학습되는 것일 수 있다. 이러한 경우, 일 실시예에 따르면, DNN(Deep Neural Network)모델 또는 LSTM(Long Short-Term Memory models)모델이 적용될 수 있다.According to an embodiment, the exercise analysis and sports facility recommendation model may be learned to extract performance prediction data through body data, normal personal record data, and time series personal record data. In this case, according to an embodiment, a deep neural network (DNN) model or a long short-term memory (LSTM) model may be applied.
일 실시예에 따르면, 운동분석 및 스포츠시설추천 모델은, 단계 S220에서 생성된 학습 데이터를 통해 스포츠시설추천 데이터를 추출하도록 학습되는 것일 수 있다. 즉, 학습 데이터가 입력되면 그에 대응되는 스포츠 용품 및 공간을 추천하도록 학습될 수 있다. 이러한 경우, 일 실시예에 따르면, DNN모델 또는 LSTM모델이 적용될 수 있다.According to an embodiment, the exercise analysis and sports facility recommendation model may be learned to extract sports facility recommendation data through the learning data generated in step S220. That is, when learning data is input, it can be learned to recommend sporting goods and spaces corresponding thereto. In this case, according to an embodiment, a DNN model or an LSTM model may be applied.
한편, 학습에 사용되는 데이터 중 개인기록은, 시간이 지나면서 계속 발생하는 데이터이므로, 학습이 진행되면서 과부하가 걸리거나 일부 소실될 가능성이 높다. 특히, 경기, 일, 주 단위 등 단기로 수집되는 개인기록 데이터인 경우, 더욱 문제가 될 수 있다.On the other hand, among the data used for learning, personal records are data that are continuously generated over time, so there is a high possibility that the data will be overloaded or some will be lost as learning proceeds. In particular, in the case of personal record data that is collected in a short period of time, such as games, days, or weeks, it can be even more problematic.
이와 같은 문제점을 해결하고자, 본 발명의 일 실시예는 LSTM모델을 적용하여 운동분석 및 스포츠시설추천 모델을 구축한다. 이 때, 단계 S210에서 수집된 개인기록 데이터 중 기 설정된 기간 동안 수집된 데이터는 학습 과정 중에 소실되지 않고 계속적으로 학습에 사용될 수 있다.In order to solve such a problem, an embodiment of the present invention builds an exercise analysis and sports facility recommendation model by applying the LSTM model. At this time, data collected for a preset period among the personal record data collected in step S210 may be continuously used for learning without being lost during the learning process.
LSTM모델은 인공신경망의 장기 의존성 문제(Long-Term Dependency Problem)를 해결하기 위한 메모리를 포함한다. 즉, 입력되는 학습 데이터가 많아질수록 과거의 데이터가 마지막 층까지 전달되지 못하는 현상을 방지하기 위하여, 이전 학습의 정보를 memory cell에 저장하고 다음 학습 단계로 전달한다.The LSTM model includes memory to solve the long-term dependency problem of artificial neural networks. That is, as the amount of input learning data increases, in order to prevent the phenomenon that the past data is not transmitted to the last layer, the information of the previous learning is stored in the memory cell and transferred to the next learning stage.
여기서, 학습 시 과거의 데이터를 얼마나 활용할지는 망각 게이트(forget gate)에서 결정된다. 망각 게이트는, 현시점의 데이터와 과거의 데이터에 각각 가중치를 곱하고, 이들을 더한 후 시그모이드(sigmoid) 함수를 적용하여 다음 단계로 전달할 과거의 데이터를 결정한다.Here, how much past data is used for learning is determined by a forget gate. The forgetting gate multiplies current data and past data by weights, adds them, and applies a sigmoid function to determine past data to pass to the next step.
예를 들어, 서버(200)는, 사용자 별로 수집된 개인기록 데이터 중 초반에 수집된 기록(신인 기록)과 후반에 수집된 기록(베테랑 기록)을 제외한 기간에 수집된 데이터(전성기 기록)는 소실되지 않은 채 학습에 계속 활용되도록, 망각 게이트에 대한 가중치를 결정할 수 있다. 이에 따르면, 개인기록 데이터의 양이 방대하더라도 유효한 표본의 개인기록은 유지됨에 따라, 과부하가 방지되되 정확한 학습 모델이 구축될 수 있다.For example, in the
운동분석 및 스포츠시설추천 모델이 구축된 후, 단계 S240에서, 서버(200)는 사용자 단말(100)로부터 입력 데이터를 수신한다. 여기서 입력 데이터는, 특정 스포츠에 대한 사용자의 신체 데이터, 운동영상 데이터 및 개인기록 데이터 중 적어도 하나의 데이터를 포함할 수 있다.After the exercise analysis and sports facility recommendation model are built, in step S240 , the
서버(200)는, 입력 데이터를 기초로 자세를 분석해주거나 향후 퍼포먼스를 예측해주거나 적합한 스포츠 용품 및 공간을 추천해줄 수 있다. 즉, 수신한 입력 데이터를 운동분석 및 스포츠시설추천 모델에 적용하여 자세분석 데이터, 퍼포먼스예측 데이터 및 스포츠시설추천 데이터 중 적어도 하나의 데이터를 추출하고 사용자 단말(100)로 제공할 수 있다.The
일 실시예에 따르면, 서버(200)는 사용자 단말(100)로부터 운동영상 데이터를 수신하는 경우, 이를 포즈 에스티메이션 모델로 입력하여 사용자의 자세를 인식한 후, 자세분석 데이터를 추출하고 사용자 단말(100)로 제공할 수 있다. 이하, 도 3 및 도 4를 참조하여 구체적으로 설명하도록 한다.According to one embodiment, when the
도 3은 본 발명의 일 실시예에 따르는 사용자의 자세를 인식하는 방법을 나타내는 순서도이다.3 is a flowchart illustrating a method of recognizing a user's posture according to an embodiment of the present invention.
도 4는 본 발명의 일 실시예에 따르는 사용자의 자세를 인식하는 방법을 설명하기 위한 예시도이다.4 is an exemplary diagram for explaining a method of recognizing a user's posture according to an embodiment of the present invention.
단계 S241에서, 서버(200)는 운동영상으로부터 사용자를 인식하여, 사용자의 특정 신체부위에 대응되는 키포인트(410)를 산출할 수 있다.In step S241, the
도 4를 참조하면, 사용자의 특정 신체부위는 눈, 코 및 입과 같이 고정되어 기준이 될 수 있는 부위와 손목, 팔꿈치, 어깨, 무릎 등의 관절이 해당될 수 있다. 따라서, 서버(200)는 인식된 사용자로 하여금 인식된 신체의 움직임을 원활하게 처리하기 위해 키포인트(410)로 지정하게 된다. 이때, 서버(200)는 각각의 키포인트(410)에 번호를 지정하여 서로 구분하고, 신체적으로 인접한 키포인트 간을 연결하여 뼈대(420)를 구분하게 된다. 이때, 인식된 뼈대(420)는 사용자의 움직임을 산출하기 위해 이용된다.Referring to FIG. 4 , a specific body part of a user may correspond to a fixed reference part such as an eye, nose, and mouth, and a joint such as a wrist, elbow, shoulder, or knee. Accordingly, the
이때, 모션 인식 모델은 이하의 2가지 방법에 기초하여 사용자를 인식하게 된다.In this case, the motion recognition model recognizes the user based on the following two methods.
먼저, 탑-다운(top-dwon) 방식을 사용하는 경우 사람을 우선 인식(detection)하고, 바운딩 박스 안에서 사용자의 포즈를 추정할 수 있다. 이는 높은 정확도를 갖지만, 인식되는 속도가 느려질 수 있는 단점을 가진다.First, in the case of using the top-dwon method, a person may be detected first, and the user's pose may be estimated within the bounding box. Although this has high accuracy, it has a disadvantage that the recognition speed may be slowed down.
다음으로, 바텀-업(bottom-up) 방식을 사용하는 경우 키포인트(keypoint, 본 발명에서는 관절(410)을 키포인트로 지정한다.)를 모두 추정하고, 각각의 상관관계를 분석하여 포즈를 추정하게 된다. 이는 빠른 인식 속도를 갖기에 실시간 적용이 가능하지만, 정확도가 탑-다운 방식보다 낮을 수 있다.Next, when using the bottom-up (bottom-up) method, all keypoints (keypoint, in the present invention, the joint 410 is designated as a keypoint) are estimated, and the pose is estimated by analyzing each correlation. do. Since it has a fast recognition speed, it can be applied in real time, but the accuracy may be lower than that of the top-down method.
따라서, 구현하려는 운영하는 서버(200)의 처리 속도에 맞는 모델을 적용하게 된다.Accordingly, a model suitable for the processing speed of the operating
한편, 뼈대(420)를 생성하는 방법을 간략하게 설명하면, 키포인트(410)에 대해서 콘볼루션(convolution) 연산을 수행함으로써, 각각의 관절 간의 관계정보를 추출한다.On the other hand, briefly describing the method of generating the
다음으로 포즈 에스티메이션 모델은 산출된 관절 간의 관계 정보를 바탕으로 키포인트(410)를 결합함으로써 뼈대(420)를 생성하게 된다.Next, the pose estimation model generates the
단계 S242에서, 서버(200)는 각각의 키포인트(410)에 대한 좌표값을 생성한다.In step S242, the
예를 들어, 골프를 치는 사용자의 관절을 인식하여 키포인트(410)를 지정하고, 각각의 키포인트 간의 좌표값을 산출하게 된다.For example, a
단계 S243에서, 서버(200)는 복수의 상기 좌표값에 대한 각도 및 길이의 변화를 시간 단위로 산출하여, 사용자의 자세 정보를 생성한다.In step S243, the
이때, 서버(200)는 운동 동영상을 기 설정된 재생 시간(혹은 프레임)을 기준으로 분할하여 각각의 상황에 대한 시나리오를 설계하게 된다. 예를 들어, 야구 선수가 배트를 휘두르는 장면을 소정의 서브 장면((1)-(5))으로 나누고 각 상황을 지정하게 된다. 이는 추후 진행되는 교정 데이터와의 비교를 위한 것이다. 이를테면, (1)번 자세는 교정 데이터의 Stance에 대응되는 교정 데이터와 비교하게 되고, (4)번 자세는 Bat acceletation에 대응되는 교정 데이터와 비교하게 된다. 이러한 방법을 통해 자세분석 데이터와 교정 데이터 간의 정확한 매칭을 노릴 수 있게 된다.In this case, the
선택적 실시예로 단계 S241에서, 서버(200)는 운동영상 데이터로부터 둘 이상의 사람이 인식되면, 각 사람마다 서로 다른 식별자를 부여하게 된다. 이를 통해, 서버(200)는 단계 S243에서 서로 다른 식별자에 대응되는 사람의 자세 정보를 각각 산출하게 된다. 이때, 선택적 실시예로, 서버(200)는 각각의 식별자가 부여된 자세 정보를 사용자 단말(100)로 제공하고, 교정 데이터와 비교할 자세 정보를 선택받을 수 있다.In an optional embodiment, in step S241, when two or more people are recognized from the motion image data, the
한편, 단계 S241) 내지 단계 S243에서 설명한 방법은 바텀-업(bottom-up) 방식에 대응될 수 있다. 이는 사용자로부터 키포인트(410)를 모두 추정하고, 각각의 상관관계를 분석하여 포즈를 추정하게 된다. 이는 후술할 탑-다운 방식보다 정확도가 낮으나, 빠른 인식 속도를 갖기에 실시간 적용이 가능하여, 모바일 등의 환경에서도 사용될 수 있는 강점을 가진다. 다른 방법은 탑-다운(topdwon) 방식을 사용할 수 있다. 이는, 모션 인식 모델이 운동 동영상에 포함된 사용자를 인식하여, 경계 박스(bounding box)를 생성하고, 경계 박스 내부의 사용자의 포즈를 기 설정된 시간 단위로 추정하여 자세분석 데이터를 산출하게 된다. 탑-다운 방식은 높은 정확도를 갖지만, 인식되는 속도가 느려질 수 있는 단점을 가진다. 따라서, 서비스의 제공주체는 필요에 따라 바텀-업 방식이나 탑-다운 방식 중 어느 하나를 선택하여 적용하면 된다.Meanwhile, the methods described in steps S241) to S243 may correspond to a bottom-up method. This estimates all
일 실시예에 따르면, 서버(200)는 자세분석 데이터에 대응되는 교정 데이터를 검색하고, 시간별 오차값을 산출할 수 있다. 구체적으로 서버(200)는 운동 동영상에 대응되는 기 저장된 교정 데이터를 검색하고, 자세분석 데이터와 교정 데이터를 비교하여 시간별 오차값을 산출한다.According to an embodiment, the
일 실시예에 따르면, 서버(200)는 사용자 단말(100)로 운동영상 데이터와 연관된 전문가의 리스트를 전달할 수 있다. 또한, 사용자 단말(100)의 사용자는 수신한 전문가의 리스트에서 자신이 원하는 특정 전문가를 선택하여 서버(200)로 알리게 된다. 예를 들어, 사용자가 축구에 대한 자세를 교정하고 싶은 경우, 서버(200)로 축구 영상을 제공하고, 서버(200)는 과거 혹은 현재 활동 중인 선수의 리스트를 사용자에게 전달하게 된다.According to an embodiment, the
이후, 서버(200)는 특정 전문가와 매핑되어 기 저장된 교정 데이터를 자세분석 데이터와 비교하게 된다. 또한, 선택적 실시예로 사용자 단말(100)이 운동영상 데이터와 함께 전문가의 동영상을 서버(200)로 전달하고, 서버(200)는 운동영상 데이터와 전문가의 동영상을 비교할 수도 있다.Thereafter, the
일 실시예에 따르면, 서버(200)는 시간별 오차값에 대한 보정 데이터를 생성하고, 이를 사용자 단말(100)로 전달할 수 있다.According to an embodiment, the
구체적으로 서버(200)는 시간별 오차값에 대한 보정 데이터를 생성하여, 사용자 단말(100)로 제공하게 된다.Specifically, the
이때, 서버(200)는 오차값에 기반하여, 시간 단위로 사용자의 자세를 전문가의 자세와 동일하게 보정하기 위한 텍스트, 영상, 소리 중 적어도 하나로 구성된 보정 데이터를 생성하게 된다. 예를 들어, 관절과 뼈대를 인식하여 이미지로 표시한 동영상을 통해, 시간별 관절이나 뼈대의 위치를 텍스트로 지시하거나, 사용자의 자세와 특정 전문가의 자세를 겹친 이미지로 생성하여 보정 데이터를 생성할 수 있다.At this time, the
또한, 서버(200)는 자세분석 데이터 및 보정 데이터를 기반으로 운동분석 및 스포츠시설추천 모델의 딥러닝을 업데이트할 수 있다. 이를 통해, 운동영상 데이터에서 자세 데이터에 대한 정밀도를 높이거나, 자세 데이터와 교정 데이터를 비교하는 과정에서 오차값에 대한 정확도를 높이게 된다.In addition, the
일 실시예에 따르면, 서버(200)는 사용자 단말(100)로부터 신체 데이터 및 개인기록 데이터 중 적어도 하나를 수신하는 경우, 이를 DNN 또는 LSTM 기반으로 구축된 운동분석 및 스포츠시설추천 모델로 입력하여 퍼포먼스예측 데이터를 추출하고 사용자 단말(100)로 제공할 수 있다.According to an embodiment, when the
도 5는 본 발명의 일 실시예에 따라 퍼포먼스 예측을 수행하는 딥러닝 모델을 설명하기 위한 예시도이다.5 is an exemplary diagram for explaining a deep learning model for performing performance prediction according to an embodiment of the present invention.
도 5를 참조하면, 서버(200)는 수신한 개인기록 데이터를 통상 개인기록 데이터 및 시계열 개인기록 데이터로 가공하는 전처리를 수행한 후, 운동분석 및 스포츠시설추천 모델에 입력할 수 있다. 통상 개인기록 데이터 및 시계열 개인기록 데이터에 대한 상세한 설명은 전술한 내용에 갈음하도록 한다.Referring to FIG. 5 , the
이와 같이, 향후 퍼포먼스 예측 결과를 제공받은 사용자는 이를 다음 경기의 전략에 활용할 수 있다. 도 5에 도시된 바와 같이, 종목이 야구인 경우, 사용자는 향후 경기의 타율(x타수 x안타)예측 결과를 제공받고, 이를 고려하여 해당 경기의 타격 전략을 수립할 수 있다. 또는, 본인의 건강 및 컨디션 조절에 활용할 수 있다. 도 5에 도시된 바와 같이, 사용자는 향후 경기의 부상 예측 결과를 제공받고, 이를 고려하여 훈련 또는 경기 스케줄을 결정할 수 있다.In this way, the user provided with the future performance prediction result can utilize it for the strategy of the next game. As shown in FIG. 5 , when the event is baseball, the user may be provided with a prediction result of a batting average (x number of at-bats, x hits) of a future game, and may establish a batting strategy for the corresponding game in consideration of this. Alternatively, you can use it to control your own health and condition. As shown in FIG. 5 , the user may be provided with an injury prediction result of a future game, and may determine a training or game schedule in consideration of this.
일 실시예에 따르면, 서버(200)는 사용자 단말(100)로부터 신체 데이터 및 개인기록 데이터 중 적어도 하나를 수신하는 경우, 이를 DNN 또는 LSTM 기반으로 구축된 운동분석 및 스포츠시설추천 모델로 입력하여 스포츠시설추천 데이터를 추출하고 사용자 단말(100)로 제공할 수 있다.According to an embodiment, when the
도 6은 본 발명의 일 실시예에 따라 스포츠 시설을 추천하는 딥러닝 모델을 설명하기 위한 예시도이다.6 is an exemplary diagram for explaining a deep learning model for recommending a sports facility according to an embodiment of the present invention.
도 6에 도시된 바와 같이, 예를 들어, 입력 데이터에 기초하여 사용자는 사용자에게 효과가 뛰어난 맞춤형 스포츠 용품 또는 공간을 추천 받을 수 있다. 또는, 입력 데이터에 기초하여 사용자의 조건과 동일, 유사한 다른 사용자들에게 유행하거나 효과가 뛰어난 스포츠 용품 또는 공간을 추천 받을 수 있다.As shown in FIG. 6 , for example, based on the input data, the user may be recommended a customized sporting goods or space with excellent effect to the user. Alternatively, based on the input data, a sporting article or space that is fashionable or effective to other users identical to or similar to the user's condition may be recommended.
일 실시예에 따르면, 서버(200)는 사용자 단말(100)로부터 운동영상 데이터를 함께 수신하는 경우, 자세분석 데이터를 먼저 추출할 수 있다. 이 후, 서버(200)는 추출한 자세분석 데이터를 스포츠시설추천 데이터를 추출하기 위한 모델에 입력되는 데이터에 포함시킬 수 있다.According to an embodiment, when receiving the exercise image data from the
일 실시예에 따르면 이러한 경우, 운동분석 및 스포츠시설추천 모델은 포즈 에스티메이션 모델이 선으로 수행되고, DNN 또는 LSTM기반의 딥러닝 모델이 후로 수행되는 복합 신경망 모델로 구축된 것일 수 있다. 따라서, 사용자의 신체, 기록뿐 아니라 동작, 자세가 더 고려된, 보다 적합한 스포츠 용품 및 공간이 사용자에게 추천될 수 있다.According to an embodiment, in this case, the exercise analysis and sports facility recommendation model may be constructed as a complex neural network model in which a pose estimation model is performed as a line and a deep learning model based on DNN or LSTM is performed afterwards. Accordingly, a more suitable sporting goods and space in which the user's body and records as well as motions and postures are further considered can be recommended to the user.
일 실시예에 따르면, 서버(200)는 사용자 단말(100)로부터 수신한 신체 데이터 및 개인기록 데이터를 토대로 퍼포먼스예측 데이터를 먼저 추출할 수 있다. 이 후, 서버(200)는 추출한 퍼포먼스예측 데이터를, 스포츠시설추천 데이터를 추출하기 위한 모델에 입력되는 데이터에 포함시킬 수 있다. According to an embodiment, the
일 실시예에 따르면 이러한 경우, 운동분석 및 스포츠시설추천 모델은, 2개의 DNN 또는 LSTM기반의 딥러닝 모델이 연속적으로 수행되는 복합 신경망 모델로 구축된 것일 수 있다. 따라서, 사용자의 신체, 기록뿐 아니라 향후 퍼포먼스가 더 고려된 스포츠 용품 및 공간이 사용자에게 추천될 수 있다.According to an embodiment, in this case, the exercise analysis and sports facility recommendation model may be constructed as a complex neural network model in which two DNN or LSTM-based deep learning models are continuously performed. Accordingly, not only the user's body and record, but also sporting goods and space in which future performance is further considered may be recommended to the user.
일 실시예에 따르면, 서버(200)는 스포츠시설추천 데이터를 사용자에게 제공한 후, 사용자 단말(100)로부터 스포츠 용품 또는 스포츠 공간의 선택에 따른 구매 데이터를 수신할 수 있다. 이 후, 스포츠 용품업체 단말(300) 및 스포츠 공간업체 단말(400)로 구매 데이터를 전송하고, 수락신호를 수신할 경우, 구매 데이터에 해당 스포츠 용품 또는 스포츠 시설 이용권을 사용자 단말(100)로 제공할 수 있다. 즉, 사용자에게 추천한 스포츠시설 업체와 사용자 간을 온라인 상에서 매칭시켜, 사용자에게는 편리함을 제공하고 업체에게는 이윤 창출의 효과를 제공할 수 있다.According to one embodiment, the
예를들면, 사용자가 일반 스포츠 참여자인 경우, 이를 대상으로한 SPECial 플랫폼 내에 전술한 딥러닝 모델과 같은 AI솔루션을 무료로 제공하여 고객(사용자)을 유치하고, 스포츠 관련 서비스(스포츠 용품업체 또는 스포츠 공간업체)를 연결하여 고객이 스포츠 관련 서비스에 돈을 지불하면, 서비스에 등록된 업체는 발생하는 수수료를 플랫폼에 납부하는 방식으로 운영될 수 있다. 또한, 플랫폼 내에 등록된 사용자들의 데이터를 확보하여 가공 및 판매하고 플랫폼 내의 프로모션 및 광고를 유치하여 부수적인 수입을 얻을 수 있다.For example, if the user is a general sports participant, an AI solution such as the above-mentioned deep learning model is provided free of charge within the SPECial platform for this purpose to attract customers (users), and sports related services (sports goods companies or sports When customers pay for sports-related services by connecting a space company), the company registered for the service can be operated in a way that pays the generated fees to the platform. In addition, it is possible to obtain ancillary income by securing, processing and selling data of users registered in the platform, and attracting promotions and advertisements in the platform.
일 실시예에 따르면, 서버(200)는 사용자들의 자세 분석을 바탕으로 하여 플랫폼 내에 등록된 스포츠 레슨장 연결 혹은 레슨장에서 고객에게 컨택하는 양방향 연결 시스템 구축할 수 있다.According to an embodiment, the
예를 들어, 각 스포츠 공간업체 단말(400)은 양준혁 레전드 야구교실, 더핸즈 골프 연습장 등을 운영하는 스포츠 시설로서, 프로세서(230)를 통한 시설 운영자 식별 인증을 통해 미리 등록될 수 있다.For example, each sports
또한, 서버(200)는 사용자들의 자세 분석을 바탕으로 자세 교정에 도움이 되는 장비를 추천하여 플랫폼 내에 등록된 스포츠 용품업체와 사용자를 연결할 수 있다.In addition, the
예를 들어, 각 스포츠 용품점 단말(300)은 미즈노, 타이틀리스트 등의 제품을 판매하는 스포츠 용품점으로서, 프로세서(230)를 통한 판매자 식별 인증을 통해 미리 등록될 수 있다.For example, each sporting
다른 예로, 본 발명은 이미 구축된 사설체육시설 혹은 공공체육시설의 대관 시스템과 연결하여 사용자들이 손쉽게 체육시설을 대관할 수도 있다.As another example, according to the present invention, users can easily rent a sports facility by connecting to a rental system of a private or public sports facility that has already been built.
예를 들어, 실내연습장, 야외경기장, 골프클럽 등이 운영하는 대관 시스템과 연계하여 사용자에게 스포츠 시설을 추천할 수 있다.For example, a sports facility may be recommended to a user in connection with a rental system operated by an indoor driving range, an outdoor stadium, a golf club, and the like.
또 다른 예로, 본 발명은 기타 스포츠에서 파생되는 업종과 플랫폼 내에 커뮤니티를 통한 의견 수렴을 바탕으로 스포츠 관련 서비스가 추가될 수 있다.As another example, according to the present invention, sports-related services may be added based on opinions gathered through communities within industries and platforms derived from other sports.
이와 같이, 본 발명은 스포츠 참여자의 운동 및 신체 데이터 확보하여 데이터 가공 및 판매하거나, 스포츠 관련 서비스(업체)의 수수료를 징수하고, 플랫폼 내 프로모션 및 광고비를 통해 수익 모델을 창출할 수 있다.As such, the present invention can secure the exercise and body data of sports participants, process and sell the data, collect fees from sports-related services (company), and create a revenue model through promotions and advertising expenses within the platform.
한편, 온라인 광고 위주, SNS(광고, 인플루언서, 바이럴마케팅, 프로 선수, 컨텐츠 영상 제작 등), 검색(블로그, 커뮤니티, 언론기사 등), 앱(리워드)을 이용하여 본 발명의 일 실시예를 통한 서비스의 지속적인 고객 유치(사용자 유입)를 유도할 수 있다.On the other hand, an embodiment of the present invention using online advertisements, SNS (advertisements, influencers, viral marketing, professional players, content video production, etc.), search (blogs, communities, media articles, etc.), and apps (rewards) It can induce continuous customer attraction (user inflow) through the service.
또한 온라인 광고, SNS(광고, 컨텐츠 영상 제작 등), 검색(커뮤니티, 언론기사 등), 오프라인 광고, 방문 홍보, 각 업체 협회(단체) 후원, 오프라인 광고, 스포츠 용품 포럼(세미나 등)에 후원사 참여를 통한 본 플랫폼의 지속적인 업체 유치(스포츠 용품점 또는 스포츠 시설 업체 유입)를 유도할 수 있다.In addition, sponsor participation in online advertising, SNS (advertisement, content video production, etc.), search (community, press article, etc.), offline advertising, visit promotion, sponsorship of associations (organizations) of each company, offline advertising, sporting goods forums (seminars, etc.) Through this platform, it can induce continuous attraction of companies (influx of sporting goods stores or sports facilities companies).
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.Although the methods and systems of the present invention have been described with reference to specific embodiments, some or all of their components or operations may be implemented using a computer system having a general purpose hardware architecture.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above description of the present invention is for illustration, and those of ordinary skill in the art to which the present invention pertains can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a dispersed form, and likewise components described as distributed may be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims rather than the above detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention. do.
100: 사용자 단말
200: 서버
300: 스포츠 용품업체 단말
400: 스포츠 공간업체 단말100: user terminal
200: server
300: Sporting goods company terminal
400: sports space company terminal
Claims (10)
(a) 기 수집한 특정 스포츠에 대한 사용자들의 신체 데이터, 운동영상 데이터 및 개인기록 데이터에 기초하여 학습 데이터를 생성하는 단계;
(b) 상기 학습 데이터를 기 설정된 딥러닝 모델로 학습시켜 운동분석 및 스포츠시설추천 모델을 구축하는 단계; 및
(c) 사용자 단말로부터 수신한 입력 데이터를 상기 운동분석 및 스포츠시설추천 모델에 적용하여 자세분석 데이터, 퍼포먼스예측 데이터 및 스포츠시설추천 데이터 중 적어도 하나의 데이터를 추출하고 상기 사용자 단말로 제공하는 단계;를 포함하되,
상기 입력 데이터는 상기 스포츠에 대한 특정 사용자의 신체 데이터, 운동영상 데이터 및 개인기록 데이터 중 적어도 하나의 데이터를 포함하는 것인,
딥러닝 기반 운동 분석 및 스포츠 시설 추천 서비스 제공방법.In the method of providing a deep learning-based exercise analysis and sports facility recommendation service performed by a server,
(a) generating learning data based on the previously collected user body data, exercise image data, and personal record data for a specific sport;
(b) learning the learning data with a preset deep learning model to build an exercise analysis and sports facility recommendation model; and
(c) applying the input data received from the user terminal to the exercise analysis and sports facility recommendation model to extract at least one of posture analysis data, performance prediction data, and sports facility recommendation data and providing the data to the user terminal; including,
The input data will include at least one data of a specific user's body data for the sport, exercise image data, and personal record data,
Method of providing deep learning-based exercise analysis and sports facility recommendation service.
상기 (a)단계는,
기 설정된 비율로 상기 학습 데이터를 각각 트레이닝셋(training set), 밸리데이션셋(validation set) 및 테스트셋(test set)으로 구분하는 단계;를 포함하되,
상기 (b)단계에서, 상기 트레이닝셋을 상기 딥러닝 모델로 학습시켜 복수의 운동분석 및 스포츠시설추천 모델을 생성하고, 상기 밸리데이션셋을 이용하여 학습 오류가 가장 적은 모델을 선정한 후, 상기 테스트셋을 통해 상기 학습 오류를 보완하는 것인,
딥러닝 기반 운동 분석 및 스포츠 시설 추천 서비스 제공방법.The method of claim 1,
Step (a) is,
Including; dividing the training data into a training set, a validation set, and a test set at a preset ratio, respectively;
In step (b), the training set is trained with the deep learning model to generate a plurality of exercise analysis and sports facility recommendation models, and after selecting a model with the least learning error using the validation set, the test set To compensate for the learning error through
Method of providing deep learning-based exercise analysis and sports facility recommendation service.
상기 운동분석 및 스포츠시설추천 모델은, 상기 (b)단계에서 상기 운동영상 데이터에 기초한 학습 데이터를 통해 상기 자세분석 데이터를 추출하도록 설계된 포즈 에스티메이션 모델(pose estimation model)을 포함하는 것인, 딥러닝 기반 운동 분석 및 스포츠 시설 추천 서비스 제공방법.The method of claim 1,
The exercise analysis and sports facility recommendation model includes a pose estimation model designed to extract the posture analysis data through the training data based on the exercise image data in step (b). A method of providing a running-based exercise analysis and sports facility recommendation service.
상기 (c)단계는,
상기 사용자 단말로부터 수신한 운동영상 데이터로부터 사용자의 특정 신체부위에 대응하는 복수의 키포인트를 산출하는 단계; 및
각각의 키포인트 별로 좌표값을 생성하고 상기 좌표값에 대한 각도 및 길이의 변화를 기 설정된 시간 단위로 산출함으로써 상기 사용자의 자세분석 데이터를 추출하는 단계;를 포함하는, 딥러닝 기반 운동 분석 및 스포츠 시설 추천 서비스 제공방법.4. The method of claim 3,
Step (c) is,
calculating a plurality of key points corresponding to a specific body part of the user from the motion image data received from the user terminal; and
Extracting the user's posture analysis data by generating a coordinate value for each key point and calculating the change in angle and length with respect to the coordinate value in a preset time unit; Deep learning-based exercise analysis and sports facility comprising; How to provide a recommendation service.
상기 (a)단계는,
사용자 별로 수집된 각각의 개인기록 데이터를 통상 개인기록 데이터와 시계열 개인기록 데이터로 가공하는 단계;를 포함하되,
상기 통상 개인기록 데이터는 상기 스포츠의 기 설정된 평가지표 별로 전체기록의 평균에 대응하여 산출되는 것이고,
상기 시계열 개인기록 데이터는 기 설정된 기간 동안의 기록 및 기록 변화 추이 데이터를 포함하며 상기 기 설정된 기간 이외의 개인기록 데이터는 필터링되는 것인, 딥러닝 기반 운동 분석 및 스포츠 시설 추천 서비스 제공방법.The method of claim 1,
Step (a) is,
Including; processing each personal record data collected for each user into normal personal record data and time series personal record data;
The normal personal record data is calculated corresponding to the average of the total records for each preset evaluation index of the sport,
The time series personal record data includes records and record change trend data for a preset period, and personal record data other than the preset period is filtered, a deep learning-based exercise analysis and sports facility recommendation service providing method.
상기 (b)단계는,
상기 운동분석 및 스포츠시설추천 모델은,
상기 신체 데이터, 상기 통상 개인기록 데이터 및 상기 시계열 개인기록 데이터를 DNN(Deep Neural Network)모델 또는 LSTM(Long Short-Term Memory models)모델에 적용하여 상기 퍼포먼스예측 데이터를 추출하도록 학습되는 것인, 딥러닝 기반 운동 분석 및 스포츠 시설 추천 서비스 제공방법.6. The method of claim 5,
Step (b) is,
The exercise analysis and sports facility recommendation model is,
Deep Neural Network (DNN) model or Long Short-Term Memory models (LSTM) model is trained to extract the performance prediction data by applying the body data, the normal personal record data, and the time series personal record data A method of providing a running-based exercise analysis and sports facility recommendation service.
상기 (b)단계는,
상기 운동분석 및 스포츠시설추천 모델은,
상기 학습 데이터를 DNN(Deep Neural Network)모델 또는 LSTM(Long Short-Term Memory models)모델에 적용하여 상기 스포츠시설추천 데이터를 추출하도록 학습되는 것인, 딥러닝 기반 운동 분석 및 스포츠 시설 추천 서비스 제공방법.The method of claim 1,
Step (b) is,
The exercise analysis and sports facility recommendation model is,
A method of providing a deep learning-based exercise analysis and sports facility recommendation service by applying the learning data to a DNN (Deep Neural Network) model or LSTM (Long Short-Term Memory models) model to extract the sports facility recommendation data .
상기 (b)단계는,
상기 수집된 개인기록 데이터 중 기 설정된 기간 동안 수집된 데이터는 소실되지 않고 상기 LSTM모델을 통한 학습에 계속적으로 사용되도록, 상기 LSTM모델 내 망각 게이트(forget gate)에 대한 가중치를 결정하는 것인, 딥러닝 기반 운동 분석 및 스포츠 시설 추천 서비스 제공방법.8. The method of claim 7,
Step (b) is,
Deep, which determines a weight for a forget gate in the LSTM model so that data collected for a preset period among the collected personal record data is not lost and is continuously used for learning through the LSTM model A method of providing a running-based exercise analysis and sports facility recommendation service.
상기 (c)단계에서 추출된 자세분석 데이터 및 상기 퍼포먼스예측 데이터 중 적어도 하나의 데이터는, 상기 스포츠시설추천 데이터를 추출하기 위하여 상기 운동분석 및 스포츠시설추천 모델에 입력되는 데이터로 더 추가되는 것인, 딥러닝 기반 운동 분석 및 스포츠 시설 추천 서비스 제공방법.The method of claim 1,
At least one of the posture analysis data and the performance prediction data extracted in step (c) is further added as data input to the exercise analysis and sports facility recommendation model in order to extract the sports facility recommendation data , Deep learning-based exercise analysis and sports facility recommendation service provision method.
딥러닝 기반 운동 분석 및 스포츠 시설 추천 서비스 제공방법을 수행하기 위한 프로그램이 저장된 메모리; 및
상기 프로그램을 수행하기 위한 프로세서;를 포함하며,
상기 딥러닝 기반 운동 분석 및 스포츠 시설 추천 서비스 제공방법은,
(a) 기 수집한 특정 스포츠에 대한 사용자들의 신체 데이터, 운동영상 데이터 및 개인기록 데이터에 기초하여 학습 데이터를 생성하는 단계;
(b) 상기 학습 데이터를 기 설정된 딥러닝 모델로 학습시켜 운동분석 및 스포츠시설추천 모델을 구축하는 단계; 및
(c) 사용자 단말로부터 수신한 입력 데이터를 상기 운동분석 및 스포츠시설추천 모델에 적용하여 자세분석 데이터, 퍼포먼스예측 데이터 및 스포츠시설추천 데이터 중 적어도 하나의 데이터를 추출하고 상기 사용자 단말로 제공하는 단계;를 포함하되,
상기 입력 데이터는 상기 스포츠에 대한 특정 사용자의 신체 데이터, 운동영상 데이터 및 개인기록 데이터 중 적어도 하나의 데이터를 포함하는 것인,
딥러닝 기반 운동 분석 및 스포츠 시설 추천 서비스 제공서버.In the deep learning-based exercise analysis and sports facility recommendation service providing server,
a memory in which a program is stored for performing a deep learning-based exercise analysis and sports facility recommendation service providing method; and
a processor for executing the program; and
The deep learning-based exercise analysis and sports facility recommendation service providing method is,
(a) generating learning data based on the previously collected user body data, exercise image data, and personal record data for a specific sport;
(b) constructing an exercise analysis and sports facility recommendation model by learning the learning data with a preset deep learning model; and
(c) applying the input data received from the user terminal to the exercise analysis and sports facility recommendation model to extract at least one of posture analysis data, performance prediction data, and sports facility recommendation data and providing the data to the user terminal; including,
The input data will include at least one data of a specific user's body data for the sport, exercise image data, and personal record data,
Server that provides deep learning-based exercise analysis and sports facility recommendation service.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200126525 | 2020-09-29 | ||
| KR20200126525 | 2020-09-29 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220043911A true KR20220043911A (en) | 2022-04-05 |
| KR102637994B1 KR102637994B1 (en) | 2024-02-20 |
Family
ID=81182545
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210128842A KR102637994B1 (en) | 2020-09-29 | 2021-09-29 | Method and device for providing service that analyzes exercise and recommends sports facilities based on deep-learning |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102637994B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102584654B1 (en) * | 2022-06-22 | 2023-10-05 | 이준성 | methods for recommending and managing of exercise lectures |
| CN117035249A (en) * | 2023-01-09 | 2023-11-10 | 南京数之信市场研究有限公司 | Stadium investigation task allocation management system |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160114996A (en) * | 2015-03-25 | 2016-10-06 | 한국전자통신연구원 | personalized sports service providing method and apparatus thereof |
| KR20190127196A (en) * | 2018-05-03 | 2019-11-13 | 초록소프트 주식회사 | Method and apparatus for real - time monitoring of baseball game using artificial neural network |
| KR20200029180A (en) * | 2018-09-10 | 2020-03-18 | 인하대학교 산학협력단 | Method for smart coaching based on artificial intelligence |
-
2021
- 2021-09-29 KR KR1020210128842A patent/KR102637994B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160114996A (en) * | 2015-03-25 | 2016-10-06 | 한국전자통신연구원 | personalized sports service providing method and apparatus thereof |
| KR20190127196A (en) * | 2018-05-03 | 2019-11-13 | 초록소프트 주식회사 | Method and apparatus for real - time monitoring of baseball game using artificial neural network |
| KR20200029180A (en) * | 2018-09-10 | 2020-03-18 | 인하대학교 산학협력단 | Method for smart coaching based on artificial intelligence |
Non-Patent Citations (1)
| Title |
|---|
| 주관연구기관 ㈜퓨전소프트. 연구책임자 박종윤. 딥러닝을 활용한 운동 자세 분석 기술 및 인공지능 PT(Personal Training) 시스템 개발. 중소벤처기업부 최종보고서. 2020. 2. 12. 1부.* * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102584654B1 (en) * | 2022-06-22 | 2023-10-05 | 이준성 | methods for recommending and managing of exercise lectures |
| CN117035249A (en) * | 2023-01-09 | 2023-11-10 | 南京数之信市场研究有限公司 | Stadium investigation task allocation management system |
| CN117035249B (en) * | 2023-01-09 | 2024-01-26 | 南京数之信市场研究有限公司 | Stadium investigation task allocation management system |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102637994B1 (en) | 2024-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11938393B2 (en) | Devices, systems, and their methods of use for desktop evaluation | |
| US11277490B2 (en) | Method and system for generating exchangeable user profiles | |
| Beal et al. | Artificial intelligence for team sports: a survey | |
| Farrokhi et al. | Application of Internet of Things and artificial intelligence for smart fitness: A survey | |
| Song et al. | Understanding users’ continuance intentions to use smart-connected sports products | |
| Chmait et al. | Artificial intelligence and machine learning in sport research: An introduction for non-data scientists | |
| WO2017181052A1 (en) | Systems and methods for providing content-based product recommendations | |
| US20140156646A1 (en) | Methodology for building and tagging relevant content | |
| KR102637994B1 (en) | Method and device for providing service that analyzes exercise and recommends sports facilities based on deep-learning | |
| Bačić et al. | Computational intelligence for qualitative coaching diagnostics: Automated assessment of tennis swings to improve performance and safety | |
| Lukowicz et al. | USER SATISFACTION ON SOCIAL MEDIA PROFILE OF E-SPORTS ORGANIZATION. | |
| Jauhiainen et al. | Talent identification in soccer using a one-class support vector machine | |
| US10587690B2 (en) | Systems and methods for utilizing athlete data to increase athlete performance | |
| US20220172118A1 (en) | System and a method of assessing data corresponding to performance of a player playing a sport and providing recommendations for improving the performance | |
| US10974122B1 (en) | System and method for developing athletes | |
| WO2017011169A1 (en) | Method and system for generating exchangeable user profiles | |
| CA2979136C (en) | Systems and methods for utilizing athlete data to increase athlete performance | |
| Agarwal | Artificial Intelligence in Sports Industry | |
| Matos et al. | Hybrid recommendation system for young football athletes customized training | |
| Rubel | The Sport Commitment Model’s Effect on the Participation Frequency and Purchase Behavior of Golfers | |
| MOSELE | Artificial intelligence in the sport industry | |
| Göltaş | Optimizing Football Lineup Selection Using Machine Learning | |
| Chen et al. | The Needs Analysis of Virtual Exergaming | |
| Spanjer | Predicting performance using player characteristics | |
| JP2023045906A (en) | Information processing device, information processing program, and information processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |