KR102564945B1 - Exercise management healthcare service system using tag - Google Patents

Exercise management healthcare service system using tag Download PDF

Info

Publication number
KR102564945B1
KR102564945B1 KR1020210086723A KR20210086723A KR102564945B1 KR 102564945 B1 KR102564945 B1 KR 102564945B1 KR 1020210086723 A KR1020210086723 A KR 1020210086723A KR 20210086723 A KR20210086723 A KR 20210086723A KR 102564945 B1 KR102564945 B1 KR 102564945B1
Authority
KR
South Korea
Prior art keywords
exercise
image
user
motion
trainer
Prior art date
Application number
KR1020210086723A
Other languages
Korean (ko)
Other versions
KR20230005693A (en
Inventor
임태빈
이창훈
김진
Original Assignee
상명대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상명대학교산학협력단 filed Critical 상명대학교산학협력단
Priority to KR1020210086723A priority Critical patent/KR102564945B1/en
Publication of KR20230005693A publication Critical patent/KR20230005693A/en
Application granted granted Critical
Publication of KR102564945B1 publication Critical patent/KR102564945B1/en

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012Comparing movements or motion sequences with a registered reference
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/803Motion sensors
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/806Video cameras
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/83Special sensors, transducers or devices therefor characterised by the position of the sensor
    • A63B2220/836Sensors arranged on the body of the user

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

태그를 사용한 운동관리 헬스케어 서비스 시스템 및 방법이 개시된다.
태그를 사용한 운동관리 헬스케어 서비스 시스템은 헬스, 피트니스, 요가, 스포츠 운동 시에, 웹서버와 데이터베이스를 구비하며, 운동 및 전문가 트레이너별로 전문가 트레이너의 영상과 운동 콘텐츠를 사용자 단말로 제공하여 운동관리 헬스케어 서비스를 제공하는 운동 관리 서버; 및 상기 운동 관리 서버에 유무선 통신망을 통해 연결되며, 사람의 인체의 각 부위에 부착되는 반짝이는 태그를 부착하고, 트레이너 영상을 보고 따라 운동하는 카메라로 촬영된 사용자의 운동 영상에 대하여 인체의 각 부위에 부착되는 반짝이는 태그를 인식하며, 알파 블렌딩을 사용한 동작을 감지하되, 트레이너의 운동 영상과 사용자의 운동 영상의 이미지의 관절 포인트 마디들을 잇고 운동 영상 분석을 통해 각 부분 동작이 일치하는 지를 사람의 인체의 측정 포인트들의 각 관절의 정점과 정점 사이의 실선 각도로 비교되어 트레이너 운동 영상과 사용자의 운동 영상의 동작 일치도를 점수화하여 상호 비교하며, 해당 운동의 전문가 트레이너 영상과의 동작 일치도 점수와 동작 일치도가 점수화 된 그래프를 출력하고, 체육 과학의 운동 역학 측면에서 자세 교정을 위한 운동관리 헬스케어 서비스를 제공하는 헬스, 피트니스, 요가, 크로스핏, 스포츠 운동을 위한 운동 어플(App)이 설치된 사용자 단말을 포함한다.
An exercise management healthcare service system and method using a tag are disclosed.
The exercise management health care service system using tags has a web server and database for health, fitness, yoga, and sports exercises, and provides expert trainers' videos and exercise contents to user terminals for each exercise and expert trainer. Exercise management server providing care service; And it is connected to the exercise management server through a wired/wireless communication network, attaches a shiny tag attached to each part of the human body, and with respect to the exercise image of the user captured by a camera that exercises according to the trainer image, each part of the human body Recognizes the shiny tag attached to the tag, detects the motion using alpha blending, connects the joint point nodes of the trainer's exercise video and the user's exercise video image, and analyzes the exercise video to determine whether the motions of each part match. The measured points of the human body are compared with the solid line angle between the apex and the vertex of each joint, and the motion concordance between the trainer exercise image and the user's exercise video is scored and compared with each other, and the motion concordance score and motion concordance with the expert trainer image of the exercise A user terminal with an exercise app for health, fitness, yoga, crossfit, and sports exercise that outputs a scored graph and provides exercise management healthcare service for posture correction in terms of exercise dynamics of physical education science include

Description

태그를 사용한 운동관리 헬스케어 서비스 시스템{Exercise management healthcare service system using tag}Exercise management healthcare service system using tag {Exercise management healthcare service system using tag}

본 발명은 운동관리 헬스케어 서비스 시스템에 관한 것으로, 보다 상세하게는 운동기구를 사용한 헬스, 피트니스, 요가, 크로스핏, 스포츠 운동 시에 스포츠 과학의 운동 역학 측면에서 컴퓨터의 웹 또는 스마트폰/태블릿 PC, STB/TV 디스플레이 단말의 운동 어플(App)을 유무선 통신망을 통해 운동 관리 서버에 접속하여 트레이너의 영상과 운동 콘텐츠를 사용자 단말로 제공하고, 사람의 인체의 각 부위(사람의 인체의 측정 포인트들)에 태그 또는 센서를 부착하고, 트레이너의 영상을 보고 따라 운동하는 카메라로 촬영된 사용자의 운동 영상에 대하여 운동하는 사람의 인체의 각 부위(사람의 인체의 측정 포인트들)에 부착되는 태그 또는 센서를 인식하며, 알파 블렌딩(alpha blending)을 사용한 동작을 감지하여 인체의 척추와 관절의 움직임을 검출하고, 운동의 자세의 위치를 검출하며, 운동량(p = mv)을 계산하며, 트레이너의 운동 영상과 사용자의 운동 영상의 관절 포인트 마디들을 잇고 운동 영상 비교분석을 통해, 트레이너 영상과의 사용자 영상의 동작 일치도 점수와 동작 일치도가 점수화 된 그래프를 출력하며, 자세 교정을 위한 운동관리 헬스케어 서비스를 제공하는, 태그를 사용한 운동관리 헬스케어 서비스 시스템에 관한 것이다.The present invention relates to a health care service system for exercise management, and more particularly, in terms of exercise dynamics of sports science during health, fitness, yoga, crossfit, and sports exercises using exercise equipment, a computer web or smartphone / tablet PC , The exercise app of the STB/TV display terminal is connected to the exercise management server through wired/wireless communication networks to provide the trainer's video and exercise contents to the user terminal, and each part of the human body (measurement points of the human body) ), tags or sensors attached to each part of the body (measurement points of the human body) for the exercise image of the user captured by the camera that watches and follows the image of the trainer , detects motion using alpha blending, detects motion of the spine and joints of the human body, detects the position of the exercise posture, calculates the amount of exercise (p = mv), and trains the exercise image of the trainer. Connects the joint point nodes of the user's exercise image and through comparative analysis of the exercise image, outputs a graph in which the motion match score and motion match score of the user image with the trainer image are scored, and provides exercise management healthcare service for posture correction It relates to an exercise management healthcare service system using tags.

종래의 운동자세 교정방법은 3차원 모션센서를 활용하여 교정하는 방법을 사용하였다. 3차원 모션 캡쳐를 위하여 다수의 모션 센서를 활용했으며, 다수의 센서에서 발생하는 대량의 데이터를 처리하기 위해 센서 모듈에 우수한 성능의 프로세서가 요구되었다. 3차원 모션센서를 활용하여 운동자세를 교정하는 방법은 다수의 3차원 모션 센서가 요구되기 때문에 모듈 가격이 비싸고 복잡한 시스템이 필요하였다. The conventional exercise posture correction method used a method of correction using a three-dimensional motion sensor. A number of motion sensors were used for 3D motion capture, and a processor with excellent performance was required for the sensor module to process the large amount of data generated by the number of sensors. The method of correcting exercise posture using a 3D motion sensor required a complex system with high module cost because a large number of 3D motion sensors were required.

이와 관련된 선행기술1로써, 특허 등록번호 10-2123743에서는 "피트니스 자세교정을 위한 운동분석 방법"이 등록되어 있으며, 운동자세 분석방법, 운동자세 분석장치 및 기록매체가 제공된다. 운동자세 분석방법은 섬유센서로부터 측정신호를 입력받고, 입력받은 측정신호에서 사용자가 운동시 측정된 신호인 유효영역신호를 추출하며, 추출된 유효영역신호를 이용하여 사용자의 운동자세를 분석할 수 있게 하여, 사용자의 운동자세를 더욱 정확하게 분석하고 잘못된 운동자세를 교정할 수 있게 된다.As a prior art 1 related to this, Patent Registration No. 10-2123743 "motion analysis method for fitness posture correction" is registered, and an exercise posture analysis method, a motion posture analysis device, and a recording medium are provided. The exercise posture analysis method receives a measurement signal from the textile sensor, extracts an effective area signal, which is a signal measured during the user's exercise, from the input measurement signal, and analyzes the user's exercise posture using the extracted effective area signal. Thus, the user's exercise posture can be more accurately analyzed and the wrong exercise posture can be corrected.

도 1은 종래의 운동자세 분석 장치의 구성도이다. 도 2는 종래의 운동자세 분석 방법에 의해 사용자의 운동자세의 정확도를 판단하는 전체 과정을 도시한 도면이다. 1 is a configuration diagram of a conventional exercise posture analysis device. 2 is a view showing the entire process of determining the accuracy of a user's exercise posture by a conventional exercise posture analysis method.

운동자세 분석 장치를 이용한 운동자세 분석 방법은 The exercise posture analysis method using the exercise posture analysis device is

섬유센서로부터 측정신호를 입력받는 단계; 입력받은 측정신호에서 사용자가 운동시 측정된 신호인 유효영역신호를 추출하는 단계; 및 추출된 유효영역신호를 이용하여 사용자의 운동자세를 분석하는 단계를 포함하고,Receiving a measurement signal from a fiber sensor; extracting an effective area signal, which is a signal measured when a user exercises, from the input measurement signal; and analyzing a user's exercise posture using the extracted valid area signal.

상기 유효영역신호를 추출하는 단계는, 입력받은 측정신호에서 시간에 따른 측정신호 변화율의 유효피크(Peak)와 평균주기를 이용하여 유효영역신호를 추출하고,In the step of extracting the effective range signal, the effective range signal is extracted by using the effective peak and average period of the measurement signal change rate over time in the input measurement signal;

상기 유효영역신호를 추출하는 단계는, 시간에 따른 측정신호 변화율 그래프에서 전체 피크 간격의 특정 범위 내에 해당되는 피크 간격의 평균을 구한 평균주기와 전체 피크들 중에서 평균주기를 가지는 피크인 유효피크를 선택하는 단계; 및In the step of extracting the effective area signal, an effective peak, which is a peak having an average period among all peaks and an average period obtained by averaging peak intervals corresponding to a specific range of all peak intervals in a graph of change rate of the measurement signal over time is selected. doing; and

첫번째 유효피크의 시점부터 마지막 유효피크의 시점에서 평균주기가 지났을 때까지의 구간을 유효영역신호로 추출하는 단계를 포함한다. and extracting, as an effective area signal, a section from the first effective peak to the last effective peak until the lapse of the average period.

상기 섬유센서는 복수 개이고, 상기 유효영역신호를 추출하는 단계는, 섬유센서 각각으로부터 입력된 측정신호의 각 평균에너지를 특정 임계값과 비교함으로써, 복수의 섬유센서 중 사용자의 운동을 감지하는 섬유센서를 선택하고, 선택된 섬유센서로부터 입력받은 측정신호에서 유효영역신호를 추출한다. The fiber sensor is plural, and the step of extracting the effective area signal is a fiber sensor for detecting a user's movement among a plurality of fiber sensors by comparing each average energy of the measurement signal input from each fiber sensor with a specific threshold value. Select and extract the effective area signal from the measurement signal input from the selected fiber sensor.

이와 관련된 선행기술2로써, 특허 등록번호 10-1962578에서는 "VR을 이용한 피트니스 운동 서비스 제공 시스템"이 등록되어 있다.As prior art 2 related to this, Patent Registration No. 10-1962578 "Fitness exercise service using VR" is registered.

이와 관련된 선행기술3로써, 특허 공개번호 10-2020-0055243에서는 "운동 검사 연동 피트니스 스케줄링 서비스 제공 방법 및 그를 위한 서버 장치"가 공개되어 있다. As prior art 3 related to this, Patent Publication No. 10-2020-0055243 discloses “a method for providing a fitness scheduling service linked to an exercise test and a server device therefor”.

최근, 헬스장, 피트니스, 요가, 스포츠 운동에서 실시되는 운동은 스포츠 과학, 운동 역학 측면에서 사용자에게 웹 또는 모바일 단말기를 사용하여 운동 어플(App)을 사용하여 유무선 통신망을 통해 운동 관리 서버에 접속하여 운동 콘텐츠를 제공하고 있다.Recently, exercises performed in gyms, fitness, yoga, and sports exercises are performed by accessing an exercise management server through a wired or wireless communication network using a web or mobile terminal to exercise in terms of sports science and exercise mechanics. You are providing content.

그러나, 헬스, 피트니스, 요가, 스포츠 운동 시에, 기존의 운동관리 시스템은 운동 관리 서버에서 트레이너의 영상과 운동 콘텐츠를 스마트폰/태블릿 PC로 제공하고, 사람의 인체의 각 부위에 반짝이는 태그를 부착하여 카메라로 촬영된 사용자의 운동 영상을 제공하며, 알파 블렌딩을 사용한 동작 인식에 의해 인체의 척추와 관절의 움직임을 검출하여 운동의 자세의 위치를 검출하고, 운동 영상 분석을 위해 카메라로 촬영된 사용자의 운동 영상을 트레이너 영상과 비교 분석, 트레이너의 운동 영상과 사용자의 운동 영상의 관절 마디들을 잇고 이를 영상 분석을 통해 상호 비교하여 동작 일치도가 점수화 된 그래프를 표출하며, 운동시 빅 데이터를 분석하여 데이터를 시각화하여 운동 관련 빅 데이터 분석과 데이터 시각화, 시계열적인 통계 데이터를 막대 그래프, 꺽은선 그래프로 제공하고, 운동 시 자세 교정을 제공하는 운동관리 헬스케어 서비스와 홈 트레이닝 서비스를 제공하지 않았다. However, in the case of health, fitness, yoga, and sports exercise, the existing exercise management system provides the trainer's video and exercise contents to a smartphone/tablet PC from the exercise management server, and attaches shiny tags to each part of the human body. It is attached to provide the user's movement image captured by the camera, detect the movement of the spine and joints of the human body by motion recognition using alpha blending, detect the position of the movement posture, and capture the movement image with the camera for analysis. Comparison and analysis of the user's exercise video with the trainer's video, linking the joint nodes of the trainer's exercise video and the user's exercise video, and comparing them through image analysis to express a graph in which the motion coincidence is scored, and analyzing big data during exercise It did not provide exercise management healthcare services and home training services that visualize data and provide exercise-related big data analysis and data visualization, time-series statistical data in bar graphs and line graphs, and posture correction during exercise.

특허 등록번호 10-2123743 (등록일자 2020년 06월 10일), "피트니스 자세교정을 위한 운동분석 방법", 전자부품연구원Patent Registration No. 10-2123743 (Registration Date: June 10, 2020), "Motion Analysis Method for Fitness Posture Correction", Electronic Components Research Institute 특허 등록번호 10-1962578 (등록일자 2019년 03월 20일), "VR을 이용한 피트니스 운동 서비스 제공 시스템", 김종범Patent Registration No. 10-1962578 (registration date March 20, 2019), "Fitness Exercise Service Provision System Using VR", Jong-Beom Kim 특허 공개번호 10-2020-0055243 (공개일자 2020년 05월 21일), "운동 검사 연동 피트니스 스케줄링 서비스 제공 방법 및 그를 위한 서버 장치", 주식회사 피트Patent Publication No. 10-2020-0055243 (published on May 21, 2020), "Method of providing fitness scheduling service linked to exercise test and server device therefor", Pete Co., Ltd.

상기 문제점을 해결하기 위한 본 발명의 목적은 운동기구를 사용한 헬스, 피트니스, 요가, 크로스핏, 스포츠 운동 시에 스포츠 과학의 운동 역학 측면에서 컴퓨터의 웹 또는 스마트폰/태블릿 PC, STB/TV 디스플레이 단말의 운동 어플(App)을 유무선 통신망을 통해 운동 관리 서버에 접속하여 트레이너의 영상과 운동 콘텐츠를 사용자 단말로 제공하고, 사람의 인체의 각 부위(사람의 인체의 측정 포인트들)에 태그 또는 센서를 부착하고, 트레이너의 영상을 보고 따라 운동하는 카메라로 촬영된 사용자의 운동 영상에 대하여 운동하는 사람의 인체의 각 부위(사람의 인체의 측정 포인트들)에 부착되는 태그 또는 센서를 인식하며, 알파 블렌딩(alpha blending)을 사용한 동작을 감지하여 인체의 척추와 관절의 움직임을 검출하고, 운동의 자세의 위치를 검출하며, 운동량(p = mv)을 계산하며, 트레이너의 운동 영상과 사용자의 운동 영상의 관절 포인트 마디들을 잇고 운동 영상 비교분석을 통해, 트레이너 영상과의 사용자 영상의 동작 일치도 점수와 동작 일치도가 점수화 된 그래프를 출력하며, 자세 교정을 위한 운동관리 헬스케어 서비스를 제공하는, 태그를 사용한 운동관리 헬스케어 서비스 시스템을 제공한다. An object of the present invention to solve the above problems is a computer web or smartphone/tablet PC, STB/TV display terminal in terms of exercise dynamics of sports science during health, fitness, yoga, crossfit, and sports exercise using exercise equipment. The exercise app (App) accesses the exercise management server through a wired/wireless communication network to provide the trainer's video and exercise contents to the user terminal, and attach tags or sensors to each part of the human body (measurement points of the human body). Recognize tags or sensors attached to each part of the body (measurement points of the human body) of the exercising person in relation to the exercise image of the user captured by the camera and exercise along with the video of the trainer, and perform alpha blending (alpha blending) is used to detect the motion of the spine and joints of the human body, detect the position of the posture of the motion, calculate the amount of exercise (p = mv), and compare the trainer's motion image and the user's motion image Exercise using tags that connects joint point nodes and compares and analyzes exercise images, outputs a graph in which the motion match score and motion match score of the user image with the trainer image are scored, and provides exercise management healthcare services for posture correction Provides a managed healthcare service system.

본 발명의 목적을 달성하기 위해, 태그를 사용한 운동관리 헬스케어 서비스 시스템은 헬스, 피트니스, 요가, 스포츠 운동 시에, 웹서버와 데이터베이스를 구비하며, 운동 및 전문가 트레이너별로 전문가 트레이너의 영상과 운동 콘텐츠를 사용자 단말로 제공하여 운동관리 헬스케어 서비스를 제공하는 운동 관리 서버; 및 상기 운동 관리 서버에 유무선 통신망을 통해 연결되며, 사람의 인체의 각 부위에 부착되는 반짝이는 태그를 부착하고, 트레이너 영상을 보고 따라 운동하는 카메라로 촬영된 사용자의 운동 영상에 대하여 인체의 각 부위에 부착되는 반짝이는 태그를 인식하며, 알파 블렌딩을 사용한 동작을 감지하되, 상기 트레이너의 운동 영상과 상기 사용자의 운동 영상의 이미지의 관절 포인트 마디들을 잇고 운동 영상 분석을 통해 각 부분 동작이 일치하는지를 사람의 인체의 측정 포인트들의 각 관절의 정점과 정점 사이의 실선 각도로 비교되어 상기 트레이너의 운동 영상과 상기 사용자의 운동 영상의 동작 일치도를 점수화하여 상호 비교하며, 해당 운동의 전문가 트레이너 영상과의 동작 일치도 점수와 동작 일치도가 점수화 된 그래프를 출력하는 헬스, 피트니스, 요가, 크로스핏, 스포츠 운동을 위한 운동 어플(App)이 설치된 사용자 단말을 포함한다. In order to achieve the object of the present invention, an exercise management healthcare service system using tags includes a web server and a database for health, fitness, yoga, and sports exercises, and includes expert trainers' images and exercise contents for each exercise and expert trainer. An exercise management server that provides an exercise management healthcare service by providing a user terminal; And it is connected to the exercise management server through a wired/wireless communication network, attaches a shiny tag attached to each part of the human body, and with respect to the exercise image of the user captured by a camera that exercises according to the trainer image, each part of the human body Recognizes the sparkling tag attached to and detects the motion using alpha blending, connects the joint point nodes of the trainer's motion image and the user's motion image image, and determines whether the motions of each part match through motion image analysis. The measured points of the human body are compared with the solid line angle between the apex and the vertex of each joint, and the motion consistency of the trainer's motion image and the user's motion image are scored and compared with each other, and the motion coincidence with the expert trainer's image of the corresponding exercise It includes a user terminal in which an exercise app for health, fitness, yoga, crossfit, and sports exercise, which outputs a graph in which scores and motion coincidences are scored, is installed.

본 발명의 태그를 사용한 운동관리 헬스케어 서비스 시스템은 운동기구를 사용한 헬스, 피트니스, 요가, 크로스핏, 스포츠 운동 시에 스포츠 과학의 운동 역학 측면에서 컴퓨터의 웹 또는 스마트폰/태블릿 PC, STB/TV 디스플레이 단말의 운동 어플(App)을 유무선 통신망을 통해 운동 관리 서버에 접속하여 트레이너의 영상과 운동 콘텐츠를 사용자 단말로 제공하고, 사람의 인체의 각 부위(사람의 인체의 측정 포인트들)에 태그 또는 센서를 부착하고, 트레이너의 영상을 보고 따라 운동하는 카메라로 촬영된 사용자의 운동 영상에 대하여 운동하는 사람의 인체의 각 부위(사람의 인체의 측정 포인트들)에 부착되는 태그 또는 센서를 인식하며, 알파 블렌딩(alpha blending)을 사용한 동작을 감지하여 인체의 척추와 관절의 움직임을 검출하고, 운동의 자세의 위치를 검출하며, 운동량(p = mv)을 계산하며, 트레이너의 운동 영상과 사용자의 운동 영상의 관절 포인트 마디들을 잇고 운동 영상 비교분석을 통해, 트레이너 영상과의 사용자 영상의 동작 일치도 점수와 동작 일치도가 점수화 된 그래프를 출력하며, 자세 교정을 위한 운동관리 헬스케어 서비스를 제공하는 효과가 있다. The exercise management healthcare service system using the tag of the present invention is a computer web or smartphone/tablet PC, STB/TV in terms of exercise dynamics of sports science during health, fitness, yoga, crossfit, and sports exercises using exercise equipment. The exercise app on the display terminal connects to the exercise management server through wired/wireless communication networks to provide the trainer's video and exercise contents to the user terminal, and tags or Recognize tags or sensors attached to each part of the human body (measurement points of the human body) in relation to the user's exercise image captured by the camera that attaches the sensor and exercises according to the trainer's image, Detect motion using alpha blending to detect the movement of the spine and joints of the human body, detect the position of the motion posture, calculate the amount of motion (p = mv), and use the trainer's motion image and the user's motion By connecting the joint point nodes of the image and through comparative analysis of the exercise image, the motion matching score of the user image with the trainer image and the motion matching score are output, and the exercise management healthcare service for posture correction is output. .

운동 기구를 사용하는 헬스, PT(Personal Training), 피트니스, 요가, 크로스핏, 스포츠 운동 시에, 체육과학의 운동 역학 측면에서, 전문가 트레이너의 영상을 기준으로 헬스장의 기구 운동, 역기 들기, 팔굽혀 펴기, 피트니스 동작, 요가 동작 자세 교정, 테니스 자세 교정, 스크린 골프 자세 교정에 사용되며, 사용자가 운동 어플(App)이 설치된 스마트폰과 TV 디스플레이를 보면서 운동관리 헬스케어 서비스를 제공하게 되었다. Fitness using exercise equipment, PT (Personal Training), fitness, yoga, crossfit, sports exercise, in terms of exercise mechanics in physical education science, equipment exercise in the gym, lifting weights, push-ups based on images of expert trainers It is used for straightening, fitness movement, yoga posture correction, tennis posture correction, and screen golf posture correction, and provides exercise management healthcare service while the user watches the smartphone and TV display with the exercise app installed.

도 1은 종래의 운동자세 분석 장치의 구성도이다.
도 2는 종래의 운동자세 분석 방법에 의해 사용자의 운동자세의 정확도를 판단하는 전체 과정을 도시한 도면이다.
도 3은 태그를 사용한 운동관리 헬스케어 서비스 시스템 구성도이다.
도 4는 본 발명에 따른 태그를 사용한 운동관리 헬스케어 서비스 시스템 구성도이다.
도 5는 본 발명의 실시예에 의한 스마트폰의 피트니스 운동 어플(App)의 메인 화면 및 로그인 화면이다.
도 6은 스마트폰의 피트니스 운동 어플(App)의 시작 화면 및 챌린지 화면이다.
도 7은 스마트폰의 피트니스 운동 어플(App)의 운동 선택 화면, 트레이너 선택 화면이다.
도 8은 스마트폰의 피트니스 운동 어플(App)의 운동 영상 화면, 및 트레이너 영상과 비교화면(I)이다.
도 9는 스마트폰의 피트니스 운동 어플(App)의 운동 영상 화면, 및 트레이너 영상과 비교화면(Ⅱ)이다.
도 10은 스마트폰의 피트니스 운동 어플(App)의 운동 영상 화면, 및 트레이너 영상과 비교화면(Ⅲ)이다.
도 11은 체중 측정 및 체성분 검출기기(In Body 체중계)의 검사 결과, 골격근 지방분석(체중, 근육량, 체지방량), 비만분석(BMI, 체지방률), 내장지방분석(내장지방레벨)을 측정 값과 막대 그래프(bar chart) 형태로 사용자 단말의 운동 어플(App)에 표시된 화면이다.
도 12는 체중 측정 및 체성분 검출기기(In Body 체중계)의 검사 결과, 일/주/월별 시간에 따른 체중, 근육량, 체지방량, 체지방률의 측정값의 신체 밸런스 변화 과정을 꺽은선 그래프(line chart) 형태로 표현, 표준 정규 분포 곡선에 체중 측정 및 체성분 검출기기(In Body 체중계) 점수(인바디 점수)를 표시하고, 미리 측정된 일정 인원수의 표준 체형을 가진 모집단(population)의 표본(sample)의 체중 측정 및 체성분 검출기기(In Body 체중계) 점수의 평균에 의한 정규 분포를 갖는 통계 그래프에서 상위 몇% 인지 사용자 단말의 운동 어플(App)에 표시된 화면이다.
도 13은 헬스, 피트니스, 요가, 스포츠 운동 시에, 트레이너 영상을 기준으로 인체의 각 부위에 부착된 반짝이는 태그 또는 센서가 부착된 사용자 영상의 목 관절/몸통 관절/팔꿈치 관절/무릅 관절에 따라 몸통과 팔 다리 동작 모델의 트레이너 영상과의 동작 일치도 점수의 측정 원리를 설명하는 도면이다.
도 14는 헬스, 피트니스, 요가, 스포츠 운동 시에, 운동 동작 행위 인식시에 전문가 트레이너의 운동 영상을 보고 따라 운동하는 사용자의 운동 영상의 사람의 인체의 측정 포인트들의 관절의 정점과 정점을 연결한 사진이다.
1 is a configuration diagram of a conventional exercise posture analysis device.
2 is a view showing the entire process of determining the accuracy of a user's exercise posture by a conventional exercise posture analysis method.
3 is a block diagram of an exercise management healthcare service system using a tag.
4 is a block diagram of an exercise management healthcare service system using a tag according to the present invention.
5 is a main screen and a login screen of a fitness exercise application (App) of a smart phone according to an embodiment of the present invention.
6 is a start screen and a challenge screen of a fitness exercise application (App) of a smartphone.
7 is an exercise selection screen and a trainer selection screen of a fitness exercise application (App) of a smartphone.
8 is an exercise image screen of a fitness exercise application (App) of a smart phone and a comparison screen (I) with a trainer image.
9 is an exercise image screen of a fitness exercise application (App) of a smartphone and a comparison screen (II) with a trainer image.
10 is an exercise image screen of a fitness exercise application (App) of a smart phone and a comparison screen (III) with a trainer image.
11 shows the test results of the weight measurement and body composition detector (In Body scale), skeletal muscle fat analysis (weight, muscle mass, body fat mass), obesity analysis (BMI, body fat rate), and visceral fat analysis (visceral fat level) with measured values and bars This is a screen displayed in the exercise app of the user terminal in the form of a graph (bar chart).
Figure 12 is a line chart of the body balance change process of measured values of body weight, muscle mass, body fat mass, and body fat percentage according to time of day/week/month as a result of examination of body weight measurement and body composition detection device (In Body Scale). Expressed as , weight measurement and body composition detection device (In Body scale) scores (In Body scores) are displayed on the standard normal distribution curve, and weight measurement of a sample of a population having a standard body shape of a certain number of people measured in advance and the top percentage in the statistical graph having a normal distribution by the average of body composition detection device (In Body scale) scores.
13 is a diagram according to neck joints/trunk joints/elbow joints/knee joints of user images attached with shiny tags or sensors attached to each part of the human body based on trainer images during health, fitness, yoga, and sports exercises. It is a diagram explaining the measurement principle of the motion agreement score of the torso and limb motion model with the trainer image.
14 connects the apex of the joint of the human body measurement points in the exercise image of the user who watches and follows the exercise image of the expert trainer during health, fitness, yoga, and sports exercise and recognizes the exercise action. It is a picture.

이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 발명의 구성 및 동작을 상세하게 설명한다. 본 발명의 설명에 있어서 관련된 공지의 기능 또는 공지의 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 자세한 설명을 생략한다. 또한, 첨부된 도면 번호는 동일한 구성을 표기할 때에 다른 도면에서 동일한 도면번호를 부여한다. Hereinafter, the configuration and operation of a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings. In the description of the present invention, if it is determined that a detailed description of a related known function or known configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. In addition, the attached drawing numbers refer to the same drawing numbers in other drawings when indicating the same configuration.

헬스장, 피트니스, 요가, 크로스핏에서, 홈 트레이닝과 헬스케어 서비스를 제공하는 운동 관리 서버와 유무선 통신망을 통해 연결된 컴퓨터, 스마트폰/태블릿 PC과 TV 디스플레이로 운동 어플(App)을 사용하여 운동 선택/트레이너가 선택되면, In gyms, fitness, yoga, and crossfit, exercise management servers that provide home training and healthcare services and computers connected through wired/wireless communication networks, smartphones/tablet PCs, and TV displays use exercise applications to select / exercise Once a trainer is selected,

운동관리 서버는 사용자 단말의 운동 어플(App)로 운동 기본 자세와 관련된 영상과 음성, 이미지, 텍스트가 포함되는 운동 정보와 운동 콘텐츠, 해당 운동별 전문가 트레이너의 영상을 제공하고, 운동하는 사람의 인체의 각 부위(사람의 인체의 측정 포인트들)에 반짝이는 태그 또는 센서를 부착하고, 운동 선택/트레이너 선택 후에 전문가 트레이너의 영상을 보고 따라 운동하는 사용자의 운동 영상을 사용자 단말의 카메라로 촬영하며; 운동하는 사람의 인체 부위마다 반사되는 태그를 부착된 사용자의 운동 영상을 분석하는 체육과학적인 운동 어플(App)의 운동 분석 프로그램을 사용하여 알파 블렌딩(alpha blending)을 사용한 동작을 감지하여 인체의 척추와 관절의 움직임을 검출하고 운동의 자세의 위치를 검출하며, 운동량(p = mv)을 계산하고; - 필요시에 전문가 트레이너 영상의 표준 크기(가로x세로)에 맞춰 사용자 영상 스케일링을 통해 영상/사진을 확대/축소하고, - 트레이너의 운동 영상/사진과 사용자의 운동 영상/사진의 이미지의 관절 마디들을 잇고 영상 분석을 통해 트레이너 영상을 기준으로 사용자 영상의 동작 일치도를 점수화하여 상호 비교하며, 척추/관절 마디 마다 전문가 트레이너 영상을 기준으로 사용자 영상의 운동 영상 비교분석을 통해 알파 블렌딩 정확도(accuracy)를 산출하여 동작 일치도 점수와 동작 일치도가 점수화된 그래프를 제공하며, 자세 교정을 위한 운동관리 헬스케어 서비스를 제공하여 운동기구를 사용하는 헬스, PT(Personal Training), 피트니스, 요가, 스포츠 운동에 사용된다. The exercise management server is an exercise application (App) on the user terminal. It provides exercise information and exercise contents including video, audio, image, and text related to basic exercise postures, and images of expert trainers for each exercise, and the human body of a person exercising attaching a shiny tag or sensor to each part (measurement points of the human body), and after selecting an exercise/trainer, taking an exercise image of a user exercising according to the video of an expert trainer with a camera of a user terminal; By using the exercise analysis program of the exercise scientific exercise app that analyzes the user's exercise image attached with the tag that reflects each part of the exerciser's body, the motion using alpha blending is detected and the spine of the human body Detect the movement of the joint and the position of the movement, and calculate the momentum (p = mv); - If necessary, enlarge/reduce the video/photo by scaling the user's video according to the standard size (width x height) of the expert trainer's video, - Joint joints between the trainer's exercise video/photo and the user's exercise video/photo image Through image analysis, the motion consistency of user images is scored based on the trainer image and compared with each other, and alpha blending accuracy is determined through comparative analysis of the motion image of the user image based on the expert trainer image for each spine/joint node. It calculates and provides motion concordance scores and motion concordance graphs, provides exercise management healthcare services for posture correction, and is used for health, PT (Personal Training), fitness, yoga, and sports exercises using exercise equipment. .

운동 동작의 동작 모델에 따라 트레이너 영상를 기준으로 사용자 영상의 동작 일치도는 사람의 인체의 측정 포인트들의 각 관절의 정점과 정점 사이의 연결된 실선의 각도로 비교하여 트레이너 영상을 기준으로 사용자 영상의 동작 일치도가 점수화된다. According to the motion model of the exercise motion, the motion consistency of the user image based on the trainer image is compared with the angle of the solid line connected between the vertices of each joint of the measurement points of the human body, and the motion consistency of the user image based on the trainer image is are scored

예를 들면, 체육과학의 운동 역학 측면에서, 해당 운동의 전문가 트레이너의 영상을 기준으로 헬스장 기구 운동, 역기 들기, 팔굽혀 펴기, 피트니스 동작, 요가 동작 자세 교정, 테니스 자세 교정, 및 스크린 골프 자세 교정 등에 사용된다. For example, in terms of exercise mechanics in physical education science, gym equipment exercise, weight lifting, push-up, fitness motion, yoga posture correction, tennis posture correction, and screen golf posture correction based on the images of expert trainers in the exercise used, etc.

운동하는 사람의 인체의 팔목 어깨, 팔다리와 몸통, 무릅, 허벅지 등의 인체 각 부위에 부착되는 반짝이는 태그 또는 센서를 사용하며, 카메라로 촬영된 사용자의 운동 영상의 인체 부위들에 부착된 반짝이는 태그를 인식하며, 알파 블렌딩을 사용하여 동작을 감지하여 운동하는 사람의 인체의 척추와 관절의 움직임을 검출하고 운동 자세와 위치를 인식한다. It uses shiny tags or sensors attached to each part of the body such as wrists, shoulders, limbs and torso, knees, and thighs of the exercising person, and the sparkling tags attached to the body parts of the user's exercise video taken by the camera are used. It recognizes tags, detects motions using alpha blending, detects motions of the spine and joints of a person exercising, and recognizes the posture and position of an exerciser.

센서는 인체의 부위별로 구비되는 다수의 3차원 모션감지 센서, 또는 3축 가속도 센서와 제어부와 통신부를 구비하는 손목 착용 웨어러블 밴드를 사용할 수도 있으며, 운동 시에 설정 동기화된 사용자 단말로 블루투스(BLE) 또는 Wi-Fi 통신을 통해 3차원 모션감지 데이터 또는 3축 가속도 데이터가 전송된다, As the sensor, a plurality of three-dimensional motion detection sensors provided for each part of the human body, or a wrist-worn wearable band having a three-axis acceleration sensor, a control unit, and a communication unit may be used, and Bluetooth (BLE) as a user terminal synchronized with settings during exercise Alternatively, 3D motion detection data or 3-axis acceleration data is transmitted through Wi-Fi communication.

운동 영상의 동작을 감지하여 운동 분석을 통해 해당 운동의 인체 동작의 자세 교정을 제공하는 운동관리 헬스케어 서비스를 제공하며, 운동기구를 사용하는 헬스, PT(Personal Training), 피트니스, 요가, 크로스핏, 스포츠 운동에 사용된다. Provides an exercise management healthcare service that detects the motion of the exercise video and provides posture correction of the human body motion of the exercise through motion analysis. Health using exercise equipment, PT (Personal Training), fitness, yoga, crossfit , used for sports exercise.

운동은 헬스장의 운동(러닝머신 달리기, 역기 들기, 기구 운동 등), 피트니스, 요가, 크로스핏, 스포츠 운동(탁구, 테니스, 골프, 태권도, 유도, 검도 등) 등을 포함하며, 이에 한정하지 않으며 다양한 운동이 사용될 수 있다. Exercise includes, but is not limited to, gym exercise (treadmill running, weight lifting, machine exercise, etc.), fitness, yoga, crossfit, sports exercise (table tennis, tennis, golf, taekwondo, judo, kendo, etc.) A variety of exercises can be used.

피트니스(physical fitness, 신체적성)는 팔다리를 모두 사용하는 전신 유산소 운동으로 이루어진 피트니스 운동 프로그램을 제공하며, 척추와 근육의 움직임을 통해 혈액 순환을 촉진하여 건강한 신체를 위한 운동을 제공한다.Fitness (physical fitness) provides a fitness exercise program consisting of whole-body aerobic exercise using all limbs, and provides exercise for a healthy body by promoting blood circulation through movement of the spine and muscles.

참고로, 요가는 바른 자세의 요가 동작과 호흡법에 따라, 깊은 복식 호흡을 통해 척추와 근육과 관절의 움직임을 갖는 요가 동작의 스트레칭에 의해 목/어깨/손목/팔다리/척추의 관절의 움직임, 근육의 저항과 스트레칭에 따라 몸의 균형을 유지하고 근육과 관절을 바르게 정렬시키기 위한 운동이다. For reference, yoga is the movement of the joints of the neck/shoulder/wrist/limb/spine by stretching of the spine, muscles and joints with movement of the spine, muscles and joints through deep abdominal breathing, according to the yoga movement and breathing method of the correct posture. It is an exercise to keep the balance of the body according to the resistance and stretching of the body and properly align the muscles and joints.

아쉬탕가(Ashtanga) 요가 연습시에 요가의 최고 상태를 도달하기 위한 8가지 측면에 접근 방식을 기반으로 하는 요가는 여덟 가지, 여러개의 팔다리를 의미하며, 파탄잘리(Patanjali)의 요가수트라에 기록된 야마(금욕), 니야마(관찰), 아사나(자세), 프라나야마(호흡), 프라티하라(감각 조절), 다라나(집중), 디야나(명상), 사마디(삼매)를 뜻한다. 8가지 자세 연습(아사나)의 실천은 프라나야마(호흡)의 바른 실천을 위해 요가 동작이 확립된다고 한다. Yoga, which is based on an eight-aspect approach to reaching the highest state of yoga in Ashtanga yoga practice, means eight, multiple limbs, as recorded in the Yoga Sutras of Patanjali. Yama (abstinence), Niyama (contemplation), Asana (posture), Pranayama (breathing), Pratihara (sensory control), Dharana (concentration), Dhyana (meditation), Samadhi (samadhi) . The practice of eight posture exercises (asana) is said to establish yoga movements for the correct practice of pranayama (breathing).

호흡법은 우짜이 호흡(Ujjayi breathing), 라이언 호흡(Lion's Breathing), 깊은 복식 호홉(deep stomach breathing)이 있다. Breathing methods include Ujjayi breathing, Lion's breathing, and deep stomach breathing.

요가는 요가 동작의 자세 연습(아사나), 프라나야마(호흡)의 바른 자세와 호흡법을 실천하여 척추/목/손목/팔다리의 관절의 움직임, 근육의 저항과 스트레칭에 따라 자세를 교정하여 균형 감각을 갖는 인체를 훈련하여 관절의 불편함을 개선하고 만성근육통증과 몸의 독소를 제거하고 척추와 관절의 움직임에 따라 혈액 순환을 개선하여 건강한 신체를 유지하게 된다. Yoga practice posture practice (asana) of yoga movement, correct posture and breathing method of pranayama (breathing), correct posture according to movement of joints of spine/neck/wrist/limbs, resistance and stretching of muscles to improve sense of balance. It trains the human body to improve joint discomfort, remove chronic muscle pain and toxins from the body, and improve blood circulation according to the movement of the spine and joints to maintain a healthy body.

요가 동작들은 체형 교정과 굳은 근육과 관절을 풀어주고 약해진 근육을 강화시켜 주고 유연성 회복으로 건강한 몸과 마음을 갖게 된다. 예를들면, "앞으로 숙인 자세"에 익숙해진 사람은 말린 어깨와 구부러진 틀어진 척추 등의 자세 교정과 체형 교정을 위해 "뒤로 젖히는 자세"와 "머리와 목을 뒤로 회전하기", "좌우 사이드 스트레칭"을 하여 머리, 목, 어깨의 근육의 긴장을 완화한다. Yoga movements correct body shape, release stiff muscles and joints, strengthen weakened muscles, and restore flexibility to have a healthy body and mind. For example, a person who is accustomed to "leaning forward posture" can use "backward posture", "backward rotation of the head and neck", and "left and right side stretching" to correct posture and body shape such as curled shoulders and a twisted spine. It relieves tension in the muscles of the head, neck and shoulders.

요가는 워밍업(목을 풀고 어깨, 팔, 팔꿈치, 손목, 손가락, 고관절, 무릅, 발가락 순서)과 호흡법 척추, 목, 손목, 관절의 척추 움직임과 동작을 제시하여 전굴 동작(forward folds), 어깨를 여는 동작(sholder openers), 고관절과 다리 굴곡근(hip and leg flexors), 후굴 동작(back bends), 몸의 중심 코어 강화 동작(core strengtheners), 암 밸런스와 인버전 자세(arm balances and inversion), 비틀기 자세(twists) 등이 요가 동작을 제공한다. Yoga is a warm-up (relaxing the neck, shoulders, arms, elbows, wrists, fingers, hip joints, knees, and toes in order) and breathing methods. holder openers, hip and leg flexors, back bends, core strengtheners, arm balances and inversions, twists Twists and the like provide yoga movements.

전굴 동작은 고관절이 접히는 지점에서 앞으로 숙이는 동작에서 머리에서 발뒷꿈치까지 몸 뒤쪽이 스트레칭된다. The forward flexion action stretches the back of the body from the head to the heel in a forward bending action at the point where the hip joint is folded.

요가 동작의 어깨를 여는 동작은 강아지 자세, 소머리 자세, 등뒤 합장 자세 등이 있으며, 근육을 확장하고 풀어주어 만성근육통증과 관절의 불편함을 감소시켜 머리 목 어깨의 근육의 긴장을 풀어준다.There are dog posture, cow head posture, and back-to-back posture to open the shoulders of yoga, and it expands and relaxes muscles to reduce chronic muscle pain and joint discomfort, releasing tension in the muscles of the head, neck and shoulders.

후굴 동작은 다리와 엉덩이, 갈비뼈, 상체를 둘러싼 근육의 몸의 뒷부분을 강화하는 요가 동작으로써, 몸의 앞면을 열어주면 복근이 스트레칭되어 복근이 강화되고, 폐가 열려 호흡이 편하게 되며, 등과 목의 통증 완화, 피로 회복, 몸의 독소 제거 효과, 혈액 순환 개선, 수면의 질을 향상시키게 된다. Backbending is a yoga movement that strengthens the back of the body of the muscles surrounding the legs, hips, ribs, and upper body. It relieves fatigue, relieves fatigue, removes toxins from the body, improves blood circulation, and improves the quality of sleep.

이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 발명의 구성 및 동작을 상세하게 설명한다. Hereinafter, the configuration and operation of a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 3은 태그를 사용한 운동관리 헬스케어 서비스 시스템 구성도이다. 3 is a block diagram of an exercise management healthcare service system using a tag.

본 발명의 태그를 사용한 운동관리 헬스케어 서비스 시스템은 Exercise management healthcare service system using the tag of the present invention

헬스, 피트니스, 요가, 스포츠 운동 시에, 웹서버, 웹어플리케이션 서버(WAS), 데이터베이스(DB)를 구비하며, 운동 및 전문가 트레이너별로 전문가 트레이너의 영상과 운동 기본 정보와 운동 콘텐츠를 사용자 단말로 제공하여 운동관리 헬스케어 서비스를 제공하는 운동 관리 서버(200); 및 For health, fitness, yoga, and sports exercises, a web server, web application server (WAS), and database (DB) are provided, and video of expert trainers, basic exercise information, and exercise contents are provided to user terminals for each exercise and expert trainer. an exercise management server 200 that provides exercise management healthcare services; and

상기 운동 관리 서버(200)에 유무선 통신망을 통해 연결되며, 운동하는 사람의 인체의 각 부위에 반짝이는 태그 또는 센서를 부착하고, 운동 선택/트레이너 선택 후에 전문가 트레이너의 영상을 보고 따라 운동하는 사용자의 운동 영상을 사용자 단말의 카메라로 촬영하고, 카메라로 촬영된 사용자의 운동 영상에 대하여 사람의 인체의 각 부위(사람의 인체의 측정 포인트들)에 부착되는 반짝이는 태그 또는 센서를 인식하며, 알파 블렌딩을 사용한 동작을 감지하여 운동의 자세의 위치를 검출하며, 운동량(p = mv)을 계산하며, 전문가 트레이너의 운동 영상을 보고 따라 운동하는 사용자의 운동 영상의 이미지의 관절 포인트 마디들을 잇고 운동 영상 분석을 통해 각 부분 동작이 일치하는 지를 사람의 인체의 측정 포인트들의 각 관절의 정점과 정점 사이의 실선 각도로 비교되어 트레이너 운동 영상과 사용자의 운동 영상의 동작 일치도를 점수화(ex. 동작 일치 3점, 근사적으로 동작 일부 일치-2점, 동작 불일치-1점, 동작 완전 불일치-0점)하여 상호 비교하며, 동작 피팅을 클릭되면, 카메라 화면에 보이는 불투명한 피팅 실루엣과 동일한 동작을 취하며, 운동 동작 시에 실루엣과 일치한 정도에 따라 표시되는 해당 운동의 전문가 트레이너 영상과의 사용자 영상의 운동 동작의 동작 일치도 점수와 동작 일치도가 점수화 된 그래프를 출력하며, 클라이언트/서버 방식으로 체육 과학의 운동 역학 측면에서 자세 교정을 위한 운동관리 헬스케어 서비스를 제공하는 헬스, 피트니스, 요가, 크로스핏, 스포츠 운동을 위한 운동 어플(App)이 설치된 사용자 단말(100, 110, 130)을 포함한다. A user who is connected to the exercise management server 200 through a wired/wireless communication network, attaches a shiny tag or sensor to each part of the body of a person exercising, selects an exercise/trainer, and then watches an expert trainer's video and exercises along the way. The motion image is captured by the camera of the user terminal, and the sparkling tags or sensors attached to each part of the human body (measurement points of the human body) are recognized for the motion image of the user captured by the camera, and alpha blending is performed. Detects the motion using , detects the position of the exercise posture, calculates the amount of exercise (p = mv), connects the joint point nodes of the image of the exercise video of the user who exercises according to the expert trainer's exercise video, and analyzes the exercise image Through this, whether the motions of each part match is compared with the solid line angle between the apex and the vertex of each joint of the measurement points of the human body, and the motion coincidence between the trainer motion image and the user's motion image is scored (ex. motion coincidence 3 points, Approximately match partial motion - 2 points, motion mismatch - 1 point, motion completely inconsistent - 0 points) and compare each other, and when motion fitting is clicked, it takes the same motion as the opaque fitting silhouette shown on the camera screen, During motion, it outputs a graph in which the motion coincidence score of the motion motion of the user image with the expert trainer image of the exercise displayed according to the degree of agreement with the silhouette and the motion coincidence score are displayed, and the motion dynamics of physical education science is client/server method On the side, it includes user terminals 100, 110, and 130 in which exercise apps for health, fitness, yoga, crossfit, and sports exercises that provide exercise management healthcare services for posture correction are installed.

운동 동작시에, 사용자는 "사람의 인체의 측정 포인트들"에 반짝이는 태그 또는 센서를 부착하여 카메라로 촬영되어 사용자 영상이 제공되며, During exercise, the user attaches a shiny tag or sensor to "measurement points of the human body" and is photographed with a camera to provide a user image,

실시예에서는, 상기 사람의 인체의 측정 포인트들에 상기 센서가 부착되는 경우, 상기 센서는 3차원 모션 감지 센서를 사용한다. In an embodiment, when the sensor is attached to measurement points of the human body, the sensor uses a 3D motion detection sensor.

상기 사람의 인체의 측정 포인트들은 머리(100), 좌측 어깨(110), 좌측 팔꿈치 관절(111), 좌측 팔등 관절(112), 우측 어깨(120), 우측 팔꿈치 관절(121), 우측 팔등 관절(122), 배꼽(130), 좌측 엉치부(140), 좌측 무릅 관절(141), 좌측 발목 관절(142), 우측 엉치부(150), 우측 무릅 관절(151), 및 우측 발목 관절(152)을 포함한다.The measurement points of the human body are the head 100, the left shoulder 110, the left elbow joint 111, the left forearm joint 112, the right shoulder 120, the right elbow joint 121, the right forearm joint ( 122), navel 130, left hip 140, left knee joint 141, left ankle joint 142, right hip 150, right knee joint 151, and right ankle joint 152 includes

사용자 단말(100, 110, 130)은 운동기구를 사용하는 헬스, 피트니스, 요가, 크로스핏, 스포츠 운동을 위한 운동 어플(App)이 설치된 컴퓨터(100), 스마트폰 또는 태블릿 PC(110), 또는 STB/TV 디스플레이(130)를 사용하며, 실시예에서는 운동 어플(App)이 설치된 스마트폰의 "피트니스"를 예를 들어 설명한다. The user terminals 100, 110, and 130 include a computer 100, a smartphone or tablet PC 110 on which an exercise app for health, fitness, yoga, crossfit, and sports exercise using exercise equipment is installed, or The STB/TV display 130 is used, and in the embodiment, “fitness” of a smartphone with an exercise app installed thereon will be described as an example.

운동 관리 서버(200)는 웹서버(210)와 웹어플리케이션 서버(WAS)(220), 및 데이터베이스(DB)(230)를 구비한다. The exercise management server 200 includes a web server 210, a web application server (WAS) 220, and a database (DB) 230.

전문가 트레이너의 운동 영상을 촬영하는 카메라(274); 전문가 트레이너의 운동 영상과 음성 데이터를 인코딩하는 A/V 인코더(272); 및 해당 운동별 전문가 트레이너의 운동 영상과 음성 데이터를 스트리밍 방식으로 사용자 단말(100, 110, 130)로 제공하는 스트리밍 서버(270)를 더 포함한다.A camera 274 that captures an exercise image of an expert trainer; an A/V encoder 272 encoding the expert trainer's exercise video and audio data; and a streaming server 270 providing the user terminals 100, 110, and 130 with the exercise video and audio data of the expert trainer for each exercise in a streaming manner.

운동 관리 서버(200)의 제어부와 연결되며, 헬스, 피트니스, 요가, 크로스핏, 스포츠 운동을 행하는 사용자 단말과 전문가 트레이너 단말과 운동 관리 서버(200)를 통해 채팅 데이터를 송수신하며, 해당 운동의 전문가 트레이너의 피드백 데이터를 제공하는 채팅 서버를 더 포함한다. It is connected to the controller of the exercise management server 200, transmits and receives chat data through a user terminal performing health, fitness, yoga, crossfit, and sports exercises, and an expert trainer terminal and the exercise management server 200, and is an expert in the exercise. It further includes a chat server providing trainer feedback data.

헬스장, 피트니스, 요가, 크로스핏, 스포츠에서 실시되는 운동은 스포츠 과학, 운동 역학 측면에서, 컴퓨터의 웹 또는 스마트폰/태블릿 PC, STB/TV 디스플레이 단말의 운동 어플(App)을 유무선 통신망을 통해 운동 관리 서버에 접속되며, 운동 관리 서버(200)는 전문가 트레이너의 영상과 운동 정보와 운동 콘텐츠를 사용자 단말로 제공하고, 운동하는 사람의 인체의 각 부위에 부착되는 반짝이는 태그 또는 센서를 부착하고, 운동 선택/트레이너 선택 후에 전문가 트레이너의 영상을 따라 사용자의 운동 영상을 사용자 단말의 카메라로 촬영하며, 카메라로 촬영된 사용자의 운동 영상에 대하여 사람의 인체의 각 부위에 부착되는 반짝이는 태그 또는 센서를 인식하며, 알파 블렌딩을 사용한 동작을 감지하여 인체의 척추와 관절의 움직임을 검출하고, 운동의 자세의 위치를 검출하며, 운동량(p = mv)을 계산하며, 트레이너의 운동 영상과 사용자의 운동 영상의 이미지의 관절 포인트 마디들을 잇고 운동 영상 분석을 통해 상호 비교하며, 동작 피팅을 클릭되면, 카메라 화면에 보이는 불투명한 피팅 실루엣과 동일한 동작을 취하며, 실루엣과 일치한 정도에 따라 표시되는 해당 운동의 전문가 트레이너 영상과의 사용자 영상의 동작 일치도 점수와 동작 일치도가 점수화 된 그래프를 출력하며, 자세 교정을 위한 운동관리 헬스케어 서비스를 제공하여 헬스, PT(Personal Training), 피트니스, 요가, 크로스핏, 스포츠 운동에 사용된다. Exercises performed in gyms, fitness, yoga, crossfit, and sports are exercised through wired/wireless communication networks through the web of computers, smart phones/tablet PCs, and exercise apps on STB/TV display terminals in terms of sports science and exercise mechanics. It is connected to the management server, and the exercise management server 200 provides the expert trainer's image, exercise information, and exercise contents to the user terminal, attaches a shiny tag or sensor attached to each part of the body of the person exercising, After selecting the exercise/trainer, the user's exercise video is taken with the camera of the user terminal along with the video of the expert trainer, and a shiny tag or sensor attached to each part of the human body is used for the user's exercise video captured by the camera. It detects motion using alpha blending to detect the movement of the spine and joints of the human body, detects the position of the posture of the exercise, calculates the amount of exercise (p = mv), and calculates the exercise image of the trainer and the exercise image of the user. Connect the joint point nodes of the image and compare each other through motion image analysis. When motion fitting is clicked, it takes the same motion as the opaque fitting silhouette shown on the camera screen, and the corresponding motion displayed according to the degree of matching with the silhouette. It outputs the motion match score of the user image with the expert trainer video and a graph in which the motion match score is scored, and provides exercise management healthcare service for posture correction, such as health, PT (Personal Training), fitness, yoga, crossfit, sports used for exercise

운동 동작의 동작 모델에 따라 트레이너 영상를 기준으로 사용자 영상의 동작 일치도는 사람의 인체의 측정 포인트들의 각 관절의 정점과 정점 사이의 연결된 실선의 각도로 비교하여 트레이너 영상을 기준으로 사용자 영상의 동작 일치도가 점수화된다.According to the motion model of the exercise motion, the motion consistency of the user image based on the trainer image is compared with the angle of the solid line connected between the vertices of each joint of the measurement points of the human body, and the motion consistency of the user image based on the trainer image is are scored

추가적으로, 사용자 단말(스마트폰)의 운동 어플(App)은 유무선 통신망을 통해 운동 관리 서버(200)와 연결되며, 사용자와 키와 운동 전후 체중 측정 및 체성분 검출기기(In Body 체중계)에 의해 측정되는 사용자의 체중, 근육량, 체지방량 등의 측정 값을 운동 관리 서버(200)에 저장하며, 이를 상기 운동 관리 서버(200)의 데이터베이스(DB)에 누적 저장하여 시간대별/일/주/월/년도별 체중, 운동량, 근육량, 체지방량, BMI 값을 포함하는 개인별 운동 통계 데이터를 사용자 단말로 제공한다.Additionally, the exercise application (App) of the user terminal (smartphone) is connected to the exercise management server 200 through a wired or wireless communication network, and the user and the height and weight before and after exercise are measured and measured by the body composition detection device (In Body Scale) Measured values such as the user's weight, muscle mass, and body fat mass are stored in the exercise management server 200, and accumulated and stored in the database (DB) of the exercise management server 200 for each time slot/day/week/month/year. Individual exercise statistical data including weight, exercise amount, muscle mass, body fat mass, and BMI value are provided to the user terminal.

상기 사용자 단말의 운동 어플(App)은 상기 운동 관리 서버에 저장되는 사용자의 키와, 체중측정 및 체성분 검출기기(In Body 체중계)의 체중, 근육량, 체지방량, BMI 상기 측정값들과 연동되며, The exercise app of the user terminal is linked with the user's height stored in the exercise management server and the weight, muscle mass, body fat mass, and BMI measurement values of the weight measurement and body composition detection device (In Body Scale),

체중 측정 및 체성분 검출기기(In Body 체중계) 검사 측정결과, 골격근 지방분석(체중, 근육량, 체지방량), 비만분석(BMI, 체지방률), 내장지방분석(내장지방레벨)을 측정 값과 막대 그래프(bar chart)로 사용자 단말(스마트폰)의 운동 어플(App)에 표시하며; Weight measurement and body composition detection device (In Body scale) test results, skeletal muscle fat analysis (weight, muscle mass, body fat mass), obesity analysis (BMI, body fat percentage), and visceral fat analysis (visceral fat level) chart) displayed on the exercise application (App) of the user terminal (smartphone);

신체치수(키)와 체중, 근육량, 체지방량, 체지방률, BMI의 측정값의 시간에 따른 신체 밸런스 변화 과정을 꺽은선 그래프(line chart) 형태로 표현, 표준 정규 분포 곡선에 체중 측정 및 체성분 검출기기(In Body 체중계) 점수를 표시하고, 미리 측정된 일정 인원수의 표준 체형을 가진 모집단(population)의 표본(sample)의 체중 측정 및 체성분 검출기기(In Body 체중계) 점수의 평균에 의한 정규 분포를 갖는 통계분석 데이터의 상위 몇% 인지를 사용자 단말(스마트폰)의 운동 어플(App)에 표시된다. The body balance change process over time of body size (height), weight, muscle mass, body fat mass, body fat percentage, and BMI measurements is expressed in the form of a line chart, and the standard normal distribution curve is used to measure body weight and body composition detectors ( In Body scale) scores are displayed, and statistics having a normal distribution by the average of weight measurement and body composition detector (In Body scale) scores of a sample of a pre-measured population with a standard body shape of a certain number of people The top percentage of the analysis data is displayed on the exercise application (App) of the user terminal (smartphone).

도 4는 본 발명에 따른 태그를 사용한 운동관리 헬스케어 서비스 시스템 구성도이다. 4 is a block diagram of an exercise management healthcare service system using a tag according to the present invention.

사용자 단말의 운동 어플(App)은 운동 관리 서버에 접속하여 헬스, 피트니스, 요가, 크로스핏, 스포츠 운동에 대한 운동관리 헬스케어 서비스 회원 정보 등록, 사용자 인증, 운동 선택/트레이너 선택 후에, 사람의 인체의 각 부위(사람의 인체의 측정 포인트들)에 반짝이는 태그 또는 센서를 부착하고, 전문가 트레이너 영상을 보고 따라 운동하는 카메라로 촬영된 사용자의 운동 영상에 대하여 사람의 인체의 각 부위에 부착되는 반짝이는 태그 또는 센서를 인식하며, 알파 블렌딩을 사용한 동작을 감지하여 인체의 척추와 관절의 움직임을 검출하고, 운동의 자세의 위치를 검출하며, 운동량(p = mv)을 계산하며, 트레이너의 운동 영상과 사용자의 운동 영상의 이미지의 관절 포인트 마디들을 잇고 운동 영상 분석을 통해 각 부분 동작이 일치하는 지를 "사람의 인체의 측정 포인트들"의 각 관절의 정점과 정점 사이의 실선 각도로 비교되어 트레이너 영상을 기준으로 사용자 영상의 동작 일치도를 점수화하여 상호 비교하며, 동작 피팅을 클릭되면, 카메라 화면에 보이는 불투명한 피팅 실루엣과 동일한 동작을 취하며, 운동 동작을 하는, 실루엣과 일치한 정도에 따라 표시되는 해당 운동의 전문가 트레이너 영상과의 동작 일치도 점수와 동작 일치도가 점수화 된 그래프를 출력하며, 체육 과학의 운동 역학 측면에서 자세 교정을 위한 운동관리 헬스케어 서비스를 제공한다. The exercise app (App) of the user terminal connects to the exercise management server and manages exercise for health, fitness, yoga, crossfit, and sports exercise. After registering member information, user authentication, exercise selection/trainer selection, the human body Shiny tags or sensors are attached to each part of the human body (measurement points of the human body), and the glitter attached to each part of the human body for the user's exercise image captured by the camera watching the video of the expert trainer and exercising along the way recognizes tags or sensors, detects motions using alpha blending, detects the movement of the spine and joints of the human body, detects the position of the exercise posture, calculates the amount of exercise (p = mv), and trains the exercise image of the trainer. Connecting the joint point nodes of the image of the user's exercise video, and through the motion image analysis, whether the motion of each part matches is compared with the solid line angle between the apex and the vertex of each joint of the "measurement points of the human body" to obtain a trainer image Based on the score, the degree of motion matching of user images is scored and compared with each other, and when motion fitting is clicked, it takes the same motion as the opaque fitting silhouette shown on the camera screen, and is displayed according to the degree of matching with the silhouette It outputs the motion match score and the motion match graph with the expert trainer video of the exercise, and provides exercise management healthcare service for posture correction in terms of exercise dynamics of physical education science.

운동 동작의 동작 모델에 따라 트레이너 영상를 기준으로 사용자 영상의 동작 일치도는 사람의 인체의 측정 포인트들의 각 관절의 정점과 정점 사이의 연결된 실선의 각도로 비교하여 트레이너 영상을 기준으로 사용자 영상의 동작 일치도가 점수화된다. According to the motion model of the exercise motion, the motion consistency of the user image based on the trainer image is compared with the angle of the solid line connected between the vertices of each joint of the measurement points of the human body, and the motion consistency of the user image based on the trainer image is are scored

운동 시에, 사용자 단말의 운동 어플(App)은 트레이너 영상과 따라 운동하는 사용자 영상의 운동 동작의 행동을 인식하여 포즈(pose), 운동 동작(action)을 감지하며, 행동인식 posenet 알고리즘을 사용하여 사람의 인체의 측정 포인트들을 실선으로 연결하여 표시할 수 있다. Posenet 알고리즘은 인체의 머리 몸체와 팔과 다리의 위치에 대하여 인체의 주요 부위의 관절의 특징점들(사람의 인체의 측정 포인트들)의 위치를 감지하여 이미지 또는 동영상으로부터 운동하는 사람의 포즈(pose, 자세)를 추정하여 행위 인식을 하는 모델로 사용된다. During exercise, the exercise application (App) of the user terminal recognizes the motion behavior of the user image exercising along with the trainer image, detects the pose and motion action, and uses the action recognition posenet algorithm Measurement points of the human body may be displayed by connecting them with solid lines. The Posenet algorithm detects the position of the joint feature points (measurement points of the human body) of the main parts of the human body with respect to the position of the head, body, arms and legs of the human body, and the pose of a person moving from an image or video. posture) and used as a model for action recognition.

사용자 단말의 운동 어플(App)은 헬스장의 머신러닝 달리기 운동시, m 체중인 사용자가 v속도로 달리기 운동시에 운동량(p = mv)과 운동 에너지(

Figure 112021076327114-pat00001
)를 측정하여 운동 어플(App)로 표시하고 운동 관리 서버에 저장하는 기능 더 포함한다. The exercise app of the user terminal determines the amount of exercise (p = mv) and kinetic energy (
Figure 112021076327114-pat00001
) is measured, displayed as an exercise app, and stored in an exercise management server.

또한 운동 관리 서버(200)는 사용자 단말과 유무선 통신망을 통해 연결되는 웹서버(201); 헬스, 피트니스, 요가, 크로스핏, 스포츠 운동에 대한 운동관리 헬스케어 서비스를 제어하는 제어부(202); 상기 제어부(202)에 연결되며, 운동관리 헬스케어 서비스 회원 정보를 등록받아 관리하는 회원관리부(203); 상기 제어부(202)에 연결되며, ID/Passwd 또는 이메일/비밀번호 방식으로 사용자를 인증하는 사용자 인증부(204); 상기 제어부(202)에 연결되며, 운동별 전문가 트레이너 영상과 운동 정보와 운동 콘텐츠를 제공하는 운동 콘텐츠 제공부(205); 상기 제어부(202)에 연결되며, 체중 측정 및 체성분 검출기기(In Body 체중계)에 의해 측정된 사용자의 키와 체중, 근육량, 체지방량을 포함하는 측정값을 사용자 단말의 운동 어플(App)로부터 수신받아 저장하는 체중 및 체성분 정보 관리부(206); 상기 제어부(202)에 연결되며, 사용자 단말의 운동 어플(App)로부터 수신된 사용자 운동 영상을 저장하는 사용자 운동 영상 저장부(207); 상기 제어부(202)에 연결되며, 상기 사용자 단말의 운동 어플(App)의 트레이너 영상/사용자 영상 비교 분석 기능을 동일하게 server-side로 적용하여 카메라로 촬영된 사용자의 운동 영상에 대하여 운동하는 사람의 인체의 각 부위에 부착되는 반짝이는 태그를 인식하며, 알파 블렌딩을 사용한 동작을 감지하되, 트레이너의 운동 영상과 사용자의 운동 영상의 이미지의 관절 포인트 마디들을 잇고 운동 영상 분석을 통해 동작이 일치하는 지를 점수화하여(일치 점수: 동작 일치 3점, 동작 일부 일치-2점,.. 동작 불일치 0점) 전문가 트레이너 영상과 사용자 영상을 비교분석하는 트레이너 영상/사용자 영상 비교 분석부(208); 운동 전후 체중 측정 및 체성분 검출기기(In Body 체중계)에 의해 측정된 사용자의 키, 체중, 근육량, 체지방량, BMI 값을 포함하는 측정 값을 운동 관리 서버(200)에 저장하며, 이를 운동 관리 서버(200)의 데이터베이스(DB)(212)에 누적 저장하여 시간대별/일/주/월/년도별 운동량, 근육량, 체지방량, BMI 값을 포함하는 개인별 운동 통계 데이터를 제공하는 통계 정보 제공부(211); 운동별 전문가 트레이너 영상과 운동 정보와 운동 콘텐츠를 저장하며, 사용자 운동 영상과 사용자의 키, 체중, 근육량, 체지방량, BMI값을 포함하는 측정 값을 저장하는 데이터베이스(DB)(212), 및 운동 분야별 전문가 트레이너와 사용자의 글을 등록하는 게시판(213)을 포함한다. In addition, the exercise management server 200 includes a web server 201 connected to a user terminal through a wired or wireless communication network; A control unit 202 that controls exercise management healthcare services for health, fitness, yoga, crossfit, and sports exercises; A member management unit 203 connected to the control unit 202 and receiving and managing exercise management health care service member information registered; A user authentication unit 204 connected to the control unit 202 and authenticating a user by ID/Passwd or email/password method; an exercise content provider 205 connected to the controller 202 and providing expert trainer images, exercise information, and exercise contents for each exercise; It is connected to the control unit 202 and receives measurement values including the user's height, weight, muscle mass, and body fat mass measured by the body weight measurement and body composition detection device (In Body Scale) from the exercise application (App) of the user terminal. weight and body composition information management unit 206 to store; a user exercise image storage unit 207 connected to the control unit 202 and storing a user exercise image received from an exercise application (App) of a user terminal; It is connected to the controller 202, and the trainer image/user image comparison and analysis function of the exercise application (App) of the user terminal is applied to the server-side in the same way, so that the user's exercise image captured by the camera is applied to the user's exercise image. It recognizes the shiny tag attached to each part of the human body, detects motion using alpha blending, connects the joint point nodes of the trainer's exercise video and the user's exercise video image, and checks whether the motion matches through motion image analysis. A trainer image/user image comparison and analysis unit 208 that compares and analyzes the expert trainer image and the user image by scoring (match score: motion match 3 points, motion partial match - 2 points, motion mismatch 0 points); Measured values including the user's height, weight, muscle mass, body fat mass, and BMI values measured by weight measurement before and after exercise and body composition detection device (In Body scale) are stored in the exercise management server 200, and the exercise management server ( 200) in the database (DB) 212 and accumulated and stored to provide individual exercise statistical data including exercise amount, muscle mass, body fat mass, and BMI value by time period/day/week/month/year Statistical information providing unit 211 ; A database (DB) 212 that stores expert trainer images, exercise information, and exercise contents for each exercise, and stores user exercise images and measurement values including the user's height, weight, muscle mass, body fat mass, and BMI value, and each exercise field It includes a bulletin board 213 for registering writings of expert trainers and users.

운동 관리 서버(200)는 상기 제어부(202)에 연결되며, 헬스장의 머신러닝 달리기 운동시, m 체중인 사용자가 v속도로 달리기 운동시에 운동량(p = mv)과 운동 에너지(

Figure 112021076327114-pat00002
)를 측정 저장하고 사용자 단말의 운동 어플(App)로 표시하는 운동량 검출부를 더 포함한다. The exercise management server 200 is connected to the control unit 202, and during machine learning running exercise at the gym, when a user with m weight runs at v speed, the exercise amount (p = mv) and exercise energy (
Figure 112021076327114-pat00002
) and further includes an exercise amount detection unit for measuring and storing and displaying the exercise application (App) of the user terminal.

운동하는 사람의 카메라로 촬영된 사용자의 영상을 운동 어플(App)의 체육과학적인 운동 분석 프로그램에 의해 트레이너 영상을 보고 따라 운동하는 사용자의 영상에 대하여 인체의 각 부위에 부착되는 반짝이는 태그 또는 센서를 인식하여 알파 블렌딩(alpha blending)을 사용하여 시간에 따른 운동 동작을 감지하고 인체의 척추와 관절의 움직임을 검출하며, 트레이너 영상과 사용자 영상을 비교분석하도록 트레이너의 운동 영상을 보고 따라 운동하는 사용자의 운동 영상의 이미지의 관절 포인트 마디들을 잇고 운동 영상 분석을 통해 각 부분 동작 모델의 동작의 사진이 일치하는 지를 점수화하여 상호 비교하며, 해당 운동의 트레이너 영상 기준 동작 일치도 점수와 동작 일치도가 점수화 된 그래프를 제공하며, 추가적으로 사용자 운동 영상의 운동량(p = mv)을 계산하여 표시하고, 운동시 체중 측정 및 체성분 검출기기(In Body 체중계)의 체중, 근육량 등의 측정 데이터와 운동 데이터를 사용자 단말의 운동 어플(App)을 통해 운동 관리 서버(200)에 저장하여 빅 데이터 분석과 운동 데이터를 운동관리 서버의 데이터베이스에 누적 저장하여 일/주/월/년도별 개인별 운동 통계 데이터를 제공하며, 이를 데이터 시각화하여 막대 그래프(Bar Chart), 파이 차트(Pie Chart), 꺽은선 그래프(Line Chart)로 비쥬얼하게 표시된다. A flashing tag or sensor attached to each part of the human body for the image of a user photographed with a camera of a person exercising and exercising according to the trainer image by the exercise scientific exercise analysis program of the exercise app User who watches and follows the trainer's exercise video to detect the exercise motion over time using alpha blending, detect the motion of the spine and joints of the human body, and compare and analyze the trainer image and user image. Connect the joint point nodes of the image of the exercise image, score whether the motion picture of each part motion model matches through motion image analysis, compare each other, and compare the motion match score based on the trainer image of the exercise and a graph in which the motion consistency score is scored Provides, additionally calculates and displays the amount of exercise (p = mv) of the user's exercise image, and measures data such as body weight and muscle mass and exercise data of the body weight measurement and body composition detection device (In Body scale) during exercise and exercise data of the user terminal It is stored in the exercise management server 200 through the app to accumulate and store big data analysis and exercise data in the database of the exercise management server to provide individual exercise statistical data by day/week/month/year, and data visualization It is visually displayed as a bar chart, pie chart, or line chart.

질량이 m, 속도가 v일때, 운동량(momentum) p은 p = mv로 계산된다. When the mass is m and the velocity is v, the momentum p is calculated as p = mv.

질량이 m, 속도가 v일때, 운동 에너지(kinetic energy)는

Figure 112021076327114-pat00003
로 계산된다. When the mass is m and the velocity is v, the kinetic energy is
Figure 112021076327114-pat00003
is calculated as

예를들면, 헬스장의 머신러닝 달리기 운동시, 운동량(p = mv)과 운동 에너지(

Figure 112021076327114-pat00004
)를 측정하여 이를 머신러닝 장비와 BLE 또는 Wi-Fi 근거리 무선 통신을 통해 스마트폰의 운동 어플(App)에 표시할 수 있다. For example, during machine learning running exercise at the gym, the amount of exercise (p = mv) and kinetic energy (
Figure 112021076327114-pat00004
) can be measured and displayed on the exercise app of the smartphone through machine learning equipment and BLE or Wi-Fi short-range wireless communication.

상기 센서는 인체의 부위별로 구비되는 다수의 3차원 모션감지 센서, 또는 3축 가속도 센서와 제어부와 통신부를 구비하는 손목 착용 웨어러블 밴드를 사용할 수도 있으며, 운동 시에 설정 동기화된 사용자 단말로 블루투스(BLE) 또는 Wi-Fi 통신을 통해 3차원 모션감지 데이터 또는 3축 가속도 데이터가 전송된다, The sensor may use a plurality of three-dimensional motion detection sensors provided for each part of the human body, or a wrist-worn wearable band having a three-axis acceleration sensor, a control unit, and a communication unit, and Bluetooth (BLE) as a user terminal synchronized with settings during exercise ) or 3D motion detection data or 3-axis acceleration data is transmitted through Wi-Fi communication.

알파 블렌딩(alpha blending)은 이미지 위에 또 다음 이미지를 덧씌울때 마치 투명하게 비치는 효과를 말한다. Alpha blending is an effect that makes an image appear transparent when another image is overlaid on top of it.

[알파 블렌딩 활용 방법][How to use alpha blending]

(1) 사용자 단말(스마트폰)에서 운동 관리 어플(App)을 실행한다. (1) Run the exercise management application (App) on the user terminal (smart phone).

(2) 헬스, 피트니스, 요가, 크로스핏, 스포츠 운동 선택/트레이너 선택 후, 동작 피팅을 클릭한다. (2) After selecting health, fitness, yoga, crossfit, sports exercise/trainer, click Motion Fitting.

(3) 카메라 화면에 보이는 불투명한 피팅 실루엣과 동일한 동작을 취한다. (3) Take the same action as the opaque fitting silhouette shown on the camera screen.

(4) 동작을 하는, 동안 실루엣과 일치한 정도에 따라 점수를 보여준다.(4) Scores are shown according to the degree of agreement with the silhouette during motion.

이를 통해, 사용자 영상과 트레이너 영상의 모델의 동작에 대한 차이 데이터를 획득하여, 전문 트레이너의 영상에 나온 자세와 사용자 영상의 관절 포인트 마디를 잇고 전문가 트레이너 영상과 사용자 영상의 동작 모델의 각각의 운동 동작별로 영상 비교 분석을 통해 각 부분 동작 모델의 동작의 사진이 일치하는 지를 동작 일치도를 점수화하여 사용자의 운동의 정확도(accuracy)를 판단한다. Through this, difference data on the motion of the model of the user image and the trainer image is obtained, and the posture shown in the professional trainer image and the joint point nodes of the user image are connected, and each movement motion of the expert trainer image and the motion model of the user image is connected. The accuracy of the user's movement is judged by scoring the motion matching degree to determine whether the motion pictures of each partial motion model match through image comparison analysis for each part.

스마트폰, 태블릿 PC 등의 스마트 기기의 운동관리 앱(App)에 적용할 수 있는 데이터는 다음과 같은 데이터가 활용된다. The data that can be applied to the exercise management app of smart devices such as smartphones and tablet PCs is used as follows.

1. 스마트 기기의 운동 어플 앱(App)에 적용할 수 있는 데이터1. Data that can be applied to exercise apps on smart devices

[데이터 분석 필요 항목] [Items required for data analysis]

ㆍ 신체 치수: 키, 체중, 근육량, 골량, 체수분량, 체지방, 기초대사량, BMI, 내장지방 -> 체중 측정 및 체성분 검출기기(In Body 체중계) 이용(2만원~5만원, 앱(App)과 연동)ㆍ Body size: height, weight, muscle mass, bone mass, body water, body fat, basal metabolic rate, BMI, visceral fat peristalsis)

ㆍ 키: 성인 기준으로 운동을 하더라도 변화가 없다고 가정 -> 고정값, 입력 항목ㆍ Height: Assuming that there is no change even if exercise is based on an adult standard -> Fixed value, input item

ㆍ 키, 나이를 입력하면 체형에 맞는 표준 체중, 비만 정도를 본인의 신체상태에 맞춰 알 수 있다.ㆍ If you enter your height and age, you can find out the standard weight and obesity level for your body type according to your physical condition.

ㆍ 코르티졸 수치: 조사 결과, 주로 스트레스 수치 분석에 사용, 운동 후 근육의 피로도 분석ㆍ Cortisol level: survey results, mainly used for stress level analysis, muscle fatigue analysis after exercise

ㆍ 운동 영상 데이터: 전문 트레이너의 영상에 나온 자세와 비교 분석ㆍ Exercise video data: Comparative analysis with the posture shown in the professional trainer's video

[앱에 필요한 기능][Features required by the app]

2.1 조사한 신체 치수 그래프 구현2.1 Implementation of the investigated body size graph

- 체중 측정 및 체성분 검출기기(In Body 체중계)로 측정한 본인의 신체 수치를 그래프를 통해 평균과 비교- Compare your body figure measured by weight measurement and body composition detection device (In Body scale) with the average through a graph

- 사용자가 본인의 신체 밸런스 변화 과정을 주/월/년 단위 그래프로 표시 - The user displays the change process of his or her body balance in a graph in units of weeks/months/years

- 체중 측정 및 체성분 검출기기(In Body 체중계) 검사 실행결과, 골격근 지방분석(체중, 근육량, 체지방량), 비만분석(BMI, 체지방률), 내장지방분석(내장지방레벨)을 막대 그래프(bar chart) 형태로 표현- Weight measurement and body composition detector (In Body scale) test results, skeletal muscle fat analysis (weight, muscle mass, body fat mass), obesity analysis (BMI, body fat percentage), and visceral fat analysis (visceral fat level) are displayed in a bar chart expressed in the form

- 체중, 근육량, 체지방량, 체지방률의 신체 밸런스 변화 과정을 꺽은선 그래프(line chart) 형태로 표현, 표준 정규 분포 곡선에 체중 측정 및 체성분 검출기기(In Body 체중계) 점수를 표시하고 상위 몇% 인지 표시- Expresses the body balance change process of weight, muscle mass, body fat mass, and body fat percentage in the form of a line chart, displays weight measurement and body composition detector (In Body scale) scores on the standard normal distribution curve, and displays the top percentage

(부가 기능)(Add-ons)

- 항목별 평균 이상 또는 이하일 경우 -> 사용자에게 필요한 진단 제공(이론, 운동방법 등)- If above or below the average for each item -> Provide the necessary diagnosis to the user (theory, exercise method, etc.)

예) 체지방 수치 평균 이상일 경우: 알림 및 지방을 줄이기 위한 운동방법 및 식단관리 제공Example) If body fat level is above average: notification and exercise method and diet management to reduce fat are provided

예) 근육량 감소: 근손실 경고!Example) Less muscle mass: muscle loss warning!

- 일일 운동량 또는 목표치(근육량, 몸무게 등) 달성 시, 배지 같은 일종의 보상 제공- When daily exercise amount or target value (muscle mass, weight, etc.) is achieved, a kind of reward such as a badge is provided

2.2 동작 일치도를 점수화 한 그래프 구현2.2 Implementing a graph that scores motion consistency

- 알파 블렌딩을 사용한 동작 감지, 트레이너의 운동 영상과 사용자의 운동 영상의 관절 마디들을 잇고 이것을 영상 분석을 통해 상호 비교- Motion detection using alpha blending, linking the joint nodes of the trainer's exercise video and the user's exercise video, and comparing them through image analysis

- 동작 일치도 그래프: 운동 진행과 동시에 실시간으로 동작 일치도 점수를 꺾은선 그래프 형태로 나타내고, 시간대별로 트레이너의 동작과 일치하지 않는 부분 확인 후 복습 가능- Motion match graph: Displays the motion match score in the form of a line graph in real time as the exercise progresses, and can be reviewed after checking the parts that do not match the trainer's motion by time period

예) 트레이너의 운동 영상이 총 5분이며, 1분~1분20초 그래프 구간이 60점(60%일치)일 경우 그 시간대만 다시 복습 운동이 끝난 후, 평균 점수가 일정 점수(ex:70점) 보다 낮으면 추후에 다시 운동할 수 있도록 유도Example) If the trainer's exercise video is 5 minutes in total, and the graph section from 1 minute to 1 minute 20 seconds is 60 points (60% match), after reviewing the exercise again for that time period, the average score is a certain score (ex: 70 points), encourage them to exercise again later

2.3 운동 부위 추천 기능2.3 Exercise part recommendation function

사용자의 신체 정보(키, 체중)를 이용, 최우선적으로 운동해야 할 부위와 운동 영상을 추천하는 시스템을 제공한다. Provides a system that recommends the areas to be exercised with the highest priority and exercise images using the user's body information (height, weight).

하이브리드 추천 시스템 이용-> 신규 이용자들에게 콘텐츠 기반 필터링으로 분석하여 추천, 사용자의 운동 데이터가 충분히 쌓인 후에는 협업 필터링으로 추천의 정확성을 높인다. Using a hybrid recommendation system -> Recommending new users by analyzing them through content-based filtering, and increasing the accuracy of recommendations through collaborative filtering after the user's exercise data is sufficiently accumulated.

실제로 운동 루틴을 어떻게 설정해야 할 지 모르는 사람이 많고, 혼자 루틴을 설정하다 보면 특정 근육에만 집중한 나머지 인체에 과부하가 오는 경우도 있으므로, 담당 트레이너의 피드백을 집중적으로 반영한다. In fact, there are many people who do not know how to set up an exercise routine, and if you set up a routine by yourself, there are cases where the body is overloaded by focusing only on specific muscles, so the trainer's feedback is intensively reflected.

도 5는 본 발명의 실시예에 의한 스마트폰의 피트니스 운동 어플(App)의 메인 화면 및 로그인 화면이다. 도 6은 스마트폰의 피트니스 운동 어플(App)의 시작 화면 및 챌린지 화면이다. 5 is a main screen and a login screen of a fitness exercise application (App) of a smart phone according to an embodiment of the present invention. 6 is a start screen and a challenge screen of a fitness exercise application (App) of a smartphone.

도 7은 스마트폰의 피트니스 운동 어플(App)의 운동 선택 화면, 트레이너 선택 화면이다. 7 is an exercise selection screen and a trainer selection screen of a fitness exercise application (App) of a smartphone.

도 8은 스마트폰의 피트니스 운동 어플(App)의 운동 영상 화면, 및 트레이너 영상과 비교화면(I)이다. 도 9는 스마트폰의 피트니스 운동 어플(App)의 운동 영상 화면, 및 트레이너 영상과 비교화면(Ⅱ)이다. 도 10은 스마트폰의 피트니스 운동 어플(App)의 운동 영상 화면, 및 트레이너 영상과 비교화면(Ⅲ)이다. 8 is an exercise image screen of a fitness exercise application (App) of a smart phone and a comparison screen (I) with a trainer image. 9 is an exercise image screen of a fitness exercise application (App) of a smartphone and a comparison screen (II) with a trainer image. 10 is an exercise image screen of a fitness exercise application (App) of a smart phone and a comparison screen (III) with a trainer image.

도 11은 체중 측정 및 체성분 검출기기(In Body 체중계)의 검사 결과, 측정값이 운동관리 서버에 저장되며, 골격근 지방분석(체중, 근육량, 체지방량), 비만분석(BMI, 체지방률), 내장지방분석(내장지방레벨)을 측정 값과 막대 그래프(bar chart) 형태로 사용자 단말의 운동 어플(App)에 표시된 화면이다. 11 is a test result of a weight measurement and body composition detection device (In Body scale), and the measured values are stored in an exercise management server, and skeletal muscle fat analysis (weight, muscle mass, body fat mass), obesity analysis (BMI, body fat rate), and visceral fat analysis This is a screen displayed in the exercise app of the user terminal in the form of a measured value and a bar chart (visceral fat level).

참고로, 체중 측정 및 체성분 검출기기(In Body 체중계)는 신장(키)과 체중과 근육량, 골격근량 및 체지방량을 측정하고, 생체전기 임피던스법(Bioelectrical Impedance Analysis, BIA)을 사용하며, 인체는 전기가 잘 통하는 수분으로 이루어지고 수분량에 따라 전기가 통과하는 정도와 저항이 달라진다. BIA는 인체에 미세한 교류 전류를 흘려보내 얻어지는 임피던스 값으로 체수분을 측정하는 방법이다. 인체는 부위별로 사로 다른 길이와 단면적을 가지고 있으며, 체중 측정 및 체성분 검출기기(In Body 체중계)는 동시 다주파수 임피던스 측정법을 사용하여 팔, 다리, 몸통을 부위별로 따로 측정한다. 팔과 다리는 면적이 좁고 임피던스 값이 높지만, 근육량은 적다. 반면, 몸통은 상대적으로 면적이 넓어 임피던스 값이 낮고 근육량이 많다. 따라서, 몸통에서의 작은 임피던스 값의 변화는 근육량에 큰 영향을 주며 반드시 따로 측정해야 정확한 총 근육량을 측정할 수 있다. 또한, 체중 측정 및 체성분 검출기기(In Body 체중계)는 신장(키)과 측정된 체중에 의해 BMI를 측정할 수 있다. BMI(body mass index, 체질량지수-신체질량지수)는 체중(kg)을 키의 제곱(

Figure 112021076327114-pat00005
)으로 나눈 값을 통해 지방의 양을 추정하는 비만측정법에 의해 계산된다. For reference, the weight measurement and body composition detection device (In Body Scale) measures height, weight, muscle mass, skeletal muscle mass, and body fat mass, uses Bioelectrical Impedance Analysis (BIA), and the human body is electrically It is made of moisture that conducts electricity well, and the degree to which electricity passes and the resistance varies depending on the amount of moisture. BIA is a method of measuring body water with an impedance value obtained by sending a fine alternating current through the human body. The human body has different lengths and cross-sectional areas for each part, and body weight measurement and body composition detectors (In Body Scales) measure arms, legs, and torso separately for each part using simultaneous multi-frequency impedance measurement. Arms and legs have a small area and a high impedance value, but a small amount of muscle. On the other hand, the torso has a relatively large area, so the impedance value is low and the muscle mass is large. Therefore, a small impedance change in the trunk has a great effect on the muscle mass, and must be separately measured to accurately measure the total muscle mass. In addition, the body weight measurement and body composition detection device (In Body Scale) can measure BMI by height (height) and measured weight. BMI (body mass index, body mass index) is the weight (kg) divided by the square of the height (
Figure 112021076327114-pat00005
) is calculated by a barometric method that estimates the amount of fat through the value divided by

[체중 측정 및 체성분 검출기기(In Body 체중계)의 측정 항목] [Measurement items of weight measurement and body composition detector (In Body Scale)]

ㆍ 체성성분분석: 체중, 체수분 근육량, 체지방량 ㆍ Body composition analysis: body weight, body water, muscle mass, body fat mass

ㆍ 골격근, 지방분석(그래프): 체중, 골격근량, 체지방량 ㆍ Skeletal muscle, fat analysis (graph): body weight, skeletal muscle mass, body fat mass

ㆍ 비만 진단: BMI, 체지방률 ㆍ Obesity diagnosis: BMI, body fat percentage

ㆍ 부위별/주파수별 임피던스 부위별 근육 분석, 부위별 체지방분석 ㆍ Impedance by part/frequency, muscle analysis by part, body fat analysis by part

ㆍ 신체변화: 체중, 골격근량, 체지방률(8회 측정 결과)ㆍ Body changes: weight, skeletal muscle mass, body fat percentage (results of 8 measurements)

ㆍ 체중 측정 및 체성분 검출기기(In Body 체중계) 점수, 체형 체크, 체중 조절 기능 제공ㆍ Provides weight measurement and body composition detection device (In Body scale) score, body type check, and weight control function

도 12는 체중 측정 및 체성분 검출기기(In Body 체중계)의 검사 결과, 측정값이 운동관리 서버에 저장되며, 체중, 근육량, 체지방량, 체지방률의 측정값의 신체 밸런스 변화 과정을 꺽은선 그래프(line chart) 형태로 표현, 표준 정규 분포 곡선에 체중 측정 및 체성분 검출기기(In Body 체중계) 점수를 표시하고, 미리 측정된 일정 인원수의 표준 체형을 가진 모집단(population)의 표본(sample)의 체중 측정 및 체성분 검출기기(In Body 체중계) 점수의 평균에 의한 정규 분포를 갖는 통계 그래프에서 상위 몇% 인지 사용자 단말(스마트폰)의 운동 어플(App)에 표시된 화면이다. 12 is a line chart showing the body balance change process of the measured values of body weight, muscle mass, body fat mass, and body fat percentage as a result of examination of the body weight measurement and body composition detection device (In Body Scale), and the measured values are stored in the exercise management server. ) form, the weight measurement and body composition detection device (In Body scale) scores are displayed on the standard normal distribution curve, and the weight measurement and body composition of a sample of a population with a pre-measured standard body shape of a certain number of people This is the screen displayed on the exercise app of the user's terminal (smartphone) to determine the top percentage in the statistical graph having a normal distribution by the average of the detection device (In Body scale) scores.

운동 관리 서버의 데이터베이스에 저장되는 사용자 키를 참조하여, 운동 전후 체중 측정 및 체성분 검출기기(In Body 체중계)를 함께 사용하며, 사용자의 체중과 근육량, 체지방량, BMI 값을 측정하며, 체중 측정 및 체성분 검출기기(In Body 체중계) 검사 실행결과, 골격근 지방분석(체중, 근육량, 체지방량), 비만분석(BMI, 체지방률), 내장지방분석(내장지방레벨)을 측정 값과 막대 그래프(bar chart)로 사용자 단말의 운동 어플에 표시하며; 체중, 근육량, 체지방량, 체지방률의 측정값의 신체 밸런스 변화 과정을 꺽은선 그래프(line chart) 형태로 표현, 표준 정규 분포 곡선에 체중 측정 및 체성분 검출기기(In Body 체중계) 점수를 표시하고 미리 측정된 일정 인원수의 표준 체형을 가진 모집단의 표본의 체중 측정 및 체성분 검출기기(In Body 체중계) 점수의 평균에 의한 정규 분포를 갖는 통계분석 데이터에서, 정규 분포 그래프에서 상위 몇% 인지 표시 사용자 단말(스마트폰)의 운동 어플(App)에 표시된다. By referring to the user's height stored in the database of the exercise management server, the weight before and after exercise is measured and the body composition detection device (In Body Scale) is used together, and the user's weight, muscle mass, body fat mass, and BMI value are measured. Detecting device (In Body scale) test execution results, skeletal muscle fat analysis (weight, muscle mass, body fat mass), obesity analysis (BMI, body fat percentage), and visceral fat analysis (visceral fat level) are user-defined as measured values and bar charts displayed in the exercise application of the terminal; The body balance change process of measured values of weight, muscle mass, body fat mass, and body fat percentage is expressed in the form of a line chart. In statistical analysis data having a normal distribution by the average of weight measurement and body composition detection device (In Body scale) scores of a sample of a population with a certain number of standard body types, display the top percentage in the normal distribution graph User terminal (smartphone) ) is displayed in the exercise app.

도 13은 헬스, 피트니스, 요가, 스포츠 운동 시에, 트레이너 영상을 기준으로 인체의 각 부위에 부착된 반짝이는 태그 또는 센서가 부착된 사용자 영상의 목 관절/몸통 관절/팔꿈치 관절/무릅 관절에 따라 몸통과 팔 다리 동작 모델의 트레이너 영상과의 동작 일치도 점수의 측정 원리를 설명하는 도면이다.13 is a diagram according to neck joints/trunk joints/elbow joints/knee joints of user images attached with shiny tags or sensors attached to each part of the human body based on trainer images during health, fitness, yoga, and sports exercises. It is a diagram explaining the measurement principle of the motion agreement score of the torso and limb motion model with the trainer image.

도 14는 헬스, 피트니스, 요가, 스포츠 운동 시에, 운동 동작 행위 인식시에 전문가 트레이너의 운동 영상을 보고 따라 운동하는 사용자의 운동 영상의 사람의 인체의 측정 포인트들의 관절의 정점과 정점을 연결한 사진이다. 14 connects the apex of the joint of the human body measurement points in the exercise image of the user who watches and follows the exercise image of the expert trainer during health, fitness, yoga, and sports exercise and recognizes the exercise action. It is a picture.

헬스, 피트니스, 요가, 스포츠 운동 시에, 전문가 트레이너의 운동 영상과 사용자의 운동 영상의 이미지의 관절 포인트 마디들을 잇고 운동 영상 분석을 통해 각 부분 동작 모델의 동작의 사진이 일치하는 지를 트레이너 영상의 각 관절의 정점과 정점 사이의 연결된 실선의 각도로 비교하여 이를 점수화하여 상호 비교하며, 분류된 운동 동작에 따라 트레이너 영상를 기준으로 사용자 영상의 인체 체형의 동작 모델의 동작 일치도는 각 관절의 정점과 정점 사이의 연결된 실선의 각도로 비교하여 동작 일치도가 점수화된다.During health, fitness, yoga, and sports exercises, joint point nodes of the expert trainer's exercise video and the user's exercise video image are connected, and through exercise image analysis, it is determined whether the motion picture of each part motion model matches. The angles of the connected solid lines between the vertices of the joints are compared and scored, and mutual comparisons are made. According to the classified exercise motions, based on the trainer image, the motion consistency of the motion model of the human body of the user image is between the vertices of each joint. The motion consistency is scored by comparing with the angle of the connected solid line.

헬스, 피트니스, 요가, 스포츠 운동 시에, 목 관절/몸통 관절/팔꿈치 관절/무릅 관절에 따라 목 동작, 몸통과 팔 다리 동작이 이루어지며, 사람의 인체의 측정 포인트는 머리(100), 좌측 어깨(110), 좌측 팔꿈치 관절(111), 좌측 팔등 관절(112), 우측 어깨(120), 우측 팔꿈치 관절(121), 우측 팔등 관절(122), 배꼽부(130), 좌측 엉치부(140), 좌측 무릅 관절(141), 좌측 발목 관절(142), 우측 엉치부(150), 우측 무릅 관절(151), 및 우측 발목 관절(152)을 포함하며, 트레이너 영상을 기준으로 상기 사람의 인체의 측정 포인트들에 부착된 반짝이는 태그 또는 센서가 부착된 사용자 영상의 목 관절/몸통 관절/팔꿈치 관절/무릅 관절에 따라 몸통과 팔 다리 동작은 상기 좌측 팔꿈치 관절(111), 상기 우측 팔꿈치 관절(121), 상기 좌측 무릅 관절(141), 상기 우측 무릅 관절(151)을 기준으로 각 관절의 정점과 정점 사이의 실선 각도로 비교되어 트레이너 영상을 기준으로 사용자 영상의 운동 동작의 동작 일치도 점수가 부여된다(기준1,2,3,4,5). During health, fitness, yoga, and sports exercises, neck motion, torso and limb motion are performed according to the neck joint/trunk joint/elbow joint/knee joint, and the measurement points of the human body are the head (100) and the left shoulder. (110), left elbow joint (111), left forearm joint (112), right shoulder (120), right elbow joint (121), right forearm joint (122), belly button (130), left hip (140) , including the left knee joint 141, the left ankle joint 142, the right hip 150, the right knee joint 151, and the right ankle joint 152, based on the trainer image, the human body Depending on the neck joint/trunk joint/elbow joint/knee joint of the user image to which shiny tags or sensors attached to measurement points are attached, the body and limb motions are the left elbow joint 111 and the right elbow joint 121. ), based on the left knee joint 141 and the right knee joint 151, the vertex of each joint is compared with the solid line angle between the vertices, and a motion consistency score of the exercise motion of the user image is given based on the trainer image (Criterion 1,2,3,4,5).

* 측정 포인트 * Measurement points

기준1 좌측 팔부위 110,111,112Criterion 1 left arm 110,111,112

기준2 우측 팔부위 120,121,122Criterion 2 right arm 120,121,122

기준3 좌측 발부위 140,141,142 Criterion 3 left foot 140,141,142

기준4 우측 발부위 150,151,152Criterion 4 right foot 150,151,152

기준5 몸통 100, 130Standard 5 body 100, 130

기준6 상체 부위 100,110,120Criterion 6 Upper body area 100,110,120

기준7 하체 부위 130,140,150 (고관절)Criterion 7 lower body area 130,140,150 (hip joint)

전문가 트레이너와 사용자는 사람마다 각각 키와 체중이 다르며, 상체 부위(100,110,120)와 하체 부위(130,140,150)가 다르다. Each expert trainer and user have different heights and weights, and upper body parts 100 , 110 , and 120 and lower body parts 130 , 140 , and 150 are different.

운동 시에 행동 인식은 사용자 단말의 운동 어플(App)은 운동하는 동작의 트레이너 영상를 보고 따라 운동하는 사용자 영상의 실시간으로 포즈(pose), 운동 동작(action)을 감지하며, 행동인식 posenet 알고리즘을 사용하여 사람의 인체의 측정 포인트들을 실선으로 연결하여 비쥬얼하게 표시할 수 있다. During exercise, the exercise application (App) of the user terminal sees the trainer image of the exercise motion, detects the pose and exercise action in real time of the user image exercising along, and uses the action recognition posenet algorithm. Thus, it is possible to connect measurement points of the human body with solid lines and display them visually.

운동 동작은 몸통 동작과 함께 목 동작, 팔 동작, 다리 동작을 포함하며, 주로 몸통과 좌측 어깨 우측 어깨와 팔 다리 동작이 좌측 팔꿈치 관절(111), 우측 팔꿈치 관절(121), 좌측 무릅 관절(141), 우측 무릅 관절(151)에 따라 운동 동작이 실시된다. Exercise motions include neck motion, arm motion, and leg motion along with trunk motion. ), an exercise operation is performed according to the right knee joint 151.

예를 들면, "머신 러닝 달리기", "팔굽혀 펴기" 운동시에, 팔 동작은 몸통의 좌측 어깨(110), 좌측 팔꿈치(111), 좌측 팔등(112)의 좌측 팔동작과 우측 어깨(120), 우측 팔꿈치(121), 우측 팔등(122)의 우측 팔동작에 의해 감지된다. For example, during “machine running running” and “push-up” exercises, the arm motion is the left shoulder 110 of the torso, the left elbow 111, and the left arm motion of the left forearm 112 and the right shoulder 120 ), the right elbow 121, and the right arm movement of the right forearm 122.

다리 동작은 몸통 하부의 좌측 엉치부(140), 좌측 무릅 관절(141), 좌측 발목 관절(142)의 좌측 발 동작과 우측 엉치부(150), 우측 무릅 관절(151), 우측 발목 관절(152)의 우측 발 동작에 의해 감지된다. The leg motion is the left hip part 140, the left knee joint 141, and the left ankle joint 142 of the lower body, and the right hip part 150, the right knee joint 151, and the right ankle joint 152 ) is detected by the movement of the right foot.

헬스, 피트니스, 요가, 스포츠 운동 시에, 사용자 단말의 운동 어플(App)은 전문가 트레이너의 운동 영상을 기준으로 사용자의 운동 영상의 이미지의 관절 포인트 마디들을 잇고 운동 영상 분석을 통해 각 부분 동작 모델의 동작의 사진이 일치하는 지를 동작 일치도를 비교하기 위해 트레이너 영상과 사용자 영상의 인체의 관절 측정 포인트들의 좌측 팔꿈치 관절(111), 우측 팔꿈치 관절(121), 좌측 무릅 관절(141), 우측 무릅 관절(151)을 기준으로 사람의 인체의 측정 포인트들의 각 관절의 정점과 정점 사이의 연결된 실선의 각도로 상호 비교하여, 트레이너 영상을 기준으로 사용자 영상의 운동 동작의 동작 일치도를 점수화하여 표시한다. During health, fitness, yoga, and sports exercises, the exercise application (App) of the user terminal connects the joint point nodes of the user's exercise image based on the expert trainer's exercise image and analyzes the exercise image to determine the motion model of each part. The left elbow joint 111, the right elbow joint 121, the left knee joint 141, and the right knee joint ( 151), the angles of the solid lines connected between the vertices of each joint of the measurement points of the human body are mutually compared, and the motion consistency of the exercise motions of the user image based on the trainer image is scored and displayed.

즉, 운동 동작별로 분류된 운동 동작의 동작 모델에 따라 트레이너 영상를 기준으로 사용자 영상의 운동시 각 동작 단계별 동작 일치도는 인체의 주요 지점을 이루는 사람의 인체의 측정 포인트들의 각 관절의 정점(vertex)과 정점(vertex) 사이의 연결된 실선의 각도로 비교하여 각 동작 단계별로 동작일치도 점수화된다.That is, according to the motion model of the motion motion classified by motion motion, the degree of motion coincidence at each motion stage during motion of the user image based on the trainer image is the vertex of each joint of the measurement points of the human body constituting the main point of the human body. The motion agreement is also scored for each motion step by comparing the angle of the connected solid line between the vertices.

전문가 트레이너 영상(A)과 사용자 동상(B)에서 얻은 운동시 각 동작 단계별 주요 관절의 수평선 기준 각도를 예시로 설명한다. The reference angle of the horizontal line of the major joints at each motion stage during exercise obtained from the expert trainer image (A) and the user's statue (B) will be described as an example.

트레이너 영상과 사용자 영상은 운동시 각 동작 단계별로 수평을 기준으로 머리(100)와 몸통 배꼽부(130)의 각도, 좌측 어깨(110)와 우측 어깨(112)의 각도, 좌측 어깨(110)와 좌측 팔꿈치 관절(111)의 각도, 좌측 팔꿈치 관절(111)와 좌측 팔등 관절(112)의 각도, 우측 어깨(120)와 우측 팔꿈치 관절(121)의 각도, 우측 팔꿈치 관절(121)과 우측 팔등 관절(122)의 각도, 배꼽부(130)와 좌측 엉치부(140)의 각도, 배꼽부(130)와 우측 엉치부(150)의 각도, 좌측 엉치부(140)와 우측 엉치부(150)의 각도, 좌측 엉치부(140)와 좌측 무릅 관절(141)의 각도, 좌측 무릅 관절(141)과 좌측 발목 관절(142)의 각도, 우측 엉치부(150)와 우측 무릅 관절(151)의 각도, 및 우측 무릅 관절(151)과 우측 발목 관절(152)의 각도를 측정하며, 운동시 각 동작 단계별로 트레이너 영상을 기준으로 사람의 인체의 측정 포인트들에 반짝이는 태그가 부착된 사용자 영상의 운동 시 각 동작 단계별로 사람의 인체의 측정 포인트들의 각 관절의 정점과 정점 사이의 실선 각도가 비교되어 각 동작 단계별로 동작 일치도 점수가 부여되고 이를 누적 합산하여 동작 일치도 점수를 계산한다. The trainer image and the user image are the angle of the head 100 and the torso belly button 130, the angle of the left shoulder 110 and the right shoulder 112, the left shoulder 110 and The angle of the left elbow joint 111, the angle between the left elbow joint 111 and the left forearm joint 112, the angle between the right shoulder 120 and the right elbow joint 121, the right elbow joint 121 and the right forearm joint The angle of (122), the angle between the belly button 130 and the left hip 140, the angle between the belly button 130 and the right hip 150, the left hip 140 and the right hip 150 angle, the angle between the left hip 140 and the left knee joint 141, the angle between the left knee joint 141 and the left ankle joint 142, the angle between the right hip 150 and the right knee joint 151, and the angles of the right knee joint 151 and the right ankle joint 152 are measured, and during exercise, the user's image to which the sparkling tags are attached to the measuring points of the human body based on the trainer image for each action step is exercised. For each motion step, the solid line angle between the apex and the vertex of each joint of the measurement points of the human body is compared, and a motion coincidence score is given for each motion step, and the motion coincidence score is calculated by cumulative summing.

예를들면, 트레이너 영상과 사용자 영상은 수평을 기준으로 좌측 팔꿈치(111)와 좌측 팔등 관절(112)의 각도(111-112), 우측 팔꿈치(121)와 우측 팔등 관절(122)의 각도(121-122), 좌측 무릅 관절(141)과 좌측 발목 관절(142)의 각도(141-142), 우측 무릅 관절(151)과 발목 관절(152) 사이의 각도(151-152)를 예를들어 설명한다. For example, the trainer image and the user image are an angle 111-112 between the left elbow 111 and the left forearm joint 112, and an angle 121 between the right elbow 121 and the right forearm joint 122 relative to the horizontal. -122), the angle 141-142 between the left knee joint 141 and the left ankle joint 142, and the angle 151-152 between the right knee joint 151 and the ankle joint 152 will be described as examples. do.

트레이너trainer 좌측 팔꿈치(111-112)의 각도Angle of the left elbow (111-112) 우측 팔꿈치(121-122)의 각도Angle of right elbow (121-122) 좌측 무릅(141-142)의 각도Angle of the left knee (141-142) 우측 무릅(151-152)의 각도Angle of right knee (151-152) 비 고 note 동작0motion 0 (0,1) 10°(0,1) 10° (0,2) 10°(0,2) 10° (0,3) 70°(0,3) 70° (0,4) 70°(0,4) 70° 동작1action 1 (1,1) 20°(1,1) 20° (1,2) 20°(1,2) 20° (1,3) 30°(1,3) 30° (1,4) 30°(1,4) 30° 동작2action 2 (2,1) 30°(2,1) 30° (2,2) 20°(2,2) 20° (2,3) 50°(2,3) 50° (2,4) 50°(2,4) 50° 동작3action 3 (3,1) 40°(3,1) 40° (3,2) 10°(3,2) 10° (3,3) 20°(3,3) 20° (3,4) 30°(3,4) 30°

사용자 영상(B) User image (B) 사용자user 좌측 팔꿈치(111-112)의 각도Angle of the left elbow (111-112) 우측 팔꿈치(121-122)의 각도Angle of right elbow (121-122) 좌측 무릅(141-142)의 각도Angle of the left knee (141-142) 우측 무릅(151-152)의 각도Angle of right knee (151-152) 동작 일치도 motion concordance 동작0motion 0 (0,1) 11°(0,1) 11° (0,2) 11°(0,2) 11° (0,3) 60°(0,3) 60° (0,4) 60°(0,4) 60° 3+3+2+2=10점3+3+2+2 = 10 points 동작1action 1 (1,1) 23°(1,1) 23° (1,2) 23°(1,2) 23° (1,3) 42°(1,3) 42° (1,4) 42°(1,4) 42° 3+3+1+1=8점3+3+1+1=8 points 동작2action 2 (2,1) 39°(2,1) 39° (2,2) 29°(2,2) 29° (2,3) 63°(2,3) 63° (2,4) 56°(2,4) 56° 2+2+1+1=6점2+2+1+1=6 points 동작3action 3 (3,1) 47°(3,1) 47° (3,2) 13°(3,2) 13° (3,3) 23°(3,3) 23° (3,4) 41°(3,4) 41° 2+2+1+2=7점2+2+1+2 = 7 points 동작일치도 점수Motion Consensus Score
31점/48점

31/48 points

A(0,1) - B(0,1) = x(0,1)A(0,1) - B(0,1) = x(0,1)

A(0,2) - B(0,2) = x(0,2)A(0,2) - B(0,2) = x(0,2)

A(0,3) - B(0,3) = x(0,3)A(0,3) - B(0,3) = x(0,3)

A(0,4) - B(0,4) = x(0,4)A(0,4) - B(0,4) = x(0,4)

(예시) 0°≤ x(0,1) ≤ 5°: 동작 일치(3점), 좋음 (Example) 0°≤ x(0,1) ≤ 5°: motion coincide (3 points), good

5°< x(0,1) ≤10°: 근사적으로 동작 일치(2점), 보통 5°< x(0,1) ≤10°: approximate motion match (2 points), normal

10°≤ x(0,1) ≤15°: 동작 불일치(1점), 나쁨 10° ≤ x(0,1) ≤15°: motion mismatch (1 point), bad

x(0,1) > 15° : 동작 완전 불일치(0점), 아주 나쁨 x(0,1) > 15°: complete mismatch of motion (0 points), very bad

사람은 상체 부위(100,110,120)와 고 관절을 갖는 하체 부위(130,140,150) 각각 다르다. 사람의 인체의 측정 포인트들은 정면 자세에서 상체 부위(100,110,120)는 110과 120 사이의 밑변(110-120)과 100과 110 사이의 좌변과 100과 120 사이의 우변을 갖는 이등변 삼각형을 이루며, 하체 부위(130,140,150)는 140과 150 사이의 밑변(140-150)과 130과 140 사이의 좌변과 130과 150 사이의 우변을 갖는 이등변 삼각형을 이룬다. Humans have different upper body parts (100, 110, and 120) and lower body parts (130, 140, and 150) having a hip joint. The measurement points of the human body are the upper body parts (100, 110, 120) in the front posture form an isosceles triangle with the base (110-120) between 110 and 120, the left side between 100 and 110, and the right side between 100 and 120, and the lower body area (130,140,150) forms an isosceles triangle with a base (140-150) between 140 and 150, a left side between 130 and 140, and a right side between 130 and 150.

도 13을 참조하면, 사람의 신체와 체형이 각각 다르므로, 트레이너 영상과 사용자 영상의 정면 자세의 상체 부위(100,110,120)-기준6과 하체 부위(130,140,150)-기준7 이등변 삼각형의 밑변의 길이와 높이가 다른 경우, Referring to FIG. 13, since the human body and body shape are different, the length and height of the bases of the upper body parts (100, 110, 120)-reference 6 and lower body parts (130, 140, 150)-reference 7 isosceles triangles in the front posture of the trainer image and the user image. is different,

사용자 단말의 운동 어플(App)은 전문가 트레이너 영상의 이등변 삼각형의 밑변의 길이와 높이에 맞춰 사용자 영상을 영상 스케일링 기법을 사용하여 상기 트레이너 영상의 상체 부위(100,110,120)-기준6 또는 하체 부위(130,140,150)-기준7의 이등변 삼각형의 밑변의 길이와 높이에 맞춰 상기 사용자 영상의 상체 부위 또는 하체 부위가 이등변 삼각형의 밑변의 길이가 높이에 거의 근사적으로 일치되도록 영상/사진을 확대/축소하고, The exercise app of the user terminal uses an image scaling technique to match the user image to the length and height of the base of the isosceles triangle of the expert trainer image, and uses the upper body part (100, 110, 120)-reference 6 or lower body part (130, 140, 150) of the trainer image - Enlarges/reduces the video/photo so that the upper body or lower body of the user's image approximately matches the length and height of the base of the isosceles triangle according to the length and height of the base of the isosceles triangle of criterion 7,

운동시 각 동작 단계별로, 알파 블렌딩을 사용한 동작을 감지하여 운동의 자세의 위치를 검출하며, 운동량(p = mv)을 계산하며, 전문가 트레이너의 운동 영상을 보고 따라 운동하는 사용자의 운동 영상의 이미지의 관절 포인트 마디들을 잇고 트레이너 영상과 사용자 영상의 운동 영상 분석을 통해 사람의 인체의 측정 포인트들의 각 관절의 정점과 정점 사이의 실선 각도로 비교되어 트레이너의 운동 영상을 기준으로 사용자의 운동 영상의 동작 일치도를 점수화(ex. 동작 일치 3점, 근사적으로 동작 일치-2점, 동작 불일치-1점, 동작 완전 불일치-0점)하여 상호 비교하며, 해당 운동의 전문가 트레이너 영상과의 사용자 영상의 운동 동작의 동작 일치도 점수와 동작 일치도가 점수화 된 그래프를 출력하며, 체육 과학의 운동 역학 측면에서 자세 교정을 위한 운동관리 헬스케어 서비스를 제공한다.At each motion step during exercise, the motion using alpha blending is detected, the position of the exercise posture is detected, the amount of exercise (p = mv) is calculated, and the image of the user's exercise video watching and following the expert trainer's exercise video By connecting the joint point nodes of the trainer image and the motion image analysis of the user image, the measured points of the human body are compared with the solid line angle between the apex and the vertex of each joint, and the motion of the user's motion image is based on the trainer's motion image. The degree of agreement is scored (ex. motion agreement 3 points, approximate motion agreement - 2 points, motion mismatch - 1 point, motion complete mismatch - 0 points) and compared with each other, and the exercise of the user's video with the expert trainer video of the exercise It outputs the motion congruency score and the graph in which the motion congruency is scored, and provides exercise management healthcare service for posture correction in terms of exercise dynamics of physical education science.

본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되고 컴퓨터 판독 가능 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조를 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 기록 매체는 스토리지, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 저장 매체에 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예는 컴파일러에 의해 만들어지는 것과, 기계어 코드뿐만 아니라 인터프리터를 사용하여 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로써 작동하도록 구성될 수 있다.Embodiments according to the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer readable recording medium. The computer readable recording medium may include program instructions, data files, and data structures alone or in combination. Computer-readable recording media include storage, hard disks, magnetic media such as floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - A hardware device configured to store and execute program instructions in storage media such as magneto-optical media, ROM, RAM, flash memory, etc. may be included. Examples of program instructions may include those produced by compilers and machine language codes as well as high-level language codes that can be executed by a computer using an interpreter. The hardware device may be configured to operate as one or more software modules to perform the operations of the present invention.

이상에서 설명한 바와 같이, 본 발명의 방법은 프로그램으로 구현되어 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 형태로 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 저장될 수 있다. As described above, the method of the present invention is implemented as a program and can be read using computer software on a recording medium (CD-ROM, RAM, ROM, memory card, hard disk, magneto-optical disk, storage device, etc.) ) can be stored in

본 발명의 구체적인 실시예를 참조하여 설명하였지만, 본 발명은 상기와 같이 기술적 사상을 예시하기 위해 구체적인 실시 예와 동일한 구성 및 작용에만 한정되지 않고, 본 발명의 기술적 사상과 범위를 벗어나지 않는 한도 내에서 다양하게 변형하여 실시될 수 있으며, 본 발명의 범위는 후술하는 특허청구범위에 의해 결정되어야 한다.Although described with reference to specific embodiments of the present invention, the present invention is not limited to the same configuration and operation as the specific embodiments to illustrate the technical idea as described above, and within the limit that does not deviate from the technical spirit and scope of the present invention It can be implemented with various modifications, and the scope of the present invention should be determined by the claims described later.

100: 컴퓨터 110: 스마트폰, 태블릿 PC
130: TV 디스플레이 200: 운동관리 서버
210: 웹서버 220: 웹 어플리케이션 서버(WAS)
230: DB 270: 스트리밍 서버
272: 비디오 인코더 274: 카메라
201: 웹서버 202: 제어부
203: 회원관리부 204: 사용자 인증부
205: 운동 콘텐츠 제공부 206: 체중 및 체성분 측정 정보 입력부
207: 사용자 운동 영상 저장부
208: 트레이너 영상/사용자 영상 비교 분석부
209: 운동량 검출부 211: 통계 정보 제공부
212: 데이터베이스(DB) 213: 게시판
100: computer 110: smartphone, tablet PC
130: TV display 200: exercise management server
210: web server 220: web application server (WAS)
230: DB 270: streaming server
272 video encoder 274 camera
201: web server 202: control unit
203: member management unit 204: user authentication unit
205: exercise content providing unit 206: weight and body composition measurement information input unit
207: user exercise image storage unit
208: Trainer video/user video comparison analysis unit
209: momentum detection unit 211: statistical information providing unit
212: database (DB) 213: bulletin board

Claims (7)

헬스, 피트니스, 요가, 스포츠 운동 시에, 웹서버와 데이터베이스를 구비하며, 전문가 트레이너별로 전문가 트레이너의 영상과 운동 콘텐츠를 사용자 단말로 제공하여 운동관리 헬스케어 서비스를 제공하는 운동 관리 서버; 및
상기 운동 관리 서버에 유무선 통신망을 통해 연결되며, 사람의 인체의 각 부위에 부착되는 반짝이는 태그를 부착하고, 전문가 트레이너 영상을 보고 따라 운동하는 카메라로 촬영된 사용자의 운동 영상에 대하여 인체의 각 부위에 부착되는 반짝이는 태그를 인식하며, 알파 블렌딩을 사용한 동작을 감지하되, 전문가 트레이너의 운동 영상과 사용자의 운동 영상의 이미지의 관절 포인트 마디들을 연결하고 운동 영상 분석을 통해 인체의 측정 포인트들의 각 관절의 정점과 정점 사이의 실선 각도로 비교하여 상기 전문가 트레이너 운동 영상과 상기 사용자의 운동 영상의 동작 일치도를 점수화하여, 해당 운동의 전문가 트레이너 영상과의 동작 일치도 점수와 동작 일치도가 점수화 된 그래프를 출력하는 헬스, 피트니스, 요가, 크로스핏, 스포츠 운동을 위한 운동 어플(App)이 설치된 사용자 단말; 을 포함하며
상기 운동 관리 서버는 웹서버;
헬스, 피트니스, 요가, 크로스핏, 스포츠 운동에 대한 운동관리 헬스케어 서비스를 제어하는 제어부;와
상기 제어부에 연결되며, 운동별 전문가 트레이너 영상과 운동 정보와 운동 콘텐츠를 제공하는 운동 콘텐츠 제공부;와
상기 제어부에 연결되며, 사용자의 키와 체중, 근육량, 체지방량을 포함하는 측정값을 사용자 단말의 운동 어플(App)로부터 수신받아 저장하는 체중 및 체성분 정보 관리부;
상기 제어부에 연결되며, 사용자 단말의 운동 어플(App)로부터 수신된 사용자 운동 영상을 저장하는 사용자 운동 영상 저장부;
상기 제어부에 연결되며, 카메라로 촬영된 사용자의 운동 영상에 대하여 운동하는 사람의 인체의 각 부위에 부착되는 반짝이는 태그를 인식하며, 알파 블렌딩을 사용한 동작을 감지하되, 전문가 트레이너의 운동 영상과 사용자의 운동 영상의 이미지의 관절 포인트 마디들을 연결하고 운동 영상의 분석을 통해 각 부분 동작 이 일치하는지를 점수화하여 전문가 트레이너 영상과 사용자 영상을 비교분석하는 트레이너 영상/사용자 영상 비교 분석부;
상기 제어부에 연결되며, 운동 전후 사용자의 키, 체중, 근육량, 체지방량, BMI값을 포함하는 측정 값을 운동 관리 서버에 저장하며, 이를 상기 운동 관리 서버의 데이터베이스에 누적 저장하여 시간대별/일/주/월/년도별 체중, 운동량, 근육량, 체지방량, BMI 값을 포함하는 개인별 운동 통계 데이터를 제공하는 통계 정보 제공부;
상기 제어부에 연결되며, 운동별 전문가 트레이너 영상과 운동 정보와 운동 콘텐츠를 저장하며, 사용자 운동 영상과 사용자의 키, 체중, 근육량, 체지방량, BMI값을 포함하는 측정 값을 저장하는 데이터베이스(DB); 및
상기 제어부에 연결되며, 운동 분야별 전문가 트레이너와 사용자의 글을 등록하는 게시판; 을 포함하고
상기 운동 관리 서버(200)는 상기 제어부(202)에 연결되며, 헬스장의 머신러닝 달리기 운동시, m 체중인 사용자가 v속도로 달리기 운동시에 운동량p 는 m * v 로 측정하고 운동 에너지는 로 측정하여 저장하고 사용자 단말의 운동 어플(App)로 표시하도록 하는 운동량 검출부를 더 포함하며,
상기 인체의 측정 포인트들은 머리(100), 좌측 어깨(110), 좌측 팔꿈치 관절(111), 좌측 팔등 관절(112), 우측 어깨(120), 우측 팔꿈치 관절(121), 우측 팔등 관절(122), 배꼽(130), 좌측 엉치부(140), 좌측 무릅 관절(141), 좌측 발목 관절(142), 우측 엉치부(150), 우측 무릅 관절(151), 및 우측 발목 관절(152)을 포함하고
또한 상기 전문가 트레이너 영상과 상기 사용자 영상의 정면 자세에서 상체 부위인머리(100)과 좌측어깨(110)과 우측어깨(120)인 기준6 이등변 삼각형과 하체 부위인배꼽(130)과 좌측엉치부(140)과 우측엉치부(150)인 기준7 이등변 삼각형의 밑변의 길이와 높이가 다른 경우,
상기 사용자 단말의 운동 어플(App)은 전문가 트레이너 영상의 이등변 삼각형의 밑변의 길이와 높이에 맞춰 사용자 영상을 영상 스케일링 기법을 사용하여
상기 전문가 트레이너 영상의 상체 부위인 기준6 이등변 삼각형 또는 하체 부위인 기준7 이등변 삼각형의 밑변의 길이와 높이에 맞춰
상기 사용자 영상의 상체 부위 이등변 삼각형 또는 하체 부위 이등변 삼각형의 밑변의 길이와 높이를 일치되도록 영상을 확대하거나 축소하며,
상기 전문가 트레이너 영상과 상기 사용자 영상의 비교분석은
상기 전문가 트레이너 영상을 기준으로 사용자 인체의 측정 포인트들에 태그 를 부착하고 운동한 사용자 영상에서 각 동작단계별로 각 태크들을 연결하는 실선의 각도를 비교하되,
상기 전문가 트레이너 영상과 상기 사용자 영상에서 각 동작 단계별로 수평선을 기준으로 머리(100)와 몸통 배꼽부(130)를 연결하는 실선의 각도, 좌측 어깨(110)와 우측 어깨(112)를 연결하는 실선의 각도, 좌측 어깨(110)와 좌측 팔꿈치 관절(111)를 연결하는 실선의 각도, 좌측 팔꿈치 관절(111)와 좌측 팔등 관절 (112)를 연결하는 실선의 각도, 우측 어깨(120)와 우측 팔꿈치 관절(121)을 연결하는 실선의 각도, 우측 팔꿈치 관절(121)과 우측 팔등 관절(122)을 연결하는 실선의 각도, 배꼽부(130)와 좌측 엉치부(140)를 연결하는 실선의 각도, 배꼽부(130)와 우측 엉치부(150)를 연결하는 실선의 각도, 좌측 엉치부(140)와 우측 엉치부(150)를 연결하는 실선의 각도, 좌측 엉치부(140)와 좌측 무릅 관절(141)을 연결하는 실선의 각도, 좌측 무릅 관절(141)과 좌측 발목 관절(142)을 연결하는 실선의 각도, 우측 엉치부(150)와 우측 무릅 관절(151)을 연결하는 실선의 각도, 및 우측 무릅 관절(151)과 우측 발목 관절(152)을 연결하는 실선의 각도를 측정하며
전문가 트레이너 영상과 상기 사용자 영상의 일치도에 따른 점수가 부여되고 이를 누적 합산하여 동작 일치도 점수를 계산하여 해당 운동의 전문가 트레이너 영상과의 사용자 영상의 운동 동작의 동작 일치도 점수와 동작 일치도가 점수화 된 그래프를 출력하는 태그를 사용한 운동관리 헬스케어 서비스 시스템.
An exercise management server that has a web server and a database for health, fitness, yoga, and sports exercises, and provides exercise management healthcare services by providing video and exercise contents of expert trainers to user terminals for each expert trainer; and
It is connected to the exercise management server through a wired/wireless communication network, attaches a sparkling tag attached to each part of the human body, and with respect to the exercise image of the user photographed with a camera that exercises according to the video of the expert trainer, each part of the human body Recognizes the shiny tag attached to and detects the motion using alpha blending, connects the joint point nodes of the expert trainer's exercise image and the user's exercise image image, and analyzes the motion image Comparing the solid line angle between vertices of , and scoring the motion match between the expert trainer exercise image and the user's exercise image, and outputting a graph in which the motion match score and the motion match score with the expert trainer image of the exercise are scored A user terminal in which an exercise application (App) for health, fitness, yoga, crossfit, and sports exercise is installed; contains
The exercise management server may include a web server;
A controller that controls exercise management healthcare services for health, fitness, yoga, crossfit, and sports exercises; and
An exercise content provider connected to the control unit and providing expert trainer images, exercise information, and exercise contents for each exercise;
a weight and body composition information management unit that is connected to the control unit and receives and stores measurement values including a user's height, weight, muscle mass, and body fat mass from an exercise application (App) of a user terminal;
a user exercise image storage unit connected to the control unit and storing a user exercise image received from an exercise application (App) of a user terminal;
It is connected to the control unit, recognizes the shiny tag attached to each part of the body of a person exercising with respect to the user's exercise image captured by the camera, and detects the motion using alpha blending. A trainer image/user image comparison and analysis unit that compares and analyzes the expert trainer image and user image by connecting joint point nodes of the image of the exercise image and scoring whether the motions of each part match through analysis of the exercise image;
It is connected to the control unit, and measures values including the user's height, weight, muscle mass, body fat mass, and BMI before and after exercise are stored in the exercise management server, and accumulated and stored in the database of the exercise management server for each time period/day/week. Statistical information providing unit that provides individual exercise statistical data including weight, exercise amount, muscle mass, body fat mass, and BMI value for each month/year;
A database (DB) connected to the control unit, storing expert trainer images for each exercise, exercise information, and exercise contents, and storing user exercise images and measured values including the user's height, weight, muscle mass, body fat mass, and BMI values; and
a bulletin board connected to the control unit and registering texts of expert trainers and users for each exercise field; contains
The exercise management server 200 is connected to the control unit 202, and during machine learning running exercise at the gym, when a user with m weight runs at v speed, the amount of exercise p is measured as m * v, and the exercise energy is Further comprising an exercise amount detector to measure and store and display it as an exercise application (App) of the user terminal,
The measurement points of the human body are the head 100, left shoulder 110, left elbow joint 111, left forearm joint 112, right shoulder 120, right elbow joint 121, right forearm joint 122 , including navel 130, left hip 140, left knee joint 141, left ankle joint 142, right hip 150, right knee joint 151, and right ankle joint 152 do
In addition, in the front posture of the expert trainer image and the user image, the reference 6 isosceles triangle, which is the head 100, left shoulder 110, and right shoulder 120, which are the upper body parts, and the navel 130, which is the lower body part, and the left hip part ( 140) and the right hip part 150, if the length and height of the base of the reference 7 isosceles triangle are different,
The exercise app of the user terminal uses an image scaling technique to match the user image to the length and height of the base of the isosceles triangle of the expert trainer image
According to the length and height of the base of the reference 6 isosceles triangle, which is the upper body part of the expert trainer image, or the reference 7 isosceles triangle, which is the lower body part
Magnifying or reducing the image so that the length and height of the base of the isosceles triangle of the upper body part or the isosceles lower body part of the user image match,
Comparative analysis of the expert trainer image and the user image
Based on the expert trainer image, tags are attached to the measurement points of the user's body and the angles of solid lines connecting each tag for each action step are compared in the image of the user exercising.
In the expert trainer image and the user image, the angle of the solid line connecting the head 100 and the belly button 130 and the solid line connecting the left shoulder 110 and the right shoulder 112 based on the horizontal line for each action step The angle of , the angle of the solid line connecting the left shoulder 110 and the left elbow joint 111, the angle of the solid line connecting the left elbow joint 111 and the left forearm joint 112, the right shoulder 120 and the right elbow The angle of the solid line connecting the joint 121, the angle of the solid line connecting the right elbow joint 121 and the right forearm joint 122, the angle of the solid line connecting the navel part 130 and the left hip part 140, The angle of the solid line connecting the belly button 130 and the right buttock 150, the angle of the solid line connecting the left buttock 140 and the right buttock 150, the left buttock 140 and the left knee joint ( 141), the angle of the solid line connecting the left knee joint 141 and the left ankle joint 142, the angle of the solid line connecting the right hip 150 and the right knee joint 151, and Measuring the angle of the solid line connecting the right knee joint 151 and the right ankle joint 152
A score is given according to the match between the expert trainer image and the user image, and the motion match score is calculated by accumulating and summing them to obtain a graph in which the motion match score and the motion match score of the user image and the expert trainer image of the corresponding exercise are scored. Exercise management healthcare service system using output tags.
제1항에 있어서,
운동 동작시에, 사용자는 사람의 인체의 측정 포인트들에 반짝이는 태그 또는 센서를 부착하여 카메라로 촬영되어 사용자 영상이 제공되며,
상기 사람의 인체의 측정 포인트들에 상기 센서가 부착되는 경우, 상기 센서는 3차원 모션 감지 센서를 사용하는, 태그를 사용한 운동관리 헬스케어 서비스 시스템.
According to claim 1,
During exercise, the user attaches shiny tags or sensors to the measurement points of the human body, takes pictures with a camera, and provides user images.
When the sensor is attached to the measurement points of the human body, the sensor uses a three-dimensional motion detection sensor, exercise management healthcare service system using a tag.
삭제delete 삭제delete 제1항에 있어서,
상기 사용자 단말의 운동 어플(App)은 유무선 통신망을 통해 상기 운동 관리 서버와 연결되며, 사용자의 키와 운동 전후 체중 측정 및 체성분 검출기기(In Body 체중계)에 의해 측정되는 사용자의 체중, 근육량, 체지방량, BMI 값을 포함하는 측정 값을 상기 운동 관리 서버에 저장하며, 이를 상기 운동 관리 서버의 데이터베이스에 누적 저장하여 시간대별/일/주/월/년도별 운동량, 체중, 근육량, 체지방량, BMI 값을 포함하는 개인별 운동 통계 데이터를 상기 사용자 단말로 제공하는, 태그를 사용한 운동관리 헬스케어 서비스 시스템.
According to claim 1,
The exercise app of the user terminal is connected to the exercise management server through a wired/wireless communication network, and measures the user's height and weight before and after exercise, and the user's weight, muscle mass, and body fat mass measured by a body composition detection device (In Body Scale). , Measured values including BMI values are stored in the exercise management server, and accumulated and stored in the database of the exercise management server to determine the amount of exercise, weight, muscle mass, body fat mass, and BMI values by time slot/day/week/month/year. An exercise management healthcare service system using a tag that provides individual exercise statistical data to the user terminal.
제5항에 있어서,
상기 사용자 단말의 운동 어플(App)은 상기 운동 관리 서버에 저장되는 사용자의 키와 체중 측정 및 체성분 검출기기(In Body 체중계)의 체중, 근육량, 체지방량, BMI 값을 포함하는 측정값들과 연동되는, 태그를 사용한 운동관리 헬스케어 서비스 시스템.
According to claim 5,
The exercise app of the user terminal is interlocked with measurement values including weight, muscle mass, body fat mass, and BMI values of the user's height and weight measurement and body composition detection device (In Body scale) stored in the exercise management server. , Exercise management healthcare service system using tags.
제6항에 있어서,
체중 측정 및 체성분 검출기기(In Body 체중계) 검사 결과, 골격근 지방분석(체중, 근육량, 체지방량), 비만분석(BMI, 체지방률), 내장지방분석(내장지방레벨)을 측정 값과 막대 그래프(bar chart)로 상기 사용자 단말의 운동 어플(App)에 표시하고;
체중, 근육량, 체지방량, 체지방률의 측정값의 시간에 따른 신체 밸런스 변화 과정을 꺽은선 그래프(line chart)로 표현되며, 표준 정규 분포 곡선에 체중 측정 및 체성분 검출기기(In Body 체중계) 점수를 표시하고 미리 측정된 일정 인원수의 표준 체형을 가진 모집단의 표본의 체중 측정 및 체성분 검출기기(In Body 체중계) 점수의 평균에 의한 정규 분포를 갖는 통계분석 데이터의 상위 몇% 인지 표시하는 상기 사용자 단말의 운동 어플(App)에 표시하는, 태그를 사용한 운동관리 헬스케어 서비스 시스템.
















According to claim 6,
Weight measurement and body composition detection device (In Body scale) test results, skeletal muscle fat analysis (weight, muscle mass, body fat mass), obesity analysis (BMI, body fat percentage), and visceral fat analysis (visceral fat level) ) to display in the exercise application (App) of the user terminal;
The body balance change process over time of the measured values of weight, muscle mass, body fat mass, and body fat percentage is expressed as a line chart, and the weight measurement and body composition detector (In Body scale) scores are displayed on the standard normal distribution curve, The exercise application of the user terminal displays the top percentage of the statistical analysis data having a normal distribution by the average of the weight measurement and body composition detector (In Body scale) scores of a sample of a population with a predetermined number of standard body shapes measured in advance. Exercise management healthcare service system using tags displayed in (App).
















KR1020210086723A 2021-07-01 2021-07-01 Exercise management healthcare service system using tag KR102564945B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210086723A KR102564945B1 (en) 2021-07-01 2021-07-01 Exercise management healthcare service system using tag

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210086723A KR102564945B1 (en) 2021-07-01 2021-07-01 Exercise management healthcare service system using tag

Publications (2)

Publication Number Publication Date
KR20230005693A KR20230005693A (en) 2023-01-10
KR102564945B1 true KR102564945B1 (en) 2023-08-07

Family

ID=84893663

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210086723A KR102564945B1 (en) 2021-07-01 2021-07-01 Exercise management healthcare service system using tag

Country Status (1)

Country Link
KR (1) KR102564945B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102557953B1 (en) * 2023-03-16 2023-07-20 주식회사 케이에이씨미디어그룹 Choreography Analysis System

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101448562B1 (en) * 2012-05-31 2014-10-13 (주)더힘스 System for body analysis
KR102099316B1 (en) * 2018-03-28 2020-04-09 주식회사 스탠스 Augmented reality display apparatus for health care and health care system using the same
KR101962578B1 (en) 2018-07-31 2019-07-17 김종범 A fitness exercise service providing system using VR
KR20200055243A (en) 2018-11-13 2020-05-21 주식회사 피트 Method for providing fitness scheduling service by interworking with physical test and server thereof
KR102123743B1 (en) 2018-11-20 2020-06-17 전자부품연구원 Motion Analysis Method for Fitness Posture Correction
KR102290504B1 (en) * 2019-07-24 2021-08-19 주식회사 에버닌 Health Care System Using Tracker

Also Published As

Publication number Publication date
KR20230005693A (en) 2023-01-10

Similar Documents

Publication Publication Date Title
KR102700604B1 (en) Exercise program recommendation system according to physical ability
US11745055B2 (en) Method and system for monitoring and feed-backing on execution of physical exercise routines
CN108734104B (en) Body-building action error correction method and system based on deep learning image recognition
WO2019232899A1 (en) Comprehensive evaluation system and method for physical fitness and muscular strength
Velloso et al. Qualitative activity recognition of weight lifting exercises
McRoberts et al. Evaluation of the New York Posture Rating Chart for assessing changes in postural alignment in a garment study
US11351419B2 (en) Smart gym
US20190143174A1 (en) Motion training guide system based on wearable sensor and method thereof
CN108836296A (en) Intelligent body-building method and system
JP2020174910A (en) Exercise support system
Brice et al. Use of inertial measurement units for measuring torso and pelvis orientation, and shoulder–pelvis separation angle in the discus throw
Irwin et al. Inter-segmental coordination in progressions for the longswing on high bar
TWI679557B (en) Adaptive sport posture sensing system and method
KR20190097361A (en) Posture evaluation system for posture correction and method thereof
US20230355135A1 (en) Intelligent gait analyzing apparatus
KR102564945B1 (en) Exercise management healthcare service system using tag
Bertozzi et al. Whole-body kinematics during a simulated sprint in flat-water kayakers
CN112070031A (en) Posture detection method, device and equipment
Hölbling et al. A kinematic model for assessment of hip joint range-of-motion in fast sport movements using spreading angles
CN118172833A (en) Method, device and equipment for screening sports injury in badminton
Cai et al. PoseBuddy: Pose estimation workout mobile application
JP2020108823A (en) Information processing device, information processing method, and program
CN113842622B (en) Motion teaching method, device, system, electronic equipment and storage medium
Stewart et al. Anthropometry in physical performance and health
KR20200055222A (en) Dedicated content prescription and health care system based on tone

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant