KR102341985B1 - 운동 보조 장치 및 운동 보조 방법 - Google Patents

운동 보조 장치 및 운동 보조 방법 Download PDF

Info

Publication number
KR102341985B1
KR102341985B1 KR1020190073310A KR20190073310A KR102341985B1 KR 102341985 B1 KR102341985 B1 KR 102341985B1 KR 1020190073310 A KR1020190073310 A KR 1020190073310A KR 20190073310 A KR20190073310 A KR 20190073310A KR 102341985 B1 KR102341985 B1 KR 102341985B1
Authority
KR
South Korea
Prior art keywords
exercise
image data
information
user
image
Prior art date
Application number
KR1020190073310A
Other languages
English (en)
Other versions
KR20200144991A (ko
Inventor
송응열
박성주
Original Assignee
코드비전 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코드비전 주식회사 filed Critical 코드비전 주식회사
Priority to KR1020190073310A priority Critical patent/KR102341985B1/ko
Priority to US16/905,133 priority patent/US11521733B2/en
Publication of KR20200144991A publication Critical patent/KR20200144991A/ko
Application granted granted Critical
Publication of KR102341985B1 publication Critical patent/KR102341985B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7435—Displaying user selection data, e.g. icons in a graphical user interface
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744—Displaying an avatar, e.g. an animated cartoon character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075—Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012—Comparing movements or motion sequences with a registered reference
    • A63B2024/0015—Comparing movements or motion sequences with computerised simulations of movements or motion sequences, e.g. for generating an ideal template as reference to be achieved by the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0647—Visualisation of executed movements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/15—Miscellaneous features of sport apparatus, devices or equipment with identification means that can be read by electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physical Education & Sports Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Business, Economics & Management (AREA)

Abstract

일 실시 예에 따르면, 제1 운동 동작이 포함된 제1 영상 데이터를 제공하는 영상 제공부; 상기 제1 영상 데이터의 입력에 반응하여 획득된 제2 운동 동작이 포함된 제2 영상 데이터를 획득하는 데이터 획득부; 상기 제2 영상 데이터로부터 복수의 스켈레톤을 검출하여 획득된 제1 관절 정보를 추출하는 관절 정보 추출부; 상기 제1 관절 정보와 미리 검출된 상기 제1 영상 데이터의 제2 관절 정보를 비교하여 판단된 유사도를 기초로 분석 정보가 제공되는 분석부; 및 사용자에게 적합한 운동 동작을 추천하기 위하여, 복수의 운동 동작이 포함된 데이터 베이스로부터 상기 제1 영상 데이터, 상기 제2 영상 데이터 및 상기 분석 정보 중 적어도 어느 하나를 기초로 운동 동작을 추천하는 추천 정보가 제공되는 추천부를 포함하는 것을 특징으로 하는, 운동 보조 장치가 제공될 수 있다.

Description

운동 보조 장치 및 운동 보조 방법{EXERCISE ASSISTANT DEVICE AND EXERCISE ASSISTANT METHOD}
아래의 실시 예들은 운동 보조 장치 및 운동 보조 방법에 관한 것이다.
현대에 들어, 개인의 꾸준한 건강 관리에 대한 중요성이 나날이 높아지고 있다. 또한, 사용자는 운동 장치 또는 운동 시설을 통해 건강을 관리할 수 있고, 이를 위해서 운동 프로그램을 활용하고 있다. 또한, 개인 맞춤형 건강 관리를 위해, 사용자는 운동 프로그램으로써 개인 트레이닝 서비스를 활용하고 있다.
한편, 근래의 딥러닝 기술의 도약적인 발전에 의해, 영상 분석 분야에서 인공지능의 개발이 활발하게 이루어지고 있다. 구글, IBM 등의 글로벌 기업들에서도 의료계와의 협업으로 대규모 데이터를 투입하는 등, 다양한 신체 영상 데이터 분석을 위한 인공지능 개발에 투자를 아끼지 않고 있으며, 일부 기업에서는 우수한 영상 분석 결과를 출력하는 인공지능 개발에 성공하기도 하였다.
이와 관련하여, 트레이너와 함께 하는 운동 프로그램의 경우, 트레이너와의 스케줄 관리가 용이하지 않고, 시간 및 장소가 제약적이며, 높은 비용 문제가 있는 점을 고려하여, 인공 지능 기술을 활용한 사용자의 운동 영상 분석을 통해 사용자 맞춤형 홈 트레이닝 서비스에 대한 필요성이 대두되고 있다.
일 과제는, 운동 영상에 대한 분석 및 추천을 수행하는 운동 보조 장치 및 운동 보조 방법을 제공하는 것이다.
일 과제는, 운동 보조 서버를 통해 운동 영상에 대한 동작 분석 및 동작 추천을 수행하는 운동 보조 장치 및 운동 보조 방법을 제공하는 것이다.
일 과제는, 운동 보조 서버를 통해 사용자의 운동 영상에 대한 동작 분석을 수행하고, 사용자에게 적합한 운동 동작을 추천하여 제공하는 운동 보조 장치 및 운동 보조 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시 예에 따르면, 제1 운동 동작이 포함된 제1 영상 데이터를 제공하는 영상 제공부; 상기 제1 영상 데이터의 입력에 반응하여 획득된 제2 운동 동작이 포함된 제2 영상 데이터를 획득하는 데이터 획득부; 상기 제2 영상 데이터로부터 복수의 스켈레톤을 검출하여 획득된 제1 관절 정보를 추출하는 관절 정보 추출부; 상기 제1 관절 정보와 미리 검출된 상기 제1 영상 데이터의 제2 관절 정보를 비교하여 판단된 유사도를 기초로 분석 정보가 제공되는 분석부; 및 사용자에게 적합한 운동 동작을 추천하기 위하여, 복수의 운동 동작이 포함된 데이터 베이스로부터 상기 제1 영상 데이터, 상기 제2 영상 데이터 및 상기 분석 정보 중 적어도 어느 하나를 기초로 운동 동작을 추천하는 추천 정보가 제공되는 추천부를 포함하는 것을 특징으로 하는, 운동 보조 장치가 제공될 수 있다.
일 실시 예에 따르면, 제1 운동 동작이 포함된 제1 영상 데이터를 제공하는 영상을 제공하는 영상 제공 단계; 상기 제1 영상 데이터의 입력에 반응하여 획득된 제2 운동 동작이 포함된 제2 영상 데이터를 획득하는 데이터 획득 단계; 상기 제2 영상 데이터로부터 복수의 스켈레톤을 검출하여 획득된 제1 관절 정보를 추출하는 관절 정보 추출 단계; 상기 제1 관절 정보와 미리 검출된 상기 제1 영상 데이터의 제2 관절 정보를 비교하여 판단된 유사도를 기초로 분석 정보가 제공되는 분석 단계; 및 사용자에게 적합한 운동 동작을 추천하기 위하여, 복수의 운동 동작이 포함된 데이터 베이스로부터 상기 제1 영상 데이터, 상기 제2 영상 데이터 및 상기 분석 정보 중 적어도 어느 하나를 기초로 운동 동작을 추천하는 추천 정보가 제공되는 추천 단계를 포함하는 것을 특징으로 하는, 운동 보조 서버 기반의 운동 보조 방법이 제공될 수 있다.
일 실시 예에 의하면, 운동 영상에 대한 분석 및 추천을 수행하는 운동 보조 장치 및 운동 보조 방법의 제공을 통해, 사용자는 시간적 및 공간적 제약 없이 운동 영상에 대한 피드백을 용이하게 획득할 수 있다.
일 실시 예에 의하면, 운동 보조 서버를 통해 운동 영상에 대한 동작 분석 및 동작 추천을 수행하는 운동 보조 장치 및 운동 보조 방법의 제공을 통해, 사용자는 운동 보조 서버를 통해 운동 기록이 자동으로 정확도 높은 분석 정보 및 추천 정보를 획득할 수 있다.
일 실시 예에 의하면, 운동 보조 서버를 통해 사용자의 운동 영상에 대한 동작 분석을 수행하고, 사용자에게 적합한 운동 동작을 추천하여 제공하는 운동 보조 장치 및 운동 보조 방법을 제공을 통해, 사용자는 운동 영상 분석에 따른 분석 정보를 기초로 운동 동작에 대한 피드백을 용이하게 획득할 수 있고, 사용자는 상기 분석 정보를 기초로 추천되는 운동 동작을 개인 맞춤형 정보로 획득할 수 있다.
본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 일 실시 예에 따른 운동 보조 장치를 나타내는 도면이다.
도 2는 일 실시 예에 따른 클라이언트 장치의 구성을 나타내는 도면이다.
도 3은 일 실시 예에 따른 운동 보조 서버의 구성을 나타내는 도면이다.
도 4는 일 실시 예에 따른 신체 데이터에 포함된 스켈레톤 정보를 나타내는 도면이다.
도 5는 일 실시 예에 따른 운동 보조 장치의 분석 방법을 나타내는 도면이다.
도 6은 일 실시 예에 따른 운동 보조 장치의 추천 방법을 나타내는 도면이다.
도 7은 일 실시 예에 따른 운동 보조 프로세스를 나타내는 도면이다.
도 8은 일 실시 예에 따른 분석 프로세스를 나타내는 도면이다.
도 9는 일 실시 예에 따른 추천 프로세스를 나타내는 도면이다.
도 10 내지 도 15는 일 실시 예에 따른 운동 보조 장치의 사용자 인터 페이스를 나타내는 도면이다.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시 예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시 예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시 예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다.
또한, 각 실시 예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조 부호를 사용하여 설명한다.
일 실시 예에 따르면, 제1 운동 동작이 포함된 제1 영상 데이터를 제공하는 영상 제공부; 상기 제1 영상 데이터의 입력에 반응하여 획득된 제2 운동 동작이 포함된 제2 영상 데이터를 획득하는 데이터 획득부; 상기 제2 영상 데이터로부터 복수의 스켈레톤을 검출하여 획득된 제1 관절 정보를 추출하는 관절 정보 추출부; 상기 제1 관절 정보와 미리 검출된 상기 제1 영상 데이터의 제2 관절 정보를 비교하여 판단된 유사도를 기초로 분석 정보가 제공되는 분석부; 및 사용자에게 적합한 운동 동작을 추천하기 위하여, 복수의 운동 동작이 포함된 데이터 베이스로부터 상기 제1 영상 데이터, 상기 제2 영상 데이터 및 상기 분석 정보 중 적어도 어느 하나를 기초로 운동 동작을 추천하는 추천 정보가 제공되는 추천부를 포함하는 것을 특징으로 하는, 운동 보조 장치가 제공될 수 있다.
또한, 상기 영상 제공부는 상기 제1 영상 데이터를 상기 제2 운동 동작이 수행되는 동안 중첩되어 제공하는 것을 특징으로 하는, 운동 보조 장치가 제공될 수 있다.
또한, 상기 제1 관절 정보는 상기 제2 영상 데이터에 포함된 제1 간격을 가지는 프레임마다 얻어지되, 상기 제1 관절 정보는 각각의 프레임에 포함된 복수의 스켈레톤 중 신체 부위에 대응되는 스켈레톤을 추출하여 얻어지는 것을 특징으로 하는, 운동 보조 장치가 제공될 수 있다.
또한, 상기 제2 관절 정보는 상기 제1 영상 데이터에 포함된 제2 간격을 가지는 프레임마다 얻어지되, 상기 제1 관절 정보는 각각의 프레임에 포함된 복수의 스켈레톤 중 신체 부위에 대응되는 스켈레톤을 추출하여 얻어지는 것을 특징으로 하는, 운동 보조 장치가 제공될 수 있다.
또한, 상기 분석부는 상기 제1 관절 정보와 상기 제2 관절 정보를 비교하되, 상기 제1 간격과 상기 제2 간격이 서로 대응되도록 정규화하여 비교하는 것을 특징으로 하는, 운동 보조 장치가 제공될 수 있다.
또한, 상기 분석부는 상기 제1 관절 정보와 상기 제2 관절 정보를 비교하는 식으로
Figure 112019063173330-pat00001
를 통해 연산되어 분석 정보를 획득하는 것을 특징으로 하는, 운동 보조 장치가 제공될 수 있되,
Figure 112019063173330-pat00002
A는 제1 관절 정보의 벡터 값, B는 제2 관절 정보의 벡터 값,
Figure 112019063173330-pat00003
는 소정의 임계값에 해당될 수 있다.
또한, 상기 분석 정보에 포함된 유사도가 소정의 값 이상인 경우, 상기 추천부는 상기 제1 영상 데이터의 운동 강도, 수행 횟수, 및 수행 속도 중 적어도 어느 하나를 높이거나, 상기 제1 영상 데이터보다 난이도가 높은 운동 동작을 추천하는 것을 특징으로 하는, 운동 보조 장치가 제공될 수 있다.
또한, 상기 분석 정보에 포함된 유사도가 소정의 값 이하인 경우, 상기 추천부는 상기 제1 영상 데이터의 운동 강도, 수행 횟수, 및 수행 속도 중 적어도 어느 하나를 낮추거나, 상기 제1 영상 데이터보다 난이도가 낮은 운동 동작을 추천하는 것을 특징으로 하는, 운동 보조 장치가 제공될 수 있다.
또한, 상기 제2 운동 동작은 상기 제1 영상 데이터를 기초로 사용자가 모방하여 획득된 것을 특징으로 하는, 운동 보조 장치가 제공될 수 있다.
또한, 상기 분석 정보는 상기 제2 운동 동작의 정확도, 횟수, 동작 시간, 동작 수행 속도, 신체 부위 별 수행 능력 중 적어도 어느 하나를 포함하는 것을 특징으로 하는, 운동 보조 장치가 제공될 수 있다.
또한, 상기 제1 관절 정보의 위치 변화를 기초로 상기 제2 운동 동작의 수행 횟수가 측정되는 것을 특징으로 하는, 운동 보조 장치가 제공될 수 있다.
또한, 상기 분석 정보는 복수의 신체 부위에 대한 수행 능력을 분석한 제1 분석 정보를 포함할 수 있고, 상기 추천 정보는 상기 제1 분석 정보를 기초로 상기 복수의 신체 부위 중 적어도 일부에 대해 요구되는 운동 동작을 포함하는 것을 특징으로 하는, 운동 보조 장치가 제공될 수 있다.
또한, 상기 복수의 신체 부위는 전신, 상체, 하체, 복부, 및 팔 중 적어도 어느 하나를 포함하는 것을 특징으로 하는, 운동 보조 장치가 제공될 수 있다.
또한, 상기 추천부는 상기 제1 영상 데이터, 상기 제2 영상 데이터, 및 상기 분석 정보 중 적어도 어느 하나와 함께 미리 획득된 제1 정보를 기초로 운동 동작을 추천하되, 상기 제1 정보는 상기 제1 운동 동작을 수행하는 사용자에 관하여 클라이언트 장치로부터 획득된 정보인 것을 특징으로 하는, 운동 보조 장치가 제공될 수 있다.
또한, 상기 제1 정보는 사용자의 성별, 나이, 건강 상태, BMI 정보, 운동 주기, 운동량, 및 운동 강도 중 적어도 어느 하나를 포함하는 것을 특징으로 하는, 운동 보조 장치가 제공될 수 있다.
일 실시 예에 따르면, 제1 운동 동작이 포함된 제1 영상 데이터를 제공하는 영상을 제공하는 영상 제공 단계; 상기 제1 영상 데이터의 입력에 반응하여 획득된 제2 운동 동작이 포함된 제2 영상 데이터를 획득하는 데이터 획득 단계; 상기 제2 영상 데이터로부터 복수의 스켈레톤을 검출하여 획득된 제1 관절 정보를 추출하는 관절 정보 추출 단계; 상기 제1 관절 정보와 미리 검출된 상기 제1 영상 데이터의 제2 관절 정보를 비교하여 판단된 유사도를 기초로 분석 정보가 제공되는 분석 단계; 및 사용자에게 적합한 운동 동작을 추천하기 위하여, 복수의 운동 동작이 포함된 데이터 베이스로부터 상기 제1 영상 데이터, 상기 제2 영상 데이터 및 상기 분석 정보 중 적어도 어느 하나를 기초로 운동 동작을 추천하는 추천 정보가 제공되는 추천 단계를 포함하는 것을 특징으로 하는, 운동 보조 방법이 제공될 수 있다.
또한, 상기 운동 보조 방법을 실행시키도록 구현되는 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 제공될 수 있다.
1. 배경 및 목적
본 명세서에서는 운동 보조 서버를 기반으로 하는 운동 보조 장치 및 방법에 대하여 설명한다. 또한, 본 명세서에서는 운동 보조 서버를 기반으로 입력된 데이터에 대한 분석 및 추천 정보를 제공하는 운동 보조 장치 및 방법에 대하여 설명한다. 구체적으로, 본 명세서에서는 클라이언트 장치에 의해 입력된 운동 영상에 대해 운동 보조 서버를 기반으로 분석 및 추천 정보가 제공되는 운동 보조 장치 및 방법에 대하여 설명한다.
이를 통해, 상기 운동 보조 장치 및 방법은 입력된 운동 영상에 대한 분석 결과를 제공할 뿐 아니라, 입력된 운동 영상에 대한 운동 기록 관리가 효율적으로 수행될 수 있다. 또한, 상기 운동 보조 장치 및 방법은 입력된 운동 영상에 대한 분석 결과 제공과 함께, 운동 영상에서 나타난 사용자의 자세가 올바른지를 판단한 피드백 결과가 제공될 수 있어, 사용자는 보다 용이하게 자세를 교정할 수 있다. 또한, 상기 운동 보조 장치 및 방법은 입력된 운동 영상에 대한 추천 정보를 제공하여, 입력된 운동 영상에 기초하여 개인 맞춤형 운동 추천이 수행될 수 있어, 사용자는 상기 추천 정보에 기초하여 보다 효율적인 운동 효과를 얻을 수 있다.
이하에서는 본 출원의 일 실시 예에 따른 운동 보조 장치 및 운동 보조 방법에 대해 상세히 설명하고자 한다.
2. 운동 보조 장치
2.1 일반
도 1은 일 실시 예에 따른 운동 보조 장치를 나타내는 도면이다. 운동 보조 서버 기반의 운동 보조 장치는 클라이언트 장치(1)와 운동 보조 서버(2)를 포함할 수 있다. 또한, 운동 보조 서버 기반의 운동 보조 장치는 클라이언트 장치(1)와 운동 보조 서버(2) 사이의 통신을 통해 운동 보조가 수행될 수 있다. 또한, 클라이언트 장치(1)와 운동 보조 서버(2) 사이의 상호적인 네트워크를 통해 운동 보조가 수행될 수 있다.
이에 따라, 상기 운동 보조 장치는 클라이언트 장치(1)에 운동 영상이 입력됨에 따라, 시간적 및 공간적 제약 없이 운동 보조 서버(2)에 의한 분석 및/또는 추천이 수행될 수 있다. 다만, 본 발명의 운동 보조 서버 기반의 운동 보조 장치(2)은 후술될 내용에 한정되지 아니하며, 후술될 내용에 일부 구성 요소가 추가, 변경, 또는 삭제되어 분석 및/또는 추천이 수행될 수 있다.
이하에서는 운동 보조 서버 기반의 운동 보조 장치에 포함되는 각 구성에 대해 보다 상세히 설명하고자 한다.
2.2 클라이언트 장치
클라이언트 장치(1)는 영상 데이터가 입력, 수신, 송신 또는 저장 등이 수행될 수 있는 장치일 수 있다. 또한, 클라이언트 장치(1)는 네트워크 및/또는 인터넷이 연결되는 또는 연결 가능한 통신 기능을 가진 장치일 수 있다. 또한, 클라이언트 장치(1)는 스마트 기기와 같이 무선 접속 장치를 통해 네트워크에 접속하여 데이터의 송, 수신이 가능한 통신 장치일 수 있고, 일 예로 휴대폰, 스마트폰, 노트북, 태블릿, 넷북 등 중 적어도 어느 하나일 수 있다.
또한, 클라이언트 장치(1)는 영상 데이터가 생성되거나, 이미 생성된 영상 데이터가 입력될 수 있는 장치일 수 있다. 일 예로, 클라이언트 장치(1)는 촬상부를 포함하고 있어, 촬상된 영상을 상기 영상 데이터로 사용될 수 있다. 또한, 클라이언트 장치(1)는 모바일 앱(APP, Application)이 이용될 수 있어, 클라이언트 장치(1) 내에 저장된 또는 촬영된 데이터 중 분석이 요구되는 영상 데이터는 모바일 앱을 통해 운동 보조 서버(2)에 송신되어 분석 및/또는 추천이 수행될 수 있다.
특히, 클라이언트 장치(1)는 촬상 장치이거나, 촬상부를 포함하는 장치일 수 있다. 또한, 클라이언트 장치(1)가 촬상 장치 또는 촬상부를 포함하는 장치인 경우, 상기 클라이언트 장치(1)는 직접 촬영된 영상을 운동 보조 서버(2)에 전송 또는 송신하여 운동을 보조할 수 있다. 또한, 클라이언트 장치(1)가 촬상 장치 또는 촬상부를 포함하는 장치인 경우, 상기 클라이언트 장치(1)는 미리 촬영된 영상을 저장하고, 저장된 이미지 및/또는 영상을 시간적, 공간적 제약 없이 운동 보조 서버(2)에 전송 또는 송신하여 운동을 보조할 수 있다.
이하에서는 클라이언트 장치(1)의 구성에 대해서 보다 상세히 설명하고자 한다.
2.2.1 구성
도 2는 일 실시 예에 따른 클라이언트 장치(1)의 구성을 나타내는 도면이다. 상기 클라이언트 장치(1)는 제어부(100), 데이터 획득부(120), 통신부(140), 영상 제공부(160), 및 데이터 저장부(180) 중 적어도 어느 하나를 포함할 수 있다. 다만, 상기 클라이언트 장치(1)의 구성은 상기 구성에 제한되지 아니하고, 필요에 따라 다른 구성이 더 포함되거나 다른 구성으로 대체될 수 있다.
상기 제어부(100)는 클라이언트 장치(1)의 동작을 제어할 수 있다. 상기 제어부(100)는 데이터 획득부(120), 통신부(140), 영상 제공부(160), 및 데이터 저장부(180) 중 적어도 어느 하나의 동작을 제어할 수 있다.
상기 제어부(100)는 CPU(Central Processing Unit), RAM(Random Access Memory), GPU(Graphic Processing Unit), 하나 이상의 마이크로 프로세서 및 기타 미리 정해진 논리에 따라 입력된 데이터를 처리할 수 있는 전자 부품 중 하나 이상을 포함할 수 있다. 일 예로, 제어부(100)는 후술하는 운동 보조 서버(2)와 클라이언트 장치(1) 사이의 운동 보조를 위한 분류 또는 추천 프로세스 데이터 등을 RAM 상에 전개하고, 전개된 프로그램에 따라 각종 처리를 수행할 수 있다.
상기 데이터 획득부(120)는 운동 보조를 위한 분석 및/또는 추천이 요청되는 데이터가 획득될 수 있다. 또한, 상기 데이터 획득부(120)는 클라이언트 장치(1)에 저장된 데이터 중 분석 및/또는 추천이 요청되는 데이터가 선택되어 획득될 수 있다. 또한, 상기 데이터 획득부(120)는 클라이언트 장치(1)의 촬상부에서 촬영된 데이터를 분석 및/또는 추천이 요청되는 데이터로 획득할 수 있다.
특히, 상기 데이터 획득부(120)가 획득하는 데이터는 영상 데이터일 수 있다. 또한, 상기 데이터 획득부(120)가 획득하는 데이터가 영상 데이터이되, 상기 데이터 획득부(120)는 상기 영상 데이터 중 분석 및/또는 추천이 요청되는 구간 또는 프레임 등이 선택되어 획득될 수 있다. 상기 데이터 획득부(120)에서 획득되는 분석 및/또는 추천 요청 데이터는 JPG, PNG, DCM(DICOM), BMP, GIF, TIFF, AVI, MP4, WMV, MOV, MKV, TS, TP, FLV, 3GP 중 어느 하나의 포맷을 가질 수 있다.
또한, 상기 데이터 획득부(120)는 사용자의 성별, 나이, 건강 상태, BMI 정보 등에 대해 저장된 정보가 획득될 수 있다. 또한, 상기 데이터 획득부(120)는 사용자의 운동 주기, 운동량, 운동 강도 등에 대한 정보가 획득될 수 있다.
통신부(140)는 상기 데이터 획득부(120)에서 획득된 데이터를 운동 보조 서버(2)에 전송 또는 송신시킬 수 있다. 또한, 통신부(140)는 운동 보조 서버(2)에서 제공되는 정보를 클라이언트 장치(1)로 수신할 수 있다. 또한, 통신부(140)는 데이터의 송신뿐 아니라, 데이터와 연관된 정보를 동시에 또는 이시에 송신하는 기능을 수행할 수 있다. 또한, 통신부(140)는 클라이언트 장치(1)와 운동 보조 서버가 송수신되는 기능을 수행할 수 있되, 송수신 기능은 동시에 또는 이시에 수행될 수 있다. 또한, 통신부(140)는 네트워크와 연결되는 기능이 수행될 수 있다. 통신부(140)는 클라이언트 장치(1)에서 입력된 데이터 및 입력된 정보 중 적어도 어느 하나가 네트워크를 통해 운동 보조 서버(2)로 송신되는 기능을 수행할 수 있다.
상기 통신부(140)는 상술한 내용 중 적어도 어느 하나의 기능을 수행할 수 있는 장치 또는 부품일 수 있으나, 상기 통신부(140)가 상술한 내용에 제한되는 것은 아니다.
데이터 저장부(180)는 상기 데이터 획득부(120)에서 획득된 데이터, 상기 통신부(140)가 운동 보조 서버(2)로부터 수신한 정보, 상기 영상 제공부(160)에서 제공되는 데이터 등을 저장할 수 있다. 상기 데이터 저장부(180)는 필요에 따라 상기 데이터 획득부(120)에서 획득된 데이터, 상기 통신부(140)가 운동 보조 서버(2)로부터 수신한 정보, 상기 영상 제공부(160)에서 제공되는 데이터 등을 불러올 수 있다. 또한, 상기 데이터 저장부(180)는 상기 데이터 획득부(120)에서 획득된 데이터, 상기 통신부(140)가 운동 보조 서버(2)로부터 수신한 정보, 상기 영상 제공부(160)에서 제공되는 데이터 등에 대한 시간 및/또는 공간(GPS) 정보를 함께 포함하여 저장할 수 있다.
상기 영상 제공부(160)에 대해서는 이하에서 상세히 설명하고자 한다.
2.2.2 영상 제공부
2.2.2.1 일반
상기 클라이언트 장치(1)는 상기 운동 보조 서버(2)에 분석 및/또는 추천을 요청하기 위한 데이터를 획득하되, 상기 데이터 획득부(120)로부터 획득된 데이터는 사용자의 운동 동작 분석 및/또는 추천을 수행하기에 적합한 영상일 필요가 있다.
상기 영상 제공부(160)는 상기 데이터 획득부(120)로부터 획득된 데이터가 사용자의 운동 동작 및/또는 추천을 수행하기에 적합하도록, 사용자가 상기 클라이언트 장치(1)로부터 제공되는 영상을 기초로 촬영하도록 유도하는 영상을 제공할 수 있다. 상기 영상 제공부(160)는 사용자가 소정의 운동 동작을 수행하도록 유도하는 영상을 제공하되, 사용자가 수행하는 소정의 운동 동작이 포함된 영상 데이터가 데이터 획득부(120)에서 획득될 수 있다.
이를 통해, 상기 운동 보조 장치는 상기 영상 제공부(160)에서 제공되는 영상을 기초로 수행된 사용자의 운동 영상에 대한 분석 및/또는 추천이 수행될 수 있어, 상기 클라이언트 장치(1)는 사용자에게 운동 동작의 가이드 라인을 용이하게 제공할 수 있고, 상기 운동 보조 서버는 사용자에게 상기 운동 동작에 대한 피드백 정보를 용이하게 제공할 수 있다.
2.2.2.2 가이드 영상
상기 영상 제공부(160)는 상기 데이터 획득부(120)에서 획득되는 데이터 중 분석 및/또는 추천이 요청되는 데이터에 대한 가이드 라인을 포함하는 가이드 영상을 제공할 수 있다. 상기 가이드 영상은 사용자의 선택에 따라 제공되는 운동 동작을 포함하는 영상일 수 있다. 또한, 상기 가이드 영상은 상기 운동 보조 서버(2)에서 제공되는 분석 및/또는 추천 정보에 따라 제공되는 운동 동작을 포함하는 영상일 수 있다.
상기 가이드 영상은 미리 촬영된 운동 동작에 대한 영상일 수 있고, 상기 운동 동작은 전신, 상체, 복부, 팔, 및 하체 중 적어도 어느 하나의 신체 부위에 대한 것일 수 있다. 또한, 상기 운동 동작은 전신 부위에 대한 것이되, 점핑잭, 워킹 하이 니, 투명 줄넘기 등을 포함할 수 있다. 또한, 상기 운동 동작은 상체 부위에 대한 것이되, 다이나믹 체스트, 체스트 프레스, 시계 방향을 팔 돌리기 등을 포함할 수 있다. 또한, 상기 운동 동작은 복부 부위에 대한 것이되, 스탠딩 사이드 크런치, 크런치, 사이드 드롭 등을 포함할 수 있다. 또한, 상기 운동 동작은 팔 부위에 대한 것이되, 펀치, 트라이셉스 킥백, 바이셉스 컬 펄스 등을 포함할 수 있다. 또한, 상기 운동 동작은 하체 부위에 대한 것이되, 스쿼트, 런지, 래터럴 레그 리프트 등을 포함할 수 있다. 상기 운동 동작은 상술한 내용에 한정되지 아니하고, 신체 부위에 대한 운동 동작에 해당되는 것이라면 제한되지 아니한다.
2.2.2.3 영상 제공 방법
상기 영상 제공부(160)는 상기 가이드 영상을 상기 클라이언트 장치(1)에 제공할 수 있다. 상기 영상 제공부(160)는 상기 가이드 영상을 상기 클라이언트 장치(1)를 통해 제공하되, 상기 가이드 영상을 기초로 획득되는 사용자의 운동 동작 영상이 동시에 또는 이시에 획득될 수 있다. 상기 영상 제공부(160)는 상기 가이드 영상을 상기 클라이언트 장치(2)를 통해 제공한 후, 상기 가이드 영상을 기초로 획득되는 사용자의 운동 동작 영상이 획득될 수 있다.
상기 영상 제공부(160)는 상기 가이드 영상이 상기 클라이언트 장치(2)를 통해 제공함과 동시에 사용자의 운동 동작 영상이 함께 획득되는 경우, 상기 클라이언트 장치(1)는 상기 가이드 영상과 상기 사용자의 운동 동작 영상이 중첩된 형태로 제공할 수 있다. 상기 클라이언트 장치(1)는 상기 가이드 영상과 상기 사용자의 운동 동작 영상이 중첩된 형태로 제공되는 경우, 상기 사용자의 운동 동작 영상 대비 상기 가이드 영상의 투명도가 조절되어 제공될 수 있다. 또한, 상기 클라이언트 장치(1)는 상기 가이드 영상과 상기 사용자의 운동 동작 영상이 중첩된 형태로 제공되는 경우, 상기 가이드 영상은 상기 사용자의 운동 동작에 중첩되는 별도의 가이드 라인이 형상, 라인 등의 형태로 추가되어 제공될 수 있다. 일 예로, 상기 가이드 영상은 증강 현실(AR, Augmented Reality) 영상으로 제공될 수 있다.
상기 영상 제공부(160)는 상기 가이드 영상을 사용자의 신장 또는 신체 부위에 적합하게 정규화하여 제공할 수 있다. 일 예로, 상기 영상 제공부(160)는 상기 가이드 영상에 포함된 운동 동작을 수행하는 트레이너의 신장 또는 신체 부위가 사용자의 신장 또는 신체 부위와 소정의 비율 이상으로 차이가 나는 경우, 상기 가이드 영상을 사용자의 신장 또는 신체 부위에 적합하게 정규화하여 제공할 수 있다.
상기 영상 제공부(160)는 미리 설정된 동작을 통해 상기 가이드 영상의 재생 여부, 정도, 시간 등이 조절되어 제공할 수 있다. 예를 들어, 상기 영상 제공부(160)는 사용자가 두 팔을 벌린 자세로 서있는 동작을 통해 상기 가이드 영상이 재생되도록 하거나, 다시 사용자가 두 팔을 벌린 자세로 서있는 동작을 취하는 경우 상기 가이드 영상이 멈추도록 할 수 있다. 또는, 상기 영상 제공부(160)는 사용자가 두 팔을 벌린 자세로 서있는 동작을 통해 상기 가이드 영상이 재생되나, 다시 사용자가 두 팔을 모은 자세로 서있는 동작을 취하는 경우 상기 가이드 영상이 멈추고 다른 운동 동작을 포함한 가이드 영상이 제공되도록 할 수 있다.
또한, 상기 영상 제공부(160)는 사용자의 운동 동작의 속도를 기초로 상기 가이드 영상의 재생 속도가 조절될 수 있다. 예를 들어, 상기 영상 제공부(160)는 사용자가 입력한 정보를 기초로 상기 가이드 영상의 재생 속도가 조절될 수 있다. 또한, 상기 영상 제공부(160)는 사용자의 운동 동작의 속도를 분석하여 상기 가이드 영상의 재생 속도가 조절될 수 있다.
상기 영상 제공 방법은 상술한 내용에 한정되지 아니하고, 상술한 내용 중 적어도 일부가 변형, 삭제, 대체되어 적용될 수 있다.
2.3 운동 보조 서버
2.3.1 구성
도 3은 일 실시 예에 따른 운동 보조 서버(2)의 구성을 나타내는 도면이다. 상기 운동 보조 서버(2)는 제어부(200), 통신부(210), 데이터 획득부(230), 분석부(250), 추천부(270), 정보 제공부(280), 및 데이터 저장부(290) 중 적어도 어느 하나를 포함할 수 있다. 다만, 상기 운동 보조 서버(2)의 구성은 상기 구성에 제한되지 아니하고, 필요에 따라 다른 구성이 더 포함되거나 다른 구성으로 대체될 수 있다.
2.3.2 제어부
상기 제어부(200)는 운동 보조 서버(2)의 동작을 제어할 수 있다. 상기 제어부(200)는 통신부(210), 데이터 획득부(230), 분석부(250), 추천부(270), 정보 제공부(280), 및 데이터 저장부(290) 중 적어도 어느 하나의 동작을 제어할 수 있다.
상기 제어부(200)는 CPU(Central Processing Unit), RAM(Random Access Memory), GPU(Graphic Processing Unit), 하나 이상의 마이크로 프로세서 및 기타 미리 정해진 논리에 따라 입력된 데이터를 처리할 수 있는 전자 부품 중 하나 이상을 포함할 수 있다. 일 예로, 제어부(200)는 후술하는 운동 보조 서버(2)와 클라이언트 장치(1) 사이의 운동 보조를 위한 분류 또는 추천 프로세스 데이터 등을 RAM 상에 전개하고, 전개된 프로그램에 따라 각종 처리를 수행할 수 있다.
2.3.3 통신부
통신부(210)는 클라이언트 장치(1)에 입력된 데이터를 운동 보조 서버(2)에서 수신하는 기능이 수행될 수 있다. 또한, 통신부(210)는 운동 보조 서버(2)에서 제공되는 정보를 클라이언트 장치로 송신하는 기능이 수행될 수 있다. 또한, 통신부(210)는 운동 보조 서버(2)에 입력된 데이터에 대한 분석 및/또는 추천 정보를 클라이언트 장치(1)로 송신하는 기능이 수행될 수 있다. 통신부(210)는 목차 2.2 클라이언트 장치에 기재된 내용과 동일하거나 유사할 수 있으나, 반드시 목차 2.2 클라이언트 장치에 기재된 내용에 제한되는 것은 아니다.
2.3.4 데이터 획득부
상기 데이터 획득부(230)는 상기 클라이언트 장치(1)로부터 분석 및/또는 추천이 요청되는 데이터를 획득할 수 있다. 상기 데이터 획득부(230)는 상기 클라이언트 장치(1)로부터 사용자의 운동 동작이 포함된 영상 데이터를 획득할 수 있다. 상기 데이터 획득부(230)는 상기 클라이언트 장치(1)로부터 사용자의 정보가 포함된 데이터를 획득할 수 있다. 상기 클라이언트 장치(1)로부터 제공되는 데이터는 사용자의 성별, 나이, 건강 상태, BMI 정보, 운동 주기, 운동량, 운동 강도 등에 대한 정보를 포함할 수 있다.
상기 데이터 획득부(230)는 상기 클라이언트 장치(1)로부터 분석 및/또는 추천이 요청되는 데이터를 가공하여 획득할 수 있다. 상기 데이터 획득부(230)는 상기 클라이언트 장치(1)로부터 분석 및/또는 추천이 요청되는 데이터 중 분석 및/또는 추천에 적합한 데이터 일부에 대해서만 선별되어 획득할 수 있다. 상기 데이터 획득부(230)는 상기 클라이언트 장치(1)로부터 분석 및/또는 추천이 요청되는 데이터를 프레임 별로 분리하여 획득하되, 상기 데이터를 구성하는 복수의 프레임 중 적어도 어느 일부만이 선별되어 획득할 수 있다. 일 예로, 상기 데이터 획득부(230)는 상기 클라이언트 장치(1)로부터 획득된 영상 데이터 중 사용자가 운동 동작을 수행하는 부분을 편집한 일부 데이터를 획득할 수 있다.
또한, 상기 데이터 획득부(230)는 상기 클라이언트 장치(1)로부터 획득된 영상 데이터 중 사용자가 운동 동작을 수행하는 부분이되, 사용자의 신체 일부만이 포함된 영상 데이터를 획득할 수 있다. 상기 데이터 획득부(230)는 상기 클라이언트 장치(1)로부터 획득된 영상 데이터가 사용자의 신체 일부만이 포함된 영상 데이터라고 하더라도, 상기 영상 데이터가 사용자의 운동 동작을 분석하기에 적합한 영상에 해당되는 경우에는 분석 데이터로 획득할 수 있다.
다만, 상기 데이터 획득부(230)가 획득하는 데이터는 상술한 내용에 한정되지 아니하며, 상기 데이터 획득부(230)는 상기 운동 보조 서버(2)가 분석 및/또는 추천 정보를 제공하기에 적합한 데이터라면 제한되지 아니한다.
2.3.5 분석부
2.3.5.1 일반
도 4는 일 실시 예에 따른 신체 데이터에 포함된 스켈레톤 정보를 나타내는 도면이다. 상기 스켈레톤 정보는 신체에 포함된 복수의 관절 부위에 관한 정보를 포함할 수 있다. 도 4와 같이, 상기 스켈레톤 정보는 머리, 어깨 중심, 왼쪽 어깨, 오른쪽 어깨, 왼쪽 팔꿈치, 오른쪽 팔꿈치, 왼쪽 손목, 오른쪽 손목, 엉덩이 중심, 왼쪽 엉덩이, 오른쪽 엉덩이, 왼쪽 무릎, 오른쪽 무릎, 왼쪽 발목, 오른쪽 발목, 왼쪽 발, 오른쪽 발 등에 대한 정보 중 적어도 어느 하나 이상의 정보를 포함할 수 있다.
상기 분석부(250)는 상기 스켈레톤 정보에 기초한 신체에 포함된 복수의 관절 부위에 관한 위치 및/또는 배치를 통해 신체의 움직임을 분석할 수 있다. 이를 통해, 상기 운동 보조 서버(2)는 사용자의 운동 동작에 대해 상기 스켈레톤 정보를 기초로 신속하게 추출함에 따라, 사용자의 운동 동작을 용이하게 분석할 수 있다.
상기 분석부(250)는 소정의 알고리즘에 의해 분석이 수행될 수 있다. 상기 분석부(250)는 소정의 컴퓨터 프로그램에 의해 분석이 수행될 수 있다. 상기 분석부(250)는 인공 지능(AI, Artificial Intelligence)에 의해 분석이 수행될 수 있다. 상기 분석부(250)는 복수의 데이터로 미리 학습된 인공 지능(AI, Artificial Intelligence)에 의해 분석이 수행될 수 있다. 또한, 상기 분석부(250)는 SIFT(Scale Invariant Feature Transform), HOG(Histogram of Oriented Gradient), Haar feature, Ferns, LBP(Local Binary Pattern), MCT(Modified Census Transform), NN(Neural Network), DNN(Deep Neural Network), CNN(Convolutional Neural Network) 등이 이용될 수 있다.
2.3.5.2 영상 분석 방법
상기 분석부(250)는 상기 스켈레톤 정보를 기초로 상기 데이터 획득부(230)에서 획득된 데이터를 분석할 수 있다. 상기 분석부(250)는 상기 스켈레톤 정보를 기초로 복수의 관절 부위를 추출하여, 상기 데이터 획득부(230)에서 획득된 데이터에 대해 분석을 수행할 수 있다. 또한, 상기 분석부(250)는 상기 스켈레톤 정보를 기초로 한 데이터 분석을 통해 사용자의 운동 동작이 상기 가이드 영상과 유사한지 판단할 수 있다. 또한, 상기 분석부(250)는 분석 대상 데이터에 포함된 사용자의 운동 동작의 유사도 판단을 통해 사용자의 운동 동작에 대한 평가가 수행될 수 있다.
도 5는 일 실시 예에 따른 운동 보조 장치의 분석 방법을 나타내는 도면이다. 상기 영상 분석 방법은 분석 대상 데이터 획득(S251), 복수의 스켈레톤 검출(S253), 복수의 스켈레톤의 위치 변화 판단(S255), 복수의 스켈레톤의 위치 비교 판단(S257), 및 분석 정보 획득(S259) 중 적어도 어느 하나를 포함할 수 있다. 상기 영상 분석 방법은 상술한 단계들에 한정되지 아니하며, 필요에 따라 상술한 단계 중 일부가 변경 또는 제외되거나, 일부 단계가 추가되어 실시될 수 있다.
상기 분석 대상 데이터 획득(S251)은 상기 데이터 획득부(230)에서 획득된 데이터 중 분석이 요청되는 데이터를 획득하는 단계일 수 있다. 상기 분석 대상 데이터 획득(S251)에서 획득되는 데이터는 상기 데이터 획득부(230)에서 획득된 데이터 중 분석이 요청되는 데이터이되, 일부가 가공된 데이터를 획득하는 단계일 수 있다.
상기 복수의 스켈레톤 검출(S253)은 상기 분석 대상 데이터 획득(S251)에서 획득된 데이터에 포함된 사용자의 신체로부터 복수의 스켈레톤을 검출(추출)하는 단계일 수 있다. 상기 복수의 스켈레톤 검출(S253)은 상기 분석 대상 데이터 획득(S251)에서 획득된 데이터에 포함된 복수의 스켈레톤을 검출(추출)하여 2차원 관절 정보들을 추출할 수 있다. 상기 복수의 스켈레톤 검출(S253)은 상기 2차원 관절 정보로부터 서로 인접한 스켈레톤이 연결된 복수의 관절 정보를 추출할 수 있다. 일 예로, 도 4 및 도 5를 참조하면, 상기 복수의 스켈레톤 검출(S253)은 머리와 어깨 중심이 연결된 제1 관절, 어깨 중심과 오른쪽 어깨가 연결된 제2 관절, 어깨 중심과 왼쪽 어깨가 연결된 제 3 관절 등과 같은 관절 정보를 추출할 수 있다. 또한, 상기 복수의 스켈레톤 검출(S253)은 상기 2차원 관절 정보를 3차원 관절 정보로 변환하여 상술한 내용과 같은 관절 정보를 추출할 수 있다.
또한, 상기 분석 대상 데이터 획득(S251)에서 획득된 데이터가 상기 클라이언트 장치(1)로부터 획득된 영상 데이터가 사용자의 신체 일부만이 포함된 영상 데이터인 경우, 상기 복수의 스켈레톤 검출(S253)은 상기 영상 데이터에 포함된 사용자의 신체 일부에 대해서는 스켈레톤을 검출하되, 포함되지 않은 신체 부분에 대해서는 가상으로 검출한 복수의 스켈레톤이 매칭될 수 있다. 또한, 상기와 같은 경우, 상기 복수의 스켈레톤 검출(S253)은 상기 영상 데이터에 포함된 사용자의 신체 일부에 대해서만 스켈레톤을 검출하되, 상기 가이드 영상에 대해서도 이에 대응되는 스켈레톤에 대해서만 검출하여 상호 비교할 수 있다.
복수의 스켈레톤의 위치 변화 판단(S255)은 상기 복수의 스켈레톤 검출(S253)에서 검출된 복수의 스켈레톤 정보를 기초로 스켈레톤의 위치 변화를 판단하는 단계일 수 있다. 복수의 스켈레톤의 위치 변화 판단(S255)은 상기 분석 대상 데이터 획득(S251)에서 획득된 데이터의 프레임 별로 획득되는 복수의 스켈레톤 정보를 기초로 각각의 스켈레톤의 위치 변화를 분석할 수 있어, 위치가 변화된 스켈레톤을 통해 사용자의 움직임을 판단하는 단계일 수 있다. 복수의 스켈레톤의 위치 변화 판단(S255)은 상술한 내용과 같이, 위치가 변화된 스켈레톤을 통해 사용자의 움직임을 판단할 수 있어, 사용자의 운동 동작의 횟수를 자동적으로 추출할 수 있어, 사용자는 별도의 동작 횟수 입력 단계를 수행하지 않을 수 있다.
복수의 스켈레톤의 위치 비교 판단(S257)은 상기 복수의 스켈레톤 검출(S253)에서 검출된 복수의 스켈레톤 정보를 기초로 스켈레톤의 위치 비교를 판단하는 단계일 수 있다. 복수의 스켈레톤의 위치 비교 판단(S257)은 상기 분석 대상 데이터 획득(S251)에서 획득된 데이터와 목차 2.2.2.2 가이드 영상에서 기재된 상기 가이드 영상과 프레임 별로 위치를 비교 판단하는 단계일 수 있다. 상기 가이드 영상에 포함된 프레임 별 스켈레톤의 위치 데이터는 상기 데이터 저장부(290)에 저장되어 있을 수 있다. 복수의 스켈레톤의 위치 비교 판단(S257)은 상기 분석 대상 데이터 획득(S251)에서 획득된 데이터와 상기 가이드 영상과 프레임 별로 위치를 비교하되, 각 영상 또는 데이터에 포함된 동작 시간을 정규화하여 비교될 수 있다.
또한, 복수의 스켈레톤의 위치 비교 판단(S257)은 상기 분석 대상 데이터 획득(S251)에서 획득된 데이터와 상기 가이드 영상에서 각각 관절 벡터값이 추출되어 정규화된 값으로 비교 판단이 수행될 수 있다. 또한, 복수의 스켈레톤의 위치 비교 판단(S257)은 상기 분석 대상 데이터 획득(S251)에서 획득된 데이터와 상기 가이드 영상을 DTW(Dynamic Time Warping) 알고리즘을 통해 정규화하여 비교 판단을 수행할 수 있다. 또한, 복수의 스켈레톤의 위치 비교 판단(S257)은 다음과 같은 수식으로 복수의 관절 벡터에 대한 유사도의 평균값을 기초로 유사도 판단이 수행될 수 있다.
Figure 112019063173330-pat00004
Figure 112019063173330-pat00005
(θ는 분석 대상 데이터의 관절 벡터와 가이드 영상의 관절 벡터 사이의 각도, θ'는 소정의 임계값)
상기 분석 정보 획득(S259)은 상기 복수의 스켈레톤 검출(S253)으로부터 얻어진 분석 정보를 획득하는 단계일 수 있다. 상기 분석 정보 획득(S259)은 상기 복수의 스켈레톤의 위치 변화 판단(S255) 및 상기 복수의 스켈레톤의 위치 비교 판단(S247) 중 적어도 어느 하나로부터 얻어진 분석 정보를 획득하는 단계일 수 있다.
2.3.5.3 분석 정보
상기 분석부(250)는 상술한 영상 분석 방법을 통해 분석 정보를 획득할 수 있다. 상기 분석 정보는 상기 데이터 획득부(230)에서 획득된 데이터에 포함된 사용자의 운동 영상에 대한 분석 정보일 수 있다. 상기 분석 정보는 사용자의 운동 동작의 정확도, 횟수, 동작 시간, 동작 수행 속도, 신체 부위 별 수행 능력 등을 포함할 수 있다. 상기 분석 정보는 상기 가이드 영상과의 비교를 통해 사용자의 운동 동작의 정확도, 횟수, 동작 시간, 동작 수행 속도, 신체 부위 별 수행 능력 등이 분석된 정보일 수 있다. 상기 분석 정보는 사용자의 운동 동작에 대한 평가 정보를 포함할 수 있고, 상기 평가 정보는 사용자에 다양한 형태로 제공될 수 있다.
상기 분석부(250)는 사용자의 운동 동작이 포함된 영상 데이터를 통해 상기 가이드 영상과 비교함에 따라, 사용자의 운동 동작에 대한 평가의 정확도가 보다 향상될 수 있다. 또한, 상기 분석부(250)는 사용자의 운동 동작에 대한 스켈레톤을 검출하는 분석 방법을 통해 상기 가이드 영상과 비교함에 따라, 사용자의 운동 동작에 대한 평가가 보다 용이하고 신속하게 수행될 수 있다.
2.3.6 추천부
2.3.6.1 일반
상기 추천부(270)는 사용자에게 적합한 운동 동작을 추천하는 기능이 수행될 수 있다. 상기 추천부(270)는 상기 데이터 획득부(230)에서 획득된 데이터를 기초로 사용자에게 적합한 운동 동작을 추천하는 기능이 수행될 수 있다. 상기 추천부(270)는 상기 데이터 획득부(230)에서 획득된 데이터 및 상기 분석부(250)에서 획득된 분석 정보 중 적어도 어느 하나를 기초로 사용자에게 적합한 운동 동작을 추천하는 기능이 수행될 수 있다.
상기 운동 보조 장치는 상기 추천부(270)가 사용자에게 적합한 운동 동작을 추천함에 따라, 사용자가 운동 동작을 수행함에 있어 편의성을 제공할 수 있다. 또한, 상기 추천부(270)는 사용자의 운동 동작에 대한 분석 정보를 기초로 사용자에 따라 보다 요구되는 운동 동작들을 추천함에 따라, 사용자 맞춤형 운동 세트를 제공할 수 있어, 사용자는 보다 저렴한 가격으로 개인 트레이닝 서비스를 제공받을 수 있다.
상기 추천부(270)는 소정의 알고리즘을 통해 추천이 수행될 수 있다. 또한, 상기 추천부(270)는 소정의 컴퓨터 프로그램에 의해 추천이 수행될 수 있다. 상기 추천부(270)는 인공 지능(AI, Artificial Intelliengce)에 의해 분석이 수행될 수 있다. 또한, 상기 추천부(270)는 복수의 데이터로 미리 학습된 인공 지능(AI, Artificial Intelligence)에 의해 추천이 수행될 수 있다. 또한, 상기 추천부(270)는 NN(Neural Network), DNN(Deep Neural Network), CNN(Convolutional Neural Network) 등에 의해 추천이 수행될 수 있다. 또한, 상기 추천부(270)는 RNN(Recurrent Neural Networks), LSTM(Long Short-Term Memory) 등의 시계열 형태를 갖는 데이터의 패턴을 인식하는 인공 신경망에 의해 추천이 수행될 수 있다.
특히, 상기 추천부(270)는 RNN 또는 LSTM 등과 같은 인공 신경망에 의해 추천이 수행되는 경우, 상기 추천부(270)는 입력된 사용자의 운동 영상 이외에 이전에 입력된 사용자의 운동 영상을 함께 고려하여 사용자에게 적합한 운동 동작을 추천하는 기능이 수행될 수 있다.
2.3.6.2 추천 방법
도 6은 일 실시 예에 따른 운동 보조 장치의 추천 방법을 나타내는 도면이다. 상기 추천 방법은 분석 대상 데이터 및 분석 결과 획득(S271), 클라이언트 정보 획득(S273), 클라이언트 운동 성향 분석(S275), 및 추천 정보 획득(S277) 중 적어도 어느 하나를 포함할 수 있다. 상기 추천 방법은 상술한 단계들에 한정되지 아니하며, 필요에 따라 상술한 단계 중 일부가 변경 또는 제외되거나, 일부 단계가 추가되어 실시될 수 있다.
상기 분석 대상 데이터 및 분석 결과 획득(S271)은 상기 분석부(250)에서 분석된 정보를 획득하거나 상기 운동 보조 서버(2)에 이미 저장된 분석 정보를 획득하는 단계일 수 있다. 상기 분석 대상 데이터 및 분석 결과 획득(S271)은 상기 분석부(250)로부터 분석 대상 데이터 및 분석 결과를 획득하는 단계일 수 있다. 상기 분석 대상 데이터 및 분석 결과 획득(S271)은 상기 분석부(250)로부터 분석 대상 데이터 및 분석 결과를 분석 정보로 획득하는 단계일 수 있다. 상기 분석 대상 데이터 및 분석 결과 획득(S271)은 운동 동작 또는 소정의 운동 항목 별로 구분되어 획득되는 단계일 수 있다.
상기 클라이언트 정보 획득(S273)은 상기 클라이언트 장치(1)로부터 입력된 정보를 획득하거나 상기 클라이언트 장치(1)에 이미 저장된 정보를 획득하는 단계일 수 있다. 상기 클라이언트 정보 획득(S273)은 상기 운동 보조 장치를 사용하는 사용자의 정보를 획득하는 단계일 수 있다. 상기 클라이언트 정보 획득(S273)은 사용자의 정보로서, 사용자의 성별, 나이, 건강 상태, BMI 정보, 운동 주기, 운동량, 운동 강도 등에 대한 정보를 획득할 수 있다. 또한, 상기 클라이언트 정보 획득(S273)은 상기 운동 보조 서버(2)에 이미 저장된 사용자의 분석 및/또는 추천 정보에 대한 정보를 획득할 수 있다.
상기 클라이언트 운동 성향 분석(S275)은 상기 분석 대상 데이터 및 분석 결과 획득(S271) 및 상기 클라이언트 정보 획득(S273) 중 적어도 어느 하나로부터 획득된 정보에 기초하여 사용자의 운동 성향에 대한 분석을 수행할 수 있다. 상기 클라이언트 운동 성향 분석(S275)는 상기 분석 대상 데이터 및 분석 결과 획득(S271) 및 상기 클라이언트 정보 획득(S273) 중 적어도 어느 하나로부터 획득된 정보에 기초하여, 사용자의 운동 습관, 유연성, 발란스(valance) 또는 균형, 수행 능력 등과 같은 운동 성향에 대한 분석이 수행될 수 있다.
상기 추천 정보 획득(S277)은 상기 클라이언트 운동 성향 분석(S275)에서 수행된 정보를 기초로 사용자에게 적합한 추천 정보를 획득하는 기능이 수행될 수 있다. 상기 추천 정보 획득(S277)은 상기 클라이언트 운동 성향 분석(S275)에서 수행된 정보를 기초로 사용자의 운동 습관, 유연성, 발란스(valance) 또는 균형, 수행 능력 등에 적합한 운동 동작들에 대한 추천 정보를 획득하는 기능이 수행될 수 있다.
2.3.6.3 추천 정보
상기 추천부(270)는 사용자에게 추천 정보를 제공할 수 있어, 사용자는 상기 추천 정보에 기초하여 보다 자신에게 적합한 운동 동작을 수행할 수 있는 점에서 사용자의 운동 효율이 향상될 수 있다.
상기 추천 정보는 복수의 운동 동작 중 사용자에게 적합한 운동 동작들로 구성된 운동 세트일 수 있다. 또한, 상기 추천 정보는 복수의 운동 동작 중 사용자에게 적합한 운동 동작들로 구성된 운동 세트이되, 상기 운동 세트는 사용자에게 적합한 순서로 배치되어 제공될 수 있다. 또한, 상기 추천 정보는 사용자에게 적합한 운동 주기, 운동량, 운동 시간 등을 고려하여 제공될 수 있다. 또한, 상기 추천 정보는 복수의 운동 동작 중 사용자에게 적합한 운동 동작들로 구성된 복수의 세트 후보들을 포함하되, 사용자의 선택 혹은 상기 추천부(270)의 추천 정도에 따라 상기 복수의 세트 후보들이 순서대로 배치되어 제공될 수 있다.
또한, 상기 추천 정보는 상기 분석 정보에서 판단된 사용자의 운동 동작의 유사 정도를 기초로 코치 또는 교정을 가이드하는 동작 추천 정보를 포함할 수 있다. 상기 동작 추천 정보는 수행된 운동 동작 중 정확도가 낮은 부분에 대해서 부분적으로 코치 또는 교정을 가이드하는 정보일 수 있다. 또는, 상기 동작 추천 정보는 수행된 운동 동작 중 정확도가 낮은 부분에 대해서 반복적으로 운동 동작을 수행하도록 하는 정보일 수 있다.
또한, 상기 추천 정보는 상기 분석 정보에서 판단된 사용자의 운동 동작의 수행 능력을 기초로, 수행된 상기 운동 동작의 강도 및/또는 횟수를 수정하여 제안하는 정보일 수 있다. 상기 추천 정보는 상기 분석 정보에서 판단된 사용자의 운동 동작의 수행 능력이 상기 가이드 영상과 비교 시 소정의 기준 이상으로 유사하다면 상기 운동 동작의 강도 및/또는 횟수를 증가하거나 다른 운동 동작을 추천하는 정보일 수 있다. 반대로, 소정의 기준 이하로 유사하다면, 상기 운동 동작의 강도 및/또는 횟수를 줄이거나 상기 운동 동작 중 가장 유사하지 않은 부분에 대해서만 수행하는 부분 운동 동작을 추천하는 정보일 수 있다.
상기 추천 정보가 상기 클라이언트 장치(1)에 제공되는 내용에 대해서는 후술될 목차 4. 사용자 인터페이스 에서 보다 상세히 다루고자 한다.
2.3.7 정보 제공부
상기 정보 제공부(280)는 상기 데이터 획득부(230), 상기 분석부(250) 및 상기 추천부(270) 중 적어도 어느 하나로부터 획득된 정보를 클라이언트 장치(1) 제공할 수 있다. 상기 정보 제공부(280)는 상기 데이터 획득부(230)에서 획득된 분석 대상 데이터, 상기 분석부(250)에서 획득된 분석 정보, 및 상기 추천부(270)에서 획득된 추천 정보 중 적어도 어느 하나로부터 획득된 정보를 클라이언트 장치(1)에 제공할 수 있다. 상기 정보 제공부(280)는 상기 데이터 획득부(230)에서 획득된 분석 대상 데이터, 상기 분석부(250)에서 획득된 분석 정보, 및 상기 추천부(270)에서 획득된 추천 정보 중 적어도 어느 하나로부터 획득된 정보 중 사용자에게 적합한 정보라고 판단되는 정보를 취합하여 상기 클라이언트 장치(1)에 제공할 수 있다.
또한, 상기 정보 제공부(280)는 상기 분석부(250)에서 획득된 분석 정보 및/또는 상기 추천부(270)에서 획득된 추천 정보를 정기적으로 레포트 형식으로 사용자에게 제공할 수 있다. 또한, 상기 정보 제공부(280)는 상기 분석 정보 및/또는 추천 정보를 정기적으로 일일 레포트 또는 월간 레포트 형식으로 사용자에게 제공할 수 있다. 또한, 상기 정보 제공부(280)는 상기 분석 정보 및/또는 추천 정보에 대한 누적된 데이터를 이용하여 개인 맞춤형 피트니스 서비스를 제공할 수 있어, 사용자의 동기 부여 및 기록 관리 서비스를 제공할 수 있다.
2.3.8 데이터 저장부
상기 데이터 저장부(290)는 상기 데이터 획득부(230), 상기 분석부(250) 및 상기 추천부(270) 중 적어도 어느 하나로부터 획득된 정보를 저장할 수 있다. 상기 데이터 저장부(290)는 상기 데이터 획득부(230)에서 획득된 분석 대상 데이터, 상기 분석부(250)에서 획득된 분석 정보, 및 상기 추천부(270)에서 획득된 추천 정보 중 적어도 어느 하나로부터 획득된 정보를 저장할 수 있다. 상기 데이터 저장부(290)는 상기 데이터 획득부(230)에서 획득된 분석 대상 데이터, 상기 분석부(250)에서 획득된 분석 정보, 및 상기 추천부(270)에서 획득된 추천 정보 중 적어도 어느 하나로부터 획득된 정보 중 사용자에게 적합한 정보라고 판단되는 정보를 취합하여 상기 클라이언트 장치(1)에 저장할 수 있다.
3. 운동 보조 서버 기반의 운동 보조 프로세스
3.1 전체 프로세스
도 7은 일 실시 예에 따른 운동 보조 프로세스를 나타내는 도면이다. 상기 운동 보조 프로세스는 클라이언트 장치(1) 및 운동 보조 서버(2)에 의해 수행되되, 진단 요청 데이터(S1) 및 결과 제공(S2) 중 적어도 어느 하나를 포함할 수 있다.
상기 진단 요청 데이터(S1)는 상기 클라이언트 장치(1)로부터 상기 운동 보조 서버(2)로 전달, 송신, 또는 수신될 수 있다. 또한, 상기 진단 요청 데이터(S1)는 상기 운동 보조 서버(2)에서 분석 및/또는 추천이 수행되되, 그 결과 제공(S2)는 상기 운동 보조 서버(2)로부터 상기 클라이언트 장치(1)에 대해 수행될 수 있다.
3.2 분석 프로세스
도 8은 일 실시 예에 따른 분석 프로세스를 나타내는 도면이다. 상기 분석 프로세스는 클라이언트 장치(1) 및 운동 보조 서버(2)에 의해 수행되되, 분석 대상 데이터(S1000), 데이터 획득(S1100), 분석 데이터 DB(S1200), 스켈레톤 검출(S1300), 스켈레톤 분석(S1400), 분석 결과 획득(S1500), 동작 데이터 DB(S1600), 및 결과 제공(S1700) 중 적어도 어느 하나를 포함할 수 있다.
상기 분석 대상 데이터(S1000)는 상기 클라이언트 장치(1)로부터 상기 운동 보조 서버(2)로 전달, 송신, 또는 수신될 수 있다. 또한, 상기 데이터 획득(S1100)는 상기 운동 보조 서버가 상기 분석 대상 데이터(S1000) 중 적어도 일부를 획득할 수 있고, 상기 데이터 획득(S1100)에서 획득된 데이터는 분석 데이터 DB(S1200)에 저장될 수 있다. 또한, 상기 스켈레톤 검출(S1300)는 상기 데이터 획득(S1100)에서 획득된 데이터에 대한 스켈레톤 검출이 수행될 수 있다. 또한, 상기 스켈레톤 분석(S1400)은 상기 스켈레톤 검출(S1300)에서 검출된 복수의 스켈레톤을 기초로 분석이 수행될 수 있다. 또한, 상기 스켈레톤 분석(S1400)은 상기 동작 데이터 DB(S1600)에서 제공되는 복수의 운동 동작들과의 비교를 기초로 분석이 수행될 수 있다. 상기 분석 결과 획득(S1400)은 상기 스켈레톤 분석(S1400)에서 수행된 분석 결과를 획득할 수 있다. 상기 분석 결과 획득(S1400)에서 수행된 분석 결과는 상기 분석 대상 데이터(S1100)와 함께 상기 분석 데이터 DB(S1200)에 저장될 수 있다. 상기 결과 제공(S1700)은 상기 분석 결과 획득(S1500)에서 획득된 분석 결과를 제공할 수 있다. 상기 결과 제공(S1700)는 특히 상기 동작 데이터 DB(S1600)에서 제공되는 복수의 운동 동작들과의 비교를 기초로 수행된 분석 결과를 제공할 수 있다.
3.3 추천 프로세스
도 9는 일 실시 예에 따른 추천 프로세스를 나타내는 도면이다. 상기 추천 프로세스는 클라이언트 장치(1) 및 운동 보조 서버(2)에 의해 수행되되, 분석 대상 데이터 및 분석 정보(S2000), 데이터 획득(S2100), 분석 데이터 DB(S2200), 클라이언트 성향 분석(S2300), 추천 정보 획득(S2500), 동작 데이터 DB(S2700), 및 결과 제공(S2900) 중 적어도 어느 하나를 포함할 수 있다.
상기 분석 대상 데이터 및 분석 정보(S2000)는 상기 클라이언트 장치(1)로부터 상기 운동 보조 서버(1)로 제공될 수 있다. 또한, 상기 데이터 획득(S2100)는 상기 운동 보조 서버(2)가 상기 클라이언트 장치(1)로부터 제공된 분석 대상 데이터 및 분석 정보(S2000)와 함께 분석 데이터 DB(S2200)로부터 추천 프로세스에 기초가 되는 데이터를 획득할 수 있다. 상기 클라이언트 성향 분석(S2300)는 상기 데이터 획득(S2100)에서 획득된 데이터를 기초로 사용자의 운동 성향을 분석할 수 있다. 또한, 상기 추천 정보 획득(S2500)는 상기 클라이언트 성향 분석(S2300)에서 획득된 정보를 기초로 상기 동작 데이터 DB(S2700)에서 사용자에게 적합한 운동 동작들을 추천하는 추천 정보를 획득할 수 있다. 상기 결과 제공(S2900)은 상기 추천 정보 획득(S2600)에서 획득된 추천 결과를 제공할 수 있다. 상기 결과 제공(S2900)은 특히 상기 동작 데이터 DB(S2700) 중 사용자에게 적합한 운동 동작을 추천 결과로 제공할 수 있다.
4. 사용자 인터페이스
일 실시 예에 따르면, 전술한 클라이언트 장치(1)는 상기 분석 정보 및/또는 추천 정보를 사용자에게 제공하기 위한 표시부를 가질 수 있다. 이 때, 표시부는 사용자에게 분석 정보 및/또는 추천 정보를 명확하게 전달하고, 사용자가 용이하게 사용할 수 있도록 마련될 수 있다.
표시부의 일 예로서, 사용자에게 시각 정보를 제공하는 디스플레이가 제공될 수 있다. 이 때, 사용자에게 분석 정보 및/또는 추천 정보를 시각적으로 전달하기 위한 그래픽 사용자 인터페이스가 이용될 수 있다.
도 10 내지 도 15는 일 실시 예에 따른 운동 보조 장치의 사용자 인터 페이스를 나타내는 도면이다. 도 10 내지 도 15를 참조하여, 운동 보조 장치에서 이용될 수 있는 사용자 인터페이스에 대하여 몇몇 실시 예를 들어 설명하고자 한다.
도 10은 일 실시 예에 따른 트레이닝 추천 리스트의 사용자 인터페이스를 나타내는 도면이다. 도 1 내지 도 10을 참조하면, 상기 클라이언트 장치(1)는 디스플레이(10) 상에 트레이닝 추천 리스트를 표시할 수 있다.
상기 클라이언트 장치(1)는 디스플레이(10) 상에 트레이닝 추천 리스트로, 복수의 트레이닝 세트(303) 중 어느 하나를 선택할 수 있게 표시할 수 있고, 상기 복수의 트레이닝 세트(303) 중 어느 하나도 사용자의 선호도에 적합하지 않은 경우 다른 세트들을 제공하는 리셋 버튼(301)을 표시할 수 있다. 또한, 상기 클라이언트 장치(1)는 사용자가 상기 복수의 트레이닝 세트(303) 중 어느 하나를 선택한 경우, 선택된 트레이닝 세트(303)에 대한 운동 부위 비중을 표현하는 다이어그램(305)을 표시할 수 있다. 상기 다이어그램(305)은 비중의 정도에 따라 더 높은 눈금으로 표시되며, 이로 인해 더 많은 영역을 차지하도록 표시될 수 있다. 또한, 상기 클라이언트 장치(1)는 선택된 트레이닝 세트(303)에 대한 운동 동작 리스트(307)를 나열하여 표시할 수 있다. 상기 운동 동작 리스트(307)는 이미지, 텍스트, 영상, 아이콘 등으로 표시될 수 있다.
도 11 내지 도 13은 가이드 영상 및 사용자의 운동 영상에 대한 사용자 인터페이스를 나타내는 도면이다. 도 1 내지 도 13을 참조하면, 상기 클라이언트 장치(1)는 디스플레이(10) 상에 운동 동작의 가이드 영상을 표시할 수 있다.
도 1 내지 도 11을 참조하면, 상기 클라이언트 장치(1)는 사용자가 특정 운동 동작(311)을 수행하기로 선택한 경우, 디스플레이(10) 상에 해당 운동 동작에 대한 운동 정보(315), 운동량 및 운동 시간(317)을 제공할 수 있다. 상기 운동 정보는 이미지, 텍스트, 영상, 아이콘 등으로 표시될 수 있다.
도 1 내지 도 12를 참조하면, 상기 클라이언트 장치(1)는 사용자가 상기 가이드 영상에 기초하여 특정 운동 동작을 수행하는 영상을 촬영하기 위한 가이드 라인을 디스플레이(10) 상에 표시할 수 있다. 상기 가이드 라인은 텍스트 형태의 지시 사항(321)으로 표시될 수 있고, 사용자가 위치해야 할 곳을 형상 또는 라인(325)로 표시될 수 있다.
또한, 도 1 내지 도13을 참조하면, 상기 가이드 영상이 사용자의 운동 수행 영상과 중첩되도록 디스플레이(10) 상에 표시할 수 있다. 상기 가이드 영상의 진행 정도(303)는 텍스트와 함께 표시될 수 있고, 상기 가이드 영상의 진행 정도(303)는 숫자, 타임 라인, 타임 바 등에 의해 표시될 수 있다. 또한, 상기 가이드 영상(335)은 사용자의 운동 영상(337)에 중첩되되, 소정의 라인, 형상, 점 등으로 중첩되어 표시될 수 있다. 상기 가이드 영상(335)은 상기 가이드 영상의 진행 정도(303)에 맞춰서 진행될 수 있고, 상기 가이드 영상(335)의 진행 속도에 따른 사용자의 동작 수행을 유도할 수 있다. 또한, 상기 가이드 영상은 운동 동작의 수행 시간(339)을 숫자, 아이콘 등에 의해 표시될 수 있다.
도 14 및 도 15는 일 실시 예에 따른 운동 수행 리포트의 사용자 인터페이스를 나타내는 도면이다. 도 1 내지 도 15를 참조하면, 상기 클라이언트 장치(1)는 디스플레이(10) 상에 사용자의 운동 수행 영상에 대한 평가 리포트를 표시할 수 있다.
도 1 내지 도 14를 참조하면, 상기 클라이언트 장치(1)는 사용자의 운동 수행 영상에 대한 일일 리포트(341)를 디스플레이(10) 상에 제공할 수 있다. 상기 클라이언트 장치(1)는 사용자의 운동 수행 영상에 대해 캘린더 상에 정확도(343)를 표시하거나, 사용자의 운동 수행의 부위 별 비중(344)를 표시할 수 있다. 또한, 상기 클라이언트 장치(1)는 사용자의 운동 수행 영상에 대한 운동 부위 별 평가를 텍스트, 아이콘, 이미지 등으로 표시할 수 있고, 부위 별 평가를 종합한 최종 평가에 대해서도 표시할 수 있다.
도 1 내지 도 15를 참조하면, 상기 클라이언트 장치(1)는 사용자의 운동 수행 영상에 대한 월간 리포트(351)를 디스플레이(10) 상에 제공할 수 있다. 상기 클라이언트 장치(1)는 월간 분석된 사용자의 운동 영상 총 평가(353)로써, 총 운동 시간, 운동 부위 별 평가, 평균적 정확도, 소모된 총 칼로리 등을 텍스트, 아이콘 등으로 표시할 수 있다. 또한, 상기 클라이언트 장치(1)는 사용자의 운동 영상에 대한 월간 총 운동 결과(357)를 이미지와 함께 부위 별로 표시할 수도 있다.
이상과 같이 실시 예들이 비록 한정된 실시 예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시 예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
1: 클라이언트 장치
2: 운동 보조 서버
10: 휴대용 디바이스

Claims (18)

  1. 트레이너의 제1 운동 동작이 포함된 제1 영상 데이터를 제공하는 영상 제공부;
    상기 제1 영상 데이터의 입력에 반응하여 획득된 사용자의 제2 운동 동작이 포함된 제2 영상 데이터를 획득하는 데이터 획득부- 상기 제2 영상 데이터는 상기 사용자의 신체 전부가 포함된 데이터 또는 상기 사용자의 신체 중 일부만이 포함된 데이터임 -;
    상기 제1 영상 데이터 및 상기 제2 영상 데이터를 이용하여 운동 정보를 제공하는 제어부; 를 포함하고,
    상기 제어부는 상기 제2 영상 데이터로부터 복수의 스켈레톤을 검출하여 획득된 제1 관절 정보를 추출하고,
    상기 제1 영상 데이터 및 상기 제2 영상 데이터 중 적어도 하나에 기초하여 분석 정보를 생성하고- 상기 분석 정보는 상기 제2 영상 데이터로부터 검출된 복수의 스켈레톤의 위치 변화에 기초하여 생성된 스켈레톤 위치 변화 정보 및 상기 제1 관절 정보와 미리 검출된 상기 제1 영상 데이터의 제2 관절 정보를 비교하여 판단된 유사도에 기초하여 생성된 스켈레톤 위치 비교 정보를 포함하되, 상기 스켈레톤 위치 변화 정보 및 상기 스켈레톤 위치 비교 정보는 상기 제어부에 의해 병렬적으로 생성됨 -,
    상기 사용자에게 적합한 운동 동작을 추천하기 위하여, 복수의 운동 동작이 포함된 데이터 베이스로부터 상기 제1 영상 데이터, 상기 제2 영상 데이터 및 상기 분석 정보 중 적어도 어느 하나를 기초로 운동 동작을 추천하기 위한 추천 정보를 제공하며,
    상기 제2 영상 데이터에 미리 정해진 제어 동작이 포함되어 있는지 여부를 판단하고,
    상기 제2 영상 데이터에 미리 정해진 제어 동작이 포함된 경우, 상기 미리 정해진 제어 동작에 대응하는 속성에 따라 상기 제1 영상 데이터를 제어하며,
    상기 미리 정해진 제어 동작에 대응하는 속성은 상기 제1 영상 데이터의 영상 중단, 상기 제1 영상 데이터의 영상 재생, 상기 제1 영상 데이터의 영상 재생 속도 조절 중 적어도 하나를 포함하고,
    상기 제1 관절 정보는 상기 제2 영상 데이터에 포함된 제1 간격을 가지는 프레임마다 얻어지고,
    상기 제어부는 상기 제2 영상 데이터의 제1 프레임에서 신체 부위에 대응되는 스켈레톤이 검출되지 않으면, 상기 제2 영상 데이터에 기초하여 획득된 가상의 스켈레톤과 상기 제2 관절 정보를 비교하여 상기 분석 정보를 생성하고,
    상기 영상 제공부는 상기 제1 영상 데이터를 상기 제2 운동 동작이 수행되는 동안 중첩하여 제공하되, 상기 트레이너의 신체 부위가 상기 사용자의 신체 부위와 비교하여 소정의 비율 이상으로 차이가 나는 경우, 상기 제1 영상 데이터를 상기 사용자의 신체 부위에 적합하도록 정규화하여 제공하고,
    상기 제어부는 상기 제2 영상 데이터가 상기 사용자의 신체 중 일부만이 포함된 데이터인 경우, 상기 사용자의 운동 동작을 분석하기에 적합한 영상인지 여부를 추가적으로 판단하고, 상기 분석 정보 생성에 이용된 상기 제2 영상 데이터는 적합한 영상 데이터로 판단된 데이터인,
    운동 보조 장치.
  2. 삭제
  3. 삭제
  4. 제1 항에 있어서,
    상기 제2 관절 정보는 상기 제1 영상 데이터에 포함된 제2 간격을 가지는 프레임마다 얻어지되, 상기 제1 관절 정보는 각각의 프레임에 포함된 복수의 스켈레톤 중 신체 부위에 대응되는 스켈레톤을 추출하여 얻어지는
    운동 보조 장치.
  5. 제4 항에 있어서,
    상기 제어부는 상기 제1 관절 정보와 상기 제2 관절 정보를 비교하되, 상기 제1 간격과 상기 제2 간격이 서로 대응되도록 정규화하여 비교하는
    운동 보조 장치.
  6. 제1 항에 있어서,
    상기 제어부는 상기 제1 관절 정보와 상기 제2 관절 정보를 비교하는 식으로
    Figure 112021134766576-pat00006
    를 통해 연산되어 상기 분석 정보를 획득하는
    운동 보조 장치.
    (
    Figure 112021134766576-pat00007
    A는 제1 관절 정보의 벡터 값, B는 제2 관절 정보의 벡터 값,
    Figure 112021134766576-pat00008
    는 소정의 임계값)
  7. 제6 항에 있어서,
    상기 분석 정보에 포함된 유사도가 소정의 값 이상인 경우, 상기 제어부는 상기 제1 영상 데이터의 운동 강도, 수행 횟수, 및 수행 속도 중 적어도 어느 하나를 높이거나, 상기 제1 영상 데이터보다 난이도가 높은 운동 동작을 추천하는
    운동 보조 장치.
  8. 제6 항에 있어서,
    상기 분석 정보에 포함된 유사도가 소정의 값 이하인 경우, 상기 제어부는 상기 제1 영상 데이터의 운동 강도, 수행 횟수, 및 수행 속도 중 적어도 어느 하나를 낮추거나, 상기 제1 영상 데이터보다 난이도가 낮은 운동 동작을 추천하는
    운동 보조 장치.
  9. 제1 항에 있어서,
    상기 제2 운동 동작은 상기 제1 영상 데이터를 기초로 사용자가 모방하여 획득되는
    운동 보조 장치.
  10. 제1 항에 있어서,
    상기 분석 정보는 상기 제2 운동 동작의 정확도, 횟수, 동작 시간, 동작 수행 속도, 신체 부위 별 수행 능력 중 적어도 어느 하나를 포함하는
    운동 보조 장치.
  11. 제1 항에 있어서,
    상기 스켈레톤 위치 변화 정보를 기초로 상기 제2 운동 동작의 수행 횟수가 측정되는
    운동 보조 장치.
  12. 제1 항에 있어서,
    상기 분석 정보는 복수의 신체 부위에 대한 수행 능력을 분석한 제1 분석 정보를 포함할 수 있고,
    상기 추천 정보는 상기 제1 분석 정보를 기초로 상기 복수의 신체 부위 중 적어도 일부에 대해 요구되는 운동 동작을 포함하는
    운동 보조 장치.
  13. 제12 항에 있어서,
    상기 복수의 신체 부위는 전신, 상체, 하체, 복부, 및 팔 중 적어도 어느 하나를 포함하는
    운동 보조 장치.
  14. 제1 항에 있어서,
    상기 제어부는 상기 제1 영상 데이터, 상기 제2 영상 데이터, 및 상기 분석 정보 중 적어도 어느 하나와 함께 미리 획득된 제1 정보를 기초로 운동 동작을 추천하되,
    상기 제1 정보는 상기 제1 운동 동작을 수행하는 사용자에 관하여 클라이언트 장치로부터 획득된 정보인
    운동 보조 장치.
  15. 제14 항에 있어서,
    상기 제1 정보는 사용자의 성별, 나이, 건강 상태, BMI 정보, 운동 주기, 운동량, 및 운동 강도 중 적어도 어느 하나를 포함하는
    운동 보조 장치.
  16. 트레이너의 제1 운동 동작이 포함된 제1 영상 데이터를 제공하는 영상을 제공하는 단계;
    상기 제1 영상 데이터의 입력에 반응하여 획득된 사용자의 제2 운동 동작이 포함된 제2 영상 데이터를 획득하는 단계- 상기 제2 영상 데이터는 상기 사용자의 신체 전부가 포함된 데이터 또는 상기 사용자의 신체 중 일부만이 포함된 데이터임 -;
    상기 제2 영상 데이터로부터 복수의 스켈레톤을 검출하여 획득된 제1 관절 정보를 추출하는 단계- 상기 제1 관절 정보는 상기 제2 영상 데이터에 포함된 제1 간격을 가지는 프레임마다 얻어 짐 -; 상기 제1 영상 데이터 및 상기 제2 영상 데이터 중 적어도 하나에 기초하여 분석 정보를 생성하는 단계- 상기 분석 정보는 상기 제2 영상 데이터로부터 검출된 복수의 스켈레톤의 위치 변화에 기초하여 생성된 스켈레톤 위치 변화 정보 및 상기 제1 관절 정보와 미리 검출된 상기 제1 영상 데이터의 제2 관절 정보를 비교하여 판단된 유사도에 기초하여 생성된 스켈레톤 위치 비교 정보를 포함하되, 상기 스켈레톤 위치 변화 정보 및 상기 스켈레톤 위치 비교 정보는 병렬적으로 생성됨 -;
    상기 제2 영상 데이터가 상기 사용자의 신체 중 일부만이 포함된 데이터인 경우, 상기 사용자의 운동 동작을 분석하기에 적합한 영상인지 여부를 추가적으로 판단하는 단계- 상기 분석 정보 생성에 이용된 상기 제2 영상 데이터는 상기 사용자의 운동 동작을 분석하기에 적합한 영상 데이터로 판단된 데이터임 -;
    상기 제1 영상 데이터를 상기 제2 운동 동작이 수행되는 동안 중첩하여 제공하되, 상기 트레이너의 신체 부위가 상기 사용자의 신체 부위와 비교하여 소정의 비율 이상으로 차이가 나는 경우, 상기 제1 영상 데이터를 상기 사용자의 신체 부위에 적합하도록 정규화하여 제공하는 단계;
    상기 사용자에게 적합한 운동 동작을 추천하기 위하여, 복수의 운동 동작이 포함된 데이터 베이스로부터 상기 제1 영상 데이터, 상기 제2 영상 데이터 및 상기 분석 정보 중 적어도 어느 하나를 기초로 운동 동작을 추천하는 추천 정보가 제공되는 단계;
    상기 제2 영상 데이터에 미리 정해진 제어 동작이 포함되어 있는지 여부를 판단하는 단계; 및,
    상기 제2 영상 데이터에 미리 정해진 제어 동작이 포함된 경우, 상기 미리 정해진 제어 동작에 대응하는 속성에 따라 상기 제1 영상 데이터를 제어하는 단계를 포함하며,
    상기 미리 정해진 제어 동작에 대응하는 속성은 상기 제1 영상 데이터의 영상 중단, 상기 제1 영상 데이터의 영상 재생, 상기 제1 영상 데이터의 영상 재생 속도 조절 중 적어도 하나를 포함하고,
    상기 분석 정보를 생성하는 단계는 상기 제2 영상 데이터의 제1 프레임에서 신체 부위에 대응되는 스켈레톤이 검출되지 않으면, 상기 제2 영상 데이터에 기초하여 획득된 가상의 스켈레톤과 상기 제2 관절 정보와 비교하여 상기 분석 정보를 생성하는 단계를 포함하는
    운동 보조 방법.
  17. 제16항에 기재된 방법을 수행하기 위한 프로그램이 기록된 기록 매체.
  18. 제1항에 있어서, 상기 미리 정해진 제어 동작에 대응하는 속성은
    상기 제1 운동 동작과 상이한 제3 운동 동작이 포함된 제3 영상 데이터의 재생을 포함하고,
    상기 제2 영상 데이터에 미리 정해진 제어 동작이 포함된 경우, 상기 제1 영상 데이터의 제공을 중단하고, 상기 제3 영상 데이터를 제공하는
    운동 보조 장치.
KR1020190073310A 2019-06-20 2019-06-20 운동 보조 장치 및 운동 보조 방법 KR102341985B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190073310A KR102341985B1 (ko) 2019-06-20 2019-06-20 운동 보조 장치 및 운동 보조 방법
US16/905,133 US11521733B2 (en) 2019-06-20 2020-06-18 Exercise assistant device and exercise assistant method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190073310A KR102341985B1 (ko) 2019-06-20 2019-06-20 운동 보조 장치 및 운동 보조 방법

Publications (2)

Publication Number Publication Date
KR20200144991A KR20200144991A (ko) 2020-12-30
KR102341985B1 true KR102341985B1 (ko) 2021-12-22

Family

ID=74038326

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190073310A KR102341985B1 (ko) 2019-06-20 2019-06-20 운동 보조 장치 및 운동 보조 방법

Country Status (2)

Country Link
US (1) US11521733B2 (ko)
KR (1) KR102341985B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6871379B2 (ja) * 2017-07-07 2021-05-12 りか 高木 治療及び／又は運動の指導プロセス管理システム、治療及び／又は運動の指導プロセス管理のためのプログラム、コンピュータ装置、並びに方法
JP7326926B2 (ja) * 2019-06-27 2023-08-16 トヨタ自動車株式会社 学習装置、リハビリ支援システム、方法、プログラム、及び学習済みモデル
KR102533490B1 (ko) * 2021-04-02 2023-05-18 엘지전자 주식회사 디스플레이 장치
KR102457450B1 (ko) * 2021-07-02 2022-10-21 주식회사 아워스포츠네이션 운동 영상의 운동 기록 측정 및 공유를 위한 장치 및 방법
KR102340519B1 (ko) * 2021-09-09 2021-12-20 하대수 선과 면 인식 기반의 운동자세 분석 시스템 및 방법
KR20230076173A (ko) * 2021-11-23 2023-05-31 (주) 로완 스켈레톤 모델을 활용한 건강상태 평가 방법 및 장치
WO2023128274A1 (ko) * 2021-12-28 2023-07-06 주식회사 디랙스 운동 가이드 동영상 제공 방법 및 그 장치
KR102668498B1 (ko) * 2023-05-31 2024-05-24 씨아이넷 주식회사 운동 영상에 기반한 운동 관리 서비스 제공 방법, 장치 및 프로그램

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017136142A (ja) * 2016-02-02 2017-08-10 セイコーエプソン株式会社 情報端末、動作評価システム、動作評価方法、動作評価プログラム、及び記録媒体
KR101936692B1 (ko) * 2017-12-18 2019-01-10 주식회사 쏘그웨어 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치 및 방법
KR101959079B1 (ko) * 2018-10-08 2019-03-18 주식회사 마이베네핏 신체 측정 및 평가 방법
KR101980378B1 (ko) * 2019-02-22 2019-08-28 (주)대우루컴즈 동적 움직임과 신체 밸런스를 이용한 운동자세 유도장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10065074B1 (en) * 2014-12-12 2018-09-04 Enflux, Inc. Training systems with wearable sensors for providing users with feedback
KR101807513B1 (ko) * 2015-05-13 2017-12-12 한국전자통신연구원 3차원 공간에서 영상정보를 이용한 사용자 의도 분석장치 및 분석방법
WO2018165451A1 (en) * 2017-03-08 2018-09-13 Obma Padraic A method for identifying human joint characteristics
US11521326B2 (en) * 2018-05-23 2022-12-06 Prove Labs, Inc. Systems and methods for monitoring and evaluating body movement
US20200015712A1 (en) * 2018-07-13 2020-01-16 Arthrokinetic Institute, Llc Gathering and Analyzing Posture and Movement Data
US11426099B2 (en) * 2020-04-01 2022-08-30 Ready 2 Perform Technology LLC Mobile device avatar generation for biofeedback to customize movement control

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017136142A (ja) * 2016-02-02 2017-08-10 セイコーエプソン株式会社 情報端末、動作評価システム、動作評価方法、動作評価プログラム、及び記録媒体
KR101936692B1 (ko) * 2017-12-18 2019-01-10 주식회사 쏘그웨어 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치 및 방법
KR101959079B1 (ko) * 2018-10-08 2019-03-18 주식회사 마이베네핏 신체 측정 및 평가 방법
KR101980378B1 (ko) * 2019-02-22 2019-08-28 (주)대우루컴즈 동적 움직임과 신체 밸런스를 이용한 운동자세 유도장치

Also Published As

Publication number Publication date
US11521733B2 (en) 2022-12-06
KR20200144991A (ko) 2020-12-30
US20200402638A1 (en) 2020-12-24

Similar Documents

Publication Publication Date Title
KR102341985B1 (ko) 운동 보조 장치 및 운동 보조 방법
US20210008413A1 (en) Interactive Personal Training System
US11948401B2 (en) AI-based physical function assessment system
JP5356690B2 (ja) ユーザの身体運動の範囲を追跡するための方法、システム、およびプログラム
US11386806B2 (en) Physical movement analysis
JP2008257381A (ja) 情報解析システム、情報解析装置、情報解析方法および情報解析プログラム、ならびに、記録媒体
JP2021026527A (ja) 情報処理装置及びプログラム
US20220054892A1 (en) System and Method for Providing Real-Time Feedback Related to Fitness Training
JP6276456B1 (ja) ユーザの姿勢を評価するための方法およびシステム
CN114639461A (zh) 健身方案信息的生成方法、装置和系统
JP6868673B1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
KR20220039440A (ko) 디스플레이 장치 및 그의 제어 방법
WO2023040449A1 (zh) 利用健身动作触发客户端操作指令
Joseph et al. BeFit—a real-time workout analyzer
JP2021137539A (ja) 測定システム、方法、プログラム
JP2021137543A (ja) 測定システム、方法、プログラム
KR20230102383A (ko) 인공지능 기반의 스켈레톤을 이용한 운동 정보 제공 방법
US20220328159A1 (en) Range of motion determination
CN110458647A (zh) 产品推送方法、装置、计算机设备及存储介质
JP2023068571A (ja) 被写体の動作を解析する動作解析システム、動作解析装置、動作解析方法、およびプログラム
KR102566211B1 (ko) 인공 지능 자세 추정 모델 및 동작 분석 모델을 이용한 운동 치료 제공 방법, 그리고 시스템
JP2015052904A (ja) 動画選択装置、動画選択方法とプログラム
Al-Naser et al. Quantifying quality of actions using wearable sensor
US20240046510A1 (en) Approaches to independently detecting presence and estimating pose of body parts in digital images and systems for implementing the same
Moulya et al. AI Voice-Assisted Fitness Coach with Body Pose Recognition

Legal Events

Date Code Title Description
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
E801 Decision on dismissal of amendment
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)