KR102358331B1 - 동작에 따른 작용 근육 정보를 이용한 운동 자세 교정 보조 방법 및 장치 - Google Patents

동작에 따른 작용 근육 정보를 이용한 운동 자세 교정 보조 방법 및 장치 Download PDF

Info

Publication number
KR102358331B1
KR102358331B1 KR1020210119553A KR20210119553A KR102358331B1 KR 102358331 B1 KR102358331 B1 KR 102358331B1 KR 1020210119553 A KR1020210119553 A KR 1020210119553A KR 20210119553 A KR20210119553 A KR 20210119553A KR 102358331 B1 KR102358331 B1 KR 102358331B1
Authority
KR
South Korea
Prior art keywords
information
muscle
image information
motion
skeleton
Prior art date
Application number
KR1020210119553A
Other languages
English (en)
Other versions
KR102358331B9 (ko
Inventor
김종민
Original Assignee
아이디어링크 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아이디어링크 주식회사 filed Critical 아이디어링크 주식회사
Priority to KR1020210119553A priority Critical patent/KR102358331B1/ko
Priority to US17/510,439 priority patent/US20230077273A1/en
Application granted granted Critical
Publication of KR102358331B1 publication Critical patent/KR102358331B1/ko
Publication of KR102358331B9 publication Critical patent/KR102358331B9/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • A63B69/3623—Training appliances or apparatus for special sports for golf for driving
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012—Comparing movements or motion sequences with a registered reference
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A63B2024/0068—Comparison to target or threshold, previous performance or not real time comparison to other individuals
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A63B2024/0071—Distinction between different activities, movements, or kind of sports performed
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00—Measuring physiological parameters of the user
    • A63B2230/62—Measuring physiological parameters of the user posture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Dentistry (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Social Psychology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Psychiatry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)

Abstract

본 발명의 일 실시예는 적어도 하나의 서버에 의해 수행되는 동작에 따른 작용 근육 정보를 이용한 운동 자세 교정 보조 방법에 관한 것으로, 사용자 단말로부터 특정 연습 동작에 대응되는 사용자의 움직임을 포함하는 제1 영상 정보를 획득하는 단계, 상기 제1 영상 정보를 기반으로 상기 사용자의 움직임에 대응되는 스켈레톤 정보를 도출하는 단계, 상기 제1 영상 정보 및 상기 스켈레톤 정보를 기반으로 상기 사용자의 움직임에 스켈레톤이 표시된 제2 영상 정보를 생성하는 단계, 데이터베이스로부터 상기 특정 연습 동작에 대응되는 근육 정보를 도출하는 단계, 상기 스켈레톤 정보 및 상기 근육 정보를 기반으로 상기 사용자의 움직임에 대응되는 근육 움직임 영상 정보를 생성하는 단계 및 상기 제2 영상 정보 및 상기 근육 움직임 영상 정보를 상기 사용자 단말에게 제공하는 단계를 포함하는 것을 특징으로 한다.

Description

동작에 따른 작용 근육 정보를 이용한 운동 자세 교정 보조 방법 및 장치{Method and apparatus for assisting exercise posture correction using action muscle information according to movement}
본 발명은 동작에 따른 작용 근육 정보를 이용한 운동 자세 교정 보조 방법 및 장치에 관한 것으로, 더욱 상세하게는 사용자의 특정 동작에 대한 영상을 분석하여 특정 동작에 관한 작용 근육 정보를 기반으로 운동 자세 교정을 보조하는 방법 및 장치에 관한 것이다.
특정 종목의 스포츠, 운동, 및/또는 경기는 특정 동작을 요구하며, 특정 동작의 습득을 위해서는 긴 학습 시간과 함께 특정 동작의 연습을 위한 환경을 마련하기 위한 자본 및 노력이 소요된다.
아울러 최근 비대면 방식의 업무의 수행이 빈번해짐에 따라, 특정 종목의 스포츠, 운동, 및/또는 경기의 전문가(또는, 프로 선수)와 직접 대면하여 특정 동작의 습득을 위한 지도를 받기 어려운 실정이다.
따라서, 특정 종목의 스포츠, 운동, 및/또는 경기는 특정 동작의 연습을 위해 소요되는 학습 시간, 자본, 및 노력을 경감하며 비대면 방식으로 특정 동작에 대한 정확한 교습을 가능하게 하는 기술의 구현이 요구되는 시점이다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 동작에 따른 작용 근육 정보를 이용한 운동 자세 교정 보조 방법을 제공하는데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은 동작에 따른 작용 근육 정보를 이용한 운동 자세 교정 보조 장치를 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 적어도 하나의 서버에 의해 수행되는 동작에 따른 작용 근육 정보를 이용한 운동 자세 교정 보조 방법은 사용자 단말로부터 특정 연습 동작에 대응되는 사용자의 움직임을 포함하는 제1 영상 정보를 획득하는 단계, 상기 제1 영상 정보를 기반으로 상기 사용자의 움직임에 대응되는 스켈레톤 정보를 도출하는 단계, 상기 제1 영상 정보 및 상기 스켈레톤 정보를 기반으로 상기 사용자의 움직임에 스켈레톤이 표시된 제2 영상 정보를 생성하는 단계, 데이터베이스로부터 상기 특정 연습 동작에 대응되는 근육 정보를 도출하는 단계, 상기 스켈레톤 정보 및 상기 근육 정보를 기반으로 상기 사용자의 움직임에 대응되는 근육 움직임 영상 정보를 생성하는 단계 및 상기 제2 영상 정보 및 상기 근육 움직임 영상 정보를 상기 사용자 단말에게 제공하는 단계를 포함할 수 있다.
여기서, 상기 스켈레톤 정보를 기반으로 상기 특정 연습 동작에 관한 미리 설정된 적어도 하나의 측정 항목에 대응되는 적어도 하나의 측정치를 도출하는 단계 및 상기 적어도 하나의 측정치를 상기 사용자 단말에게 제공하는 단계를 더 포함할 수 있다.
여기서, 상기 사용자 단말에게 복수의 운동 종목들에 관한 정보를 제공하는 단계 및 상기 사용자 단말에 의해 상기 복수의 운동 종목들 중 제1 운동 종목이 선택되는 단계를 더 포함하고, 상기 특정 동작은 상기 제1 운동 종목에서 수행되는 복수의 동작들 중 하나에 대응될 수 있다.
여기서, 상기 근육 정보는 스켈레톤에 관련된 조인트 포인트가 삽입된 전신 근육을 나타내는 정보를 포함하고, 상기 근육 움직임 영상 정보는 상기 스켈레톤 정보에 포함된 조인트에 상기 조인트 포인트를 대응시켜 생성될 수 있다.
여기서, 상기 제1 영상 정보를 기반으로 상기 사용자의 움직임에 대응되는 스켈레톤 정보를 도출하는 단계는 미리 학습된 스켈레톤 추출 모델을 기반으로 상기 제1 영상 정보로부터 상기 스켈레톤 정보를 도출하는 단계를 포함하고, 상기 스켈레톤 추출 모델은 학습용 움직임 영상 정보 및 상기 학습용 움직임 영상 정보에 대응되는 학습용 스켈레톤 정보를 학습 데이터 셋으로 구성하여 머신러닝을 통해 학습될 수 있다.
여기서, 상기 데이터베이스로부터 상기 특정 연습 동작에 대응되는 작용 근육 정보 및 방해 근육 정보를 도출하는 단계 및 상기 작용 근육 정보 및 상기 방해 근육 정보를 상기 사용자 단말에게 제공하는 단계를 더 포함하고, 상기 작용 근육 정보는 상기 특정 연습 동작을 수행할 경우 직접적으로 사용되는 1차 작용 근육에 관한 정보 및 상기 특정 연습 동작을 수행할 경우 간접적으로 사용되는 2차 작용 근육에 관한 정보를 포함할 수 있다.
여기서, 상기 근육 움직임 영상 정보에서 상기 작용 근육 정보에 대응되는 영역을 제1 색상으로 표시하고, 상기 방해 근육 정보에 대응되는 영역을 제2 색상으로 표시하는 단계를 더 포함할 수 있다.
여기서, 상기 데이터베이스로부터 상기 특정 연습 동작에 대응되는 전문가의 움직임을 포함하는 제3 영상 정보를 도출하는 단계 및 상기 제2 영상 정보 및 상기 제3 영상 정보를 상기 사용자 단말에게 제공하는 단계를 더 포함할 수 있다.
상기 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 동작에 따른 작용 근육 정보를 이용한 운동 자세 교정 보조 방법을 수행하는 서버로서, 프로세서 및 상기 프로세서에 의해 실행되는 적어도 하나의 명령을 저장하는 메모리를 포함하고, 상기 적어도 하나의 명령은 사용자 단말로부터 특정 연습 동작에 대응되는 사용자의 움직임을 포함하는 제1 영상 정보를 획득하도록 실행되고, 상기 제1 영상 정보를 기반으로 상기 사용자의 움직임에 대응되는 스켈레톤 정보를 도출하도록 실행되고, 상기 제1 영상 정보 및 상기 스켈레톤 정보를 기반으로 상기 사용자의 움직임에 스켈레톤이 표시된 제2 영상 정보를 생성하도록 실행되고, 상기 메모리로부터 상기 특정 연습 동작에 대응되는 근육 정보를 도출하도록 실행되고, 상기 스켈레톤 정보 및 상기 근육 정보를 기반으로 상기 사용자의 움직임에 대응되는 근육 움직임 영상 정보를 생성하도록 실행되고, 상기 제2 영상 정보 및 상기 근육 움직임 영상 정보를 상기 사용자 단말에게 제공하도록 실행될 수 있다.
본 발명에 따르면, 특정 동작을 수행할 때 신체의 어느 근육이 작용되고, 어느 근육이 방해되는지를 확인하여 자세 교정 효과를 극대화할 수 있다.
본 발명에 따르면, 근육 기반의 정보를 제공함으로써 사용자가 어느 근육을 신경쓰며 동작을 수행하여야 하는지 알려줄 수 있다.
과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 운동 자세 교정 보조 장치의 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 운동 자세 교정 보조 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 근육 정보를 설명하기 위한 도면이다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 운동 자세 교정 보조 방법이 제공되는 사용자 단말의 화면을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 작용 근육 및 방해 근육을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 전문가의 움직임을 포함하는 영상 정보가 제공되는 사용자 단말의 화면을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 자세 교정 방법이 제공되는 사용자 단말의 화면을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 운동 자세 교정 보조 방법의 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 운동 자세 교정 보조 장치의 블록 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 운동 자세 교정 보조 장치(100)는 적어도 하나의 프로세서(110) 및 메모리(120)를 포함할 수 있고, 송수신 장치(130), 입력 인터페이스 장치(140), 출력 인터페이스 장치(150) 및 저장 장치(160) 중 적어도 하나를 더 포함할 수 있다. 또한, 운동 자세 교정 보조 장치(100)에 포함된 각각의 구성 요소들은 버스(bus)(170)에 의해 연결되어 서로 통신을 수행할 수 있다.
예를 들어, 적어도 하나의 프로세서(110)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(120) 및 저장 장치(160) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(120)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중 하나일 수 있고, 저장 장치(160)는, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD), 솔리드 스테이트 드라이브(SSD), 또는 각종 메모리 카드(예를 들어, micro SD 카드) 등일 수 있다.
예를 들어, 메모리(120) 또는 저장 장치(160)는 적어도 하나의 프로세서(110)에 의해 실행될 수 있는 적어도 하나의 명령을 저장하고 있을 수 있다. 예를 들어, 적어도 하나의 명령은 사용자 단말로부터 특정 연습 동작에 대응되는 사용자의 움직임을 포함하는 제1 영상 정보를 획득하는 명령, 상기 제1 영상 정보를 기반으로 상기 사용자의 움직임에 대응되는 스켈레톤 정보를 도출하는 명령, 상기 제1 영상 정보 및 상기 스켈레톤 정보를 기반으로 상기 사용자의 움직임에 스켈레톤이 표시된 제2 영상 정보를 생성하는 명령, 데이터베이스로부터 상기 특정 연습 동작에 대응되는 근육 정보를 도출하는 명령, 상기 스켈레톤 정보 및 상기 근육 정보를 기반으로 상기 사용자의 움직임에 대응되는 근육 움직임 영상 정보를 생성하는 명령 및 상기 제2 영상 정보 및 상기 근육 움직임 영상 정보를 상기 사용자 단말에게 제공하는 명령을 포함할 수 있다.
예를 들어, 적어도 하나의 명령은 상기 스켈레톤 정보를 기반으로 상기 특정 연습 동작에 관한 미리 설정된 적어도 하나의 측정 항목에 대응되는 적어도 하나의 측정치를 도출하는 명령 및 상기 적어도 하나의 측정치를 상기 사용자 단말에게 제공하는 명령을 더 포함할 수 있다.
예를 들어, 적어도 하나의 명령은 상기 사용자 단말에게 복수의 운동 종목들에 관한 정보를 제공하는 명령 및 상기 사용자 단말에 의해 상기 복수의 운동 종목들 중 제1 운동 종목이 선택되는 명령을 더 포함하고, 상기 특정 동작은 상기 제1 운동 종목에서 수행되는 복수의 동작들 중 하나에 대응될 수 있다.
예를 들어, 상기 근육 정보는 스켈레톤에 관련된 조인트 포인트가 삽입된 전신 근육을 나타내는 정보를 포함하고, 상기 근육 움직임 영상 정보는 상기 스켈레톤 정보에 포함된 조인트에 상기 조인트 포인트를 대응시켜 생성될 수 있다.
예를 들어, 상기 제1 영상 정보를 기반으로 상기 사용자의 움직임에 대응되는 스켈레톤 정보를 도출하는 명령은 미리 학습된 스켈레톤 추출 모델을 기반으로 상기 제1 영상 정보로부터 상기 스켈레톤 정보를 도출하는 명령을 포함하고, 상기 스켈레톤 추출 모델은 학습용 움직임 영상 정보 및 상기 학습용 움직임 영상 정보에 대응되는 학습용 스켈레톤 정보를 학습 데이터 셋으로 구성하여 머신러닝을 통해 학습될 수 있다.
예를 들어, 적어도 하나의 명령은 상기 데이터베이스로부터 상기 특정 연습 동작에 대응되는 작용 근육 정보 및 방해 근육 정보를 도출하는 명령 및 상기 작용 근육 정보 및 상기 방해 근육 정보를 상기 사용자 단말에게 제공하는 명령을 더 포함하고, 상기 작용 근육 정보는 상기 특정 연습 동작을 수행할 경우 직접적으로 사용되는 1차 작용 근육에 관한 정보 및 상기 특정 연습 동작을 수행할 경우 간접적으로 사용되는 2차 작용 근육에 관한 정보를 포함할 수 있다.
예를 들어, 적어도 하나의 명령은 상기 근육 움직임 영상 정보에서 상기 작용 근육 정보에 대응되는 영역을 제1 색상으로 표시하고, 상기 방해 근육 정보에 대응되는 영역을 제2 색상으로 표시하는 명령을 더 포함할 수 있다.
예를 들어, 적어도 하나의 명령은 상기 데이터베이스로부터 상기 특정 연습 동작에 대응되는 전문가의 움직임을 포함하는 제3 영상 정보를 도출하는 명령 및 상기 제2 영상 정보 및 상기 제3 영상 정보를 상기 사용자 단말에게 제공하는 명령을 더 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 운동 자세 교정 보조 방법을 설명하기 위한 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 운동 자세 교정 보조 방법은 운동 자세 교정 보조 서버(이하, 서버)(210) 및 사용자 단말(220) 간의 유선 또는 무선 통신을 통해 수행될 수 있다. 여기서, 운동 자세 교정 보조 서버(210)는 상술한 운동 자세 교정 보조 장치를 나타낼 수 있다.
사용자 단말(220)은 통신 가능하며 컴퓨팅 가능한 전자 기기를 나타낼 수 있으며, 예를 들어, 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등일 수 있다.
사용자 단말(220)은 사용자의 움직임에 대한 영상을 촬영하기 위한 촬영 장치를 탑재한 전자기기일 수 있으나, 네트워크를 통해 사용자의 움직임에 대한 영상을 수신할 수도 있는 바, 촬영 장치가 탑재된 전자기기로 한정되는 것은 아니다.
도 3은 본 발명의 일 실시예에 따른 근육 정보를 설명하기 위한 도면이다.
사람은 움직임을 가질 때 전신의 적어도 하나의 근육을 이용하게 되며, 특정 동작을 동일하게 반복하는 경우, 동일한 근육이 동일하게 작용하게 됨은 자명하다. 즉, 사람은 어떠한 동작을 따라하는 경우, 사실상 어떠한 동작을 수행하는 근육의 작용을 따라하게 되는 것이다.
도 3을 참조하여 골프의 스윙 동작을 예로 들면, 스윙 동작은 항상 동일한 움직임을 가져야 하며, 이에 따라 정확한 스윙 동작이 이루어질 때에는 직접 또는 간접적으로 작용하는 근육들이 정해져 있으며, 항상 동일한 근육들이 사용되게 된다.
본 발명의 일 실시예는 이러한 작용하는 근육들을 사용자에게 시각적으로 제공하여 사용자의 학습 효율을 향상시키기 위한 것이다. 즉, 사람들은 모든 근육에 대하여 의식적 또는 직접적으로 힘을 가하거나 가하지 않을 수 있는 것은 아니나, 어느 부위의 근육이 작용하는 것이 올바른 자세라는 점을 인지하는 경우, 보다 빠르게 올바른 자세를 습득할 수 있으며, 일 실시예는 이를 주 목적으로 한다.
이하에서는 실시예에 따른 동작에 관하여 설명하겠다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 운동 자세 교정 보조 방법이 제공되는 사용자 단말의 화면을 나타낸 도면이다.
본 발명의 일 실시예에 따른 운동 자세 교정 보조 방법은 골프를 예로 들어 설명하고 있으나, 다른 운동 종목들에도 동일하게 적용될 수 있다. 따라서, 도면에 골프에 관한 동작만이 기재되어 있으나, 이에 한정되는 것은 아니다.
따라서, 일 실시예는 사용자에게 복수의 운동 종목들에 관한 정보를 제공할 수 있으며, 사용자는 사용자 단말을 통해 복수의 운동 종목들 중 제1 운동 종목을 선택할 수 있다. 이어서, 일 실시예는 제1 운동 종목에 포함된 복수의 동작들에 관한 정보를 사용자 단말에게 제공할 수 있으며, 사용자는 사용자 단말을 통해 복수의 동작들 중 특정 연습 동작을 선택할 수 있다.
사용자가 연습할 특정 연습 동작이 선택된 이후, 사용자는 사용자 단말을 통해 특정 연습 동작에 대응되는 사용자의 움직임을 포함하는 제1 영상 정보를 획득할 수 있다. 여기서, 제1 영상 정보는 사용자 단말에 탑재된 촬영 장치를 통해 획득될 수 있으나, 네트워크를 통해 다른 외부 서버 또는 다른 사용자 단말로부터 획득될 수도 있다.
이후, 서버는 제1 영상 정보를 기반으로 사용자의 움직임에 대응되는 스켈레톤 정보를 도출할 수 있다. 여기서, 스켈레톤 정보는 사용자의 신체 중 관절 부분 또는 엣지 부분을 나타내는 조인트에 대한 정보 및 조인트들 간의 선에 대한 정보를 포함할 수 있다. 예를 들어, 조인트에 대응되는 관절 부분 또는 엣지 부분은 코(nose), 좌측 눈(left_eye), 우측 눈(right_eye), 좌측 귀(left_ear), 우측 귀(right_ear), 좌측 어깨(left_shoulder), 우측 어깨(right_shoulder), 좌측 팔꿈치(left_elbow), 우측 팔꿈치(right_elbow), 좌측 허리(left_wrist), 우측 허리(right_wrist), 좌측 엉덩이(left_hip), 우측 엉덩이(right_hip), 좌측 무릎(left_knee), 우측 무릎(right_knee), 좌측 발목(left_ankle), 우측 발목(right_ankle), 클럽 핸들(club_handle) 및 클럽 헤드(club_head) 중 적어도 하나를 포함할 수도 있다.
또한, 스켈레톤 정보의 도출에는 미리 학습된 스켈레톤 추출 모델이 이용될 수 있다. 즉, 서버는 미리 학습된 스켈레톤 추출 모델을 기반으로 제1 영상 정보로부터 스켈레톤 정보를 도출할 수 있다. 여기서, 스켈레톤 추출 모델은 학습용 움직임 영상 정보 및 상기 학습용 움직임 영상 정보에 대응되는 학습용 스켈레톤 정보를 학습 데이터 셋으로 구성하여 머신러닝을 통해 미리 학습될 수 있으며, 머신러닝에 이용되는 알고리즘은 DNN(deep neural network), 합성곱 신경망(CNN, Convoultional Neural Network), 순환 신경망(RNN, Recurrent Neural Network), 제한 볼츠만 머신(RBM, Restricted Boltzmann Machine) 또는　심층 신뢰 신경망(DBN, Deep Belief Network)일 수 있으나, 그 외에 학습에 더욱 적합한 알고리즘이 이용될 수도 있다. 여기서, 각 알고리즘들은 주지의 기술이므로 설명은 생략한다.
서버는 제1 영상 정보에 도출한 스켈레톤 정보를 오버랩(overlap)하여 제2 영상 정보를 생성할 수 있다. 즉, 제2 영상 정보는 사용자의 움직임에 스켈레톤 정보에 따른 조인트 및 선이 표시된 영상에 관한 정보일 수 있다. 예를 들어, 제2 영상 정보에 따른 영상은 도 4 및 도 5를 참조하면 사용자 단말의 화면에서 좌측 중앙에 위치한 영상을 나타낼 수 있다.
또한, 서버는 스켈레톤 정보를 기반으로 특정 연습 동작에 관한 미리 설정된 적어도 하나의 제1 측정 항목에 대응되는 적어도 하나의 측정치를 도출할 수 있다. 도 4 및 도 5를 참조하면, 적어도 하나의 제1 측정 항목은 헤드 스피드(head speed) 및 스윙 정확도(swing accuracy) 중 적어도 하나를 포함할 수 있으며, 제1 측정 항목의 측정치는 0이상 100이하의 자연수 중 하나로 도출될 수 있다. 예를 들어, 적어도 하나의 제1 측정 항목은 클럽 핸들의 위치 관련 측정 정보(club_handle) 및 클럽 헤드의 위치 관련 측정 정보(club_head) 중 적어도 하나를 기반으로 도출될 수 있다.
또는 서버는 데이터베이스로부터 특정 연습 동작에 대응되는 근육 정보를 도출할 수 있고, 근육 정보 및 스켈레톤 정보를 기반으로 미리 설정된 적어도 하나의 제2 측정 항목에 대응되는 적어도 하나의 측정치를 도출할 수 있다. 도 4 및 도 5를 참조하면, 적어도 하나의 제2 측정 항목은 코의 위치 관련 측정 정보(nose), 좌측 눈의 위치 관련 측정 정보(left_eye), 우측 눈의 위치 관련 측정 정보(right_eye), 좌측 귀의 위치 관련 측정 정보(left_ear), 우측 귀의 위치 관련 측정 정보(right_ear), 좌측 어깨의 위치 관련 측정 정보(left_shoulder), 우측 어깨의 위치 관련 측정 정보(right_shoulder), 좌측 팔꿈치의 위치 관련 측정 정보(left_elbow), 우측 팔꿈치의 위치 관련 측정 정보(right_elbow), 좌측 허리의 위치 관련 측정 정보(left_wrist), 우측 허리의 위치 관련 측정 정보(right_wrist), 좌측 엉덩이의 위치 관련 측정 정보(left_hip), 우측 엉덩이의 위치 관련 측정 정보(right_hip), 좌측 무릎의 위치 관련 측정 정보(left_knee), 우측 무릎의 위치 관련 측정 정보(right_knee), 좌측 발목의 위치 관련 측정 정보(left_ankle), 우측 발목의 위치 관련 측정 정보(right_ankle), 클럽 핸들의 위치 관련 측정 정보(club_handle) 및 클럽 헤드의 위치 관련 측정 정보(club_head) 중 적어도 하나를 포함할 수도 있다.
예를 들어, 근육 정보는 스켈레톤에 관련된 조인트 포인트가 삽입된 근육을 나타내는 정보일 수 있으며, 각 위치 관련 측정 정보는 영상 내의 사용자의 움직임에서의 각 위치와 근육 정보에 포함된 조인트 포인트 각 위치 간의 거리 차이에 관한 정보를 나타낼 수도 있다. 이러한 정보를 통해 사용자는 어떠한 부분이 가장 많은 차이를 보이는지 확인할 수 있다. 또한, 위와 같은 차이를 정확히 도출하기 위하여 서버는 사용자의 신장 정보 및 준비 자세의 이미지 정보를 먼저 획득하여 사용자의 개인 정보를 생성할 수 있고, 이를 고려하여 근육 정보를 보정할 수 있다.
서버는 상술한 바와 같이 도출한 측정치를 도 4 및 도 5와 같이 사용자 단말에 제2 영상 정보와 함께 제공할 수 있다.
또한, 서버는 스켈레톤 정보 및 근육 정보를 기반으로 사용자의 움직임에 대응되는 근육 움직임 영상 정보를 생성할 수도 있다. 즉, 서버는 사용자의 움직임과 동일하게 움직이는 근육 움직임 영상 정보에 따른 근육 영상을 생성하여 도 4 및 도 5와 같이 사용자 단말에게 제2 영상 정보 및 측정치와 함께 제공할 수 있다. 근육 움직임 영상 정보에 따른 영상은 도 4 및 도 5를 참조하면 사용자 단말의 화면에서 우측 중앙에 위치한 영상을 나타낼 수 있다. 여기서, 근육 움직임 영상 정보는 스켈레톤 정보에 포함된 조인트에 근육 정보에 포함된 조인트 포인트를 대응시켜 생성될 수 있으나, 다른 다양한 방법을 통해 생성될 수도 있는 바, 이에 한정되는 것은 아니다.
예를 들어, 서버는 제2 영상 정보 및 근육 움직임 영상 정보에 따른 동영상을 사용자 단말에게 제공할 수 있으나, 복수의 정지 영상들로 사용자 단말에게 제공할 수도 있다.
제2 영상 정보 및 근육 움직임 영상 정보가 복수의 정지 영상들로 제공되는 경우, 우선, 제1 영상 정보에 따른 영상을 미리 설정된 시간 간격에 따른 복수의 정지 영상들로 분할할 수 있으며, 상술한 실시예의 동작들이 분할된 각 정지 영상에 대하여 수행될 수 있다. 더불어, 복수의 정지 영상들은 도 4 및 도 5와 같이 사용자 단말의 화면의 하단에 표시될 수 있다.
도 6은 본 발명의 일 실시예에 따른 작용 근육 및 방해 근육을 설명하기 위한 도면이다.
서버는 사용자의 움직임에 따른 근육 움직임을 제공하는 것에서 나아가 특정 연습 동작을 수행할 때 작용하는 작용 근육 및 방해하는 방해 근육에 관한 정보도 사용자에게 제공할 수 있으며, 이에 관한 정보는 데이터베이스에 미리 저장되어 있을 수 있다.
예를 들어, 어깨축 중심 운동을 수행할 경우, 작용 근육 및 방해 근육은 도 6에서 사선으로 나타낸 영역의 근육일 수 있으며, 이에 대한 시각적인 정보를 사용자 단말을 통해 사용자에게 제공할 수 있다. 예를 들어, 특정 연습 운동이 골프의 스윙 동작인 경우 스윙에 따라 클럽을 올리는 영역(UP)에서 사용되는 작용 근육 및 방해 근육과 클럽을 내리는 영역(down)에서 사용되는 작용 근육 및 방해 근육이 각각 제공될 수 있다. 더불어, 정상 운동 범위에서 벗어난 경우(정상 운동 이탈) 작용하게 되는 근육에 관한 정보도 제공될 수 있다.
또한, 작용 근육은 해당 동작에서 직접적으로 작용되는 1차 작용 근육과 간접적으로 작용되는 2차 작용 근육으로 구분되어 제공될 수도 있다.
예를 들어, 서버는 작용 근육 정보 및 방해 근육 정보를 데이터베이스로부터 도출한 후, 생성한 근육 움직임 영상 정보에 작용 근육 정보에 대응되는 영역 및 방해 근육 정보에 대응되는 영역을 표시하여 제공될 수도 있다. 이 경우, 작용 근육 정보에 대응되는 영역은 제1 색상으로 표시되고, 방해 근육 정보에 대응되는 영역은 제2 색상으로 표시될 수 있으며, 제1 색상 및 제2 색상은 서로 다른 색상일 수 있다.
도 7은 본 발명의 일 실시예에 따른 전문가의 움직임을 포함하는 영상 정보가 제공되는 사용자 단말의 화면을 나타낸 도면이다.
도 7을 참조하면, 실시예에 따른 서버는 근육 움직임 영상 정보 외에 특정 연습 동작에 대한 전문가의 움직임을 포함하는 제3 영상 정보를 데이터베이스로부터 도출하여 사용자에게 제공할 수도 있다.
제3 영상 정보가 제공되는 경우, 사용자의 움직임과 전문가의 움직임을 비교할 수 있도록 도 7과 같이 사용자의 움직임과 전문가의 움직임을 좌우로 나란히 제공할 수도 있다. 즉, 서버는 제2 영상 정보와 제3 영상 정보를 좌우로 나란히 사용자 단말에게 제공할 수 있다.
도 8은 본 발명의 일 실시예에 따른 자세 교정 방법이 제공되는 사용자 단말의 화면을 나타낸 도면이다.
도 8을 참조하면, 일 실시예에 따른 서버는 제2 영상 정보와 함께 파워를 향상시키는 방법에 관한 정보 및 정확도를 향상시키는 방법에 관한 정보를 제공할 수도 있다. 여기서, 파워를 향상시키는 방법은 사용자 단말의 화면에서 하단의 Power+ 영역이 사용자에 의해 선택되는 경우 제공될 수 있으며, 정확도를 향상시키는 방법은 사용자 단말의 화면에서 하단의 Accuracy+ 영역이 사용자에 의해 선택되는 경우 제공될 수 있다.
예를 들어, 파워를 향상시키는 방법에 관한 정보 및/또는 정확도를 향상시키는 방법에 관한 정보는 적어도 하나의 제2 측정 항목의 측정치 중 임계치 이상인 측정 항목을 기반으로 도출되어 제공될 수 있으며, 임계치 이상인 측정 항목이 없는 경우, 측정치가 가장 큰 측정 항목을 기반으로 도출되어 제공될 수 있다.
또는 예를 들어, 제2 영상 정보를 미리 등록된 복수의 전문가 단말에게 제공한 후, 상기 복수의 전문가 단말로부터 제2 영상 정보에 대한 파워 관련 또는 정확도 관련 코멘트 정보를 획득하여 사용자 단말에게 제공할 수도 있다. 여기서, 복수의 전문가의 수는 제1 측정 항목인 헤드 스피드(head speed) 또는 스윙 정확도(swing accuracy)의 측정치를 기반으로 결정될 수 있다. 즉, 파워를 향상시키는 방법에 관한 정보가 선택되는 경우, 헤드 스피드(head speed)의 측정치를 기반으로 복수의 전문가의 수가 결정될 수 있고, 정확도를 향상시키는 방법에 관한 정보가 선택되는 경우, 스윙 정확도(swing accuracy)의 측정치를 기반으로 복수의 전문가의 수가 결정될 수 있다. 복수의 전문가의 수는 측정치가 높을수록 많아질 수 있다. 이는 측정치가 낮은 초보자의 경우 일부 전문가의 코멘트만으로 개선 방향이 확연히 확인될 수 있으나, 측정치가 높은 고급자의 경우 전문가에 따라 코멘트가 달라질 수도 있으며, 개선 방향도 다양할 수 있는 바, 사용자에게 많은 견해를 전달하기 위한 것이다. 다만, 복수의 전문가의 수는 2명이 최소일 수 있다.
도 9는 본 발명의 일 실시예에 따른 운동 자세 교정 보조 방법의 순서도이다.
도 9를 참조하면, S910 동작에서 일 실시예는 사용자 단말로부터 특정 연습 동작에 대응되는 사용자의 움직임을 포함하는 제1 영상 정보를 획득할 수 있다. 여기서, 특정 동작은 사용자에 의해 복수의 운동 종목들 중 선택된 제1 운동 종목에서 수행되는 복수의 동작들 중 하나에 대응될 수 있다.
S920 동작에서 일 실시예는 상기 제1 영상 정보를 기반으로 상기 사용자의 움직임에 대응되는 스켈레톤 정보를 도출할 수 있다. 여기서, 스켈레톤 정보는 미리 학습된 스켈레톤 추출 모델을 기반으로 제1 영상 정보로부터 도출될 수 있고, 상기 스켈레톤 추출 모델은 학습용 움직임 영상 정보 및 상기 학습용 움직임 영상 정보에 대응되는 학습용 스켈레톤 정보를 학습 데이터 셋으로 구성하여 머신러닝을 통해 학습될 수 있다.
S930 동작에서 일 실시예는 상기 제1 영상 정보 및 상기 스켈레톤 정보를 기반으로 상기 사용자의 움직임에 스켈레톤이 표시된 제2 영상 정보를 생성할 수 있다.
S940 동작에서 일 실시예는 데이터베이스로부터 상기 특정 연습 동작에 대응되는 근육 정보를 도출할 수 있다. 예를 들어, 근육 정보는 스켈레톤에 관련된 조인트 포인트가 삽입된 전신 근육을 나타내는 정보를 포함할 수 있다.
S950 동작에서 일 실시예는 상기 스켈레톤 정보 및 상기 근육 정보를 기반으로 상기 사용자의 움직임에 대응되는 근육 움직임 영상 정보를 생성할 수 있다. 예를 들어, 근육 움직임 영상 정보는 스켈레톤 정보에 포함된 조인트에 조인트 포인트를 대응시켜 생성될 수 있다.
S960 동작에서 일 실시예는 상기 제2 영상 정보 및 상기 근육 움직임 영상 정보를 상기 사용자 단말에게 제공하는 단계를 포함할 수 있다.
또한, 도 9에서 도시하지 않았으나, 일 실시예는 스켈레톤 정보를 기반으로 특정 연습 동작에 관한 미리 설정된 적어도 하나의 측정 항목에 대응되는 적어도 하나의 측정치를 도출할 수 있고, 적어도 하나의 측정치를 사용자 단말에게 제공할 수도 있다.
또한, 일 실시예는 데이터베이스로부터 특정 연습 동작에 대응되는 작용 근육 정보 및 방해 근육 정보를 도출할 수 있고, 상기 작용 근육 정보 및 상기 방해 근육 정보를 상기 사용자 단말에게 제공할 수도 있다. 여기서, 상기 작용 근육 정보는 상기 특정 연습 동작을 수행할 경우 직접적으로 사용되는 1차 작용 근육에 관한 정보 및 상기 특정 연습 동작을 수행할 경우 간접적으로 사용되는 2차 작용 근육에 관한 정보를 포함할 수 있다.
또한, 일 실시예는 상기 근육 움직임 영상 정보에서 상기 작용 근육 정보에 대응되는 영역을 제1 색상으로 표시하고, 상기 방해 근육 정보에 대응되는 영역을 제2 색상으로 표시할 수도 있다.
또는 예를 들어, 일 실시예는 데이터베이스로부터 상기 특정 연습 동작에 대응되는 전문가의 움직임을 포함하는 제3 영상 정보를 도출할 수 있고, 상기 제2 영상 정보 및 상기 제3 영상 정보를 상기 사용자 단말에게 제공할 수도 있다.
본 명세서의 실시예에 따른 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
실시예가 소프트웨어로 구현될 때, 상술한 기법은 상술한 기능을 수행하는 모듈(과정, 기능 등)로 구현될 수 있다. 모듈은 메모리에 저장되고, 프로세서에 의해 실행될 수 있다. 메모리는 프로세서 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서와 연결될 수 있다.
또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.
실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그래머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그래머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (8)

  1. 적어도 하나의 서버에 의해 수행되는 동작에 따른 작용 근육 정보를 이용한 운동 자세 교정 보조 방법에 있어서,
    사용자 단말로부터 특정 연습 동작에 대응되는 사용자의 움직임을 포함하는 제1 영상 정보를 획득하는 단계;
    상기 제1 영상 정보를 기반으로 상기 사용자의 움직임에 대응되는 스켈레톤 정보를 도출하는 단계;
    상기 제1 영상 정보 및 상기 스켈레톤 정보를 기반으로 상기 사용자의 움직임에 스켈레톤이 표시된 제2 영상 정보를 생성하는 단계;
    데이터베이스로부터 상기 특정 연습 동작에 대응되는 근육 정보를 도출하는 단계;
    상기 스켈레톤 정보 및 상기 근육 정보를 기반으로 상기 사용자의 움직임에 대응되는 근육 움직임 영상 정보를 생성하는 단계; 및
    상기 제2 영상 정보 및 상기 근육 움직임 영상 정보를 상기 사용자 단말에게 제공하는 단계를 포함하고,
    상기 스켈레톤 정보를 기반으로 상기 특정 연습 동작에 관한 미리 설정된 적어도 하나의 측정 항목에 대응되는 적어도 하나의 측정치를 도출하는 단계; 및
    상기 적어도 하나의 측정치를 상기 사용자 단말에게 제공하는 단계를 더 포함하고,
    상기 제1 영상 정보를 기반으로 상기 사용자의 움직임에 대응되는 스켈레톤 정보를 도출하는 단계는,
    미리 학습된 스켈레톤 추출 모델을 기반으로 상기 제1 영상 정보로부터 상기 스켈레톤 정보를 도출하는 단계를 포함하고,
    상기 스켈레톤 추출 모델은 학습용 움직임 영상 정보 및 상기 학습용 움직임 영상 정보에 대응되는 학습용 스켈레톤 정보를 학습 데이터 셋으로 구성하여 머신러닝을 통해 학습되고,
    상기 특정 연습 동작이 골프 스윙 동작인 경우, 상기 제1 영상 정보는 상기 사용자의 움직임에 따른 골프 클럽의 움직임을 포함하고, 상기 스켈레톤 정보는 상기 사용자의 움직임 및 상기 골프 클럽의 움직임에 대응되고,
    상기 적어도 하나의 측정치는 클럽 핸들의 위치 관련 측정 정보 및 클럽 헤드의 위치 관련 측정 정보를 포함하고,
    상기 제2 영상 정보를 미리 등록된 복수의 전문가 단말에게 제공하는 단계; 및
    상기 복수의 전문가 단말로부터 상기 제2 영상 정보에 대한 코멘트 정보를 획득하여 상기 사용자 단말에게 제공하는 단계를 더 포함하고,
    상기 코멘트 정보가 파워 관련 코멘트 정보인 경우, 상기 복수의 전문가 단말의 수는 헤드 스피드를 기반으로 결정되고, 상기 코멘트 정보가 정확도 관련 코멘트 정보인 경우, 상기 복수의 전문가 단말의 수는 스윙 정확도를 기반으로 결정되고, 상기 헤드 스피드 및 상기 스윙 정확도는 상기 클럽 핸들의 위치 관련 측정 정보 및 상기 클럽 헤드의 위치 관련 측정 정보를 기반으로 도출되고,
    상기 헤드 스피드 또는 상기 스윙 정확도가 높을수록 상기 복수의 전문가 단말의 수는 많아지는,
    운동 자세 교정 보조 방법.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 사용자 단말에게 복수의 운동 종목들에 관한 정보를 제공하는 단계; 및
    상기 사용자 단말에 의해 상기 복수의 운동 종목들 중 제1 운동 종목이 선택되는 단계를 더 포함하고,
    상기 특정 연습 동작은 상기 제1 운동 종목에서 수행되는 복수의 동작들 중 하나에 대응되는,
    운동 자세 교정 보조 방법.
  4. 청구항 1에 있어서,
    상기 근육 정보는 스켈레톤에 관련된 조인트 포인트가 삽입된 전신 근육을 나타내는 정보를 포함하고,
    상기 근육 움직임 영상 정보는 상기 스켈레톤 정보에 포함된 조인트에 상기 조인트 포인트를 대응시켜 생성되는,
    운동 자세 교정 보조 방법.
  5. 삭제
  6. 청구항 1에 있어서,
    상기 데이터베이스로부터 상기 특정 연습 동작에 대응되는 작용 근육 정보를 도출하는 단계; 및
    상기 작용 근육 정보를 상기 사용자 단말에게 제공하는 단계를 더 포함하고,
    상기 작용 근육 정보는 상기 특정 연습 동작을 수행할 경우 직접적으로 사용되는 1차 작용 근육에 관한 정보 및 상기 특정 연습 동작을 수행할 경우 간접적으로 사용되는 2차 작용 근육에 관한 정보를 포함하는,
    운동 자세 교정 보조 방법.
  7. 청구항 6에 있어서,
    상기 근육 움직임 영상 정보에서 상기 작용 근육 정보에 대응되는 영역을 제1 색상으로 표시하는 단계를 더 포함하는,
    운동 자세 교정 보조 방법.
  8. 청구항 1에 있어서,
    상기 데이터베이스로부터 상기 특정 연습 동작에 대응되는 전문가의 움직임을 포함하는 제3 영상 정보를 도출하는 단계; 및
    상기 제2 영상 정보 및 상기 제3 영상 정보를 상기 사용자 단말에게 제공하는 단계를 더 포함하는,
    운동 자세 교정 보조 방법.
KR1020210119553A 2021-09-08 2021-09-08 동작에 따른 작용 근육 정보를 이용한 운동 자세 교정 보조 방법 및 장치 KR102358331B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210119553A KR102358331B1 (ko) 2021-09-08 2021-09-08 동작에 따른 작용 근육 정보를 이용한 운동 자세 교정 보조 방법 및 장치
US17/510,439 US20230077273A1 (en) 2021-09-08 2021-10-26 Method and apparatus for assisting exercise posture correction using working muscle information depending on motion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210119553A KR102358331B1 (ko) 2021-09-08 2021-09-08 동작에 따른 작용 근육 정보를 이용한 운동 자세 교정 보조 방법 및 장치

Publications (2)

Publication Number Publication Date
KR102358331B1 true KR102358331B1 (ko) 2022-02-08
KR102358331B9 KR102358331B9 (ko) 2022-12-27

Family

ID=80252141

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210119553A KR102358331B1 (ko) 2021-09-08 2021-09-08 동작에 따른 작용 근육 정보를 이용한 운동 자세 교정 보조 방법 및 장치

Country Status (2)

Country Link
US (1) US20230077273A1 (ko)
KR (1) KR102358331B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102471192B1 (ko) * 2022-09-14 2022-11-28 주식회사 에이아이태권도 인공지능을 이용한 태권도 겨루기 동작 평가 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160121379A (ko) * 2015-04-09 2016-10-19 한국전자통신연구원 골프 동작 분석 장치 및 방법
KR101970687B1 (ko) * 2018-04-11 2019-04-19 주식회사 큐랩 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템
KR20190044952A (ko) * 2017-10-23 2019-05-02 남정우 스마트 미러를 이용하여 실시간 운동 동작을 분석 및 디스플레이하기 위한 방법 및 이를 위한 스마트 미러
KR20210067718A (ko) * 2019-11-29 2021-06-08 디투이모션 주식회사 골프 스윙 동작 피드백 제공 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160121379A (ko) * 2015-04-09 2016-10-19 한국전자통신연구원 골프 동작 분석 장치 및 방법
KR20190044952A (ko) * 2017-10-23 2019-05-02 남정우 스마트 미러를 이용하여 실시간 운동 동작을 분석 및 디스플레이하기 위한 방법 및 이를 위한 스마트 미러
KR101970687B1 (ko) * 2018-04-11 2019-04-19 주식회사 큐랩 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템
KR20210067718A (ko) * 2019-11-29 2021-06-08 디투이모션 주식회사 골프 스윙 동작 피드백 제공 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102471192B1 (ko) * 2022-09-14 2022-11-28 주식회사 에이아이태권도 인공지능을 이용한 태권도 겨루기 동작 평가 방법 및 장치
KR102486337B1 (ko) * 2022-09-14 2023-01-09 주식회사 에이아이태권도 인공지능을 이용한 태권도 겨루기에서의 타격 수치 결정 방법 및 장치

Also Published As

Publication number Publication date
US20230077273A1 (en) 2023-03-09
KR102358331B9 (ko) 2022-12-27

Similar Documents

Publication Publication Date Title
US11455909B2 (en) Identification and analysis of movement using sensor devices
WO2021051579A1 (zh) 形体姿态识别方法、系统、装置及存储介质
US11776421B2 (en) Systems and methods for monitoring and evaluating body movement
CN112237730A (zh) 健身动作纠正方法及电子设备
US20160086510A1 (en) Movement assessor
KR102353637B1 (ko) 골프 동작 분석 방법 및 장치
KR102241414B1 (ko) 머신 러닝 모델을 이용한 특정 움직임에 대한 피드백을 제공하는 전자 장치 및 그 동작 방법
KR20220028654A (ko) 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 장치 및 방법
Zhu Computer Vision‐Driven Evaluation System for Assisted Decision‐Making in Sports Training
WO2019116495A1 (ja) 技認識プログラム、技認識方法および技認識システム
KR102358331B1 (ko) 동작에 따른 작용 근육 정보를 이용한 운동 자세 교정 보조 방법 및 장치
CN113516064A (zh) 体育运动的动作判定方法、装置、设备及存储介质
US20220092300A1 (en) Display apparatus and method for controlling thereof
Lu et al. An IoT‐Based Motion Tracking System for Next‐Generation Foot‐Related Sports Training and Talent Selection
CN114969490A (zh) 一种训练课程推荐方法及设备
KR102381907B1 (ko) 태권도 동작에 대한 커리큘럼 기반의 학습 보조 방법 및 장치
JP7137298B2 (ja) 評価装置、評価方法および評価プログラム
US20140073383A1 (en) Method and system for motion comparison
CN112714328A (zh) 一种直播课学生姿态提示方法、装置及电子设备
KR102630828B1 (ko) 인공지능을 이용한 태권도 단체 품새 동작 평가 방법 및 장치
US20230401777A1 (en) Method and apparatus for creating avatar based on body shape
CN111260678A (zh) 体操辅助学习的方法、装置、存储介质和终端设备
Eisenhardt et al. Augmented-reality swim goggles accurately and reliably measure swim performance metrics in recreational swimmers
US20230206472A1 (en) Human body detection method and human body detection device, and computer readable storage medium
KR102342760B1 (ko) 인공지능 기반의 골프 영상 학습장치, 그 방법 및 그 기록매체

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]