KR20190019824A - 자세 가이드 제공 방법 및 그 장치 - Google Patents

자세 가이드 제공 방법 및 그 장치 Download PDF

Info

Publication number
KR20190019824A
KR20190019824A KR1020180067791A KR20180067791A KR20190019824A KR 20190019824 A KR20190019824 A KR 20190019824A KR 1020180067791 A KR1020180067791 A KR 1020180067791A KR 20180067791 A KR20180067791 A KR 20180067791A KR 20190019824 A KR20190019824 A KR 20190019824A
Authority
KR
South Korea
Prior art keywords
tutoring
line
user
posture
image
Prior art date
Application number
KR1020180067791A
Other languages
English (en)
Other versions
KR101986327B1 (ko
Inventor
강다겸
Original Assignee
강다겸
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 강다겸 filed Critical 강다겸
Priority to PCT/KR2018/008908 priority Critical patent/WO2019035586A1/ko
Publication of KR20190019824A publication Critical patent/KR20190019824A/ko
Application granted granted Critical
Publication of KR101986327B1 publication Critical patent/KR101986327B1/ko
Priority to US16/793,871 priority patent/US10898755B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1071—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring angles, e.g. using goniometers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/486—Bio-feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075—Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4519—Muscles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4836—Diagnosis combined with treatment in closed-loop systems or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7435—Displaying user selection data, e.g. icons in a graphical user interface
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
    • A61B5/7485—Automatic selection of region of interest
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012—Comparing movements or motion sequences with a registered reference
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A63B2024/0068—Comparison to target or threshold, previous performance or not real time comparison to other individuals
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Business, Economics & Management (AREA)
  • Physiology (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Tourism & Hospitality (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)

Abstract

본 발명의 일 실시예에 따른 자세 가이드 제공 방법은, 미리 설정된 기계 학습 모델을 이용하여, 자세 가이드 제공 장치에 의해 수행되는 자세 가이드 제공 방법으로서, 사용자 자세에 대한 이미지를 획득하는 단계와 디스플레이부의 제1 영역에 튜터링 이미지를 디스플레이하고, 상기 디스플레이부의 제2 영역에 상기 획득된 이미지를 디스플레이하는 단계와 상기 획득된 이미지로부터 특징점을 추출하는 단계와 상기 추출된 특징점을 기초로 상기 사용자 자세에 대응하는 사용자 자세 라인을 생성함으로써, 사용자 자세 정보를 획득하는 단계와 상기 튜터링 이미지 및 상기 사용자 자세 정보를 기초로, 상기 사용자 자세를 가이드하기 위한 자세 가이드 정보를 생성하는 단계와 상기 디스플레이부의 제2 영역에 상기 획득된 이미지 및 상기 자세 가이드 정보를 결합하여 디스플레이하는 단계를 포함할 수 있다.

Description

자세 가이드 제공 방법 및 그 장치{METHOD FOR PROVIDING POSTURE GUIDE AND APPARATUS THEREOF}
본 발명은 자세 가이드 제공 방법 및 그 장치에 관한 것이다. 보다 자세하게는, 사용자의 자세에 대한 이미지 분석을 통해 자세 가이드를 제공하는 방법 및 장치에 관한 것이다.
최근, 운동 자세, 춤 동작, 재활 자세 등 사용자의 모션을 영상 분석하고, 사용자에게 올바른 자세에 대한 피드백을 제공하는 서비스가 제공되고 있다. 이와 같은 서비스는, 3차원 카메라로 촬영하여 사용자의 신체 관절을 움직임을 검출하거나, 사용자의 신체에 센서를 부착하여 움직임을 추출함으로써, 사용자의 자세를 분석한다. 또한, 사용자의 자세에 대한 분석 결과를, 미리 저장된 기준 자세와 비교하여 피드백을 제공한다.
이와 같은 서비스들을, 사용자가 시간 및 공간의 제약없이 이용할 수 있는 장점이 있지만, 서비스 이용을 위해서는, 3차원 카메라 또는 센서와 같이 고가의 장비를 구매해야 한다. 또한, 구매한 장비를 사용자가 스스로 적절한 위치에 설치해야 하거나, 신체에 직접 센서 장비를 착용해야 하는 불편함이 발생한다. 또한, 전술한 서비스들은, 사용자에게 피드백을 제공함에 있어, 미리 저장된 기준 자세와 사용자의 자세만을 단순 비교하여 피드백 정보를 제공하므로, 자세를 취하고 있는 사용자의 현재 상태에 맞춤형 피드백을 제공하지 못하는 단점이 있다. 또한, 사용자의 현재 상태에 반응하여, 사용자 자세에 대한 가이드 정보를 동적으로 변경하여 제공하지 못하였다.
그럼에도, 고가의 장비 없이 단순히 2차원 카메라로 촬영된 영상에 대하여, 기계 학습 기반의 사용자 자세 측정을 통해 사용자의 현재 상태에 맞춤형 피드백을 제공하고, 동적으로 가이드 정보를 제공하는 서비스는 제공되지 않고 있다.
한국등록특허 제1416282 호
본 발명이 해결하고자 하는 기술적 과제는, 딥러닝 솔루션을 이용하여 사용자의 자세를 측정하고, 사용자에게 자세 가이드 정보를 제공하는 방법 및 그 장치를 제공하는 것이다.
구체적으로, 본 발명이 해결하고자 하는 기술적 과제는, 사용자의 자세를 측정하고, 사용자에게 제공되는 튜터링 이미지와 사용자 자세를 비교하여, 사용자에게 자세에 대한 피드백 정보를 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 사용자의 자세로부터 사용자의 현재 상태를 분석하고, 분석된 사용자의 현재 상태를 기초로, 사용자 맞춤형 튜터링 이미지를 생성하는 방법 및 그 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 튜터링 이미지와 사용자의 자세를 비교하여, 사용자에게 요구되는 실시간 자세 가이드 정보를 디스플레하는 방법 및 그 장치를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 해결하기 위한 자세 가이드 제공 방법은, 미리 설정된 기계 학습 모델을 이용하여, 자세 가이드 제공 장치에 의해 수행되는 자세 가이드 제공 방법으로서, 사용자 자세에 대한 이미지를 획득하는 단계와 디스플레이부의 제1 영역에 튜터링 이미지를 디스플레이하고, 상기 디스플레이부의 제2 영역에 상기 획득된 이미지를 디스플레이하는 단계와 상기 획득된 이미지로부터 특징점을 추출하는 단계와 상기 추출된 특징점을 기초로 상기 사용자 자세에 대응하는 사용자 자세 라인을 생성함으로써, 사용자 자세 정보를 획득하는 단계와 상기 튜터링 이미지 및 상기 사용자 자세 정보를 기초로, 상기 사용자 자세를 가이드하기 위한 자세 가이드 정보를 생성하는 단계와 상기 디스플레이부의 제2 영역에 상기 획득된 이미지 및 상기 자세 가이드 정보를 결합하여 디스플레이하는 단계를 포함할 수 있다.
일 실시예에서, 상기 사용자 자세를 가이드하기 위한 자세 가이드 정보를 생성하는 단계는, 상기 튜터링 이미지로부터, 튜터링 라인을 추출하는 단계와 상기 사용자 자세 라인을 상기 튜터링 라인에 대응시키는 단계와 상기 튜터링 라인을 기초로, 상기 대응된 상기 사용자 자세 라인을 스케일링 하는 단계와 상기 스케일링 결과를 기초로, 상기 자세 가이드 정보를 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 사용자 자세를 가이드하기 위한 자세 가이드 정보를 생성하는 단계는, 상기 튜터링 이미지로부터, 튜터링 라인을 추출하는 단계와 상기 튜터링 라인 중, 자세 정지 라인을 식별하는 단계와 상기 사용자 자세 라인 중, 상기 자세 정지 라인에 대응되는 라인의 정보를 추출하는 단계와 상기 자세 정지 라인 및 상기 대응되는 라인의 정보를 기초로, 상기 자세 가이드 정보를 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 사용자 자세를 가이드하기 위한 자세 가이드 정보를 생성하는 단계는, 상기 튜터링 이미지로부터, 튜터링 라인을 추출하는 단계와 상기 사용자 자세 라인 중, 상기 튜터링 라인에 대응되는 오브젝트 라인을 추출하는 단계와 상기 튜터링 라인의 각도가 튜터링 모션에 의해 변경되는 경우, 상기 변경된 각도를 갖는 튜터링 라인에 대응되는 튜터링 타겟 라인을 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 획득된 이미지 및 상기 자세 가이드 정보를 결합하여 디스플레이하는 단계는, 상기 제2 영역에 상기 생성된 튜터링 타겟 라인을 디스플레이하는 단계와 상기 생성된 튜터링 타겟 라인과 상기 오브젝트 라인의 각도 차이를 기초로, 상기 튜터링 타겟 라인을 향해 상기 오브젝트 라인을 가이드 하기 위한 가이드 라인을 생성하는 단계와 상기 제2 영역에 상기 생성된 가이드 라인을 디스플레이하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제2 영역에 상기 생성된 가이드 라인을 디스플레이하는 단계는, 상기 생성된 튜터링 타겟 라인을 기초로, 상기 오브젝트 라인의 움직임에 반응하여 길이 및 방향 중 적어도 하나를 변경하여 상기 가이드 라인을 디스플레이하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제2 영역에 상기 생성된 가이드 라인을 디스플레이하는 단계는, 상기 오브젝트 라인이 움직임에 따라, 상기 오브젝트 라인과 상기 튜터링 타겟 라인이 매칭되는지 판단하는 단계와 상기 판단 결과를 기초로, 상기 사용자 자세에 대한 피드백 정보를 생성하는 단계와 상기 생성된 피드백 정보를 디스플레이하는 단계를 포함할 수 있다.
일 실시예에서, 상기 피드백 정보를 디스플레이하는 단계는, 상기 오브젝트 라인 및 상기 튜터링 타겟 라인이 미리 설정된 시간 동안 오버랩됨에 따라, 상기 튜터링 타겟 라인의 색상을 변경하여 디스플레이하는 단계를 포함할 수 있다.
일 실시예에서, 상기 피드백 정보를 디스플레이하는 단계는, 상기 오브젝트 라인의 움직임이 발생 후, 상기 오브젝트 라인과 상기 튜터링 타겟 라인의 각도 차이를 제1 연산하는 단계와 상기 제1 연산된 각도 차이가 미리 설정된 범위를 초과하는 경우, 상기 튜터링 이미지에 대한 제1 수정 튜터링 이미지를 생성하는 단계와 상기 제1 영역에 디스플레이 중인 상기 튜터링 이미지를, 상기 제1 수정 튜터링 이미지로 교체하여 출력하는 단계를 포함할 수 있다.
일 실시예에서, 상기 오브젝트 라인과 상기 튜터링 타겟 라인이 매칭되는지 판단하는 단계는, 상기 오브젝트 라인의 움직임이 발생 후, 상기 오브젝트 라인과 상기 튜터링 타겟 라인의 각도 차이를 제1 연산하는 단계와 상기 제1 연산된 각도 차이가 미리 설정된 범위 내의 값을 갖는 횟수를 카운트하는 단계와 상기 카운트된 횟수를 기초로, 상기 오브젝트 라인과 상기 튜터링 타겟 라인이 매칭되는지 판단하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제1 수정 튜터링 이미지로부터, 제1 수정 튜터링 라인을 추출하는 단계와 상기 제1 수정 튜터링 라인의 각도가 튜터링 모션에 의해 변경되는 경우, 상기 변경된 각도를 갖는 제1 수정 튜터링 라인에 대응되는 제1 수정 튜터링 타겟 라인을 생성하는 단계와 상기 제2 영역에 상기 생성된 제1 수정 튜터링 타겟 라인을 디스플레이하는 단계와 상기 오브젝트 라인의 움직임이 발생 후, 상기 오브젝트 라인과 상기 제1 수정 튜터링 타겟 라인의 각도 차이를 제2 연산하는 단계와 상기 제2 연산된 각도 차이를 기초로, 상기 자세 가이드 정보를 재생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 자세 가이드 정보를 재생성하는 단계는, 상기 제2 연산된 각도 차이가 미리 설정된 범위 이내인 경우, 상기 튜터링 이미지에 대한 제2 수정 튜터링 이미지를 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제1 수정 튜터링 이미지를 생성하는 단계는, 생체정보 인식 장치로부터, 사용자의 생체 정보를 획득하는 단계와 상기 획득된 생체 정보를 기초로, 상기 제1 수정 튜터링 이미지를 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 카운트된 횟수를 기초로, 상기 오브젝트 라인과 상기 튜터링 타겟 라인이 매칭되는지 판단하는 단계는, 상기 카운트된 횟수가 미리 설정된 횟수 미만인 경우, 생체정보 인식 장치로부터, 사용자의 생체 정보를 획득하는 단계를 포함하고, 상기 사용자 자세에 대한 피드백 정보를 생성하는 단계는, 상기 획득된 생체 정보를 기초로, 상기 피드백 정보를 생성하는 단계를 포함할 수 있다.
상기 기술적 과제를 해결하기 위한 자세 가이드 제공 프로그램은 컴퓨팅 장치와 결합하여, 사용자 자세에 대한 이미지를 획득하는 단계와 디스플레이부의 제1 영역에 튜터링 이미지를 디스플레이하고, 상기 디스플레이부의 제2 영역에 상기 획득된 이미지를 디스플레이하는 단계와 미리 설정된 기계 학습 모델을 이용하여, 상기 획득된 이미지로부터 특징점을 추출하는 단계와 상기 추출된 특징점을 기초로 상기 사용자 자세에 대응하는 사용자 자세 라인을 생성함으로써, 사용자 자세 정보를 획득하는 단계와 상기 튜터링 이미지 및 상기 사용자 자세 정보를 기초로, 상기 사용자 자세를 가이드하기 위한 자세 가이드 정보를 생성하는 단계와 상기 디스플레이부의 제2 영역에 상기 획득된 이미지 및 상기 자세 가이드 정보를 결합하여 디스플레이하는 단계를 실행시키기 위하여, 기록매체에 저장될 수 있다.
상기 기술적 과제를 해결하기 위한 자세 가이드 제공 장치는, 하나 이상의 프로세서와 사용자 자세에 대한 이미지를 획득하는 카메라와 제1 영역에 튜터링 이미지를 디스플레이하고, 제2 영역에 상기 획득된 이미지를 디스플레이하는 디스플레이부와 상기 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리와 상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되, 상기 컴퓨터 프로그램은, 미리 설정된 기계 학습 모델을 이용하여, 상기 획득된 이미지로부터 특징점을 추출하는 오퍼레이션과 상기 추출된 특징점을 기초로 상기 사용자 자세에 대응하는 사용자 자세 라인을 생성함으로써, 사용자 자세 정보를 획득하는 오퍼레이션과 상기 튜터링 이미지 및 상기 사용자 자세 정보를 기초로, 상기 사용자 자세를 가이드하기 위한 자세 가이드 정보를 생성하는 오퍼레이션과 상기 디스플레이부의 상기 제2 영역에 상기 획득된 이미지 및 상기 자세 가이드 정보가 결합되어 디스플레이되도록 제어하는 오퍼레이션을 포함할 수 있다.
본 발명의 일 실시예에 따르면, 사용자가 별도의 장비를 구매하지 않더라도, 2차원 카메라와 디스플레이 장치에 자세 가이드 솔루션이 적용됨으로써, 서비스 이용이 가능하다. 또한, 이와 같은 솔루션은 단순 운동, 춤 동작뿐만 아니라, 재활 운동 분야의 자세 가이드 서비스에도 이용될 수 있으며, 사용자의 자세 및 동작의 측정이 필요한 모든 경우에 그 적용이 확장될 수 있는 장점이 있다.
또한, 본 발명의 다른 실시예에 따르면, 사용자의 자세에 있어서 교정이 필요한 정도를 실시간으로 시각적 가이드로 제공하여, 사용자가 실시간으로 자세를 교정할 수 있는 서비스가 제공되는 효과가 있다.
또한, 본 발명의 또 다른 실시예에 따르면, 사용자의 현재 상태를 분석하여, 제공 중인 튜터링 자세를 수정함으로써, 사용자에게 최적의 자세가 가이드 되는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 자세 가이드 제공 장치의 개념도이다.
도 2는 본 발명의 다른 실시예에 따른 자세 가이드 제공 장치의 블록(Block)도이다.
도 3은 본 발명의 또 다른 실시예에 따른 자세 가이드 제공 방법의 순서도이다.
도 4는 본 발명의 몇몇 실시예에서 참조되는, 튜터링 이미지와 사용자의 자세에 대한 이미지를 설명하기 위한 예시도이다.
도 5 및 도 6은 본 발명의 몇몇 실시예에서 참조되는, 가이드 정보를 설명하기 위한 예시도이다.
도 7 및 도 8은 본 발명의 몇몇 실시예에서 참조되는, 정지 자세 정보를 기초로 생성되는 자세 가이드 정보를 설명하기 위한 예시도이다.
도 9 및 도 10은 본 발명의 몇몇 실시예에서 참조되는, 복수의 오브젝트 라인을 설명하기 위한 예시도이다.
도 11 및 도 12는 본 발명의 몇몇 실시예에서 참조되는, 사용자의 위치 이동 시의 사용자 자세 인식 솔루션을 설명하기 위한 예시도이다.
도 13은 본 발명의 또 다른 실시예에 따른, 튜터링 레벨 조절 방법의 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
본 명세서에서, 사용자 자세에 대한 이미지 및 튜터링 이미지는, 복수의 이미지 프레임을 포함하는 동영상일 수 있다. 예를 들어, 튜터링 이미지는, 튜터가 특정 동작을 반복하는 이미지일 수 있으며, 몇몇 실시예에 따르면, 상기 특정 동작은, 요가 동작, 필라테스 동작, 재활 운동 동작, 근력 운동 동작, 춤 동작, 게임 동작 중 어느 하나일 수 있다.
도 1은 본 발명의 일 실시예에 따른 자세 가이드 제공 장치의 개념도이다.
도 1을 참조하면, 자세 가이드 제공 장치(100)는 개인용 데스크톱 PC, 스마트 TV와 같은 고정식 컴퓨팅 장치로서, 특히, 디스플레이부(10)와 카메라(20)를 포함한 멀티미디어 재생 장치일 수 있으나, 본 발명의 실시예는 이에 한정되지 않는다. 즉, 자세 가이드 제공 장치(100)는, 스마트 폰, 태블릿 PC, 랩톱 PC, PDA와 같은 이동식 컴퓨팅 장치일 수도 있고, VR(Virtual Reality) 영상 장치, AR(Augmented Reality) 영상 장치 등과 같은 컴퓨팅 장치 중 어느 하나일 수도 있으며, 사용자의 자세에 대한 영상을 디스플레이할 수 있으면, 자세 가이드 제공 장치(100)일 수 있다.
자세 가이드 제공 장치(100)는 카메라(20)를 통해 사용자(40)에 대한 이미지를 획득하고, 획득된 사용자 이미지(41)를 디스플레이부(10)를 통해 디스플레이할 수 있다. 또한, 자세 가이드 제공 장치(100)는, 사용자에게 자세를 튜터링하는 튜터링 이미지(30)를 디스플레이할 수도 있다. 튜터링 이미지(30)는 미리 저장된 프로그램의 실행에 의해 생성되고 출력되는 가상 튜터에 대한 이미지일 수 있으며, 또한, 실제 튜터의 튜터링 영상이 촬영된 후, 재생되는 이미지일 수도 있다. 또는, 실제 튜터의 튜터링 영상을 기초로, 가공된 이미지일 수도 있다.
자세 가이드 제공 장치(100)는, 튜터링 이미지(30)를 보고, 튜터링 자세를 따라하는 사용자(40)의 사용자 자세 이미지(41)로 획득하고, 사용자 자세 이미지(41)가 튜터링 이미지(30)에 매칭되는 정도를 피드백 정보(50)로서 제공할 수 있다. 도 1에서, 특히, 튜터링 이미지(30)와 사용자 자세 이미지(41)가 동시에 디스플레이부(10)를 통해 디스플레이되는 경우가 예시되었다. 피드백 정보(50)는 튜터링 이미지(30) 및 사용자 자세 이미지(41)의 오른쪽에 위치한 경우가 도시되었으나, 본 발명의 실시예는 이에 한정되지 않으며, 피드백 정보(50)는 튜터링 이미지(30) 및 사용자 자세 이미지(41)의 하단에 위치할 수도 있다.
상술한 도 1의 자세 가이드 제공 장치(100)는 상술한 구성 외에, 사용자의 생체 정보를 획득하기 위한 웨어러블 디바이스 또는 신체 접촉형 센서와 연결되거나 통신할 수 있다. 예를 들어, 자세 가이드 제공 장치(100)는 근전도 측정 장치와 접속 또는 통신함으로써, 사용자의 근육 활동 정보 등 상태 정보를 수집할 수 있다. 또한, 도 1의 자세 가이드 제공 장치(100)는 카메라(20)와 디스플레이부(10)와 일체형인 경우가 예로써 도시되었으나, 본 발명의 다른 실시예에 따르면, 카메라(20) 및 디스플레이부(10)가 자세 가이드 제공 장치(100)와 별도 구성으로 존재할 수도 있다. 카메라(20) 및 디스플레이부(10)는, 본 발명의 실시예에 따른 자세 가이드 제공 장치(100)에 특화된 장비가 아니며, 범용 장비로서 자세 가이드 제공 장치(100)에 적용된 것일 수 있다.
다음으로, 도 2를 참조하여 자세 가이드 제공 장치(100)에 대하여 보다 구체적으로 설명하도록 한다. 도 2는 본 발명의 다른 실시예에 따른 자세 가이드 제공 장치(100)의 블록(Block)도이다. 특히, 도 2에서, 자세 가이드 제공 장치(100)가 카메라(20)와 디스플레이부(10)를 구성요소로 포함하는 경우가 예시되었다.
자세 가이드 제공 장치(100)는 하나 이상의 프로세서(101), 외부 디바이스가 연결되거나, 외부 디바이스와 통신하는 네트워크 인터페이스(102), 프로세서(101)에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리(103)와, 컴퓨터 프로그램을 저장하는 스토리지(104)를 포함할 수 있다.
프로세서(101)는 자세 가이드 제공 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(101)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(101)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 자세 가이드 제공 장치(100)는 하나 이상의 프로세서를 구비할 수 있다.
네트워크 인터페이스(102)는 자세 가이드 제공 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 네트워크 인터페이스(102)는 공중 통신망인 인터넷 외에 다양한 통신 방식을 지원할 수도 있다. 또한, 네트워크 인터페이스(102)는 외부 디바이스와의 연결을 제공할 수도 있다. 이를 위해, 네트워크 인터페이스(102)는 본 발명의 기술 분야에 잘 알려진 통신 모듈 및 접속 단자 중 적어도 하나를 포함하여 구성될 수 있다. 여기에서 외부 디바이스는, 사용자의 근전도를 측정하기 위한 센서, 사용자의 생체 정보를 측정하기 위한 웨어러블 디바이스, 또는 신체 접촉형 센서 장치일 수 있다.
메모리(103)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(103)는 본 발명의 실시예들에 따른 방법들을 실행하기 위하여 스토리지(104)로부터 하나 이상의 프로그램(105)을 로드(load)할 수 있다. 도 3에서 메모리(103)의 예시로 RAM이 도시되었다.
스토리지(104)는 상기 하나 이상의 프로그램(105), 튜터링 자세 데이터(106) 및 학습 데이터(107)를 비임시적으로 저장할 수 있다. 도 3에서 상기 하나 이상의 프로그램(105)의 예시로 자세 가이드 제공 소프트웨어(105)가 도시되었다. 자세 가이드 제공 소프트웨어(105)는, 자세 가이드 제공 프로그램으로 칭해질 수도 있다.
스토리지(104)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
자세 가이드 제공 소프트웨어(105)는 본 발명의 실시예에 따라, 자세 가이드 제공 장치(100)가 디스플레이부(10)를 통해 각종 사용자 인터페이스(UI)를 제공하도록 지원할 수 있다. 또한, 본 발명의 실시예에 따르면, 자세 가이드 제공 소프트웨어(105)는 후술할 학습 데이터(107)를 기반으로 생성된 기계 학습 모델을 포함할 수 있다.
프로세서(101)에 의해 기계 학습 모델이 구동됨에 따라, 다수의 사용자 자세 이미지 프레임을 분석하여 특징점을 추출할 수 있다. 여기에서, 기계 학습 모델은, 인공 신경망을 포함할 수 있으며, 컨볼루션 신경망(convolution neural network: CNN), 오토 인코더(auto encoder), 피드포워드 신경망(feedforward neural network), 방사 신경망(radial basis function network), 코헨 자기조직 신경망(kohonen self-organizing network), 순환 신경망(RNN:recurrent neural network) 중 적어도 하나를 포함하여 구성될 수 있다.
예를 들어, 기계 학습 모델이 컨볼루션 신경망에 의한 것일 경우, 프로세서(101)에 의해 기계 학습 모델이 구동됨에 따라, 사용자 자세 이미지(41)의 특징 값이 필터링되고, 컨볼루션 계산을 통해 여러 이미지 픽셀 중 특정한 값만 새롭게 취해진다. 이를 반복 학습함으로써, 원하는 특징점이 추출될 수 있다.
상기 특징점은, 사용자 신체의 관절 부위인 신체의 일부일 수 있다. 상기 특징점은 프로세서(101)가 자세 가이드 제공 프로그램(105)을 실행함으로써 파악할 수 있는 신체의 일부로서, 예를 들어, 사람의 신체의 일부인 눈, 코, 입, 어깨, 팔꿈치, 손목, 가슴, 골반, 무릎, 발목 등에 대응되는 점, 또는 상기 신체의 일부에 대응되는 선을 구성하는 점일 수 있다.
학습 데이터(107)는 이와 같은 기계 학습을 통해 축적된 특징점 추출 결과 데이터일 수 있다. 또는, 학습 데이터(107)는 기계 학습 모델링을 위한 특징점 데이터일로서 피드(Feed) 데이터일 수도 있다.
자세 가이드 제공 소프트웨어(105)는 이와 같은 기계 학습 모델이 확장된 알고리즘으로서, 이를 구동함으로써, 자세 가이드 제공 장치(100)는, 아래와 같은 기능을 수행할 수 있다.
예를 들어, 자세 제공 장치(100)는 컨피던스 맵을 이용하여 특징점을 인식할 수 있다. 또한, 자세 가이드 제공 장치(100)는 예를 들어, PAF(Part Affinity Fields)를 이용하여 특징점을 기준으로 방향성 및 유사성을 분석함으로써, 각각의 특징점을 연관 지을 수 있다. 즉, 자세 제공 장치(100)는 각 특징점을 연관 짓고 연결함으로써 라인을 생성할 수 있으며, 생성된 라인은 사용자 신체의 뼈에 대응된다. 예를 들어, 손목의 특징점과 팔꿈치의 특징점을 연결한 라인은, 사람의 팔꿈치 이하 팔 뼈에 대응된다.
또한, 자세 가이드 제공 장치(100)는 예를 들어, Greedy 알고리즘을 이용하여 특징점의 움직임을 분석할 수 있다. 라인을 지속적으로 트래킹(Tracking)함으로써, 자세 가이드 제공 장치(100)는 사용자의 자세에 대응되는 라인의 움직임을 식별할 수 있다.
여기에서, 컨피던스 맵은 조직의 탄성도 데이터를 신뢰도에 따라 구분해 표시하는 기능을 말한다. 또한, PAF(Part Affinity Fields)는 비 매개 변수를 사용하여 신체 부위를 이미지의 개인과 연관시키는 방법을 말한다. 또한, Greedy 알고리즘은 전체 문제를 해결해 나갈 때 매순간　탐욕적인 선택을 해 나가면서 전체 문제를 해결하는 알고리즘을 말한다.
튜터링 자세 데이터(106)는 다수의 튜터 이미지 프레임을 포함하는, 연속적인 자세 데이터일 수 있다. 튜터 자세 데이터(106)는 튜터 이미지 상의 특징점 및/또는 라인 정보를 포함할 수 있다.
자세 가이드 제공 장치(100)는 자세 가이드 제공 소프트웨어(105)를 실행함에 따라, 튜터링 자세 데이터(106)를 활용하여, 튜터링 이미지를 생성, 또는 수정할 수 있다.
자세 가이드 제공 장치(100)는 자세 가이드 제공 소프트웨어(105)를 실행함에 따라, 사용자 자세 이미지를 튜터 자세 데이터(106) 상의 튜터 이미지를 기준으로 스케일링할 수도 있다.
또한, 도시되지 않았으나, 자세 가이드 제공 장치(100)는 본 발명의 실시예에 따른 피드백 정보를 음성 출력하기 위한 음향 출력부를 포함할 수도 있다.
도 3은 본 발명의 또 다른 실시예에 따른 자세 가이드 제공 방법의 순서도이다. 도 4는 본 발명의 몇몇 실시예에서 참조되는, 튜터링 이미지와 사용자의 자세에 대한 이미지를 설명하기 위한 예시도이다.
이하의 각 단계는 자세 가이드 제공 장치(100)에 의해 수행되며, 특히, 이하의 각 단계는 프로세서(101)가 자세 가이드 제공 소프트웨어(105)에 따른 연산을 수행함에 따라 수행된다. 또한, 도 4에서 특히, 디스플레이부(10)의 제1 영역은 튜터 이미지가 디스플레이되는 왼쪽 영역이고, 제2 영역은 사용자 자세 이미지가 디스플레이되는 오른쪽 영역인 경우가 예로써 도시되었다. 또한, 도 4에서, 제1 영역 및 제2 영역의 하단 영역에 피드백 정도가 디스플레이된 경우가 예시되었다.
도 3을 참조하면, 자세 가이드 제공 장치(100)는 카메라(20)를 통해 사용자 자세에 대한 이미지를 획득할 수 있다(S10).
도 3 및 도 4를 참조하면, 자세 가이드 제공 장치(100)는 디스플레이부(10)의 제1 영역에 튜터링 이미지(30)를 디스플레이하고, 2 영역에 획득된 이미지(41)를 디스플레이할 수 있다(S20).
다음으로, 자세 가이드 제공 장치(100)는, 획득된 이미지(41)로부터 특징점을 추출할 수 있다(S30). 또한, 자세 가이드 제공 장치(100)는, 추출된 특징점을 기초로 사용자 자세에 대응하는 사용자 자세 라인을 생성함으로써, 사용자 자세 정보를 획득할 수 있다(S40). 여기에서, 사용자 자세 정보는, 사용자 자세를 구성하는 각 뼈대 사이의 각도, 길이와 같은 정보일 수 있다. 사용자 자세 라인에 대한 설명은, 도 6에 대한 설명에서 후술한다.
또한, 자세 가이드 제공 장치(100)는, 사용자 자세를 가이드하기 위한 자세 가이드 정보를 생성하고(S50), 획득된 사용자 자세 이미지 및 자세 가이드 정보를 결합하여 디스플레이할 수도 있다(S60).
단계(S50) 및 단계(S60)에 대하여, 도 5 및 도 6을 참조하여 자세히 설명한다. 도 5 및 도 6은 본 발명의 몇몇 실시예에서 참조되는, 자세 가이드 정보를 설명하기 위한 예시도이다.
도 5를 참조하면, 자세 가이드 제공 장치(100)는 튜터링 이미지(30)에서, 튜터링 모션을 디스플레이할 수 있다. 특히, 도 5에서, 튜터링 모션(501)의 예로써, 튜터가 양 팔을 위로 들고 있는 동작(이하, 제1 동작)에서 아래로 내리는 동작(이하, 제2 동작)을 동작을 변경하는 경우가 도시되었다.
자세 가이드 제공 장치(100)는 튜터링 모션(501)을 식별할 수 있으며, 튜터링 모션(501)에 반응하여, 사용자 자세가 변경되면, 이에 대한 이미지를 획득하고 사용자 자세 이미지(41)의 변경을 디스플레이 할 수 있다. 이때, 자세 가이드 제공 장치(100)는 사용자 자세에 대한 이미지를 제2 영역에 디스플레이하며, 사용자의 양팔에 대한 자세 가이드 정보를 디스플레이할 수 있다. 도 5에서, 자세 가이드 정보의 예로써, 자세 가이드 라인(511, 521)이 도시되었으며, 자세 가이드 라인(511) 및 자세 가이드 라인(521)은 각각 팔의 골격 구조를 이루는 뼈대의 움직임을 가이드하기 위한 라인이다. 특히, 가이드 라인은 방향성을 갖는 화살표로 표시되었으나, 본 발명의 실시예는 이에 한정되지 않는다.
한편, 도 5 및 도 6를 참조하면, 자세 가이드 제공 장치(100)는, 피드백 정보를 디스플레이할 수 있다. 이때, 피드백 정보는 사용자 자세 이미지가 움직이는 동안에는, 텍스트 형식의 가이드 정보를 포함할 수 있다. 예를 들어, 오른쪽 어깨 자세를 수정하라는 내용의 텍스트가 가이드 정보로 디스플레이될 수 있다.
한편, 사용자 자세 이미지가 미리 설정된 시간 이상 정지되어 있는 경우의 피드백 정보는, 튜터링 이미지와 사용자 자세 이미지의 매칭률을 포함할 수도 있다. 자세 가이드 제공 장치(100)는 사용자 자세 이미지가 미리 설정된 시간 이상 정지된 경우, 사용자가 튜터링 이미지를 따라 움직이다가 움직임 동작이 완료된 것으로 판단할 수 있다. 이에 따라, 자세 가이드 제공 장치(100)는 튜터링 이미지 및 사용자 자세 이미지의 유사 정도를 분석하고, 유사 정도를 수치화한 정보를 디스플레이할 수도 있다.
도 6을 참조하면, 자세 가이드 정보는, 가이드 라인(603, 605)뿐만 아니라, 튜터링 타겟 라인(601)을 포함할 수도 있다. 도 6에서, 튜터링 이미지(30) 상에서 튜터가 양팔을 위로 올림에 따라, 사용자 자세 이미지(41) 상의 튜터링 타겟 라인(601)이 디스플레이되고, 사용자 자세 이미지(41)에 대한 가이드 라인(603, 605)가 디스플레이된 경우가 예로써 도시되었다.
튜터링 타겟 라인이란, 제1 영역에 디스플레이된 튜터링 이미지(30) 상에서 튜터의 자세를 기초로 추출된 튜터링 라인에 대응되는 라인이다. 즉, 튜터링 라인은 사용자 자세 이미지가 따라해야 할 동작 라인이지만, 제1 영역에 디스플레이되어, 직접적으로 사용자 자세 이미지와 비교하는데 불편이 따를 수 있다. 이에, 자세 가이드 제공 장치(100)는, 제1 영역의 튜터링 라인에 대응되는 튜터링 타켓 라인(601)을 사용자 자세 이미지의 목표 라인으로 삼고, 이를 카메라(20)를 통해 획득된 사용자 자세 이미지(41)와 결합하여 제2 영역 상에 디스플레이할 수 있다. 이때, 사용자 자세 이미지(41)와 튜토링 타겟 라인(601)의 각도 차이가 발생하는 경우, 자세 가이드 제공 장치(100)는, 사용자 자세 이미지(41)가 튜터링 타겟 가이드(601)를 따르도록, 가이드 라인(603, 605)을 디스플레이할 수 있다.
한편, 도 6에서, 사용자 자세 이미지(41) 상에서 사용자 자세 라인(620)이 도시되었다. 사용자 자세 라인이란, 사용자 자세 이미지 상에서 추출된 특징점으로 연결된 라인으로써, 도 2에 대한 설명에서 전술한 방법에 따라, 자세 가이드 제공 장치(100)가 생성할 수 있다.
도 7 및 도 8은 본 발명의 몇몇 실시예에서 참조되는, 정지 자세 정보를 기초로 생성되는 자세 가이드 정보를 설명하기 위한 예시도이다.
도 3의 단계(S50)에서, 자세 가이드 제공 장치(100)는, 튜터링 이미지(30)로부터, 튜터링 라인을 추출하고, 사용자 자세 라인을 상기 튜터링 라인에 대응시킬 수 있다.
도 7을 참조하면, 자세 가이드 제공 장치(100)는, 튜터링 이미지(30)로부터, 튜터링 라인(701, 702, 703, 705, 707)을 추출할 수 있으며, 사용자 자게 이미지(41)로부터 사용자 자세 라인(711, 712, 713, 715, 717)을 추출할 수 있다. 다음으로, 자세 가이드 제공 장치(100)는, 사용자 자세 라인(711, 712, 713, 715, 717)을 튜터링 라인(701, 702, 703, 705, 707)에 각각 대응시킬 수 있다.
이때, 대응되는 사용자 자세 라인과 튜터링 라인은 길이 및 비율이 서로 다르다. 즉, 몸통에 해당하는 튜터링 라인(703)과 사용자 자세 라인(713)은 길이가 서로 다르며, 이에 따라, 양자의 비율이 달라진다. 또한, 몸통에 대한 튜터링 라인(703) 및 팔에 대한 튜터링 라인(705)의 상호 길이 비율과, 몸통에 대한 사용자 자세 라인(713) 및 팔에 대한 사용자 자세 라인(715)의 상호 길이 비율이 다르다. 이 경우, 튜터링 모션에 의해 몸통에 대한 튜터링 라인(703) 및 팔에 대한 튜터링 라인(705) 사이에 특정 각도가 발생되는 경우의 운동량과, 튜터링 모션과 같은 움직임으로 사용자가 움직이더라도, 몸통에 대한 사용자 자세 라인(713) 및 팔에 대한 사용자 자세 라인(715) 사이 발생하는 운동량은 서로 다를 수 있다.
튜터링 모션이 재활 운동과 같이 자세 및 운동량이 사용자의 건강에 중대한 영향을 끼치는 경우, 부적절한 자세 또는 과다 운동량으로 부작용 발생하는 경우를 방지하기 위하여, 자세 가이드 제공 장치(100)는 튜터링 라인을 기준으로, 사용자 자세 라인을 스케일링할 수 있다. 즉, 각 사용자 자세 라인의 길이, 비율을 튜터링 라인의 길이 및 비율에 맞게 스케일링할 수 있으며, 자세 가이드 제공 장치(100)는 이와 같은 스케일링 후, 이를 기초로, 사용자 자세 라인에 대한 자세 가이드 정보를 생성할 수 있다. 일 실시예에 따르면, 도 5 및 도 6에 대한 설명에서 상술한, 가이드 라인 및 튜터링 타겟 라인이 사용자 자세 이미지를 기초로, 사용자 맞춤형으로 변경될 수 있다. 보다 구체적으로, 튜터링 모션 이후의 튜터링 라인과 튜터링 타겟 라인의 각도가 서로 다를 수 있다.
본 발명의 다른 실시예에 따르면, 자세 가이드 제공 장치(100)는, 튜터링 이미지 상에서 튜터링 모션이 가해지는, 튜터링 라인(705)을 식별할 수 있다. 또한, 자세 가이드 제공 장치(100)는, 사용자 자세 라인 중, 식별된 튜터링 라인(705)에 대응되는 오브젝트 라인(715)를 추출할 수 있다. 여기에서 오브젝트 라인이란, 튜터링 모션을 따라, 움직임의 대상이 되는 사용자 자세 라인을 의미한다. 자세 가이드 제공 장치(100)는 튜터링 라인(705)의 각도가 튜터링 모션에 의해 변경되는 경우, 튜터링 라인(705)에 대응되는 튜터링 타겟 라인을 생성할 수 있다.
도 8에서, 튜터링 타겟 라인(730)이 예로써 도시되었다. 자세 가이드 제공 장치(100)는, 제2 영역에 생성된 튜터링 타겟 라인(730)을 디스플레이할 수 있다.
자세 가이드 제공 장치(100)는, 도 3의 단계(S60)에서, 제2 영역에 생성된 튜터링 타겟 라인을 디스플레이할 수 있다. 또한, 자세 가이드 제공 장치(100)는 생성된 튜터링 타겟 라인과 오브젝트 라인의 각도 차이를 기초로, 튜터링 타겟 라인을 향해 상기 오브젝트 라인을 가이드 하기 위한 가이드 라인을 생성할 수 있다.
도 7에서, 가이드 라인(720)이 예로써 도시되었다. 자세 가이드 제공 장치(100)는, 제2 영역에 생성된 가이드 라인(720)을 디스플레이할 수 있다.
본 발명의 또 다른 실시예를 참조하면, 자세 가이드 제공 장치(100)는, 튜터링 라인(701, 702, 703, 705, 707) 중, 자세 정지 라인을 식별할 수 있다. 도 7에서 자세 정지 라인이란, 튜터링 라인(701, 702, 703, 707)으로 튜터링 라인(705)를 제외한 라인이다. 자세 가이드 제공 장치(100)는, 자세 정지 라인에 대응되는 사용자 자세 라인(711, 712, 713, 717)의 정보를 추출할 수 있다.
자세 가이드 제공 장치(100)는 자세 정지 라인 및 대응되는 라인의 정보를 기초로, 자세 가이드 정보를 생성할 수도 있다. 도 7을 참조하면, 자세 정지 라인 중, 튜터링 라인(701) 및 튜터링 라인(703) 사이의 각도는 기울어져 있는데, 사용자 자세 라인(711) 및 사용자 자세 라인(713)은 직선을 이루고 있다. 즉, 동작 라인(705)이 아닌 나머지 자세 정지 라인의 역학 구조와 오브젝트 라인(715)이 아닌 나머지 사용자 자세 라인의 역학 구조가 서로 다른다. 이 경우, 튜터링 모션이 동일하게 적용되더라도, 튜터링 이미지 상의 튜터의 운동량과 사용자 자세 이미지 상의 운동량은 서로 다를 수 있다. 자세 가이드 제공 장치(100)는 서로 다른 역학 구조를 고려하여, 사용자에 적합한 운동량을 연산하고, 이를 기초로, 가이드 라인 및 튜터 타겟 가이드의 길이 및 각도 중 적어도 하나를 조절할 수 있다.
지금까지, 자세 가이드 정보를 생성하는 방법으로, 튜터링 타겟 라인 및 사용자 자세 라인의 길이, 비율 및 각도에 대하여 설명하였으나, 본 발명의 실시예는 이에 한정되지 않는다. 자세 가이드 제공 장치(100)는, 튜터링 타겟 라인 및 사용자 자세 라인 상의 특징점 좌표를 비교하거나, 화면을 분할하여 픽셀 단위로 비교함으로써, 튜터링 타겟 라인 및 사용자 자세 라인의 매칭률을 판단하고, 자세 가이드 정보를 생성할 수도 있다.
도 7 및 도 8을 참조하면, 자세 가이드 제공 장치(100)는, 제2 영역에 생성된 가이드 라인(720)을 디스플레이할 수 있으며, 생성된 튜터링 타겟 라인(730)을 기초로, 오브젝트 라인(715)의 움직임에 반응하여 길이 및 방향 중 적어도 하나를 변경하여 가이드 라인(720)을 디스플레이할 수 있다. 즉, 튜터링 타겟 라인을 기준으로, 사용자가 움직임에 따라, 오브젝트 라인(715)이 튜터링 타겟 라인을 향하여 가까워지고, 각도도 줄어든다. 이 경우, 가이드 라인(720)는 점점 길이가 줄고, 각도도 줄어든다.
계속하여 오브젝트 라인(715)이 튜터링 타겟 라인을 향하여 가까워짐에 따라, 자세 가이드 제공 장치(100)는 오브젝트 라인과 상기 튜터링 타겟 라인이 매칭되는지 판단할 수 있다. 자세 가이드 제공 장치(100)는 매칭여부에 대한 판단 결과를 기초로, 사용자 자세에 대한 피드백 정보를 생성하고 피드백 정보를 디스플레이할 수 있다.
이때, 자세 가이드 제공 장치(100)는 오브젝트 라인(715) 및 튜터링 타겟 라인이 미리 설정된 시간 동안 오버랩됨에 따라, 튜터링 타겟 라인의 색상을 변경하여 디스플레이할 수도 있다. 즉, 사용자가 튜터링 모션을 따라 움직이다가 사용자 자세 라인이 튜터링 타겟 라인에 위치하게 되고, 이때, 사용자 튜터링 자세 라인이 튜터링 타켓 라인에 미리 설정된 시간을 초과하여 위치하는 경우, 자세 가이드 제공 장치(100)는 제1 색상의 튜터링 타겟 가이드의 색상을 제2 색상으로 변경하여 디스플레이할 수 있다.
도 9 및 도 10은 본 발명의 몇몇 실시예에서 참조되는, 복수의 오브젝트 라인을 설명하기 위한 예시도이다.
도 9를 참조하면, 자세 가이드 제공 장치(100)는, 튜터링 라인(901)에 대응되는 사용자 자세 라인이 오브젝트 라인(911)임에도, 사용자 자세 라인(912)가 움직였으므로 틀렸음을 식별할 수 있다. 이 경우, 자세 가이드 제공 장치(100)는 오브젝트 라인(911)을 식별하고, 이에 대한 가이드 정보를 생성할 수 있다. 즉, 자세 가이드 제공 장치(100)는, 오브젝트 라인(911)에 대한 가이드 라인(920)이 디스플레이되도록 제어할 수 있다.
도 10을 참조하면, 도 9에 도시된 사용자 자세 이미지가 변경되었으며, 사용자가 양팔을 들고, 다리는 내리고 있는 경우가 예로써 도시되었다.
자세 가이드 제공 장치(100)는, 도 9의 경우와 마찬가지로, 오브젝트 라인(1014)에 대한 자세 가이드 정보를 생성할 수 있다. 또한, 자세 가이드 제공 장치(100)는, 도 9에서는 오브젝트 라인이 아니었던 사용자 양팔에 대응되는 라인(1011, 1012)를 오브젝트 라인으로 식별할 수 있다. 즉, 자세 가이드 제공 장치(100)는 도 9 대비 사용자의 자세 변화에 대응하여 신규 오브젝트 라인(1011, 1012)을 식별하고, 이에 대한 자세 가이드 정보를 생성할 수 있다. 도 10에서, 생성된 자세 가이드 정보의 예로써, 가이드 라인(1021, 1022)가 도시되었다.
도 11 및 도 12는 본 발명의 몇몇 실시예에서 참조되는, 사용자의 위치 이동 시의 사용자 자세 인식 솔루션을 설명하기 위한 예시도이다.
도 11 및 도 12를 참조하면, 사용자가 제2 영역의 중앙 위치(1100)에서 오른쪽으로 이동하거나, 왼쪽으로 이동하여도, 자세 가이드 제공 장치(100)는, 튜터링 라인과 이에 대응되는 사용자 자세 라인을 식별할 수 있다. 즉, 사용자가 중앙 위치(1100)를 기준으로 좌측 또는 우측으로 걸어가며 이동하더라도, 자세 가이드 제공 장치(100)의 기계 학습 모델은, 계속하여, 특징점을 트래킹함으로써, 대응되는 특징점을 추출해내고, 라인을 생성할 수 있다.
지금까지, 사용자 자세에 대한 자세 가이드 정보를 생성하고, 디스플레이하는 방법에 대하여 주로 설명하였다. 이하, 튜토링 타겟 라인 대비 오브젝트 라인이 반복된 오류를 보이는 경우, 사용자 상태 판단에 대한 실시예를 설명하도록 한다.
도 13은 본 발명의 또 다른 실시예에 따른, 튜터링 레벨 조절 방법의 순서도이다.
사용자의 움직임이 자세 가이드 정보를 못 따라오는 경우는, 고의 태만 또는 사용자의 신체 상태에 문제가 발생한 경우일 수 있다. 이하, 사용자 신체 상태에 문제가 발생한 것으로 가정한다. 사용자 신체 상태에 문제가 발생한 경우란, 사용자가 부상 등의 이유로 급작스레 튜터링 모션을 따라할 수 없게 되거나, 사용자에게 튜터링 모션이 어려운 경우 또는 재활 운동의 경우 아직 동작을 소화하기 어려운 경우일 수 있다.
도 13을 참조하면, 자세 가이드 제공 장치(100)는, 도 3의 단계(S60)에서 튜터링 타겟 라인과 가이드 라인을 제2 영역 상에 디스플레이할 수 있다(S1301).
다음으로, 자세 가이드 제공 장치(100)는, 오브젝트 라인의 움직임이 발생 후, 오브젝트 라인과 튜터링 타겟 라인의 각도 차이를 제1 연산할 수 있다(S1303). 여기에서 제1 연산은, 튜터링 레벨의 조절에 앞서, 사용자의 자세에 해당하는 오브젝트 라인과 튜터링 타겟 라인 사이의 각도 연산을 의미한다
자세 가이드 제공 장치(100)는, 제1 연산된 각도 차이가 미리 설정된 범위를 초과하지 판단할 수 있다(S1305). 판단 결과, 제1 연산된 각도 차이가 미리 설정된 범위를 초과하는 경우, 자세 가이드 제공 장치(100)는, 튜터링 레벨을 조절할 수 있다(S1307). 예를 들어, 자세 가이드 제공 장치(100)는, 튜터링 이미지에 대한 제1 수정 튜터링 이미지를 생성할 수 있다. 제1 수정 튜터링 이미지는, 기존의 튜터링 이미지 대비, 속도가 늦거나, 횟수가 적거나, 움직임 각도가 작을 수 있다. 즉, 사용자가 튜터링 타겟 라인을 따라하기가 용이하도록, 튜터링 타겟 라인의 각도가 낮아지거나, 가이드 라인의 길이가 줄어들 수 있다. 다음으로, 자세 가이드 제공 장치(100)는, 제1 영역에 디스플레이 중인 튜터링 이미지를, 셍성된 제1 수정 튜터링 이미지로 교체하여 출력할 수 있다. 이에 따라, 튜터리 이미지 상의 튜터의 동작이 사용자가 따라하기 쉬운 이미지로 변경되어 출력되게 된다.
구체적으로, 단계(S1307)에서, 자세 가이드 제공 장치(100)는, 제1 수정 튜터링 이미지로부터, 제1 수정 튜터링 라인을 추출할 수 있다. 이에 대한 설명은 도 7에서 설명한 방식과 동일하므로 생략한다.
제1 수정 튜터링 라인의 각도가 튜터링 모션에 의해 변경되는 경우, 자세 가이드 제공 장치(100)는, 변경된 각도를 갖는 제1 수정 튜터링 라인에 대응되는 제1 수정 튜터링 타겟 라인을 생성하고, 이를 제2 영역에 디스플레이할 수 있다.
자세 가이드 제공 장치(100)는, 또한, 오브젝트 라인의 움직임이 발생 후, 오브젝트 라인과 제1 수정 튜터링 타겟 라인의 각도 차이를 제2 연산할 수 있다. 또한, 자세 가이드 제공 장치(100)는, 제2 연산된 각도 차이를 기초로, 자세 가이드 정보를 재생성할 수도 있다. 예를 들어, 단계(S1307)에서 튜터링 레벨을 낮춘 후, 사용자가 낮은 수준의 튜터링 레벨을 잘 따라하는 경우이다. 이 경우, 자세 가이드 제공 장치(100)는 오브젝트 라인과 제1 수정 튜터링 타겟 라인의 각도 차이를 제2 연산하고, 제2 연산 결과를 바탕으로, 제2 수정 튜터링 이미지를 생성할 수 있다. 여기에서, 제2 수정 튜터링 이미지는, 제1 수정 튜터링 이미지 대비, 속도가 빠르거나, 횟수가 많거나, 움직임 각도가 큰 것일 수 있다. 즉, 자세 가이드 제공 장치(100)는 사용자 자세에 대한 자세 가이드 정보를 변경함으로써, 튜터링 수준을 높일 수 있다.
한편, 단계(S1305)에서 판단 결과, 제1 연산된 각도 차이가 미리 설정된 범위를 이내인 경우, 자세 가이드 제공 장치(100)는, 자세 가이드 정보를 생성하고, 튜터링 타겟 라인과 차이나는 각도만큼 가이드 라인을 생성하여 디스플레이할 수 있다. 또한, 자세 가이드 제공 장치(100)는 제1 연산된 각도 차이가 미리 설정된 범위 내의 값을 갖는 횟수를 카운트할 수 있다. 예를 들어, 미리 설정된 범위가 각도 10도인 경우, 자세 가이드 제공 장치(100)는 오브젝트 라인과 튜터링 타겟 라인 사이의 각도가 10도 이내로, 총 10회의 반복에 대하여 7회 이상 카운트되는 경우, 자세 가이드 제공 장치(100)는, 이를 기초로, 오브젝트 라인과 튜터링 타겟 라인이 매칭되는 것으로 판단할 수도 있다.
상기에서, 오브젝트 라인과 튜터링 타겟 라인의 각도 차이를 제1 연산한 결과가 미리 설정된 범위를 초과하는 경우, 사용자 신체 상태에 문제가 발생한 경우를 예로 들어 설명하였으나, 우연에 의한 오류 발생, 사용자 고의 태만 또는 기타 사유를 배제할 수 없다. 본 발명의 또 다른 실시예에 따르면, 자세 가이드 제공 장치(100)는, 제1 수정 튜터링 이미지를 생성할 수 있으나, 생체정보를 획득하여 사용자의 신체 상태를 점검함으로써 튜터링 레벨 조절의 정확도를 향상시킬 수 있다.
즉, 자세 가이드 제공 장치(100)는 생체정보 인식 장치로부터, 사용자의 생체 정보를 획득하고, 획득된 생체 정보를 기초로, 제1 수정 튜터링 이미지를 생성할 수도 있다. 예를 들어, 생체정보 인식 장치는 근전도 측정 장비로서, 사용자의 신체 상태 정보를 획득하여, 자세 가이드 제공 장치(100)에 제공할 수 있다.
또한, 자세 가이드 제공 장치(100)는 제1 연산된 각도 차이가 미리 설정된 범위 내의 값을 갖는 횟수를 카운트할 수 있으며, 생체정보 인식 장치로부터, 카운트된 횟수가 미리 설정된 횟수 미만인 경우, 사용자의 생체 정보를 획득할 수 있다. 자세 가이드 제공 장치(100)는 획득된 생체 정보를 기초로, 피드백 정보를 생성할 수 있다.
지금까지 첨부된 도면을 참조하여 설명된 본 발명의 실시예에 따른 방법들은 컴퓨터가 읽을 수 있는 코드로 구현된 컴퓨터프로그램의 실행에 의하여 수행될 수 있다. 상기 컴퓨터프로그램은 인터넷 등의 네트워크를 통하여 제1 컴퓨팅 장치로부터 제2 컴퓨팅 장치에 송신되어 상기 제2 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 제2 컴퓨팅 장치에서 사용될 수 있다. 상기 제1 컴퓨팅 장치 및 상기 제2 컴퓨팅 장치는, 서버 장치, 데스크탑 PC와 같은 고정식 컴퓨팅 장치, 노트북, 스마트폰, 태블릿 피씨와 같은 모바일 컴퓨팅 장치를 모두 포함한다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다.

Claims (16)

  1. 미리 설정된 기계 학습 모델을 이용하여, 자세 가이드 제공 장치에 의해 수행되는 자세 가이드 제공 방법으로서,
    사용자 자세에 대한 이미지를 획득하는 단계;
    디스플레이부의 제1 영역에 튜터링 이미지를 디스플레이하고, 상기 디스플레이부의 제2 영역에 상기 획득된 이미지를 디스플레이하는 단계;
    상기 획득된 이미지로부터 특징점을 추출하는 단계;
    상기 추출된 특징점을 기초로 상기 사용자 자세에 대응하는 사용자 자세 라인을 생성함으로써, 사용자 자세 정보를 획득하는 단계;
    상기 튜터링 이미지 및 상기 사용자 자세 정보를 기초로, 상기 사용자 자세를 가이드하기 위한 자세 가이드 정보를 생성하는 단계; 및
    상기 디스플레이부의 제2 영역에 상기 획득된 이미지 및 상기 자세 가이드 정보를 결합하여 디스플레이하는 단계를 포함하는,
    자세 가이드 제공 방법.
  2. 제 1 항에 있어서, 상기 사용자 자세를 가이드하기 위한 자세 가이드 정보를 생성하는 단계는,
    상기 튜터링 이미지로부터, 튜터링 라인을 추출하는 단계;
    상기 사용자 자세 라인을 상기 튜터링 라인에 대응시키는 단계;
    상기 튜터링 라인을 기초로, 상기 대응된 상기 사용자 자세 라인을 스케일링 하는 단계; 및
    상기 스케일링 결과를 기초로, 상기 자세 가이드 정보를 생성하는 단계를 포함하는,
    자세 가이드 제공 방법.
  3. 제 1 항에 있어서 상기 사용자 자세를 가이드하기 위한 자세 가이드 정보를 생성하는 단계는,
    상기 튜터링 이미지로부터, 튜터링 라인을 추출하는 단계;
    상기 튜터링 라인 중, 자세 정지 라인을 식별하는 단계;
    상기 사용자 자세 라인 중, 상기 자세 정지 라인에 대응되는 라인의 정보를 추출하는 단계; 및
    상기 자세 정지 라인 및 상기 대응되는 라인의 정보를 기초로, 상기 자세 가이드 정보를 생성하는 단계를 포함하는,
    자세 가이드 제공 방법.
  4. 제 1 항에 있어서, 상기 사용자 자세를 가이드하기 위한 자세 가이드 정보를 생성하는 단계는,
    상기 튜터링 이미지로부터, 튜터링 라인을 추출하는 단계;
    상기 사용자 자세 라인 중, 상기 튜터링 라인에 대응되는 오브젝트 라인을 추출하는 단계; 및
    상기 튜터링 라인의 각도가 튜터링 모션에 의해 변경되는 경우, 상기 변경된 각도를 갖는 튜터링 라인에 대응되는 튜터링 타겟 라인을 생성하는 단계를 포함하는,
    자세 가이드 제공 방법.
  5. 제 4 항에 있어서, 상기 획득된 이미지 및 상기 자세 가이드 정보를 결합하여 디스플레이하는 단계는,
    상기 제2 영역에 상기 생성된 튜터링 타겟 라인을 디스플레이하는 단계;
    상기 생성된 튜터링 타겟 라인과 상기 오브젝트 라인의 각도 차이를 기초로, 상기 튜터링 타겟 라인을 향해 상기 오브젝트 라인을 가이드 하기 위한 가이드 라인을 생성하는 단계; 및
    상기 제2 영역에 상기 생성된 가이드 라인을 디스플레이하는 단계를 포함하는,
    자세 가이드 제공 방법.
  6. 제 5 항에 있어서, 상기 제2 영역에 상기 생성된 가이드 라인을 디스플레이하는 단계는,
    상기 생성된 튜터링 타겟 라인을 기초로, 상기 오브젝트 라인의 움직임에 반응하여 길이 및 방향 중 적어도 하나를 변경하여 상기 가이드 라인을 디스플레이하는 단계를 포함하는,
    자세 가이드 제공 방법.
  7. 제 5 항에 있어서, 상기 제2 영역에 상기 생성된 가이드 라인을 디스플레이하는 단계는,
    상기 오브젝트 라인이 움직임에 따라, 상기 오브젝트 라인과 상기 튜터링 타겟 라인이 매칭되는지 판단하는 단계;
    상기 판단 결과를 기초로, 상기 사용자 자세에 대한 피드백 정보를 생성하는 단계; 및
    상기 생성된 피드백 정보를 디스플레이하는 단계를 포함하는
    자세 가이드 제공 방법.
  8. 제 7 항에 있어서, 상기 피드백 정보를 디스플레이하는 단계는,
    상기 오브젝트 라인 및 상기 튜터링 타겟 라인이 미리 설정된 시간 동안 오버랩됨에 따라, 상기 튜터링 타겟 라인의 색상을 변경하여 디스플레이하는 단계를 포함하는,
    자세 가이드 제공 방법.
  9. 제 7 항에 있어서, 상기 피드백 정보를 디스플레이하는 단계는,
    상기 오브젝트 라인의 움직임이 발생 후, 상기 오브젝트 라인과 상기 튜터링 타겟 라인의 각도 차이를 제1 연산하는 단계;
    상기 제1 연산된 각도 차이가 미리 설정된 범위를 초과하는 경우, 상기 튜터링 이미지에 대한 제1 수정 튜터링 이미지를 생성하는 단계; 및
    상기 제1 영역에 디스플레이 중인 상기 튜터링 이미지를, 상기 제1 수정 튜터링 이미지로 교체하여 출력하는 단계를 포함하는,
    자세 가이드 제공 방법.
  10. 제 7 항에 있어서, 상기 오브젝트 라인과 상기 튜터링 타겟 라인이 매칭되는지 판단하는 단계는,
    상기 오브젝트 라인의 움직임이 발생 후, 상기 오브젝트 라인과 상기 튜터링 타겟 라인의 각도 차이를 제1 연산하는 단계;
    상기 제1 연산된 각도 차이가 미리 설정된 범위 내의 값을 갖는 횟수를 카운트하는 단계; 및
    상기 카운트된 횟수를 기초로, 상기 오브젝트 라인과 상기 튜터링 타겟 라인이 매칭되는지 판단하는 단계를 포함하는,
    자세 가이드 제공 방법.
  11. 제 9 항에 있어서,
    상기 제1 수정 튜터링 이미지로부터, 제1 수정 튜터링 라인을 추출하는 단계;
    상기 제1 수정 튜터링 라인의 각도가 튜터링 모션에 의해 변경되는 경우, 상기 변경된 각도를 갖는 제1 수정 튜터링 라인에 대응되는 제1 수정 튜터링 타겟 라인을 생성하는 단계;
    상기 제2 영역에 상기 생성된 제1 수정 튜터링 타겟 라인을 디스플레이하는 단계;
    상기 오브젝트 라인의 움직임이 발생 후, 상기 오브젝트 라인과 상기 제1 수정 튜터링 타겟 라인의 각도 차이를 제2 연산하는 단계; 및
    상기 제2 연산된 각도 차이를 기초로, 상기 자세 가이드 정보를 재생성하는 단계를 포함하는,
    자세 가이드 제공 방법.
  12. 제 11 항에 있어서, 상기 자세 가이드 정보를 재생성하는 단계는,
    상기 제2 연산된 각도 차이가 미리 설정된 범위 이내인 경우, 상기 튜터링 이미지에 대한 제2 수정 튜터링 이미지를 생성하는 단계를 포함하는,
    자세 가이드 제공 방법.
  13. 제 9 항에 있어서, 상기 제1 수정 튜터링 이미지를 생성하는 단계는,
    생체정보 인식 장치로부터, 사용자의 생체 정보를 획득하는 단계; 및
    상기 획득된 생체 정보를 기초로, 상기 제1 수정 튜터링 이미지를 생성하는 단계를 포함하는,
    자세 가이드 제공 방법.
  14. 제 10 항에 있어서, 상기 카운트된 횟수를 기초로, 상기 오브젝트 라인과 상기 튜터링 타겟 라인이 매칭되는지 판단하는 단계는,
    상기 카운트된 횟수가 미리 설정된 횟수 미만인 경우, 생체정보 인식 장치로부터, 사용자의 생체 정보를 획득하는 단계를 포함하고,
    상기 사용자 자세에 대한 피드백 정보를 생성하는 단계는,
    상기 획득된 생체 정보를 기초로, 상기 피드백 정보를 생성하는 단계를 포함하는,
    자세 가이드 제공 방법.
  15. 컴퓨팅 장치와 결합하여,
    사용자 자세에 대한 이미지를 획득하는 단계;
    디스플레이부의 제1 영역에 튜터링 이미지를 디스플레이하고, 상기 디스플레이부의 제2 영역에 상기 획득된 이미지를 디스플레이하는 단계;
    미리 설정된 기계 학습 모델을 이용하여, 상기 획득된 이미지로부터 특징점을 추출하는 단계;
    상기 추출된 특징점을 기초로 상기 사용자 자세에 대응하는 사용자 자세 라인을 생성함으로써, 사용자 자세 정보를 획득하는 단계;
    상기 튜터링 이미지 및 상기 사용자 자세 정보를 기초로, 상기 사용자 자세를 가이드하기 위한 자세 가이드 정보를 생성하는 단계; 및
    상기 디스플레이부의 제2 영역에 상기 획득된 이미지 및 상기 자세 가이드 정보를 결합하여 디스플레이하는 단계를 실행시키기 위하여,
    기록매체에 저장된 자세 가이드 제공 프로그램.
  16. 하나 이상의 프로세서;
    사용자 자세에 대한 이미지를 획득하는 카메라;
    제1 영역에 튜터링 이미지를 디스플레이하고, 제2 영역에 상기 획득된 이미지를 디스플레이하는 디스플레이부;
    상기 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리; 및
    상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되,
    상기 컴퓨터 프로그램은,
    미리 설정된 기계 학습 모델을 이용하여, 상기 획득된 이미지로부터 특징점을 추출하는 오퍼레이션;
    상기 추출된 특징점을 기초로 상기 사용자 자세에 대응하는 사용자 자세 라인을 생성함으로써, 사용자 자세 정보를 획득하는 오퍼레이션;
    상기 튜터링 이미지 및 상기 사용자 자세 정보를 기초로, 상기 사용자 자세를 가이드하기 위한 자세 가이드 정보를 생성하는 오퍼레이션; 및
    상기 디스플레이부의 상기 제2 영역에 상기 획득된 이미지 및 상기 자세 가이드 정보가 결합되어 디스플레이되도록 제어하는 오퍼레이션을 포함하는,
    자세 가이드 제공 장치.
KR1020180067791A 2017-08-18 2018-06-13 자세 가이드 제공 방법 및 그 장치 KR101986327B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2018/008908 WO2019035586A1 (ko) 2017-08-18 2018-08-06 자세 가이드 제공 방법 및 그 장치
US16/793,871 US10898755B2 (en) 2017-08-18 2020-02-18 Method for providing posture guide and apparatus thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170104492 2017-08-18
KR20170104492 2017-08-18

Publications (2)

Publication Number Publication Date
KR20190019824A true KR20190019824A (ko) 2019-02-27
KR101986327B1 KR101986327B1 (ko) 2019-06-05

Family

ID=65560969

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180067791A KR101986327B1 (ko) 2017-08-18 2018-06-13 자세 가이드 제공 방법 및 그 장치

Country Status (2)

Country Link
US (1) US10898755B2 (ko)
KR (1) KR101986327B1 (ko)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102049096B1 (ko) * 2019-03-27 2019-11-26 주식회사 마이베네핏 혼합 현실 기반의 운동 시스템
KR102092630B1 (ko) * 2019-10-21 2020-03-24 (주)케이넷 이엔지 영상 모션 인식 장치 및 방법
KR20200109199A (ko) * 2019-03-12 2020-09-22 주식회사 피앤씨솔루션 실내 스포츠를 위한 카메라를 이용한 운동량 산출 시스템
KR20200115729A (ko) * 2019-03-17 2020-10-08 이상국 골프 동작 분석 방법 및 장치
KR20200126578A (ko) * 2019-04-30 2020-11-09 부산대학교 산학협력단 스마트 거울, 스마트 거울 재활 시스템 및 스마트 거울을 이용한 재활 훈련 방법
KR20200140204A (ko) * 2019-06-05 2020-12-15 (주)웨스토 건강 관리를 위한 vr 콘텐츠를 제공하는 방법 및 그를 이용한 장치
WO2021066392A3 (ko) * 2019-10-02 2021-05-27 주식회사 모아이스 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2021075753A3 (ko) * 2019-10-16 2021-07-08 주식회사 모아이스 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR20210128943A (ko) * 2020-04-17 2021-10-27 초록소프트 주식회사 인공신경망을 이용한 스포츠 자세를 비교 및 교정하는 장치 및 방법
WO2021226623A1 (en) * 2020-05-04 2021-11-11 Google Llc Computer vision based extraction and overlay for instructional augmented reality
WO2022045645A1 (ko) * 2020-08-31 2022-03-03 주식회사 모아이스 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR20220033213A (ko) * 2020-09-09 2022-03-16 히즈케어스 주식회사 마비장애인 재활을 위한 인공지능 맞춤형 운동제공 서비스 시스템 및 방법
WO2022085978A1 (ko) * 2020-10-23 2022-04-28 주식회사 모아이스 이미지상에 그래픽 객체를 표시하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR20220096279A (ko) * 2020-12-30 2022-07-07 동서대학교 산학협력단 스마트 미러 기반의 자세 교정 시스템
KR20220156232A (ko) * 2021-05-18 2022-11-25 주식회사 파프리카 자세 분석 방법 및 장치
WO2023239025A1 (ko) * 2022-06-10 2023-12-14 삼성전자주식회사 사용자의 운동 동작 평가 정보를 제공하는 전자 장치 및 웨어러블 장치, 이들의 동작 방법
WO2024076131A1 (ko) * 2022-10-05 2024-04-11 삼성전자주식회사 웨어러블 장치의 센싱 정보에 기초하여 참조 영상 출력 방법 및 그 방법을 수행하는 전자 장치

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110543578B (zh) * 2019-08-09 2024-05-14 华为技术有限公司 物体识别方法及装置
US20210093920A1 (en) * 2019-09-26 2021-04-01 True Adherence, Inc. Personal Fitness Training System With Biomechanical Feedback
KR20220028951A (ko) * 2020-08-31 2022-03-08 삼성전자주식회사 전자 장치 및 그 제어 방법
US11682237B1 (en) * 2020-09-04 2023-06-20 Amazon Technologies, Inc. System for learning and tracking performance of activities
CN112333459B (zh) * 2020-10-30 2022-10-25 北京字跳网络技术有限公司 一种视频直播的方法、装置以及计算机存储介质
US12052299B2 (en) * 2020-11-02 2024-07-30 Virtual Sapiens Inc. System and method to improve video conferencing using presence metrics
CN112396494B (zh) * 2020-11-23 2024-06-21 北京百度网讯科技有限公司 商品引导方法、装置、设备及存储介质
CN112684890A (zh) * 2020-12-29 2021-04-20 深圳酷派技术有限公司 一种体检引导的方法、装置、存储介质及电子设备
GB2608576A (en) * 2021-01-07 2023-01-11 Wizhero Ltd Exercise performance system
CN113283347B (zh) * 2021-05-28 2024-02-27 中德（珠海）人工智能研究院有限公司 装配作业指导方法、装置、系统、服务器及可读存储介质
KR20240001830A (ko) 2022-06-28 2024-01-04 김규민 딥러닝을 이용한 모바일 자세인식 운동 시스템 및 그 방법
CN115153614A (zh) * 2022-07-27 2022-10-11 武汉迈瑞医疗技术研究院有限公司 X射线摄影系统的动态摆位指示方法及系统
CN116212355A (zh) * 2023-03-26 2023-06-06 北京卡路里信息技术有限公司 健身指导系统和健身指导方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100226652B1 (ko) * 1993-08-10 1999-10-15 가타야마 미도리 신체의 동작법을 지도하기 위한방법
KR100430840B1 (ko) * 2001-11-19 2004-05-10 쓰리에스휴먼 주식회사 동작비교를 통한 자세교정 운동 장치 및 동작비교 방법,이 동작비교 방법을 저장한 기록매체
KR101416282B1 (ko) 2012-02-29 2014-08-12 디게이트 주식회사 네추럴 인터렉션 기반 건강 및 재활운동 기능성 측정 평가 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101498498B1 (ko) 2013-10-16 2015-03-05 홍익대학교 산학협력단 골격 추적을 이용한 자세 교정 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100226652B1 (ko) * 1993-08-10 1999-10-15 가타야마 미도리 신체의 동작법을 지도하기 위한방법
KR100430840B1 (ko) * 2001-11-19 2004-05-10 쓰리에스휴먼 주식회사 동작비교를 통한 자세교정 운동 장치 및 동작비교 방법,이 동작비교 방법을 저장한 기록매체
KR101416282B1 (ko) 2012-02-29 2014-08-12 디게이트 주식회사 네추럴 인터렉션 기반 건강 및 재활운동 기능성 측정 평가 시스템

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200109199A (ko) * 2019-03-12 2020-09-22 주식회사 피앤씨솔루션 실내 스포츠를 위한 카메라를 이용한 운동량 산출 시스템
KR20200115729A (ko) * 2019-03-17 2020-10-08 이상국 골프 동작 분석 방법 및 장치
KR102049096B1 (ko) * 2019-03-27 2019-11-26 주식회사 마이베네핏 혼합 현실 기반의 운동 시스템
KR20200126578A (ko) * 2019-04-30 2020-11-09 부산대학교 산학협력단 스마트 거울, 스마트 거울 재활 시스템 및 스마트 거울을 이용한 재활 훈련 방법
KR20200140204A (ko) * 2019-06-05 2020-12-15 (주)웨스토 건강 관리를 위한 vr 콘텐츠를 제공하는 방법 및 그를 이용한 장치
KR20210146264A (ko) * 2019-10-02 2021-12-03 주식회사 모아이스 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2021066392A3 (ko) * 2019-10-02 2021-05-27 주식회사 모아이스 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2021075753A3 (ko) * 2019-10-16 2021-07-08 주식회사 모아이스 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR102092630B1 (ko) * 2019-10-21 2020-03-24 (주)케이넷 이엔지 영상 모션 인식 장치 및 방법
KR20210128943A (ko) * 2020-04-17 2021-10-27 초록소프트 주식회사 인공신경망을 이용한 스포츠 자세를 비교 및 교정하는 장치 및 방법
WO2021226623A1 (en) * 2020-05-04 2021-11-11 Google Llc Computer vision based extraction and overlay for instructional augmented reality
KR20220028740A (ko) * 2020-08-31 2022-03-08 주식회사 모아이스 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2022045645A1 (ko) * 2020-08-31 2022-03-03 주식회사 모아이스 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR20220033213A (ko) * 2020-09-09 2022-03-16 히즈케어스 주식회사 마비장애인 재활을 위한 인공지능 맞춤형 운동제공 서비스 시스템 및 방법
WO2022085978A1 (ko) * 2020-10-23 2022-04-28 주식회사 모아이스 이미지상에 그래픽 객체를 표시하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR20220053999A (ko) * 2020-10-23 2022-05-02 주식회사 모아이스 이미지상에 그래픽 객체를 표시하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR20220096279A (ko) * 2020-12-30 2022-07-07 동서대학교 산학협력단 스마트 미러 기반의 자세 교정 시스템
KR20220156232A (ko) * 2021-05-18 2022-11-25 주식회사 파프리카 자세 분석 방법 및 장치
WO2023239025A1 (ko) * 2022-06-10 2023-12-14 삼성전자주식회사 사용자의 운동 동작 평가 정보를 제공하는 전자 장치 및 웨어러블 장치, 이들의 동작 방법
WO2024076131A1 (ko) * 2022-10-05 2024-04-11 삼성전자주식회사 웨어러블 장치의 센싱 정보에 기초하여 참조 영상 출력 방법 및 그 방법을 수행하는 전자 장치

Also Published As

Publication number Publication date
US10898755B2 (en) 2021-01-26
KR101986327B1 (ko) 2019-06-05
US20200197746A1 (en) 2020-06-25

Similar Documents

Publication Publication Date Title
KR101986327B1 (ko) 자세 가이드 제공 방법 및 그 장치
KR102097190B1 (ko) 스마트 미러를 이용하여 실시간 운동 동작을 분석 및 디스플레이하기 위한 방법 및 이를 위한 스마트 미러
US20180133551A1 (en) System and method for personalized exercise training and coaching
US11779808B2 (en) Wearable device systems and methods for guiding physical movements
US20170136296A1 (en) System and method for physical rehabilitation and motion training
JP5356690B2 (ja) ユーザの身体運動の範囲を追跡するための方法、システム、およびプログラム
US9374522B2 (en) Video generating apparatus and method
US20190160339A1 (en) System and apparatus for immersive and interactive machine-based strength training using virtual reality
US20180070864A1 (en) Methods and devices for assessing a captured motion
US20170103672A1 (en) System and method for gesture capture and real-time cloud based avatar training
Bigdelou et al. An adaptive solution for intra-operative gesture-based human-machine interaction
KR20160130085A (ko) 스마트미러를 이용한 운동관리방법 및 시스템
US20220019284A1 (en) Feedback from neuromuscular activation within various types of virtual and/or augmented reality environments
Shi et al. Accurate and fast classification of foot gestures for virtual locomotion
KR101936082B1 (ko) 리얼센스 카메라를 이용한 가상현실 기반의 손가락 재활 시스템 및 방법
KR101636171B1 (ko) 스켈레톤 트래킹 방법 및 이를 이용한 스켈레톤 트래킹 시스템
US20240082638A1 (en) Wearable device systems and methods for movement signatures
US11636777B2 (en) System and method for improving exercise performance using a mobile device
US20240221427A1 (en) Physical activity measurement and analysis
WO2019035586A1 (ko) 자세 가이드 제공 방법 및 그 장치
WO2021041219A1 (en) Posture and movement improvement systems and methods
CN117095789A (zh) 用于在虚拟环境中提供康复指导的系统和方法
KR20200144996A (ko) 근육시너지 라이브러리를 이용한 운동 코칭 시스템 및 근육시너지 라이브러리를 이용한 근육시너지 특성 산출방법
KR102693972B1 (ko) 실시간 자세 추정을 통한 원격 재활 훈련 시스템 및 방법
KR20220096279A (ko) 스마트 미러 기반의 자세 교정 시스템

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant