KR20230059996A - 룰 베이스 기반 맞춤형 운동 수행방법을 제공하는 스마트 홈 트레이닝시스템 - Google Patents

룰 베이스 기반 맞춤형 운동 수행방법을 제공하는 스마트 홈 트레이닝시스템 Download PDF

Info

Publication number
KR20230059996A
KR20230059996A KR1020210144162A KR20210144162A KR20230059996A KR 20230059996 A KR20230059996 A KR 20230059996A KR 1020210144162 A KR1020210144162 A KR 1020210144162A KR 20210144162 A KR20210144162 A KR 20210144162A KR 20230059996 A KR20230059996 A KR 20230059996A
Authority
KR
South Korea
Prior art keywords
exercise
user
image
smart home
control unit
Prior art date
Application number
KR1020210144162A
Other languages
English (en)
Inventor
김영배
이주원
이태민
Original Assignee
김영배
이주원
이태민
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김영배, 이주원, 이태민 filed Critical 김영배
Priority to KR1020210144162A priority Critical patent/KR20230059996A/ko
Publication of KR20230059996A publication Critical patent/KR20230059996A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075—Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0669—Score-keepers or score display devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075—Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • A63B2024/0081—Coaching or training aspects related to a group of users
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/50—Wireless data transmission, e.g. by radio transmitters or telemetry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform

Landscapes

  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

룰 베이스 기반 맞춤형 운동 수행방법을 제공하는 스마트 홈 트레이닝시스템은 사용자의 영상을 촬영할 수 있는 적어도 하나의 카메라와, 외부장치로부터 운동 수행 예시 영상을 수신하는 통신부와, 수신된 운동 수행 예시 영상을 표시하는 디스플레이부와, 외부장치에 저장된 트레이닝어플리케이션에 연결되도록 통신부를 제어하고, 디스플레이부에 표시된 운동 수행 예시 영상에 기초하여 운동을 수행하는 사용자의 영상을 촬영하도록 적어도 하나의 카메라를 제어하며, 촬영된 사용자의 운동 수행 영상을 외부장치로 전송하도록 제어하는 제어부를 포함하는 사용자단말기 및 통신부로부터 사용자의 운동 수행 영상을 수신하는 서버통신부와, 복수의 운동 각각에 대하여 설정된 평균 운동 수행 시간을 저장하며, 수신된 사용자의 운동 수행 영상 중 사용자의 운동 수행 시간과 평균 운동 수행 시간을 비교하여 사용자에게 운동량 및 운동종류 중 적어도 하나를 포함하는 운동루틴을 추천하는 서버제어부를 포함하는 서버를 포함한다.

Description

룰 베이스 기반 맞춤형 운동 수행방법을 제공하는 스마트 홈 트레이닝시스템{smart home training system for providing a rule-based customized exercise method}
본 발명은 룰 베이스 기반 맞춤형 운동 수행방법을 제공하는 스마트 홈 트레이닝시스템에 관한 것으로, 보다 상세하게는 사용자 신체 능력에 알맞은 운동루틴을 추천할 수 있는 룰 베이스 기반 맞춤형 운동 수행방법을 제공하는 스마트 홈 트레이닝시스템에 관한 것이다.
일반적으로 홈트레이닝을 하는 사람들은 온라인 영상을 참고하거나 운동 앱을 이용하여 집에서 운동을 수행한다. 온라인 영상을 참고하는 홈트레이닝, AI 운동이 없는 운동 앱을 이용한 홈트레이닝 및 AI 운동이 있는 운동 앱을 이용한 홈트레이닝을 이용하여 운동을 하고 있으나 이 세 가지의 방식에는 여러 가지 문제점을 가지고 있다.
온라인 영상을 참고하는 홈트레이닝은 영상제작자들이 각자의 운동 루틴을 공개하며 업로드한 영상을 보며 운동하는 방식에는 세 가지 불편한 점이 존재한다. 운동하는 개인의 신체 부위별 능력을 고려하지 않는다. 운동 루틴에 대한 난이도만 존재하고 루틴 속의 운동 종류와 횟수에 대해서 사용자의 신체 능력을 반영하지 못한다. 그리고 온라인 영상은 사용자가 일방적으로 영상을 보고 따라 하게 되는 형식으로 자신이 제대로 된 자세로 운동하고 있는지 알 수 없다. 또한 사용자의 운동 진행 상태를 고려하지 못한다. 운동을 하다가 놓치게 되더라도 일방적으로 영상이 계속 흘러간다.
AI 운동이 없는 운동 앱을 이용한 홈트레이닝은 집에서 운동하는 애플리케이션의 사용방법은 크게 두 가지 방법이 있다. 첫째, 특정 운동에 대한 2D 또는 3D 애니메이션을 보며 주어진 시간 동안 운동을 진행한다. 둘째, 스스로 운동을 진행 후 모두 수행하면 수동으로 버튼을 누르고 넘어가는 방식으로 운동을 수행한다. 이에 따라 개인의 신체 부위별 능력을 고려하지 않는다는 것, 자신이 제대로 된 자세로 운동하고 있는지 알 수 없다는 것, 운동 중간 중간에 버튼을 눌러야 하므로 운동에만 집중할 수 없다는 세가지 문제점이 존재한다.
AI 운동이 있는 운동 앱을 이용한 홈트레이닝은 인공지능 운동 애플리케이션은 AI 운동이 존재한다. 카메라를 통해 AI가 사용자의 운동 동작을 인식하여 Great와 Miss를 판별해준다. 그러나 해당 기능의 경우, 사용자는 정확한 운동을 하고 있음에도 불구하고 AI가 인식을 제대로 하지 못해 miss(bad)로 판별하는 경우가 있어서 정확도가 굉장히 낮으며 사용하기에 불편하다.
특허등록공보 제10-2141288호
따라서 본 발명의 목적은 사용자의 신체능력에 알맞은 운동을 찾을 수 있으며 정확한 운동자세를 판별할 수 있는 룰 베이스 기반 맞춤형 운동 수행방법을 제공하는 스마트 홈 트레이닝시스템을 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명에 따른 사용자의 영상을 촬영할 수 있는 적어도 하나의 카메라와, 외부장치로부터 운동 수행 예시 영상을 수신하는 통신부와, 수신된 상기 운동 수행 예시 영상을 표시하는 디스플레이부와, 상기 외부장치에 저장된 트레이닝어플리케이션에 연결되도록 상기 통신부를 제어하고, 상기 디스플레이부에 표시된 상기 운동 수행 예시 영상에 기초하여 운동을 수행하는 사용자의 영상을 촬영하도록 상기 적어도 하나의 카메라를 제어하며, 촬영된 사용자의 운동 수행 영상을 상기 외부장치로 전송하도록 제어하는 제어부를 포함하는 사용자단말기; 및 상기 통신부로부터 상기 사용자의 운동 수행 영상을 수신하는 서버통신부와, 복수의 운동 각각에 대하여 설정된 평균 운동 수행 시간을 저장하며, 수신된 상기 사용자의 운동 수행 영상 중 사용자의 운동 수행 시간과 상기 평균 운동 수행 시간을 비교하여 사용자에게 운동량 및 운동종류 중 적어도 하나를 포함하는 운동루틴을 추천하는 서버제어부를 포함하는 서버를 포함한다. 사용자는 운동을 하고 나면 실제로 운동한 기록을 통해 사용자의 신체 부위별 능력에 따른 난이도가 조절된 루틴 추천을 받을 수 있고 이를 기반으로 사용자가 직접 운동 루틴을 제작할 수 있으며, 또한, 정확도 높은 AI 운동 자세 판별 서비스를 통해 사용자가 제대로 된 운동을 할 수 있도록 도움으로써 효과적이고 효율적인 운동을 가능하도록 할 수 있다.
여기서, 상기 서버제어부는, 상기 사용자단말기가 상기 트레이닝어플리케이션에 연결되면 사용자의 전신영상을 요청하며, 상기 사용자의 전신영상 요청에 대응하여 수신된 상기 사용자의 전신영상에서 각 관절마다의 복수의 좌표를 추출하면 사용자의 운동자세가 올바른 지 아닌 지를 정확히 파악할 수 있어 바람직하다.
그리고 상기 서버제어부는, 상기 복수의 좌표의 위치에 기초하여 운동자세의 정확도를 판단하면 사용자의 운동효율을 향상시킬 수 있으며 사용자에 맞는 운동을 추천받을 수 있어 바람직하다.
여기서, 상기 서버제어부는, 상기 운동자세의 횟수를 판단하기 위한 복수의 운동자세의 정확도범위를 설정하며, 상기 복수의 운동자세의 정확도범위에 기초하여 상기 운동자세의 횟수를 판단하면 사용자가 정확한 운동자세로 운동하고 있는지를 파악할 수 있어 바람직하다.
그리고 상기 복수의 운동자세의 정확도범위는, 상기 운동자세의 정확도가 50 내지 65%인 임계정확도범위와, 상기 운동자세의 정확도가 66 내지 80%인 한계정확도범위로 이루어지며, 상기 서버버제어부는, 상기 임계정확도범위는 상기 운동자세의 횟수를0.5개, 상기 함계정확도범위는 상기 운동자세의 횟수를0.75개 및 상기 한계정확도범위를 초과하는 정확도인 경우 상기 운동자세의 횟수를 1개로 판단하면 사용자의 운동자세에 따라 운동량, 운동의 종류 민 운동의 난이도 등을 추천받을 수 있어 바람직하다.
여기서, 상기 서버제어부는, 사용자의 상기 운동자세의 정확도에 기초하여 운동량, 운동종류, 운동수행시간, 운동난이도 및 운동달성도를 조절하면 사용자의 신체 능력에 맞는 운동량, 운동종류, 운동수행시간, 운동난이도 및 운동달성도를 가지고 운동을 할 수 있으므로 부상의 염려도 적고 효과적인 운동을 수행할 수 있다.
그리고 상기 서버제어부는, 상기 사용자의 운동 수행 시간과 상기 평균 운동 수행 시간이 기설정 차이보다 클 경우 난이도가 낮은 운동을 추천하면 사용자가 무리하지 않고 홈트레이닝을 수행할 수 있어 바람직하다.
한편, 상기 목적을 달성하기 위한 본 발명에 따른 스마트 홈 트레이닝을 위한 사용자단말기는, 사용자의 영상을 촬영할 수 있는 적어도 하나의 카메라; 외부장치로부터 운동 수행 예시 영상을 수신하는 통신부; 수신된 상기 운동 수행 예시 영상을 표시하는 디스플레이부; 상기 스마트 홈 트레이닝을 위한 트레이닝어플리케이션을 저장하며, 상기 디스플레이부에 표시된 상기 운동 수행 예시 영상에 기초하여 운동을 수행하는 사용자의 영상을 촬영하도록 상기 적어도 하나의 카메라를 제어하며, 촬영된 사용자의 운동 수행 영상을 상기 외부장치로 전송하도록 제어하는 제어부를 포함한다. 외부로부터 운동영상을 수신하여 사용자가 운동을 수행하면서 트레이닝어플리케이션으로부터 운동루틴을 추천받을 수 있어 바람직하다.
본 발명에 따르면 사용자는 운동을 하고 나면 실제로 운동한 기록을 통해 사용자의 신체 부위별 능력에 따른 난이도가 조절된 루틴 추천을 받을 수 있고 이를 기반으로 사용자가 직접 운동 루틴을 제작할 수 있으며, 또한, 정확도 높은 AI 운동 자세 판별 서비스를 통해 사용자가 제대로 된 운동을 할 수 있도록 도움으로써 효과적이고 효율적인 운동을 가능하도록 할 수 있는 효과가 있다.
도 1은 본 발명에 따른 룰 베이스 기반 맞춤형 운동 수행방법을 제공하는 스마트 홈 트레이닝시스템의 블록도이다.
도 2는 스마트 홈 트레이닝시스템을 이용한 운동을 수행하는 예시도이다.
도 3은 사용자의 스켈레톤의 값을 추출하는 과정의 예시도이다.
도 4는 본 발명에 따른 룰 베이스 기반 맞춤형 운동 수행방법의 흐름도이다.
도 5는 스마트 홈 트레이닝시스템을 이용한 일 실시 예의 운동 수행 방법 흐름도이다.
도 6은 스마트 홈 트레이닝시스템을 이용한 다른 실시 예의 운동 수행 방법 흐름도이다.
도 7은 룰 베이스 기반 맞춤형 운동 수행방법의 예시 흐름도이다.
이하, 첨부된 도면들을 참조하면서 본 발명의 바람직한 실시 예에 따른 룰 베이스 기반 맞춤형 운동 수행방법을 제공하는 스마트 홈 트레이닝시스템(1)을 상세히 설명한다.
도 1은 본 발명에 따른 룰 베이스 기반 맞춤형 운동 수행방법을 제공하는 스마트 홈 트레이닝시스템(1)의 블록도이고, 도 2는 스마트 홈 트레이닝시스템을 이용한 운동을 수행하는 예시도이다.
도1과 도2를 참조하면, 스마트 홈 트레이닝시스템(1)은 사용자단말기(10)와 서버(20)로 이루어진다.
사용자단말기(10)는 카메라(10), 통신부(12), 디스플레이부(13), 사용자입력부(14), 스피커(15), 마이크(16) 및 제어부(17)을 포함할 수 있다.
카메라(10)는 사용자의 영상을 촬영할 수 있도록 적어도 하나 이상의 복수로 마련될 수 있다.
통신부(12)는 외부장치로부터 운동 수행 예시 영상을 수신하고 송신할 수 있다.
디스플레이부(13)는 수신된 운동 수행 예시 영상을 표시할 수 있다.
사용자입력부(14)는 사용자의 명령을 입력할 수 있는 마우스, 키보드, 터치패널, 모션센서 및 음성인식센서 등을 포함하여 이루어질 수 있다.
스피커(15)는 운동 수행 예시 영상에 대한 은성을 출력할 수 있다.
마이크(16)는 사용자의 음성을 수신할 수 있다.
제어부(17)는 외부장치에 저장된 트레이닝어플리케이션에 연결되도록 통신부(12)를 제어하고, 디스플레이부(13)에 표시된 운동 수행 예시 영상에 기초하여 운동을 수행하는 사용자의 영상을 촬영하도록 적어도 하나의 카메라(11)를 제어하며, 촬영된 사용자의 운동 수행 영상을 외부장치로 전송하도록 제어할 수 있다.
서버(20)는 서버통신부(21), 서버디스플레이부(22), 서버입력부(23) 및 서버제어부(24)를 포함할 수 있다.
서버통신부(21)는 통신부(12)로부터 사용자의 운동 수행 영상을 수신할 수 있으며, 운동 수행 예시 영상을 통신부(12)로 전송할 수 있다.
서버디스플레이부(22)는 수신된 사용자의 운동 수행 영상을 표시할 수 있다.
서버입력부(23)는 트레이닝어플리케이션 관리자가 설정을 위한 명령 및 입력을 할 수 있도록 마우스, 키보드, 터치패널, 모션센서 및 음성인식센서를 포함할 수 있다.
서버제어부(24)는 복수의 운동 각각에 대하여 설정된 평균 운동 수행 시간을 저장하며, 수신된 사용자의 운동 수행 영상 중 사용자의 운동 수행 시간과 평균 운동 수행 시간을 비교하여 사용자에게 운동량 및 운동종류 중 적어도 하나를 포함하는 운동루틴을 추천할 수 있다.
서버제어부(24)는 사용자단말기(10)가 트레이닝어플리케이션에 연결되면 사용자의 전신영상을 요청할 수 있다. 이는 사용자의 관절마다의 좌표를 획득하기 위함으로 관절마다의 좌표를 이용하여 이후에 운동 자세 등을 확인할 수 있다.
서버제어부(24)는 사용자의 전신영상 요청에 대응하여 수신된 사용자의 전신영상에서 각 관절마다의 복수의 좌표를 추출할 수 있다.
서버제어부(24)는 복수의 좌표의 위치에 기초하여 운동자세의 정확도를 판단할 수 있다.
서버제어부(24)는 운동자세의 횟수를 판단하기 위한 복수의 운동자세의 정확도범위를 설정하며, 복수의 운동자세의 정확도범위에 기초하여 운동자세의 횟수를 판단할 수 있다.
여기서, 복수의 운동자세의 정확도범위는 운동자세의 정확도가 50 내지 65%인 임계정확도범위와, 운동자세의 정확도가 66 내지 80%인 한계정확도범위로 이루어질 수도 있다. 이는 관리자가 설정하는 값에 따라 설정을 변경할 수 있으며 운동 특히, 홈트레이닝의 전문가의 조언을 참고하여 설정되는 것이 바람직하다.
서버버제어부(24)는 임계정확도범위는 운동자세의 횟수를0.5개, 함계정확도범위는 운동자세의 횟수를0.75개 및 한계정확도범위를 초과하는 정확도인 경우 운동자세의 횟수를 1개로 판단할 수 있다.
이러한 설정은 역시 변경될 수 있으며, 홈트레이닝 운동의 초보인 경우 설정되는 숫자가 높아 쉽게 운동을 할 수 있도록 할 수 있으며, 사용자의 운동상태, 운동달성도 등을 고려하여 정확한 자세로 운동할 수 있도록 설정되는 숫자를 낮게 설정할 수 있다.
서버제어부(24)는 사용자의 운동자세의 정확도에 기초하여 운동량, 운동종류, 운동수행시간, 운동난이도 및 운동달성도를 조절할 수 있다.
서버제어부(24)는 사용자의 운동 수행 시간과 평균 운동 수행 시간이 기설정 차이보다 클 경우 난이도가 낮은 운동을 추천할 수 있다.
상기에서는 운동을 하는 사용자의 사용자단말기를 이용하여 사용자의 운동영상을 촬영하고 있으나 운동을 여럿이 같이 하는 경우 다른 사람의 사용자단말기를 이용하여 사용자의 운동영상을 촬영할 수도 있고, 다른 사람의 사용자단말기가 서버(20)로 사용자의 운동 수행 영상을 전송하고 운동루틴을 추천받을 수도 있다. 즉, 룰베이스 기반이 아니라 비슷한 성향의 운동 패턴을 가진 사람들에게 적절한 운동 루틴을 추천해주는 AI 기반 루틴 추천을 할 때 사용될 수도 있다. AI 기반 루틴추천기능에 서버를 활용한 AI 판별 프로세스가 활용될 수도 있다.
상기에서는 트레이닝어플리케이션은 서버(20)에 저장되어 있는 것으로 되어 있으나 사용자단말기(10)에 저장되어 있을 수 있다.
예를 들어, 사용자가 사용자단말기(10)를 이용하여 네트워크 상의 운동영상을 보고 이를 따라하는 경우 트레이닝어플리케이션은 사용자단말기(10)에 표시되는 운동 영상과 사용자가 이를 보고 따라하는 운동 수행 영상을 비교하여 운동루틴을 추천할 수도 있다. 그러므로 사용자의 운동 자세의 판별은 사용자단말기(10)에서 이루어질 수 있다.
도 3은 사용자의 스켈레톤의 값을 추출하는 과정의 예시도이다.
실시간 동작인식 서비스를 위한 딥 러닝 파이프라인(Deep Learning pipeline)을 모바일(On-Device)에서 제공하며, 서버를 사용하지 않는 학습을 통해 사용자 개인 정보 문제를 해결하였다. 실시간 동작인식 서비스는 검색엔진에서 제공하는 블레이즈 포즈(blaze pose) 기반의 모델을 이용해서 해당 운동 자세를 추출하고 판별한다. 판별은 인공지능 허브(AI Hub)에서 수집한 운동 자세 이미지로 학습된 분류 모델을 이용한다.
운동 이미지 데이터를 특정 운동 동작의 준비, 수행 동작 두 가지 형태로 분류하고 검색엔진에서 제공하는 도구를 통해 사람의 각 관절 (Landmark) 마다의 좌표 값을 구한다. 추출된 관절 좌표는 운동 동작을 수행하였는지 수행하지 않았는지를 판별하기 위한 분류를 위한 데이터로 활용되며, 각각의 각 관절 좌표들은 운동 수행여부를 측정하기 위한 스켈레톤의 값으로 변환한다.
스켈레톤의 값을 추출하는 과정의 예시는 다음과 같다.
먼저 사람의 엉덩이 중앙값과 어깨의 중앙값의 좌표를 구한 뒤 두 좌표의 거리를 구한다(S1).
그 다음 관절 (Landmark)들의 좌표 값 중에서 신체에서 연결되는 가까운 좌표들의 거리를 구한다(S2). 예를 들어 왼쪽 엉덩이 부분과 왼쪽 무릎이 가까운 좌표 (Point) 이기 때문에 그 두 좌표 간의 거리를 구한다.
좌표의 거리는 x좌표의 차이, y좌표의 차이, z좌표의 차이를 각각 구하여 Vector의 형태로 사용자의 특징 벡터를 생성한다(S3). 단순한 점의 형태로는 특징이 없는 상태이기 때문에 신체의 스켈레톤의 형태를 갖게 하는 좌표들의 관계를 특징 벡터로 사용하기 위한 작업이다.
이후 생성된 사용자의 특징 벡터와 미리 생성되어 있는 Sample data (운동 동작 이미지 데이터)의 특징벡터들 간의 Max distance를 구한다(S4). Max distance는 x, y, z 좌표의 거리를 각각 구하여 그 중 가장 거리차이가 많이 나는 값을 의미한다. 이는 Max distance를 통해 이상치를 검증하여 카메라의 밖으로 인식되는 부분을 제거하기 위한 작업이다.
정상 데이터 30장을 이용하여 Mean distance를 구한다(S5). Mean distance는 x, y, z 좌표 간의 거리 차이의 평균이다.
이 값 중에서 10개의 가장 작은 Mean distance 값을 저장한다(S6).
추려진 10개의 Mean distance를 EMA를 적용하여 해당 시점의 포즈가 얼마나 운동 수행동작과 유사한지에 대한 정확도 (Confidence)를 구하였다(S7). Confidence 값의 범위는 0.0~1.0 이며 추출된 스켈레톤 값을 토대로 운동을 수행했다고 판별되면 1.0에 가까운 숫자가 그렇지 않으면 0.0에 가까운 숫자가 나오게 된다. EMA는 가장 작은 Mean distance에 가장 큰 가중치를 두어 순차적으로 가중치를 낮추면서 Confidence를 계산하는 방법이다.
이후 앱을 통해 사용자가 전면 카메라를 키면 사용자의 전신에 대한 관절 (Landmark) 좌표를 추출한다. 추출한 Landmark 좌표를 Embedding 과정을 거친 뒤, 샘플 데이터와 KNN 분류를 통해서 현재 자세의 상태가 운동 수행 상태인지 아니면 준비 상태인지 구별한다. 모든 운동 동작의 절차는 On-Device (모바일)에서 사용자가 선택한 운동에 따른 판별모델을 거치게 되며 해당 운동의 수행 자세에 도달하면 운동 카운팅 수가 한 번 증가하며 운동을 할 수 있다.
도 4는 본 발명에 따른 룰 베이스 기반 맞춤형 운동 수행방법의 흐름도이다.
사용자단말기(10)가 서버(20)에 저장된 트레이닝어플리케이션에 연결한다(S11).
사용자단말기(10)가 서버(20)로부터 복수의 운동 수행 예시 영상을 수신한다(S12).
사용자단말기(10)가 수신한 복수의 운동 수행 예시 영상 중 어느 하나의 선택을 수신한다(S13).
사용자단말기(10)가 선택되어 수신한 운동 수행 예시 영상을 표시한다(S14).
사용자단말기(20)가 운동을 수행하는 사용자를 촬영한다(S15).
사용자단말기(20)가 촬영된 사용자의 운동 수행 영상을 서버(10)로 전송한다(S16).
서버(10)는 사용자의 운동 수행 시간과 상기 평균 운동 수행 시간을 비교하여 사용자에게 운동량 및 운동종류 중 적어도 하나를 포함하는 운동루틴을 추천한다(S17).
도 5는 스마트 홈 트레이닝시스템을 이용한 일 실시 예의 운동 수행 방법 흐름도이다.
사용자단말기(10)가 서버(20)에 저장된 트레이닝어플리케이션에 연결한다(S21).
사용자단말기(10)가 서버(20)로부터 복수의 운동 수행 예시 영상을 수신한다(S22).
사용자단말기(10)가 수신한 복수의 운동 수행 예시 영상 중 어느 하나의 선택을 수신한다(S23).
사용자단말기(10)가 선택되어 수신한 운동 수행 예시 영상을 표시한다(S24).
사용자단말기(10)가 운동을 수행하는 사용자를 촬영한다(S25).
사용자단말기(10)가 촬영된 사용자의 운동 수행 영상을 서버로 전송한다(S26).
서버(20)가 각 관절의 좌표를 이용하여 사용자의 운동자세의 정확도를 판단한다(S27).
사용자의 운동자세의 정확도에 기초하여 운동량, 운동종류, 운동수행시간, 운동난이도 및 운동달성도를 조절한다(S28).
도 6은 스마트 홈 트레이닝시스템을 이용한 다른 실시 예의 운동 수행 방법 흐름도이다.
사용자단말기(10)가 서버(20)에 저장된 트레이닝어플리케이션에 연결한다(S31).
사용자단말기(10)가 서버(20)로부터 복수의 운동 수행 예시 영상을 수신한다(S32).
사용자단말기(10)가 수신한 복수의 운동 수행 예시 영상 중 어느 하나의 선택을 수신한다(S33).
사용자단말기(10)가 선택한 운동 수행 예시 영상을 표시한다(S34).
사용자단말기(10)가 운동을 수행하는 사용자를 촬영한다(S35).
사용자단말기(10)가 촬영된 사용자의 운동 수행 영상을 서버(20)로 전송한다(S36).
운동자세의 횟수를 판단하기 위한 복수의 운동자세의 정확도범위를 설정한다(S37).
운동자세의 정확도가 50 내지 65%인 임계정확도범위인 경우 운동자세의 횟수는 0.5개, 운동자세의 정확도가 66 내지 80%인 한계정확도범위인 경우 0.75개, 한계정확도범위를 초과하는 정확도인 경우 운동자세의 횟수를 1개로 판단한다(S38).
사용자의 운동 수행 시간과 평균 운동 수행 시간이 기설정 차이보다 클 경우 난이도가 낮은 운동을 추천한다(S39).
도 7은 룰 베이스 기반 맞춤형 운동 수행방법의 예시 흐름도이다.
사용자는 앱을 통해 운동을 하고 난 후, 사용자의 신체 부위별 능력에 맞게 조정된 루틴을 추천받을 수 있고 이를 기반으로 사용자가 직접 운동 루틴을 제작할 수 있다. 또한 정확도 높은 AI 운동 자세 판별 서비스를 통해 사용자가 제대로 된 운동을 할 수 있도록 도움으로써 효과적이고 효율적인 운동을 가능하도록 한다.
AI 카메라 기반 운동수행 기능은 휴대폰 전면 카메라를 이용하여 사용자의 현재 위치와 운동을 수행하고 있는지 대한 상태를 추적할 수 있다. 또한, 카메라에 전신이 모두 드러난 상태이면 그때부터 운동을 하고 있음을 인지하고 시간을 파악하거나 운동 수행 동작을 판별한다. 해당 기능을 통해 사용자의 운동 준비(Ready) 자세와 운동 수행(Edge) 자세를 구분할 수 있으며, 운동을 1회 수행한 시간은 두 동작 사이의 시간 차이로 계산할 수 있다.
우선 사용자의 운동 횟수와 걸린 시간, 그리고 각 운동 마다의 점수를 세부 저장하는 테이블을 운용한다. 저장된 데이터를 이용하여 운동 1회에 따른 소요시간과 점수를 미리 설정해둔 세가지 조건을 이용하여 운동에 대한 사용자의 등급을 매긴다.
세가지 조건은 다음과 같다.
- 운동 1회에 따른 평균 소요시간 (ex. 스쿼트는 3초, 푸쉬업은 5초)
- 해당 루틴을 끝마치는데 소요되는 예상시간
- 맨몸운동 별 난이도 점수 (ex. 스쿼트 3, 하프스쿼트 2, 런지 1.5)
위의 조건들을 고려했을 때 결과로 나온 사용자의 운동 등급이 전체 사용자의 평균에 못 미치거나 너무 높게 나오는 경우, 사용자의 운동 능력에 맞는 운동 루틴의 자세 난이도 및 횟수 조절을 룰베이스 기반으로 제공한다.
룰 베이스 기반의 플로우는 다음과 같다.
실제로 운동을 하는데 걸린 시간(S43)과 설정된 평균 운동 수행 시간을 비교한다. 운동을 하는데 걸리는 시간은 AI 운동 카운팅 기술을 통해 측정한다.
S1에서 측정된 값과 운동 수행 정확도 값을 기준으로 운동 루틴을 변형한다.
총 루틴을 수행하는데 걸리는 시간보다 더 빠르거나 느리게 수행한 경우 개별 운동 수행시간을 계산하여 횟수를 증감한다.
개별 운동 수행시간이 평균 수행시간의 2배 이상 걸리는 경우 같은 운동 부위이면서 난이도가 낮은 운동으로 대체한다.
룰 베이스 기반으로 완성된 사용자의 운동 루틴에 운동 전문가 및 인플루언서들의 운동 예제 영상을 AI 카메라 화면 및 운동 쉬는 시간에 탑재하여 사용자가 스스로 운동을 잘 수행하고 있는지 여부를 자가 진단할 수 있는 기능을 추가적으로 제공할 수 있다. 사용자의 운동 수행 여부에 따라서 운동 수행 영상의 싱크가 맞지 않는 현상이 발생하게 되는데 이때 운동수행을 통해 누적된 사용자 데이터를 이용하여 사용자의 평균 운동 템포를 측정할 수 있으며 이를 통해 운동 템포를 측정하고 및 영상 싱크를 맞출 수 있다.
측정된 사용자의 운동 템포 정보를 사용하여 속도를 조절한 운동 예제 영상을 사용자에게 제공한다.　평균 운동 템포는 전체적인 운동 속도, 그리고 시간이 지나면서 느려지는 운동 템포 두가지를 측정한다. 전체적인 운동 속도를 통해 영상 전반적인 속도 (배속)를 제어하고, 시간이 지나면서 변화하는 운동 템포를 측정하여 구간을 선별해 영상의 구간별로 각 속도를 달리하여 제공한다. 운동 영상은 구령 음성을 포함한 가능한 많은 횟수의 운동으로 구성하여 싱크를 조절함에 있어서 어색함을 최소화하고, 운동 팁과 같이 여러 횟수에 걸쳐서 나오는 음성은 앱의 백그라운드 사운드로 제공하여 자연스러운 소리와 함께 운동을 할 수 있도록 제공한다.
예를 들어 인플루언서의 영상이 스쿼트를 1회 수행하는 시간 내에 사용자가 스쿼트를 정확하게 수행했을 경우, 자동으로 인플루언서의 스쿼트 2회 단계로 넘어가므로써 사용자와 운동 싱크를 맞춰준다. 만약 사용자가 인플루언서의 속도를 따라가지 못하여 인플루언서의 영상이 스쿼트 1회를 수행할 때까지 사용자가 스쿼트 1회를 마치지 못한다면, 그 횟수는 실패 처리되고 인플루언서의 스쿼트 2회 단계로 넘어가게 된다.
상기의 실시 예 이 외의 변형 가능한 실시 예를 설명한다.
서버제어부는 사용자의 전신영상으로 각 관절좌표를 추출한 후에 운동 수행 예시 영상에 대응한 사용자의 운동 예시를 생성할 수 있다. 이 사용자의 운동 예시는 관절좌표 만으로 마련될 수도 있고, 사용자의 영상을 이용한 운동 수행 예시 영상일 수도 있다. 사용자가 운동을 하는 중에 사용자의 운동 예시를 중첩하여 영상을 보여줌으로써 운동자세가 정확하게 이루어지고 있는지 그렇지 않은 지를 알 수 있다.
또한, 사용자가 운동을 하는 중에 사용자의 운동 예시를 중첩하여 표시하면서 자세의 정확도를 %로 표시하여 보여줄 수도 있다.
사용자의 운동 예시는 사용자가 원하는 캐릭터를 이용하여 생성될 수도 있다.
상기의 스마트 홈 트레이닝시스템(1)으로 인하여, 사용자는 운동을 하고 나면 실제로 운동한 기록을 통해 사용자의 신체 부위별 능력에 따른 난이도가 조절된 루틴 추천을 받을 수 있고 이를 기반으로 사용자가 직접 운동 루틴을 제작할 수 있으며, 또한, 정확도 높은 AI 운동 자세 판별 서비스를 통해 사용자가 제대로 된 운동을 할 수 있도록 도움으로써 효과적이고 효율적인 운동을 가능하도록 할 수 있다.
1: 스마트 홈 트레이닝시스템
10: 사용자단말기 11: 카메라
12: 통신부 13: 디스플레이부
14: 사용자입력부 15: 스피커
16: 마이크 17: 제어부
20: 서버 21: 서버통신부
22: 서버디스플레이부 23: 서버입력부
24: 서버제어부

Claims (9)

  1. 룰 베이스 기반 맞춤형 운동 수행방법을 제공하는 스마트 홈 트레이닝시스템에 있어서,
    사용자의 영상을 촬영할 수 있는 적어도 하나의 카메라와, 외부장치로부터 운동 수행 예시 영상을 수신하는 통신부와, 수신된 상기 운동 수행 예시 영상을 표시하는 디스플레이부와, 상기 외부장치에 저장된 트레이닝어플리케이션에 연결되도록 상기 통신부를 제어하고, 상기 디스플레이부에 표시된 상기 운동 수행 예시 영상에 기초하여 운동을 수행하는 사용자의 영상을 촬영하도록 상기 적어도 하나의 카메라를 제어하며, 촬영된 사용자의 운동 수행 영상을 상기 외부장치로 전송하도록 제어하는 제어부를 포함하는 사용자단말기; 및
    상기 통신부로부터 상기 사용자의 운동 수행 영상을 수신하는 서버통신부와, 복수의 운동 각각에 대하여 설정된 평균 운동 수행 시간을 저장하며, 수신된 상기 사용자의 운동 수행 영상 중 사용자의 운동 수행 시간과 상기 평균 운동 수행 시간을 비교하여 사용자에게 운동량 및 운동종류 중 적어도 하나를 포함하는 운동루틴을 추천하는 서버제어부를 포함하는 서버를 포함하는 스마트 홈 트레이닝시스템.
  2. 제1 항에 있어서,
    상기 서버제어부는,
    상기 사용자단말기가 상기 트레이닝어플리케이션에 연결되면 사용자의 전신영상을 요청하는 스마트 홈 트레이닝시스템.
  3. 제2 항에 있어서,
    상기 서버제어부는,
    상기 사용자의 전신영상 요청에 대응하여 수신된 상기 사용자의 전신영상에서 각 관절마다의 복수의 좌표를 추출하는 스마트 홈 트레이닝시스템.
  4. 제3 항에 있어서,
    상기 서버제어부는,
    상기 복수의 좌표의 위치에 기초하여 운동자세의 정확도를 판단하는 스마트 홈 트레이닝시스템.
  5. 제4 항에 있어서,
    상기 서버제어부는,
    상기 운동자세의 횟수를 판단하기 위한 복수의 운동자세의 정확도범위를 설정하며, 상기 복수의 운동자세의 정확도범위에 기초하여 상기 운동자세의 횟수를 판단하는 스마트 홈 트레이닝시스템.
  6. 제5 항에 있어서,
    상기 복수의 운동자세의 정확도범위는,
    상기 운동자세의 정확도가 50 내지 65%인 임계정확도범위와, 상기 운동자세의 정확도가 66 내지 80%인 한계정확도범위로 이루어지며,
    상기 서버버제어부는,
    상기 임계정확도범위는 상기 운동자세의 횟수를0.5개, 상기 함계정확도범위는 상기 운동자세의 횟수를0.75개 및 상기 한계정확도범위를 초과하는 정확도인 경우 상기 운동자세의 횟수를 1개로 판단하는 스마트 홈 트레이닝시스템.
  7. 제1 항에 있어서,
    상기 서버제어부는,
    사용자의 상기 운동자세의 정확도에 기초하여 운동량, 운동종류, 운동수행시간, 운동난이도 및 운동달성도를 조절하는 스마트 홈 트레이닝시스템.
  8. 제1 항에 있어서,
    상기 서버제어부는,
    상기 사용자의 운동 수행 시간과 상기 평균 운동 수행 시간이 기설정 차이보다 클 경우 난이도가 낮은 운동을 추천하는 스마트 홈 트레이닝시스템.
  9. 스마트 홈 트레이닝을 위한 사용자단말기에 있어서,
    사용자의 영상을 촬영할 수 있는 적어도 하나의 카메라;
    외부장치로부터 운동 수행 예시 영상을 수신하는 통신부;
    수신된 상기 운동 수행 예시 영상을 표시하는 디스플레이부;
    상기 스마트 홈 트레이닝을 위한 트레이닝어플리케이션을 저장하며, 상기 디스플레이부에 표시된 상기 운동 수행 예시 영상에 기초하여 운동을 수행하는 사용자의 영상을 촬영하도록 상기 적어도 하나의 카메라를 제어하며, 촬영된 사용자의 운동 수행 영상을 상기 외부장치로 전송하도록 제어하는 제어부를 포함하는 사용자단말기.
KR1020210144162A 2021-10-27 2021-10-27 룰 베이스 기반 맞춤형 운동 수행방법을 제공하는 스마트 홈 트레이닝시스템 KR20230059996A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210144162A KR20230059996A (ko) 2021-10-27 2021-10-27 룰 베이스 기반 맞춤형 운동 수행방법을 제공하는 스마트 홈 트레이닝시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210144162A KR20230059996A (ko) 2021-10-27 2021-10-27 룰 베이스 기반 맞춤형 운동 수행방법을 제공하는 스마트 홈 트레이닝시스템

Publications (1)

Publication Number Publication Date
KR20230059996A true KR20230059996A (ko) 2023-05-04

Family

ID=86379621

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210144162A KR20230059996A (ko) 2021-10-27 2021-10-27 룰 베이스 기반 맞춤형 운동 수행방법을 제공하는 스마트 홈 트레이닝시스템

Country Status (1)

Country Link
KR (1) KR20230059996A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102141288B1 (ko) 2018-12-17 2020-08-04 이화여자대학교 산학협력단 홈 트레이닝 제공 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102141288B1 (ko) 2018-12-17 2020-08-04 이화여자대학교 산학협력단 홈 트레이닝 제공 방법 및 시스템

Similar Documents

Publication Publication Date Title
KR102097190B1 (ko) 스마트 미러를 이용하여 실시간 운동 동작을 분석 및 디스플레이하기 위한 방법 및 이를 위한 스마트 미러
US10755466B2 (en) Method and apparatus for comparing two motions
KR102266219B1 (ko) 퍼스널 트레이닝 서비스 제공 방법 및 시스템
KR101687252B1 (ko) 맞춤형 개인 트레이닝 관리 시스템 및 방법
KR102125748B1 (ko) 4d 아바타를 이용한 동작가이드장치 및 방법
KR101979750B1 (ko) 댄스 트레이닝 콘텐츠 저작 시스템
KR20180103280A (ko) 관절 사이의 거리 유사성을 토대로 자세인식을 수행하는 노인전용 운동안내 시스템
CN106020440A (zh) 一种基于体感交互的京剧教学系统
US9418470B2 (en) Method and system for selecting the viewing configuration of a rendered figure
KR101909693B1 (ko) 증강현실 기반의 가상 피트니스 트레이너가 제공되는 피트니스 시스템
CN112614399A (zh) 一种基于虚拟现实的舞蹈教学设备及其教学方法
US11954869B2 (en) Motion recognition-based interaction method and recording medium
US11682157B2 (en) Motion-based online interactive platform
CN113128283A (zh) 评估方法、模型构建方法、教学机、教学系统及电子设备
KR102356685B1 (ko) 온라인 그룹을 기반으로 하는 홈 트레이닝 제공 시스템 및 그 방법
KR102320960B1 (ko) 사용자 신체 맞춤형 홈 트레이닝 동작 안내 및 교정 시스템
US20230116624A1 (en) Methods and systems for assisted fitness
EP3786971A1 (en) Advancement manager in a handheld user device
KR20210128943A (ko) 인공신경망을 이용한 스포츠 자세를 비교 및 교정하는 장치 및 방법
CN115131879B (zh) 一种动作评价方法及装置
CN114022512A (zh) 运动辅助方法、装置及介质
JP2017064095A (ja) 学習システム、学習方法、プログラム、記録媒体
US20220198835A1 (en) Information processing apparatus, and method
CN107710732A (zh) 拍摄高尔夫运动的摄像机、方法及系统
KR20230059996A (ko) 룰 베이스 기반 맞춤형 운동 수행방법을 제공하는 스마트 홈 트레이닝시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application