KR20210102622A - 자율이동형 동작인식 카메라 기반의 지능형 홈 트레이닝 시스템 - Google Patents

자율이동형 동작인식 카메라 기반의 지능형 홈 트레이닝 시스템 Download PDF

Info

Publication number
KR20210102622A
KR20210102622A KR1020200016835A KR20200016835A KR20210102622A KR 20210102622 A KR20210102622 A KR 20210102622A KR 1020200016835 A KR1020200016835 A KR 1020200016835A KR 20200016835 A KR20200016835 A KR 20200016835A KR 20210102622 A KR20210102622 A KR 20210102622A
Authority
KR
South Korea
Prior art keywords
user
information
home training
training content
camera
Prior art date
Application number
KR1020200016835A
Other languages
English (en)
Inventor
전우진
노삼열
류문욱
박순찬
박지영
심광현
정혁
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020200016835A priority Critical patent/KR20210102622A/ko
Publication of KR20210102622A publication Critical patent/KR20210102622A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075—Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00—Measuring physiological parameters of the user

Landscapes

  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Rehabilitation Tools (AREA)

Abstract

자율이동형 동작인식 카메라 기반의 지능형 홈 트레이닝 시스템이 개시된다. 홈 트레이닝 콘텐츠 제공 장치는 사용자의 주변에서 이동하며 사용자의 움직임 정보를 수집하는 이동형 동작 인식 카메라, 사용자의 주변의 공간 정보 및 사용자의 생체 정보를 수집하는 환경 정보 획득 카메라, 이동형 동작 인식 카메라를 통해 수집한 움직임 정보, 환경 획득 카메라를 통해 수집한 공간 정보 및 생체 정보에 기초하여 사용자에게 제공할 홈 트레이닝 콘텐츠를 결정하는 메인 장치 및 결정된 홈 트레이닝 콘텐츠를 출력하는 디스플레이를 포함할 수 있다.

Description

자율이동형 동작인식 카메라 기반의 지능형 홈 트레이닝 시스템{Intelligent Home Training System Based on Self-moving Motion Recognition Camera}
아래 실시예들은 자율이동형 동작인식 카메라 기반의 지능형 홈 트레이닝 시스템에 관한 것이다.
기존 홈 트레이닝용 동작 인식 카메라는 특정 위치에 고정되어 있거나 운동하는 사람이 바라보는 모니터의 위치에 부착되어 동작을 한 방향에서만 촬영할 수 있는 한계가 존재했다. 때문에, 운동 시에 특정 동작에서 관절이 가려지는 상황이나 엎드린 동작으로 운동할 때 카메라가 가진 물리적 한계로 정확한 동작을 측정하기가 어려웠다. 그동안 이런 결과를 바탕으로 측정되는 체험자의 운동 자세 측정값은 헬스 운동과 같은 정확한 운동 방법으로 신체 조건을 측정하여 변화시키는 것에는 적합하지 않았다.
종래에 카메라 개수를 늘려 다수의 지점에 카메라를 설치하여 체험자의 동작이나 위치에 의해 가려지는 부분을 극복하려는 시도가 있었다. 그러나 이러한 시도는, 장비의 설치 및 운영의 어려움으로 사실상 운용이 불가능하다. 또한, 이러한 시도를 위해서는, 사용자가 운동 중에 측정을 위해 동작을 멈추고 카메라를 이동시키거나 따로 현장 인원을 배치하여 동작을 유도하는 등의 번거로움이 수반된다.
일 실시예에 따른 홈 트레이닝 콘텐츠 제공 장치는 사용자의 주변에서 이동하며 상기 사용자의 움직임 정보를 수집하는 이동형 동작 인식 카메라; 상기 사용자의 주변의 공간 정보 및 상기 사용자의 생체 정보를 수집하는 환경 정보 획득 카메라; 상기 이동형 동작 인식 카메라를 통해 수집한 움직임 정보, 상기 환경 획득 카메라를 통해 수집한 공간 정보 및 생체 정보에 기초하여 상기 사용자에게 제공할 홈 트레이닝 콘텐츠를 결정하는 메인 장치; 및 상기 결정된 홈 트레이닝 콘텐츠를 출력하는 디스플레이를 포함할 수 있다.
일 실시예에 따른 홈 트레이닝 콘텐츠 제공 방법은 홈 트레이닝 콘텐츠 제공 장치에 구비된 카메라를 통해 사용자의 움직임 정보, 상기 사용자의 생체 정보 및 공간 정보를 수집하는 단계; 상기 수집한 움직임 정보, 상기 공간 정보 및 상기 생체 정보에 기초하여 상기 사용자에게 제공할 홈 트레이닝 콘텐츠를 결정하는 단계; 및 상기 결정된 홈 트레이닝 콘텐츠를 출력하는 단계를 포함할 수 있다.
상기 구비된 카메라는 환경 정보 획득 카메라 및 이동형 동작 인식 카메라를 포함할 수 있다.
상기 환경 정보 획득 카메라는 상기 사용자 주변의 공간 정보 및 상기 사용자의 생체 정보를 수집할 수 있다.
상기 이동형 동작 인식 카메라는 상기 사용자의 주변에서 이동하며 상기 사용자의 움직임 정보를 수집할 수 있다.
상기 사용자의 움직임 정보는, 상기 사용자의 자세 정보, 상기 사용자의 위치 정보 및 상기 사용자의 관절점 정보를 포함할 수 있다.
상기 사용자의 생체 정보는 상기 사용자의 얼굴 정보, 상기 사용자의 맥박 정보, 호흡 정보 및 체온 정보를 포함할 수 있다.
상기 결정된 홈 트레이닝 콘텐츠는 운동 방법 코칭 및 운동 교정 메시지를 가시화한 데이터를 포함할 수 있다.
일 실시예에 따르면, 운동하는 사람의 의사를 판단하여 운동을 방해하지 않는 상태에서 자동으로 동작 인식 카메라를 작동시키고 동시에 최적의 장소로 이동하여 정확한 운동 데이터를 수집할 수 있고, 이를 통해 보다 발전된 형태의 홈 트레이닝 콘텐츠를 제공할 수 있다.
일 실시예에 따르면, 컴퓨터 비전 및 머신러닝 기술의 발전에 따라 점차 소형화되고 단순화되는 하드웨어 및 소프트웨어의 구성으로 간단하고 간편하게 조작시킬 수 있는 홈 콘텐츠를 제공할 수 있다.
일 실시예에 따르면, 운동하는 사람의 특정 자세를 추적하여 가시화하는 방법에 있어, 사용자가 제공받은 홈 트레이닝 방법을 따라하는 중에, 카메라가 사용자의 동작을 추적할 수 없는 상황을 장치가 파악하여, 자동으로 카메라를 이동시키고 사용자의 정확한 자세 및 동작을 파악하여 콘텐츠 시스템에 적용하는 기술을 제공할 수 있다.
일 실시예에 따르면, 동작 인식용 센서를 부착한 자율 이동형 카메라가 공간의 제약을 받지 않으면서 맨몸 운동을 하는 사용자의 정확한 자세 및 동작 데이터를 획득할 수 있고, 이에 기초하여 사용자에게 홈 트레이닝 콘텐츠를 제공할 수 있다.
일 실시예에 따르면 사용자의 동작을 정확하게 인식하여, 가상 트레이너를 통해 사용자에게 잘못된 동작의 교정을 제공할 수 있고 사용자가 바른 동작으로 운동을 할 수 있도록 유도할 수 있다.
일 실시예에 따르면 사용자의 동작 및 자세에 관한 정확한 데이터를 획득함으로써 정확한 데이터에 기반한 홈 트레이닝 콘텐츠를 운용할 수 있다.
도 1은 일 실시예에 따른 홈 트레이닝 콘텐츠 제공 시스템의 개요를 도시하는 도면이다.
도 2는 일 실시예에 따른 홈 트레이닝 콘텐츠 제공 방법을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 홈 트레이닝 콘텐츠 제공 시스템의 구성을 도시하는 도면이다.
도 4 내지 도 7은 일 실시예에 따른 홈 트레이닝 콘텐츠를 제공하는 것에 대한 화면의 일례를 도시하는 도면들이다.
도 8은 일 실시예에 따른 홈 트레이닝 콘텐츠 제공 장치의 구성을 도시하는 도면이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
제1 또는 제2등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해서 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 실시예의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
홈 트레이닝 콘텐츠 제공 시스템은 사용자의 움직임 정보 및 생체 정보를 수집하여 분석하고, 분석한 결과에 기초하여 사용자의 컨디션을 획득하며, 사용자의 컨디션에 적합한 홈 트레이닝 콘텐츠를 제공할 수 있다. 홈 트레이닝 콘텐츠 제공 시스템은 사용자의 주변을 자유롭게 이동할 수 있는 이동형 동작 인식 카메라를 통해, 고정된 카메라로는 수집하기 어려운 사용자의 움직임 정보를 수집할 수 있다. 홈 트레이닝 콘텐츠 제공 시스템은 사용자 인터페이스를 통해 사용자에게 운동의 동작을 코칭하고 잘못된 자세를 교정하는 것에 대한 홈 트레이닝 콘텐츠를 제공할 수 있다.
도 1은 일 실시예에 따른 홈 트레이닝 콘텐츠 제공 시스템의 개요를 도시하는 도면이다.
도 1을 참조하면, 환경 정보 획득 카메라(130) 및 이동형 동작 인식 카메라(140)는 사용자(110)의 움직임 정보, 사용자(110)의 생체 정보 및 공간 정보를 수집할 수 있다. 메인 장치(150)는 환경 정보 획득 카메라(130) 및 이동형 동작 인식 카메라(140)를 통해 촬영한 영상 및 수집한 정보에 기초하여 사용자(110)에게 적합한 홈 트레이닝 콘텐츠를 결정할 수 있다. 메인 장치(150)는 환경 정보 획득 카메라(130) 및 이동형 동작 인식 카메라(140)를 통해 촬영한 영상 및 수집한 정보에 기초하여 사용자(110)의 컨디션 및 운동량 등에 대한 정보를 수집할 수 있다.
사용자(110)는 디스플레이(120)를 통해 홈 트레이닝 콘텐츠를 제공받을 수 있다. 사용자(110)가 홈 트레이닝 콘텐츠에 기초하여 운동을 수행하는 동안에도 환경 정보 획득 카메라(130) 및 이동형 동작 인식 카메라(140)는 사용자(110)의 움직임 정보, 사용자(110)의 생체 정보 및 공간 정보를 수집할 수 있다. 메인 장치(150)는 운동을 통해 변경된 사용자(110)의 움직임 정보 및 생체 정보를 기초로 하는 홈 트레이닝 콘텐츠를 결정할 수도 있다. 이를 통해 홈 트레이닝 콘텐츠 제공 시스템은 사용자(110)와 상호 작용하며 사용자(110)에게 최적화된 홈 트레이닝 콘텐츠를 제공할 수 있다.
도 2는 일 실시예에 따른 홈 트레이닝 콘텐츠 제공 방법을 설명하기 위한 흐름도이다.
도 2를 참조하면, 단계(210)에서 홈 트레이닝 콘텐츠 제공 장치는 홈 트레이닝 콘텐츠 제공 장치에 구비된 카메라를 통해 사용자의 움직임 정보, 사용자의 생체 정보 및 공간 정보를 수집할 수 있다.
일 실시예에서 홈 트레이닝 콘텐츠 제공 장치에 구비된 카메라는 환경 정보 획득 카메라 및 이동형 동작 인식 카메라를 포함할 수 있다. 환경 정보 획득 카메라는 예를 들어, 홈 트레이닝 콘텐츠 제공 장치의 디스플레이의 상단에 고정되어 있을 수 있다. 환경 정보 획득 카메라는 홈 트레이닝 콘텐츠를 제공받는 사용자의 주변 공간 정보를 촬영하여 수집할 수 있다. 또한, 환경 정보 획득 카메라는 사용자의 얼굴 정보, 사용자의 맥박 정보, 호흡 정보 및 체온 정보와 같은 사용자의 생체 정보를 수집할 수도 있다.
이동형 동작 인식 카메라에는 예를 들어, 카메라에 바퀴와 같이 카메라의 자유로운 이동을 도모하기 위한 부품이 장착되어 있으며, 이동형 동작 인식 카메라는 영상 정보를 메인 장치로 전송할 수 있는 무선 송신기를 포함할 수 있다. 이동형 동작 인식 카메라는 사용자의 주변에서 이동하며 사용자의 움직임 정보를 수집할 수 있다. 사용자의 움직임 정보는 사용자의 자세 정보, 사용자의 위치 정보 및 사용자의 관절점 정보를 포함할 수 있다. 이동형 동작 인식 카메라는 고정식 카메라로는 수집하기에 한계가 있는 상황에서, 위치를 변경해가며 사용자의 움직임 정보를 수집할 수 있다. 예를 들어, 이동형 동작 인식 카메라가 사용자의 정면을 촬영하고 있어, 사용자의 뒷모습에 의한 움직임 정보를 수집하기 어려운 경우, 이동형 동작 인식 카메라는 사용자의 뒷모습울 촬영할 수 있는 위치로 이동하여 사용자의 뒷모습에 의한 움직임 정보를 수집할 수 있다.
단계(220)에서 홈 트레이닝 콘텐츠 제공 장치는 수집한 움직임 정보, 공간 정보 및 생체 정보에 기초하여 사용자에게 제공할 홈 트레이닝 콘텐츠를 결정할 수 있다. 일 실시예에서 홈 트레이닝 콘텐츠 제공 장치는 사용자의 라이프 패턴 정보, 움직임 정보, 생체 정보 및 공간 정보에 기초하여 홈 트레이닝 콘텐츠를 결정함으로써, 사용자의 신체 활동에 최적화된 운동 세트를 제공할 수 있다.
단계(230)에서 홈 트레이닝 콘텐츠 제공 장치는 디스플레이를 통해, 결정한 홈 트레이닝 콘텐츠를 출력함으로써 사용자에게 홈 트레이닝 콘텐츠를 제공할 수 있다. 사용자는 디스플레이를 통해 가시화된 홈 트레이닝 콘텐츠를 제공받을 수 있다. 사용자는 제공받은 홈 트레이닝 콘텐츠에 기초하여 홈 트레이닝을 할 수 있다. 홈 트레이닝 콘텐츠 제공 장치는 홈 트레이닝을 수행하는 사용자의 움직임 정보를 수집하고, 움직임 정보를 기초로 하는 홈 트레이닝 콘텐츠를 결정하여 제공할 수 있다. 이를 통해 홈 트레이닝 콘텐츠 제공 장치는 사용자와 상호 작용하며 사용자에게 적합한 홈 트레이닝 콘텐츠를 제공할 수 있다.
도 3은 일 실시예에 따른 홈 트레이닝 콘텐츠 제공 시스템의 구성을 도시하는 도면이다.
도 3을 참조하면 홈 트레이닝 콘텐츠 제공 시스템은 콘텐츠 구동용 메인 장치(300), 환경 정보 획득 카메라(305), 이동형 동작 인식 카메라(335) 및 디스플레이(325)를 포함할 수 있다.
일 실시예에서 환경 정보 획득 카메라(305)는 디스플레이(325)의 상단에 고정되어 있어 사용자 주변의 공간 정보를 수집할 수 있다. 또한, 이동형 동작 인식 카메라(335)는 운동을 하는 사용자의 주변을 이동하며 사용자의 움직임 정보를 다양한 위치에서 수집할 수 있다. 이동형 동작 인식 카메라(335)는 무선 송신기/비디오 센서(340) 및 자유 시점 이동 플랫폼(345)을 포함할 수 있다.
이동형 동작 인식 카메라(335)는 자유 시점 이동 플랫폼(345)을 통해 자유롭게 이동할 수 있다. 또한, 이동형 동작 인식 카메라(335)는 무선 송신기/비디오 센서(340)를 통해 사용자의 움직임 정보를 수집하기 위한 영상을 촬영할 수 있고, 촬영한 영상 및 촬영한 영상에 기초하여 획득한 정보를 콘텐츠 구동용 메인 장치(300)에 전송할 수 있다. 무선 송신기/비디오 센서(340)는 자유 시점 이동 플랫폼(345)를 통해 다양한 위치에서 사용자의 모습을 촬영하고 촬영한 영상에 기초하여 사용자의 위치 정보, 사용자의 자세 정보 및 사용자의 2차원 관절점 정보를 수집할 수 있다. 실시예에 따라 무선 송신기/비디오 센서(340)는 자유 시점 이동 플랫폼(345)에 장착되어 있을 수 있다.
콘텐츠 구동용 메인 장치(300)는 환경 정보 획득 카메라(305) 및 이동형 동작 인식 카메라(335)가 수집한 정보에 기초하여 사용자에게 제공할 홈 트레이닝 콘텐츠를 결정할 수 있다. 콘텐츠 구동용 메인 장치(300)는 무선 수신기/캡처 모듈(310), 메모리(315), 프로세서(320) 및 통신 모듈(330)을 포함할 수 있다.
일 실시예에서 콘텐츠 구동용 메인 장치(300)는 무선 수신기/캡처 모듈(310)을 통해 이동형 동작 인식 카메라(335)의 무선 송신기/비디오 센서(340)가 전송한 영상 및 정보를 수신할 수 있다. 여기서, 무선 송신기/비디오 센서(340)가 전송한 영상은 FHD(full high-definition)의 컬러 영상일 수 있다. 콘텐츠 구동용 메인 장치(300)는 통신 모듈(330)을 통해 이동형 동작 인식 카메라(335)의 자유 시점 이동 플랫폼(345)을 제어할 수 있다. 즉, 콘텐츠 구동용 메인 장치(300)는 통신 모듈(330)을 통해 이동형 동작 인식 카메라(335)의 움직임을 제어할 수 있다.
무선 수신기/캡처 모듈(310)을 통해 수신한 영상 및 사용자의 움직임 정보, 사용자의 생체 정보 및 공간 정보는 메모리(315)에 저장될 수 있다. 프로세서(320)는 콘텐츠 구동용 메인 장치(300)가 영상 및 정보에 기초하여 사용자의 2차원 자세 분석을 수행하고, 사용자의 자세를 추정하도록 콘텐츠 구동용 메인 장치(300)를 제어할 수 있다.
콘텐츠 구동용 메인 장치(300)는 환경 정보 획득 카메라(305) 및 이동형 동작 인식 카메라(335)를 통해 수집한 영상 및 정보에 기초하여 홈 트레이닝 콘텐츠를 결정할 수 있다. 콘텐츠 구동용 메인 장치(300) 내에서 각 모듈로 전달되는 정보는 환경 정보 획득 카메라(305)를 통해 수집된 적외선 및 깊이 정보 값을 제외하면 모두 컬러이고, FHD(full high-definition)일 수 있다. 콘텐츠 구동용 메인 장치(300)는 홈 트레이닝 콘텐츠 제공 시스템의 실시간 동작 및 제어를 위해 게임 엔진 저작 도구를 활용할 수 있다.
콘텐츠 구동용 메인 장치(300)는 사용자의 움직임 정보 및 공간 정보에 기초하여, 디스플레이(325)를 통해 제공될 사용자 인터페이스 상에서 사용자의 좌표 정보를 결정할 수 있다. 콘텐츠 구동용 메인 장치(300)는 사용자의 공간 정보를 기초로 하는 사용자의 위치 정보에 의한 좌표 정보를 사용자 인터페이스 상에서 출력될 사용자의 좌표 정보로 대응시킬 수 있다.
디스플레이(325)는 콘텐츠 구동용 메인 장치(300)가 결정한 홈 트레이닝 콘텐츠와 홈 트레이닝 콘텐츠를 출력하기 위한 사용자 인터페이스를 출력할 수 있다. 디스플레이(325)는 사용자가 홈 트레이닝을 수행하는 배경을 출력할 수 있다. 여기서 사용자가 홈 트레이닝을 수행하는 배경은 공간 정보에 기초하여 결정될 수 있다.
디스플레이(325)는 가상의 AR(Augmented Reality) 트레이너를 출력하고, 사용자의 움직임 정보, 사용자의 생체 정보 및 공간 정보에 기초하여 결정된 홈 트레이닝 콘텐츠를 사용자에게 AR 트레이너를 통해 제공할 수 있다. AR 트레이너를 통해, 디스플레이(325)는 사용자와 상호 작용하는 것과 같은 홈 트레이닝 콘텐츠가 가시화되어 사용자에게 제공될 수 있다. 디스플레이(325)를 통해 출력되는 홈 트레이닝 콘텐츠는 사용자의 실시간 생체 정보를 다어어그램 애니메이션을 통해 가시화시킬 수 있다.
도 4 내지 도 7은 일 실시예에 따른 홈 트레이닝 콘텐츠를 제공하는 것에 대한 화면의 일례를 도시하는 도면들이다.
홈 트레이닝 콘텐츠 제공 장치는 다양한 형태의 사용자 인터페이스를 통해 사용자와 상호작용할 수 있다. 일 실시예에서 홈 트레이닝 콘텐츠 제공 방법의 사용자 인터페이스는 디스플레이를 통해 출력될 수 있다. 실시예에 따라 홈 트레이닝 콘텐츠를 제공하는 것에 대한 화면은 도 4 내지 도 7에 도시된 도면들에 한정되지 않고 다양한 형태의 사용자 인터페이스 디자인으로 사용자에게 제공될 수 있다.
도 4를 참조하면, 홈 트레이닝 콘텐츠 제공 장치가 사용자에게 홈 트레이닝 콘텐츠를 제공하기 위해 디스플레이를 통해 출력하는 화면에는 AR 트레이너(410)가 포함될 수 있다. AR 트레이너(410)는 사용자에게 운동 방법을 코칭하는 가상의 캐릭터가 될 수 있다. AR 트레이너(410)는 사용자와 홈 트레이닝 콘텐츠 제공 장치가 상호작용을 할 수 있도록 하는 가상의 매개체 역할을 수행할 수 있다. 홈 트레이닝 콘텐츠 제공 장치는 사용자에게 운동 방법을 코칭할 수 있고, 운동 방법 및 자세를 교정하는 것에 대한 교정 메시지를 전달할 수 있고, 사용자와 상호작용을 수행하는 것과 같은 역할을 할 수 있다.
일 실시예에서 홈 트레이닝 콘텐츠 제공 장치는 사용자의 동작에 대한 정확한 인식을 도모하기 위한 동작 인식 학습 데이터에 기초하여 학습될 수 있다. 학습된 홈 트레이닝 콘텐츠 제공 장치는 AR 트레이너를 통해 사용자에게 운동에 대한 정확한 자세 코칭 및 교정을 가능하게 하는 홈 트레이닝 콘텐츠를 제공할 수 있다.
참조 번호(420)은 객체 인식(object detection label 또는 tagging) 기능의 일례를 나타내는 표식으로, 홈 트레이닝 콘텐츠 제공 장치가 사용자에게 주변에 있는 도구를 활용하는 운동에 대한 콘텐츠를 제공할 때 사물을 인식하는 역할을 수행할 수 있다. 홈 트레이닝 콘텐츠 제공 장치는 객체 인식 기능을 통해 사용자 주변의 도구를 인식하고, 사용자가, 인식된 도구를 통해 홈 트레이닝을 수행할 수 있도록 콘텐츠를 결정할 수도 있다.
참조 번호(430)는 자세 추적 기능의 일례일 수 있다. 자세 추적 기능은 홈 트레이닝 콘텐츠 제공 장치가 카메라를 통해 수집되어 메모리에 저장된 사용자의 자세 정보 및 관절점 정보에 기초하여, 인체 관절 및 객체 추적에 의한 운동 효과를 시각화하여 출력하는 기능을 제공할 수 있다. 자세 추적 기능은 사용자의 움직임을 추적하여, 운동 궤적을 가시화하고 사용자의 운동량 변화를 실시간 그래프 애니메이션으로 제공할 수 있다.
참조 번호(440)은 최적의 사용자 환경을 제공하기 위한 기능의 일례로, 최적의 사용자 환경을 제공하기 위한 기능은 사용자에게 최적의 사용자 인터페이스를 제공하며, 사용자가 쉽게 확인할 수 있는 메시지를 제공할 수 있다. 참조 번호(440)에는 타이머, 알람 및 카운트를 통해 사용자가 운동 횟수를 확인하고, 사용자가 따라하고 있는 운동 세트에 대한 메시지를 출력할 수 있다. 참조 번호(440)을 통해 사용자는 사용자가 단계별로 정확한 운동량을 수행할 수 있고, 사용자가 하고 있는 운동량의 정량화된 정보를 제공받을 수 있다.
참조 번호(450)는 시각화된 사용자의 생체 신호 및 생체 정보일 수 있다. 시각화된 사용자의 생체 신호 및 생체 정보는 사용자의 운동량 및 운동량의 변화량에 대한 그래프 애니메이션, 생체 정보의 변화를 나타내는 애니메이션, 체온/혈압/맥박 정보, 생활 정보 데이터, 현재 날씨/온도/습도 및 이동형 동작 인식 카메라 뷰를 포함할 수 있다.
도 5는 환경 정보 획득 카메라를 통해 사용자의 생체 정보 및 생체 신호를 수집하는 화면의 일례를 도시하는 도면이다. 환경 정보 획득 카메라가 사용자의 생체 정보 및 생체 신호를 수집하는 것에 대한 영상을 촬영하는 동안 디스플레이는 도 5와 같은 화면을 출력할 수 있다. 홈 트레이닝 콘텐츠 제공 장치는 환경 정보 획득 카메라를 통해 촬영된 영상에 기초하여, 사용자의 체온 정보, 맥박 정보 및 호흡 정보와 같은 생체 정보 및 생체 신호를 수집할 수 있다.
도 6은 일 실시예에 따른 사용자의 현재 컨디션에 기초하여 홈 트레이닝 콘텐츠 제공 장치가 사용자에게 최적화된 운동 세트를 제공하는 것에 대한 화면의 일례이다. 홈 트레이닝 콘텐츠 제공 장치는 사용자의 움직임 정보, 생체 정보 및 공간 정보에 기초하여 사용자의 컨디션을 분석할 수 있다. 홈 트레이닝 콘텐츠 제공 장치는, 분석된 사용자의 컨디션에 기초하여 사용자에게 최적화된 운동 세트를 결정할 수 있고 이에 대응하는 화면을 디스플레이를 통해 출력할 수 있다.
도 7은 일 실시예에 따른 사용자에게 홈 트레이닝 콘텐츠를 제공하는 것에 대한 화면의 일례를 도시하는 도면이다. 도 7을 참조하면 홈 트레이닝 콘텐츠 제공 장치는 AR 트레이너를 통해, 사용자에게 제공하기로 결정된 홈 트레이닝 콘텐츠를 제공할 수 있다. 사용자는 도 7과 같은 화면에서 출력된 AR 트레이너의 동작을 참고하여 운동을 수행할 수 있다. 이동형 동작 인식 카메라 및 환경 정보 획득 카메라는 운동을 수행 중인 사용자의 움직임 정보 및 생체 정보를 수집할 수 있다. 화면에는 사용자의 움직임 정보 및 생체 정보가 시각화된 데이터가 포함될 수 있다.
도 8은 일 실시예에 따른 홈 트레이닝 콘텐츠 제공 장치의 구성을 도시하는 도면이다.
도 8을 참조하면 일 실시예에서, 홈 트레이닝 콘텐츠 제공 장치(800)는 이동형 동작 인식 카메라(810), 환경 정보 획득 카메라(820), 메인 장치(830) 및 디스플레이(840)를 포함할 수 있다. 홈 트레이닝 콘텐츠 제공 장치(800)는 본 명세서에서 설명된 홈 트레이닝 콘텐츠 제공 장치에 대응할 수 있고, 메인 장치(830)는 도 3에서 설명된 콘텐츠 구동용 메인 장치에 대응할 수 있다.
이동형 동작 인식 카메라(810)는 사용자의 주변에서 이동하며 사용자의 움직임 정보를 수집할 수 있다. 이동형 동작 인식 카메라(810)는 실시예에 따라 홈 트레이닝 콘텐츠 제공 장치(800)의 외부에 위치하고, 바퀴와 같은 부품을 구비하고 있어 메인 장치(830)의 제어 하에 사용자의 주변을 자유롭게 이동하며 사용자의 움직임 정보를 수집할 수 있다.
환경 정보 획득 카메라(820)는 사용자의 주변의 공간 정보 및 사용자의 생체 정보를 수집할 수 있다. 환경 정보 획득 카메라(820)는 실시예에 따라 홈 트레이닝 콘텐츠 제공 장치(800)의 외부에 위치하고, 디스플레이(840)의 상단에 고정되어 위치할 수 있다. 환경 정보 획득 카메라(820)는 사용자가 운동을 하고 있는 주변의 공간 정보를 수집할 수 있고, 이와 동시에 사용자의 맥박 정보, 호흡 정보 및 얼굴 정보 등을 포함하는 생체 정보를 수집할 수 있다.
메인 장치(830)는 이동형 동작 인식 카메라(810)를 통해 수집한 움직임 정보, 환경 획득 카메라를 통해 수집한 공간 정보 및 생체 정보에 기초하여 사용자에게 제공할 홈 트레이닝 콘텐츠를 결정할 수 있다.
디스플레이(840)는 결정된 홈 트레이닝 콘텐츠를 출력할 수 있다. 디스플레이(840)는 홈 트레이닝 콘텐츠 제공 장치(800)의 외부에 위치할 수 있다. 디스플레이(840)는 예를 들어, 홈 트레이닝 콘텐츠 제공 장치(800)가 홈 트레이닝 콘텐츠를 제공하는 것에 대한 화면을 출력할 수 있는 모니터, TV 등을 비롯한 영상 출력 장치가 될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
110: 사용자 120, 325, 840: 디스플레이
130, 305, 820: 환경 정보 획득 카메라
140, 335, 810: 이동형 동작 인식 카메라
150, 300, 830: 메인 장치 310: 무선 수신기/캡처 모듈
315: 메모리 320: 프로세서
330: 통신 모듈 340: 무선 송신기/비디오 센서
345: 자유 시점 이동 플랫폼 800: 홈 트레이닝 콘텐츠 제공 장치

Claims (1)

  1. 홈 트레이닝 콘텐츠 제공 장치에 있어서,
    사용자의 주변에서 이동하며 상기 사용자의 움직임 정보를 수집하는 이동형 동작 인식 카메라;
    상기 사용자의 주변의 공간 정보 및 상기 사용자의 생체 정보를 수집하는 환경 정보 획득 카메라;
    상기 이동형 동작 인식 카메라를 통해 수집한 움직임 정보, 상기 환경 획득 카메라를 통해 수집한 공간 정보 및 생체 정보에 기초하여 상기 사용자에게 제공할 홈 트레이닝 콘텐츠를 결정하는 메인 장치; 및
    상기 결정된 홈 트레이닝 콘텐츠를 출력하는 디스플레이
    를 포함하는,
    홈 트레이닝 콘텐츠 제공 장치.
KR1020200016835A 2020-02-12 2020-02-12 자율이동형 동작인식 카메라 기반의 지능형 홈 트레이닝 시스템 KR20210102622A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200016835A KR20210102622A (ko) 2020-02-12 2020-02-12 자율이동형 동작인식 카메라 기반의 지능형 홈 트레이닝 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200016835A KR20210102622A (ko) 2020-02-12 2020-02-12 자율이동형 동작인식 카메라 기반의 지능형 홈 트레이닝 시스템

Publications (1)

Publication Number Publication Date
KR20210102622A true KR20210102622A (ko) 2021-08-20

Family

ID=77466714

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200016835A KR20210102622A (ko) 2020-02-12 2020-02-12 자율이동형 동작인식 카메라 기반의 지능형 홈 트레이닝 시스템

Country Status (1)

Country Link
KR (1) KR20210102622A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102524397B1 (ko) * 2022-10-06 2023-04-25 이현수 노약자 운동 관리를 위한 트레이닝 장치 및 이를 이용한 노약자 건강 관리 방법
WO2023136419A1 (ko) * 2022-01-14 2023-07-20 삼성전자 주식회사 디스플레이 장치 및 그 동작 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023136419A1 (ko) * 2022-01-14 2023-07-20 삼성전자 주식회사 디스플레이 장치 및 그 동작 방법
KR102524397B1 (ko) * 2022-10-06 2023-04-25 이현수 노약자 운동 관리를 위한 트레이닝 장치 및 이를 이용한 노약자 건강 관리 방법

Similar Documents

Publication Publication Date Title
TWI508034B (zh) 心肺復甦術教學系統及方法
CN110321754B (zh) 一种基于计算机视觉的人体运动姿态纠正方法及系统
KR100772497B1 (ko) 골프 클리닉 시스템 및 그것의 운용방법
US7782358B2 (en) Measuring human movements—method and apparatus
AU2024200988A1 (en) Multi-joint Tracking Combining Embedded Sensors and an External
CN107754225A (zh) 一种智能健身教练系统
KR101133736B1 (ko) 촬영 영상을 이용한 수영 훈련 장치 및 그 제어 방법
KR20210102622A (ko) 자율이동형 동작인식 카메라 기반의 지능형 홈 트레이닝 시스템
Wiehr et al. betaCube: Enhancing training for climbing by a self-calibrating camera-projection unit
CN112734799A (zh) 健身运动姿态指导系统
CN105373011B (zh) 检测光电跟踪设备的实时仿真系统和计算机
CN115624735A (zh) 一种用于球类运动的辅助训练系统和工作方法
CN108434698B (zh) 一种体育球类运动教学系统
US20230285832A1 (en) Automatic ball machine apparatus utilizing player identification and player tracking
CN110989839B (zh) 人机对战的系统和方法
Chalkley et al. Development and Validation of a Sensor-Based Algorithm for Detecting the Visual Exploratory Actions
KR20230130957A (ko) 모션 인식 기반 실감형 홈스피닝 운동 시스템
KR102434326B1 (ko) 몸동작 실시간 영상비교가 가능한 테니스 온라인 가상훈련 시스템
Oommen et al. A wearable electronic swim coach for blind athletes
CN114360052A (zh) 一种基于AlphaPose和关节点角度匹配算法的智能体感教练系统
Malawski Real-Time First Person Perspective Tracking and Feedback System for Weapon Practice Support in Fencing.
KR20150085896A (ko) 골프스윙 자동분석기
KR102569505B1 (ko) 실시간 자동 신체 인식 기능을 탑재한 모바일 장비용 인공지능 자세추정 시스템 및 방법
WO2019021315A1 (en) MOTION DETECTION TECHNOLOGY SYSTEM
Müller et al. Javelin Throw Analysis and Assessment with Body-Worn Sensors