KR20170018529A - 헬스케어 유닛 기반 시뮬레이터 및 이를 이용한 시뮬레이션 방법 - Google Patents

헬스케어 유닛 기반 시뮬레이터 및 이를 이용한 시뮬레이션 방법 Download PDF

Info

Publication number
KR20170018529A
KR20170018529A KR1020150112286A KR20150112286A KR20170018529A KR 20170018529 A KR20170018529 A KR 20170018529A KR 1020150112286 A KR1020150112286 A KR 1020150112286A KR 20150112286 A KR20150112286 A KR 20150112286A KR 20170018529 A KR20170018529 A KR 20170018529A
Authority
KR
South Korea
Prior art keywords
unit
feature point
user
cluster
motion
Prior art date
Application number
KR1020150112286A
Other languages
English (en)
Other versions
KR102034021B1 (ko
Inventor
임영재
이상훈
김종유
김학섭
박상준
오희석
이소연
정교일
Original Assignee
한국전자통신연구원
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 연세대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to KR1020150112286A priority Critical patent/KR102034021B1/ko
Priority to US15/205,149 priority patent/US10108855B2/en
Publication of KR20170018529A publication Critical patent/KR20170018529A/ko
Application granted granted Critical
Publication of KR102034021B1 publication Critical patent/KR102034021B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B22/02—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B22/02—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills
    • A63B22/0235—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills driven by a motor
    • A63B22/0242—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills driven by a motor with speed variation
    • A63B22/0257—Mechanical systems therefor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075—Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012—Comparing movements or motion sequences with a registered reference
    • A63B2024/0015—Comparing movements or motion sequences with computerised simulations of movements or motion sequences, e.g. for generating an ideal template as reference to be achieved by the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • Vascular Medicine (AREA)
  • Cardiology (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 헬스케어 유닛 상에서 운동하는 사용자의 움직임에 대한 운동 패턴 정보를 축적하고, 축적된 운동 패턴 정보로부터 사용자의 다음 운동 상태를 예측하여 헬스케어 유닛의 작동을 제어함으로써, 사용자에게 보다 안정적인 가상현실을 실감있게 체험할 수 있도록 하는 헬스케어 유닛 기반 시뮬레이터와 이를 이용한 시뮬레이션 방법을 제시한다.

Description

헬스케어 유닛 기반 시뮬레이터 및 이를 이용한 시뮬레이션 방법{SIMULATOR BASED ON HEALTHCARE UNIT AND SIMULATION METHOD USING THE SAME}
본 발명은 헬스케어 유닛 기반 시뮬레이터와 이를 이용한 시뮬레이션 방법에 관한 것으로, 보다 상세하게는 헬스케어 유닛 상에서 운동하는 사용자의 움직임에 대한 운동 패턴 정보를 축적하고, 축적된 운동 패턴 정보로부터 사용자의 다음 운동 상태를 예측하여 헬스케어 유닛의 작동을 제어함으로써, 사용자에게 보다 안정적인 가상현실을 실감있게 체험할 수 있도록 하는 헬스케어 유닛 기반 시뮬레이터와 이를 이용한 시뮬레이션 방법에 관한 것이다.
최근 다양한 UI(User Interface) 또는 UX(User Experience) 기술의 발전으로 사용자의 움직임을 인지하여 시스템을 동작하는 다양한 가상현실 시스템이 도입되고 있다. 이를 위해, 사용자의 골격 구조 정보를 추출하여 사용자의 움직임을 인식하는 다양한 기법이 개발되었으며, 이를 활용하는 다양한 인터랙션(interaction) 시스템이 개발되고 있다. 특히, 사용자에게 보다 현실감 있는 가상현실 시스템을 제공하기 위해서 사용자가 다양한 움직임을 취할 수 있도록, 트레드밀(treadmill)과 같은 헬스케어 유닛을 기반으로 하는 다양한 가상현실 시뮬레이터가 이용되고 있다. 그러나, 종래의 트레드밀을 활용한 가상현실 시뮬레이터는 단순히 사용자의 현재 운동 속도를 분석하여 트레드밀을 구동하는 시스템 제공에 그치고 있어, 사용자에게 불안정한 트레드밀 동작을 야기하게 되는 단점이 존재한다. 이렇듯 사용자의 운동 속도만을 고려한 종래의 가상현실 시뮬레이터는 사용자의 편의성과 가상현실로의 몰입감을 저해하게 됨으로써, 사용자에게 보다 현실감 있는 가상현실 체험을 제공할 수 없다.
한편, '트레드밀 및 그의 제어방법'을 발명의 명칭으로 하는 대한민국 공개특허 제2014-0144868호(공개일자 : 2014.12.22)는 사용자의 위치를 감지하여 벨트의 이동속도를 자동으로 제어하는 트레드밀과 그의 제어방법에 대해 개시하고 있으나, 대한민국 공개특허 제2014-0144868호 등과 같은 종래의 트레드밀 제어 기술은 단순히 사용자의 위치 또는 운동 속도를 실시간으로 감지한 정보만을 이용하므로, 연속적인 사용자 움직임에 대한 효과적인 움직임 인식과 속도 인식에 한계가 존재한다. 또한, 사용자의 움직임은 시간의 흐름에 따른 연속적인 동작이나, 상기와 같은 종래의 트레드밀 제어 기술은 이러한 사용자 움직임의 연속성에 대한 고려를 수반하지 못하고 있다.
대한민국 공개특허 제2014-0144868호 '트레드밀 및 그의 제어방법'(2014.12.22 공개)
본 발명의 목적은, 종래의 헬스케어 유닛을 활용한 가상현실 시뮬레이터의 단점을 극복하기 위해, 사용자의 연속적인 동작에 대한 사용자 움직임 정보를 구축하고, 미리 구축된 움직임 정보를 활용하여 사용자의 다음 운동 상태를 예측하고, 이를 헬스케어 유닛의 구동 시스템에 피드백함으로써, 사용자가 다양한 움직임을 취할 시에 보다 안정적인 헬스케어 유닛의 구동이 가능하도록 하는 기술을 제공하고자 함에 있다.
또한, 본 발명의 목적은, 헬스케어 유닛 상에서 운동하는 사용자의 연속적인 움직임에 대한 운동 패턴 정보의 구축과 다음 운동 상태에 대한 예측 기술을 정의함으로써, 사용자에게 보다 안전하고 가상현실에 대한 높은 몰입감을 제공할 수 있는 헬스케어 유닛 기반 가상현실 시스템을 제공하고자 함에 있다.
상기한 목적을 달성하기 위한 본 발명에 따른 헬스케어 유닛 기반 시뮬레이터는, 적어도 하나 이상의 카메라 센서로부터 헬스케어 유닛 상에 위치하는 사용자의 동작 센싱정보를 획득하고, 상기 동작 센싱정보에 기초하여 상기 사용자의 시간별 인체 골격구조에 대한 특징점들을 추출하는 특징점 추출부; 기설정된 시간 동안 상기 특징점 추출부에 의해 추출된 특징점들에 대해 2 이상의 개수로 클러스터링(clustering)한 다수의 특징점 클러스터를 생성하고, 상기 다수의 특징점 클러스터 각각에 대해 클러스터 심볼을 설정하는 특징점 클러스터 생성부; 상기 특징점 클러스터 생성부에 의해 설정된 각각의 특징점 클러스터의 심볼을 이용하여 상기 사용자에 대한 다수의 특징점 클러스터들 간의 상태 전이 정보를 생성하여 저장하는 운동 패턴 정보 축적부; 및 상기 운동 패턴 정보 축적부에 미리 저장된 상기 사용자에 대한 다수의 특징점 클러스터들 간의 상태 전이 정보에 기초하여, 상기 사용자에 대해 현재 생성된 특징점 클러스터의 다음 특징점 클러스터를 예측하여 상기 사용자의 다음 운동 상태를 예측하는 운동 상태 예측부를 포함하는 것을 특징으로 한다.
이때, 본 발명에 따른 헬스케어 유닛 기반 시뮬레이터는, 상기 운동 상태 예측부에 의해 예측된 상기 사용자의 다음 운동 상태에 기초하여 상기 헬스케어 유닛의 작동을 제어하는 헬스케어 유닛 제어부를 더 포함할 수 있다.
이때, 상기 운동 패턴 정보 축적부는, 상기 사용자에 대한 다수의 특징점 클러스터의 클러스터 심볼들에 대해 마르코프 모델(Markov model)을 이용한 순차 분류를 통해 상기 상태 전이 정보를 생성하여 저장할 수 있다.
이때, 상기 상태 전이 정보는 다수의 특징점 클러스터의 각각의 심볼 간의 전이 시의 전이 확률을 포함할 수 있다.
이때, 상기 운동 상태 예측부는, 상기 상태 전이 정보에 포함된 전이 확률에 기초하여, 가장 높은 전이 확률을 갖는 다음 심볼에 상응하는 특징점 클러스터를 상기 사용자에 대해 현재 생성된 특징점 클러스터의 다음 특징점 클러스터로 예측하여 상기 사용자의 다음 운동 상태를 예측할 수 있다.
이때, 상기 특징점 클러스터 생성부는, K-평균 클러스터링 알고리즘(K-means clustering algorithm)을 이용하여, 상기 기설정된 시간 구간에서 상기 특징점 추출부에 의해 추출된 특징점들에 대해 2 이상의 개수로 클러스터링한 다수의 특징점 클러스터를 생성할 수 있다.
이때, 상기 헬스케어 유닛은 사용자의 1차원 또는 2차원 보행 이동이 가능한 트레드밀(treadmill)에 해당할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명에 따른 헬스케어 유닛 기반 시뮬레이션 방법은, 특징점 추출부가 적어도 하나 이상의 카메라 센서로부터 헬스케어 유닛 상에 위치하는 사용자의 동작 센싱정보를 획득하는 단계; 상기 특징점 추출부가 상기 동작 센싱정보에 기초하여 상기 사용자의 인체 골격구조에 대한 특징점들을 추출하는 단계; 특징점 클러스터 생성부가 기설정된 시간 동안 상기 특징점 추출부에 의해 추출된 특징점들에 대해 2 이상의 개수로 클러스터링(clustering)한 다수의 특징점 클러스터를 생성하는 단계; 상기 특징점 클러스터 생성부가 상기 다수의 특징점 클러스터 각각에 대해 클러스터 심볼을 설정하는 단계; 운동 패턴 정보 축적부가 상기 특징점 클러스터 생성부에 의해 설정된 각각의 특징점 클러스터의 심볼을 이용하여 상기 사용자에 대한 다수의 특징점 클러스터들 간의 상태 전이 정보를 생성하여 저장하는 단계; 및 운동 상태 예측부가 상기 운동 패턴 정보 축적부에 미리 저장된 상기 사용자에 대한 다수의 특징점 클러스터 간의 상태 전이 정보에 기초하여, 상기 사용자에 대해 현재 생성된 특징점 클러스터의 다음 특징점 클러스터를 예측하여 상기 사용자의 다음 운동 상태를 예측하는 단계를 포함하는 것을 특징으로 한다.
이때, 본 발명에 따른 헬스케어 유닛 기반 시뮬레이션 방법은, 헬스케어 유닛 제어부가 상기 운동 상태 예측부에 의해 예측된 상기 사용자의 다음 운동 상태에 기초하여 상기 헬스케어 유닛의 작동을 제어하는 단계를 더 포함할 수 있다.
이때, 상기 사용자에 대한 다수의 특징점 클러스터들 간의 상태 전이 정보를 생성하여 저장하는 단계에서는, 상기 운동 패턴 정보 축적부가 상기 사용자에 대한 다수의 특징점 클러스터의 클러스터 심볼들에 대해 마르코프 모델(Markov model)을 이용한 순차 분류를 통해 상기 상태 전이 정보를 생성하여 저장할 수 있다.
이때, 상기 상태 전이 정보는 다수의 특징점 클러스터의 각각의 심볼 간의 전이 시의 전이 확률을 포함할 수 있다.
이때, 상기 사용자의 다음 운동 상태를 예측하는 단계에서는, 상기 운동 상태 예측부가 상기 상태 전이 정보에 포함된 전이 확률에 기초하여, 가장 높은 전이 확률을 갖는 다음 심볼에 상응하는 특징점 클러스터를 상기 사용자에 대해 현재 생성된 특징점 클러스터의 다음 특징점 클러스터로 예측하여 상기 사용자의 다음 운동 상태를 예측할 수 있다.
이때, 상기 다수의 특징점 클러스터를 생성하는 단계에서는, 상기 특징점 클러스터 생성부가 K-평균 클러스터링 알고리즘(K-means clustering algorithm)을 이용하여, 상기 기설정된 시간 구간에서 상기 특징점 추출부에 의해 추출된 특징점들에 대해 2 이상의 개수로 클러스터링한 다수의 특징점 클러스터를 생성할 수 있다.
이때, 상기 헬스케어 유닛은 사용자의 1차원 또는 2차원 보행 이동이 가능한 트레드밀(treadmill)에 해당할 수 있다.
본 발명에 따르면, 사용자의 연속적인 동작에 대한 사용자 움직임 정보를 구축하고, 미리 구축된 움직임 정보를 활용하여 사용자의 다음 운동 상태를 예측하고, 이를 헬스케어 유닛의 구동 시스템에 피드백함으로써, 사용자가 다양한 움직임을 취할 시에 보다 안정적인 헬스케어 유닛의 구동이 가능하도록 하는 효과가 있다.
또한, 본 발명에 따르면, 헬스케어 유닛 상에서 운동하는 사용자의 연속적인 움직임에 대한 운동 패턴 정보의 구축과 다음 운동 상태에 대한 예측 기술을 정의함으로써, 사용자에게 보다 안전하고 가상현실에 대한 높은 몰입감을 제공할 수 있는 헬스케어 유닛 기반 가상현실 시스템을 제공할 수 있는 효과가 있다.
도 1은 본 발명에 따른 헬스케어 유닛 기반 시뮬레이터와 헬스케어 유닛 간의 연동 관계를 설명하기 위한 도면이다.
도 2는 도 1에 도시된 본 발명에 따른 헬스케어 유닛 기반 시뮬레이터의 보다 구체적인 구성을 설명하기 위한 블록도이다.
도 3은 사용자의 인체 골격구조에 대한 특징점들을 예시적으로 설명하기 위한 도면이다.
도 4A 및 도 4B는 사용자의 인체 골격구조에 대한 특징점들에 대한 특징점 클러스터를 예시적으로 설명하기 위한 도면이다.
도 5A 및 도 5B는 반복되는 사용자의 움직임에 대한 시간별 특징점 클러스터의 변화 패턴을 예시적으로 설명하기 위한 도면이다.
도 6은 사용자의 움직임에 대한 클러스터 심볼의 변화를 나타내는 상태 전이도를 예시적으로 설명하기 위한 도면이다.
도 7은 본 발명에 따른 헬스케어 유닛 기반 가상현실 시뮬레이션 방법을 설명하기 위한 흐름도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하에서는 본 발명에 따른 헬스케어 유닛 기반 시뮬레이터의 구성 및 그 작동에 대하여 설명하도록 한다.
도 1은 본 발명에 따른 헬스케어 유닛 기반 시뮬레이터와 헬스케어 유닛 간의 연동 관계를 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명에 따른 헬스케어 유닛 기반 시뮬레이터를 포함하는 전체적인 시뮬레이션 시스템은, 헬스케어 유닛 기반 시뮬레이터(10)와, 디스플레이 수단(22)이 구비된 헬스케어 유닛(20)과, 헬스케어 유닛(20) 상에 위치하는 사용자(30)의 동작 센싱정보를 획득하는 적어도 하나 이상의 카메라 센서들(40)로 구성된다.
헬스케어 유닛(20)은 사용자(30)의 건강 관리를 위한 운동 기구로서, 이러한 헬스케어 유닛(20)으로는 한정된 실내 공간에서 사용자(30)가 실제 이동하지 않고도 제자리에서 걷거나 달리는 움직임에 따라 사용자(30)의 이동 공간을 확보하고 운동 효과의 난이도를 조절할 수 있도록 내부의 구동 모터나 액츄에이터에 의해 작동이 이루어지고 사용자의 1차원 또는 2차원 보행 이동이 가능한 트레드밀(tredmill)이 해당될 수 있으나, 이에 한정되는 것은 아니다. 헬스케어 유닛(20)은 사용자(30)에게 가상현실을 보다 실감있게 체험할 수 있도록 하는 메타버스 공간 화면(예를 들어, 조깅 코스 화면 등)을 표시하는 디스플레이 수단(22)이 구비되어 사용자(30)로 하여금 다수의 코스 화면 중 어느 하나의 코스를 선택하여 메타버스 공간에 접속할 수 있도록 할 수 있다. 이에 따라, 헬스케어 유닛(20) 상에서 운동하는 사용자(30)는 다양한 조깅 코스들에서 선택된 메타버스 공간을 디스플레이 수단(22)을 통해 가상현실의 3D 그래픽으로 제공받을 수 있으며, 메타버스 공간 상에서 자신의 모습이 투영된 아바타를 보며 자신의 운동 상황을 체크할 수도 있다. 한편, 헬스케어 유닛(20)은 디스플레이 수단(22)과 동기화되어 디스플레이 수단(22)에 표시되고 있는 메타버스 공간의 가상현실 환경에 따라 내부 구동 모터나 액츄에이터를 동작시켜 사용자(30)로 하여금 실감 효과를 제공받을 수 있도록 한다. 예를 들어, 사용자(30)가 디스플레이 수단(22)에 표시되고 있는 메타버스 공간에서 언덕 또는 내리막이 있는 지역을 들어선 경우, 헬스케어 유닛(20)은 메타버스 공간 상의 언덕 또는 내리막의 경사도에 따라 헬스케어 유닛(20)의 트랙 경사도를 조절하는 액츄에이터를 동작시켜 사용자(30)에게 그에 맞는 실감 효과를 제공할 수 있다. 그러나, 사용자(30)가 헬스케어 유닛(20) 상에서 어떠한 움직임을 취할지 알 수 없는 경우에 사용자(30)의 움직임 변수로 인하여 헬스케어 유닛(20)의 동작을 단순히 디스플레이 수단(22)에 표시되는 메타버스 공간 화면과 동기화하게 되면 사용자(30)의 안전에 위험을 초래할 수 있다. 이를 방지하고자, 본 발명에 따른 헬스케어 유닛 기반 시뮬레이터(10)는 카메라 센서(40)로부터 획득한 사용자(30)의 움직임에 대한 동작 센싱정보를 분석하여 사용자(30)의 다음 운동 상태를 예측하고, 예측된 사용자(30)의 다음 운동 상태에 기반하여 헬스케어 유닛(20)의 작동을 제어함으로써, 사용자(30)의 다음 운동 상태를 고려한 안정성을 확보할 수 있도록 한다.
보다 구체적으로, 이를 위한 본 발명에 따른 헬스케어 유닛 기반 시뮬레이터(10)의 세부 구성을 살펴보면, 도 2에 도시된 바와 같이, 특징점 추출부(100)와, 특징점 클러스터 생성부(200)와, 운동 패턴 정보 축적부(300)와, 운동 상태 예측부(400)와, 헬스케어 유닛 제어부(500)로 이루어진다.
특징점 추출부(100)는 적어도 하나 이상의 카메라 센서(40)로부터 헬스케어 유닛(20) 상에 위치하는 사용자(30)의 움직임에 대한 동작 센싱정보를 획득한다. 이때, 카메라 센서(40)는 사용자(30)의 주위에 다수로 설치될 수 있고, 사용자(30)에 대한 동작 센싱정보로서 RGB 색상 정보, 깊이 영상 정보 및 골격(skeleton) 구조 정보 중 어느 하나 이상을 포함하는 동작 센싱정보를 획득할 수 있다. 본 발명에서 깊이 영상 정보와 골격 구조 정보를 획득하는 방식으로는 깊이 카메라를 사용하여 깊이 영상 정보와 실기간 골격 추적 정보를 획득하는 방법, 또는 다시점 카메라에 의해 획득된 영상의 스테레오 정합을 수행하여 3차원 정보를 획득하는 방법 등 다양한 방법이 사용될 수 있다. 특징점 추출부(100)는 카메라 센서(40)로부터 획득한 사용자(30)의 움직임에 대한 동작 센싱정보에 기초하여 사용자(30)의 시간별 인체 골격구조에 대한 특징점들을 추출한다. 사용자(30)의 시간별 인체 골격구조에 대한 특징점들은 RGB 색상 정보를 통해 얻어지는 사용자(30)의 움직임 벡터, 깊이 영상 정보를 통해 얻어지는 상대적 거리, 골격 구조 정보를 통해 얻어지는 3차원 관절 좌표 및 각속도와 같은 사용자(30)의 모든 움직임을 표현하는 정보로부터 추출될 수 있다. 특징점 추출부(100)에 의해 추출되는 사용자(30)의 인체 골격구조에 대한 특징점들은 예시적으로 도 3에 도시된 바와 같이 X/Y/Z 축으로 표현되는 3차원 좌표계에서 얻어지는 특징점들(예를 들어, 관절의 각도에 기초한 특징점들)로서 추출될 수 있다.
특징점 추출부(100)에 의해 추출된 특징점들은 카메라 센서(40)에 의해 획득된 사용자(30)에 대한 동작 센싱정보의 매 프레임마다 미세한 차이로 달라지게 되나, 유사한 특징점들은 짧은 시간 단위로 하나의 클러스터로 그룹화될 수 있다. 특징점 클러스터 생성부(200)는 기설정된 시간 동안 특징점 추출부(100)에 의해 추출된 특징점들에 대해 2 이상의 개수로 클러스터링(clustering)한 다수의 특징점 클러스터를 생성한다. 예를 들어, 도 4A 및 도 4B에 도시된 바와 같이, 특징점 클러스터 생성부(200)는 300프레임(10초) 동안의 기설정된 시간 동안에 사용자(30)이 동작 센싱정보에서 추출한 특징점들을 12개의 클러스터로 그룹화할 수 있다. 도 4B를 참조하면, 헬스케어 유닛(20) 상에 위치하는 사용자(30)의 움직임은 특징점 클러스터 생성부(200)에 의해 그룹화된 다수의 클러스터(12개의 클러스터)로서 시간축을 따라 패턴의 상태 전이 분포가 반복됨을 확인할 수 있다. 여기서, 특징점 클러스터 생성부(200)가 기설정된 시간 동안 특징점 추출부(100)에 의해 추출된 특징점들을 다수의 특징점 클러스터로 그룹화하기 위해 사용하는 클러스터링 알고리즘으로는 K-평균 클러스터링 알고리즘(K-means clustering algorithm) 기법을 적용할 수 있으나 이에 한정되지 않고 다양한 무감독 분류 기법이 적용될 수 있다. 한편, 특징점 클러스터 생성부(200)는 그룹화한 다수의 특징점 클러스터 각각에 대해 클러스터 심볼을 설정한다. 즉, 특징점 클러스터 생성부(200)는 한 개 이상의 차원을 갖는 특징점들의 집합을 하나의 클러스터로 그룹화하고 이를 심볼(symbol)로서 표현한다.
사용자(30)의 움직임에 대해 특징점들이 추출되면, 추출된 특징점들을 그룹화한 다수의 특징점 클러스터들은 시간축을 따라 사용자(30)의 움직임에 따라 일관성 있는 패턴으로 순차적으로 나타나게 된다. 예를 들어, 도 5A 및 5B를 참조하면, 사용자(30)의 서로 다른 움직임에 대하여 특징점 클러스터 생성부(200)가 각각 25개의 특징점 클러스터로 그룹화하였을 때, 반복되는 사용자(30)의 움직임에 따른 반복되는 시간별 특징점 클러스터의 변화 패턴을 확인할 수 있다. 도 5A에서는 사용자(30)의 걷는 동작에 대한 시간별 특징점 클러스터의 변화 패턴을 확인할 수 있고, 도 5B에서는 사용자(30)의 달리는 동작에 대한 시간별 특징점 클러스터의 변화 패턴을 확인할 수 있다. 사용자(30)의 움직임에 따라 반복되는 시간별 특징점 클러스터의 변화 패턴은 사용자(30)의 움직임을 클러스터 심볼의 순차적인 나열로서 표현될 수 있고, 이러한 사용자(30)의 움직임에 대한 클러스터 심볼 변화의 패턴 정보를 이용하면 사용자(30)의 특정 운동 상태 이후의 다음 운동 상태를 예측할 수 있게 된다. 이러한 사용자(30)의 다음 운동 상태의 예측 방식을 기초로 하여, 운동 패턴 정보 축적부(300)는 특징점 클러스터 생성부(200)에 의해 설정된 각각의 특징점 클러스터의 심볼을 이용하여 사용자(30)의 움직임에 대한 다수의 특징점 클러스터들 간의 상태 전이 정보를 생성하고, 이를 저장하여 축적한다. 사용자(30)의 움직임에 대한 클러스터 심볼 변화는 예시적으로 도 6에 도시된 바와 같은 상태 전이도(state transition diagram)로 표현될 수 있다. 운동 패턴 정보 축적부(300)는 일정 패턴으로 반복되는 사용자(30)에 대한 다수의 특징점 클러스터의 클러스터 심볼 변화에 대하여, 마르코프 모델(Markov model)을 이용한 순차 분류 기법을 통해 클러스터 심볼 간의 순차적 상태 전이도를 생성하고, 상태 전이 정보를 축적하여 학습할 수 있다. 한편, 클러스터 심볼의 변화가 일정한 패턴을 갖는다고 하더라도 매번 완벽하게 동일한 패턴이 반복될 수는 없으므로, 운동 패턴 정보 축적부(300)가 축적하여 미리 저장하는 클러스터 심볼 간의 상태 전이 정보에는 이전 클러스터 심볼에서 각각의 클러스터 심볼로의 이동 시에 전이 확률이 함께 포함되는 것이 바람직하다.
운동 상태 예측부(400)는 운동 패턴 정보 축적부(300)에 미리 저장된 사용자(30)의 움직임에 대한 다수의 특징점 클러스터들(클러스터 심볼들) 간의 상태 전이 정보에 기초하여, 사용자(30)의 움직임에 대해 현재 시점에서 특징점 클러스터 생성부(200)에 의해 생성된 특징점 클러스터의 다음 특징점 클러스터를 예측함으로써, 사용자(30)의 다음 운동 상태를 예측한다. 즉, 운동 상태 예측부(400)는 운동 패턴 정보 축적부(300)에 미리 축적되어 저장된 사용자(30)의 움직임에 대한 상태 전이 정보를 바탕으로, 사용자(30)의 현재 움직임에 대한 클러스터 심볼에서 전이 가능한 다음 클러스터 심볼을 찾고, 해당 다음 클러스터 심볼의 특징점 클러스터에 상응하는 사용자(30)의 운동 상태를 다음 운동 상태로서 예측한다. 이때, 사용자(30)의 현재 움직임에 대한 클러스터 심볼에서 전이 가능한 다음 클러스터 심볼로서 다수의 클러스터 심볼들이 있는 경우, 상태 전이 정보에 포함된 전이 확률에 기초하여 가장 높은 전이 확률을 갖는 다음 클러스터 심볼에 상응하는 특징점 클러스터를 사용자(30)의 현재 움직임에 대한 특징점 클러스터의 다음 특징점 클러스터로 예측하여 사용자(30)의 다음 운동 상태를 예측한다.
헬스케어 유닛 제어부(500)는 운동 상태 예측부(400)에 의해 예측된 사용자(30)의 다음 운동 상태에 기초하여 헬스케어 유닛(20)의 동작을 제어한다. 이때, 헬스케어 유닛 제어부(500)는 예측된 사용자(30)의 다음 운동 상태에 따라, 헬스케어 유닛(20)의 내부 구동 모터나 액츄에이터의 동작을 제어하는 제어 신호를 생성하고 이를 헬스케어 유닛(20)의 마이컴에 전송함으로써, 헬스케어 유닛(20)의 동작을 제어할 수 있다.
이하에서는 본 발명에 따른 헬스케어 유닛 기반 가상현실 시뮬레이션 방법에 대하여 설명하도록 한다. 앞서, 도 1 내지 도 6을 참조한 본 발명에 따른 헬스케어 유닛 기반 가상현실 시뮬레이터의 동작에 대한 설명과 일부 중복되는 부분은 생략하여 설명하기로 한다.
도 7은 본 발명에 따른 헬스케어 유닛 기반 가상현실 시뮬레이션 방법을 설명하기 위한 흐름도이다.
도 7을 참조하면, 본 발명에 따른 헬스케어 유닛 기반 가상현실 시뮬레이션 방법은, 먼저 특징점 추출부(100)가 적어도 하나 이상의 카메라 센서(40)로부터 헬스케어 유닛(20) 상에 위치하는 사용자(30)의 움직임에 대한 동작 센싱정보를 획득한다(S100). 그리고, 특징점 추출부(100)는 상기 S100 단계에서 카메라 센서(40)로부터 획득한 사용자(30)의 움직임에 대한 동작 센싱정보에 기초하여 사용자(30)의 인체 골격구조에 대한 특징점들을 추출하고(S200), 추출한 특징점들의 정보를 특징점 클러스터 생성부(200)로 전송한다.
그 다음으로, 특징점 클러스터 생성부(200)가 기설정된 시간 동안 상기 S200 단계에서 특징점 추출부에 의해 추출된 특징점들에 대해 2 이상의 개수로 클러스터링(clustering)한 다수의 특징점 클러스터를 생성한다(S300). 그리고, 특징점 클러스터 생성부(200)는 상기 S300 단계에서 생성한 다수의 특징점 클러스터 각각에 대해 클러스터 심볼을 설정한다(S400).
그 다음으로, 운동 패턴 정보 축적부(300)가 상기 S400 단계에서 특징점 클러스터 생성부(200)에 의해 설정된 각각의 특징점 클러스터의 심볼을 이용하여, 상기 S300 단계에서 생성된 사용자(30)의 움직임에 대한 다수의 특징점 클러스터들 간의 상태 전이 정보를 생성하고, 이를 축적하여 저장한다(S500).
그 다음으로, 운동 상태 예측부(400)가 상기 S500 단계에서 운동 패턴 정보 축적부(300)에 미리 저장된 사용자(30)의 움직임에 대한 다수의 특징점 클러스터 간의 상태 전이 정보에 기초하여, 사용자(30)의 움직임에 대해 현재 시점에서 특징점 클러스터 생성부(200)에 의해 생성된 특징점 클러스터의 다음 특징점 클러스터를 예측하여 사용자(30)의 다음 운동 상태를 예측한다(S600).
마지막으로, 헬스케어 유닛 제어부(500)가 상기 S600 단계에서 운동 상태 예측부(400)에 의해 예측된 사용자(30)의 다음 운동 상태에 기초하여 헬스케어 유닛(30)의 동작을 제어한다(S700).
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10: 헬스케어 유닛 기반 시뮬레이터
20: 헬스케어 유닛
40 : 카메라 센서
100 : 특징점 추출부
200 : 특징점 클러스터 생성부
300 : 운동 패턴 정보 축적부
400 : 운동 상태 예측부
500 : 헬스케어 유닛 제어부

Claims (14)

  1. 적어도 하나 이상의 카메라 센서로부터 헬스케어 유닛 상에 위치하는 사용자의 동작 센싱정보를 획득하고, 상기 동작 센싱정보에 기초하여 상기 사용자의 시간별 인체 골격구조에 대한 특징점들을 추출하는 특징점 추출부;
    기설정된 시간 동안 상기 특징점 추출부에 의해 추출된 특징점들에 대해 2 이상의 개수로 클러스터링(clustering)한 다수의 특징점 클러스터를 생성하고, 상기 다수의 특징점 클러스터 각각에 대해 클러스터 심볼을 설정하는 특징점 클러스터 생성부;
    상기 특징점 클러스터 생성부에 의해 설정된 각각의 특징점 클러스터의 심볼을 이용하여 상기 사용자에 대한 다수의 특징점 클러스터들 간의 상태 전이 정보를 생성하여 저장하는 운동 패턴 정보 축적부; 및
    상기 운동 패턴 정보 축적부에 미리 저장된 상기 사용자에 대한 다수의 특징점 클러스터들 간의 상태 전이 정보에 기초하여, 상기 사용자에 대해 현재 생성된 특징점 클러스터의 다음 특징점 클러스터를 예측하여 상기 사용자의 다음 운동 상태를 예측하는 운동 상태 예측부를 포함하는 것을 특징으로 하는, 헬스케어 유닛 기반 시뮬레이터.
  2. 청구항 1에 있어서,
    상기 운동 상태 예측부에 의해 예측된 상기 사용자의 다음 운동 상태에 기초하여 상기 헬스케어 유닛의 작동을 제어하는 헬스케어 유닛 제어부를 더 포함하는 것을 특징으로 하는, 헬스케어 유닛 기반 시뮬레이터.
  3. 청구항 1에 있어서,
    상기 운동 패턴 정보 축적부는,
    상기 사용자에 대한 다수의 특징점 클러스터의 클러스터 심볼들에 대해 마르코프 모델(Markov model)을 이용한 순차 분류를 통해 상기 상태 전이 정보를 생성하여 저장하는 것을 특징으로 하는, 헬스케어 유닛 기반 시뮬레이터.
  4. 청구항 3에 있어서,
    상기 상태 전이 정보는 다수의 특징점 클러스터 각각의 심볼 간의 전이 시의 전이 확률을 포함하는 것을 특징으로 하는, 헬스케어 유닛 기반 시뮬레이터.
  5. 청구항 4에 있어서,
    상기 운동 상태 예측부는,
    상기 상태 전이 정보에 포함된 전이 확률에 기초하여, 가장 높은 전이 확률을 갖는 다음 클러스터 심볼에 상응하는 특징점 클러스터를 상기 사용자에 대해 현재 생성된 특징점 클러스터의 다음 특징점 클러스터로 예측하여 상기 사용자의 다음 운동 상태를 예측하는 것을 특징으로 하는, 헬스케어 유닛 기반 시뮬레이터.
  6. 청구항 5에 있어서,
    상기 특징점 클러스터 생성부는,
    K-평균 클러스터링 알고리즘(K-means clustering algorithm)을 이용하여, 상기 기설정된 시간 구간에서 상기 특징점 추출부에 의해 추출된 특징점들에 대해 2 이상의 개수로 클러스터링한 다수의 특징점 클러스터를 생성하는 것을 특징으로 하는, 헬스케어 유닛 기반 시뮬레이터.
  7. 청구항 1에 있어서,
    상기 헬스케어 유닛은 사용자의 1차원 또는 2차원 보행 이동이 가능한 트레드밀(treadmill)인 것을 특징으로 하는, 헬스케어 유닛 기반 시뮬레이터.
  8. 특징점 추출부가 적어도 하나 이상의 카메라 센서로부터 헬스케어 유닛 상에 위치하는 사용자의 동작 센싱정보를 획득하는 단계;
    상기 특징점 추출부가 상기 동작 센싱정보에 기초하여 상기 사용자의 인체 골격구조에 대한 특징점들을 추출하는 단계;
    특징점 클러스터 생성부가 기설정된 시간 동안 상기 특징점 추출부에 의해 추출된 특징점들에 대해 2 이상의 개수로 클러스터링(clustering)한 다수의 특징점 클러스터를 생성하는 단계;
    상기 특징점 클러스터 생성부가 상기 다수의 특징점 클러스터 각각에 대해 클러스터 심볼을 설정하는 단계;
    운동 패턴 정보 축적부가 상기 특징점 클러스터 생성부에 의해 설정된 각각의 특징점 클러스터의 심볼을 이용하여 상기 사용자에 대한 다수의 특징점 클러스터들 간의 상태 전이 정보를 생성하여 저장하는 단계; 및
    운동 상태 예측부가 상기 운동 패턴 정보 축적부에 미리 저장된 상기 사용자에 대한 다수의 특징점 클러스터 간의 상태 전이 정보에 기초하여, 상기 사용자에 대해 현재 생성된 특징점 클러스터의 다음 특징점 클러스터를 예측하여 상기 사용자의 다음 운동 상태를 예측하는 단계를 포함하는 것을 특징으로 하는, 헬스케어 유닛 기반 시뮬레이션 방법.
  9. 청구항 8에 있어서,
    헬스케어 유닛 제어부가 상기 운동 상태 예측부에 의해 예측된 상기 사용자의 다음 운동 상태에 기초하여 상기 헬스케어 유닛의 작동을 제어하는 단계를 더 포함하는 것을 특징으로 하는, 헬스케어 유닛 기반 시뮬레이션 방법.
  10. 청구항 8에 있어서,
    상기 사용자에 대한 다수의 특징점 클러스터들 간의 상태 전이 정보를 생성하여 저장하는 단계는,
    상기 운동 패턴 정보 축적부가 상기 사용자에 대한 다수의 특징점 클러스터의 클러스터 심볼들에 대해 마르코프 모델(Markov model)을 이용한 순차 분류를 통해 상기 상태 전이 정보를 생성하여 저장하는 것을 특징으로 하는, 헬스케어 유닛 기반 시뮬레이션 방법.
  11. 청구항 10에 있어서,
    상기 상태 전이 정보는 다수의 특징점 클러스터 각각의 심볼 간의 전이 시의 전이 확률을 포함하는 것을 특징으로 하는, 헬스케어 유닛 기반 시뮬레이션 방법.
  12. 청구항 11에 있어서,
    상기 사용자의 다음 운동 상태를 예측하는 단계는,
    상기 운동 상태 예측부가 상기 상태 전이 정보에 포함된 전이 확률에 기초하여, 가장 높은 전이 확률을 갖는 다음 클러스터 심볼에 상응하는 특징점 클러스터를 상기 사용자에 대해 현재 생성된 특징점 클러스터의 다음 특징점 클러스터로 예측하여 상기 사용자의 다음 운동 상태를 예측하는 것을 특징으로 하는, 헬스케어 유닛 기반 시뮬레이션 방법.
  13. 청구항 12에 있어서,
    상기 다수의 특징점 클러스터를 생성하는 단계는,
    상기 특징점 클러스터 생성부가 K-평균 클러스터링 알고리즘(K-means clustering algorithm)을 이용하여, 상기 기설정된 시간 구간에서 상기 특징점 추출부에 의해 추출된 특징점들에 대해 2 이상의 개수로 클러스터링한 다수의 특징점 클러스터를 생성하는 것을 특징으로 하는, 헬스케어 유닛 기반 시뮬레이션 방법.
  14. 청구항 8에 있어서,
    상기 헬스케어 유닛은 사용자의 1차원 또는 2차원 보행 이동이 가능한 트레드밀(treadmill)인 것을 특징으로 하는, 헬스케어 유닛 기반 시뮬레이션 방법.
KR1020150112286A 2015-08-10 2015-08-10 헬스케어 유닛 기반 시뮬레이터 및 이를 이용한 시뮬레이션 방법 KR102034021B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150112286A KR102034021B1 (ko) 2015-08-10 2015-08-10 헬스케어 유닛 기반 시뮬레이터 및 이를 이용한 시뮬레이션 방법
US15/205,149 US10108855B2 (en) 2015-08-10 2016-07-08 Fitness device-based simulator and simulation method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150112286A KR102034021B1 (ko) 2015-08-10 2015-08-10 헬스케어 유닛 기반 시뮬레이터 및 이를 이용한 시뮬레이션 방법

Publications (2)

Publication Number Publication Date
KR20170018529A true KR20170018529A (ko) 2017-02-20
KR102034021B1 KR102034021B1 (ko) 2019-10-18

Family

ID=57995685

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150112286A KR102034021B1 (ko) 2015-08-10 2015-08-10 헬스케어 유닛 기반 시뮬레이터 및 이를 이용한 시뮬레이션 방법

Country Status (2)

Country Link
US (1) US10108855B2 (ko)
KR (1) KR102034021B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022191451A1 (ko) * 2021-03-12 2022-09-15 삼성전자 주식회사 운동 영상의 속도를 제어하는 전자 장치 및 이의 제어 방법
KR102608624B1 (ko) * 2022-10-25 2023-12-01 큐빅아이엔씨 주식회사 빅데이터를 이용한 헬스케어 유닛 기반 시뮬레이션 시스템

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10973440B1 (en) * 2014-10-26 2021-04-13 David Martin Mobile control using gait velocity
CN107754212A (zh) * 2016-08-16 2018-03-06 上海掌门科技有限公司 跑步运动设备及其虚拟现实交互方法
CN110639169B (zh) * 2019-09-25 2020-08-25 燕山大学 基于游戏和肌电信号的cpm下肢康复训练方法及系统
KR102652765B1 (ko) * 2020-05-29 2024-04-01 한국전자통신연구원 모션 기반 가상 현실 시뮬레이터 장치, 그 제어 방법
CN112348942B (zh) * 2020-09-18 2024-03-19 当趣网络科技(杭州)有限公司 一种健身交互方法和系统
WO2023106695A1 (ko) * 2021-12-09 2023-06-15 주식회사 에이치엔에이치 운동 상태 감지 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130058442A (ko) * 2011-11-25 2013-06-04 한국과학기술연구원 신체 체형 맞춤형 보행 교정 시스템 및 방법
KR101380341B1 (ko) * 2013-09-26 2014-04-10 몬트롤 주식회사 4채널감지형 포스플레이트를 통한 사용자의 움직임에 따른 발힘 실시간분석장치
KR20140144868A (ko) 2013-06-12 2014-12-22 김원식 트레드밀 및 그의 제어방법
KR20150053854A (ko) * 2013-11-08 2015-05-19 삼성전자주식회사 보행 보조 로봇 및 보행 보조 로봇의 제어 방법
JP2016034482A (ja) * 2014-07-31 2016-03-17 セイコーエプソン株式会社 運動解析装置、運動解析方法、運動解析プログラム及び運動解析システム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4481663B2 (ja) * 2004-01-15 2010-06-16 キヤノン株式会社 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム
US8681100B2 (en) * 2004-07-30 2014-03-25 Extreme Realty Ltd. Apparatus system and method for human-machine-interface
KR100722229B1 (ko) 2005-12-02 2007-05-29 한국전자통신연구원 사용자 중심형 인터페이스를 위한 가상현실 상호작용 인체모델 즉석 생성/제어 장치 및 방법
US7840031B2 (en) * 2007-01-12 2010-11-23 International Business Machines Corporation Tracking a range of body movement based on 3D captured image streams of a user
US8113991B2 (en) * 2008-06-02 2012-02-14 Omek Interactive, Ltd. Method and system for interactive fitness training program
DE102008058020A1 (de) * 2008-11-19 2010-05-20 Zebris Medical Gmbh Anordnung zum Training des Ganges
US9067097B2 (en) * 2009-04-10 2015-06-30 Sovoz, Inc. Virtual locomotion controller apparatus and methods
US8761437B2 (en) * 2011-02-18 2014-06-24 Microsoft Corporation Motion recognition
US20140347479A1 (en) * 2011-11-13 2014-11-27 Dor Givon Methods, Systems, Apparatuses, Circuits and Associated Computer Executable Code for Video Based Subject Characterization, Categorization, Identification, Tracking, Monitoring and/or Presence Response
JP2013103010A (ja) * 2011-11-15 2013-05-30 Sony Corp 画像処理装置、画像処理方法及びプログラム
US9474970B2 (en) * 2012-01-26 2016-10-25 David H. Kil System and method for processing motion-related sensor data with social mind-body games for health application
DE102012101152C5 (de) * 2012-02-14 2019-02-14 Pixformance Sports Gmbh System und Verfahren zur automatischen Kontrolle der korrekten Durchführung einer Fitnessübung
KR20130117553A (ko) 2012-04-18 2013-10-28 한국전자통신연구원 제스처를 인식하는 사용자 인터페이스 제공 장치 및 제공 방법
US9501942B2 (en) * 2012-10-09 2016-11-22 Kc Holdings I Personalized avatar responsive to user physical state and context
US9892655B2 (en) * 2012-11-28 2018-02-13 Judy Sibille SNOW Method to provide feedback to a physical therapy patient or athlete
KR101439175B1 (ko) 2013-01-03 2014-09-17 주식회사 도담시스템스 전방향성 마루를 이용한 가상현실 걷기체험 시스템 및 방법
JP6188332B2 (ja) * 2013-01-21 2017-08-30 東芝メディカルシステムズ株式会社 医用画像表示装置及びプログラム
US9142034B2 (en) * 2013-03-14 2015-09-22 Microsoft Technology Licensing, Llc Center of mass state vector for analyzing user motion in 3D images
WO2014179707A1 (en) * 2013-05-02 2014-11-06 Rolley David System and method for collecting, analyzing and reporting fitness activity data
GB2515279A (en) * 2013-06-13 2014-12-24 Biogaming Ltd Rehabilitative posture and gesture recognition
WO2015054426A1 (en) * 2013-10-08 2015-04-16 Ali Kord Single-camera motion capture system
WO2015108700A1 (en) * 2014-01-14 2015-07-23 Zsolutionz, LLC Sensor-based evaluation and feedback of exercise performance
KR20160017916A (ko) * 2014-08-07 2016-02-17 한국전자통신연구원 가상 훈련 시뮬레이션 제어 장치 및 그 방법
US9990857B2 (en) * 2015-07-01 2018-06-05 Grafty, Inc. Method and system for visual pedometry
US9703387B2 (en) * 2015-08-31 2017-07-11 Konica Minolta Laboratory U.S.A., Inc. System and method of real-time interactive operation of user interface
US20170100637A1 (en) * 2015-10-08 2017-04-13 SceneSage, Inc. Fitness training guidance system and method thereof
KR20170105335A (ko) * 2016-03-09 2017-09-19 박찬봉 가상 현실 기반의 운동 장치 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130058442A (ko) * 2011-11-25 2013-06-04 한국과학기술연구원 신체 체형 맞춤형 보행 교정 시스템 및 방법
KR20140144868A (ko) 2013-06-12 2014-12-22 김원식 트레드밀 및 그의 제어방법
KR101380341B1 (ko) * 2013-09-26 2014-04-10 몬트롤 주식회사 4채널감지형 포스플레이트를 통한 사용자의 움직임에 따른 발힘 실시간분석장치
KR20150053854A (ko) * 2013-11-08 2015-05-19 삼성전자주식회사 보행 보조 로봇 및 보행 보조 로봇의 제어 방법
JP2016034482A (ja) * 2014-07-31 2016-03-17 セイコーエプソン株式会社 運動解析装置、運動解析方法、運動解析プログラム及び運動解析システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022191451A1 (ko) * 2021-03-12 2022-09-15 삼성전자 주식회사 운동 영상의 속도를 제어하는 전자 장치 및 이의 제어 방법
KR102608624B1 (ko) * 2022-10-25 2023-12-01 큐빅아이엔씨 주식회사 빅데이터를 이용한 헬스케어 유닛 기반 시뮬레이션 시스템

Also Published As

Publication number Publication date
US10108855B2 (en) 2018-10-23
US20170046600A1 (en) 2017-02-16
KR102034021B1 (ko) 2019-10-18

Similar Documents

Publication Publication Date Title
KR102034021B1 (ko) 헬스케어 유닛 기반 시뮬레이터 및 이를 이용한 시뮬레이션 방법
JP6977134B2 (ja) 頭部装着ディスプレイにおける仮想現実（ｖｒ）コンテンツの視野（ｆｏｖ）絞り
US10751609B2 (en) Mapping arena movements into a 3-D virtual world
KR102365730B1 (ko) 인터랙티브 콘텐츠 제어 장치 및 방법
US8217995B2 (en) Providing a collaborative immersive environment using a spherical camera and motion capture
US8144148B2 (en) Method and system for vision-based interaction in a virtual environment
KR101601805B1 (ko) 스토리 기반 가상 체험 학습을 위한 혼합 현실 콘텐츠 제공 장치 및 방법
CN103314391A (zh) 基于自然姿势的用户接口方法及系统
CN105229666A (zh) 3d图像中的运动分析
CN106548675A (zh) 虚拟军事训练方法及装置
KR101507242B1 (ko) 영상 분석을 통하여 모션 햅틱 효과를 제공하는 장치 및 방법
KR101608342B1 (ko) 무인 부스 형태의 체감형 모션 라이딩 시스템과 그의 작동방법
CN103501869A (zh) 手动和基于相机的游戏控制
Zhang et al. KaraKter: An autonomously interacting Karate Kumite character for VR-based training and research
NL2002841A (en) Immersive collaborative environment using motion capture, head mounted display, and cave.
US20130176302A1 (en) Virtual space moving apparatus and method
CN112400198A (zh) 显示系统、服务器、显示方法以及装置
WO2020145224A1 (ja) 映像処理装置、映像処理方法、及び映像処理プログラム
CN112237735A (zh) 记录介质、物体检测装置、物体检测方法及物体检测系统
US20170206798A1 (en) Virtual Reality Training Method and System
JP2020013035A (ja) 訓練装置、訓練システム、訓練方法、及びプログラム
KR101519589B1 (ko) 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법
KR20080026403A (ko) 자세추적을 이용하여 프로그램을 진행하는 로봇 및 그 방법
KR101527188B1 (ko) 단일의 모션센서를 이용한 다중 플레이어 게임 제공 방법
CN113176822A (zh) 虚拟用户检测

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant