KR102387730B1 - 프로젝션 맵핑을 이용한 사용자 정보 기반 인터페이스 자동 조절 시스템 - Google Patents

프로젝션 맵핑을 이용한 사용자 정보 기반 인터페이스 자동 조절 시스템 Download PDF

Info

Publication number
KR102387730B1
KR102387730B1 KR1020210108743A KR20210108743A KR102387730B1 KR 102387730 B1 KR102387730 B1 KR 102387730B1 KR 1020210108743 A KR1020210108743 A KR 1020210108743A KR 20210108743 A KR20210108743 A KR 20210108743A KR 102387730 B1 KR102387730 B1 KR 102387730B1
Authority
KR
South Korea
Prior art keywords
user
motion
unit
information
height
Prior art date
Application number
KR1020210108743A
Other languages
English (en)
Inventor
정상권
이국환
Original Assignee
주식회사 조이펀
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 조이펀 filed Critical 주식회사 조이펀
Priority to KR1020210108743A priority Critical patent/KR102387730B1/ko
Application granted granted Critical
Publication of KR102387730B1 publication Critical patent/KR102387730B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1124—Determining motor skills
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/486—Bio-feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744—Displaying an avatar, e.g. an animated cartoon character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0625—Emitting sound, noise or music
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0636—3D visualisation

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • Physical Education & Sports Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 프로젝션 맵핑을 이용한 사용자 정보 기반 인터페이스 자동 조절 시스템에 관한 것으로, 보다 상세하게는 사용자의 올바른 동작을 위하여 사용자별 신장에 따라 최적화된 사용자 동작 가이드 인터페이스를 제공하는 프로젝션 맵핑을 이용한 사용자 정보 기반 인터페이스 자동 조절 시스템에 관한 것이다. 본 발명에 의하면, 사용자의 올바른 동작을 위하여 사용자별 신장에 따라 최적화된 사용자 동작 가이드 인터페이스를 제공함으로써 사용자마다 신장이 다른 경우에도 최적화된 사용자 동작 가이드 인터페이스를 통해서 표본 사용자의 올바른 동작을 빠른 시간 내에 학습할 수 있는 효과가 있다.

Description

프로젝션 맵핑을 이용한 사용자 정보 기반 인터페이스 자동 조절 시스템{User Information Based on Interface automatic control system Using Projection Mapping}
본 발명은 프로젝션 맵핑을 이용한 사용자 정보 기반 인터페이스 자동 조절 시스템에 관한 것으로, 보다 상세하게는 사용자의 올바른 동작을 위하여 사용자별 신장에 따라 최적화된 사용자 동작 가이드 인터페이스를 제공하는 프로젝션 맵핑을 이용한 사용자 정보 기반 인터페이스 자동 조절 시스템에 관한 것이다.
일반적으로 에어로빅이나 태권도, 검도 등과 같이 동작을 주로 하는 운동의 학습에 있어서 가장 많이 사용되는 방법은 실제 학원에서의 현장 강좌를 통한 방법이다. 실제 현장 강좌는 강사의 실제 동작 모습을 보고 배울 수 있다는 현장감이 있으며 다른 수강생들과 함께 비교하면서 배울 수 있다는 면에서 장점이 있다. 그러나, 현장 강좌는 강사의 동작에 집중하다 보면 사용자 본인의 동작 확인이 어렵고 초급자의 경우 강좌의 진도를 따라가기 어려워 중도 포기하게 되는 경우가 많다. 또한, 일정한 시간에 학원에 가서 강습을 받아야 하는 시간 공간상의 제약이 있으며 집체 교육으로 진행되므로 개별적 반복학습 등의 재현성이 부족하다는 단점이 있었다. 또한 강습료나 학원으로의 이동에 걸리는 부대시간 등에 대한 부담도 컸었다.
한편, 현장 강좌의 이러한 단점을 극복하기 위해 TV 강좌 프로그램이나 비디오 강좌 프로그램 등이 제공되고 있다. 그러나, TV 강좌 프로그램은 시간을 맞추어 시청해야 하므로 역시 시간상의 제약을 극복하지 못하였고 일회성 프로그램으로 제작됨에 따라 반복연습이 불가했다. 그리고 비디오 강좌 프로그램은 시간상의 제약은 없고 반복연습도 가능하지만 TV 강좌 프로그램이나 비디오 강좌 프로그램 공히 일방적인 전달 교육 형태이므로 사용자 본인의 동작을 강사의 동작과 비교하여 잘못된 부분에 대한 지적을 함으로써 사용자로 하여금 자신의 동작을 교정할 수 있게 하거나 점수화하여 피드백을 줄 수 없는 문제점이 있었다.
KR10-2009087B1
본 발명은 이와 같은 문제점을 해결하기 위해 창안된 것으로서, 사용자의 올바른 동작을 위하여 사용자별 신장에 따라 최적화된 사용자 동작 가이드 인터페이스를 제공할 수 있도록 한 프로젝션 맵핑을 이용한 사용자 정보 기반 인터페이스 자동 조절 시스템을 제공함을 목적으로 한다.
또한, 본 발명은 3차원 캐릭터를 활용한 사용자의 춤, 율동, 요가 등을 포함한 다양한 동작에서 기준이 되는 동작을 제대로 따라하거나 학습하고 있는지 여부를 확인하고 분석한 후 동작을 올바르게 교정을 할 때, 이를 직관적으로 사용자가 인지할 수 있도록 표현하는 인터페이스를 제공할 수 있도록 한 프로젝션 맵핑을 이용한 사용자 정보 기반 인터페이스 자동 조절 시스템을 제공함을 목적으로 한다.
또한, 본 발명은 3차원 캐릭터를 기반으로 한 동작을 사용자가 보고 따라하기 또는 그것을 목적으로 하는 학습용 콘텐츠를 제작할 때, 사용자의 동작 상태를 모니터링하고 이를 교정할 수 있도록 사용자가 인지할 수 있는 인터페이스를 제공할 수 있도록 한 프로젝션 맵핑을 이용한 사용자 정보 기반 인터페이스 자동 조절 시스템을 제공함을 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명에 따른 프로젝션 맵핑을 이용한 사용자 정보 기반 인터페이스 자동 조절 시스템의 일측면에 따르면, 표본 사용자의 골격 정보를 입력받아 3차원 캐릭터 기준 동작 애니메이션을 생성하는 3차원 캐릭터 애니메이션 생성부; 상기 3차원 캐릭터 애니메이션 생성부에서 생성된 3차원 캐릭터 기준 동작애니메이션을 이용한 적어도 하나 이상의 동작 학습 정보를 제공하는 동작 학습정보 제공부; 기준 신장에 따른 기준 거리를 설정하고 사용자별 신장을 기준 신장과 비교하여 사용자별 신장에 맞게 프로젝션 사용자 동작 가이드 인터페이스를 조절하기 위한 프로젝션 맵핑 제어를 수행하는 프로젝션 맵핑 제어부; 상기 동작 학습정보 제공부에서 제공되는 동작 학습 정보를 통한 3차원 캐릭터 기준 동작을 따라하는 사용자의 동작을 인식하여 상기 프로젝션 맵핑 제어부의 제어에 따라 검증하는 입력 처리부; 및 상기 입력 처리부에서 인식되어 검증된 사용자의 동작을 기반으로 그래픽 또는 사운드로 피드백 알림을 제공하는 출력 처리부를 포함할 수 있다.
또한, 상기 프로젝션 맵핑 제어부는 사용자 동작 가이드 인터페이스를 제공하기 위한 기준신장에 따른 기준거리를 설정하는 기준신장 및 기준거리 설정부; 사용자 신장 인식 카메라로부터 입력되는 사용자의 신장 정보를 인식하는 사용자 신장 인식부; 및 사용자의 양발 간격, 사용자의 양발과 양손 간격 사용자 동작 가이드 인터페이스가 사용자별 신장에 각각 맞춰 조절되도록 프로젝션 맵핑 제어를 수행하는 사용자 동작 가이드 인터페이스 제어부를 포함할 수 있다.
또한, 상기 입력 처리부는 동작 학습 정보를 통한 3차원 캐릭터 기준 동작을 따라하는 사용자의 동작을 인식하는 동작인식부; 상기 동작인식부에서 인식된 사용자의 동작에 대한 골격 정보를 추출하여 분석하는 사용자 동작 분석부; 상기 사용자 동작 분석부에서 분석된 사용자의 동작에 대한 골격 정보와 표본 사용자의 기준 동작에 대한 골격 정보를 비교하는 사용자 동작 비교부; 및 상기 사용자 동작 비교부에서의 비교 결과에 기초하여 사용자의 동작이 표본 사용자의 기준 동작과 일치하는지를 검증하는 사용자 동작 검증부를 포함할 수 있다.
또한, 상기 사용자 동작 분석부는 추출한 사용자의 동작에 대한 골격 정보로부터 골격의 구성, 골격의 크기, 관절의 위치, 골격의 방향에 관한 정보를 분석할 수 있다.
또한, 상기 사용자 동작 비교부는 상기 사용자 동작 분석부에서 분석된 각각의 정보에 기초하여 골격의 형태, 골격의 비율, 측정 지점 좌표, 골격의 각도에 관한 정보를 비교할 수 있다.
또한, 상기 출력 처리부는 사용자의 정면에 위치하여 3차원 캐릭터 기준 동작과 사용자의 동작에 대한 시각적인 동작 정보를 제공하는 화면 출력부; 사용자가 위치해 있는 바닥 상에 빔 프로젝터에 의해 사용자의 신장에 맞춰 투사되는 공간적인 동작 정보를 제공하는 바닥 출력부; 및 사운드를 활용하여 동작 안내 및 교정 정보를 제공하는 오디오 출력부를 포함할 수 있다.
한편, 상기한 목적을 달성하기 위한 본 발명에 따른 프로젝션 맵핑을 이용한 사용자 정보 기반 인터페이스 자동 조절 방법의 일측면에 따르면, 3차원 캐릭터 애니메이션 생성부가 표본 사용자의 골격 정보를 입력받아 3차원 캐릭터 기준 동작 애니메이션을 생성하는 단계; 동작 학습정보 제공부가 상기 3차원 캐릭터 애니메이션 생성부에서 생성된 3차원 캐릭터 기준 동작 애니메이션을 이용한 적어도 하나 이상의 동작 학습 정보를 제공하는 단계; 프로젝션 맵핑 제어부가 기준 신장에 따른 기준 거리를 설정하고 사용자별 신장을 기준 신장과 비교하여 사용자별 신장에 맞게 프로젝션 사용자 동작 가이드 인터페이스를 조절하기 위한 프로젝션 맵핑 제어를 수행하는 단계; 입력 처리부가 상기 동작 학습정보 제공부에서 제공되는 동작 학습 정보를 통한 3차원 캐릭터 기준 동작을 따라하는 사용자의 동작을 인식하여 상기 프로젝션 맵핑 제어부의 제어에 따라 검증하는 단계; 및 출력 처리부가 상기 입력 처리부에서 인식되어 검증된 사용자의 동작을 기반으로 그래픽 또는 사운드로 피드백 알림을 제공하는 단계를 포함할 수 있다.
또한, 상기 프로젝션 맵핑 제어를 수행하는 단계는 기준신장 및 기준거리 설정부가 사용자 동작 가이드 인터페이스를 제공하기 위한 기준신장에 따른 기준거리를 설정하는 단계; 사용자 신장 인식부가 사용자 신장 인식 카메라로부터 입력되는 사용자의 신장 정보를 인식하는 단계; 및 사용자 동작 가이드 인터페이스 제어부가 사용자의 양발 간격, 사용자의 양발과 양손 간격 사용자 동작 가이드 인터페이스가 사용자별 신장에 각각 맞춰 조절되도록 프로젝션 맵핑 제어를 수행하는 단계를 포함할 수 있다.
본 발명에 의하면, 사용자의 올바른 동작을 위하여 사용자별 신장에 따라 최적화된 사용자 동작 가이드 인터페이스를 제공함으로써 사용자마다 신장이 다른 경우에도 최적화된 사용자 동작 가이드 인터페이스를 통해서 표본 사용자의 올바른 동작을 빠른 시간 내에 학습할 수 있는 효과가 있다.
또한, 3차원 캐릭터를 활용한 사용자의 춤, 율동, 요가 등을 포함한 다양한 동작에서 기준이 되는 동작을 제대로 따라하거나 학습하고 있는지 여부를 확인하고 분석한 후 동작을 올바르게 교정을 할 때, 이를 직관적으로 사용자가 인지할 수 있도록 표현하는 인터페이스를 제공함으로써 올바른 동작을 빠르게 학습할 수 있는 효과가 있다.
또한, 3차원 캐릭터를 기반으로 한 동작을 사용자가 보고 따라하기 또는 그것을 목적으로 하는 학습용 콘텐츠를 제작할 때, 사용자의 동작 상태를 모니터링하고 이를 교정할 수 있도록 사용자가 인지할 수 있는 인터페이스를 제공함으로써 올바른 동작 상태의 자세로 빠르게 교정할 수 있는 효과가 있다.
도 1은 본 발명의 일실시예에 따른 프로젝션 맵핑을 이용한 사용자 정보 기반 인터페이스 자동 조절 시스템의 구성을 나타내는 도면이다.
도 2는 도 1에서 프로젝션 맵핑 제어부의 구성을 나타내는 도면이다.
도 3은 도 1에서 입력 처리부의 구성을 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 사용자 동작 검증 시스템의 구성을 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따른 3차원 캐릭터와 사용자 골격 정보의 비교 예시를 나타내는 도면이다.
도 6은 도 1에서 출력 처리부의 구성을 나타내는 도면이다.
도 7은 본 발명의 일실시예에 따른 사용자 동작 가이드 인터페이스 사용 예시를 나타내는 도면이다.
도 8은 하프 스쿼트 자세 트레이닝 예시를 나타내는 도면이다.
도 9는 서로 다른 신장을 갖는 사용자의 하프 스쿼트 보폭 변화의 일예를 나타내는 도면이다.
도 10은 서로 다른 신장을 갖는 사용자의 푸쉬업 양발과 양손 간격 변화의 일예를 나타내는 도면이다.
도 11은 본 발명의 일실시예에 따른 프로젝션 맵핑을 이용한 사용자 정보 기반 인터페이스 자동 조절 방법을 나타내는 도면이다.
도 12는 도 11에서 프로젝션 맵핑 제어 과정을 나타내는 도면이다.
도 13은 본 발명의 일실시예에 따른 모바일 앱 로그인을 통한 사용자 운동관리 화면 예시를 나타내는 도면이다.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 일실시예에 따른 프로젝션 맵핑을 이용한 사용자 정보 기반 인터페이스 자동 조절 시스템의 구성을 나타내는 도면이고, 도 2는 도 1에서 프로젝션 맵핑 제어부의 구성을 나타내는 도면이며, 도 3은 도 1에서 입력 처리부의 구성을 나타내는 도면이고, 도 4는 본 발명의 일실시예에 따른 사용자 동작 검증 시스템의 구성을 나타내는 도면이며, 도 5는 본 발명의 일실시예에 따른 3차원 캐릭터와 사용자 골격 정보의 비교 예시를 나타내는 도면이고, 도 6은 도 1에서 출력 처리부의 구성을 나타내는 도면이며, 도 7은 본 발명의 일실시예에 따른 사용자 동작 가이드 인터페이스 사용 예시를 나타내는 도면이고, 도 8은 하프 스쿼트 자세 트레이닝 예시를 나타내는 도면이며, 도 9는 서로 다른 신장을 갖는 사용자의 하프 스쿼트 보폭 변화의 일예를 나타내는 도면이고, 도 10은 서로 다른 신장을 갖는 사용자의 푸쉬업 양발과 양손 간격 변화의 일예를 나타내는 도면이다.
도시된 바와 같이, 본 발명의 프로젝션 맵핑을 이용한 사용자 정보 기반 인터페이스 자동 조절 시스템은 사용자가 춤, 율동, 요가 등을 포함한 다양한 동작을 따라하거나 또는 따라하는 것을 목적으로 하는 학습을 할 때 사용되는 콘텐츠를 제작하기 위한 시스템에 적용할 수 있다. 본 발명의 시스템은 도 1에서와 같이 3차원 캐릭터 애니메이션 생성부(200)와, 동작 학습정보 제공부(300)와, 프로젝션 맵핑 제어부(400)와, 입력 처리부(500) 및 출력 처리부(600)를 포함할 수 있다.
3차원 캐릭터 애니메이션 생성부(200)는 표본 사용자의 골격 정보를 입력받아 3차원 캐릭터 기준 동작 애니메이션을 생성할 수 있다.
동작 학습정보 제공부(300)는 3차원 캐릭터 애니메이션 생성부(200)에서 생성된 3차원 캐릭터 기준 동작애니메이션을 이용한 적어도 하나 이상의 동작 학습 정보를 제공할 수 있다. 예를 들어, 국제 인증을 받은 트레이너가 참여한 다양한 동작 학습 정보로서 근력 강화, 체형 교정, 스트레칭 등 여러 목적에 맞는 프로그램을 제공할 수 있으며, 기초 체력 테스트를 통한 자가 진단 기능 및 맞춤형 운동 추천 기능 제공이 가능하고, 한국어, 영어, 일본어, 중국어, 독일어, 아랍어 등 다국어로 지원할 수 있다.
프로젝션 맵핑 제어부(400)는 기준 신장에 따른 기준 거리를 설정하고 사용자별 신장을 기준 신장과 비교하여 사용자별 신장에 맞게 프로젝션 사용자 동작 가이드 인터페이스를 조절하기 위한 프로젝션 맵핑 제어를 수행할 수 있다.
프로젝션 맵핑 제어부(400)는 기준신장 및 기준거리 설정부(410)와, 사용자 신장 인식부(420) 및 사용자 동작 가이드 인터페이스 제어부(430)를 포함할 수 있다.
기준신장 및 기준거리 설정부(410)는 사용자 동작 가이드 인터페이스를 제공하기 위한 기준신장에 따른 기준거리를 설정할 수 있다.
사용자 신장 인식부(420)는 사용자 신장 인식 카메라로부터 입력되는 사용자의 신장 정보를 인식할 수 있다.
사용자 동작 가이드 인터페이스 제어부(430)는 사용자의 양발 간격, 사용자의 양발과 양손 간격 사용자 동작 가이드 인터페이스가 사용자별 신장에 각각 맞춰 조절되도록 프로젝션 맵핑 제어를 수행할 수 있다.
입력 처리부(500)는 동작 학습정보 제공부(300)에서 제공되는 동작 학습 정보를 통한 3차원 캐릭터 기준 동작을 따라하는 사용자의 동작을 인식하여 프로젝션 맵핑 제어부(400)의 제어에 따라 사용자의 동작을 검증할 수 있다.
입력 처리부(500)는 동작인식부(510)와, 사용자 동작 분석부(520)와, 사용자 동작 비교부(530) 및 사용자 동작 검증부(540)를 포함할 수 있다.
동작인식부(510)는 동작 학습 정보를 통한 3차원 캐릭터 기준 동작을 따라하는 사용자의 동작을 인식할 수 있다. 여기서, 동작인식부(510)는 구체적으로 깊이 카메라(Depth Camera)를 사용할 수 있으며, 일반적인 RGB 카메라나 스테레오 카메라를 이용하여 동작 인식을 할 수 있다.
사용자 동작 분석부(520)는 동작인식부(510)에서 인식된 사용자의 동작에 대한 골격 정보를 추출하여 사용자의 동작을 분석할 수 있다. 즉, 사용자 동작 분석부(520)는 도 4에 예시된 바와 같이 추출한 사용자의 동작에 대한 골격 정보로부터 골격의 구성, 골격의 크기, 관절의 위치, 골격의 방향에 관한 정보를 분석할 수 있다.
사용자 동작 비교부(530)는 사용자 동작 분석부(520)에서 분석된 사용자의 동작에 대한 골격 정보와 표본 사용자의 기준 동작에 대한 골격 정보를 비교할 수 있다. 즉, 사용자 동작 비교부(530)는 사용자 동작 분석부(520)에서 분석된 각각의 정보에 기초하여 골격의 형태, 골격의 비율, 측정 지점 좌표, 골격의 각도에 관한 정보를 비교할 수 있다.
사용자 동작 비교부(530)는 사용자 동작 분석부(520)에서 분석된 각각의 정보 값을 가지고 각각의 항목들을 분석할 수 있다. 즉, 사용자 동작 비교부(530)는 비교 대상 데이터들을 사용자 동작 분석부(520)에 의하여 확인된 항목들을 근거로 골격의 형태, 골격의 비율, 측정해야 하는 지점, 골격의 각도 등에 대하여 도 5에 예시된 바와 같이 비교할 수 있다.
사용자 동작 검증부(540)는 사용자 동작 비교부(530)에서의 비교 결과에 기초하여 사용자의 동작이 표본 사용자의 기준 동작과 일치하는지를 검증할 수 있다.
출력 처리부(600)는 입력 처리부(500)에서 인식되어 검증된 사용자의 동작을 기반으로 그래픽 또는 사운드로 피드백 알림을 제공할 수 있다.
출력 처리부(600)는 화면 출력부(610)와, 바닥 출력부(620) 및 오디오 출력부(630)를 포함할 수 있다.
화면 출력부(610)는 사용자의 정면에 위치하여 3차원 캐릭터 기준 동작과 사용자의 동작에 대한 시각적인 동작 정보를 제공할 수 있다.
바닥 출력부(620)는 사용자가 위치해 있는 바닥 상에 빔 프로젝터에 의해 사용자의 신장에 맞춰 투사되는 공간적인 동작 정보를 제공할 수 있다.
화면 출력부(610)와 바닥 출력부(620)로 구성되는 전면과 바닥 2개의 스크린을 활용한 다방면 그래픽 정보를 제공할 수 있으며, 사용자가 정확하게 이해하고 따라할 수 있도록 운동 동작을 애니메이션으로 표현하고 사용자가 본인의 자세를 실시간으로 확인할 수 있는 이미지를 표현할 수 있다.
오디오 출력부(630)는 사운드를 활용하여 동작 안내 및 교정 정보를 제공할수 있다. 즉, 완벽한 무인 코칭 시스템으로서 사용자의 운동 상태에 따라 교정, 칭찬, 주의 등과 같은 친절하고 상세한 음성 안내를 제공할 수 있다. 예를 들어, 헬스장에서 들을 수 있는 친숙한 트레이너의 음성 안내가 가능하고 '한번만 더'쥐어 짜는 현장의 압박감과 친밀한 정서를 표현할 수 있다.
이와 같이, 본 발명의 사용자 동작 검증 시스템에서는 이미지 카메라 또는 깊이 카메라 센서에 의하여 입력된 표본 사용자의 골격 정보를 입력 받아 생성된 3차원 캐릭터의 동작을 이용하여 애니메이션을 생성할 수 있으며, 이렇게 생성된 애니메이션을 통하여 사용자는 3차원 캐릭터의 동작을 따라하거나 또는 따라하기 위한 학습을 시도할 수 있다. 이 과정에서 사용자의 동작이 표본 사용자의 동작을 정확하게 따라하는지 검증하기 위하여 사용자의 동작에 대한 골격 정보를 추출하여 비교하고 분석할 수 있으며, 이 때, 기준 신장에 따른 기준 거리를 설정하여 사용자의 신장 차이에 따른 사용자 동작 가이드 인터페이스를 가이드할 수 있는 사용자 신장 최적화 시스템을 제공하여 사용자의 동작을 검증할 수 있다.
또한, 본 발명의 혼합현실 기반의 사용자 동작 검증 시스템에서는 사용자의 동작을 표본 사용자의 기준 동작을 랜더링 한 3차원 캐릭터 기준 동작과 비교하기 위하여 바닥 출력부(620)에 제시되는 가이드는 사용자의 손, 발, 무릎 등 바닥면에 닿는 신체 부위를 도 7에 예시된 바와 같이 이미지로 표시할 수 있다. 이 때, 양발과 손의 위치는 사용자의 신장에 따라 간격이 조정될 수 있다.
즉, 본 발명에서는 사용자 신장 최적화 공식을 제공할 수 있으며 사용자의 신장에 따라 제시가 필요한 가이드 기준은 양발 간격, 양발과 양손의 간격이 필요할 수 있다. 양발 간격은 사용자의 신장에 따른 간격이 한국 남성의 평균 신장인 173.5 cm일 때 양발의 간격을 30cm로 기준하여 하기의 수학식 1과 같이 비례식으로 나타낼 수 있다.
Figure 112021095039834-pat00001
예를 들어, 도 8에 예시된 바와 같이 사용자가 화면 출력부(610) 상에 디스플레이되는 3차원 캐릭터의 하프 스쿼트 자세 동작을 보면서 따라할 수 있다. 이때, 하프 스쿼트 자세의 경우 양발의 보폭은 기준 신장에 비례하여 사용자의 신장에 따라 도 9에서와 같이 변경하여야 한다. 예를 들어, 도 9(a)에서 양발의 보폭은 신장 150cm(左)인 사용자의 보폭일 수 있고, 도 9(b)에서 양발의 보폭은 180cm(右) 사용자의 보폭일 수 있다. 이와 같이 사용자의 신장에 따라 하프 스쿼트 자세에 있어서 보폭 변화가 필요할 수 있다.
또한, 양발과 양손 간격은 사용자의 신장에 따른 간격이 한국 남성의 평균 신장인 173.5 cm일 때 양발과 양손의 간격을 121cm로 기준하여 하기의 수학식 2와 같이 비례식으로 제공할 수 있다.
Figure 112021095039834-pat00002
예를 들어, 도 10에 예시된 바와 같이 서로 다른 신장을 갖는 사용자의 푸쉬업 양발과 양손 간격 변화가 필요할 수 있다. 즉, 도 10(a)는 신장 150cm(左)인 사용자의 푸쉬업 양발과 양손 간격일 수 있고, 도 10(b)는 신장 180cm(右)인 사용자의 푸쉬업 양발과 양손 간격일 수 있다. 이와 같이 사용자의 신장에 따라 푸쉬업 양발과 양손 간격의 변화가 필요할 수 있다.
이와 같이, 본 발명에서는 기준 신장에 따른 기준 거리(보폭, 손 발 사이 간격 등)를 정하고, 이에 따른 비율 공식에 따라 사용자의 인터페이스가 최적화될 수 있도록 할 수 있다. 하기의 표 1은 사용자 신장에 따른 가이드 최적화 표를 나타낼 수 있다.
Figure 112021095039834-pat00003
이와 같이 본 발명에서는 스마트한 혼합현실 운동장치로서 다양한 가이드를 통해 자세 교정 기능을 제공하는 인공지능 퍼스널 트레이너를 제공할 수 있다. 또한, 본 발명에서는 전면과 바닥의 2개 스크린을 활용한 시각 가이드를 제공할 수 있으며, 인공 지능을 활용한 정교한 자세 교정으로서 인공지능을 사용하여 사용자의 동작을 분석하고 정확한 자세를 취하는데 도움이 되는 가이드 기능을 제공할 수 있다.
또한, 본 발명에서는 자세 교정 및 안내 시스템을 제공할 수 있다. 즉, 초당 30회 이상의 실시간 동작 체크가 가능하고, 정확한 자세와 사용자의 자세 비교를 통해서 교정이 필요한 부위를 확인하여 신속하고 정확하게 직관적인 교정 안내 서비스를 제공할 수 있다.
또한, 본 발명은 밀레니얼 세대의 라이프 스타일을 겨냥한 신개념 트레이닝 서비스를 제공할 수 있다. 즉, 타인의 도움 없이 자신에게 필요한 프로그램을 스스로 선택하여 진행할 수 있으며, 정확한 자세 교정을 통한 스마트하고 효과적인 무인, 비대면 트레이닝 프로그램 서비스를 제공할 수 있다. 또한, 새로운 운동의 개발과 트렌드의 변화에 맞추어 지속적인 업데이트가 가능하고, 운동에 재미를 더하고 통계, 기록, 평가 등을 활용하여 경쟁심 및 향상심을 자극시킬 수 있는 장점이 있다.
또한, 본 발명에서는 체형 측정 프로그램을 통해서 사용자의 바른 자세를 위한 체형 측정 서비스를 제공할 수 있다. 즉, 체형을 인식하는 카메라를 통해 사용자의 신체를 분석하고 현재 상태를 정확하게 진단할 수 있으며, 진단에 의해서 골반의 틀어진 각도, 등과 허리의 각도, 목과 어깨의 각도를 종합하여 사용자의 신체 밸런스를 파악할 수 있다. 또한, 등과 허리의 통증 또는 거북목 등으로 인한 통증을 느끼는 대다수의 사용자들에게 적합한 솔루션을 제공할 수 있다. 또한, 본 발명에서는 건강하고 아름다운 몸의 기본인 체형 관리 서비스를 제공할 수 있다. 즉, 사용자의 신체의 불균형을 빠르게 판단하여 불편한 곳을 완화시킬 수 있는 운동을 추천할 수 있으며, 사용자의 신체 밸런스를 파악한 인공지능이 제안하는 운동으로 자세 교정이 가능하고 신체 밸런스 개선과 생활 통증 완화를 통한 삶의 질을 향상시킬 수 있다.
또한, 본 발명에서는 기초 체력 테스트 프로그램을 통해서 사용자의 기초 체력 테스트 서비스를 제공할 수 있다. 기초 체력 테스트를 통해 사용자의 유연성, 민첩성, 지구력 등 주요 운동 능력을 파악할 수 있다. 기초 체력 테스트 결과를 토대로 사용자의 현재 상태를 파악하고 부족한 부분을 중점적으로 관리할 수 있다. 즉, 부족한 부분을 보완시킬 수 있는 운동 동작을 추천해 줌으로써 사용자가 운동 방향을 정할 수 있도록 친절하고 쉬운 안내 서비스를 제공할 수 있으며, 지속적인 운동을 통해 자신의 신체 능력이 향상되는 것을 직접 확인할 수 있도록 할 수 있다. 이와 같이, 본 발명에서는 기초 체력 테스트 결과를 통한 운동 추천과 기록 관리가 가능함으로써 테스트 결과를 토대로 하여 사용자의 신체 능력과 체력 수준에 알맞는 운동을 추천해 줄 수 있다. 특히, 기초 체력 테스트 결과는 매번 기록되어 사용자는 모바일 앱을 통해 이를 열람하고 관리할 수 있으며, 또한 개인의 기록 뿐만이 아닌 다른 사용자의 기록들도 참고하고 비교할 수 있다.
또한, 본 발명에서는 전문 코치들이 직접 구성한 다채로운 동작 학습 정보 서비스를 제공할 수 있다. 예를 들어, 스트레칭, 메인 운동, 쿨 다운 3단계로 구성되어 있는 동작 학습 정보를 제공할 수 있으며, 어떠한 운동을 해야할 지 모르는 초보 사용자들에게 단계적으로 필요한 운동을 추천해 줄 수도 있다. 또한, 40분, 60분, 유산소, 근력 프로그램으로 나뉘어져 있어 중급자와 상급자도 필요한 운동을 골라서 수행 가능하며, 전신 유산소, 순발력 강화, 체력 증진 등으로 구성된 다이어트 프로그램 및 전신 안정성 강화, 하체 근력, 어깨 근력 운동 등으로 구성된 근력 강화 프로그램을 제공할 수 있다. 또한, 본 발명에서는 동작 학습 정보를 통한 운동을 하기 전 후에 스트레칭과 쿨 다운 동작을 함으로써 부상을 방지할 수 있으며, 전면과 바닥 화면에 나타나는 캐릭터들이 지속적으로 사용자를 독려하여 혼자 하는 운동이 아니라 같이 하는 운동으로 느끼게 할 수 있다. 또한, 정확한 운동 자세 피드백으로 인해 사용자의 잘못된 자세를 바로 잡아주는 역할을 함으로써 사용자가 전문 트레이너와 함께 하는 느낌을 가질 수 있도록 할 수 있다.
또한, 본 발명에서는 사용자가 단위 운동시 연습과 운동으로 각각의 운동 동작을 습득할 수 있도록 할 수 있으며, 초보 사용자의 경우 연습하기를 통해 각 운동 동작들의 구분 동작을 배우고 익힐 수 있는 기회를 제공할 수 있다. 이러한 단위 운동의 특정 동작을 반복함으로써 특정 부위를 강화시키고 싶은 사용자의 욕구를 충족시킬 수 있다. 또한, 옆으로 돌아서 하는 동작이나 엎드려 하는 동작의 경우 코치 역할을 하는 캐릭터가 바닥 스크린에도 표시되게 하여 사용자가 항상 모니터를 바라볼 필요가 없는 편의성을 제공할 수 있다.
또한, 사용자가 본 발명의 시스템을 이용하여 운동을 하기 전 후로 스트레칭을 하여 부상 예방을 할 수 있도록 할 수 있으며, 특정 스트레칭 동작을 반복할 경우 흐트러진 자세를 교정함과 동시에 만성 통증을 완화시킬 수 있다. 특히, 본 발명에서 스트레칭은 사용자가 트레이너 캐릭터의 구령 소리에 맞춰 스트레칭 동작을 취하기 때문에 스트레칭에 익숙하지 않은 사용자도 쉽게 따라할 수 있는 장점이 있다.
또한, 본 발명의 시스템 이용시 다양한 운동 도구를 활용한 다양한 트레이닝 서비스를 제공할 수 있다. 본 발명의 시스템을 통해서 제공하고 안내하는 다양한 맨몸 운동도 좋지만 더욱더 효과적인 트레이닝을 위해서 케틀벨, 덤벨, 짐볼 등 다양한 도구를 활용할 수 있다. 본 발명에서 제공하는 코어 운동 중 짐볼을 활용하는 운동은 매우 효과적이며 상급자는 물론 초보 사용자가 하기에도 적합할 수 있다. 또한, 비교적 손쉽게 구할 수 있는 케틀벨을 통해 근력 운동의 효과를 높일 수 있으며, 근력 운동 뿐만 아니라 케틀벨의 특성을 활용한 코어 및 유산소 운동도 가능할 수 있다. 또한, 덤벨을 활용하여 상체 대다수의 상체 근력 운동의 효과를 높일 수 있고, 덤벨 프레스, 스캡션 등 본 발명에서 제공하는 동작 학습 정보를 통해서 효과적인 근력 강화를 할 수 있다.
또한, 본 발명에서는 앞차기, 가로막기, 상단막기, 하단막기 등의 태권도 동작에 대해서도 전술한 사용자 동작 인식 인터페이스를 위한 신장 최적화 시스템을 동일하게 적용함으로써 표본 사용자의 기준 태권도 동작과 사용자 동작에 대한 골격 정보를 비교 분석하여 올바른 동작을 위한 피드백 정보를 제공할 수 있다.
도 11은 본 발명의 일실시예에 따른 프로젝션 맵핑을 이용한 사용자 정보 기반 인터페이스 자동 조절 방법을 나타내는 도면이고, 도 12는 도 11에서 프로젝션 맵핑 제어 과정을 나타내는 도면이다.
도시된 바와 같이, 3차원 캐릭터 애니메이션 생성부(200)는 표본 사용자의 골격 정보를 입력받아 3차원 캐릭터 기준 동작 애니메이션을 생성(S120)할 수 있다.
이어서, 동작 학습정보 제공부(300)는 3차원 캐릭터 애니메이션 생성부(200)에서 생성된 3차원 캐릭터 기준 동작애니메이션을 이용한 적어도 하나 이상의 동작 학습 정보를 제공(S130)할 수 있다. 예를 들어, 국제 인증을 받은 트레이너가 참여한 다양한 동작 학습 정보로서 근력 강화, 체형 교정, 스트레칭 등 여러 목적에 맞는 프로그램을 제공할 수 있으며, 기초 체력 테스트를 통한 자가 진단 기능 및 맞춤형 운동 추천 기능 제공이 가능하고, 한국어, 영어, 일본어, 중국어, 독일어, 아랍어 등 다국어로 지원할 수 있다.
이어서, 프로젝션 맵핑 제어부(400)는 기준 신장에 따른 기준 거리를 설정하고 사용자별 신장을 기준 신장과 비교하여 사용자별 신장에 맞게 프로젝션 사용자 동작 가이드 인터페이스를 조절하기 위한 프로젝션 맵핑 제어를 수행(S140)할 수 있다. 이때, 프로젝션 맵핑 제어는 구체적으로 도 12에서와 같이 먼저, 기준신장 및 기준거리 설정부(410)는 사용자 동작 가이드 인터페이스를 제공하기 위한 기준신장에 따른 기준거리를 설정(S141)할 수 있다. 이어서, 사용자 신장 인식부(420)는 사용자 신장 인식 카메라로부터 입력되는 사용자의 신장 정보를 인식(S142)할 수 있다. 이어서, 사용자 동작 가이드 인터페이스 제어부(430)는 사용자의 양발 간격, 사용자의 양발과 양손 간격 사용자 동작 가이드 인터페이스가 사용자별 신장에 각각 맞춰 조절되도록 프로젝션 맵핑 제어를 수행(S143)할 수 있다.
이어서, 입력 처리부(500)는 동작 학습정보 제공부(300)에서 제공되는 동작 학습 정보를 통한 3차원 캐릭터 기준 동작을 따라하는 사용자의 동작을 인식하여 프로젝션 맵핑 제어부(400)의 제어에 따라 사용자의 동작을 검증(S150)할 수 있다.
이어서, 출력 처리부(600)는 입력 처리부(500)에서 인식되어 검증된 사용자의 동작을 기반으로 그래픽 또는 사운드로 피드백 알림을 제공(S160)할 수 있다. 즉, 완벽한 무인 코칭 시스템으로서 사용자의 운동 상태에 따라 교정, 칭찬, 주의 등과 같은 친절하고 상세한 음성 안내를 제공할 수 있다.
도 13은 본 발명의 일실시예에 따른 모바일 앱 로그인을 통한 사용자 운동관리 화면 예시를 나타내는 도면이다.
도시된 바와 같이, 본 발명에서는 모바일 앱을 통한 지속적 관리가 가능하고 다른 사용자의 기록과 비교가 가능하다. 즉, 운동 결과는 모바일 앱을 통해 확인할 수 있으며 해당 기록들은 사용자가 직접 관리할 수 있고, 다른 곳에서 운동하는 타인의 기록과 비교할 수도 있다. 이를 위해 모바일 앱을 다운받은 사용자는 소셜 계정 연동 로그인을 통해 손쉽게 로그인할 수 있으며, 소셜 로그인을 한 사용자는 각 개인마다 QR 코드를 부여받을 수 있고 부여받은 QR 코드를 활용하여 개인정보를 보호할 수 있다. 또한, 사용자는 모바일 어플리케이션을 통해 언제 어디서든 개인의 운동 기록을 확인할 수 있으며, 개인 사용자의 경우 운동 기록의 추이를 보며 운동 계획을 세우고 부족한 부분을 보완하는 방향으로 운동을 할 수 있는 장점이 있다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
200 : 3차원 캐릭터 애니메이션 생성부
300 : 동작 학습정보 제공부
400 : 프로젝션 맵핑 제어부
500 : 입력 처리부
600 : 출력 처리부

Claims (4)

  1. 표본 사용자의 골격 정보를 입력받아 3차원 캐릭터 기준 동작 애니메이션을 생성하는 3차원 캐릭터 애니메이션 생성부;
    상기 3차원 캐릭터 애니메이션 생성부에서 생성된 3차원 캐릭터 기준 동작 애니메이션을 이용한 적어도 하나 이상의 동작 학습 정보를 제공하는 동작 학습정보 제공부;
    기준 신장에 따른 기준 거리를 설정하고 사용자별 신장을 기준 신장과 비교하여 사용자별 신장에 맞게 프로젝션 사용자 동작 가이드 인터페이스를 조절하기 위한 프로젝션 맵핑 제어를 수행하는 프로젝션 맵핑 제어부;
    상기 동작 학습정보 제공부에서 제공되는 동작 학습 정보를 통한 3차원 캐릭터 기준 동작을 따라하는 사용자의 동작을 인식하여 상기 프로젝션 맵핑 제어부의 제어에 따라 검증하는 입력 처리부; 및
    상기 입력 처리부에서 인식되어 검증된 사용자의 동작을 기반으로 그래픽 또는 사운드로 피드백 알림을 제공하는 출력 처리부 - 상기 출력 처리부는 사용자의 정면에 위치하는 화면 출력부 및 사용자가 위치해 있는 바닥 상에 구현되는 바닥출력부를 포함하고,
    상기 출력 처리부는,
    사용자의 손, 발, 무릎이 바닥면에 닿는 사용자의 제1 동작을 표본 사용자의 기준 동작을 랜더링한 3차원 캐릭터 기준 동작과 비교하기 위하여 바닥 출력부에 제시되는 가이드는 사용자의 손, 발, 무릎이 바닥면에 닿는 신체 부위를 이미지로 표시하고, 상기 이미지에서 양발과 손의 위치는 사용자의 신장에 따라 간격이 조정되고,
    사용자가 상기 화면 출력부 상에 디스플레이되는 3차원 캐릭터의 하프 스쿼트 자세 동작을 보면서 따라하는 제2 동작에서, 기준 신장에 비례하여 사용자의 신장에 따라 양발의 보폭과 양발과 양손 간격이 변경되도록 상기 3차원 캐릭터의 가이드 기준을 변경하고,
    상기 입력 처리부는,
    동작 학습 정보를 통한 상기 3차원 캐릭터 기준 동작을 따라하는 사용자의 제1 동작 및 제2 동작을 포함하는 사용자의 동작을 인식하는 동작인식부;
    상기 동작인식부에서 인식된 상기 사용자의 동작에 대한 골격 정보를 추출하고, 추출한 사용자의 동작에 대한 상기 골격 정보로부터 골격의 구성, 골격의 크기, 관절의 위치, 골격의 방향에 관한 정보를 분석하는 사용자 동작 분석부; 및
    상기 사용자 동작 분석부에서 분석된 사용자의 동작에 대한 골격 정보와 표본 사용자의 기준 동작에 대한 골격 정보를 비교하는 사용자 동작 비교부를 포함하고,
    상기 사용자 동작 비교부는 상기 사용자 동작 분석부에서 분석된 각각의 정보에 기초하여 골격의 형태, 골격의 비율, 측정 지점 좌표, 골격의 각도에 관한 정보를 비교하고,
    상기 사용자 동작 분석부는 골반의 틀어진 각도, 등과 허리의 각도, 목과 어깨의 각도를 종합하여 상기 사용자의 신체 밸런스를 파악하고,
    상기 동작 학습정보 제공부는
    기초 체력 테스트를 통한 자가 진단 기능을 제공하고, 사용자의 신체의 불균형을 판단하여 통증을 완화시킬 수 있는 맞춤형 운동 추천 기능을 제공하고,
    상기 동작 학습 정보로서 근력 강화, 체형 교정 및 스트레칭 프로그램을 제공하는 프로젝션 맵핑을 이용한 사용자 정보 기반 인터페이스 자동 조절 시스템.
  2. 청구항 1에 있어서,
    상기 프로젝션 맵핑 제어부는,
    사용자 동작 가이드 인터페이스를 제공하기 위한 기준신장에 따른 기준거리를 설정하는 기준신장 및 기준거리 설정부;
    사용자 신장 인식 카메라로부터 입력되는 사용자의 신장 정보를 인식하는 사용자 신장 인식부; 및
    사용자의 양발 간격, 사용자의 양발과 양손 간격에 관한 사용자 동작 가이드 인터페이스가 사용자별 신장에 각각 맞춰 조절되도록 프로젝션 맵핑 제어를 수행하는 사용자 동작 가이드 인터페이스 제어부를 포함하는 것을 특징으로 하는 프로젝션 맵핑을 이용한 사용자 정보 기반 인터페이스 자동 조절 시스템.
  3. 청구항 1에 있어서,
    상기 입력 처리부는,
    상기 사용자 동작 비교부에서의 비교 결과에 기초하여 사용자의 동작이 표본 사용자의 기준 동작과 일치하는지를 검증하는 사용자 동작 검증부를 더 포함하는 것을 특징으로 하는 프로젝션 맵핑을 이용한 사용자 정보 기반 인터페이스 자동 조절 시스템.
  4. 청구항 1에 있어서,
    상기 출력 처리부는,
    사용자의 정면에 위치하여 3차원 캐릭터 기준 동작과 사용자의 동작에 대한 시각적인 동작 정보를 제공하는 화면 출력부;
    사용자가 위치해 있는 바닥 상에 빔 프로젝터에 의해 사용자의 신장에 맞춰 투사되는 공간적인 동작 정보를 제공하는 바닥 출력부; 및
    사운드를 활용하여 동작 안내 및 교정 정보를 제공하는 오디오 출력부를 포함하는 것을 특징으로 하는 프로젝션 맵핑을 이용한 사용자 정보 기반 인터페이스 자동 조절 시스템.
KR1020210108743A 2020-11-10 2021-08-18 프로젝션 맵핑을 이용한 사용자 정보 기반 인터페이스 자동 조절 시스템 KR102387730B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210108743A KR102387730B1 (ko) 2020-11-10 2021-08-18 프로젝션 맵핑을 이용한 사용자 정보 기반 인터페이스 자동 조절 시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200149717 2020-11-10
KR1020210108743A KR102387730B1 (ko) 2020-11-10 2021-08-18 프로젝션 맵핑을 이용한 사용자 정보 기반 인터페이스 자동 조절 시스템

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020200149717 Division 2020-11-10 2020-11-10

Publications (1)

Publication Number Publication Date
KR102387730B1 true KR102387730B1 (ko) 2022-04-18

Family

ID=81390700

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210108743A KR102387730B1 (ko) 2020-11-10 2021-08-18 프로젝션 맵핑을 이용한 사용자 정보 기반 인터페이스 자동 조절 시스템

Country Status (1)

Country Link
KR (1) KR102387730B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114900738A (zh) * 2022-06-02 2022-08-12 咪咕文化科技有限公司 一种观影互动方法、装置及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101970687B1 (ko) * 2018-04-11 2019-04-19 주식회사 큐랩 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템
KR102009087B1 (ko) 2017-11-20 2019-08-08 이화여자대학교 산학협력단 복수의 웨어러블 기기를 이용한 운동 자세 교정 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102009087B1 (ko) 2017-11-20 2019-08-08 이화여자대학교 산학협력단 복수의 웨어러블 기기를 이용한 운동 자세 교정 방법 및 시스템
KR101970687B1 (ko) * 2018-04-11 2019-04-19 주식회사 큐랩 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114900738A (zh) * 2022-06-02 2022-08-12 咪咕文化科技有限公司 一种观影互动方法、装置及计算机可读存储介质

Similar Documents

Publication Publication Date Title
KR102088333B1 (ko) 혼합 현실 기반 운동 장치를 이용한 팀 트레이닝 시스템
US9878206B2 (en) Method for interactive training and analysis
US20200314489A1 (en) System and method for visual-based training
US8428357B2 (en) Systems and methods for performance training
US9025824B2 (en) Systems and methods for evaluating physical performance
US20140308640A1 (en) Method to Improve Skilled Motion Using Concurrent Video of Master and Student Performance
WO2017208120A1 (en) Improved exercise mat
KR102259011B1 (ko) 사용자 동작 교정 지시 사용자 인터페이스 제공 시스템 및 방법
WO2023047211A2 (en) System and method for artificial intelligence (ai) assisted activity training
KR20170010157A (ko) 인터랙티브 운동프로그램을 통한 사용자의 운동동작 유도 방법 및 그 장치
KR102088335B1 (ko) 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템
KR20120097672A (ko) 네츄럴 인터렉션 기반 건강 및 재활 기능성 게임시스템
KR102387730B1 (ko) 프로젝션 맵핑을 이용한 사용자 정보 기반 인터페이스 자동 조절 시스템
KR101216960B1 (ko) 네츄럴 인터렉션 기반 건강 및 재활 기능성 게임시스템의 운동정보 가이드 장치
Rodrigues et al. A serious game to practice stretches and exercises for a correct and healthy posture
KR20060109762A (ko) 온라인 운동자세 교정시스템
CN117148977B (zh) 一种基于虚拟现实的运动康复训练方法
Lee et al. Design of metaverse-based physical fitness service for the enhancement of exercise capability for youth
KR20160137698A (ko) 3d센서를 이용한 재활운동 분석시스템
Lo et al. richyoga: An interactive yoga recognition system based on rich skeletal joints
KR102095647B1 (ko) 스마트기기를 이용한 동작 비교장치 및 동작 비교장치를 통한 댄스 비교방법
Thiparpakul et al. New design system to learning martial art via kinect 2.0
Paay et al. Weight-Mate: Adaptive training support for weight lifting
Lin et al. The effect of a badminton teaching system using Kinect on badminton skill performance.
Wu et al. AR-Enhanced Workouts: Exploring Visual Cues for At-Home Workout Videos in AR Environment

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant