KR20230059133A - 모바일 및 아이오티 장치에서의 가상 트레이너 - Google Patents

모바일 및 아이오티 장치에서의 가상 트레이너 Download PDF

Info

Publication number
KR20230059133A
KR20230059133A KR1020220107654A KR20220107654A KR20230059133A KR 20230059133 A KR20230059133 A KR 20230059133A KR 1020220107654 A KR1020220107654 A KR 1020220107654A KR 20220107654 A KR20220107654 A KR 20220107654A KR 20230059133 A KR20230059133 A KR 20230059133A
Authority
KR
South Korea
Prior art keywords
user
movement
image
image sensor
processing device
Prior art date
Application number
KR1020220107654A
Other languages
English (en)
Inventor
와이빙 미쉘 왕
홍유 웬디 왕
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20230059133A publication Critical patent/KR20230059133A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075—Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012—Comparing movements or motion sequences with a registered reference
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0625—Emitting sound, noise or music
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0636—3D visualisation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/05—Image processing for measuring physical parameters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00—Measuring physiological parameters of the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2244/00—Sports without balls
    • A63B2244/10—Combat sports
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2244/00—Sports without balls
    • A63B2244/22—Dancing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Architecture (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

가상 훈련 시스템 및 방법이 개시된다. 시스템은 2차원(2D) 및 3차원(3D) 이미지 센서, 생체 데이터 센서, 프로세서 및 출력 장치를 포함한다. 2D 이미지 센서는 사용자의 2D 이미지를 센싱하고, 3D 이미지 센서는 사용자의 움직임을 포함하는 3D 이미지를 센싱한다. 생체 데이터 센서는 사용자의 적어도 하나의 생체 특성을 감지한다. 프로세서는 운동 움직임, 무용 움직임, 무술 움직임 또는 물리 치료 움직임일 수 있는 표준 형태 움직임과 비교하여 사용자의 움직임과 관련된 세션 동안 실시간으로 피드백 정보를 생성한다. 상기 표준 형태 움직임을 나타내는 강사 아바타에 중첩되는 2D 이미지 센서 및 3D 이미지 센서 중 적어도 하나에 의해 캡처된 사용자의 이미지로서 피드백이 출력 장치에 의해 제공된다.

Description

모바일 및 아이오티 장치에서의 가상 트레이너{VIRTUAL TRAINER ON MOBILE/IOT DEVICES}
본 명세서에 개시된 주제는 가상 훈련 시스템에 관한 것이다. 보다 구체적으로, 본 명세서에서 개시된 주제는 가상 트레이너를 사용자에게 제공하기 위한 시스템 및 방법에 관한 것이다.
신체적 훈련은 대중화되었으며 더욱 대중화되고 있다. 부상을 방지하도록 훈련을 적절하게 행하도록 하는 것이 좋은 개인 트레이너이다. 그러나 좋은 트레이너를 찾고/찾거나 좋은 트레이너와 시간을 예약하는 것은 어려울 때가 많다. 실생활에서 트레이너와 즉시 약속을 잡는다는 것은 거의 불가능한 일이다. 결과적으로, 신체 훈련에 대한 표준화된 접근 방식을 제공하는 가상 트레이너를 갖는 것이 바람직할 수 있다. 또한 전염병과 같은 상황에서 대부분의 체육관이 문을 닫고 사회적 거리를 준수해야 하는 경우, 모바일 또는 IOT 장치에서의 가상 트레이너는 안전하고 편리한 신체 훈련을 위해 매우 바람직한 솔루션이 될 수 있다.
현재, 사람들은 유튜브나 미러와 같은 가상 환경에서 피트니스 영상을 이용하여, 신체 운동을 하고 있다. 사용자의 자세 및/또는 움직임이 올바른지를 보여주는 피드백이 없다. 실제 트레이너와의 상호 작용이 비디오 기반 가상 환경에서는 부족하다. 기존의 운동 시스템 중 하나는 피트니스 게임을 하기 위해 3D 카메라를 사용하여 사용자의 움직임을 추적한다. 사용자의 움직임을 수정, 개선 및/또는 개량하기 위한 활성 피드백이 없다. 또 다른 기존 시스템에서는 디스플레이상에 사용자의 아바타를 보여주지만, 아바타는 사용자의 실제 자세나 실제 움직임을 반영하지 않는다. 또 다른 기존 시스템에서는 가상 코치의 움직임을 또한 보여주는 사용자의 미러 캐스트 이미지를 사용하지만, 분석 피드백이 제공되지 않는다.
본 발명이 해결하고자 하는 과제는 피드백을 제공하는 가상 훈련 시스템을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
일 예시의 실시 예는 사용자의 2차원(2D) 이미지를 감지하도록 구성된 2D 이미지 센서; 상기 사용자의 움직임을 포함하는 상기 사용자의 3차원(3D) 이미지를 감지하도록 구성된 3D 이미지 센서; 상기 사용자의 적어도 하나의 생체 특성을 감지하도록 구성된 생체 데이터 센서; 상기 사용자의 상기 2D 이미지, 상기 3D 이미지 및 상기 적어도 하나의 생체 특성을 수신하도록 구성된 처리 장치 - 상기 처리 장치는 표준 형태 움직임과 비교하여 세션 동안 상기 사용자의 움직임에 관한 피드백 정보를 생성하도록 더욱 구성됨 - ; 및 강사 아바타에 중첩된, 상기 2D 이미지 센서 및 상기 3D 이미지 센서 중 적어도 하나에 의해 캡처된 상기 사용자의 이미지로서 상기 피드백 정보를 상기 사용자에게 제공하도록 구성된 출력 장치를 포함하는, 가상 훈련 시스템을 제공한다. 일 실시 예에서, 상기 처리 장치는 상기 세션 동안 실시간으로 상기 피드백 정보를 생성하도록 더욱 구성된다. 다른 실시 예에서, 상기 출력 장치는 그래픽 및 텍스트 정보 중 적어도 하나로서 상기 피드백 정보를 상기 사용자에게 제공하도록 더욱 구성된다. 또 다른 실시 예에서, 상기 출력 장치는 상기 피드백 정보를 가청 정보로서 제공하도록 구성된 오디오 출력 장치를 더욱 포함할 수 있다. 또 다른 실시 예에서, 상기 처리 장치는 상기 사용자의 상기 2D 이미지, 상기 3D 이미지 및 상기 적어도 하나의 생체 특성 중 적어도 하나에 기초하여 상기 사용자에 대한 프로파일을 생성하도록 더욱 구성된다. 일 실시 예에서, 상기 처리 장치는 상기 사용자에 대한 상기 프로파일에 기초하여 상기 표준 형태 움직임을 예시하기 위해 상기 강사 아바타를 생성하도록 더욱 구성될 수 있다. 다른 실시 예에서, 상기 처리 장치는 상기 사용자에 대한 상기 프로파일에 기초하여 상기 강사 아바타를 상기 사용자에게 적응시키도록 더욱 구성될 수 있다. 또 다른 실시 예에서, 상기 처리 장치는 상기 세션 동안 상기 적어도 하나의 생체 특성의 안전 구역과 비교하여 상기 사용자의 적어도 하나의 생체 특성을 모니터링하도록 더욱 구성될 수 있다. 또 다른 실시 예에서, 상기 2D 이미지 센서 및 상기 3D 이미지 센서 중 적어도 하나는 스마트폰의 일부일 수 있다. 또 다른 실시 예에서, 상기 표준 형태 움직임은 운동 움직임, 무용 움직임, 무술 동작 또는 물리치료 움직임 중 하나를 포함할 수 있다.
일 예시의 실시 예는 처리 장치에서 2차원(2D) 이미지 센서로부터 사용자의 2D 이미지를 수신하는 단계; 상기 처리 장치에서, 3차원(3D) 이미지 센서로부터 상기 사용자의 3D 이미지를 수신하는 단계; 상기 처리 장치에서, 상기 사용자의 적어도 하나의 생체 특성을 수신하는 단계; 상기 처리 장치에 의해, 표준 형태 움직임과 비교하여 세션 동안 상기 사용자의 움직임에 관한 피드백 정보를 생성하는 단계; 및 강사 아바타에 중첩된, 상기 2D 이미지 센서 및 상기 3D 이미지 센서 중 적어도 하나에 의해 캡쳐된 상기 사용자의 이미지로서 상기 피드백 정보를 상기 사용자에게 출력하는 단계를 포함하는, 방법을 제공한다. 일 실시 예에서, 상기 피드백 정보를 생성하는 단계는 상기 세션 동안 실시간으로 상기 피드백 정보를 생성하는 단계를 포함할 수 있다. 다른 실시 예에서, 상기 피드백 정보를 출력하는 단계는 상기 피드백 정보를 그래픽 및 텍스트 정보 중 적어도 하나로서 출력하는 단계를 더 포함할 수 있다. 또 다른 실시 예에서, 상기 피드백 정보를 출력하는 단계는 상기 피드백 정보를 가청 정보로서 제공하도록 구성된 오디오 장치에 상기 피드백 정보를 출력하는 단계를 더 포함할 수 있다. 또 다른 실시 예에서, 상기 방법은 상기 처리 장치에 의해, 상기 사용자의 상기 2D 이미지, 상기 3D 이미지 및 상기 적어도 하나의 생체 특성 중 적어도 하나에 기초하여 상기 사용자에 대한 프로파일을 생성하는 단계를 더 포함할 수 있다. 또 다른 실시 예에서, 상기 방법은 상기 처리 장치에 의해, 상기 사용자에 대한 상기 프로파일에 기초하여 상기 표준 형태 움직임을 예시하기 위해 상기 강사 아바타를 생성하는 단계를 더 포함할 수 있다. 상기 방법은 상기 처리 장치에 의해, 상기 사용자에 대한 상기 프로파일에 기초하여 상기 강사 아바타를 상기 사용자에게 적응시키는 단계를 더 포함할 수 있다. 또 다른 실시 예에서, 상기 방법은 상기 처리 장치에 의해, 상기 세션 동안 상기 적어도 하나의 생체 특성의 안전 구역과 비교하여 상기 사용자의 적어도 하나의 생체 특성을 모니터링하는 단계를 더 포함할 수 있다. 또 다른 실시 예에서, 상기 2D 이미지 센서 및 상기 3D 이미지 센서 중 적어도 하나는 스마트폰의 일부일 수 있다. 일 실시 예에서, 상기 표준 형태 움직임은 운동 움직임, 무용 움직임, 무술 움직임 또는 물리치료 움직임 중 하나를 포함할 수 있다.
다음 섹션에서, 본 명세서에 개시된 주제의 측면이 도면에 도시된 예시적인 실시 예를 참조하여 설명될 것이다:
도 1은 본 명세서에 개시된 주제에 따른 가상 훈련 시스템의 예시적인 실시 예를 도시한다;
도 2는 본 명세서에 개시된 주제에 따른 가상 훈련 시스템에 대한 동작 프로세스의 예시적인 실시 예의 흐름도이다; 및
도 3은 본 명세서에 개시된 주제에 따른 가상 훈련 시스템을 포함하는 전자 장치를 도시한다.
다음의 상세한 설명에서, 본 개시의 완전한 이해를 제공하기 위해 다수의 특정 세부 사항이 설명된다. 그러나, 당업자라면 개시된 측면이 이러한 특정 세부 사항 없이 실시될 수 있다는 것이 이해될 것이다. 다른 예에서, 잘 알려진 방법, 절차, 구성 요소 및 회로는 본 명세서에 개시된 본 발명을 모호하게 하지 않기 위해 상세하게 설명되지 않았다.
본 명세서 전반에 걸쳐 "일 실시 예" 또는 "실시 예"에 대한 언급은 실시 예와 관련하여 설명된 특정 특징, 구조 또는 특성이 본 명세서에 개시된 적어도 하나의 실시 예에 포함될 수 있음을 의미한다. 따라서, 본 명세서 전반에 걸쳐 다양한 곳에서 "일 실시 예에서" 또는 "실시 예에서" 또는 "일 실시 예에 따른" (또는 유사한 의미를 갖는 다른 어구)의 언급은 반드시 모두 동일한 실시 예를 지칭하는 것은 아닐 수 있다. 또한, 특정 특징, 구조 또는 특성은 하나 이상의 실시 예에서 임의의 적절한 방식으로 결합될 수 있다. 이와 관련하여, 본 명세서에서 사용된 바와 같이, "예시적인"이라는 단어는 "예시, 실례 또는 예시로서의 역할을 한다"를 의미한다. 본 명세서에서 "예시적인" 것으로 설명된 임의의 실시 예는 다른 실시 예에 비해 반드시 바람직하거나 유리한 것으로 해석되어서는 안된다. 추가로, 특정 특징, 구조 또는 특성은 하나 이상의 실시 예에서 임의의 적절한 방식으로 결합될 수 있다. 또한, 본 명세서에서 논의한 내용에 따라, 단수형 용어는 대응하는 복수형을 포함할 수 있고 복수형 용어는 대응하는 단수형을 포함할 수 있다. 유사하게, 하이픈으로 연결된 용어(예를 들어, "2-차원", "미리-결정된", "픽셀-특정" 등)는 때때로 해당하는 하이픈 없는 버전(예를 들어 "2차원", "미리 결정된", "픽셀 특정" 등)과 상호 교환적으로 사용될 수 있으며, 대문자 항목(예를 들어, "Counter Clock", "Row Select", "PIXOUT" 등)은 해당하는 비 대문자 버전(예를 들어, "counter clock", "row select", "pixout" 등)과 상호 교환적으로 사용될 수 있다. 이러한 상호 교환하여 사용하는 것을 서로 불일치하다고 간주해서 안된다.
또한, 본 명세서에서 논의되는 맥락에 따라, 단수형 용어는 대응하는 복수형을 포함할 수 있고, 복수형 용어는 대응하는 단수형을 포함할 수 있다. 본 명세서에 도시되고 논의된 다양한 도면(구성 요소 다이어그램 포함)은 단지 예시를 위한 것이며, 비율대로 그련진 것이 아니라는 것에 유의한다. 예를 들어, 일부 요소의 치수는 명확하게 하기 위해 다른 요소에 비해 과장될 수 있다. 또한, 적절하다고 간주되는 경우, 도면간에 참조 번호가 반복되어 대응 및/또는 유사한 요소를 표시한다.
본 명세서에서 사용된 용어는 일부 예시적인 실시 예를 설명하기 위한 것이며 청구된 본 발명의 요지를 제한하려는 것은 아니다. 본 명세서에서 사용된 바와 같이, 단수 형태는 문맥 상 명백하게 달리 나타내지 않는 한 복수 형태도 포함하는 것이다. 본 명세서에서 사용될 때 "포함하다" 및/또는 "포함하는" 이라는 용어는 언급된 특징, 정수, 단계, 연산, 요소 및/또는 구성 요소의 존재를 명시하지만, 하나 이상의 다른 특징, 정수, 단계, 연산, 요소, 구성 요소 및/또는 그 그룹의 존재 또는 추가를 배제하지 않는다는 것이 이해될 것이다. 그렇게 명시적으로 정의되지 않는 한, 본 명세서에 사용된 용어 "제1", "제2" 등은, 앞에 오는 명사의 레이블로 사용되며 어떤 유형의 순서(예: 공간적, 시간적, 논리적 등)도 의미하지 않는다. 또한, 동일하거나 유사한 기능을 갖는 부품, 컴포넌트, 블록, 회로, 유닛 또는 모듈을 지칭하기 위해 동일한 참조 번호가 2개 이상의 도면에 사용될 수 있다. 그러나 이러한 사용은 설명의 단순성과 논의의 편의를 위한 것이다. 그러한 구성요소 또는 유닛의 구성 또는 아키텍처 세부사항이 모든 실시 예에 걸쳐 동일하거나 그러한 공통적으로 참조되는 부품/모듈이 여기에 개시된 예시적인 실시 예의 일부를 구현하는 유일한 방법이라는 것을 의미하지 않는다.
하나의 요소 또는 층이 다른 요소 또는 층에 "연결되거나" "결합되는" 것으로 언급될 때, 다른 요소 또는 층 바로 위에 있거나, 이에 연결되거나 결합될 수 있거나, 중간 요소 또는 층이 존재할 수도 있다. 대조적으로, 하나의 요소가 다른 요소 또는 층의 "바로 위에 있거나", "직접 연결되거나", "직접 결합되는" 것으로 언급되는 경우, 중간 요소 또는 층이 존재하지 않는다. 동일한 숫자는 전체에 걸쳐 동일한 요소를 나타낸다. 본 명세서에서 사용되는 용어 "및/또는"은 하나 이상의 연관된 열거된 항목의 임의의 및 모든 조합을 포함한다.
본 명세서에서 사용되는 용어 "제 1", "제 2" 등은 선행하는 명사의 라벨로 사용되며, 명시적으로 정의하지 않는 한, 어떤 유형의 순서(예를 들어, 공간적, 시간적, 논리적 등)도 암시하지 않는다. 또한, 동일하거나 유사한 기능을 갖는 부품, 구성 요소, 블록, 회로, 유닛 또는 모듈을 지칭하기 위해 동일한 참조 번호가 둘 이상의 도면에 걸쳐 사용될 수 있다. 그러나 이러한 사용법은 설명의 단순성과 논의의 용이성을 위한 것이고; 그러한 구성 요소 또는 유닛의 구조 또는 구조적 세부 사항이 모든 실시 예에 걸쳐 동일하거나 일반적으로 참조되는 부품/모듈이 본 명세서에 개시된 예시적인 실시 예의 일부를 구현하는 유일한 방법이라는 것을 의미하지는 않는다.
달리 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함하여 본 명세서에서 사용되는 모든 용어는 이 주제가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 일반적으로 사용되는 사전에 정의된 것과 같은 용어는 관련 기술의 맥락에서 그 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며 본 명세서에서 명확하게 정의되지 않는 한 이상화되거나 지나치게 형식적인 의미로 해석되지 않는다는 것이 이해될 것이다.
본 명세서에서 사용되는 바와 같이, 용어 "모듈"은 모듈과 관련하여 본 명세서에 설명된 기능을 제공하도록 구성된 소프트웨어, 펌웨어 및/또는 하드웨어의 임의의 조합을 지칭한다. 예를 들어, 소프트웨어는 소프트웨어 패키지, 코드 및/또는 명령어 세트 또는 명령어로 구현될 수 있으며, 본 명세서에 설명된 임의의 구현에서 사용되는 용어 "하드웨어"는 예를 들어, 단일 또는 임의의 조합으로, 어셈블리, 하드 와이어드 회로, 프로그래밍 가능 회로, 상태 기계 회로 및/또는 프로그래밍 가능 회로에 의해 실행되는 명령을 저장하는 펌웨어를 포함할 수 있다. 모듈은 집합적으로 또는 개별적으로, 예를 들어, 집적 회로(IC), 시스템 온어칩(SoC; system on-a-chip), 어셈블리 등과 같은 더 큰 시스템의 일부를 형성하는 회로로 구현될 수 있다.
본 명세서에 개시된 주제는 2차원(2D) 및 3차원(3D) 카메라, 웨어러블 장치 및 디스플레이를 사용하여 사용자가 제한하는 것은 아니지만, 부상을 피하면서 집에서 운동, 댄스 루틴, 무술 루틴 및/또는 물리 치료 동작과 같은 물리적 모션을 적절하고 효율적으로 수행하도록 돕는 가상 훈련 시스템을 제공한다. 사용자의 움직임에 대한 실시간 피드백은 디스플레이 상에 및/또는 가청 음성에 의해 제공되어 사용자가 표준 형태 움직임과 관련하여 정확하게 및 비정확하게 행한 것에 대해 사용자에게 조언할 수 있다. 일 실시 예에서, 사용자의 개인 프로필에 기초한 실시간 피드백이 제공된다. 추가적으로, 사용자에게 운동 세션을 늦추거나 부상을 피하기 위해 중단하도록 안내하기 위해 피드백이 제공될 수 있다.
2D RGB(적색, 녹잭, 청색) 이미징 센서 및 3D 이미징 센서는 예를 들어 스마트폰이나 사물 인터넷(IoT) 장치에서 사용할 수 있다. 각각의 카메라는 능동 조명이 있거나 없는 데이터를 캡처하도록 구성될 수 있다. 웨어러블 장치는 예를 들어 스포츠 손목 밴드 또는 시계일 수 있고, 심박수, 체온, 혈중 산소 레벨, 소모된 칼로리 등과 같이, 하나 이상의 생체 인식 조건을 모니터링하는 데 사용될 수 있다. 스마트폰이나 IoT 장치에 있거나, 이미지 센서 및 디스플레이에서 멀리 떨어져 있거나, 클라우드 컴퓨팅에 의해 제공될 수 있는 애플리케이션 프로세서는 2D 이미징을 처리하여 사용자의 존재를 인식하고 3D 깊이 데이터를 처리하여 사용자의 자세와 동작 및 생체 데이터를 분석하는 데 사용할 수 있다. 디스플레이는 아바타에 의해 수행되는 표준 움직임 및 사용자의 대응하는 움직임을 보여줄 수 있다.
제한하는 것은 아니지만, 심박수, 체온, 체질량, 체지방률, 나이, 성별, 부상, 체온, 혈중 산소 농도, 소모 칼로리 등과 같은, 생리적 특성과 생체 정보를 모두 포함하는 사용자의 물리적 프로필을 포함할 수 있는 사용자 프로필이 생성될 수 있다. 사용자 프로파일을 구성하는 정보는 사용자의 정확한 신체 표현을 제공하기 위해 2D/3D 이미지 센서 및 웨어러블 장치에서 센싱된 정보 및 사용자로부터의 입력에 기초하여 생성될 수 있다. 그 다음, 사용자 프로파일은 사용자의 프로파일에 대한 각 움직임의 표준 형태를 맞춤화하고 사용자의 생체 데이터를 사용자의 움직임과 상관시키는 데 사용될 수 있다. 2D/3D 센서는 또한 사용자의 물리적 움직임에 대한 정확한 측정을 제공하는 데 사용될 수 있다. 사용자 프로필은 또한 외삽 또는 추정된 사용자의 신체적 한계를 기반으로 사용자가 할 수 있는 운동 움직임 매개변수를 외삽하거나 추정하고, 체형, 부상, 생체 데이터 등을 고려하여 사용자에게 맞춤된 이상적인 움직임을 생성하는 데에 사용될 수 있다. 일 실시 예에서, 본 명세서에서 개시된 시스템은 운동 세션을 지속하고, 사용자의 운동 움직임을 수정하고, 적절할 때 운동 세션을 종료하는 능력을 포함한다.
본 명세서에 개시된 가상 훈련 시스템은 2차원 RGB 이미지 및 3차원 포인트 클라우드를 생성하고, 디스플레이에 피드백을 포함하는 처리된 정보를 표시할 수 있다. 본 명세서에 개시된 가상 훈련 시스템의 일 실시 예는 적어도 하나의 2D 가시광선 카메라, 하나의 3D 카메라, 및 각각의 센서의 출력이 시각적 피드백을 제공하기 위해 디스플레이 장치에 통합될 수 있는 하나 이상의 생체 인식 센서를 포함할 수 있다. 디스플레이 장치는, 예를 들면, 스마트 TV 또는 프로젝터일 수 있다. 추가적으로 또는 대안적으로, 웨어러블 장치는 또한 진동, 톤 및/또는 가청 음성을 사용하여 알림을 제공할 수 있다.
처리 장치에 의해 실행되는 알고리즘은 사용자에 의해 제공되는 2D/3D 정보 및 기타 생체 유형 정보를 사용하여 사용자의 3D 물리적 프로파일을 생성하고, 사용자의 자세 및/또는 움직임을 분석한 다음에, 사용자의 프로필에 맞춤화된 표준 형식을 기반으로 사용자가 정확하게 및/또는 비정확하게 수행한 것을 기반으로 사용자에게 피드백을 제공할 수 있다. 피드백은 표준 형태 움직임의 중첩 이미지와 함께 사용자의 자세 및/또는 움직임을 보여주는 것을 포함할 수 있다. 일 실시 예에서, 피드백은 또한 상세한 지침을 사용하여 수정되어야 하는 것을 설명하는 온-스크린 텍스트 디스플레이 또는 가청 음성을 포함할 수 있다. 이를 통해 사용자가 정확하고 비정확한 측면을 더 쉽게 식별할 수 있다. 알고리즘은 또한 사용자의 생체 데이터를 분석하고 부상을 피하기 위해 운동 세션의 강도를 조정하도록 사용자에게 피드백을 제공할 수 있다. 즉, 생체 데이터가 안전 구역에 있지 않은 경우, 온-스크린 텍스트 표시 또는 가청 음성도 또한 사용자에게 속도를 늦추거나 멈추라고 조언할 수 있다.
일 실시 예에서, 본 명세서에 개시된 가상 훈련 시스템은 2D/3D 이미지 센서 및 웨어러블 장치로부터 수신된 신체 특성에 기초하여 운동 또는 훈련 세션 동안 사용자에게 피드백을 제공한다. 운동 세션이 시작되면, 운동 움직임이 추적되고, 감지된 운동 움직임이 캡처된 2D/3D 이미지 및 웨어러블 장치 데이터를 사용하여 사용자에 대해 맞춤화된 운동 움직임과 비교된다. 캡처된 운동 움직임 및 생체 인식 데이터는 부적절한 움직임을 수정하기 위해 시각적, 진동 및/또는 오디오 피드백과 함께 사용자에 대해 맞춤형 이상적 운동 움직임과 함께 표시될 수 있다.
도 1은 본 명세서에 개시된 주제에 따른 가상 훈련 시스템(100)의 예시적인 실시 예를 도시한다.
시스템(100)은 2D RGB 카메라(101), 3D 깊이 카메라(102), 선택적 광원(103), 웨어러블 장치(104), 및 디스플레이(105)를 포함할 수 있다. 2D 카메라(101)는 가시광선 스펙트럼 범위의 형태 및 색상 정보를 감지 또는 캡처할 수 있다. 3D 깊이 카메라(102)는 깊이 또는 범위 정보와 함께 볼륨 및 모션을 감지하거나 캡처할 수 있다. 광원(103)은 저조도 환경에서 조명을 제공할 수 있다. 일 실시 예에서, 2D 카메라(101), 3D 카메라(102) 및 선택적 광원(103)은 제한하는 것은 아니지만, 스마트폰과 같은 휴대용 장치(106)의 일부일 수 있다. 다른 실시 예에서, 2D 카메라(101), 3D 카메라(102) 및 선택적 광원(103)은 IoT 장치의 일부일 수 있다.
웨어러블 장치(104)는 제한하는 것은 아니지만, 심박수 및 체온과 같은, 생체 인식 유형 데이터를 감지하거나 캡처할 수 있다. 디스플레이(105)는 휴대용 장치의 일부일 수 있거나, 텔레비전 또는 모니터와 같은 휴대용 장치와 다른 장치일 수 있다. 2D/3D 이미지 센서 및 웨어러블 장치(104)에 의해 생성된 데이터는 무선 통신 기술을 사용하여 시스템(100) 전체에 걸쳐 통신될 수 있다. 2D/3D 이미지 센서에 의해 생성된 데이터는 휴대용 장치(106)에 위치될 수 있는 애플리케이션 프로세서(107)에 의해 처리 및 분석될 수 있으며, 개인용 컴퓨터(PC) 또는 클라우드(미도시)와 같이 원격 위치된 처리 장치(도 1에 도시됨)일 수 있다. 일 실시 예에서, 캡처된 데이터의 처리 및 분석은 휴대용 장치(106), 원격 위치 처리 장치 및/또는 클라우드 간의 분산 처리 기능일 수 있다. 일 실시 예에서, 애플리케이션 프로세서(107)는 이용 가능 컴퓨팅 전력에 기초하여 배치되거나 분산될 수 있는 하나 이상의 모듈에 의해 형성될 수 있다.
2D 및/또는 3D 이미지 센서에 의해 사용자의 캡처된 이미지(108)(도 1의 실선)는 강사 아바타(109)(도 1의 점선)와 중첩되어 디스플레이(105) 상에 표시될 수 있다. 강사 아바타는 사용자 프로필을 기반으로 사용자의 신체적 특성에 맞게 맞춤화될 수 있다. 강사 아바타(109)가 디스플레이(105) 상에서 이동함에 따라, 2D 및/또는 3D 이미지 센서에 의해 캡처된 이미지는 사용자가 운동 움직임에 대한 시각적 지시를 수신할 수 있도록 디스플레이(105)에도 표시된다. 추가 피드백은 디스플레이(105)에 그래픽(110)으로 또는 텍스트(111)로 표시될 수 있다.
도 2는 도 1에 도시된 가상 훈련 시스템(100)에 대한 동작 프로세스(200)의 예시적인 실시 예의 흐름도이다.
프로세스는 201에서 시작된다. 202에서, 사용자 프로파일이 사용자에 대해 생성되었는지 여부가 결정된다. 그렇지 않은 경우, 흐름은 203으로 이어져 사용자 프로필이 생성되고 기준 생체 인식 데이터가 기록된다. 각 동작에 대한 표준 형태는 사용자의 신체적 특성에 맞게 맞춤화된다. 204에서, 강사 아바타가 생성되고, 이는 사용자 프로파일에 기초하여 사용자의 신체적 특성에 맞춤화될 수 있다. 즉, 강사 아바타에 의해 표시되는 신체 움직임은 사용자 프로파일에 기초하여 사용자에게 커스터마이즈될 수 있다. 흐름은 205로 이어진다.
201에서, 사용자 프로파일이 이미 생성된 경우, 흐름은 205로 이어져 사용자가 강사 아바타 움직임을 따라가는 운동 세션이 시작된다. 본 명세서에서 사용되는 운동 세션은 운동, 댄스 루틴, 무술 루틴 또는 물리 치료 동작을 의미할 수 있다. 206에서, 2D 및 3D 카메라는 운동 세션의 움직임을 수행하는 사용자의 비디오 이미지를 캡처한다. 운동 세션 동안 사용자의 생체 데이터도 캡처될 수 있다. 하나 이상의 초기 또는 시작 운동 세션의 경우, 캡처된 생체 인식 데이터는 운동 세션 동안 기준선 생체 인식 데이터를 설정하는 데 사용될 수 있다. 2D/3D 이미지 데이터와 생체 데이터를 실시간으로 분석하여 사용자에게 피드백을 제공할 수 있다.
207에서, 운동 세션이 완료되었는지 여부가 결정된다. 208에서, 운동 세션이 완료되었다고 결정되면, 흐름은 213으로 이어져 운동 세션이 종료된다. 207에서 운동 세션이 완료되지 않은 것으로 판단되면, 흐름은 208로 이어져 운동 세션에 대한 생체 인식 데이터가 사용자의 안전 구역에 있는지가 결정된다. 208에서 생체정보가 안전 구역 내에 있지 않다고 판단되면, 흐름은 212로 이어져, 운동 세션을 중지하라는 알림이 사용자에게 전송된다. 흐름은 213으로 이어져 운동 세션은 종료한다.
208에서, 생체 데이터가 안전 구역에 있다고 결정되면, 흐름은 209로 이어져 현재 수신된 생체 데이터를 기반으로 운동 세션을 늦출지가 결정된다. 속도를 늦추어야 한다면, 흐름은 210으로 이어져 운동 세션이 느려지고, 211로 이어져 운동 세션이 느린 속도로 지속된다. 209에서, 운동 세션이 느려질 필요가 없다고 결정되면, 흐름은 211로 이어져 운동 세션이 초기 속도로 지속된다. 그런 다음 흐름은 206으로 이어진다.
도 3은 본 명세서에서 개시된 주제에 따른 가상 훈련 시스템을 포함하는 전자 장치(300)를 도시한다.
전자 장치(300)는 버스(390)를 통해 서로 연결되는, 컨트롤러(또는 CPU)(310), 제한하는 것은 아니지만, 키패드, 키보드, 디스플레이, 터치 스크린 디스플레이, 2D 이미지 센서(도 1), 3D 이미지 센서(도 1)와 같은 입출력 장치(320), 메모리(330), 인터페이스(340), GPU(350), 이미징 처리 유닛(360), 신경 처리 유닛(370), TOF 처리 유닛(380)를 포함할 수 있다. 컨트롤러(310)는, 예를 들면, 적어도 하나의 마이크로프로세서, 적어도 하나의 디지털 신호 프로세서, 적어도 하나의 마이크로컨트롤러 등을 포함할 수 있다. 메모리(330)는 컨트롤러(310)에 의해 사용될 명령 코드 및/또는 사용자 데이터를 저장하도록 구성될 수 있다. TOF 처리 유닛(380)은 도 1 및 2와 관련하여 설명되는 예시적인 실시 예들 중 하나 이상에 기초하여 구성될 수 있다.
전자 장치(300) 및 전자 장치(300)의 다양한 시스템 구성요소는 하나 또는 모듈로 형성될 수 있다. 인터페이스(340)는, 예를 들면, RF 신호를 이용하여 무선 통신 네트워크와 데이터를 송수신하도록 구성된 무선 인터페이스를 포함하도록 구성될 수 있다. 무선 인터페이스(340)는, 예를 들면, 안테나를 포함할 수 있다. 전자 시스템(300)은 또한 제한하는 것은 아니지만, 코드 분할 다중 접속(CDMA), 글로벌 이동 통신 시스템(GSM), 북미 디지털 커뮤니케이션(NADC), 확장 시분할 다중 접속(E TDMA), 광대역 CDMA(WCDMA), CDMA2000, 와이파이, 지방 Wi Fi(Muni Wi Fi), 블루투스, 디지털 강화 무선 통신), 무선 범용 직렬 버스(DECT), 무선 범용 직렬 버스(무선 USB), 원활한 핸드오프 직교 주파수 분할 다중화된 고속 저 레이턴시 액세스(Flash OFDM), IEEE 802.20, 일반 패킷 무선 서비스(GPRS), 아이버스트, 무선 광대역(WiBro), WiMAX, WiMAX 고급, 범용 이동 통신 서비스-시분할 이중화(UMTS TDD), 고속 패킷 액세스(HSPA), 에볼루션 데이터 최적화(EVDO), 롱 텀 에볼루션 고급(LTE-Advanced), 다채널 다지점 배포 서비스(MMDS), 5세대 무선(5G), 6세대 무선(6G) 등과 같은 통신 시스템의 통신 인터페이스 프로토콜에서 사용된다.
본 명세서에 설명된 주제 및 동작의 실시 예는 디지털 전자 회로, 또는 본 명세서에 개시된 구조 및 그 구조적 등가물을 포함하는 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서, 또는 이들 중 하나 이상의 조합으로 구현될 수 있다. 본 명세서에 기술된 주제의 실시 예는 데이터 처리 장치에 의한 실행 또는 데이터 처리 장치의 작동을 제어하기 위해 컴퓨터 저장 매체에 인코딩된 하나 이상의 컴퓨터 프로그램, 즉 컴퓨터 프로그램 명령의 하나 이상의 모듈로 구현될 수 있다. 대안적으로 또는 추가적으로, 프로그램 명령은 인위적으로 생성된 전파 신호, 예를 들어, 데이터 처리 장치에 의한 실행을 위해 적절한 수신기 장치로 전송하기 위한 정보를 인코딩하기 위해 생성되는 기계 생성된 전기, 광학 또는 전자기 신호에 인코딩될 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 저장 장치, 컴퓨터 판독 가능 저장 기판, 랜덤 또는 직렬 액세스 메모리 어레이 또는 장치, 또는 이들의 조합일 수 있거나 이에 포함될 수 있다. 더욱이, 컴퓨터 저장 매체는 전파 신호가 아니지만, 컴퓨터 저장 매체는 인위적으로 생성된 전파 신호로 인코딩된 컴퓨터 프로그램 명령의 소스 또는 목적지일 수 있다. 컴퓨터 저장 매체는 또한 하나 이상의 개별 물리적 구성 요소 또는 매체(예: 여러 개의 CD, 디스크 또는 기타 저장 장치)일 수 있거나 이에 포함될 수 있다. 또한, 본 명세서에서 설명하는 동작은 하나 이상의 컴퓨터 판독 가능한 저장 장치에 저장되거나 다른 소스로부터 수신된 데이터에 대해 데이터 처리 장치에 의해 수행되는 동작으로 구현될 수 있다.
본 명세서는 많은 구체적인 구현 세부 사항을 포함할 수 있지만, 이 구현 세부사항은 청구된 주제의 범위에 대한 제한으로 해석되어서는 안 되며, 오히려 특정 실시 예에 특정적인 기능의 설명으로 해석되어야 한다. 별도의 실시 예와 관련하여 본 명세서에 설명된 특정 기능은 단일 실시 예에서 조합하여 구현될 수도 있다. 역으로, 단일 실시 예의 맥락에서 설명된 다양한 기능은 또한 개별적으로 또는 임의의 적절한 하위 조합으로 다중 실시 예에서 구현될 수 있다. 더욱이, 기능들이 특정 조합으로 작용하는 것으로 상술되었으며 이와 같이 청구되었지만, 청구된 조합으로부터의 하나 이상의 기능은 경우에 따라 이 조합에서 제거될 수 있고, 청구된 조합은 하위 조합 또는 하위 조합의 변형에 관한 것일 수 있다.
유사하게, 동작들이 도면에 특정 순서로 도시되어 있지만, 이것은 바람직한 결과를 달성하기 위해서, 동작이 표시된 특정 순서 또는 순차적인 순서로 수행되거나 모든 예시된 동작이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정 상황에서는 멀티태스킹과 병렬 처리가 유리할 수 있다. 또한, 상술한 실시 예에서 다양한 시스템 구성요소의 분리가 모든 실시 예에서 그러한 분리를 요구하는 것으로 이해되어서는 안되며, 설명된 프로그램 구성 요소 및 시스템은 일반적으로 단일 소프트웨어 제품에 함께 통합되거나 여러 소프트웨어 제품에 패키지될 수 있음을 이해해야 한다.
따라서, 주제의 특정 실시 예가 본 명세서에서 설명되었다. 다른 실시 예는 다음 청구항의 범위 내에 있다. 어떤 경우에는 청구범위에 명시된 조치가 다른 순서로 수행될 수 있으며 여전히 바람직한 결과를 얻을 수 있다. 또한, 첨부 도면에 도시된 프로세스는 바람직한 결과를 달성하기 위해 도시된 특정 순서 또는 순차적인 순서를 반드시 필요로 하는 것은 아니다. 특정 구현에서, 멀티태스킹 및 병렬 처리가 바람직할 수 있다.
당업자에 의해 인식되는 바와 같이, 본 명세서에서 설명된 혁신적인 개념은 광범위한 적용에 걸쳐 수정 및 변경될 수 있다. 따라서, 청구된 주제의 범위는 상술된 특정 예시적인 교시에 제한되어서는 안되고, 다음 청구범위에 의해 정의되는 것이다.

Claims (10)

  1. 가상 훈련 시스템으로서,
    사용자의 2차원(2D) 이미지를 감지하도록 구성된 2D 이미지 센서;
    상기 사용자의 움직임을 포함하는 상기 사용자의 3차원(3D) 이미지를 감지하도록 구성된 3D 이미지 센서;
    상기 사용자의 적어도 하나의 생체 특성을 감지하도록 구성된 생체 데이터 센서;
    상기 사용자의 상기 2D 이미지, 상기 3D 이미지 및 상기 적어도 하나의 생체 특성을 수신하도록 구성된 처리 장치로, 상기 처리 장치는 표준 형태 움직임과 비교하여 세션 동안 상기 사용자의 움직임에 관한 피드백 정보를 생성하도록 구성된 처리 장치; 및
    강사 아바타에 중첩된, 상기 2D 이미지 센서 및 상기 3D 이미지 센서 중 적어도 하나에 의해 캡처된 상기 사용자의 이미지로서 상기 피드백 정보를 상기 사용자에게 제공하도록 구성된 출력 장치를 포함하는, 시스템.
  2. 제 1 항에 있어서, 상기 처리 장치는 상기 세션 동안 실시간으로 상기 피드백 정보를 생성하도록 더욱 구성되는, 시스템.
  3. 제 1 항에 있어서,
    상기 출력 장치는 그래픽 및 텍스트 정보 중 적어도 하나로서 상기 피드백 정보를 상기 사용자에게 제공하도록 더욱 구성되는, 시스템.
  4. 제 1 항에 있어서,
    상기 출력 장치는 상기 피드백 정보를 가청 정보로서 제공하도록 구성된 오디오 출력 장치를 더 포함하는, 시스템.
  5. 제 1 항에 있어서,
    상기 처리 장치는 상기 사용자의 상기 2D 이미지, 상기 3D 이미지 및 상기 적어도 하나의 생체 특성 중 적어도 하나에 기초하여 상기 사용자에 대한 프로파일을 생성하도록 더욱 구성되는, 시스템.
  6. 제 5 항에 있어서,
    상기 처리 장치는 상기 사용자에 대한 상기 프로파일에 기초하여 상기 표준 형태 움직임을 예시하기 위해 상기 강사 아바타를 생성하도록 더욱 구성되는, 시스템.
  7. 제 6 항에 있어서,
    상기 처리 장치는 상기 사용자에 대한 상기 프로파일에 기초하여 상기 강사 아바타를 상기 사용자에게 적응시키도록 더욱 구성되는, 시스템.
  8. 제 5 항에 있어서,
    상기 처리 장치는 상기 세션 동안 상기 적어도 하나의 생체 특성의 안전 구역과 비교하여 상기 사용자의 적어도 하나의 생체 특성을 모니터링하도록 더욱 구성되는, 시스템.
  9. 제 1 항에 있어서,
    상기 2D 이미지 센서 및 상기 3D 이미지 센서 중 적어도 하나는 스마트폰의 일부를 포함하는, 시스템.
  10. 제 1 항에 있어서,
    상기 표준 형태 움직임은 운동 움직임, 무용 움직임, 무술 동작 또는 물리치료 움직임 중 하나를 포함하는, 시스템.
KR1020220107654A 2021-10-25 2022-08-26 모바일 및 아이오티 장치에서의 가상 트레이너 KR20230059133A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163271705P 2021-10-25 2021-10-25
US63/271,705 2021-10-25
US17/564,195 US20230130555A1 (en) 2021-10-25 2021-12-28 Virtual trainer on mobile/iot devices
US17/564,195 2021-12-28

Publications (1)

Publication Number Publication Date
KR20230059133A true KR20230059133A (ko) 2023-05-03

Family

ID=86055673

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220107654A KR20230059133A (ko) 2021-10-25 2022-08-26 모바일 및 아이오티 장치에서의 가상 트레이너

Country Status (2)

Country Link
US (1) US20230130555A1 (ko)
KR (1) KR20230059133A (ko)

Also Published As

Publication number Publication date
US20230130555A1 (en) 2023-04-27

Similar Documents

Publication Publication Date Title
US9292935B2 (en) Sensor-based evaluation and feedback of exercise performance
US9364714B2 (en) Fuzzy logic-based evaluation and feedback of exercise performance
KR20230003110A (ko) 상호작용형 트레이닝 및 시연을 위한 반사성 비디오 디스플레이 장치 및 이를 사용하는 방법
CA2777742C (en) Dynamic exercise content
CN106200893B (zh) 锻炼反馈提供设备和方法
CN115738236A (zh) 用于提供热体验的反馈装置、内容再现装置、系统和方法
CA3228626A1 (en) Method and system for training users to perform activities
KR101777672B1 (ko) 스마트 기기를 제어패널로 이용하는 트레드밀
US10471305B2 (en) Modification of an exercise plan
US20230069758A1 (en) Personalized fitness activity training using augmented-reality based avatar
US20170157459A1 (en) Treadmill and control method thereof
US20210137451A1 (en) Breathing management mechanism
CN109951742A (zh) 弹幕发送方法、终端及计算机可读存储介质
KR20230059133A (ko) 모바일 및 아이오티 장치에서의 가상 트레이너
KR102158218B1 (ko) 동기 부여 시나리오를 실행하는 스마트미러, 이의 동기 부여 시나리오 실행 방법 및 이를 포함하는 동기 부여 시나리오 실행 시스템
US10561934B2 (en) Gaming system and gaming method
CN112619042A (zh) 健身用的即时影音及数据显示系统与其显示方法
KR102389686B1 (ko) 혼합 현실(mixed reality, MR) 컨텐츠 상호 간의 전환을 위한 장치 및 방법
KR20160064890A (ko) 런닝 자세 교정 기능을 갖는 런닝머신 시스템
KR20230110032A (ko) 디스플레이 장치 및 그 동작 방법
US20230372778A1 (en) Method and system for providing immersive and interactive fitness experience to a user
US20220362631A1 (en) Virtual tastings and guided tours for augmented reality experiences
GB2619532A (en) System for developing motor-skills
KR102377754B1 (ko) 오토코칭정보 제공방법 및 시스템
Sousa et al. Health Care Professional–Supported Co-Design of a Mime Therapy–Based Serious Game for Facial Rehabilitation