KR20220039440A - 디스플레이 장치 및 그의 제어 방법 - Google Patents

디스플레이 장치 및 그의 제어 방법 Download PDF

Info

Publication number
KR20220039440A
KR20220039440A KR1020200122526A KR20200122526A KR20220039440A KR 20220039440 A KR20220039440 A KR 20220039440A KR 1020200122526 A KR1020200122526 A KR 1020200122526A KR 20200122526 A KR20200122526 A KR 20200122526A KR 20220039440 A KR20220039440 A KR 20220039440A
Authority
KR
South Korea
Prior art keywords
posture
user
position data
artificial intelligence
training image
Prior art date
Application number
KR1020200122526A
Other languages
English (en)
Inventor
엄기문
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200122526A priority Critical patent/KR20220039440A/ko
Priority to US17/469,556 priority patent/US20220092300A1/en
Priority to PCT/KR2021/012286 priority patent/WO2022065763A1/en
Publication of KR20220039440A publication Critical patent/KR20220039440A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G09B19/0038—Sports
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012—Comparing movements or motion sequences with a registered reference
    • A63B2024/0015—Comparing movements or motion sequences with computerised simulations of movements or motion sequences, e.g. for generating an ideal template as reference to be achieved by the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0638—Displaying moving images of recorded environment, e.g. virtual environment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/065—Visualisation of specific exercise parameters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B2071/0694—Visual indication, e.g. Indicia
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2208/00—Characteristics or parameters related to the user or player
    • A63B2208/02—Characteristics or parameters related to the user or player posture
    • A63B2208/0223—Squatting
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/05—Image processing for measuring physical parameters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/10—Positions
    • A63B2220/13—Relative positions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physical Education & Sports Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

디스플레이 장치가 개시된다. 본 디스플레이 장치는 카메라, 디스플레이, 이미지들에 포함된 사용자의 복수의 신체 부위에 대한 위치 데이터 및 위치 데이터에 기초하여 획득된 추가 위치 데이터에 기초하여 사용자의 자세를 식별하도록 훈련된 인공지능 모델이 저장된 메모리 및 트레이닝 영상 및 카메라에 의해 촬영된 영상을 표시하도록 디스플레이를 제어하고, 촬영된 영상에 포함된 사용자의 복수의 신체 부위에 대한 위치 데이터를 인공지능 모델에 입력하여, 촬영된 영상에 포함된 사용자의 자세를 식별하고, 트레이닝 영상에 대응되는 자세와 사용자의 자세의 매칭 여부에 기초하여 트레이닝 가이드를 표시하도록 디스플레이를 제어하는 프로세서를 포함한다.

Description

디스플레이 장치 및 그의 제어 방법 { DISPLAY APPARATUS AND METHOD FOR CONTROLLING THE DISPLAY APPARATUS }
본 개시는 디스플레이 장치 및 그의 제어 방법에 관한 것으로, 보다 상세하게는 트레이닝 영상을 제공하는 디스플레이 장치 및 그의 제어 방법에 관한 것이다.
최근에는 건강 관리를 위해, 피트니스 센터에서 헬스 트레이닝, 요가, 필라테스 등의 운동을 하는 사람들이 점차 증가하고 있다.
또한, 시간 등의 제한으로 인해 피트니스 센터를 방문하지 못하거나, 비대면 방식의 운동을 원하는 사람들은 그 대안으로 홈 트레이닝을 통해 운동을 하고 있다.
홈 트레이닝의 경우, 트레이너 없이 혼자서 운동을 하기 때문에, 사람들이 정확한 자세로 운동을 하고 있는지를 정확히 체크하고, 그에 대한 트레이닝 가이드를 제공받을 수 있는 것이 운동 효과에 있어 중요한 문제이다.
본 개시는 상술한 필요성에 따라 안출된 것으로, 인공지능 모델을 이용하여 사용자의 자세를 식별하고, 사용자의 자세와 트레이닝 영상의 자세의 매칭 여부에 기초하여 트레이닝 가이드를 표시하는 디스플레이 장치 및 그의 제어 방법을 제공함에 있다.
본 개시의 일 실시 예에 따른 디스플레이 장치는 카메라, 디스플레이, 이미지들에 포함된 사용자의 복수의 신체 부위에 대한 위치 데이터 및 상기 위치 데이터에 기초하여 획득된 추가 위치 데이터에 기초하여 상기 사용자의 자세를 식별하도록 훈련된 인공지능 모델이 저장된 메모리 및 트레이닝 영상 및 상기 카메라에 의해 촬영된 영상을 표시하도록 상기 디스플레이를 제어하고, 상기 촬영된 영상에 포함된 사용자의 복수의 신체 부위에 대한 위치 데이터를 상기 인공지능 모델에 입력하여, 상기 촬영된 영상에 포함된 사용자의 자세를 식별하고, 상기 사용자의 자세와 상기 트레이닝 영상에 대응되는 자세의 매칭 여부에 기초하여 트레이닝 가이드를 표시하도록 상기 디스플레이를 제어하는 프로세서를 포함한다.
여기에서, 상기 추가 위치 데이터는 상기 위치 데이터를 회전시켜 획득될 수 있다.
또한, 상기 프로세서는 상기 사용자의 자세가 상기 트레이닝 영상에 대응되는 자세와 매칭되는 것으로 식별되면, 상기 사용자의 자세가 상기 트레이닝 영상에 대응되는 자세와 매칭됨을 나타내는 정보를 포함하는 상기 트레이닝 가이드를 표시하고, 상기 사용자의 자세가 상기 트레이닝 영상에 대응되는 자세와 매칭되지 않는 것으로 식별되면, 상기 사용자의 자세가 상기 트레이닝 영상에 대응되는 자세와 매칭되지 않음을 나타내는 정보를 포함하는 상기 트레이닝 가이드를 표시할 수 있다.
그리고, 상기 인공지능 모델은 이미지들에 포함된 제1 자세의 사용자의 복수의 신체 부위에 대한 위치 데이터 및 상기 위치 데이터에 기초하여 획득된 추가 위치 데이터에 기초하여 상기 사용자의 제1 자세를 식별하도록 훈련되고, 상기 제1 자세는 상기 트레이닝 영상에 대응되는 자세와 매칭되는 자세일 수 있다.
여기에서, 상기 인공지능 모델은 상기 제1 자세에 따라 운동 효과가 나타나는 신체 부위를 식별하도록 훈련되고, 상기 프로세서는 상기 사용자의 자세가 상기 트레이닝 영상에 대응되는 자세와 매칭되는 것으로 식별되면, 상기 인공지능 모델에서 출력되는 신체 부위에 대한 정보에 기초하여 상기 운동 효과가 나타나는 신체 부위에 대한 정보를 표시하도록 상기 디스플레이를 제어할 수 있다.
또한, 상기 인공지능 모델은 이미지들에 포함된 제2 자세의 사용자의 복수의 신체 부위에 대한 위치 데이터 및 상기 위치 데이터에 기초하여 획득된 추가 위치 데이터에 기초하여 상기 사용자의 제2 자세를 식별하도록 훈련되고, 상기 제2 자세는 상기 트레이닝 영상에 대응되는 자세와 매칭되지 않는 자세일 수 있다.
여기에서, 상기 인공지능 모델은 상기 제2 자세에 따라 부정적인 운동 효과가 나타나는 신체 부위를 식별하도록 훈련되고, 상기 프로세서는 상기 사용자의 자세가 상기 트레이닝 영상에 대응되는 자세와 매칭되지 않는 것으로 식별되면, 상기 인공지능 모델에서 출력되는 신체 부위에 대한 정보에 기초하여 상기 부정적인 운동 효과가 나타나는 신체 부위에 대한 정보를 표시하도록 상기 디스플레이를 제어할 수 있다.
한편, 본 개시의 일 실시 예에 따른 디스플레이 장치의 제어 방법은 트레이닝 영상 및 카메라에 의해 촬영된 영상을 표시하는 단계, 상기 촬영된 영상에 포함된 사용자의 복수의 신체 부위에 대한 위치 데이터를 인공지능 모델에 입력하여 상기 촬영된 영상에 포함된 사용자의 자세를 식별하는 단계 및 상기 사용자의 자세와 상기 트레이닝 영상에 대응되는 자세의 매칭 여부에 기초하여 트레이닝 가이드를 표시하는 단계를 포함하며, 상기 인공지능 모델은 이미지들에 포함된 사용자의 복수의 신체 부위에 대한 위치 데이터 및 상기 위치 데이터에 기초하여 획득된 추가 위치 데이터에 기초하여 사용자의 자세를 식별하도록 훈련된 모델이다.
여기에서, 상기 추가 위치 데이터는 상기 위치 데이터를 회전시켜 획득될 수 있다.
또한, 상기 표시하는 단계는 상기 사용자의 자세가 상기 트레이닝 영상에 대응되는 자세와 매칭되는 것으로 식별되면, 상기 사용자의 자세가 상기 트레이닝 영상에 대응되는 자세와 매칭됨을 나타내는 정보를 포함하는 상기 트레이닝 가이드를 표시하고, 상기 사용자의 자세가 상기 트레이닝 영상에 대응되는 자세와 매칭되지 않는 것으로 식별되면, 상기 사용자의 자세가 상기 트레이닝 영상에 대응되는 자세와 매칭되지 않음을 나타내는 정보를 포함하는 상기 트레이닝 가이드를 표시할 수 있다.
그리고, 상기 인공지능 모델은 이미지들에 포함된 제1 자세의 사용자의 복수의 신체 부위에 대한 위치 데이터 및 상기 위치 데이터에 기초하여 획득된 추가 위치 데이터에 기초하여 상기 사용자의 제1 자세를 식별하도록 훈련되고, 상기 제1 자세는 상기 트레이닝 영상에 대응되는 자세와 매칭되는 자세일 수 있다.
여기에서, 상기 인공지능 모델은 상기 제1 자세에 따라 운동 효과가 나타나는 신체 부위를 식별하도록 훈련되고, 상기 표시하는 단계는 상기 사용자의 자세가 상기 트레이닝 영상에 대응되는 자세와 매칭되는 것으로 식별되면, 상기 인공지능 모델에서 출력되는 신체 부위에 대한 정보에 기초하여 상기 운동 효과가 나타나는 신체 부위에 대한 정보를 표시할 수 있다.
또한, 상기 인공지능 모델은 이미지들에 포함된 제2 자세의 사용자의 복수의 신체 부위에 대한 위치 데이터 및 상기 위치 데이터에 기초하여 획득된 추가 위치 데이터에 기초하여 상기 사용자의 제2 자세를 식별하도록 훈련되고, 상기 제2 자세는 상기 트레이닝 영상에 대응되는 자세와 매칭되지 않는 자세일 수 있다.
여기에서, 상기 인공지능 모델은 상기 제2 자세에 따라 부정적인 운동 효과가 나타나는 신체 부위를 식별하도록 훈련되고, 상기 표시하는 단계는 상기 사용자의 자세가 상기 트레이닝 영상에 대응되는 자세와 매칭되지 않는 것으로 식별되면, 상기 인공지능 모델에서 출력되는 신체 부위에 대한 정보에 기초하여 상기 부정적인 운동 효과가 나타나는 신체 부위에 대한 정보를 표시할 수 있다.
본 개시의 다양한 실시 예에 따르면, 사용자의 자세 식별을 위한 인공지능 모델이 위치 데이터 및 위치 데이터를 회전시켜 획득된 추가 위치 데이터에 기초하여 학습된다. 사용자가 다양한 각도에서 촬영되더라고, 영상에 포함된 사용자의 자세를 보다 정확히 식별할 수 있게 된다.
도 1은 본 개시의 일 실시 예에 따른 디스플레이 장치를 설명하기 위한 도면,
도 2는 본 개시의 일 실시 예에 따른 디스플레이 장치의 구성을 설명하기 위한 블록도,
도 3 및 도 4는 본 개시의 일 실시 예에 따라 인공지능 모델이 훈련되는 과정을 설명하기 위한 도면들,
도 5a 및 도 5b는 본 개시의 일 실시 예에 따라 디스플레이 장치에서 트레이닝 가이드를 제공하는 방법을 설명하기 위한 도면들,
도 6a 및 도 6b는 본 개시의 일 실시 예에 따라 디스플레이 장치에서 트레이닝 가이드를 제공하는 방법을 설명하기 위한 도면들,
도 7은 본 개시의 일 실시 예에 따라 디스플레이 장치에서 트레이닝 가이드를 제공하는 방법을 설명하기 위한 도면,
도 8a 및 도 8b는 본 개시의 일 실시 예에 따라 디스플레이 장치에서 트레이닝 가이드를 제공하는 방법을 설명하기 위한 도면들,
도 9는 본 개시의 일 실시 예에 따른 디스플레이 장치의 세부 구성을 설명하기 위한 블록도, 그리고
도 10은 본 개시의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하, 본 개시의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 문서의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 디스플레이 장치를 설명하기 위한 도면이다.
디스플레이 장치(100)는 사용자의 홈 트레이닝을 위한 기능을 수행할 수 있다.
즉, 디스플레이 장치(100)는 트레이닝 영상 즉, 운동 트레이너의 시범 영상을 디스플레이의 일 영역에 표시하고, 또한, 디스플레이 장치(100)의 카메라를 통해 촬영된 영상을 디스플레이의 다른 영역에 표시할 수 있다.
이에 따라, 사용자는 트레이닝 영상 속의 트레이너의 시범 자세를 따라하면서, 자신의 자세(또는, 운동 자세)를 확인할 수 있다.
한편, 디스플레이 장치(100)는 사용자의 자세가 트레이닝 영상 속의 자세와 매칭되는지를 식별하고, 그에 대한 트레이닝 가이드를 제공할 수 있다.
여기에서, 트레이닝 가이드는 사용자의 자세가 트레이너의 자세와 매칭되는지 또는 매칭되지 않는지 등에 대한 정보를 포함할 수 있다.
이 경우, 디스플레이 장치(100)는 인공지능 모델을 이용하여 사용자의 자세를 식별할 수 있다. 이때, 인공지능 모델은 다양한 각도에서 사용자가 촬영되더라고, 해당 영상으로부터 사용자의 자세를 식별할 수 있도록 훈련된 모델일 수 있다.
이에 따라, 본 개시의 일 실시 예에 따른 디스플레이 장치(100)는 사용자의 자세를 보다 정확히 식별할 수 있으며, 이하에서 보다 구체적으로 설명하도록 한다.
도 2는 본 개시의 일 실시 예에 따른 디스플레이 장치의 구성을 설명하기 위한 블록도이다.
도 2를 참조하면, 디스플레이 장치(100)는 카메라(110), 디스플레이(120), 메모리(130) 및 프로세서(140)를 포함한다.
카메라(110)는 촬영을 수행할 수 있다. 일 예로, 카메라(110)는 디스플레이 장치(100)의 전방에 대한 촬영을 수행하여 이미지를 획득할 수 있다.
이를 위해, 카메라(110)는 외부의 광을 수신하기 위한 이미지 센서를 포함할 수 있으며, 이미지 센서를 통해 촬영된 이미지를 획득할 수 있다.
디스플레이(120)는 영상을 표시할 수 있다. 이 경우, 디스플레이(110)는 LCD, LED 또는 OLED 등과 같은 다양한 유형의 디스플레이로 구현될 수 있다.
메모리(130)는 디스플레이 장치(100)의 동작과 관련된 다양한 명령어, 프로그램 또는 데이터를 저장할 수 있다.
이를 위해, 메모리(130)는 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다. 여기에서, 메모리(130)는 프로세서(140)에 의해 액세스되며, 프로세서(140)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.
특히, 메모리(130)는 영상에 포함된 사용자의 자세를 식별하도록 훈련된 인공지능 모델(131)을 포함할 수 있다.
이 경우, 인공지능 모델(131)은 영상에 포함된 사용자의 자세를 식별하기 위한 분류기로 구현될 수 있으며, 이때, 인공지능 모델(131)은 사용자의 자세가 특정한 자세에 해당할 확률을 출력할 수 있다.
한편, 이하에서는 도 3 및 도 4를 참조하여, 인공지능 모델이 훈련되는 과정을 설명하도록 한다.
인공지능 모델(131)은 이미지들에 포함된 사용자의 복수의 신체 부위에 대한 위치 데이터 및 위치 데이터에 기초하여 획득된 추가 위치 데이터에 기초하여 사용자의 자세를 식별하도록 훈련된 모델일 수 있다.
여기에서, 이미지들은 인공지능 모델(131)의 훈련을 위한 훈련 이미지들로, 이미지들에 포함된 사용자는 홈 트레이닝을 수행하는 사용자와는 다른 사용자일 수 있다.
또한, 복수의 신체 부위에 대한 위치 데이터는 복수의 신체 부위에 대한 좌표 데이터로, 이미지에 포함된 사용자의 복수의 관절 부위를 나타내는 복수의 키포인트(keypoints)를 포함할 수 있다.
이 경우, 위치 데이터의 획득을 위해, 이미지에서 사람의 관절의 포인트를 추출하기 위한 인공지능 모델(미도시)이 이용될 수 있다. 다만, 이는 일 예일 뿐이고, 위치 데이터는 다양한 방식으로 획득될 수 있음은 물론이다.
또한, 추가 위치 데이터는 위치 데이터를 회전시켜 획득된 데이터일 수 있다.
구체적으로, 이미지에서 획득된 복수의 키포인트는 2차원 좌표일 수 있는데, 이때, 2차원 좌표를 3차원으로 변환하고, 3차원 좌표에 랜덤 회전 변환을 적용하여 복수의 3차원 좌표를 획득하고, 이를 다시 2차원로 변환하여 추가 위치 데이터를 획득할 수 있다.
이하에서, 본 개시의 일 실시 예에 따라 추가 위치 데이터를 획득하는 방법을 보다 구체적으로 살펴보도록 한다.
먼저, 이미지에서 획득된 복수의 키포인트에 대한 뎁스를 추정하고, 이를 이용하여 복수의 키포인트를 3차원으로 변환할 수 있다.
구체적으로, 이미지에 포함된 사용자의 전체 크기에 대한 각 신체 부위의 크기의 비율을 통해, 각 신체 부위에 대한 예상 길이가 산출될 수 있다.
예를 들어, 전체 크기에 대한 신체 부위 별 크기의 비율에 따라, 신체 부위 별 길이가 미리 정의되어 있는 경우, 이미지에 포함된 사용자의 전체 크기에 대한 각 신체 부위의 크기의 비율을 통해, 각 신체 부위의 예상 길이가 산출될 수 있다.
여기에서, 신체 부위는 키포인트들에 의해 정의되는 신체 부위일 수 있다. 예를 들어, 키포인트가 손목과 팔꿈치인 경우, 신체 부위는 이들 키포인트들에 의해 정의되는 손목과 팔목 사이의 팔 부분이 될 수 있다.
이후, 복수의 키포인트 중 어느 하나의 키포인트에 대한 뎁스 값 즉, z 값을 0으로 설정하고, 그와 인접한 키포인트에 대한 뎁스 값을 산출할 수 있다.
예를 들어, 키포인트 (x1,y1)에 대해, z 값을 0으로 설정하는 경우, 키포인트의 3차원 좌표는 (x1,y1,z1)(여기에서, z1=0)와 같이 나타낼 수 있다. 이 경우, 키포인트 (x1,y1) 및 키포인트 (x1,y1)와 인접한 키포인트 (x2,y2)에 의해 정의되는 신체 부위의 예상 거리를 L이라고 할 때, 인접한 키포인트 (x2,y2)의 뎁스 값 z2는 하기의 수학식 1에 기초하여 산출될 수 있다.
Figure pat00001
이에 따라, 키포인트 (x1,y1) 및 (x2,y2)는 각각 (x1,y1,z1) 및 (x2,y2,z2)와 같은 3차원 좌표로 변환될 수 있으며, 이러한 방법을 통해, z 값이 산출된 키포인트를 기초로 그와 인접한 키포인트의 z 값이 차례로 산출될 수 있다.
이에 따라, 결국, 복수의 키포인트 각각은 3차원으로 변환될 수 있다.
이후, 복수의 3차원 키포인트에 랜덤 회전 변환을 적용하여, 회전된 복수의 3차원 키포인트가 얻어질 수 있다.
구체적으로, 하기와 같은 수학식 2에 기초하여, 복수의 3차원 키포인트 각각에 대해 랜덤 회전 변환이 적용될 수 있다.
Figure pat00002
여기에서, zy, ax, az는 각각 랜덤하게 선택된 각도, (x,y,z)는 3차원 키포인트, (x',y',z')는 랜덤 회전 변환이 적용된 3차원 키포인트를 의미할 수 있다.
이에 따라, 복수의 3차원 키포인트 각각에 대해, 회전된 3차원 키포인트가 얻어질 수 있다.
이후, 복수의 회전된 3차원 키포인트를 2차원으로 변환하여, 추가 위치 데이터가 획득될 수 있다.
구체적으로, 복수의 회전된 3차원 키포인트 (x',y',z') 각각을 2차원으로 투영하여, (x',y')와 같은 2차원 키포인트를 획득할 수 있다.
이에 따라, 복수의 회전된 3차원 키포인트가 2차원으로 변환된 복수의 2차원 키포인트를 획득할 수 있으며, 이에 따라, 복수의 2차원 키포인트를 포함하는 추가 위치 데이터가 획득될 수 있다.
한편, 이미지들은 제1 자세 또는 제2 자세로 운동을 수행하는 사용자가 촬영된 이미지들일 수 있다.
먼저, 인공지능 모델(131)은 이미지들에 포함된 제1 자세의 사용자의 복수의 신체 부위에 대한 위치 데이터 및 위치 데이터에 기초하여 획득된 추가 위치 데이터에 기초하여 사용자의 제1 자세를 식별하도록 훈련될 수 있다.
여기에서, 제1 자세는 트레이닝 영상에 대응되는 자세와 매칭되는 자세일 수 있다.
구체적으로, 제1 자세는 트레이닝 영상에 포함된 트레이너의 시범 자세와 동일한 자세이며, 얼굴, 목, 몸통, 팔, 다리 등의 방향 및 각도가 트레이너의 시범 자세와 기설정된 임계 범위 내인 자세일 수 있다.
즉, 인공지능 모델(131)은 정확한 자세로 운동을 하는 사용자가 촬영된 이미지들을 이용하여, 트레이닝 영상에 매칭되는 사용자의 자세를 식별하도록 훈련될 수 있다.
예를 들어, 도 3을 참조하면, "스쿼트"를 하는 사용자가 촬영된 이미지들(310)에서 위치 데이터(311)가 획득되고, 위치 데이터에 기초하여 추가 위치 데이터(312)가 획득될 수 있다.
이 경우, 인공지능 모델(131)은 위치 데이터(311) 및 추가 위치 데이터(312)를 입력 데이터로, "스쿼트" 자세를 출력 데이터로 하여 훈련될 수 있다.
이와 마찬가지로, 인공지능 모델(131)은 "런지"를 하는 사용자가 촬영된 이미지들(320)에서 획득된 위치 데이터(321) 및 위치 데이터(321)를 기초로 획득된 추가 위치 데이터(322)를 입력 데이터로, "런지" 자세를 출력 데이터로 하여 훈련될 수 있다. 또한, 인공지능 모델(131)은 "플랭크"를 하는 사용자가 촬영된 이미지들(330)에서 획득된 위치 데이터(331) 및 위치 데이터(331)를 기초로 획득된 추가 위치 데이터(332)를 입력 데이터로, "플랭크" 자세를 출력 데이터로 하여 훈련될 수 있다.
이와 같이, 인공지능 모델(131)은 복수의 자세 별로, 각 자세를 취하는 사용자가 촬영된 이미지들로부터 획득된 위치 데이터 및 위치 데이터에 기초하여 획득된 추가 위치 데이터를 통해 훈련될 수 있다.
이에 따라, 인공지능 모델(131)은 사용자를 촬영한 영상에서 획득된 사용자의 복수의 신체 부위에 대한 위치 데이터가 입력되면, 영상에 포함된 사용자의 자세를 출력하도록 훈련될 수 있다.
한편, 실시 예에 따라, 인공지능 모델(131)은 제1 자세에 따라 운동 효과가 나타나는 신체 부위를 식별하도록 훈련될 수 있다.
즉, 인공지능 모델(131)은 위치 데이터 및 추가 위치 데이터뿐만 아니라, 사용자의 자세에 따라 효과가 나타내는 신체 부위에 대한 정보를 입력 데이터로 하여 훈련될 수 있다.
예를 들어, "스쿼트"는 다리, 엉덩이 및 허벅지 안쪽이 효과적인 운동으로 볼 수 있다.
이 경우, 인공지능 모델(131)은 "스쿼트"에 대한 위치 데이터 및 추가 위치 데이터뿐만 아니라, 다리, 엉덩이 및 허벅지 안쪽에 대한 정보를 입력 데이터로, "스쿼트" 자세 및 "다리, 엉덩이 및 허벅지 안쪽"을 출력 데이터로 하여 훈련될 수 있다.
이에 따라, 인공지능 모델(131)은 사용자를 촬영한 영상에서 획득된 사용자의 복수의 신체 부위에 대한 위치 데이터가 입력되면, 영상에 포함된 사용자의 자세 및 해당 자세에서 운동 효과가 나타나는 신체 부위에 대한 정보를 출력하도록 훈련될 수 있다.
한편, 인공지능 모델(131)은 이미지들에 포함된 제2 자세의 사용자의 복수의 신체 부위에 대한 위치 데이터 및 위치 데이터에 기초하여 획득된 추가 위치 데이터에 기초하여 사용자의 제2 자세를 식별하도록 훈련될 수 있다.
여기에서, 제2 자세는 트레이닝 영상에 대응되는 자세와 매칭되지 않는 자세일 수 있다.
구체적으로, 제2 자세는 트레이닝 영상에 포함된 트레이너의 시범 자세와 동일한 자세이지만, 얼굴, 목, 몸통, 팔, 다리 등의 방향 및 각도가 트레이너의 시범 자세와 기설정된 임계 범위를 벗어난 자세일 수 있다.
즉, 인공지능 모델(131)은 부정확한 자세로 운동을 하는 사용자가 촬영된 이미지들을 이용하여, 트레이닝 영상에 매칭되지 않는 사용자의 자세를 식별하도록 훈련될 수 있다.
예를 들어, 도 4를 참조하면, 부정확한 자세로 "스쿼트"를 하는 사용자가 촬영된 이미지들(410)에서 위치 데이터(411)가 획득되고, 위치 데이터에 기초하여 추가 위치 데이터(412)가 획득될 수 있다.
이 경우, 인공지능 모델(131)은 위치 데이터(411) 및 추가 위치 데이터(412)를 입력 데이터로, "부정확한 스쿼트" 자세를 출력 데이터로 하여 훈련될 수 있다.
이와 마찬가지로, 인공지능 모델(131)은 부정확한 자세로 "런지"를 하는 사용자가 촬영된 이미지들(420)에서 획득된 위치 데이터(421) 및 위치 데이터(421)를 기초로 획득된 추가 위치 데이터(422)를 입력 데이터로, "부정확한 런지" 자세를 출력 데이터로 하여 훈련될 수 있다. 또한, 인공지능 모델(131)은 부정확하 자세로 "플랭크"를 하는 사용자가 촬영된 이미지들(430)에서 획득된 위치 데이터(431) 및 위치 데이터(431)를 기초로 획득된 추가 위치 데이터(432)를 입력 데이터로, "부정확한 플랭크" 자세를 출력 데이터로 하여 훈련될 수 있다.
이와 같이, 인공지능 모델(131)은 복수의 자세 별로, 부정확한 자세를 취하는 사용자가 촬영된 이미지들로부터 획득된 위치 데이터 및 위치 데이터에 기초하여 획득된 추가 위치 데이터를 통해 훈련될 수 있다.
이에 따라, 인공지능 모델(131)은 사용자를 촬영한 영상에서 획득된 사용자의 복수의 신체 부위에 대한 위치 데이터가 입력되면, 영상에 포함된 사용자의 부정확한 자세를 출력하도록 훈련될 수 있다.
한편, 실시 예에 따라, 인공지능 모델(131)은 제2 자세에 따라 부정적인 운동 효과가 나타나는 신체 부위를 식별하도록 훈련될 수 있다.
즉, 인공지능 모델(131)은 위치 데이터 및 추가 위치 데이터뿐만 아니라, 사용자의 부정확한 자세에 따라 나쁜 효과를 미치는 신체 부위에 대한 정보를 입력 데이터로 하여 훈련될 수 있다.
예를 들어, "부정확한 런지"는 허리에 무리를 줄 수 있다. 이 경우, 인공지능 모델(131)은 "부정확한 런지"에 대한 위치 데이터 및 추가 위치 데이터뿐만 아니라, 허리에 대한 정보를 입력 데이터로, "스쿼트" 자세 및 "허리"를 출력 데이터로 하여 훈련될 수 있다.
이에 따라, 인공지능 모델(131)은 사용자를 촬영한 영상에서 획득된 사용자의 복수의 신체 부위에 대한 위치 데이터가 입력되면, 영상에 포함된 사용자의 부정확한 자세 및 해당 자세에서 부정적인 운동 효과가 나타나는 신체 부위에 대한 정보를 출력하도록 훈련될 수 있다.
한편, 전술한 바와 같이, 본 개시의 일 실시 예에 따르면, 인공지능 모델(131)은 위치 데이터 및 위치 데이터를 회전시켜 획득된 추가 위치 데이터에 기초하여 학습된다는 점에서, 사용자가 다양한 각도에서 촬영되더라고, 해당 영상에 포함된 사용자의 자세를 식별할 수 있게 된다.
이에 따라, 본 개시의 일 실시 예에 따르면, 사용자가 디스플레이 장치(100)의 정면이 아닌, 환경 여건에 따라 자신이 편한 위치에서 트레이닝 영상을 따라 운동을 수행하더라도, 사용자의 자세가 정확히 식별될 수 있게 된다.
한편, 전술한 인공지능 모델(131)의 훈련은 서버(미도시)에 의해 수행되고, 이후, 디스플레이 장치(100)의 제조 시, 메모리(130)에 저장될 수 있으며, 또한, 서버(미도시)로부터 다운로드되어 메모리(130)에 저장될 수 있다. 또한, 이러한 훈련은 프로세서(140)에 의해 수행될 수도 있다.
프로세서(140)는 카메라(110), 디스플레이(120) 및 메모리(130)와 전기적으로 연결되어, 디스플레이 장치(100)의 전반적인 동작 및 기능을 제어할 수 있다.
여기에서, 프로세서(140)는 중앙처리장치(central processing unit, CPU) 또는 어플리케이션 프로세서(application processor, AP)를 포함할 수 있으며, 메모리(130)에 저장된 하나 이상의 인스트럭션에 따라 메모리(130)에 저장된 하나 이상의 소프트웨어 프로그램을 실행할 수 있다.
먼저, 프로세서(140)는 트레이닝 영상 및 카메라(110)에 의해 촬영된 영상을 표시하도록 디스플레이(110)를 제어할 수 있다.
여기에서, 트레이닝 영상은 운동 트레이너의 시범 영상을 포함할 수 있다. 이 경우, 트레이닝 영상은 메모리(130)에 저장되어 있거나, 스트리밍 통해 디스플레이 장치(100)로 제공될 수 있다.
예를 들어, 프로세서(140)는 트레이닝 어플리케이션을 실행하기 위한 사용자 명령이 입력되면, 메모리(130)에 저장된 트레이닝 어플리케이션을 실행할 수 있다. 여기에서, 트레이닝 어플리케이션은 디스플레이 장치(100)의 제조 시, 메모리(130)에 저장될 수 있으며, 또한, 다양한 어플리케이션을 제공하는 서버(미도시)로부터 어플리케이션과 함께 다운로드되어 메모리(130)에 저장될 수 있다.
그리고, 프로세서(140)는 트레이닝 영상을 디스플레이(110)의 일 영역에 표시할 수 있다. 또한, 프로세서(140)는 카메라(110)를 통해 디스플레이 장치(100)의 전방을 촬영하고, 촬영된 영상을 디스플레이(110)의 다른 영역에 표시할 수 있다.
그리고, 프로세서(140)는 촬영된 영상에 포함된 사용자의 복수의 신체 부위에 대한 위치 데이터를 인공지능 모델(131)에 입력하여, 촬영된 영상에 포함된 사용자의 자세를 식별하고, 사용자의 자세가 트레이닝 영상에 대응되는 자세와 매칭되는지를 식별할 수 있다.
여기에서, 복수의 신체 부위에 대한 위치 데이터는 복수의 신체 부위에 대한 좌표 데이터로, 이미지에 포함된 사용자의 복수의 관절 부위를 나타내는 복수의 키포인트를 포함할 수 있다.
이 경우, 위치 데이터의 획득을 위해, 이미지에서 사람의 관절의 포인트를 추출하기 위한 인공지능 모델(미도시)이 이용될 수 있다. 이 경우, 인공지능 모델(미도시)은 메모리(130)에 저장되어 있을 수 있다.
즉, 프로세서(140)는 촬영된 영상을 인공지능 모델(미도시)에 입력하여 촬영된 영상에 포함된 사용자의 복수의 신체 부위에 대한 위치 데이터를 획득하고, 획득된 위치 데이터를 인공지능 모델(131)에 입력할 수 있다.
다만, 이는 일 예일 뿐이고, 위치 데이터는 다양한 방식으로 획득될 수 있음은 물론이다.
그리고, 프로세서(140)는 트레이닝 영상에 대응되는 자세를 식별할 수 있다. 이 경우, 트레이닝 영상에 대한 메타데이터는 트레이닝 영상의 시간 별로 트레이닝 영상에 포함된 트레이너가 수행하는 자세에 대한 정보를 포함할 수 있다.
이 경우, 프로세서(140)는 트레이닝 영상에 대한 메타데이터를 이용하여, 트레이닝 영상 속의 트레이너가 수행하는 자세를 판단할 수 있다.
또한, 프로세서(140)는 촬영된 영상에 포함된 사용자의 자세를 식별할 수 있다. 구체적으로, 프로세서(140)는 인공지능 모델(131)에서 출력되는 확률에 기초하여 촬영된 영상에 포함된 사용자의 자세를 식별할 수 있다.
이 경우, 프로세서(140)는 기설정된 임계 값보다 큰 확률을 갖는 자세를 사용자의 자세로 식별할 수 있다.
예를 들어, 인공지능 모델(131)에서 출력된 "스쿼트" 자세에 해당하는 확률이 기설정된 임계 값보다 큰 경우, 프로세서(140)는 사용자의 자세가 "스쿼트"인 것으로 식별할 수 있다.
이 경우, 프로세서(140)는 사용자의 자세가 트레이닝 영상에 대응되는 자세와 매칭되는 것으로 식별할 수 있다.
다른 예로, 인공지능 모델(131)에서 출력된 "부정확한 런지" 자세에 해당하는 확률이 기설정된 임계 값보다 큰 경우, 프로세서(140)는 사용자의 자세가 확률이 "부정확한 런지"인 것으로 식별할 수 있다.
이 경우, 프로세서(140)는 사용자의 자세가 트레이닝 영상에 대응되는 자세와 매칭되지 않는 것으로 식별할 수 있다.
그리고, 프로세서(140)는 사용자의 자세와 트레이닝 영상에 대응되는 자세의 매칭 여부에 기초하여 트레이닝 가이드를 표시하도록 디스플레이(120)를 제어할 수 있다.
구체적으로, 프로세서(140)는 사용자의 자세가 트레이닝 영상에 대응되는 자세와 매칭되는 것으로 식별되면, 사용자의 자세가 트레이닝 영상에 대응되는 자세와 매칭됨을 나타내는 정보를 포함하는 트레이닝 가이드를 표시할 수 있다.
예를 들어, 도 5a와 같이, 프로세서(140)는 디스플레이(120)의 일 영역에 트레이닝 영상(510)을 표시하고, 디스플레이(120)의 다른 영역에 사용자가 촬영된 영상(520)을 표시할 수 있다.
이 경우, 프로세서(140)는 사용자의 자세가 트레이닝 영상에 대응되는 자세와 매칭되는 것으로 식별되면, "정확한 스쿼트 자세입니다"와 같은 텍스트를 포함하는 트레이닝 가이드(530)를 디스플레이(120)에 표시할 수 있다.
한편, 실시 예에 따라, 프로세서(140)는 사용자의 자세가 트레이닝 영상에 대응되는 자세와 매칭되는 정도를 나타내는 정확도에 대한 정보를 디스플레이(120)에 표시할 수도 있다.
이 경우, 정확도는 사용자의 자세가 특정한 자세에 해당할 확률에 기초하여 결정될 수 있다.
예를 들어, 도 5b와 같이, 프로세서(140)는 "정확한 스쿼트 자세입니다", "정확도: 98점"과 같은 텍스트를 포함하는 트레이닝 가이드(540)를 디스플레이(120)에 표시할 수 있다.
한편, 프로세서(140)는 사용자의 자세가 트레이닝 영상에 대응되는 자세와 매칭되는 것으로 식별되면, 인공지능 모델(131)에서 출력되는 신체 부위에 대한 정보에 기초하여 운동 효과가 나타나는 신체 부위에 대한 정보를 표시하도록 디스플레이(120)를 제어할 수 있다.
즉, 인공지능 모델(131)에서는 식별된 사용자의 자세에 대해 운동 효과가 있는 신체 부위에 대한 정보가 출력될 수 있으며, 이 경우, 프로세서(140)는 인공지능 모델(131)에서 출력된 정보에 기초하여 운동 효과가 나타나는 신체 부위에 대한 정보를 디스플레이(120)에 표시할 수 있다.
예를 들어, 사용자의 자세가 "스쿼트" 자세인 것으로 식별되면, 인공지능 모델(131)은 "스쿼트" 자세에 의해 운동 효과가 나타내는 신체 부위에 대한 정보로서 "다리, 엉덩이 및 허벅지 안쪽"을 출력할 수 있다.
이에 따라, 도 6a와 같이, 프로세서(140)는 사용자의 자세가 "스쿼트" 자세인 것으로 식별되면, "다리, 엉덩이 및 허벅지 안쪽에 효과가 있습니다"와 같은 텍스트를 포함하는 트레이닝 가이드(610)를 디스플레이(120)에 표시할 수 있다.
다른 예로, 프로세서(140)는 운동에 효과가 있는 부위를 하이라이트시켜 디스플레이(120)에 표시할 수 있다.
예를 들어, 도 6b와 같이, 프로세서(140)는 촬영된 영상에 포함된 사용자의 다리, 엉덩이 및 허벅지 안쪽 부분을 하이라이트하여(620), 해당 신체 부위가 운동에 효과가 있는 부위임을 나타낼 수도 있다.
한편, 프로세서(140)는 사용자의 자세가 트레이닝 영상에 대응되는 자세와 매칭되지 않는 것으로 식별되면, 사용자의 자세가 트레이닝 영상에 대응되는 자세와 매칭되지 않음을 나타내는 정보를 포함하는 트레이닝 가이드를 표시할 수 있다.
예를 들어, 도 7과 같이, 프로세서(140)는 디스플레이(120)의 일 영역에 트레이닝 영상(710)을 표시하고, 디스플레이(120)의 다른 영역에 사용자가 촬영된 영상(720)을 표시할 수 있다.
이 경우, 프로세서(140)는 사용자의 자세가 트레이닝 영상에 대응되는 자세와 매칭되지 않는 것으로 식별되면, "부정확한 런지 자세입니다"와 같은 텍스트를 포함하는 트레이닝 가이드(730)를 디스플레이(120)에 표시할 수 있다.
한편, 프로세서(140)는 사용자의 자세가 트레이닝 영상에 대응되는 자세와 매칭되지 않는 것으로 식별되면, 인공지능 모델(131)에서 출력되는 신체 부위에 대한 정보에 기초하여 부정적인 운동 효과가 나타나는 신체 부위에 대한 정보를 표시하도록 디스플레이(120)를 제어할 수 있다.
즉, 인공지능 모델(131)에서는 식별된 사용자의 부정확한 자세에 대해 부정적인 운동 효과가 있는 신체 부위에 대한 정보가 출력될 수 있으며, 이 경우, 프로세서(140)는 인공지능 모델(131)에서 출력된 정보에 기초하여 안 좋은 영향을 받는 신체 부위에 대한 정보를 디스플레이(120)에 표시할 수 있다.
예를 들어, 사용자의 자세가 "부정확한 런지" 자세인 것으로 식별되면, 인공지능 모델(131)은 "부정확한 런지"자세에 의해 부정적인 운동 효과가 나타내는 신체 부위에 대한 정보로서 "허리"를 출력할 수 있다.
이에 따라, 도 8a와 같이, 프로세서(140)는 사용자의 자세가 "부정확한 런지" 자세인 것으로 식별되면, "허리에 무리가 되는 자세입니다"와 같은 텍스트를 포함하는 트레이닝 가이드(810)를 디스플레이(120)에 표시할 수 있다.
다른 예로, 프로세서(140)는 운동에 부정적인 효과가 있는 부위를 하이라이트시켜 디스플레이(120)에 표시할 수 있다.
예를 들어, 도 8b와 같이, 프로세서(140)는 촬영된 영상에 포함된 사용자의 허리 부분을 하이라이트하여(820), 해당 신체 부위에 안 좋은 영향을 받을 수 있는 부위임을 나타낼 수도 있다.
이와 같이, 본 개시의 다양한 실시 예에 따르면, 디스플레이 장치(100)는 사용자의 자세를 식별하고, 사용자의 자세가 트레이닝 영상에 포함된 트레이너의 자세와 매칭되는지에 따라 트레이닝 가이드를 제공할 수 있다.
도 9는 본 개시의 일 실시 예에 따른 디스플레이 장치의 세부 구성을 설명하기 위한 흐름도이다.
도 9를 참조하면, 디스플레이 장치(100)는 카메라(110), 디스플레이(120), 메모리(130), 프로세서(140), 통신부(150), 스피커(160) 및 사용자 입력부(170)를 포함할 수 있다. 여기에서, 이들 구성요소는 프로세서(140)에 의해 제어될 수 있다.
한편, 도 9에 도시된 구성요소는 일 예일 뿐이고, 실시 예에 따라 적어도 일부 구성요소가 생략되거나, 다른 구성요소가 추가될 수 있음은 물론이다.
또한, 카메라(110), 디스플레이(120), 메모리(130) 및 프로세서(140)는 도 1 내지 도 8에서 설명한 바 있다는 점에서, 중복되는 부분에 대한 구체적인 설명은 생략하도록 한다.
통신부(150)는 외부 기기와 통신을 수행하기 위한 구성이다. 구체적으로, 통신부(150)는 네트워크를 통해 서버(미도시) 등과 통신을 수행할 수 있다.
이를 위해, 통신부(150)는 네트워크 카드 등과 같이, 네트워크에 접속하기 위한 다양한 모듈을 포함할 수 있다.
다른 예로, 통신부(150)는 와이파이 통신을 수행하기 위한 와이파이 통신 모듈을 이용하여 네트워크에 접속할 수 있고, 이동통신을 수행하기 위한 이동통신 모듈을 이용하여 3G(Generation), LTE(Long Term Evolution), 5G 등과 같은 다양한 이동통신 방식을 통해 네트워크에 접속할 수도 있다.
이 경우, 프로세서(140)는 통신부(150)를 통해 다양한 어플리케이션을 제공하는 서버(미도시)에 접속하여, 어플리케이션을 다운로드받을 수 있다. 일 예로, 프로세서(140)는 통신부(150)를 통해 서버(미도시)에 접속하여, 트레이닝 어플리케이션을 다운로드받을 수 있다.
또한, 프로세서(140)는 통신부(150)를 통해 서버(미도시)에 접속하여, 인공지능 모델(131)을 다운로드받을 수도 있다.
스피커(160)는 다양한 사운드를 출력할 수 있다. 예를 들어, 스피커(160)는 트레이닝 영상에 대응되는 오디오를 출력할 수 있다.
사용자 입력부(170)는 다양한 사용자 명령을 입력받기 위한 구성요소이다. 예를 들어, 사용자 입력부(170)는 터치 패널 등을 포함할 수 있으며, 또한, 디스플레이 장치(100)를 제어하기 위한 리모컨 등으로부터 사용자 명령을 수신할 수도 있다.
이 경우, 프로세서(140)는 사용자 명령에 따라 각종 기능을 실행하도록 다른 구성요소를 제어할 수 있다.
예를 들어, 프로세서(140)는 트레이닝 어플리케이션을 실행하기 위한 사용자 명령이 입력되면, 메모리(130)에 저장된 트레이닝 어플리케이션을 실행할 수 있다.
그리고, 프로세서(140)는 트레이닝 영상을 디스플레이(120)의 일 영역에 표시하고, 카메라(110)를 통해 촬영된 영상을 디스플레이(120)의 다른 영역에 표시할 수 있다. 이 경우, 프로레서(140)는 스피커(160)를 통해 트레이닝 영상에 대응되는 오디오를 출력할 수 있다.
이후, 프로세서(140)는 카메라(110)를 통해 촬영된 영상에 포함된 사용자의 자세를 식별하고, 사용자의 자세가 트레이닝 영상에 포함된 트레이너의 자세와 매칭되는지에 따라 트레이닝 가이드를 제공할 수 있다.
도 10은 본 개시의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 트레이닝 영상 및 카메라에 의해 촬영된 영상을 표시한다(S1010).
이후, 촬영된 영상에 포함된 사용자의 복수의 신체 부위에 대한 위치 데이터를 인공지능 모델에 입력하여 촬영된 영상에 포함된 사용자의 자세를 식별한다(S1020).
여기에서, 인공지능 모델은 이미지들에 포함된 사용자의 복수의 신체 부위에 대한 위치 데이터 및 위치 데이터에 기초하여 획득된 추가 위치 데이터에 기초하여 사용자의 자세를 식별하도록 훈련된 모델일 수 있다. 이 경우, 추가 위치 데이터는 위치 데이터를 회전시켜 획득될 수 있다.
그리고, 사용자의 자세와 트레이닝 영상에 대응되는 자세의 매칭 여부에 기초하여 트레이닝 가이드를 표시한다(S1030).
한편, S1030 단계는 사용자의 자세가 트레이닝 영상에 대응되는 자세와 매칭되는 것으로 식별되면, 사용자의 자세가 트레이닝 영상에 대응되는 자세와 매칭됨을 나타내는 정보를 포함하는 트레이닝 가이드를 표시하고, 사용자의 자세가 트레이닝 영상에 대응되는 자세와 매칭되지 않는 것으로 식별되면, 사용자의 자세가 트레이닝 영상에 대응되는 자세와 매칭되지 않음을 나타내는 정보를 포함하는 트레이닝 가이드를 표시할 수 있다.
또한, 인공지능 모델은 이미지들에 포함된 제1 자세의 사용자의 복수의 신체 부위에 대한 위치 데이터 및 위치 데이터에 기초하여 획득된 추가 위치 데이터에 기초하여 사용자의 제1 자세를 식별하도록 훈련될 수 있다.
여기에서, 제1 자세는 트레이닝 영상에 대응되는 자세와 매칭되는 자세일 수 있다.
또한, 인공지능 모델은 제1 자세에 따라 운동 효과가 나타나는 신체 부위를 식별하도록 훈련되고, S1030 단계는 사용자의 자세가 트레이닝 영상에 대응되는 자세와 매칭되는 것으로 식별되면, 인공지능 모델에서 출력되는 신체 부위에 대한 정보에 기초하여 운동 효과가 나타나는 신체 부위에 대한 정보를 표시할 수 있다.
한편, 인공지능 모델은 이미지들에 포함된 제2 자세의 사용자의 복수의 신체 부위에 대한 위치 데이터 및 위치 데이터에 기초하여 획득된 추가 위치 데이터에 기초하여 사용자의 제2 자세를 식별하도록 훈련될 수 있다.
여기에서, 제2 자세는 트레이닝 영상에 대응되는 자세와 매칭되지 않는 자세일 수 있다.
또한, 인공지능 모델은 제2 자세에 따라 부정적인 운동 효과가 나타나는 신체 부위를 식별하도록 훈련되고, S1030 단계는 사용자의 자세가 트레이닝 영상에 대응되는 자세와 매칭되지 않는 것으로 식별되면, 인공지능 모델에서 출력되는 신체 부위에 대한 정보에 기초하여 부정적인 운동 효과가 나타나는 신체 부위에 대한 정보를 표시할 수 있다.
한편, 인공지능 모델을 이용하여 사용자의 자세를 식별하고, 그에 따라 가이드 정보를 제공하는 구체적인 방법은 설명한 바 있다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 기기를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 디스플레이 자치 110: 카메라
120 : 디스플레이 130 : 메모리
140 : 프로세서

Claims (14)

  1. 디스플레이 장치에 있어서,
    카메라;
    디스플레이;
    이미지들에 포함된 사용자의 복수의 신체 부위에 대한 위치 데이터 및 상기 위치 데이터에 기초하여 획득된 추가 위치 데이터에 기초하여 상기 사용자의 자세를 식별하도록 훈련된 인공지능 모델이 저장된 메모리; 및
    트레이닝 영상 및 상기 카메라에 의해 촬영된 영상을 표시하도록 상기 디스플레이를 제어하고,
    상기 촬영된 영상에 포함된 사용자의 복수의 신체 부위에 대한 위치 데이터를 상기 인공지능 모델에 입력하여, 상기 촬영된 영상에 포함된 사용자의 자세를 식별하고,
    상기 사용자의 자세와 상기 트레이닝 영상에 대응되는 자세의 매칭 여부에 기초하여 트레이닝 가이드를 표시하도록 상기 디스플레이를 제어하는 프로세서;를 포함하는 디스플레이 장치.
  2. 제1항에 있어서,
    상기 추가 위치 데이터는, 상기 위치 데이터를 회전시켜 획득되는 디스플레이 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 사용자의 자세가 상기 트레이닝 영상에 대응되는 자세와 매칭되는 것으로 식별되면, 상기 사용자의 자세가 상기 트레이닝 영상에 대응되는 자세와 매칭됨을 나타내는 정보를 포함하는 상기 트레이닝 가이드를 표시하고,
    상기 사용자의 자세가 상기 트레이닝 영상에 대응되는 자세와 매칭되지 않는 것으로 식별되면, 상기 사용자의 자세가 상기 트레이닝 영상에 대응되는 자세와 매칭되지 않음을 나타내는 정보를 포함하는 상기 트레이닝 가이드를 표시하는 디스플레이 장치.
  4. 제1항에 있어서,
    상기 인공지능 모델은,
    이미지들에 포함된 제1 자세의 사용자의 복수의 신체 부위에 대한 위치 데이터 및 상기 위치 데이터에 기초하여 획득된 추가 위치 데이터에 기초하여 상기 사용자의 제1 자세를 식별하도록 훈련되고,
    상기 제1 자세는, 상기 트레이닝 영상에 대응되는 자세와 매칭되는 자세인 디스플레이 장치.
  5. 제4항에 있어서,
    상기 인공지능 모델은,
    상기 제1 자세에 따라 운동 효과가 나타나는 신체 부위를 식별하도록 훈련되고,
    상기 프로세서는,
    상기 사용자의 자세가 상기 트레이닝 영상에 대응되는 자세와 매칭되는 것으로 식별되면, 상기 인공지능 모델에서 출력되는 신체 부위에 대한 정보에 기초하여 상기 운동 효과가 나타나는 신체 부위에 대한 정보를 표시하도록 상기 디스플레이를 제어하는 디스플레이 장치.
  6. 제1항에 있어서,
    상기 인공지능 모델은,
    이미지들에 포함된 제2 자세의 사용자의 복수의 신체 부위에 대한 위치 데이터 및 상기 위치 데이터에 기초하여 획득된 추가 위치 데이터에 기초하여 상기 사용자의 제2 자세를 식별하도록 훈련되고,
    상기 제2 자세는, 상기 트레이닝 영상에 대응되는 자세와 매칭되지 않는 자세인 디스플레이 장치.
  7. 제6항에 있어서,
    상기 인공지능 모델은,
    상기 제2 자세에 따라 부정적인 운동 효과가 나타나는 신체 부위를 식별하도록 훈련되고,
    상기 프로세서는,
    상기 사용자의 자세가 상기 트레이닝 영상에 대응되는 자세와 매칭되지 않는 것으로 식별되면, 상기 인공지능 모델에서 출력되는 신체 부위에 대한 정보에 기초하여 상기 부정적인 운동 효과가 나타나는 신체 부위에 대한 정보를 표시하도록 상기 디스플레이를 제어하는 디스플레이 장치.
  8. 디스플레이 장치의 제어 방법에 있어서,
    트레이닝 영상 및 카메라에 의해 촬영된 영상을 표시하는 단계;
    상기 촬영된 영상에 포함된 사용자의 복수의 신체 부위에 대한 위치 데이터를 인공지능 모델에 입력하여 상기 촬영된 영상에 포함된 사용자의 자세를 식별하는 단계; 및
    상기 사용자의 자세와 상기 트레이닝 영상에 대응되는 자세의 매칭 여부에 기초하여 트레이닝 가이드를 표시하는 단계;를 포함하며,
    상기 인공지능 모델은,
    이미지들에 포함된 사용자의 복수의 신체 부위에 대한 위치 데이터 및 상기 위치 데이터에 기초하여 획득된 추가 위치 데이터에 기초하여 사용자의 자세를 식별하도록 훈련된 모델인 제어 방법.
  9. 제8항에 있어서,
    상기 추가 위치 데이터는, 상기 위치 데이터를 회전시켜 획득되는 제어 방법.
  10. 제8항에 있어서,
    상기 표시하는 단계는,
    상기 사용자의 자세가 상기 트레이닝 영상에 대응되는 자세와 매칭되는 것으로 식별되면, 상기 사용자의 자세가 상기 트레이닝 영상에 대응되는 자세와 매칭됨을 나타내는 정보를 포함하는 상기 트레이닝 가이드를 표시하고,
    상기 사용자의 자세가 상기 트레이닝 영상에 대응되는 자세와 매칭되지 않는 것으로 식별되면, 상기 사용자의 자세가 상기 트레이닝 영상에 대응되는 자세와 매칭되지 않음을 나타내는 정보를 포함하는 상기 트레이닝 가이드를 표시하는 제어 방법.
  11. 제8항에 있어서,
    상기 인공지능 모델은,
    이미지들에 포함된 제1 자세의 사용자의 복수의 신체 부위에 대한 위치 데이터 및 상기 위치 데이터에 기초하여 획득된 추가 위치 데이터에 기초하여 상기 사용자의 제1 자세를 식별하도록 훈련되고,
    상기 제1 자세는, 상기 트레이닝 영상에 대응되는 자세와 매칭되는 자세인 제어 방법.
  12. 제11항에 있어서,
    상기 인공지능 모델은,
    상기 제1 자세에 따라 운동 효과가 나타나는 신체 부위를 식별하도록 훈련되고,
    상기 표시하는 단계는,
    상기 사용자의 자세가 상기 트레이닝 영상에 대응되는 자세와 매칭되는 것으로 식별되면, 상기 인공지능 모델에서 출력되는 신체 부위에 대한 정보에 기초하여 상기 운동 효과가 나타나는 신체 부위에 대한 정보를 표시하는 디스플레이 장치.
  13. 제8항에 있어서,
    상기 인공지능 모델은,
    이미지들에 포함된 제2 자세의 사용자의 복수의 신체 부위에 대한 위치 데이터 및 상기 위치 데이터에 기초하여 획득된 추가 위치 데이터에 기초하여 상기 사용자의 제2 자세를 식별하도록 훈련되고,
    상기 제2 자세는, 상기 트레이닝 영상에 대응되는 자세와 매칭되지 않는 자세인 제어 방법.
  14. 제13항에 있어서,
    상기 인공지능 모델은,
    상기 제2 자세에 따라 부정적인 운동 효과가 나타나는 신체 부위를 식별하도록 훈련되고,
    상기 표시하는 단계는,
    상기 사용자의 자세가 상기 트레이닝 영상에 대응되는 자세와 매칭되지 않는 것으로 식별되면, 상기 인공지능 모델에서 출력되는 신체 부위에 대한 정보에 기초하여 상기 부정적인 운동 효과가 나타나는 신체 부위에 대한 정보를 표시하는 제어 방법.
KR1020200122526A 2020-09-22 2020-09-22 디스플레이 장치 및 그의 제어 방법 KR20220039440A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200122526A KR20220039440A (ko) 2020-09-22 2020-09-22 디스플레이 장치 및 그의 제어 방법
US17/469,556 US20220092300A1 (en) 2020-09-22 2021-09-08 Display apparatus and method for controlling thereof
PCT/KR2021/012286 WO2022065763A1 (en) 2020-09-22 2021-09-09 Display apparatus and method for controlling thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200122526A KR20220039440A (ko) 2020-09-22 2020-09-22 디스플레이 장치 및 그의 제어 방법

Publications (1)

Publication Number Publication Date
KR20220039440A true KR20220039440A (ko) 2022-03-29

Family

ID=80740501

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200122526A KR20220039440A (ko) 2020-09-22 2020-09-22 디스플레이 장치 및 그의 제어 방법

Country Status (3)

Country Link
US (1) US20220092300A1 (ko)
KR (1) KR20220039440A (ko)
WO (1) WO2022065763A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023219393A1 (ko) * 2022-05-10 2023-11-16 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2024058364A1 (ko) * 2022-09-15 2024-03-21 삼성전자주식회사 사용자에게 최적화된 자세로 화면을 제공하기 위한 전자 장치 및 그 제어 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101918813B1 (ko) * 2016-07-05 2019-02-08 주식회사 엘지유플러스 착석 자세 정보 제공을 위한 방법
US11544871B2 (en) * 2017-12-13 2023-01-03 Google Llc Hand skeleton learning, lifting, and denoising from 2D images
KR102000763B1 (ko) * 2018-02-07 2019-07-16 주식회사 인프라웨어테크놀러지 퍼스널 트레이닝 서비스를 제공하는 스마트 미러 장치
KR20200056233A (ko) * 2018-11-14 2020-05-22 주식회사 퓨전소프트 단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템
KR102120828B1 (ko) * 2019-05-01 2020-06-09 이영규 인공 지능을 이용한 가상현실 기반의 헬스 모니터링 장치 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023219393A1 (ko) * 2022-05-10 2023-11-16 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2024058364A1 (ko) * 2022-09-15 2024-03-21 삼성전자주식회사 사용자에게 최적화된 자세로 화면을 제공하기 위한 전자 장치 및 그 제어 방법

Also Published As

Publication number Publication date
US20220092300A1 (en) 2022-03-24
WO2022065763A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
KR102141288B1 (ko) 홈 트레이닝 제공 방법 및 시스템
WO2018228218A1 (zh) 身份识别方法、计算设备及存储介质
Mulfari et al. Using Google Cloud Vision in assistive technology scenarios
KR102341985B1 (ko) 운동 보조 장치 및 운동 보조 방법
US11853895B2 (en) Mirror loss neural networks
KR20220028654A (ko) 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 장치 및 방법
JP2020518051A (ja) 顔姿勢検出方法、装置及び記憶媒体
KR20220039440A (ko) 디스플레이 장치 및 그의 제어 방법
EP4053736B1 (en) System and method for matching a test frame sequence with a reference frame sequence
KR20220062197A (ko) 인지 기능 평가 시스템 및 인지 기능 평가 방법
US20190102951A1 (en) Sensor-based object tracking and monitoring
TWI670628B (zh) 動作評量模型生成裝置及其動作評量模型生成方法
KR102358331B1 (ko) 동작에 따른 작용 근육 정보를 이용한 운동 자세 교정 보조 방법 및 장치
CN113033526A (zh) 基于计算机实现的方法、电子设备和计算机程序产品
CN105468249B (zh) 智能互动系统及其控制方法
WO2021047376A1 (zh) 数据处理方法、数据处理装置及相关设备
CN110910478B (zh) Gif图生成方法、装置、电子设备及存储介质
CN116705236A (zh) 一种用于患者康复方案生成的方法、系统及设备
WO2020153038A1 (ja) 情報処理装置、および情報処理方法
US20200111376A1 (en) Augmented reality training devices and methods
US11992745B2 (en) Method and system for assessing and improving wellness of person using body gestures
KR102363435B1 (ko) 골프 스윙 동작 피드백 제공 장치 및 방법
Gandhi et al. A CMUcam5 computer vision based arduino wearable navigation system for the visually impaired
KR20230087352A (ko) 운동 상태 감지 장치 및 방법
CN105518581A (zh) 用于手势辨识的平移和尺度不变特征