KR102355008B1 - 동작 인식 기반 상호작용 방법 및 기록 매체 - Google Patents

동작 인식 기반 상호작용 방법 및 기록 매체 Download PDF

Info

Publication number
KR102355008B1
KR102355008B1 KR1020210143773A KR20210143773A KR102355008B1 KR 102355008 B1 KR102355008 B1 KR 102355008B1 KR 1020210143773 A KR1020210143773 A KR 1020210143773A KR 20210143773 A KR20210143773 A KR 20210143773A KR 102355008 B1 KR102355008 B1 KR 102355008B1
Authority
KR
South Korea
Prior art keywords
motion
user
image
user terminal
exercise
Prior art date
Application number
KR1020210143773A
Other languages
English (en)
Inventor
이상수
Original Assignee
아이픽셀 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아이픽셀 주식회사 filed Critical 아이픽셀 주식회사
Priority to KR1020210143773A priority Critical patent/KR102355008B1/ko
Priority to PCT/KR2021/016117 priority patent/WO2023074980A1/ko
Application granted granted Critical
Publication of KR102355008B1 publication Critical patent/KR102355008B1/ko
Priority to US18/354,783 priority patent/US11954869B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. short messaging services [SMS] or e-mails
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명에 일 실시예에 의한 동작 인식 기반 상호작용 방법은, 동작 인식 기반 상호작용 방법에 있어서, 레퍼런스가 되는 제1동작 영상을 사용자 단말로 제공하는 단계, 상기 사용자 단말에서 사용자의 동작에 대한 제2동작 영상을 획득하는 단계, 상기 제1동작 영상으로부터 레퍼런스 움직임을 추출하고 상기 제2동작 영상으로부터 사용자 움직임을 추출하며, 상기 레퍼런스 움직임과 상기 사용자 움직임을 비교하여 상기 사용자의 운동상태를 평가하는 단계 및 상기 운동상태 평가에 기초하여 상기 사용자에게 피드백을 제공하고, 상기 피드백은 시각적 피드백을 포함하는 단계를 포함한다.

Description

동작 인식 기반 상호작용 방법 및 기록 매체 {METHOD OF PROVIDING PERSONAL TRAINING SERVICE AND RECORDING MEDIUM THEREOF}
본 발명은 동작 인식 기반 상호작용 방법 및 기록 매체에 관한 것이다.
현재 온라인을 통해 이루어지는 홈 트레이닝 서비스는 방송과 같이 일방적이고 단방향적으로 이루어지고 있다. 예를 들어, 버피 테스트와 같은 경우, 시연자의 동작을 먼저 보여주고 주어진 시간 동안 사용자가 동작을 따라 하기를 기다린다. 주어진 시간이 모두 경과하면, 운동은 완료된 것으로 간주되어 다음 동작이 진행되게 된다.
이와 같이, 일반적으로 시연자의 강의 동영상을 인터넷을 통해 시청하면서 시연자의 동작을 따라하게 되는데, 수강생이 실제로 동작을 정확하게 따라하는지와 목표 운동량을 실제로 수행하는지 여부를 객관적으로 파악할 방법이 없다.
이러한 문제점을 해결하기 위하여, 사용자의 웹 캠이나 스마트폰을 통해 촬영한 사용자의 트레이닝 영상을 시연자가 확인할 수 있는 기능을 추가할 수 있다. 그러나, 이 경우 개인의 프라이버시 침해 문제가 발생할 수 있고, 다수의 사용자를 한 사람의 시연자가 동시에 효율적으로 모니터링 하고 실시간 피드백을 제공하는 데에는 한계가 존재한다.
따라서, 홈 트레이닝의 장점을 살리면서 온라인 상으로 홈 트레이닝을 받는 사용자의 트레이닝 상황을 정확하게 수치화하여 개인의 운동량에 따라 강약을 조정하거나 운동 계획을 설계할 수 있는 서비스가 필요하다.
본 발명은 동작 인식 기반 상호작용 방법 및 기록 매체를 제공하는 것을 목적으로 한다.
또한, 본 발명은 운동상태 평가에 기초하여 사용자에게 시각적 피드백을 제공하여, 사용자가 자신의 운동 상태를 실시간으로 파악하고 또한 동작 인식을 통한 메시지를 전달할 수 있는 방법 및 기록 매체를 제공하는 것을 목적으로 한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재에 의해 제안되는 실시 예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 일 실시 예에 의한 동작 인식 기반 상호작용 방법에 있어서, 레퍼런스가 되는 제1동작 영상을 사용자 단말로 제공하는 단계; 상기 사용자 단말에서 사용자의 동작에 대한 제2동작 영상을 획득하는 단계, 상기 제1동작 영상으로부터 레퍼런스 움직임을 추출하고 상기 제2동작 영상으로부터 사용자 움직임을 추출하며, 상기 레퍼런스 움직임과 상기 사용자 움직임을 비교하여 상기 사용자의 운동상태를 평가하는 단계 및 상기 운동상태 평가에 기초하여 상기 사용자에게 피드백을 제공하고, 상기 피드백은 시각적 피드백을 포함하는 단계를 포함한다.
상기 제1동작 영상을 사용자 단말로 제공하는 단계는,
복수의 사용자를 적어도 하나 이상의 그룹으로 묶어 영상을 제공하고, 사용자 단말에서 수신하는 영상 수신 딜레이 정보를 수신하여 영상 싱크를 실시간으로 동일화하는 단계일 수 있다.
상기 제1동작 영상을 사용자 단말로 제공하는 단계는,
기저장된 저장 영상을 제공하거나 실시간 스트리밍 영상을 제공하는 단계일 수 있다.
상기 레퍼런스 움직임 주체와 상기 사용자 움직임 주체의 신체적 크기 차이로 인한 오차를 보정할 수 있도록, 상기 레퍼런스 움직임 주체의 상대좌표와 상기 사용자 움직임 주체의 상대좌표를 비교하여 상기 레퍼런스 움직임 주체의 움직임 벡터를 보정하고, 보정된 레퍼런스 움직임 주체 벡터를 상기 사용자 움직임 주체의 움직임 벡터와 비교하여 동작 정확도를 파악 할 수 있다.
상기 운동상태를 평가하는 단계는 딥러닝 학습에 의해 수행될 수 있다.
상기 딥러닝 학습은 포즈 추정 기술에 의해 수행되고,
상기 레퍼런스 움직임과 상기 사용자 움직임 각각은, 상기 레퍼런스 움직임 주체 또는 상기 사용자 움직임 주체 각각의 특정 신체 기준점과 개별적인 골격 간의 상대 좌표 및 상대 좌표에 대한 골격의 움직임에 대응하여 산출될 수 있다.
상기 사용자의 운동상태는,
상기 레퍼런스 움직임과 상기 상기 사용자 움직임이 일치하는 정도를 나타내는 동작 정확도에 대한 것일 수 있다.
상기 동작 정확도가 임계 범위를 벗어나는 경우, 상기 임계 범위를 벗어나는 동작이 수행되는 골격 및 관절에 대한 정보를 제공할 수 있다.
상기 운동상태를 평가하는 단계는, 상기 동작 정확도를 기반으로 유사도를 정량화하여 점수를 부여하거나, 예상 소모 칼로리에 기반하여 점수를 부여하는 단계일 수 있다.
상기 예상 소모 칼로리는 상기 사용자에 대해 수집한 몸무게 정보, 운동 시간 및 동작 정확도 기반 유사도 정보를 바탕으로 추정될 수 있다.
상기 사용자 단말에서 상기 동작 인식 기반 상호작용 서비스를 제공하기 위한 어플리케이션이 실행되면, 상기 사용자 단말은 상기 어플리케이션의 제어 방법을 동작 인식 기반으로 전환할 수 있다.
사용자의 특정 동작이 인식되는 경우 기설정된 메시지 정보를 송신할 수 있다.
사용자의 특정 동작이 인식되는 경우 어플리케이션의 실행을 종료할 수 있다.
상기 사용자에게 피드백을 제공하는 단계는,
실시간으로 획득한 제2 동작 영상을 바탕으로 실시간 피드백 정보를 생성하여 상기 사용자 단말에 전송하는 단계일 수 있다.
상기 사용자에게 피드백을 제공하는 단계는,
정량화된 사용자 운동평가 결과를 기반으로 사용자와 동적으로 상호작용하는 시각적 효과를 제공하는 단계일 수 있다.
상기 레퍼런스 움직임과 상기 사용자 움직임을 비교하여 상기 사용자의 운동상태를 평가하는 단계는 레퍼런스 동작을 기준으로 주요 관절별로 사용자 운동상태의 유사도에 따라 정량화된 점수를 부여하고,
상기 동적으로 상호작용하는 시각적 효과를 제공하는 단계는,
상기 제2 동작 영상의 사용자 움직임을 실시간으로 추적하며 상기 주요 관절별 점수에 따라 운동 상태를 지시할 수 있는 시각적 효과를 제공하는 단계일 수 있다.
기록 매체는 전술한 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능할 수 있다.
본 발명에 따른 실시예들에 의하면, 운동상태 평가에 기초하여 사용자에게 시각적 피드백을 제공하여, 사용자가 자신의 운동 상태를 실시간으로 파악하고 또한 동작 인식을 통한 메시지를 전달할 수 있는 방법 및 기록 매체를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 의한 동작 인식 기반 상호작용 시스템의 기본 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 의한 동작 인식 기반 상호작용 시스템의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 의한 동작 인식 기반 상호작용 서비스 제공 시 표시되는 사용자 영상 및 시연자 영상의 일 예이다.
도 4는 본 발명의 다른 실시예에 의한 동작 인식 기반 상호작용 서비스 제공 과정을 도시한 도면이다.
도 5는 본 발명의 일 실시예에 의한 동작 인식 기반 상호작용 서비스 제공 시 표시되는 사용자 영상의 일 예이다.
도 6는 본 발명의 다른 실시예에 의한 동작 인식 기반 상호작용 서비스 제공 과정을 도시한 도면이다.
도 7는 본 발명의 또 다른 실시 예에 의한 동작 인식 기반 상호작용 시스템의 구성을 도시한 블록도이다.
도 8은 본 발명의 또 다른 실시 예에 의한 동작 인식 기반 상호작용 서비스 제공 과정을 도시한 도면이다.
이하에서는 본 발명의 구체적인 실시예를 도면을 참조하여 상세히 설명한다. 그러나 본 발명의 기술적 사상이 이하에서 기술되는 실시예들에 의하여 제한되는 것은 아니며, 또 다른 구성요소의 추가, 변경 및 삭제 등에 의해서 퇴보적인 다른 발명이나 본 발명의 기술적 사상의 범위 내에 포함되는 다른 실시예들을 용이하게 제안할 수 있다.
본 발명에서 사용되는 용어는 가능한 한 현재 해당 기술과 관련하여 널리 사용되는 일반적인 용어를 선택하였으나, 특별한 경우에는 출원인이 임의로 선정한 용어도 있으며 이 경우 해당되는 발명의 설명 부분에서 그 의미를 상세히 기재하였다. 그러므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 미리 밝혀둔다. 이하에서 기술하는 설명에 있어서, 단어 '포함하는'은 열거된 것과 다른 구성요소들 또는 단계들의 존재를 배제하지 않는다.
도 1은 본 발명의 일 실시 예에 의한 동작 인식 기반 상호작용 시스템의 기본 구성을 도시한 도면이다.
본 발명의 일 실시 예에 의한 동작 인식 기반 상호작용 시스템은 딥 러닝 학습을 이용하여 개인 수강생에 해당하는 사용자와 시연자 간의 개별 동작 학습을 제공할 수 있다.
개별 동작 학습은 1:1 맞춤형 방식으로 제공될 수 있다. 구체적으로, 개별 동작 학습은 사용자와 사용자가 선택한 특정 시연자가 매칭되어 수행될 수 있다. 실시 예에 따라, 개별 동작 학습은 사용자와 복수의 시연자가 매칭되어 1:N 맞춤형 방식으로 수행될 수도 있다.
개별 동작 학습은 사용자 단말에서 실행 가능한 어플리케이션(이하, 앱 이라고도 함) 혹은 웹 기반의 서비스를 통해 제공될 수 있다. 이에 의해, 사용자는 헬스장이 아닌 원격지(ex: 집, 회사 등)에서도 시연자에 의한 맞춤형 피트니스를 수행할 수 있다. 본 명세서에 있어서 맞춤형 피트니스는 헬스 등 퍼스널 트레이닝 뿐 아니라, 골프, 춤, 체조 등 다양한 동작의 운동 및 동작의 예시를 포함할 수 있으며 한정되지 않는다.
일 실시예에 의하면, 딥 러닝 학습 모델은 포즈 추정(Pose Estimation)일 수 있다. 포즈 추정은 오픈 소스로서, 딥 러닝을 이용하여 사람의 동작 또는 자세를 인식하는 이미지 처리 기술일 수 있다. 사용자 단말(100) 및/또는 서버(200) 에는 포즈 추정 학습 모델이 라이브러리 형태로 탑재되어, 사람의 영상으로부터 관절 부위(key point)를 찾아내고, 인체의 뼈대 및 관절 움직임을 디지털 데이터로 추출할 수 있다. 이 경우, 포즈 추정 학습 모델은 추출된 디지털 데이터로부터 사람의 동작(ex: 푸시업, 스쿼트 등)을 판단할 수 있다.
실시 예에 따라, 포즈 추정 외의 알고리즘이나 인공지능을 이용하여 사용자의 동작 또는 자세를 인식할 수도 있다.
본 실시 예에 의한 동작 인식 기반 상호작용 시스템은, 사용자 단말(100), 서버(200) 및 시연자 단말(300)을 포함하여 구성될 수 있다.
사용자 단말(100)은 사용자에 대한 실시간 영상을 획득할 수 있다. 예를 들어, 사용자가 소지한 스마트폰이나 사용자 측에 구비된 PC는 내장된 카메라를 통해 사용자의 동작에 대한 영상을 획득할 수 있다. 이 경우, 사용자의 전체 동작이 카메라의 시야각에 들어오도록, 사용자 단말(100)은 사용자와 소정 거리를 유지한 상태에서 사용자에 대한 영상을 촬영할 수 있다.
이와 같이, 사용자 단말(100)과 사용자 간의 거리가 확보되어야 하는 서비스 특성상, 서비스를 제공받는 경우 터치 방식에 의해 사용자 단말(100)을 제어하는 방식은 불편함을 초래한다. 이러한 문제점을 해결하기 위하여, 사용자 단말(100)은 사용자의 동작 인식 명령에 의해 원거리(ex: 3m 이내)에서 제어될 수 있다.
사용자 단말(100)은 확장 뷰 모드로 동작할 수 있다. 이 경우, 사용자 단말(100)은 해당 사용자 단말(100)에 표시되는 영상을 주위의 대형 디스플레이 기기(ex: 스마트 TV, 태블릿 PC, PC 모니터 등)에 전송하거나 대형 디스플레이 기기와 미러링을 수행할 수 있다. 이 경우, 대형 디스플레이 기기는 사용자 단말(100)에 표시되는 영상을 대형 화면에 표시하는 확장 뷰어로서 동작할 수 있다. 도 1을 참조하면, 사용자 단말(100)에 표시되는 영상은 대형 화면을 가진 스마트 TV(10)나 태블릿 PC(20)에 표시된다.
서버(200)는 동작 인식 기반 상호작용 서비스의 제공을 위한 프로세스를 처리하는 백엔드(back-end) 기능을 수행할 수 있다. 이를 위해, 서버(200)는 스트리밍 서버(200-1), 데이터베이스 서버(200-2), 커뮤니티 서버(200-3) 등을 포함할 수 있다. 스트리밍 서버(200-1)는 동영상 강의 및 트레이닝 서비스 제공, 웹 서비스 기반의 멤버관리를 수행할 수 있다. 데이터베이스 서버(200-2)는 데이터 생성 및 저장, 통계 산출 등을 수행할 수 있다. 또한, 데이터베이스 서버(200-2)는 고객의 생체 데이터베이스 관리 및 보안을 수행하는 암호화 시스템의 기능을 수행할 수 있다. 커뮤니티 서버(200-3)는 시연자와 사용자의 커뮤니케이션을 위한 인터넷 방송 지원 및 채팅을 지원할 수 있다.
또한, 서버(200)는 관리자용 툴을 실행하거나, 사용자 단말(100) 및 시연자 단말(300) 등에 관리자용 툴을 제공할 수 있다. 여기서, 관리자용 툴은 시연자의 강의 영상 편집 툴, 강의 영상으로부터 포즈 데이터를 추출하기 위한 툴, 사용자의 훈련 데이터 모니터링 및 통계 데이터 조회 툴 등을 포함할 수 있다.
시연자 단말(300)은 시연자의 제1 동작 영상을 제공할 수 있다. 실시 예에 따라, 제1 동작 영상은 실시간으로 제공되거나 미리 제작된 형태로 제공될 수 있다.
제1 동작 영상은 시연자 단말(300)에 연결된 웹 캠(30)이나 내장된 카메라에 의해 촬영된 후, 사용자 단말(100)이나 서버(200)에 전송될 수 있다. 이 경우, 시연자의 전체 동작이 웹 캠(30)이나 카메라의 시야각에 들어오도록, 시연자는 시연자 단말(300)이나 웹 캠(30)과 소정 거리를 유지한 상태에서 제1 동작 영상을 촬영할 수 있다. 시연자의 제어 편의를 위해, 시연자 단말(300) 및 웹 캠(30)은 동작 인식 명령에 의해 원거리(ex: 3m 이내 등)에서도 제어될 수 있다.
한편, 사용자 단말(100)과 서버(200) 및 시연자 단말(300)은 각각 스마트폰, 태블릿 PC, 랩탑 PC, 데스크탑 PC, 스마트 TV 등으로 구현될 수 있다.
본 발명의 일 실시 예에 의한 동작 인식 기반 상호작용 시스템은 인터넷 강의와 같이 1:N의 다수를 대상으로 서비스를 제공하여 이러한 한계를 극복하고, 딥러닝 학습을 통해 사용자의 트레이닝 상황을 분석하여 피드백함으로써 일방적인 방송(broadcasting)과 달리 1:1의 맞춤형 개인 학습의 특징을 살릴 수 있다.
도 2는 본 발명의 일 실시 예에 의한 동작 인식 기반 상호작용 시스템의 구성을 도시한 블록도이다.
본 발명의 일 실시 예에 의한 동작 인식 기반 상호작용 시스템은, 딥러닝 학습을 통해 사람의 동작 및 자세를 인식하고, 이에 기초하여 온라인을 통해 개인 수강생과 시연자 간의 맞춤형 개인 학습을 제공할 수 있다.
이 경우, 동작 인식 기반 상호작용 시스템은 다양한 동작기반 운동에 대한 원격 개별 동작 학습을 지원할 수 있다. 여기서, 다양한 동작기반 운동은 태권도, 골프, 테니스, 탁구, 요가, 필라테스, 스쿼시, 야구 베팅 자세 및 다양한 스트레칭 동작 등을 포함할 수 있다.
구체적으로, 사용자 단말(100)은 개별 동작 학습을 제공하기 위한 어플리케이션을 실행하고, 사용자에 대한 제2 동작 영상과 시연자의 제1 동작 영상을 비교 및 분석하여, 사용자가 실질적으로 운동이나 특정 동작을 수행하는지 판단하고 동작 정확도 등을 확인할 수 있다.
이를 위해, 사용자 단말(100)은 영상 처리부(110), 디스플레이부(120), 딥러닝 학습부(130), 운동상태 판단부(140), 제1통신부(150), 동작 인식부(160) 및 피드백 제공부(170)를 포함하여 구성될 수 있다.
영상 처리부(110)는 사용자에 대한 영상을 실시간으로 획득할 수 있다. 구체적으로, 영상 처리부(110)는 사용자 단말(100)에 내장되거나 연결된 카메라 또는 웹 캠에 의해, 사용자의 동작에 대한 영상을 촬영 및 수집할 수 있다. 예를 들어, 사용자의 운동 동작을 촬영할 수 있다.
영상 처리부(110)는 시연자에 대한 영상을 수신할 수 있다. 구체적으로, 영상 처리부(110)는 제1통신부(150)를 통하여, 서버(200)에 저장된 시연자 강의 영상을 수신할 수 있다. 영상 처리부(110)가 수신하는 시연자의 동작에 대한 영상은 기저장된 저장 영상을 수신받거나 실시간 스트리밍 영상을 수신받을 수 있다.
영상 처리부(110)는 사용자의 동작에 대한 영상(제2 동작 영상) 및 시연자의 동작에 대한 영상(제1 동작 영상) 중 적어도 하나를 디스플레이부(120)에 표시할 수 있다. 일 실시 예에 의하면, 영상 처리부(110)는 사용자의 동작에 대한 영상과 시연자의 동작에 대한 영상을 하나의 화면에 동시에 표시할 수 있다. 이 경우, 사용자는 시연자의 동작에 대한 영상을 참조하여 시연자의 동작을 쉽게 따라하고, 자신의 동작과 시연자의 동작을 비교할 수 있다.
서버(200)는 복수의 사용자 단말(100)에 제1 동작 영상을 송신할 경우 복수의 사용자 단말(100)을 적어도 하나 이상의 그룹으로 묶어 영상을 제공할 수 있다. 이때 서버(200)는 각 사용자 단말(100)에서 수신하는 영상 수신 딜레이 정보를 수신하여 영상 싱크를 실시간으로 동일화 할 수 있다. 구체적으로는 각 사용자 단말(100)에서의 영상 수신 딜레이 정보를 수신한 뒤 가장 느린 사용자 단말(100) 기준으로 나머지 단말에 차이만큼의 딜레이를 인가하여 모든 사용자 단말(100)의 영상 싱크를 동일화 할 수 있다. 이 경우, 사용자 단말의 영상 처리부(110)는 제1 동작 영상 및 제2 동작 영상 뿐 아니라, 다른 사용자 단말의 영상을 실시간으로 대조하며 자신의 동작과 다른 사용자의 동작을 실시간으로 비교할 수 있다.
한편, 사용자 단말(100)이 휴대 가능한 장치로 구현되는 경우, 디스플레이부 (120)의 화면 크기가 작아 사용자는 시연자의 동작을 확인하기가 어렵다. 따라서, 소형 화면을 가지는 휴대 가능한 장치의 단점 및 한계를 극복하기 위하여, 사용자 단말(100)은 대형 화면을 가지는 외부 기기(ex: 스마트 TV 등)를 확장 뷰어로 사용할 수 있다. 이를 위해, 영상 처리부(110)는 웹 표준(HTML5) 기반의 웹 소켓 기술을 이용하여 외부 기기에 동영상을 스트리밍하여 플레이를 동기화하고, 영상의 동작을 제어(ex: 시작, 정지, 종료, 느리게, 빠르게 등)할 수 있다. 또는, 영상 처리부(110)는 대형 화면을 가지는 외부 기기가 없는 경우, 미러링 기술을 이용하여 사용자 단말(100)의 화면을 TV 또는 PC에 연결된 모니터에 전송할 수도 있다.
디스플레이부(120)는 사용자의 동작에 대한 영상 및 시연자의 동작에 대한 영상 중 적어도 하나를 표시할 수 있다.
딥러닝 학습부(130)는 딥러닝 학습을 통하여 사용자에 대한 영상으로부터 사용자 움직임, 동작 및 자세를 파악하고, 이에 대한 데이터를 추출할 수 있다. 또한, 시연자에 대한 영상으로부터 레퍼런스 움직임, 동작 및 자세를 파악하고, 이에 대한 데이터를 추출할 수 있다.
구체적으로, 딥러닝 학습부(130)는 빅데이터 기반 딥러닝, 머신 러닝 등의 인공지능을 통하여 사용자 및 시연자에 대한 영상으로부터 동작 이미지를 추출 및 처리하여, 사용자 및 레퍼런스 움직임을 수치화할 수 있다. 구체적으로 딥러닝 학습부(130)는 제1 동작 영상으로부터 레퍼런스 움직임(레퍼런스 움직임)을 추출하고, 제2 동작 영상으로부터 사용자 움직임을 추출할 수 있다.
일 실시 예에 의하면, 딥러닝 학습부(130)는 포즈 추정 기술을 사용하여 레퍼런스 움직임 벡터 및 사용자 움직임 벡터를 추출할 수 있다. 이 경우, 딥러닝 학습부(130)는 사용자 및 시연자의 특정 신체 기준점을 기준으로 골격의 움직임에 대응하는 레퍼런스 움직임 벡터 및 사용자 움직임 벡터를 산출할 수 있다. 예를 들어, 허리 또는 골반과 개별적인 골격 간의 절대좌표 및 상대좌표에 기초하여, 골격의 움직임에 대응하는 레퍼런스 움직임 벡터 및 사용자 움직임 벡터를 산출할 수 있다.
포즈 추정 기술은 사람의 움직임에 대한 컬러 또는 흑백 이미지를 입력하여 사람의 신체파트에 대한 위치 정보인 2D 혹은 깊이 정보가 추가된 3D 키 포인트(key point)를 출력하는 기술이다. 예를들어 2D 키 포인트 정보를 정확하게 예측하기 위하여, PAFs(Part Affinity Fileds)를 사용하여 영상에서 사람의 신체파트 간의 연관도를 학습한다. 신체파트 별로 컨피던스 맵 (confidence map)과 신체파트 사이의 연관도를 나타내는 2D 벡터(part affinity)를 동시에 예측한다. 이 경우 컨피던스 맵과 2D 벡터를 이용하여 최종 2D 키 포인트를 예측할 수 있다. 이러한 알고리즘에 기초하여, 딥러닝 학습부(130)는 2D 키 포인트에 대응될 수 있는 레퍼런스 움직임 벡터 및 사용자 움직임 벡터를 산출할 수 있다.
한편, 사용자 및 레퍼런스 움직임을 추정하기 위한 학습 모델은 포즈 추정 기술 이외에 다양한 다른 기술 또는 알고리즘이 적용될 수 있다. 따라서, 딥러닝 학습부(130)는 사용자 및 레퍼런스 움직임 추출 결과가 개선된 새로운 기술 또는 알고리즘을 새롭게 채택하고 움직임 추정 방법을 업그레이드 할 수 있다.
딥러닝 학습부(130)는 사용자의 상대좌표 또는 사용자 움직임 벡터의 연속 정보에 기초하여, 사용자에 의해 수행된 단위 동작을 파악할 수 있다. 또한, 시연자의 상대좌표 또는 레퍼런스 움직임 벡터의 연속 정보에 기초하여, 시연자에 의해 수행된 단위 동작을 파악할 수 있다.
구체적으로, 추출된 상대좌표 또는 움직임 벡터를 통하여 사용자나 시연자의 뼈대가 연속적으로 반복하여 움직이는지 판단하고, 단위 동작(ex: 푸쉬업이나 스쿼트 등)의 종류를 구분하여 단위 동작이 수행된 횟수를 파악할 수 있다.
딥러닝 학습부(130)는 시연자의 상대좌표와 사용자의 상대좌표를 비교하여 사용자 움직임 벡터를 보정할 수 있다. 이 경우, 운동상태 판단부(140)는 보정된 사용자 움직임 벡터를 레퍼런스 움직임 벡터와 비교하여 동작 정확도를 파악할 수 있다. 이에 의해, 시연자와 사용자의 신체적 크기 차이로 인한 오차가 보정되어 동작 정확도가 산출됨으로써, 동작 교정의 효과가 높아질 수 있다.
또한, 딥러닝 학습부(130)는 운동 상태에 대한 정보를 측정할 수 있다. 여기서, 운동 상태에 대한 정보는 단위 동작의 종류, 단위 동작을 반복하는 속도 등을 포함할 수 있다. 측정된 운동 상태에 대한 정보는, 운동상태 판단부(140)가 사용자의 운동 상태를 평가하고 나아가 사용자의 운동량 및 강도를 설계하는데 사용될 수 있다.
운동상태 판단부(140)는 사용자 움직임 데이터와 레퍼런스 움직임 데이터를 비교하고, 사용자가 실질적으로 운동이나 특정 동작을 수행하는지 여부 및 동작 정확도 등을 확인할 수 있다. 예를 들어, 시연자 강의 영상에서 시연자가 특정 단위 동작을 소정 횟수 반복하라는 지시를 한 경우, 사용자가 시연자의 지시를 실질적으로 달성했는지 여부를 판단할 수 있다.
이 경우, 운동상태 판단부(140)는 딥러닝 학습부(130)에서 보정된 사용자 움직임 벡터를 레퍼런스 움직임 벡터와 비교하여 동작 정확도를 판단함으로써, 판단 결과의 신뢰성을 높일 수 있다. 여기서, 동작 정확도는 사용자 동작과 시연자 동작의 일치 정도를 나타내는 척도이다. 동작 정확도는 동작의 싱크로율(%), 골절 간의 각도, 사용자와 시연자 각각의 움직임 벡터의 비교값 중 적어도 어느 하나로 설정될 수 있다.
동작 정확도는 동작의 특성에 따라 서로 다른 방식으로 판단될 수 있다. 예를 들어, 골프나 스쿼시와 같은 경우 스윙 속도 또는 스윙 각도에 대한 일치 정도가 판단되고, 스쿼트나 요가 동작 같은 경우 단위 동작을 유지하는 시간 또는 횟수가 동작 정확도로 판단될 수 있다.
운동상태 판단부(140)는 판단된 동작 정확도가 임계 범위를 벗어나는지 여부를 판단할 수 있다. 동작 정확도가 임계 범위를 벗어나는 경우, 임계 범위를 벗어나는 동작이 수행되는 골격에 대한 정보를 제공할 수 있다. 이 경우, 운동상태 판단부(140)는 골격에 대한 정보를 영상 형태로 디스플레이부(120)에 표시하거나, 경고음이나 사람의 음성 등의 형태로 출력할 수 있다.
운동상태 판단부(140)는 사용자 움직임 데이터와 레퍼런스 움직임 데이터를 비교하여 상기 동작 정확도를 기반으로 유사도를 정량화하여 점수를 부여하거나, 예상 소모 칼로리에 기반하여 점수를 부여함으로써 운동상태를 정량적으로 평가 할 수 있다.
운동상태 판단부(140)는 레퍼런스 움직임과 사용자 움직임을 비교하여 상기 사용자의 운동상태를 평가하는 단계는 레퍼런스 동작을 기준으로 주요 관절 및 골격별로 사용자 운동상태의 유사도에 따라 정량화된 점수를 부여할 수 있다. 예를 들어, 운동상태 판단부(140)는 유사도 평가를 수행함에 있어 레퍼런스 동작에 존재하는 사람의 관절 정보와 사용자 동작에 존재하는 사용자의 관절의 유사도를 정량적으로 비교할 수 있다. 구체적으로 유사도는 유클리디안 거리, 코사인 거리등을 이용할 수 있다. 예를 들어, 각 관절별로 유사도를 구하고, 관절에 따른 가중치를 주어 합산하는 방식으로 정량적 유사도를 도출할 수 있다.
Figure 112021122911014-pat00001
여기에서, Prefi는 레퍼런스 움직임의 관절 정보, Puseri는 사용자 움직임의 관절 정보, wi는 가중치를 의미할 수 있다. 예를 들어 스쿼트 라는 동작에 대한 유사도를 구한다고 하면, 레퍼런스 스쿼트의 동작과 사용자의 스쿼트 동작간 유사도의 비교를 하고, 그 결과로써 동작을 평가 할 수 있다.
운동상태 판단부(140)는 사용자에 대해 수집한 몸무게 정보, 운동 시간 및 동작 정확도 기반 유사도 정보를 바탕으로 예상 소모 칼로리를 추정할 수 있다. 운동상태 판단부(140)는 MET(Metabolic Equivalent of Task) 라는 지표를 사용하여 예상 소모 칼로리를 추정할 수 있다. MET는 1분간 소비되는 단위 체중당 에너지 소비량으로서, Kcal/Min/Kg으로 나타낸다. 예를들어 1MET는 안정시 산소 섭취량으로 체중 1kg당 1분에 3.5ml의 산소를 섭취하는 것을 의미한다. 산소 1L당 에너지 생산량은 약 5kcal 정도이기 때문에 MET로 활동에 따른 산소 섭취량을 구한 다음, 이것을 Kcal 단위로 바꿔주면 칼로리 소비량을 구할 수 있다. 운동상태 판단부(140)가 예상 칼로리 추정을 위해서는 몸무게, 운동시간, 가중치 정보가 요구 될 수 있다. 사용자의 키, 몸무게와 같은 개인정보는 사용자 단말(100)에서 획득될 수 있다. 예상 칼로리 추정의 정밀도를 향상하기 위해 운동상태 판단부(140)가 정량적으로 획득한 동작의 유사도를 가중치로 곱하여 예상 칼로리 추정치를 도출 할 수 있다.
운동상태 판단부(140)는 정량적으로 평가한 운동상태에 기반하여 사용자의 운동 방향을 설계할 수 있다. 구체적으로, 개별 동작 학습부 (140)는 사용자 움직임에 따른 동작 정확도 또는 단위 동작이 수행된 횟수를 기설정된 사용자 목표량과 비교하여, 사용자의 운동량 및 운동 강도를 설정할 수 있다. 여기서, 사용자 목표량은 운동상태 판단부(140)에 의해 설정되거나, 사용자에 의해 직접 설정될 수 있다. 또한, 사용자 목표량은 사용자의 운동 레벨 및 운동 난이도에 따라 단계적으로 설정될 수 있다.
이 경우, 운동상태 판단부(140)는 딥러닝에 기초한 인공지능 알고리즘을 적용하여, 사용자별로 최적화된 운동량 및 운동 강도를 설정할 수 있다.
제1통신부(150)는 유선 또는 무선 네트워크를 통하여, 서버(200)와 유무선 통신을 수행할 수 있다. 이 경우, 제1통신부(150)는 시연자의 제1 동작 영상, 트레이닝 영상, 사용자의 동작에 대한 영상, 사용자 움직임 데이터, 동작 정확도에 대한 데이터, 설계된 운동방향, 목표 운동량 및 운동 강도 중 적어도 하나를 송신하거나 수신할 수 있다.
동작 인식부(160)는 입력되는 동작 인식 명령을 인식하고, 이에 기초하여 사용자 단말(100)를 제어할 수 있다. 예를 들어, 동작 인식부(160)는 동작 인식 명령에 대응하여 시연자 영상의 표시 상태, 어플리케이션의 실행 단계 등을 제어할 수 있다. 여기서, 동작 인식 명령은 사용자로부터 별도의 광학 장치를 통해 직접 입력될 수 있다.
동작 인식부(160)는 사용자의 특정 동작이 인식되는 경우 기설정된 메시지 정보를 송신할 수 있다. 예를 들어, 동작 인식부(160)는 사용자의 기결정된 예비 동작을 수신하는 경우 동작 인식을 통한 메시지 전송 모드로 변환되고, 그 이후의 동작에 매칭되는 메시지를 서버(200)로 송신할 수 있다. 예를 들어, 메시지는 텍스트 메시지 및 이모티콘 메시지를 포함할 수 있으며 특정 실시예에 한정되지 않는다. 예를 들어 머리 위로 팔을 X자로 교차하면 '싫어요'에 해당하는 이모티콘이 서버(200)로 전송 될 수 있다. 예를 들어, 특정 동작을 입력하면 제1 동작 영상에 대한 필터 변경 모드로 진입하고, 제1 동작 영상에 대한 조도, 색 등을 변형하는 필터를 제어할 수 있다.
동작 인식부(160)는 사용자의 특정 동작이 인식되는 경우 어플리케이션의 실행을 종료 할 수 있다. 사용자의 기결정된 예비 동작을 수신하는 경우 어플리케이션 종료 모드로 변환되고, 그 이후 컨펌 동작까지 수신하는 경우 어플리케이션을 종료할 수 있다.
피드백 제공부(170)는, 운동상태 평가에 기초하여 사용자에게 시각적 피드백을 제공하는 모듈이다.
피드백 제공부(170)는, 실시간으로 획득한 제2 동작 영상을 바탕으로 실시간 피드백 정보를 생성할 수 있다.
피드백 제공부(170)는, 정량화된 사용자 운동평가 결과를 기반으로 사용자와 동적으로 상호작용하는 시각적 효과를 제공할 수 있다.
피드백 제공부(170)는, 영상 처리부(110)에서 수신한 제2 동작 영상의 사용자 움직임을 실시간으로 추적하며, 운동상태 판단부(140)가 도출한 주요 관절별 점수에 따라 운동 상태를 지시할 수 있는 시각적 효과를 제공할 수 있다.
피드백 제공부(170)는, 정량화된 사용자 운동평가 결과를 바탕으로 보다 효과적인 운동효과의 증진을 위해 시각적 효과를 제공할 수 있다. 운동상태 판단부(140)에서 도출된 정량화 된 점수를 바탕으로 중요한 관절 부위에 운동효과 증대를 위한 피드백 정보를 포함하는 시각적 효과를 주어 사용자가 해당 부위에 집중 할 수 있도록 유도할 수 있다. 이러한 시각적 효과는 획득 된 운동평가 점수 결과를 바탕으로 동적으로 바뀌게 된다. 예를 들어, 피드백 제공부(170)는 정량화된 점수를 바탕으로 정확, 우수, 부정확 등과 같이 사용자의 운동 수행에 대한 피드백을 문자열을 통해 제공 할 수도 있고, 중요 관절 부위의 일치도를 따져 화살표 등의 시각적 아이콘을 이용하여 제공할 수 있다.
트레이닝이 진행되는 실질적인 공간을 고려하면, 사용자 단말(100)과 사용자 간에는 일정 거리가 확보되어야 한다. 이 경우, 사용자가 사용자 단말(100)이나 디스플레이부(120)를 조작 또는 터치하는 것이 불편할 수 있다. 이러한 문제점을 해결하기 위하여, 사용자 단말(100)은 인공지능 기반으로 사용자의 동작 인식 명령을 인식하여 실행시키는 동작 인식부(160)를 포함한다.
한편, 서버(200)는 사용자가 선택한 시연자의 강의 영상을 사용자 단말 (100)에 제공하고, 온라인을 통해 동작 인식 기반 상호작용 서비스를 제공할 수 있다. 이를 위해, 서버(200)는 데이터베이스(210), 제2통신부(220) 및 제어부(230)를 포함하여 구성될 수 있다.
데이터베이스(210)는 시연자의 강의 영상, 사용자에 대한 다양한 데이터, 동작 인식 기반 상호작용 서비스 관련 데이터를 저장할 수 있다. 예를 들어, 데이터베이스 (210)는 사용자 단말(100)이 전송한 사용자 움직임 데이터, 동작 정확도, 목표 운동량 및 운동 강도에 대한 데이터를 관리할 수 있다.
제2통신부(220)는 유선 또는 무선 네트워크를 통하여, 사용자 단말(100)과 유무선 통신을 수행할 수 있다. 이 경우, 제2통신부(220)는 시연자의 제1 동작 영상, 트레이닝 영상, 사용자의 동작에 대한 영상, 사용자 움직임 데이터 및/또는 동작 정확도에 대한 데이터 중 적어도 하나를 송신하거나 수신할 수 있다.
제어부(230)는 온라인을 통해 동작 인식 기반 상호작용 서비스를 제공할 수 있다. 이를 위해, 제어부(230)는 데이터베이스(210)에 데이터를 저장 및 업데이트 하거나, 제2통신부(220)를 제어할 수 있다.
제어부(230)는 사용자 또는 시연자의 요청에 대응하는 프로세스를 처리할 수 있다.
나아가, 제어부(230)는 사용자나 시연자의 생체 정보, 식별 정보 등을 관리하고, 이에 기초하여 사용자 인증 및 보안을 위한 암호화 작업 등을 수행할 수 있다.
이와 같이 본 실시 예에 의하면, 1:1 또는 그룹 트레이닝 형태의 개별 강좌로 이루어지는 피트니스나 동작 기반 운동에 대한 동작 인식 기반 상호작용 서비스가 제공될 수 있다. 이 경우, 사용자에게 운동 성취도에 대한 피드백을 제공함으로써, 일반적인 온라인 강의와 달리 사용자의 트레이닝 효과를 높일 수 있다. 또한, 기존의 온라인 강의에서 구현될 수 없었던 사용자의 실제 운동 실행 여부, 동작 정확성 및 운동 횟수 측정이 가능하므로, 사용자에게 맞춤형으로 운동 강도 및 자세 교정에 대한 의견을 제공할 수 있다.
도 3은 본 발명의 일 실시 예에 의한 동작 인식 기반 상호작용 서비스 제공 시 표시되는 사용자 영상 및 시연자 영상의 일 예이다.
도 3에 도시된 바와 같이, 사용자 영상(°과 시연자 영상(±에는 움직임 벡터가 신체 부위 별로 상이한 색으로 도시된다. 이 경우, 사용자는 서로 다른 색의 움직임 벡터를 비교함으로써, 자신의 동작과 시연자의 동작 차이를 직관적으로 인식할 수 있다.
또한, 사용자 영상(I)과 시연자 영상(II) 각각에는 개별적인 색에 대응하는 골격 움직임의 정확도가 표시될 수 있고, 임계 범위를 벗어난 골격을 가리키는 식별마크가 표시될 수 있다.
도 4는 본 발명의 다른 실시예에 의한 동작 인식 기반 상호작용 서비스 제공 과정을 도시한 도면이다. 도 5는 본 발명의 일 실시예에 의한 동작 인식 기반 상호작용 서비스 제공 시 표시되는 사용자 영상의 일 예이다.
본 발명의 다른 실시 예에 의한 동작 인식 기반 상호작용 서비스에 의하면, 사용자 단말(100)은 해당 사용자 단말(100)에서 획득한 사용자에 대한 영상과 서버(200)가 제공한 레퍼런스 움직임 데이터를 비교 및 분석하여, 사용자 움직임 데이터와 레퍼런스 움직임 데이터를 비교하여 상기 동작 정확도를 기반으로 유사도를 정량화하여 점수를 부여하거나, 예상 소모 칼로리에 기반하여 점수를 부여함으로써 운동상태를 정량적으로 평가 할 수 있다. 이러한 정량적 평가에 기반하여, 도출한 주요 관절별 점수에 따라 운동 상태를 지시할 수 있는 시각적 피드백을 제공할 수 있다.
이 경우, 운동상태 판단부(140)는 사용자 움직임 데이터와 레퍼런스 움직임 데이터를 비교하여 상기 동작 정확도를 기반으로 유사도를 정량화하고, 피드백 제공부(170)는, 운동상태 평가에 기초하여 사용자에게 시각적 피드백을 제공할 수 있다.
도 4를 참조하면, 서버로부터 수신한 레퍼런스 영상 데이터를 사용자 단말(100)로 제공한다(S310). 사용자 단말(100)에서 동작 인식 기반 상호작용 서비스 제공을 위한 어플리케이션이 실행되는 경우, 서버(200)는 사용자가 참고할 수 있는 시연자 영상과, 시연자 영상으로부터 추출된 시연자 움직임 데이터를 사용자 단말(100)에 전송할 수 있다. 이 경우, 사용자는 디스플레이부(120)에 표시되는 시연자 영상을 참조하여, 운동 동작을 수행할 수 있다.
사용자 동작 영상을 획득하여 레퍼런스 영상과 사용자 동작 영상을 표시한다 (S320).
사용자 단말(100)의 영상 처리부(110)는 사용자 동작을 촬영하고, 촬영된 사용자 영상을 서버(200)로부터 수신한 시연자 영상과 함께 디스플레이부(120)에 동시에 병렬적으로 표시할 수 있다. 이 경우, 동시에 표시되는 두 개의 영상으로부터, 사용자는 자신과 시연자의 자세나 동작을 손쉽게 비교할 수 있다.
레퍼런스 영상과 사용자 동작 영상의 동작 분석 및 동작 데이터를 추출한다(S330).
구체적으로, 딥러닝 학습부(130)는 딥러닝 학습모델에 기초하여 사용자 영상으로부터 사용자의 동작 및 자세를 파악하고, 이로부터 사용자 움직임 데이터를 추출할 수 있다. 여기서, 사용자 움직임 데이터는 사용자 움직임 벡터일 수 있다.
일 실시 예에 의하면, 포즈 추정 알고리즘에 의하여 사용자 움직임 데이터를 추출할 수 있다. 이 경우, 사용자의 특정 신체 기준점과 개별적인 골격 간의 절대좌표 및 상대좌표를 기반으로 골격의 움직임에 대응하는 사용자 움직임 벡터가 추출될 수 있다.
사용자 동작에 대한 동작 정확도/단위 동작이 수행된 횟수 등을 바탕으로 동작을 평가한다 (S340).
구체적으로, 딥러닝 학습부(130)는 사용자의 상대좌표 또는 사용자 움직임 벡터의 연속 정보에 기초하여, 사용자에 의해 수행된 단위 동작을 파악하고, 시연자의 상대좌표와 사용자의 상대좌표를 비교하여 사용자 움직임 벡터를 보정할 수 있다. 이후 운동상태 판단부(140)는 보정된 사용자 움직임 벡터를 레퍼런스 움직임 벡터와 비교하여 동작 정확도를 파악하고, 사용자의 운동 상태를 정량적으로 평가할 수 있다.
동작 평가를 바탕으로 시각적 피드백을 사용자 단말(100)에 제공한다 (S350).
구체적으로, 피드백 제공부(170)는, 영상 처리부(110)에서 수신한 제2 동작 영상의 사용자 움직임을 실시간으로 추적하며, 운동상태 판단부(140)가 도출한 주요 관절별 점수에 따라 운동 상태를 지시할 수 있는 시각적 효과를 제공할 수 있다.
추가적인 정보 제공이 가능한지 판단한다(S360).
본 명세서에 있어서 추가적인 정보 제공은 사용자에게 개인화 된 서비스(personalized service)를 제공하기 위한 개별 헬스케어 정보에 대한 것을 포함할 수 있다. 이를 위하여 사용자가 착용한 웨어러블 디바이스, 사용자 단말(100)의 센서들에서 수신한 추가 정보 제공을 피드백에 이용할 수 있다.
가능하다고 판단되면(S360-예), 추가적인 생체 정보를 수집하여 피드백을 추가 제공하고(S370) 유사도 결정단계로 이행한다.
외부에 위치한 웨어러블 디바이스 등에서 수신한 추가 생체 정보를 바탕으로 사용자 단말(100)은 개인화된 운동 추천 및 운동 계획을 제공할 수 있다. 예를 들어, 운동상태 판단부(140)는 사용자의 동작/움직임 로그 데이터를 분석하여 각 운동에 대한 분당 수행횟수를 도출할 수 있다. 이후, 피드백 제공부(170)는 운동 수행 능력에 대한 변화를 시각화하여 사용자에게 피드백으로 제공 할 수 있다.
불가능하다고 판단되면(S360-아니오), 추출된 관절 정보와 기준 동작을 대비하여 유사도를 결정한다(S380).
도 6은 본 발명의 다른 실시 예에 의한 동작 인식 기반 상호작용 서비스 제공 과정을 도시한 도면이다.
본 발명의 다른 실시 예에 의한 동작 인식 기반 상호작용 서비스에 의하면, 사용자 단말(100)은 해당 사용자 단말(100)에서 획득한 사용자에 대한 영상과 서버(200)가 제공한 레퍼런스 움직임 데이터를 비교 및 분석하여, 사용자가 실질적으로 운동이나 특정 동작을 수행하는지 판단하고 동작 정확도 등을 확인할 수 있다. 이 경우, 도 2에 도시된 실시 예와 달리, 사용자 단말(100)이 아닌 서버(200)에서 시연자 영상으로부터 레퍼런스 움직임 데이터를 추출할 수 있다. 이를 위해, 서버(200)는 딥러닝 학습부(130)를 포함할 수 있다.
이 경우, 딥러닝 학습부(130)는 딥러닝 학습을 통하여 시연자에 대한 영상으로부터 레퍼런스 움직임, 동작 및 자세를 파악하고, 이에 대한 데이터를 추출할 수 있다. 추출된 데이터는, 사용자 움직임 데이터와 비교되기 위하여 사용자 단말(100)로 제공될 수 있다.
도 6에 도시된 바와 같이, 시연자 영상 및 시연자 움직임 데이터를 사용자 단말(100)로 제공한다(S410).
사용자 동작을 촬영하고, 촬영된 사용자 영상과 시연자 영상을 표시한다 (S420).
딥러닝 학습을 통하여 사용자의 동작 및 자세를 파악하고, 사용자 움직임 데이터를 추출한다(S430).
사용자 움직임 벡터를 보정한다(S440).
시연자와의 신체적 크기 차이에 따른 오차를 보정하기 위하여, 딥러닝 학습부(130)는 시연자의 상대좌표와 사용자의 상대좌표를 비교하여 사용자 움직임 벡터를 보정할 수 있다.
사용자 동작에 대한 동작 정확도 및 단위 동작이 수행된 횟수를 파악한다 (S450).
운동상태 판단부(140)는 보정된 사용자 움직임 벡터를 시연자 움직임 벡터와 비교하여 사용자 동작에 대한 동작 정확도를 판단할 수 있다. 사용자 동작이 반복적으로 수행되는 단위 동작인 경우에는, 단위 동작이 수행된 횟수를 판단할 수 있다. 이와 같은 동작 정확도 및 단위 동작의 수행 횟수는 사용자가 실질적으로 수행한 운동 결과로서, 사용자에게 운동 결과에 대한 피드백을 제공하기 위한 정보로 활용될 수 있다.
동작 정확도가 임계범위를 벗어나는지 판단한다(S460).
사용자 단말(100)의 운동상태 판단부(140)는 판단된 동작 정확도가 임계 범위를 벗어나는지 여부를 판단할 수 있다.
동작 정확도가 임계 범위를 벗어나는 경우(S460-Yes), 골격에 대한 정보를 제공한다(S470).
구체적으로, 운동상태 판단부(140)는 임계 범위를 벗어나는 동작이 수행되는 골격에 대한 정보를 제공할 수 있다.
또한, 운동상태 판단부(140)는 사용자가 수행한 단위 동작의 횟수가 기설정된 허용 횟수 또는 허용 범위를 만족하는지 여부를 판단하고, 판단 결과를 영상이나 음성 형태로 출력할 수 있다.
동작 정확도가 임계 범위를 벗어나지 않는 경우(S460-No), 운동량 및 운동 강도를 설정한다(S480).
구체적으로, 사용자 운동 상태에 대한 판단 및 분석이 완료되면, 운동상태 판단부(140)는 사용자 움직임에 따른 동작 정확도 및 단위 동작의 수행 횟수를 목표량과 비교하여, 사용자의 운동 방향과 운동량 및 운동 강도를 설정할 수 있다.
도 7은 본 발명의 또 다른 실시 예에 의한 동작 인식 기반 상호작용 시스템의 구성을 도시한 블록도이다.
본 발명의 또 다른 실시 예에 의한 동작 인식 기반 상호작용 시스템에 의하면, 사용자 단말(100)은 사용자에 대한 영상과 시연자 단말(300)이 제공한 시연자에 대한 영상 또는 레퍼런스 움직임 데이터를 비교 및 분석하여, 사용자가 실질적으로 운동이나 특정 동작을 수행하는지 판단하고 동작 정확도 등을 확인할 수 있다. 이 경우, 도 2에 도시된 실시 예와 달리, 사용자 단말 (100) 및 서버(200)가 아닌 시연자 단말(300)에서 시연자에 대한 영상이나 레퍼런스 움직임 데이터를 제공할 수 있다.
한편, 이러한 차이점을 제외하고, 사용자 단말(100)이나 서버(200)의 동작은 도 2에서 설명한 것과 기본적으로 동일하다. 따라서, 이하에서는 이와 중복된 설명은 제외하고 차이가 있는 부분만을 설명한다.
사용자 단말(100)의 영상 처리부(110)는 시연자에 대한 영상 및/또는 레퍼런스 움직임 데이터 중 적어도 하나를 수신할 수 있다. 구체적으로, 영상 처리부(110)는 제1통신부(150)를 통하여, 시연자 단말(300)에 저장된 시연자 강의 영상을 수신하거나, 카메라부(310)에 의해 촬영되는 영상을 실시간으로 스트리밍 할 수 있다. 또한, 영상 처리부(110)는 시연자에 대한 영상으로부터 추출된 레퍼런스 움직임 데이터를 시연자 단말(300)로부터 수신할 수 있다.
제1통신부(150)는 유선 또는 무선 네트워크를 통하여, 시연자 단말(300) 및 서버(200)와 유무선 통신을 수행할 수 있다. 이 경우, 제1통신부(150)는 시연자의 제1 동작 영상, 트레이닝 영상, 사용자의 동작에 대한 영상, 사용자 움직임 데이터, 동작 정확도에 대한 데이터, 설계된 운동방향, 목표 운동량 및 운동 강도 중 적어도 하나를 송신하거나 수신할 수 있다.
또한, 제1통신부(150)는 사용자 움직임 데이터, 동작 정확도, 목표 운동량 및 운동 강도에 대한 데이터를 매칭된 시연자 단말(300)에 전송하고, 시연자 단말(300)로부터 이에 대한 피드백을 수신할 수 있다.
서버(200)의 제어부(230)는 시연자 영상이 실시간으로 스트리밍 되는 경우, 사용자와 시연자 간의 인터페이스를 위한 채팅 모듈 또는 SNS 모듈을 구동하여 사용자와 시연자 간의 대화 타임 라인을 제어할 수 있다.
시연자 단말(300)은 사용자가 선택한 시연자 강의 영상을 제작하여 사용자 단말(100)에 제공하고, 사용자 단말(100)로부터 수신된 사용자의 운동 상태에 대응하여 피드백을 제공할 수 있다. 이를 위해, 시연자 단말(300)은 카메라부(310)와 인터페이스부(320)를 포함하여 구성될 수 있다.
카메라부(310)는 시연자의 동작을 실시간으로 촬영하여 시연자 영상을 제작할 수 있다.
인터페이스부(310)는 제작된 시연자 영상을 사용자 단말(100)에 전송하거나, 촬영되는 영상을 실시간으로 스트리밍 할 수 있다.
또한, 인터페이스부(310)는 사용자 단말(100)로부터 사용자의 운동 상태에 대한 정보를 수신하는 경우, 이에 대한 피드백을 전송할 수 있다.
이와 같이, 본 실시 예에 의하면, 사용자 단말(100)에서 시연자 영상을 실시간으로 스트리밍하고, 시연자로부터 운동 결과에 대한 피드백을 제공받을 수 있다.
도 8은 본 발명의 또 다른 실시 예에 의한 동작 인식 기반 상호작용 서비스 제공 과정을 도시한 도면이다.
구체적으로, 도 8은 도 7에 도시된 시스템에서 제공되는 동작 인식 기반 상호작용 서비스 제공 과정이다. 한편, 도 8에 도시된 단계들 중 도 4와 중복되는 단계들에 대한 설명은 이하에서 생략한다.
도 8에 도시된 바와 같이, 실시간 시연자 영상이 스트리밍 된다(S610).
사용자 단말(100)은 시연자 단말(300)로부터 실시간으로 시연자에 대한 영상을 스트리밍 할 수 있다. 또는, 시연자 단말(300)에 저장된 시연자 강의 영상을 수신할 수도 있다.
딥러닝 학습을 통하여 시연자 움직임 데이터를 추출한다(S620).
사용자 단말(100)의 딥러닝 학습부(130)는 딥러닝 학습을 통하여 시연자에 대한 영상으로부터 레퍼런스 움직임, 동작 및 자세를 파악하고, 이에 대한 데이터를 추출할 수 있다.
사용자 동작을 촬영하고, 촬영된 사용자 영상과 시연자 영상을 표시한다 (S630).
딥러닝 학습을 통하여 사용자의 동작 및 자세를 파악하고, 사용자 움직임 데이터를 추출한다(S640).
사용자 움직임 벡터를 보정한다(S650).
사용자 동작에 대한 동작 정확도 및 단위 동작이 수행된 횟수를 파악한다 (S660).
이 경우, 파악된 동작 정확도 및 단위 동작이 수행된 횟수를 포함하는 사용자의 운동량 및 운동상황에 대한 정보는 시연자 단말(300)에 전송될 수 있다.
사용자 운동량 및 운동 강도를 피드백하고, 실시간 코칭을 수행한다(S670).
시연자 단말(300)은 사용자의 운동 상태에 대한 판단 및 분석이 완료되면, 사용자 움직임에 따른 동작 정확도 및 단위 동작의 수행 횟수를 목표량과 비교하여, 사용자의 운동 방향과 운동량 및 운동 강도를 설정할 수 있다. 이 경우, 이에 대한 정보 및 피드백을 사용자 단말(100)에 전송함으로써, 사용자를 실시간으로 코칭할 수 있다.
이상에서 설명한 바와 같이, 본 발명에 의한 동작 인식 기반 상호작용 서비스는 포즈 추정 기술에 기초하여 원격에서 온라인 사용자의 트레이닝 상황을 정확하게 수치화하고, 이를 이용하여 사용자의 운동량 및 운동의 강약을 설정하거나 조정할 수 있다. 또한, 사용자의 동작과 시연자의 동작 간의 동작 정확도를 제공하여, 시연자 동작과의 비교 및 교정을 가능하게 한다.
또한, 빅데이터를 이용하여 딥러닝 및 머신 러닝을 수행하는 경우 프로세싱 부하가 생길 수 있으므로, 이와 같이 부하가 큰 프로세서는 처리 용량이 큰 서버(200)에서 수행하고, 사용자 단말(100)은 서버(200)의 처리 결과를 표시하여 사용자에게 제공할 수 있다.
한편, 전술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 프로그램이나 코드를 기록하는 기록 매체는, 반송파(carrier waves)나 신호들과 같이 일시적인 대상들은 포함하지 않는 것으로 이해되어야 한다. 상기 컴퓨터 판독 가능 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디 롬, DVD 등)와 같은 저장 매체를 포함할 수 있다.
이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위 내에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
10: 스마트 TV 20: 태블릿 PC
30: 웹 캠 100: 사용자 단말
110: 영상 처리부 120: 디스플레이부
130: 딥러닝 학습부 140: 운동상태 판단부
150: 제1통신부 160: 동작 인식부
170: 피드백 제공부
200: 서버 210: 데이터베이스
220: 제2통신부 230: 제어부
300: 시연자 단말 310: 카메라부
320: 인터페이스부

Claims (17)

  1. 동작 인식 기반 상호작용 방법에 있어서,
    레퍼런스가 되는 제1동작 영상을 사용자 단말로 제공하는 단계;
    상기 사용자 단말에서 사용자의 동작에 대한 제2동작 영상을 획득하는 단계;
    상기 제1동작 영상으로부터 레퍼런스 움직임을 추출하고 상기 제2동작 영상으로부터 사용자 움직임을 추출하며, 상기 레퍼런스 움직임과 상기 사용자 움직임을 비교하여 상기 사용자의 운동상태를 평가하는 단계; 및
    상기 운동상태 평가에 기초하여 상기 사용자에게 피드백을 제공하고, 상기 피드백은 시각적 피드백을 포함하는 단계;를 포함하고,
    상기 제1동작 영상을 사용자 단말로 제공하는 단계는,
    복수의 사용자를 적어도 하나 이상의 그룹으로 묶어 상기 제1동작 영상을 제공하고, 복수의 사용자 단말에서 수신하는 상기 제2동작 영상의 영상 수신 딜레이 정보를 수신하여 영상 싱크가 가장 느린 사용자 단말을 기준으로 나머지 사용자 단말에 딜레이를 인가하여 영상 싱크를 동일화하여, 상기 하나 이상의 그룹에 속한 복수의 사용자들이 자신의 동작과 다른 사용자의 제2동작 영상을 비교할 수 있는 것을 특징으로 하는 동작 인식 기반 상호작용 방법.
  2. 삭제
  3. 제1 항에 있어서,
    상기 제1동작 영상을 사용자 단말로 제공하는 단계는,
    기저장된 저장 영상을 제공하거나 실시간 스트리밍 영상을 제공하는 단계인 것을 특징으로 하는 동작 인식 기반 상호작용 방법.
  4. 제1 항에 있어서,
    상기 레퍼런스 움직임 주체와 상기 사용자 움직임 주체의 신체적 크기 차이로 인한 오차를 보정할 수 있도록, 상기 레퍼런스 움직임 주체의 상대좌표와 상기 사용자 움직임 주체의 상대좌표를 비교하여 상기 레퍼런스 움직임 주체의 움직임 벡터를 보정하고, 보정된 레퍼런스 움직임 주체 벡터를 상기 사용자 움직임 주체의 움직임 벡터와 비교하여 동작 정확도를 파악하는 동작 인식 기반 상호작용 방법.
  5. 제1 항에 있어서,
    상기 운동상태를 평가하는 단계는 딥러닝 학습에 의해 수행되는 것을 특징으로 하는 동작 인식 기반 상호작용 방법.
  6. 제5항에 있어서,
    상기 딥러닝 학습은 포즈 추정 기술에 의해 수행되고,
    상기 레퍼런스 움직임과 상기 사용자 움직임 각각은, 상기 레퍼런스 움직임 주체 또는 상기 사용자 움직임 주체 각각의 특정 신체 기준점과 개별적인 골격 간의 상대 좌표 및 상대 좌표에 대한 골격의 움직임에 대응하여 산출되는 동작 인식 기반 상호작용 방법.
  7. 제1항에 있어서,
    상기 사용자의 운동상태는,
    상기 레퍼런스 움직임과 상기 상기 사용자 움직임이 일치하는 정도를 나타내는 동작 정확도에 대한 것인 동작 인식 기반 상호작용 방법.
  8. 제7항에 있어서,
    상기 동작 정확도가 임계 범위를 벗어나는 경우, 상기 임계 범위를 벗어나는 동작이 수행되는 골격에 대한 정보를 제공하는 동작 인식 기반 상호작용 방법.
  9. 제7항에 있어서,
    상기 운동상태를 평가하는 단계는, 상기 동작 정확도를 기반으로 유사도를 정량화하여 점수를 부여하거나, 예상 소모 칼로리에 기반하여 점수를 부여하는 단계인 것을 특징으로 하는 동작 인식 기반 상호작용 방법.
  10. 제9항에 있어서,
    상기 예상 소모 칼로리는 상기 사용자에 대해 수집한 몸무게 정보, 운동 시간 및 동작 정확도 기반 유사도 정보를 바탕으로 추정되는 것을 특징으로 하는 동작 인식 기반 상호작용 방법.
  11. 제1항에 있어서,
    상기 사용자 단말에서 상기 동작 인식 기반 상호작용 서비스를 제공하기 위한 어플리케이션이 실행되면, 상기 사용자 단말은 상기 어플리케이션의 제어 방법을 동작 인식 기반으로 전환하는 동작 인식 기반 상호작용 방법.
  12. 제11항에 있어서,
    사용자의 특정 동작이 인식되는 경우 기설정된 메시지 정보를 송신하는 동작 인식 기반 상호작용 방법.
  13. 제11항에 있어서,
    사용자의 특정 동작이 인식되는 경우 어플리케이션의 실행을 종료하는 동작 인식 기반 상호작용 방법.
  14. 제1항에 있어서,
    상기 사용자에게 피드백을 제공하는 단계는,
    실시간으로 획득한 제2 동작 영상을 바탕으로 실시간 피드백 정보를 생성하여 상기 사용자 단말에 전송하는 단계인 것을 특징으로 하는 동작 인식 기반 상호작용 방법.
  15. 제1항에 있어서,
    상기 사용자에게 피드백을 제공하는 단계는,
    정량화된 사용자 운동평가 결과를 기반으로 사용자와 동적으로 상호작용하는 시각적 효과를 제공하는 단계인 것을 특징으로 하는 동작 인식 기반 상호작용 방법.
  16. 제15항에 있어서,
    상기 레퍼런스 움직임과 상기 사용자 움직임을 비교하여 상기 사용자의 운동상태를 평가하는 단계는 레퍼런스 동작을 기준으로 주요 관절별로 사용자 운동상태의 유사도에 따라 정량화된 점수를 부여하고,
    상기 동적으로 상호작용하는 시각적 효과를 제공하는 단계는,
    상기 제2 동작 영상의 사용자 움직임을 실시간으로 추적하며 상기 주요 관절별 점수에 따라 운동 상태를 지시할 수 있는 시각적 효과를 제공하는 단계인 것을 특징으로 하는 동작 인식 기반 상호작용 방법.
  17. 제1항, 제3항 내지 제16항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020210143773A 2021-10-26 2021-10-26 동작 인식 기반 상호작용 방법 및 기록 매체 KR102355008B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210143773A KR102355008B1 (ko) 2021-10-26 2021-10-26 동작 인식 기반 상호작용 방법 및 기록 매체
PCT/KR2021/016117 WO2023074980A1 (ko) 2021-10-26 2021-11-08 동작 인식 기반 상호작용 방법 및 기록 매체
US18/354,783 US11954869B2 (en) 2021-10-26 2023-07-19 Motion recognition-based interaction method and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210143773A KR102355008B1 (ko) 2021-10-26 2021-10-26 동작 인식 기반 상호작용 방법 및 기록 매체

Publications (1)

Publication Number Publication Date
KR102355008B1 true KR102355008B1 (ko) 2022-01-25

Family

ID=80048923

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210143773A KR102355008B1 (ko) 2021-10-26 2021-10-26 동작 인식 기반 상호작용 방법 및 기록 매체

Country Status (3)

Country Link
US (1) US11954869B2 (ko)
KR (1) KR102355008B1 (ko)
WO (1) WO2023074980A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102566211B1 (ko) * 2022-12-15 2023-08-11 에버엑스 주식회사 인공 지능 자세 추정 모델 및 동작 분석 모델을 이용한 운동 치료 제공 방법, 그리고 시스템
KR102613638B1 (ko) * 2022-12-08 2023-12-14 주식회사 테렌즈랩스 단말에 설치된 어플리케이션 기반의 건강관리 시스템 및 방법
WO2024128421A1 (ko) * 2022-12-15 2024-06-20 에버엑스 주식회사 인공 지능 자세 추정 모델 및 동작 분석 모델을 이용한 운동 치료 제공 방법, 그리고 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190113265A (ko) * 2018-03-28 2019-10-08 주식회사 스탠스 헬스케어를 위한 증강현실 디스플레이 장치 및 이를 이용한 헬스케어 시스템
KR20200129327A (ko) * 2019-05-08 2020-11-18 아이픽셀 주식회사 퍼스널 트레이닝 서비스 제공 방법 및 시스템

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101711488B1 (ko) * 2015-01-28 2017-03-03 한국전자통신연구원 동작 기반 인터랙티브 서비스 방법 및 시스템
US10628664B2 (en) * 2016-06-04 2020-04-21 KinTrans, Inc. Automatic body movement recognition and association system
US10748444B2 (en) * 2016-06-13 2020-08-18 Electronics And Telecommunications Research Institute Apparatus for writing motion script, apparatus for self-teaching of motion and method for using the same
KR101933439B1 (ko) * 2016-09-02 2018-12-28 배재대학교 산학협력단 사용자 분석 기반 피트니스 관리 시스템 및 방법
KR101975056B1 (ko) * 2016-12-02 2019-05-07 한국전자통신연구원 사용자 맞춤형 트레이닝 시스템 및 이의 트레이닝 서비스 제공 방법
US10107627B2 (en) * 2017-03-08 2018-10-23 Northrop Grumman Systems Corporation Adaptive navigation for airborne, ground and dismount applications (ANAGDA)
KR101864987B1 (ko) * 2017-03-17 2018-06-07 울산대학교 산학협력단 트레이닝 서비스 제공 단말 및 서비스 제공 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190113265A (ko) * 2018-03-28 2019-10-08 주식회사 스탠스 헬스케어를 위한 증강현실 디스플레이 장치 및 이를 이용한 헬스케어 시스템
KR20200129327A (ko) * 2019-05-08 2020-11-18 아이픽셀 주식회사 퍼스널 트레이닝 서비스 제공 방법 및 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Maybel Chan Thar 등, A Proposal of Yoga Pose Assessment Method Using Pose Detection for Self-Learning, 2019 ICAIT.(2019.11.06.) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102613638B1 (ko) * 2022-12-08 2023-12-14 주식회사 테렌즈랩스 단말에 설치된 어플리케이션 기반의 건강관리 시스템 및 방법
KR102566211B1 (ko) * 2022-12-15 2023-08-11 에버엑스 주식회사 인공 지능 자세 추정 모델 및 동작 분석 모델을 이용한 운동 치료 제공 방법, 그리고 시스템
WO2024128421A1 (ko) * 2022-12-15 2024-06-20 에버엑스 주식회사 인공 지능 자세 추정 모델 및 동작 분석 모델을 이용한 운동 치료 제공 방법, 그리고 시스템

Also Published As

Publication number Publication date
WO2023074980A1 (ko) 2023-05-04
US20230368401A1 (en) 2023-11-16
US11954869B2 (en) 2024-04-09

Similar Documents

Publication Publication Date Title
KR102266219B1 (ko) 퍼스널 트레이닝 서비스 제공 방법 및 시스템
KR102355008B1 (ko) 동작 인식 기반 상호작용 방법 및 기록 매체
CA3146658A1 (en) Interactive personal training system
JP5356690B2 (ja) ユーザの身体運動の範囲を追跡するための方法、システム、およびプログラム
KR101687252B1 (ko) 맞춤형 개인 트레이닝 관리 시스템 및 방법
US20220072381A1 (en) Method and system for training users to perform activities
US20220296966A1 (en) Cross-Platform and Connected Digital Fitness System
US8371989B2 (en) User-participating type fitness lecture system and fitness training method using the same
Rishan et al. Infinity yoga tutor: Yoga posture detection and correction system
US20220176201A1 (en) Methods and systems for exercise recognition and analysis
US20220080260A1 (en) Pose comparison systems and methods using mobile computing devices
WO2017011818A1 (en) Sensor and media event detection and tagging system
KR102161034B1 (ko) 운동강의 제공 시스템 및 이를 이용한 운동강의 제공 방법
US11682157B2 (en) Motion-based online interactive platform
US20210069550A1 (en) Autonomous athlete data correlation
US20230285806A1 (en) Systems and methods for intelligent fitness solutions
US20230021945A1 (en) Systems and methods for dynamically generating exercise playlist
WO2022104637A1 (zh) 视频剪辑装置、方法、可移动平台、云台和硬件设备
US20240042281A1 (en) User experience platform for connected fitness systems
US20140118522A1 (en) Dance learning system using a computer
JP6999543B2 (ja) インタラクティブスキルトレーニングコンテンツの配信への応用を含む、身体的に実行されるスキルの分析を可能にするように構成されるフレームワークおよび方法
WO2023221233A1 (zh) 交互式镜面装置、系统及方法
US20240135617A1 (en) Online interactive platform with motion detection
CN117423166B (zh) 一种根据人体姿态图像数据的动作识别方法及系统
KR102607496B1 (ko) 홈 트레이닝 서비스 제공 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant