KR101937040B1 - Online method of estimating a user's quantity of motion - Google Patents

Online method of estimating a user's quantity of motion Download PDF

Info

Publication number
KR101937040B1
KR101937040B1 KR1020170091839A KR20170091839A KR101937040B1 KR 101937040 B1 KR101937040 B1 KR 101937040B1 KR 1020170091839 A KR1020170091839 A KR 1020170091839A KR 20170091839 A KR20170091839 A KR 20170091839A KR 101937040 B1 KR101937040 B1 KR 101937040B1
Authority
KR
South Korea
Prior art keywords
user
exercise
demonstrator
activity
calculating
Prior art date
Application number
KR1020170091839A
Other languages
Korean (ko)
Inventor
윤흥식
윤희두
Original Assignee
윤흥식
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤흥식 filed Critical 윤흥식
Priority to KR1020170091839A priority Critical patent/KR101937040B1/en
Application granted granted Critical
Publication of KR101937040B1 publication Critical patent/KR101937040B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N5/225—

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Child & Adolescent Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention provides a method performed by a server to estimate an exercise amount of a user without wearing a sensor or the like. The method comprises: a step of transmitting multimedia content related to an exercise demonstration of an exercise demonstrator to a client terminal via a network based on a request from the client terminal; a step of receiving an exercise image of a user photographed by synchronizing with the multimedia content from the client terminal via the network; a step of calculating the user′s degree of activity from the exercise image of the user; a step of using the user′s degree of activity, a measurement of the amount of exercise consumed by the exercise demonstrator during the exercise demonstration, and the degree of activity of the exercise demonstrator calculated from the multimedia content to calculate an estimate of the user′s amount of exercise; and a step of transmitting information on the estimate of the exercise amount of the user to the client terminal via the network.

Description

온라인 기반의 사용자 운동량 추정 방법{ONLINE METHOD OF ESTIMATING A USER'S QUANTITY OF MOTION}BACKGROUND OF THE INVENTION 1. Field of the Invention < RTI ID = 0.0 > [0001] <

본 개시는 사용자의 운동량을 추정하는 온라인 기반의 기술에 관한 것이다.This disclosure relates to an on-line technology for estimating a user's momentum.

계속된 기술 발전에 힘입어 현대인들의 삶은 나날이 윤택해지고 있으나 그러한 삶의 윤택함은 오히려 신체 활동의 감소를 야기시키게 되었다. 이 때문에 현대인들은 건강한 생활을 영위하기 위해 인위적인 운동량 확보의 필요성을 절실히 느끼고 있고 피트니스 센터에서 퍼스널 트레이너를 이용하여 운동하는 사람들도 크게 증가하고 있다. 그러나 피트니스 센터에서 퍼스널 트레이너를 이용하여 운동을 하는 데에는 고가의 비용이 들고 시간적 제약도 따르므로 상당 수의 사람들은 여전히 혼자서 운동을 하고 있는 실정이다. 이러한 실정에 맞추어 집에서 운동을 수행하는 홈 트레이닝(예컨대, 시뮬레이션 등)에 대한 인기가 높아지고 있다. 홈 트레이닝은 트레이닝 애플리케이션을 스마트폰 등으로 다운받아 실행함으로써 피트니스 센터를 방문하지 않아도 운동을 수행할 수 있는, 퍼스널 트레이닝에 대한 좋은 대안이 되고 있다.Thanks to the continuous technological development, modern people 's life is getting better day by day, but the lushness of such life has caused a decrease of physical activity. Because of this, modern people feel the necessity of securing an artificial momentum in order to live a healthy life, and the number of people exercising with personal trainer at the fitness center is also increasing. However, exercise with personal trainer at the fitness center is costly and time constrained, so many people are still exercising alone. In accordance with this situation, home training (e.g., simulation, etc.) for performing exercise at home is becoming popular. Home training is a good alternative to personal training, which allows you to perform exercises without having to visit the fitness center by downloading and running the training application on a smartphone or the like.

본 개시는 사용자가 운동을 수행함에 있어 센서 등을 착용하지 않고도 소모한 운동량 추정치를 알 수 있도록 해 주는 온라인 기반의 사용자 운동량 추정 방법을 제공하는 것이다.The present disclosure provides an on-line user-based momentum estimation method that allows a user to know the estimated momentum consumed without wearing a sensor or the like in performing a motion.

일 측면에서, 사용자의 운동량을 추정하기 위해 서버에서 수행되는 방법이 제공된다. 본 방법은, 클라이언트 단말로부터의 요청에 기반하여 운동 시범자의 운동 시범에 관한 멀티미디어 컨텐츠를 상기 클라이언트 단말로 네트워크를 통해 전송하는 단계, 상기 멀티미디어 컨텐츠에 동기되어 촬영된 사용자의 운동 영상을 상기 클라이언트 단말로부터 상기 네트워크를 통해 수신하는 단계, 상기 사용자의 운동 영상으로부터 상기 사용자의 활동도(degree of activity)를 계산하는 단계, 상기 사용자의 활동도, 상기 운동 시범자가 상기 운동 시범 중에 소모한 운동량의 측정치 및 상기 멀티미디어 컨텐츠로부터 계산된 상기 운동 시범자의 활동도를 이용하여 상기 사용자의 운동량 추정치를 계산하는 단계, 및 상기 사용자의 운동량 추정치에 관한 정보를 상기 네트워크를 통해 상기 클라이언트 단말로 전송하는 단계를 포함할 수 있다.In one aspect, a method is provided that is performed in a server to estimate a user's momentum. The method comprises the steps of transmitting multimedia contents related to exercise demonstration of a exercise demonstrator through a network to a client terminal based on a request from a client terminal, receiving a motion image of a user photographed in synchronism with the multimedia contents from the client terminal Calculating a degree of activity of the user from the motion image of the user, measuring the activity of the user, a measure of the amount of exercise consumed by the exercise demonstrator during the exercise demonstration, Calculating an exercise amount estimate of the user using the activity level of the exercise demonstrator calculated from the multimedia contents, and transmitting information on the exercise amount estimate of the user to the client terminal through the network .

일 실시예에서, 상기 사용자의 운동 영상은 영상 프레임들을 포함하며, 상기 사용자의 운동 영상으로부터 상기 사용자의 활동도를 계산하는 단계는, 상기 사용자의 운동 영상을 영상 프레임 별로 분석하여 상기 사용자의 활동도를 계산하는 단계를 포함한다.In one embodiment, the motion image of the user includes image frames, and the step of calculating the activity of the user from the motion image of the user includes analyzing the motion image of the user according to image frames, .

일 실시예에서, 상기 사용자의 운동 영상을 영상 프레임 별로 분석하여 상기 사용자의 활동도를 계산하는 단계는, 상기 영상 프레임들의 각각에서 상기 사용자의 움직임을 특징짓는 특징점들을 식별하는 단계, 및 상기 영상 프레임들에 걸쳐 상기 특징점들이 이동한 거리들에 따라 상기 사용자의 활동도를 계산하는 단계를 포함한다.In one embodiment, the step of analyzing the motion image of the user for each image frame to calculate the activity of the user includes the steps of: identifying feature points characterizing the movement of the user in each of the image frames; And computing the activity of the user according to the distances the feature points have moved through.

일 실시예에서, 상기 사용자의 운동 영상은 3차원 카메라에 의해 획득한 3차원 영상이며, 상기 특징점들은 인체의 골격점들이다.In one embodiment, the user's motion image is a three-dimensional image acquired by a three-dimensional camera, and the feature points are skeletal points of the human body.

일 실시예에서, 상기 사용자의 운동 영상은 2차원 카메라에 의해 획득한 2차원 영상이며, 상기 영상 프레임들의 각각에서 상기 사용자의 움직임을 특징짓는 특징점들을 식별하는 단계는, 상기 영상 프레임들의 각각에서 상기 사용자를 나타내는 영역을 식별하는 단계, 및 상기 해당 프레임에서의 상기 사용자를 나타내는 영역에서 상기 특징점들을 식별하는 단계를 포함한다.In one embodiment, the user's motion image is a two-dimensional image obtained by a two-dimensional camera, and the step of identifying feature points that characterize the motion of the user in each of the image frames comprises: Identifying an area representing a user, and identifying the feature points in an area representing the user in the frame.

일 실시예에서, 상기 사용자의 운동 영상을 영상 프레임 별로 분석하여 상기 사용자의 활동도를 계산하는 단계는, 상기 영상 프레임들의 각각에서 상기 사용자를 나타내는 영역을 식별하는 단계, 및 상기 영상 프레임들에 걸친 상기 식별된 영역들의 면적 변화율에 따라 상기 사용자의 활동도를 계산하는 단계를 포함한다.In one embodiment, the step of analyzing the user's motion image by image frame to calculate the activity of the user comprises: identifying an area representing the user in each of the image frames; And calculating the activity of the user according to the area change rate of the identified areas.

일 실시예에서, 상기 운동 시범자가 상기 운동 시범 중에 소모한 운동량의 측정치는 상기 운동 시범자가 상기 운동 시범 중에 착용한 하나 이상의 센서에 의해 측정된 측정치이다.In one embodiment, a measure of the amount of exercise the exercise demonstrator consumes during the exercise demonstration is a measure measured by at least one sensor the exercise demonstrator wore during the exercise demonstration.

다른 측면에서, 사용자의 운동량을 추정하기 위해 클라이언트 단말에서 수행되는 방법이 제공된다. 본 방법은, 운동 시범자의 운동 시범에 관한 멀티미디어 컨텐츠를 요청하는 메시지를 네트워크를 통해 서버로 전송하는 단계, 상기 서버로부터 상기 네트워크를 통해 상기 멀티미디어 컨텐츠를 수신하는 단계, 상기 서버로부터 상기 네트워크를 통해 상기 운동 시범자가 상기 운동 시범 중에 소모한 운동량의 측정치에 관한 정보 및 상기 멀티미디어 컨텐츠로부터 계산된 상기 운동 시범자의 활동도에 관한 정보를 수신하는 단계, 상기 멀티미디어 컨텐츠를 재생하는 단계, 상기 멀티미디어 컨텐츠가 재생되는 동안 사용자의 운동 영상을 촬영하는 단계, 상기 사용자의 운동 영상으로부터 상기 사용자의 활동도를 계산하는 단계, 및 상기 사용자의 활동도, 상기 운동 시범자가 상기 운동 시범 중에 소모한 운동량의 측정치 및 상기 운동 시범자의 활동도를 이용하여 상기 사용자의 운동량 추정치를 계산하는 단계를 포함할 수 있다.In another aspect, a method is provided that is performed at a client terminal to estimate a user's momentum. The method includes the steps of: transmitting a message requesting multimedia contents about a demonstration of a sports demonstration player to a server via a network; receiving the multimedia content from the server through the network; Receiving information on a measurement value of the exercise amount consumed during the exercise demonstration by the exercise demonstrator and information on the activity level of the exercise demonstrator calculated from the multimedia content, reproducing the multimedia content, reproducing the multimedia content Calculating the activity of the user from the user's motion image; and calculating the activity of the user, a measure of the amount of exercise consumed by the exercise demonstrator during the exercise demonstration, Activity activity And calculating the user's momentum estimates using the motion estimates.

일 실시예에서, 상기 사용자의 운동 영상은 영상 프레임들을 포함하며, 상기 사용자의 운동 영상으로부터 상기 사용자의 활동도를 계산하는 단계는, 상기 사용자의 운동 영상을 영상 프레임 별로 분석하여 상기 사용자의 활동도를 계산하는 단계를 포함한다.In one embodiment, the motion image of the user includes image frames, and the step of calculating the activity of the user from the motion image of the user includes analyzing the motion image of the user according to image frames, .

일 실시예에서, 상기 사용자의 운동 영상을 영상 프레임 별로 분석하여 상기 사용자의 활동도를 계산하는 단계는, 상기 영상 프레임들의 각각에서 상기 사용자의 움직임을 특징짓는 특징점들을 식별하는 단계, 및 상기 영상 프레임들에 걸쳐 상기 특징점들이 이동한 거리들에 따라 상기 사용자의 활동도를 계산하는 단계를 포함한다.In one embodiment, the step of analyzing the motion image of the user for each image frame to calculate the activity of the user includes the steps of: identifying feature points characterizing the movement of the user in each of the image frames; And computing the activity of the user according to the distances the feature points have moved through.

일 실시예에서, 상기 사용자의 운동 영상은 3차원 카메라에 의해 획득한 3차원 영상이며, 상기 특징점들은 인체의 골격점들이다.In one embodiment, the user's motion image is a three-dimensional image acquired by a three-dimensional camera, and the feature points are skeletal points of the human body.

일 실시예에서, 상기 사용자의 운동 영상은 2차원 카메라에 의해 획득한 2차원 영상이며, 상기 영상 프레임들의 각각에서 상기 사용자의 움직임을 특징짓는 특징점들을 식별하는 단계는, 상기 영상 프레임들의 각각에서 상기 사용자를 나타내는 영역을 식별하는 단계, 및 상기 해당 프레임에서의 상기 사용자를 나타내는 영역에서 상기 특징점들을 식별하는 단계를 포함한다.In one embodiment, the user's motion image is a two-dimensional image obtained by a two-dimensional camera, and the step of identifying feature points that characterize the motion of the user in each of the image frames comprises: Identifying an area representing a user, and identifying the feature points in an area representing the user in the frame.

일 실시예에서, 상기 사용자의 운동 영상을 영상 프레임 별로 분석하여 상기 사용자의 활동도를 계산하는 단계는, 상기 영상 프레임들의 각각에서 상기 사용자를 나타내는 영역을 식별하는 단계, 및 상기 영상 프레임들에 걸친 상기 식별된 영역들의 면적 변화율에 따라 상기 사용자의 활동도를 계산하는 단계를 포함한다.In one embodiment, the step of analyzing the user's motion image by image frame to calculate the activity of the user comprises: identifying an area representing the user in each of the image frames; And calculating the activity of the user according to the area change rate of the identified areas.

일 실시예에서, 상기 운동 시범자가 상기 운동 시범 중에 소모한 운동량의 측정치는 상기 운동 시범자가 상기 운동 시범 중에 착용한 하나 이상의 센서에 의해 측정된 측정치이다.In one embodiment, a measure of the amount of exercise the exercise demonstrator consumes during the exercise demonstration is a measure measured by at least one sensor the exercise demonstrator wore during the exercise demonstration.

또 다른 측면에서, 사용자의 운동량을 추정하기 위해 클라이언트 단말에서 수행되는 방법이 제공된다. 본 방법은, 운동 시범자의 운동 시범에 관한 멀티미디어 컨텐츠를 요청하는 메시지를 네트워크를 통해 서버로 전송하는 단계, 상기 서버로부터 상기 네트워크를 통해 상기 멀티미디어 컨텐츠 및 상기 운동 시범자가 상기 운동 시범 중에 소모한 운동량의 측정치에 관한 정보를 수신하는 단계, 상기 멀티미디어 컨텐츠를 재생하는 단계, 상기 멀티미디어 컨텐츠가 재생되는 동안 사용자의 운동 영상을 촬영하는 단계, 상기 촬영된 사용자의 운동 영상으로부터 상기 사용자의 활동도를 계산하는 단계, 상기 멀티미디어 컨텐츠로부터 상기 운동 시범자의 활동도를 계산하는 단계, 및 상기 사용자의 활동도, 상기 운동 시범자가 상기 운동 시범 중에 소모한 운동량의 측정치 및 상기 운동 시범자의 활동도를 이용하여 상기 사용자의 운동량 추정치를 계산하는 단계를 포함할 수 있다.In yet another aspect, a method is provided that is performed at a client terminal to estimate a user's momentum. The method includes the steps of transmitting a message requesting multimedia contents about a demonstration of a exercise demonstrator to a server via a network, transmitting the multimedia content and the exercise amount of the exercise demonstrator to the server through the network, The method includes receiving information about a measurement value, reproducing the multimedia content, photographing a user's motion image while the multimedia content is being reproduced, calculating an activity degree of the user from the motion image of the photographed user, A step of calculating an activity level of the exercise demonstrator from the multimedia contents, and a step of calculating an activity level of the user based on the activity level of the user, the measurement value of the exercise amount consumed during the exercise demonstration, To calculate an estimate Step < / RTI >

일 실시예에서, 상기 멀티미디어 컨텐츠는 영상 프레임들을 포함하며, 상기 멀티미디어 컨텐츠로부터 상기 운동 시범자의 활동도를 계산하는 단계는, 상기 멀티미디어 컨텐츠를 영상 프레임 별로 분석하여 상기 운동 시범자의 활동도를 계산하는 단계를 포함한다.In one embodiment, the multimedia content includes image frames, and the step of calculating the activity level of the exercise demonstrator from the multimedia content may include analyzing the multimedia content for each image frame to calculate the activity level of the exercise demonstrator .

일 실시예에서, 상기 멀티미디어 컨텐츠를 영상 프레임 별로 분석하여 상기 운동 시범자의 활동도를 계산하는 단계는, 상기 영상 프레임들의 각각에서 상기 운동 시범자의 움직임을 특징짓는 특징점들을 식별하는 단계, 및 상기 영상 프레임들에 걸쳐 상기 특징점들이 이동한 거리들에 따라 상기 운동 시범자의 활동도를 계산하는 단계를 포함한다.In one embodiment, the step of analyzing the multimedia content by image frame to calculate the activity of the exercise demonstrator may include identifying feature points that characterize the motion of the exercise demonstrator in each of the image frames, And calculating the activity of the exercise demonstrator according to distances over which the feature points have moved.

일 실시예에서, 상기 멀티미디어 컨텐츠는 3차원 카메라에 의해 획득한 3차원 영상이며, 상기 특징점들은 인체의 골격점들이다.In one embodiment, the multimedia content is a 3D image acquired by a 3D camera, and the feature points are skeletal points of a human body.

일 실시예에서, 상기 멀티미디어 컨텐츠는 2차원 카메라에 의해 획득한 2차원 영상이며, 상기 영상 프레임들의 각각에서 상기 운동 시범자의 움직임을 특징짓는 특징점들을 식별하는 단계는, 상기 영상 프레임들의 각각에서 상기 운동 시범자를 나타내는 영역을 식별하는 단계, 및 상기 해당 프레임에서의 상기 운동 시범자를 나타내는 영역에서 상기 특징점들을 식별하는 단계를 포함한다.In one embodiment, the multimedia content is a two-dimensional image obtained by a two-dimensional camera, wherein identifying feature points characterizing the motion of the motion demonstrator in each of the image frames comprises: Identifying an area representing the demonstrator, and identifying the feature points in an area representing the motion demonstrator in the frame.

일 실시예에서, 상기 멀티미디어 컨텐츠를 영상 프레임 별로 분석하여 상기 운동 시범자의 활동도를 계산하는 단계는, 상기 영상 프레임들의 각각에서 상기 운동 시범자를 나타내는 영역을 식별하는 단계, 및 상기 영상 프레임들에 걸친 상기 식별된 영역들의 면적 변화율에 따라 상기 운동 시범자의 활동도를 계산하는 단계를 포함한다.In one embodiment, the step of analyzing the multimedia content by image frame to calculate the activity of the motion demonstrator may comprise: identifying an area representing the motion demonstrator in each of the image frames; And calculating the activity of the exercise demonstrator according to the rate of area change of the identified regions.

본 개시에 따르면, 운동을 수행하는 사용자가 센서 등을 착용하지 않고도 소모한 운동량 추정치를 용이하게 파악할 수 있다는 기술적 효과가 있다.According to the present disclosure, there is a technical effect that a user who performs a motion can easily grasp the estimated amount of exercise consumed without wearing a sensor or the like.

도 1은 본 발명의 일 실시예에 따른 온라인 기반의 사용자 운동량 추정 장치가 클라이언트 단말들과 접속되는 네트워크 다이어그램을 도시한 도면이다.
도 2a는 본 발명의 일 실시예에 따른 온라인 기반의 사용자 운동량 추정 장치의 블록도를 도시한 도면이다.
도 2b는 본 발명의 일 실시예에 따른 멀티미디어 컨텐츠 테이블을 예시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 클라이언트 단말의 블록도를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따라 사용자의 운동량을 추정하기 위해 온라인 기반의 사용자 운동량 추정 장치에서 수행되는 방법을 예시하기 위한 흐름도를 도시한 도면이다.
도 5는 본 발명에 따라 운동 시범에 관한 멀티미디어 컨텐츠를 선택할 수 있도록 해 주는 선택 화면의 일 실시예를 예시하는 도면이다.
도 6은 재생되는 멀티미디어 컨텐츠와 촬영되고 있는 자신의 운동하는 모습을 클라이언트 단말의 디스플레이 화면에 함께 표시하는 방식의 일 실시예를 예시하는 도면이다.
도 7은 사용자의 운동 영상으로부터 사용자의 활동도를 계산하는 방식의 일 실시예를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따라 사용자의 운동량을 추정하기 위해 클라이언트 단말에서 수행되는 방법을 예시하기 위한 흐름도를 도시한 도면이다.
도 9는 본 발명의 다른 실시예에 따라 사용자의 운동량을 추정하기 위해 클라이언트 단말에서 수행되는 방법을 예시하기 위한 흐름도를 도시한 도면이다.FIG. 1 is a diagram illustrating a network diagram in which an online-based user momentum estimation apparatus according to an embodiment of the present invention is connected to client terminals.
FIG. 2A is a block diagram of an online-based user momentum estimating apparatus according to an embodiment of the present invention.
FIG. 2B is a diagram illustrating a multimedia content table according to an exemplary embodiment of the present invention. Referring to FIG.
3 is a block diagram of a client terminal according to an embodiment of the present invention.
4 is a flowchart illustrating a method performed by an online-based user momentum estimating apparatus for estimating a user's momentum according to an embodiment of the present invention.
5 is a diagram illustrating an embodiment of a selection screen that allows selection of multimedia content related to exercise demonstration according to the present invention.
6 is a diagram illustrating an embodiment of a method of simultaneously displaying the multimedia content being reproduced and the motion of the user being photographed on the display screen of the client terminal.
7 is a diagram for explaining an embodiment of a method of calculating a user activity from a user's motion image.
8 is a flowchart illustrating a method performed by a client terminal to estimate a user's amount of exercise according to an embodiment of the present invention.
9 is a flowchart illustrating a method performed by a client terminal to estimate a user's amount of exercise according to another embodiment of the present invention.

본 발명의 이점들과 특징들 그리고 이들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해 질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 본 실시예들은 단지 본 발명의 개시가 완전하도록 하며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려 주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of attaining them will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the concept of the invention to those skilled in the art. To fully disclose the scope of the invention to a person skilled in the art, and the invention is only defined by the scope of the claims.

본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로 본 발명을 한정하려는 의도에서 사용된 것이 아니다. 예를 들어, 단수로 표현된 구성 요소는 문맥상 명백하게 단수만을 의미하지 않는다면 복수의 구성 요소를 포함하는 개념으로 이해되어야 한다. 또한, 본 발명의 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐이고, 이러한 용어의 사용에 의해 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성이 배제되는 것은 아니다. 또한, 본 명세서에 기재된 실시예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하는 기능적 부분을 의미할 수 있다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the present invention. For example, an element expressed in singular < Desc / Clms Page number 5 > terms should be understood to include a plurality of elements unless the context clearly dictates a singular value. In addition, in the specification of the present invention, it is to be understood that terms such as "include" or "have" are intended to specify the presence of stated features, integers, steps, operations, components, The use of the term does not exclude the presence or addition of one or more other features, numbers, steps, operations, elements, parts or combinations thereof. Further, in the embodiments described herein, 'module' or 'sub-unit' may mean at least one function or a functional part performing an operation.

덧붙여, 다르게 정의되지 않는 한 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 발명의 명세서에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.In addition, all terms used herein, including technical or scientific terms, unless otherwise defined, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be construed as meaning consistent with meaning in the context of the related art and may be interpreted in an ideal or overly formal sense unless explicitly defined in the specification of the present invention It does not.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세히 설명한다. 다만, 이하의 설명에서는 본 발명의 요지를 불필요하게 흐릴 우려가 있는 경우, 널리 알려진 기능이나 구성에 관한 구체적 설명은 생략하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, well-known functions or constructions will not be described in detail if they obscure the subject matter of the present invention.

도 1은 본 발명의 일 실시예에 따른 온라인 기반의 사용자 운동량 추정 장치가 클라이언트 단말들과 접속되는 네트워크 다이어그램을 도시한 도면이다.FIG. 1 is a diagram illustrating a network diagram in which an online-based user momentum estimation apparatus according to an embodiment of the present invention is connected to client terminals.

도 1을 참조하면, 사용자는 클라이언트 단말(120-1 내지 120-n)을 이용해 본 발명의 일 실시예에 따른 온라인 기반의 사용자 운동량 추정 장치(100)에 네트워크(150)를 통해 접속하여 장치(100)에서 제공하는 웹페이지들/윈도우 창들을 통해 운동 시범자의 운동 시범에 관한 다양한 멀티미디어 컨텐츠를 브라우징하고 이들 중 어느 하나의 멀티미디어 컨텐츠를 다운로드 요청할 수 있다. 사용자는 클라이언트 단말(120-1 내지 120-n) 상에서 다운로드 받은 멀티미디어 컨텐츠를 재생하고 멀티미디어 컨텐츠가 재생되는 동안 운동을 하면서 영상 촬영이 이루어지도록 한다. 사용자가 클라이언트 단말(120-1 내지 120-n)을 이용해 촬영된 사용자의 운동 영상을 네트워크(150)를 통해 장치(100)로 전송하면, 장치(100)는 사용자의 운동량 추정치를 계산하여 이에 관한 정보를 네트워크(150)를 통해 클라이언트 단말(120-1 내지 120-n)로 전송하여 사용자가 확인할 수 있도록 한다.1, a user accesses an online-based user momentum estimation apparatus 100 according to an embodiment of the present invention through a network 150 using client terminals 120-1 to 120-n, 100 to browse various multimedia contents related to the exercise demonstration of the exercise demonstrator through the web pages / window windows and request downloading of any one of the multimedia contents. The user reproduces the multimedia contents downloaded on the client terminals 120-1 to 120-n and performs the motion picture while the multimedia contents are being reproduced. When a user transmits a motion image of a user photographed using the client terminals 120-1 to 120-n to the apparatus 100 via the network 150, the apparatus 100 calculates an exercise amount estimate of the user, Information is transmitted to the client terminals 120-1 to 120-n through the network 150 so that the user can confirm the information.

클라이언트 단말(120-1 내지 120-n)은 무선 랜 및/또는 유선 랜 모듈을 구비한 데스크탑(desktop) 또는 랩탑(laptop) PC, 태블릿 PC, 노트 북, 노트 패드 등의 휴대용 단말, 스마트 폰 등과 같은 다양한 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치, 워크스테이션, IPTV(Internet Protocol Television), 인터넷 TV(Internet Television), 지상파 TV, 케이블 TV 등의 스마트 TV 등을 포함할 수 있으나, 클라이언트 단말의 종류가 이에 제한되는 것은 아니다.The client terminals 120-1 to 120-n may be a desktop or laptop PC having a wireless LAN and / or a wired LAN module, a portable terminal such as a tablet PC, a notebook, a notepad, (Internet Protocol Television), an Internet TV, a terrestrial TV, a cable TV, and the like. However, the client terminal 100 may include various types of wireless communication devices, such as a handheld device, Is not limited thereto.

클라이언트 단말(120-1 내지 120-n)은 웹 브라우저를 구비할 수 있고 이를 할용하여, 네트워크(150)을 통하여 장치(100)에 엑세스하여 장치(100)에서 제공하는 웹 페이지들을 브라우징 및 검색할 수 있도록 구성될 수 있다. 클라이언트 단말(120-1 내지 120-n)에 탑재 가능한 웹 브라우저로는, 오페라(Opera), 파이어폭스(FireFox), 사파리(Safari), 인터넷 익스플로러(Internet Explorer), 마이크로소프트 엣지(Microsoft Edge), 구글 크롬(Google Chrome), 네비게이터(Navigator) 등의 PC용 웹 브라우저(web browser) 또는 오페라 미니(Opera Mini), 파이어폭스 모바일(Firefox Mobile), 모바일 사파리(Mobile Safari), 구글 모바일(Google Mobile) 등의 모바일용 웹 브라우저를 들 수 있다.The client terminals 120-1 to 120-n may include a web browser and access the device 100 through the network 150 to browse and search web pages provided by the device 100 Or < / RTI > Web browsers that can be installed in the client terminals 120-1 to 120-n include Opera, FireFox, Safari, Internet Explorer, Microsoft Edge, Google Chrome, Google Navigator and other web browser or Opera Mini, Firefox Mobile, Mobile Safari, Google Mobile, And the like.

클라이언트 단말(120-1 내지 120-n)은, 예컨대 H.264 디코더를 구현하는 소프트웨어 모듈을 포함하는 미디어 재생기를 탑재할 수 있다. 일 실시예에서, 이러한 미디어 재생기는 그래픽 프로세서(graphic processor)에 의해 구현될 수 있다. 일 실시예에서 클라이언트 단말(120-1 내지 120-n)은 동영상 촬영이 가능한 2D 및/또는 3D 카메라를 탑재할 수 있다. 일 실시예에서 클라이언트 단말(120-1 내지 120-n)은 2D 및/또는 3D 카메라를 탈부착 가능한 구조로 구성될 수 있다.The client terminals 120-1 through 120-n may be equipped with a media player including, for example, a software module implementing an H.264 decoder. In one embodiment, such a media player may be implemented by a graphics processor. In one embodiment, the client terminals 120-1 to 120-n may mount 2D and / or 3D cameras capable of capturing moving images. In one embodiment, the client terminals 120-1 to 120-n may be configured to be capable of attaching and detaching 2D and / or 3D cameras.

장치(100)는 하나 또는 그 이상의 프록시 서버(proxy server)를 포함할 수 있는 하나 이상의 서버급 컴퓨터로 구현될 수 있다. 일 실시예에서, 장치(100)는 비디오 컨텐츠 등의 멀티미디어 컨텐츠를 요청 기반으로 클라이언트(155)에 제공하기 위한 미디어 스트리밍 서버(media streaming server)로서 구현될 수 있다. 일 실시예에서, 장치(100)는 부하 균형 PC-클러스터 VOD 서버와 같은 PC-클러스터 기반의 VOD 서버로 구현될 수 있다. 장치(100)는 자기 메모리, 자기 디스크 및 광 디스크 중 어느 하나로 구현된 데이터베이스와 같은 대용량 저장 장치를 포함할 수 있다. 데이터베이스에는 운동 시범자의 운동 시범에 관한 다수의 멀티미디어 컨텐츠가 저장될 수 있다.The device 100 may be implemented as one or more server-class computers that may include one or more proxy servers. In one embodiment, the device 100 may be implemented as a media streaming server for providing multimedia content, such as video content, to a client 155 on a request basis. In one embodiment, the device 100 may be implemented as a PC-cluster based VOD server, such as a load balanced PC-cluster VOD server. Apparatus 100 may include a mass storage device such as a database embodied in either magnetic memory, magnetic disk, or optical disk. The database may store a plurality of multimedia contents related to exercise demonstration exercises.

네트워크(150)는 인터넷(Internet), 와이파이(WiFi) 네트워크, 근거리 통신망(Local Area Network: LAN), 광역 통신망(Wide Area Network: WAN), 부가가치 통신망(Value Added Network: VAN), 개인 근거리 무선통신(Personal Area Network: PAN), PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handy-phone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 또는 4G(LTE/LTE-Advanced) 등의 이동 통신망 또는 위성 통신망 등과 같은 모든 종류의 유/무선 네트워크를 포함할 수 있으나, 네트워크(150)의 종류가 이에 한정되는 것은 아니다.The network 150 may be one or more of the following: Internet, a WiFi network, a local area network (LAN), a wide area network (WAN), a value added network (VAN) (Personal Digital Assistant), a Personal Digital Assistant (PDA), a Personal Digital Assistant (IMT), a Personal Digital Assistant (PDA), a personal digital assistant (PDA) Mobile communication network such as Mobile Telecommunication -2000, CDMA (Code Division Multiple Access) -2000, W-CDMA (W-CDMA), Wibro (Wireless Broadband Internet) or 4G (LTE / LTE- And the like, but the type of the network 150 is not limited thereto.

도 2a는 본 발명의 일 실시예에 따른 온라인 기반의 사용자 운동량 추정 장치의 블록도를 도시한 도면이다.FIG. 2A is a block diagram of an online-based user momentum estimating apparatus according to an embodiment of the present invention.

도시된 바와 같이, 본 발명의 일 실시예에 따른 장치(100)는 데이터베이스(210)를 포함할 수 있다. 일 실시예에서, 데이터베이스(210)는 디스크 드라이브, 자기 디스크, 광 디스크 또는 다른 적절한 기억 장치를 이용하여 구현될 수 있다. 데이터베이스(210)는 운동 시범자(전문 강사 등)에 의한 다양한 운동 카테고리의 운동 시범에 관한 멀티미디어 컨텐츠를 저장할 수 있다. 이러한 멀티미디어 컨텐츠는, 예컨대 에어로빅 레슨에 관한 동영상, 요가 레슨에 관한 동영상 등을 포함할 수 있다. 데이터베이스(210)는 저장된 멀티미디어 컨텐츠들의 각각에 등장하는 운동 시범자가 센서 등을 착용하고 측정한 운동량의 실 측정치에 관한 정보와 해당 멀티미디어 컨텐츠로부터 계산된 해당 운동 시범자의 활동도에 관한 정보를 해당 멀티미디어 컨텐츠와 연관시켜 저장할 수 있다. 일 실시예에서 데이터베이스(210)는 위와 같은 데이터들을 멀티미디어 컨텐츠 테이블에 의해 관리할 수 있다. 멀티미디어 컨텐츠 테이블의 일 실시예를 도 2b에 예시하였다. 도 2b에 도시된 멀티미디어 컨텐츠 테이블(270)은 단지 예시의 목적상 데이터를 서로 연관시켜 저장하는 방식을 개념적으로 도시한 것일 뿐이고 도 2b에 도시된 사항이 저장된 데이터의 구조를 예시하거나 암시하는 것이 아님을 인식하여야 할 것이다.As shown, the device 100 in accordance with an embodiment of the present invention may include a database 210. In one embodiment, the database 210 may be implemented using a disk drive, magnetic disk, optical disk, or other suitable storage device. The database 210 may store multimedia content related to exercise demonstrations of various exercise categories by exercise demonstrators (such as professional instructors). Such multimedia contents may include, for example, videos related to aerobic lessons, videos related to yoga lessons, and the like. The database 210 stores information on the actual measurement value of the exercise amount measured by the exercise demonstrator wearing the sensor or the like and the activity degree of the corresponding exercise demonstrator calculated from the corresponding multimedia contents in the respective multimedia contents, And the like. In one embodiment, the database 210 may manage the above data by a multimedia content table. One embodiment of a multimedia content table is illustrated in FIG. 2B. The multimedia content table 270 shown in FIG. 2B is merely a conceptual illustration of a method of associating and storing data for illustrative purposes only, and the contents shown in FIG. 2B do not illustrate or imply a structure of the stored data. .

본 발명의 일 실시예에 따른 장치(100)는 웹 서버(220)를 더 포함할 수 있다. 웹 서버(220)는 데이터베이스(210)와 연동될 수 있다. 일 실시예에서, 웹 서버(220)는 대용량 기억 장치를 구비한 프로세서, 개인용 컴퓨터 또는 워크스테이션 등으로 구현될 수 있다. 통상, 대용량 기억 장치는 디스크 드라이브, 자기 디스크, 광 디스크 또는 다른 적절한 기억 장치를 포함할 수 있다. 웹 서버(220)는 클라이언트 단말(120-1 내지 120-n)에 의한 그로의 접속에 응답하여 클라이언트 단말(120-1 내지 120-n)에 적어도 하나의 웹 페이지/윈도우 창을 제공하도록 구성될 수 있다.The apparatus 100 according to an embodiment of the present invention may further include a web server 220. The web server 220 may be interlocked with the database 210. In one embodiment, the web server 220 may be implemented as a processor, personal computer, workstation, or the like with mass storage. In general, the mass storage device may comprise a disk drive, magnetic disk, optical disk, or other suitable storage device. The web server 220 is configured to provide at least one web page / window to the client terminals 120-1 through 120-n in response to its connection by the client terminals 120-1 through 120-n .

도시된 바와 같이, 웹 서버(220)는 제어부(226) 및 통신부(228)를 포함할 수 있다. 제어부(226)는 클라이언트 단말(120-1 내지 120-n)로부터의 요청에 기반하여 데이터베이스(210)에 저장된 운동 시범자의 운동 시범에 관한 멀티미디어 컨텐츠들 중 적어도 하나가 클라이언트 단말(120-1 내지 120-n)로 전송되도록 통신부(228)를 제어하도록 구성될 수 있다. 제어부(226)는 클라이언트 단말(120-1 내지 120-n)로부터 통신부(228)를 통해 사용자의 운동 영상을 수신하고, 수신된 사용자의 운동 영상으로부터 사용자의 활동도(degree of activity)를 계산하도록 더 구성될 수 있다. 제어부(226)는 멀티미디어 컨텐츠로부터 해당 멀티미디어 컨텐츠에 등장하는 운동 시범자의 활동도를 계산하거나 사용자의 운동 영상으로부터 사용자의 활동도를 계산하기 위해 멀티미디어 컨텐츠 및/또는 사용자의 운동 영상에 대해 다양한 영상 처리를 수행하도록 더 구성될 수 있다. 이러한 영상 처리는, 저역통과 필터링, 고역통과 필터링, 영상 개선(image enhancement), 윤곽선 검출(edge detection), 영상 세그멘테이션(image segmentation), 특징 추출(feature extraction) 등을 포함할 수 있으나 이에 제한되는 것은 아니다. 제어부(226)는 사용자의 활동도, 운동 시범자가 운동 시범 중에 소모한 운동량의 측정치 및 멀티미디어 컨텐츠로부터 계산된 운동 시범자의 활동도를 이용하여 사용자의 운동량 추정치를 계산하도록 더 구성될 수 있다. 제어부(226)는 사용자의 운동량 추정치에 관한 정보가 클라이언트 단말(120-1 내지 120-n)로 전송되도록 통신부(228)를 제어하도록 더 구성될 수 있다.As shown, the web server 220 may include a control unit 226 and a communication unit 228. The control unit 226 controls at least one of the multimedia contents related to the exercise demonstration of the exercise demonstrator stored in the database 210 based on the request from the client terminals 120-1 to 120- -n), as shown in FIG. The control unit 226 receives the user's motion image through the communication unit 228 from the client terminals 120-1 to 120-n and calculates the degree of activity of the user from the received motion image of the user Lt; / RTI > The control unit 226 performs various image processing on the multimedia contents and / or the user's motion image to calculate the activity level of the exercise demonstrator appearing in the corresponding multimedia content from the multimedia contents or to calculate the activity level of the user from the user's motion image Lt; / RTI > Such image processing may include, but is not limited to, low pass filtering, high pass filtering, image enhancement, edge detection, image segmentation, feature extraction, no. The controller 226 may further be configured to calculate the user's momentum estimate using the activity of the user, the measure of the amount of exercise the exercise demonstrator consumes during the exercise demonstration, and the activity of the exercise demonstrator calculated from the multimedia content. The control unit 226 may be further configured to control the communication unit 228 so that information on the user's momentum estimate is transmitted to the client terminals 120-1 to 120-n.

통신부(228)는 클라이언트 단말(120-1 내지 120-n)과 통신망(150)을 통해서, 예컨대 IP(Internet Protocol) 기반의 통신을 수행하기 위한 하드웨어 및 소프트웨어/펌웨어로 구현될 수 있다. 일 실시예에서, 통신부(228)는 TCP/IP 통신 프로토콜을 따르는 통신 인터페이스에 의해 구현될 수 있다.The communication unit 228 may be implemented with hardware and software / firmware for performing communication based on IP (Internet Protocol), for example, through the client terminals 120-1 to 120-n and the communication network 150. [ In one embodiment, the communication unit 228 may be implemented by a communication interface conforming to the TCP / IP communication protocol.

이상으로 설명한 웹 서버(220)의 실시예는, 하드웨어적 측면에서 응용 주문형 집적 회로(Application Specific Integrated Circuits: ASICs), 디지털 신호 처리기(Digital Signal Processors: DSPs), 디지털 신호 처리 소자(Digital Signal Processing Devices: DSPDs), 프로그램 가능 논리 소자(Programmable Logic Devices: PLDs), 현장 프로그램 가능 게이트 어레이(Field-Programmable Gate Arrays: FPGAs), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers) 및 마이크로 프로세서(microprocessors) 중 적어도 하나를 이용하여 구현될 수 있다. 절차나 단계 또는 기능을 포함하는 웹 서버(220)의 실시예들은 적어도 하나의 기능 또는 동작을 수행하게 하는, 하드웨어 플랫폼(platform) 상에서 실행 가능한 펌웨어(firmware)/소프트웨어 모듈로 구현될 수 있다. 소프트웨어 모듈은 적절한 프로그램(program) 언어로 쓰여진 소프트웨어 애플리케이션(application)에 의해 구현될 수 있다.The embodiments of the web server 220 described above may be implemented in hardware by application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices : DSPDs, programmable logic devices (PLDs), field-programmable gate arrays (FPGAs), processors, controllers, micro-controllers, And may be implemented using at least one of microprocessors. Embodiments of web server 220, including procedures, steps, or functions, may be implemented as firmware / software modules that are executable on a hardware platform that allows performing at least one function or operation. A software module may be implemented by a software application written in an appropriate program language.

도 3은 본 발명의 일 실시예에 따른 클라이언트 단말의 블록도를 도시한 도면이다.3 is a block diagram of a client terminal according to an embodiment of the present invention.

도 3에 도시된 바와 같이, 클라이언트 단말(120)은 디스플레이부(310), 입력 인터페이스(320), 제어부(330), 저장부(340) 및 통신부(350)를 포함할 수 있다. 입력 인터페이스(320)는 다양한 사용자 명령을 입력하거나 장치(100)에서 제공하는 웹 페이지/윈도우 창에서의 브라우징 및 메뉴 선택을 가능하도록 하는 하드웨어 및 소프트웨어 모듈로 구성될 수 있다. 입력 인터페이스(320)는 필요한 다양한 명령을 제어부(330)로 입력하거나, 3D 또는 2D 카메라를 이용하여 촬영된 사용자의 운동 영상을 저장부(340)로 입력하거나, 저장부(340)에 저장된 멀티미디어 컨텐츠 및/또는 사용자의 운동 영상의 일부 또는 전부를 지시하여 이에 따른 다양한 영상 처리를 수행하기 위해 유리하게 사용될 수 있다. 일 실시예에서, 입력 인터페이스(320)는 컴퓨터의 키보드(keyboard), 키패드(keypad), 터치패드(touchpad), 마우스(mouse) 등을 포함할 수 있으나, 입력 인터페이스의 종류가 이에 제한되는 것은 아니다. 예컨대, 입력 인터페이스(320)는 전술한 입력 장치들을 이용하여 제어 가능한 그래픽 사용자 인터페이스(Graphic User Interface)를 포함할 수도 있다. 디스플레이부(310)는 장치(100)로부터 제공받은 멀티미디어 컨텐츠, 사용자의 운동 영상 그리고 본 발명의 다양한 실시예에 따라 형성된 영상들을 디스플레이하기 위한 것으로, LCD 디스플레이, LED 디스플레이, AMOLED 디스플레이, CRT 디스플레이 등의 다양한 디스플레이 장치를 포함할 수 있다.3, the client terminal 120 may include a display unit 310, an input interface 320, a control unit 330, a storage unit 340, and a communication unit 350. The input interface 320 may be configured with hardware and software modules that enable various user commands to be entered or browse and menu selections in a web page / window provided by the device 100. The input interface 320 inputs various necessary commands to the control unit 330 or inputs a motion image of a user photographed using a 3D or 2D camera to the storage unit 340, And / or to direct some or all of the user ' s motion image and to perform various image processing accordingly. The input interface 320 may include a keyboard, a keypad, a touchpad, a mouse, etc. of the computer, but the type of the input interface is not limited thereto . For example, the input interface 320 may include a graphical user interface that can be controlled using the above-described input devices. The display unit 310 is for displaying multimedia contents provided from the apparatus 100, a user's motion image, and images formed according to various embodiments of the present invention. The display unit 310 may be an LCD display, an LED display, an AMOLED display, a CRT display And may include various display devices.

저장부(340)는 장치(100)로부터 다운로드 받은 다양한 운동 시범에 관한 멀티미디어 컨텐츠를 저장할 수 있다. 전술한 바와 같이 이러한 멀티미디어 컨텐츠는 에어로빅 레슨에 관한 동영상, 요가 레슨에 관한 동영상 등을 포함할 수 있다. 저장부(340)는 저장된 멀티미디어 컨텐츠들의 각각에 등장하는 운동 시범자가 센서 등을 착용하고 측정한 운동량의 실 측정치에 관한 정보와 해당 멀티미디어 컨텐츠로부터 계산된 해당 운동 시범자의 활동도에 관한 정보를 해당 멀티미디어 컨텐츠와 연관시켜 저장할 수 있다. 저장부(340)는 제어부(330)의 구현에 필요한 소프트웨어/펌웨어 등을 더 저장할 수 있다. 저장부(340)는 플래시 메모리 타입(flash memory type), 하드 디스크 타입(hard disk type), 멀티미디어 카드(MultiMedia Card: MMC), 카드 타입의 메모리(예를 들어, SD(Secure Digital) 카드 또는 XD(eXtream Digital) 카드 등), RAM(Random Access Memory), SRAM(Static Random Access Memory), ROM(Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크 및 광 디스크 중 어느 하나의 저장 매체로 구현될 수 있으나, 당업자라면 저장부(340)의 구현 형태가 이에 한정되는 것이 아님을 알 수 있을 것이다.The storage unit 340 may store multimedia contents related to various exercise demonstrations downloaded from the apparatus 100. As described above, such multimedia contents may include videos related to aerobic lessons, videos related to yoga lessons, and the like. The storage unit 340 stores information on the actual measurement value of the exercise amount measured by the exercise demonstrator wearing each sensor and the activity level of the corresponding exercise demonstrator calculated from the corresponding multimedia contents, Can be stored in association with the content. The storage unit 340 may further store software / firmware and the like necessary for the implementation of the control unit 330. The storage unit 340 may be a flash memory type, a hard disk type, a MultiMedia Card (MMC), a card type memory (for example, SD (Secure Digital) card or XD (Random Access Memory), SRAM (Static Random Access Memory), ROM (Read Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory) A magnetic disk, a magnetic disk, and an optical disk. However, those skilled in the art will recognize that the embodiment of the storage unit 340 is not limited thereto.

제어부(330)는 통신부(350)를 통해 장치(100)로부터 멀티미디어 컨텐츠 및 해당 멀티미디어 컨텐츠에 등장하는 운동 시범자가 운동 시범 중에 소모한 운동량의 측정치에 관한 정보를 수신하도록 구성될 수 있다. 제어부(330)는 수신한 멀티미디어 컨텐츠를 재생하고, 멀티미디어 컨텐츠가 재생되는 동안 3D 또는 2D 카메라를 작동시켜 사용자가 운동하는 모습이 동영상으로 촬영되도록 제어하도록 더 구성될 수 있다. 제어부(330)는 촬영된 사용자의 운동 영상으로부터 사용자의 활동도를 계산하고, 장치(100)로부터 수신한 멀티미디어 컨텐츠를 이용하여 운동 시범자의 활동도를 계산하도록 더 구성될 수 있다. 제어부(330)는 사용자의 활동도, 운동 시범자가 운동 시범 중에 소모한 운동량의 측정치 및 운동 시범자의 활동도를 이용하여 사용자의 운동량 추정치를 계산하도록 더 구성될 수 있다.The controller 330 may receive the multimedia content from the device 100 through the communication unit 350 and information on the measurement of the amount of exercise consumed during the exercise demonstration by the exercise demonstrator appearing in the multimedia content. The control unit 330 may further be configured to play back the received multimedia content and to control the 3D or 2D camera while the multimedia content is being reproduced so that the user's motion is photographed as a moving image. The control unit 330 may further be configured to calculate the activity of the user from the photographed user's motion image and to calculate the activity of the exercise demonstrator using the multimedia content received from the apparatus 100. [ The controller 330 may further be configured to calculate the user's momentum estimate using the activity of the user, the measure of the amount of exercise consumed during the exercise demonstration by the exercise demonstrator, and the activity of the exercise demonstrator.

제어부(330)는, 하드웨어적 측면에서 응용 주문형 집적 회로(Application Specific Integrated Circuits: ASICs), 디지털 신호 처리기(Digital Signal Processors: DSPs), 디지털 신호 처리 소자(Digital Signal Processing Devices: DSPDs), 프로그램 가능 논리 소자(Programmable Logic Devices: PLDs), 현장 프로그램 가능 게이트 어레이(Field-Programmable Gate Arrays: FPGAs), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers) 및 마이크로 프로세서 (microprocessors) 중 적어도 하나를 이용하여 구현될 수 있다. 제어부(330)는 또한 전술한 하드웨어 플랫폼(platform) 상에서 실행 가능한 펌웨어(firmware)/소프트웨어 모듈로 구현될 수 있다. 이 경우, 펌웨어/소프트웨어 모듈은 적절한 프로그램(program) 언어로 쓰여진 하나 또는 그 이상의 소프트웨어 애플리케이션(software applications)에 의해 구현될 수 있다.The control unit 330 may be implemented in hardware from application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic At least one of Programmable Logic Devices (PLDs), Field Programmable Gate Arrays (FPGAs), processors, controllers, micro-controllers, and microprocessors . ≪ / RTI > The control unit 330 may also be implemented as a firmware / software module that is executable on the aforementioned hardware platform. In this case, the firmware / software module may be implemented by one or more software applications written in an appropriate program language.

통신부(350)는 클라이언트 단말(120-1 내지 120-n)과 통신망(150)을 통해서, 예컨대 IP(Internet Protocol) 기반의 통신을 수행하기 위한 하드웨어 및 소프트웨어/펌웨어로 구현될 수 있다. 일 실시예에서, 통신부(350)는 TCP/IP(Transmission Control Protocol/Internet Protocol) 프로토콜 및/또는 UDP(User Datagram Protocol) 프로토콜을 따르는 통신 인터페이스에 의해 구현될 수 있다. 통신부(350)는 클라이언트 단말(120-1 내지 120-n)이 무선 통신을 할 수 있도록 지원하는, LTE/LTE-A를 비롯한 다양한 RAT들을 구현하는 하드웨어 및/또는 펌웨어로 구현될 수 있다. 일 실시예에서, 통신부(350)는 LTE-Ue와 같은 무선통신 인터페이스 규격을 따르도록 구현될 수 있다. 일 실시예에서 통신부(350)는 GSM 망, CDMA 망과 같은 2G 무선 통신망, WiFi 망과 같은 무선 인터넷 망, WiBro 망 및 WiMax 망과 같은 휴대 인터넷 망 또는 패킷 전송을 지원하는 무선 통신망에서 채택되는 RAT들을 구현할 수 있고 그러한 무선 통신망에서 사용되는 통신 기기의 통신부의 기능들/특징들을 포함할 수 있지만, 통신부(350)의 기능이 이에 제한되는 것이 아님을 인식하여야 한다.The communication unit 350 may be implemented with hardware and software / firmware for performing communication based on IP (Internet Protocol), for example, through the client terminals 120-1 to 120-n and the communication network 150. [ In one embodiment, the communication unit 350 may be implemented by a communication interface conforming to a Transmission Control Protocol / Internet Protocol (TCP / IP) protocol and / or a User Datagram Protocol (UDP) protocol. The communication unit 350 may be implemented by hardware and / or firmware implementing various RATs including LTE / LTE-A, which support the client terminals 120-1 to 120-n to perform wireless communication. In one embodiment, the communication unit 350 may be implemented to comply with a wireless communication interface standard such as LTE-Ue. In one embodiment, the communication unit 350 may be a 2G wireless communication network such as a GSM network, a CDMA network, a wireless Internet network such as a WiFi network, a portable Internet network such as a WiBro network and a WiMax network, And may include the functions / features of the communication unit of the communication device used in such wireless communication network, but it should be appreciated that the functionality of the communication unit 350 is not limited thereto.

도 4는 본 발명의 일 실시예에 따라 사용자의 운동량을 추정하기 위해 온라인 기반의 사용자 운동량 추정 장치에서 수행되는 방법을 예시하기 위한 흐름도를 도시한 도면이다.4 is a flowchart illustrating a method performed by an online-based user momentum estimating apparatus for estimating a user's momentum according to an embodiment of the present invention.

도 4를 참조하면, 본 방법의 일 실시예는 클라이언트 단말(120-1 내지 120-n)이 네트워크(150)를 통해 장치(100)에 접속하는 것에 응답하여 운동 시범에 관한 멀티미디어 컨텐츠를 선택할 수 있도록 해 주는 선택 화면이 클라이언트 단말(120-1 내지 120-n)에 표시되도록 제어하는 단계(S410)로부터 시작된다. 본 단계는 네트워크(150)를 통해 클라이언트 단말(120-1 내지 120-n)에 선택 화면에 관한 웹페이지를 전송하는 단계를 포함할 수 있다. 도 5에 도시된 바와 같이, 선택 화면(500)에는 운동 시범 카테고리를 선택할 수 있는 메뉴 창(530)과 강사를 선택할 수 있는 메뉴 창(550)이 표시될 수 있다. 도 5에 도시된 바와 같이 메뉴 창(530)은 에어로빅, 요가, 헬스 등의 메뉴를 표시할 수 있고, 메뉴 창(550)에는 강사 A, 강사 B, 강사 C 등의 메뉴가 표시될 수 있다. 사용자가 클라이언트 단말(120-1 내지 120-n)에 포함된 입력 인터페이스(320)를 이용해 메뉴 창(530)에서, 예컨대 에어로빅과 같은 특정 카테고리를 선택하고 메뉴 창(550)에서, 예컨대 강사 B와 같은 특정 강사를 선택하면, 단계(S420)에서 장치(100)는 강사 B가 운동 시범자로 된 에어로빅에 관한 멀티미디어 컨텐츠를 클라이언트 단말(120-1 내지 120-n)로 네트워크(150)를 통해 전송한다.4, one embodiment of the present method can select multimedia content on the exercise demonstration in response to the client terminals 120-1 through 120-n accessing the device 100 via the network 150 (S410) that the selection screen for allowing the client terminal 120-1 to 120-n to display the selection screen is displayed. This step may include transmitting the web page on the selection screen to the client terminals 120-1 to 120-n through the network 150. [ 5, the selection screen 500 may display a menu window 530 for selecting the exercise demonstration category and a menu window 550 for selecting the instructor. As shown in FIG. 5, the menu window 530 may display menus such as aerobics, yoga, health, and the menu window 550 may display menus such as instructor A, instructor B, and instructor C. FIG. The user selects a particular category such as aerobics in the menu window 530 using the input interface 320 included in the client terminals 120-1 through 120-n and displays the selected category in the menu window 550, If the same lecturer is selected, then in step S420, the device 100 sends the multimedia content on the aerobics as a sports demonstrator to the client terminals 120-1 through 120-n via the network 150 .

사용자는 네트워크(150)를 통해 장치(100)로부터 수신한 멀티미디어 컨텐츠를 클라이언트 단말(120-1 내지 120-n)에 탑재된 미디어 재생기를 이용하여 재생하고, 재생되는 동영상에 등장하는 강사의 팔 동작, 무릎 동작 등 그 움직임을 따라 하면서 2D 또는 3D 카메라를 이용하여 자신이 운동하는 모습을 동영상으로 촬영할 수 있다. 일 실시예에서 사용자의 운동 영상은 멀티미디어 컨텐츠에 동기되어 촬영된 영상일 수 있다. 일 실시예에서 멀티미디어 컨텐츠가 재생되는 것에 응답하여 사용자의 운동 영상이 자동으로 촬영되도록 하는 것이 가능하다. 일 실시예에서 재생되는 멀티미디어 컨텐츠와 촬영되고 있는 자신의 운동하는 모습을 클라이언트 단말(120-1 내지 120-n)의 디스플레이 화면(600)에 함께 표시하는 것이 가능하다(도 6 참조). 도 6에 도시된 바와 같이 클라이언트 단말(120-1 내지 120-n)의 디스플레이 화면(600)에 재생되는 멀티미디어 컨텐츠를 도면번호 610으로 표시된 윈도우 창에 표시하고 촬영되고 있는 자신의 운동하는 모습을 도면번호 620으로 표시된 윈도우 창에 표시하는 것이 가능하나, 재생되는 멀티미디어 컨텐츠와 자신의 운동하는 모습을 디스플레이 화면(600)에 표시하는 방식이 이에 제한되는 것이 아님을 인식하여야 한다. 사용자의 운동 영상의 촬영이 완료되어 사용자가 단말(120-1 내지 120-n)을 이용하여 사용자의 운동 영상을 네트워크(150)를 통해 장치(100)로 전송하면, 단계(S430)에서 장치(100)는 촬영된 사용자의 운동 영상을 네트워크(150)를 통해 수신한다.The user plays the multimedia contents received from the apparatus 100 through the network 150 using a media player mounted on the client terminals 120-1 to 120-n, , A knee motion, and the like, while using the 2D or 3D camera. In one embodiment, the user's motion image may be an image captured in synchronism with the multimedia content. In one embodiment, it is possible for the user's motion image to be automatically photographed in response to the playback of the multimedia content. In one embodiment, it is possible to simultaneously display the multimedia contents reproduced and the motion of the user being photographed on the display screen 600 of the client terminals 120-1 through 120-n (see FIG. 6). As shown in FIG. 6, the multimedia contents reproduced on the display screen 600 of the client terminals 120-1 to 120-n are displayed on a window window indicated by the reference numeral 610, It should be recognized that the method of displaying the multimedia content and the motion of the user on the display screen 600 is not limited thereto. When the user has completed the photographing of the motion image and the user transmits the motion image of the user to the device 100 through the network 150 using the terminals 120-1 to 120-n, in step S430, 100 receives the photographed user's motion image through the network 150.

단계(S440)에서는 사용자의 운동 영상으로부터 사용자의 활동도(degree of activity)를 계산한다. 본 단계에서는 사용자의 운동 영상을 영상 프레임 별로 분석하여 그 활동도를 계산할 수 있다. 이하 도 7를 참조하여 사용자의 운동 영상으로부터 사용자의 활동도를 계산하는 방식을 설명하기로 한다.In step S440, the degree of activity of the user is calculated from the user's motion image. In this step, the user's motion image can be analyzed for each image frame and the activity can be calculated. Hereinafter, a method of calculating a user activity from a user's motion image will be described with reference to FIG.

도 7에 도시된 바와 같이 사용자의 운동 영상은 복수의 (예컨대 N 개의) 영상 프레임으로 구성될 수 있다. 사용자의 활동도를 계산하기 위해 사용자의 운동 영상을 구성하는 N개의 전체 영상 프레임을 사용할 수 있으나, 장치(100)의 계산 부하를 완화시키기 위해 전체 영상 프레임들을 임의로 적절히 샘플링하여 구성한, 예컨대 N/2개의, N/3개의 영상 프레임 등을 사용할 수 있다. 이하의 설명에서는 편의상 사용자의 운동 영상을 구성하는 N개의 영상 프레임 중 M개의 영상 프레임을 이용하여 사용자의 활동도를 계산하는 것으로 가정한다(여기서 M은 N과 같거나 그보다 작은 자연수이다).As shown in FIG. 7, the user's motion image may be composed of a plurality of (for example, N) image frames. N total image frames that constitute a user's motion image may be used to calculate a user's activity, but may be implemented by any suitable image sampling system, such as N / 2 , N / 3 image frames, and the like can be used. In the following description, it is assumed that a user's activity is calculated using M image frames among N image frames constituting a user's motion image (where M is a natural number equal to or less than N).

도 7에 도시된 바와 같이, 장치(100)는 M개의 영상 프레임의 각각에 대해 사용자의 움직임을 특징짓는 특징점들을 식별한다. 사용자의 운동 영상이 3D 카메라에 의해 획득한 3차원 영상인 경우, 이 특징점들은 인체의 골격점들일 수 있다. 사용자의 운동 영상이 2D 카메라에 의해 획득한 2차원 영상인 경우, 장치(100)는 해당 영상 프레임에서, 예컨대 사용자의 윤곽선과 같이 사용자를 나타내는 영역을 식별하고 그러한 영역에서 특징점들을 추출하는 것이 가능하다. 이러한 방식으로 각 영상 프레임 마다 식별된 특징점들이 도 5에 도시되어 있다. 도시된 바에 따르면 첫번째 프레임(720-1)에서는 특징점들(P11, P21, P31, ... P91)이 식별되고, 두번째 프레임(720-2)에서는 특징점들(P12, P22, P32, ... P92)이 식별되고, 세번째 프레임(720-3)에서는 특징점들(P13, P23, P33, ... P93)이 식별되고, M번째 프레임(720-M)에서는 특징점들(P1M, P2M, P3M, ... P9M)이 식별된다. 도시된 실시예에서는 각 영상 프레임 마다 9개의 특징점이 식별되는 것으로 예시되어 있으나, 식별되는 특징점들의 개수가 이에 한정되는 것은 아니다. 장치(100)는 M개의 영상 프레임(720-1 ~ 720-M)에 걸쳐 이 특징점들이 이동한 거리들에 따라 사용자의 활동도를 계산할 수 있다. 예컨대 M개의 영상 프레임(720-1 ~ 720-M)에 걸쳐 식별된 첫번째 특징점들의 세트인 S1 = {P11, P12, P13, ... P1M}의 경우 특징점 P11이 특징점 P12로 이동한 거리, 특징점 P12가 특징점 P13으로 이동한 거리, 특징점 P13가 특징점 P14로 이동한 거리 등등을 모두 합산하여 첫번째 특징점의 총 이동 거리 D1을 계산한다. 여기서 이동한 거리는 특징점들의 좌표들 간의 유클리디언 거리일 수 있다. 이런 방식으로 M개의 영상 프레임(720-1 ~ 720-M)에 걸쳐 식별된 아홉번째 특징점들의 세트인 S9 = {P91, P92, P93, ... P9M}의 경우에 대해서까지 아홉번째 특징점의 총 이동 거리 D9을 계산한다. D1부터 D9까지가 계산되면 장치(100)는 이들을 다시 합산한 값을 사용자의 활동도를 나타내는 값으로서 제공할 수 있다. 다른 실시예에서 장치는 D1 내지 D9 중 최고값을 사용자의 활동도를 나타내는 값으로서 제공할 수 있다. 이상으로 사용자의 운동 영상으로부터 사용자의 활동도를 계산하는 방식의 일 예를 설명하였으나 동 계산 방식이 이러한 예에 한정되는 것이 아님을 인식하여야 한다. 예컨대 사용자의 운동 영상의 영상 프레임들의 각각에서 사용자를 나타내는 영역을 식별하고 영상 프레임들에 걸친 식별된 영역들의 면적 변화율에 따라 사용자의 활동도를 계산하는 것도 가능하다.As shown in FIG. 7, the device 100 identifies feature points that characterize the user's movement for each of the M image frames. If the user's motion image is a three-dimensional image acquired by a 3D camera, these feature points may be skeletal points of the human body. When the user's motion image is a two-dimensional image obtained by a 2D camera, the apparatus 100 can identify an area representing the user, such as a user's contour, in the image frame and extract the feature points from the area . The feature points identified for each image frame in this manner are shown in Fig. The feature points P11, P21, P31, ... P91 are identified in the first frame 720-1 and the feature points P12, P22, P32, ... P91 are identified in the second frame 720-2. The feature points P13, P23, P33 ... P93 are identified in the third frame 720-3 and the feature points P1M, P2M, P3M, ... P93 are identified in the Mth frame 720- ... P9M are identified. In the illustrated embodiment, nine feature points are identified for each image frame, but the number of feature points to be discriminated is not limited thereto. The apparatus 100 may calculate the activity of the user according to the distances of the feature points moved over the M image frames 720-1 to 720-M. For example, in the case of S1 = {P11, P12, P13, ... P1M} which is the first set of feature points identified over the M image frames 720-1 to 720-M, the distance that the feature point P11 has moved to the feature point P12, The distance traveled by the feature point P13 to the feature point P13, and the distance traveled by the feature point P13 to the feature point P14 are all summed to calculate the total travel distance D1 of the first feature points. The distance traveled here may be the Euclidian distance between the coordinates of the feature points. In this way, for a case of S9 = {P91, P92, P93, ... P9M} which is the set of the ninth feature points identified over the M image frames 720-1 to 720-M, Calculate the travel distance D9. Once D1 through D9 are calculated, the device 100 may provide the re-summed values as a value indicative of the user's activity. In another embodiment, the device may provide the highest value of D1 through D9 as a value indicative of the activity of the user. As described above, an example of a method of calculating a user activity from a user's motion image has been described, but it should be recognized that the calculation method is not limited to this example. For example, it is also possible to identify an area representing a user in each of the image frames of the user's motion image and to calculate the activity of the user according to the area change rate of the identified areas over the image frames.

다시 도 4로 돌아와서, 단계(S450)에서는 장치(100)는 단계(S440)에서 계산한 사용자의 활동도, 운동 시범자가 운동 시범 중에 소모한 운동량의 측정치 및 멀티미디어 컨텐츠로부터 계산된 운동 시범자의 활동도를 이용하여 사용자의 운동량 추정치를 계산한다. 운동 시범자가 운동 시범 중에 소모한 운동량의 측정치는 운동 시범자가 운동 시범 중에 착용한 하나 이상의 센서에 의해 측정된 측정치일 수 있다. 사용자의 운동량 추정치는 운동 시범자가 운동 시범 중에 소모한 운동량의 측정치에다 사용자의 활동도를 곱해서 이를 운동 시범자의 활동도로 나눈 값으로 계산될 수 있다. 예컨대, 운동 시범자가 운동 시범 중에 소모한 운동량의 측정치가 1,200 kcal이고 운동 시범자의 활동도가 97이고 사용자의 활동도가 72인 경우, 장치(100)는 사용자의 운동량을 약 890 kcal (= 1,200 kcal x 72 / 97)로 추정할 수 있다. 단계(S460)에서는 사용자의 운동량 추정치에 관한 정보를 네트워크(150)를 통해 클라이언트 단말(120-1 내지 120-n)로 전송한다.Referring back to FIG. 4, at step S450, the device 100 determines the activity of the user calculated in step S440, the measure of the amount of exercise consumed during the exercise demonstration by the exercise demonstrator and the activity of the exercise demonstrator calculated from the multimedia content To calculate the user's momentum estimates. The measure of the amount of exercise that the exercise demonstrator consumes during the exercise demonstration may be a measure measured by one or more sensors the exercise demonstrator wore during the exercise demonstration. The user's momentum estimate can be calculated by multiplying the measure of the amount of exercise consumed during the exercise demonstration by the exercise demonstration multiplied by the activity of the user, divided by the activity of the exercise demonstrator. For example, if the exercise testimony of the exercise demonstrator is 1,200 kcal, the activity of the exercise demonstrator is 97, and the activity of the user is 72, then the device 100 will measure the user's momentum to about 890 kcal (= 1,200 kcal x 72/97). In step S460, information on the user's momentum estimate is transmitted to the client terminals 120-1 through 120-n through the network 150. [

도 8은 본 발명의 일 실시예에 따라 사용자의 운동량을 추정하기 위해 클라이언트 단말에서 수행되는 방법을 예시하기 위한 흐름도를 도시한 도면이다.8 is a flowchart illustrating a method performed by a client terminal to estimate a user's amount of exercise according to an embodiment of the present invention.

도 8을 참조하면, 본 방법의 일 실시예는 클라이언트 단말(120-1 내지 120-n)이 네트워크(150)를 통해 장치(100)에 접속하여 운동 시범에 관한 멀티미디어 컨텐츠를 선택할 수 있도록 해 주는 선택 화면을 클라이언트 단말(120-1 내지 120-n)에 표시하는 단계(S810)로부터 시작된다. 도 5와 관련하여 전술한 바와 유사한 방법으로 사용자에 의해 특정 운동 시범자의 특정 운동 시범에 관한 멀티미디어 컨텐츠가 선택되면, 단계(S820)에서 동 멀티미디어 컨텐츠를 요청하는 메시지가 네트워크(150)를 통해 장치(100)로 전송된다. 이에 따라 장치(100)는 동 멀티미디어 컨텐츠를 네트워크(150)를 통해 클라이언트 단말(120-1 내지 120-n)로 전송하고, 단계(S830)에서 클라이언트 단말(120-1 내지 120-n)은 이를 수신한다. 본 단계에서는 수신한 멀티미디어 컨텐츠에 등장하는 운동 시범자가 운동 시범 중에 소모한 운동량의 측정치에 관한 정보 및 수신한 멀티미디어 컨텐츠로부터 계산된 운동 시범자의 활동도에 관한 정보를 장치(100)로부터 네트워크(150)를 통해 수신할 수 있다.8, an embodiment of the present method may be used to allow client terminals 120-1 through 120-n to access device 100 via network 150 to select multimedia content on the exercise demonstration (S810) of displaying the selection screen on the client terminals 120-1 to 120-n. 5, if a multimedia content related to a specific exercise demonstration of a specific exercise demonstrator is selected by the user, a message requesting the multimedia content in step S820 is transmitted to the device 150 via the network 150 100). Accordingly, the device 100 transmits the multimedia contents to the client terminals 120-1 to 120-n through the network 150, and in step S830, the client terminals 120-1 to 120-n transmit the multimedia contents to the client terminals 120-1 to 120- . In this step, information on the measurement value of the exercise amount consumed during the exercise demonstration by the exercise demonstrator appearing in the received multimedia contents and the information on the activity degree of the exercise demonstrator calculated from the received multimedia contents are transmitted from the apparatus 100 to the network 150, Lt; / RTI >

단계(S840)에서는 클라이언트 단말(120-1 내지 120-n)이 수신한 멀티미디어 컨텐츠를 미디어 재생기 등을 이용하여 재생한다. 단계(S850)에서는 재생되는 동영상에 등장하는 강사의 팔 동작, 무릎 동작 등 그 움직임을 따라 하면서 2D 또는 3D 카메라를 이용하여 자신이 운동하는 모습을 동영상으로 촬영할 수 있다. 일 실시예에서 사용자의 운동 영상은 멀티미디어 컨텐츠에 동기되어 촬영된 영상일 수 있다. 일 실시예에서 멀티미디어 컨텐츠가 재생되는 것에 응답하여 사용자의 운동 영상이 자동으로 촬영되도록 하는 것이 가능하다.In step S840, the multimedia contents received by the client terminals 120-1 to 120-n are reproduced using a media player or the like. In step S850, the user can take a motion picture of himself / herself using a 2D or 3D camera while following the motion of an instructor's arm motion or knee motion appearing in the motion picture to be reproduced. In one embodiment, the user's motion image may be an image captured in synchronism with the multimedia content. In one embodiment, it is possible for the user's motion image to be automatically photographed in response to the playback of the multimedia content.

단계(S860)에서는 사용자의 운동 영상으로부터 사용자의 활동도를 계산한다. 사용자의 운동 영상으로부터 사용자의 활동도를 계산하는 방식은 도 7과 관련하여 전술한 바와 동일 유사하므로 그 상세한 설명은 생략한다. 단계(S870)에서는 단계(S860)에서 계산한 사용자의 활동도, 운동 시범자가 운동 시범 중에 소모한 운동량의 측정치 및 멀티미디어 컨텐츠로부터 계산된 운동 시범자의 활동도를 이용하여 사용자의 운동량 추정치를 계산한다. 운동 시범자가 운동 시범 중에 소모한 운동량의 측정치는 운동 시범자가 운동 시범 중에 착용한 하나 이상의 센서에 의해 측정된 측정치일 수 있다. 사용자의 운동량 추정치는 운동 시범자가 운동 시범 중에 소모한 운동량의 측정치에다 사용자의 활동도를 곱해서 이를 운동 시범자의 활동도로 나눈 값으로 계산될 수 있다.In step S860, the activity level of the user is calculated from the user's motion image. The method of calculating the user's activity from the user's motion image is similar to that described above with reference to FIG. 7, and thus a detailed description thereof will be omitted. In step S870, the user's exercise amount estimate is calculated using the activity of the user calculated in step S860, the measured value of the exercise amount consumed by the exercise demonstrator during the exercise demonstration, and the activity level of the exercise demonstrator calculated from the multimedia contents. The measure of the amount of exercise that the exercise demonstrator consumes during the exercise demonstration may be a measure measured by one or more sensors the exercise demonstrator wore during the exercise demonstration. The user's momentum estimate can be calculated by multiplying the measure of the amount of exercise consumed during the exercise demonstration by the exercise demonstration multiplied by the activity of the user, divided by the activity of the exercise demonstrator.

도 9는 본 발명의 다른 실시예에 따라 사용자의 운동량을 추정하기 위해 클라이언트 단말에서 수행되는 방법을 예시하기 위한 흐름도를 도시한 도면이다.9 is a flowchart illustrating a method performed by a client terminal to estimate a user's amount of exercise according to another embodiment of the present invention.

도 9를 참조하면, 본 방법의 일 실시예는 클라이언트 단말(120-1 내지 120-n)이 네트워크(150)를 통해 장치(100)에 접속하여 운동 시범에 관한 멀티미디어 컨텐츠를 선택할 수 있도록 해 주는 선택 화면을 클라이언트 단말(120-1 내지 120-n)에 표시하는 단계(S910)로부터 시작된다. 도 5와 관련하여 전술한 바와 유사한 방법으로 사용자에 의해 특정 운동 시범자의 특정 운동 시범에 관한 멀티미디어 컨텐츠가 선택되면, 단계(S920)에서 동 멀티미디어 컨텐츠를 요청하는 메시지가 네트워크(150)를 통해 장치(100)로 전송된다. 이에 따라 장치(100)는 동 멀티미디어 컨텐츠 및 동 멀티미디어 컨텐츠에 등장하는 운동 시범자가 운동 시범 중에 소모한 운동량의 측정치에 관한 정보를 네트워크(150)를 통해 클라이언트 단말(120-1 내지 120-n)로 전송하고, 단계(S930)에서 클라이언트 단말(120-1 내지 120-n)은 이를 수신한다.9, one embodiment of the present method provides for a client terminal 120-1 through 120-n to connect to the device 100 via the network 150 and to select multimedia content on the exercise demonstration (S910) of displaying the selection screen on the client terminals 120-1 to 120-n. 5, if a multimedia content related to a specific exercise demonstration of a specific exercise demonstrator is selected by the user, a message requesting the multimedia content in step S920 is transmitted to the device 150 via the network 150 100). Accordingly, the device 100 transmits the multimedia contents and the information about the measured values of the exercise amount consumed by the exercise demonstrator appearing in the multimedia contents to the client terminals 120-1 to 120-n through the network 150 And the client terminals 120-1 to 120-n receive it in step S930.

단계(S940)에서는 클라이언트 단말(120-1 내지 120-n)이 수신한 멀티미디어 컨텐츠를 미디어 재생기 등을 이용하여 재생한다. 단계(S950)에서는 재생되는 동영상에 등장하는 강사의 팔 동작, 무릎 동작 등 그 움직임을 따라 하면서 2D 또는 3D 카메라를 이용하여 자신이 운동하는 모습을 동영상으로 촬영할 수 있다. 일 실시예에서 사용자의 운동 영상은 멀티미디어 컨텐츠에 동기되어 촬영된 영상일 수 있다. 일 실시예에서 멀티미디어 컨텐츠가 재생되는 것에 응답하여 사용자의 운동 영상이 자동으로 촬영되도록 하는 것이 가능하다.In step S940, the multimedia contents received by the client terminals 120-1 to 120-n are reproduced using a media player or the like. In step S950, the user can take a moving picture of himself / herself using a 2D or 3D camera while following the movement of the instructor's arms, knees, etc. appearing in the moving picture to be reproduced. In one embodiment, the user's motion image may be an image captured in synchronism with the multimedia content. In one embodiment, it is possible for the user's motion image to be automatically photographed in response to the playback of the multimedia content.

단계(S960)에서는 사용자의 운동 영상으로부터 사용자의 활동도를 계산한다. 단계(S970)에서는 멀티미디어 컨텐츠로부터 운동 시범자의 활동도를 계산한다. 사용자의 운동 영상으로부터 사용자의 활동도를 계산하거나 멀티미디어 컨텐츠로부터 운동 시범자의 활동도를 계산하는 방식은 도 7과 관련하여 전술한 바와 동일 유사하므로 그 상세한 설명은 생략한다. 단계(S980)에서는 단계(S960)에서 계산한 사용자의 활동도, 운동 시범자가 운동 시범 중에 소모한 운동량의 측정치 및 단계(S970)에서 계산한 운동 시범자의 활동도를 이용하여 사용자의 운동량 추정치를 계산한다. 운동 시범자가 운동 시범 중에 소모한 운동량의 측정치는 운동 시범자가 운동 시범 중에 착용한 하나 이상의 센서에 의해 측정된 측정치일 수 있다. 사용자의 운동량 추정치는 운동 시범자가 운동 시범 중에 소모한 운동량의 측정치에다 사용자의 활동도를 곱해서 이를 운동 시범자의 활동도로 나눈 값으로 계산될 수 있다.In step S960, the activity level of the user is calculated from the user's motion image. In step S970, the activity level of the exercise demonstrator is calculated from the multimedia contents. The method of calculating the activity level of the user from the user's motion image or calculating the activity level of the exercise demonstrator from the multimedia content is similar to that described above with reference to FIG. 7, and a detailed description thereof will be omitted. In step S980, the user's activity amount calculated in step S960 is calculated using the measured value of the exercise amount consumed during the exercise demonstration by the exercise demonstrator and the activity level of the exercise demonstrator calculated in step S970. do. The measure of the amount of exercise that the exercise demonstrator consumes during the exercise demonstration may be a measure measured by one or more sensors the exercise demonstrator wore during the exercise demonstration. The user's momentum estimate can be calculated by multiplying the measure of the amount of exercise consumed during the exercise demonstration by the exercise demonstration multiplied by the activity of the user, divided by the activity of the exercise demonstrator.

본원에 개시된 실시예들에 있어서, 도시된 구성 요소들의 배치는 발명이 구현되는 환경 또는 요구 사항에 따라 달라질 수 있다. 예컨대, 일부 구성 요소가 생략되거나 몇몇 구성 요소들이 통합되어 하나로 실시될 수 있다. 또한 일부 구성 요소들의 배치 순서 및 연결이 변경될 수 있다.In the embodiments disclosed herein, the arrangement of the components shown may vary depending on the environment or requirements in which the invention is implemented. For example, some components may be omitted or some components may be integrated into one. In addition, the arrangement order and connection of some components may be changed.

이상에서는 본 발명의 다양한 실시예들에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예들에 한정되지 아니하며, 상술한 실시예들은 첨부하는 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양하게 변형 실시될 수 있음은 물론이고, 이러한 변형 실시예들이 본 발명의 기술적 사상이나 범위와 별개로 이해되어져서는 아니 될 것이다. 따라서, 본 발명의 기술적 범위는 오직 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention. Accordingly, the technical scope of the present invention should be determined only by the appended claims.

100: 사용자 운동량 추정 장치
150: 네트워크
120, 120-1 ~ 120-n: 클라이언트 단말
210: 데이터베이스
220: 웹 서버
226: 제어부
228: 통신부
270: 멀티미디어 컨텐츠 테이블
310: 디스플레이부
320: 입력 인터페이스
330: 제어부
340: 저장부
350: 통신부
500: 선택 화면
530, 550: 메뉴 창
600: 디스플레이 화면
610, 620: 윈도우 창
720-1 ~ 720-M: 영상 프레임100: user momentum estimating device
150: Network
120, 120-1 to 120-n:
210: Database
220: Web server
226:
228:
270: Multimedia content table
310:
320: input interface
330:
340:
350:
500: Selection screen
530, 550: menu window
600: Display screen
610, 620: window window
720-1 ~ 720-M: Image frame

Claims (20)

사용자의 운동량을 추정하기 위해 서버에서 수행되는 방법으로서,
클라이언트 단말로부터의 요청에 기반하여 운동 시범자의 운동 시범에 관한 멀티미디어 컨텐츠를 상기 클라이언트 단말로 네트워크를 통해 전송하는 단계,
상기 멀티미디어 컨텐츠에 동기되어 촬영된 사용자의 운동 영상을 상기 클라이언트 단말로부터 상기 네트워크를 통해 수신하는 단계,
상기 사용자의 운동 영상으로부터 상기 사용자의 활동도(degree of activity)를 계산하는 단계,
상기 사용자의 활동도, 상기 운동 시범자가 상기 운동 시범 중에 소모한 운동량의 측정치 및 상기 멀티미디어 컨텐츠로부터 계산된 상기 운동 시범자의 활동도를 이용하여 상기 사용자의 운동량 추정치를 계산하는 단계, 및
상기 사용자의 운동량 추정치에 관한 정보를 상기 네트워크를 통해 상기 클라이언트 단말로 전송하는 단계를 포함하고,
상기 사용자의 운동 영상은 영상 프레임들을 포함하고,
상기 사용자의 운동 영상으로부터 상기 사용자의 활동도를 계산하는 단계는, 상기 사용자의 운동 영상을 영상 프레임 별로 분석하여 상기 사용자의 활동도를 계산하는 단계를 포함하고,
상기 사용자의 운동 영상을 영상 프레임 별로 분석하여 상기 사용자의 활동도를 계산하는 단계는, 상기 영상 프레임들의 각각에서 상기 사용자의 움직임을 특징짓는 특징점들을 식별하는 단계 및 상기 영상 프레임들에 걸쳐 상기 특징점들이 이동한 거리들에 따라 상기 사용자의 활동도를 계산하는 단계를 포함하고,
상기 사용자의 활동도, 상기 운동 시범자가 상기 운동 시범 중에 소모한 운동량의 측정치 및 상기 멀티미디어 컨텐츠로부터 계산된 상기 운동 시범자의 활동도를 이용하여 상기 사용자의 운동량 추정치를 계산하는 단계는, 상기 운동 시범자가 상기 운동 시범 중에 소모한 운동량의 측정치와 상기 사용자의 활동도를 곱한 값을 상기 멀티미디어 컨텐츠로부터 계산된 상기 운동 시범자의 활동도로 나누어 얻은 값을 기초로 상기 사용자의 운동량 추정치를 계산하는 단계를 포함하는, 사용자의 운동량 추정 방법.
A method performed by a server to estimate a user's momentum,
Transmitting multimedia contents on the exercise demonstration of the exercise demonstrator to the client terminal through a network based on a request from the client terminal,
Receiving a motion image of a user photographed in synchronism with the multimedia content from the client terminal through the network,
Calculating a degree of activity of the user from the motion image of the user,
Calculating the user's activity level using the user's activity level, a measure of the amount of exercise consumed during the exercise demonstration by the exercise demonstrator, and an activity level of the exercise demonstrator calculated from the multimedia content, and
And transmitting information on the user's momentum estimate to the client terminal over the network,
Wherein the motion image of the user includes image frames,
The step of calculating the activity level of the user from the user's motion image may include calculating the activity level of the user by analyzing the user's motion image on a video frame basis,
The step of analyzing the user's motion image by image frame and calculating the activity of the user may include identifying minutiae that characterize the movement of the user in each of the image frames, Calculating the activity of the user according to the distances moved,
The step of calculating the user's momentum estimate using the activity of the user, the measure of the amount of exercise consumed during the exercise demonstration by the exercise demonstrator, and the activity of the exercise demonstrator calculated from the multimedia content, Calculating a user's exercise amount estimate based on a value obtained by dividing a value obtained by multiplying a measured value of the exercise amount consumed during the exercise demonstration by an activity value of the user and dividing the activity of the exercise demonstrator calculated from the multimedia contents; A method of estimating a user's momentum.
삭제delete 삭제delete 제1항에 있어서,
상기 사용자의 운동 영상은 3차원 카메라에 의해 획득한 3차원 영상이며, 상기 특징점들은 인체의 골격점들인, 사용자의 운동량 추정 방법.
The method according to claim 1,
Wherein the user's motion image is a three-dimensional image acquired by a three-dimensional camera, and the feature points are skeleton points of a human body.
제1항에 있어서,
상기 사용자의 운동 영상은 2차원 카메라에 의해 획득한 2차원 영상이며,
상기 영상 프레임들의 각각에서 상기 사용자의 움직임을 특징짓는 특징점들을 식별하는 단계는
상기 영상 프레임들의 각각에서 상기 사용자를 나타내는 영역을 식별하는 단계, 및
상기 해당 프레임에서의 상기 사용자를 나타내는 영역에서 상기 특징점들을 식별하는 단계를 포함하는, 사용자의 운동량 추정 방법.
The method according to claim 1,
The motion image of the user is a two-dimensional image obtained by a two-dimensional camera,
Wherein identifying feature points that characterize the movement of the user in each of the image frames comprises:
Identifying an area representing the user in each of the image frames; and
And identifying the feature points in an area representing the user in the frame.
사용자의 운동량을 추정하기 위해 서버에서 수행되는 방법으로서,
클라이언트 단말로부터의 요청에 기반하여 운동 시범자의 운동 시범에 관한 멀티미디어 컨텐츠를 상기 클라이언트 단말로 네트워크를 통해 전송하는 단계,
상기 멀티미디어 컨텐츠에 동기되어 촬영된 사용자의 운동 영상을 상기 클라이언트 단말로부터 상기 네트워크를 통해 수신하는 단계,
상기 사용자의 운동 영상으로부터 상기 사용자의 활동도를 계산하는 단계,
상기 사용자의 활동도, 상기 운동 시범자가 상기 운동 시범 중에 소모한 운동량의 측정치 및 상기 멀티미디어 컨텐츠로부터 계산된 상기 운동 시범자의 활동도를 이용하여 상기 사용자의 운동량 추정치를 계산하는 단계, 및
상기 사용자의 운동량 추정치에 관한 정보를 상기 네트워크를 통해 상기 클라이언트 단말로 전송하는 단계를 포함하고,
상기 사용자의 운동 영상은 영상 프레임들을 포함하고,
상기 사용자의 운동 영상으로부터 상기 사용자의 활동도를 계산하는 단계는, 상기 사용자의 운동 영상을 영상 프레임 별로 분석하여 상기 사용자의 활동도를 계산하는 단계를 포함하고,
상기 사용자의 운동 영상을 영상 프레임 별로 분석하여 상기 사용자의 활동도를 계산하는 단계는, 상기 영상 프레임들의 각각에서 상기 사용자를 나타내는 영역을 식별하는 단계 및 상기 영상 프레임들에 걸친 상기 식별된 영역들의 면적 변화율에 따라 상기 사용자의 활동도를 계산하는 단계를 포함하고,
상기 사용자의 활동도, 상기 운동 시범자가 상기 운동 시범 중에 소모한 운동량의 측정치 및 상기 멀티미디어 컨텐츠로부터 계산된 상기 운동 시범자의 활동도를 이용하여 상기 사용자의 운동량 추정치를 계산하는 단계는, 상기 운동 시범자가 상기 운동 시범 중에 소모한 운동량의 측정치와 상기 사용자의 활동도를 곱한 값을 상기 멀티미디어 컨텐츠로부터 계산된 상기 운동 시범자의 활동도로 나누어 얻은 값을 기초로 상기 사용자의 운동량 추정치를 계산하는 단계를 포함하는, 사용자의 운동량 추정 방법.
A method performed by a server to estimate a user's momentum,
Transmitting multimedia contents on the exercise demonstration of the exercise demonstrator to the client terminal through a network based on a request from the client terminal,
Receiving a motion image of a user photographed in synchronism with the multimedia content from the client terminal through the network,
Calculating the activity of the user from the motion image of the user,
Calculating the user's activity level using the user's activity level, a measure of the amount of exercise consumed during the exercise demonstration by the exercise demonstrator, and an activity level of the exercise demonstrator calculated from the multimedia content, and
And transmitting information on the user's momentum estimate to the client terminal over the network,
Wherein the motion image of the user includes image frames,
The step of calculating the activity level of the user from the user's motion image may include calculating the activity level of the user by analyzing the user's motion image on a video frame basis,
Wherein the step of analyzing the user's motion image by image frame and calculating the activity of the user comprises the steps of: identifying an area representing the user in each of the image frames; determining an area of the identified areas And calculating the activity of the user according to the change rate,
The step of calculating the user's momentum estimate using the activity of the user, the measure of the amount of exercise consumed during the exercise demonstration by the exercise demonstrator, and the activity of the exercise demonstrator calculated from the multimedia content, Calculating a user's exercise amount estimate based on a value obtained by dividing a value obtained by multiplying a measured value of the exercise amount consumed during the exercise demonstration by an activity value of the user and dividing the activity of the exercise demonstrator calculated from the multimedia contents; A method of estimating a user's momentum.
제1항 또는 제6항에 있어서,
상기 운동 시범자가 상기 운동 시범 중에 소모한 운동량의 측정치는 상기 운동 시범자가 상기 운동 시범 중에 착용한 하나 이상의 센서에 의해 측정된 측정치인, 사용자의 운동량 추정 방법.
7. The method according to claim 1 or 6,
Wherein the measure of the amount of exercise the exercise demonstrator consumes during the exercise demonstration is a measure measured by at least one sensor the exercise demonstrator wore during the exercise demonstration.
사용자의 운동량을 추정하기 위해 클라이언트 단말에서 수행되는 방법으로서,
운동 시범자의 운동 시범에 관한 멀티미디어 컨텐츠를 요청하는 메시지를 네트워크를 통해 서버로 전송하는 단계,
상기 서버로부터 상기 네트워크를 통해 상기 멀티미디어 컨텐츠를 수신하는 단계,
상기 서버로부터 상기 네트워크를 통해 상기 운동 시범자가 상기 운동 시범 중에 소모한 운동량의 측정치에 관한 정보 및 상기 멀티미디어 컨텐츠로부터 계산된 상기 운동 시범자의 활동도에 관한 정보를 수신하는 단계,
상기 멀티미디어 컨텐츠를 재생하는 단계,
상기 멀티미디어 컨텐츠가 재생되는 동안 사용자의 운동 영상을 촬영하는 단계,
상기 사용자의 운동 영상으로부터 상기 사용자의 활동도를 계산하는 단계, 및
상기 사용자의 활동도, 상기 운동 시범자가 상기 운동 시범 중에 소모한 운동량의 측정치 및 상기 운동 시범자의 활동도를 이용하여 상기 사용자의 운동량 추정치를 계산하는 단계를 포함하고,
상기 사용자의 운동 영상은 영상 프레임들을 포함하며,
상기 사용자의 운동 영상으로부터 상기 사용자의 활동도를 계산하는 단계는, 상기 사용자의 운동 영상을 영상 프레임 별로 분석하여 상기 사용자의 활동도를 계산하는 단계를 포함하고,
상기 사용자의 운동 영상을 영상 프레임 별로 분석하여 상기 사용자의 활동도를 계산하는 단계는, 상기 영상 프레임들의 각각에서 상기 사용자의 움직임을 특징짓는 특징점들을 식별하는 단계 및 상기 영상 프레임들에 걸쳐 상기 특징점들이 이동한 거리들에 따라 상기 사용자의 활동도를 계산하는 단계를 포함하고,
상기 사용자의 활동도, 상기 운동 시범자가 상기 운동 시범 중에 소모한 운동량의 측정치 및 상기 운동 시범자의 활동도를 이용하여 상기 사용자의 운동량 추정치를 계산하는 단계는, 상기 운동 시범자가 상기 운동 시범 중에 소모한 운동량의 측정치와 상기 사용자의 활동도를 곱한 값을 상기 운동 시범자의 활동도로 나누어 얻은 값을 기초로 상기 사용자의 운동량 추정치를 계산하는 단계를 포함하는, 사용자의 운동량 추정 방법.
A method performed at a client terminal to estimate a user's amount of exercise,
Transmitting a message to the server through the network requesting multimedia contents regarding exercise demonstration of the exercise demonstrator,
Receiving the multimedia contents from the server through the network,
Receiving information on a measure of the amount of exercise consumed by the exercise demonstrator during the exercise demonstration from the server through the network and information about activity of the exercise demonstrator calculated from the multimedia content,
Reproducing the multimedia contents,
Capturing a motion image of a user while the multimedia contents are being reproduced,
Calculating the activity of the user from the motion image of the user, and
Calculating an exercise amount estimate of the user using the activity of the user, a measure of the exercise amount consumed during the exercise demonstration by the exercise demonstration player, and an activity level of the exercise demonstrator,
The motion image of the user includes image frames,
The step of calculating the activity level of the user from the user's motion image may include calculating the activity level of the user by analyzing the user's motion image on a video frame basis,
The step of analyzing the user's motion image by image frame and calculating the activity of the user may include identifying minutiae that characterize the movement of the user in each of the image frames, Calculating the activity of the user according to the distances moved,
The step of calculating the user's activity level using the user's activity level, the measure of the exercise amount consumed during the exercise demonstration by the exercise demonstrator, and the activity level of the exercise demonstrator may include: Calculating a user's momentum estimate based on a value obtained by dividing a value obtained by multiplying a measured value of the user's activity by a measured value of the user's activity, A method of estimating a user's momentum.
삭제delete 삭제delete 제8항에 있어서,
상기 사용자의 운동 영상은 3차원 카메라에 의해 획득한 3차원 영상이며, 상기 특징점들은 인체의 골격점들인, 사용자의 운동량 추정 방법.
9. The method of claim 8,
Wherein the user's motion image is a three-dimensional image acquired by a three-dimensional camera, and the feature points are skeleton points of a human body.
제8항에 있어서,
상기 사용자의 운동 영상은 2차원 카메라에 의해 획득한 2차원 영상이며,
상기 영상 프레임들의 각각에서 상기 사용자의 움직임을 특징짓는 특징점들을 식별하는 단계는
상기 영상 프레임들의 각각에서 상기 사용자를 나타내는 영역을 식별하는 단계, 및
상기 해당 프레임에서의 상기 사용자를 나타내는 영역에서 상기 특징점들을 식별하는 단계를 포함하는, 사용자의 운동량 추정 방법.
9. The method of claim 8,
The motion image of the user is a two-dimensional image obtained by a two-dimensional camera,
Wherein identifying feature points that characterize the movement of the user in each of the image frames comprises:
Identifying an area representing the user in each of the image frames; and
And identifying the feature points in an area representing the user in the frame.
사용자의 운동량을 추정하기 위해 클라이언트 단말에서 수행되는 방법으로서,
운동 시범자의 운동 시범에 관한 멀티미디어 컨텐츠를 요청하는 메시지를 네트워크를 통해 서버로 전송하는 단계,
상기 서버로부터 상기 네트워크를 통해 상기 멀티미디어 컨텐츠를 수신하는 단계,
상기 서버로부터 상기 네트워크를 통해 상기 운동 시범자가 상기 운동 시범 중에 소모한 운동량의 측정치에 관한 정보 및 상기 멀티미디어 컨텐츠로부터 계산된 상기 운동 시범자의 활동도에 관한 정보를 수신하는 단계,
상기 멀티미디어 컨텐츠를 재생하는 단계,
상기 멀티미디어 컨텐츠가 재생되는 동안 사용자의 운동 영상을 촬영하는 단계,
상기 사용자의 운동 영상으로부터 상기 사용자의 활동도를 계산하는 단계, 및
상기 사용자의 활동도, 상기 운동 시범자가 상기 운동 시범 중에 소모한 운동량의 측정치 및 상기 운동 시범자의 활동도를 이용하여 상기 사용자의 운동량 추정치를 계산하는 단계를 포함하고,
상기 사용자의 운동 영상은 영상 프레임들을 포함하며,
상기 사용자의 운동 영상으로부터 상기 사용자의 활동도를 계산하는 단계는, 상기 사용자의 운동 영상을 영상 프레임 별로 분석하여 상기 사용자의 활동도를 계산하는 단계를 포함하고,
상기 사용자의 운동 영상을 영상 프레임 별로 분석하여 상기 사용자의 활동도를 계산하는 단계는, 상기 영상 프레임들의 각각에서 상기 사용자를 나타내는 영역을 식별하는 단계 및 상기 영상 프레임들에 걸친 상기 식별된 영역들의 면적 변화율에 따라 상기 사용자의 활동도를 계산하는 단계를 포함하고,
상기 사용자의 활동도, 상기 운동 시범자가 상기 운동 시범 중에 소모한 운동량의 측정치 및 상기 운동 시범자의 활동도를 이용하여 상기 사용자의 운동량 추정치를 계산하는 단계는, 상기 운동 시범자가 상기 운동 시범 중에 소모한 운동량의 측정치와 상기 사용자의 활동도를 곱한 값을 상기 운동 시범자의 활동도로 나누어 얻은 값을 기초로 상기 사용자의 운동량 추정치를 계산하는 단계를 포함하는, 사용자의 운동량 추정 방법.
A method performed at a client terminal to estimate a user's amount of exercise,
Transmitting a message to the server through the network requesting multimedia contents regarding exercise demonstration of the exercise demonstrator,
Receiving the multimedia contents from the server through the network,
Receiving information on a measure of the amount of exercise consumed by the exercise demonstrator during the exercise demonstration from the server through the network and information about activity of the exercise demonstrator calculated from the multimedia content,
Reproducing the multimedia contents,
Capturing a motion image of a user while the multimedia contents are being reproduced,
Calculating the activity of the user from the motion image of the user, and
Calculating an exercise amount estimate of the user using the activity of the user, a measure of the exercise amount consumed during the exercise demonstration by the exercise demonstration player, and an activity level of the exercise demonstrator,
The motion image of the user includes image frames,
The step of calculating the activity level of the user from the user's motion image may include calculating the activity level of the user by analyzing the user's motion image on a video frame basis,
Wherein the step of analyzing the user's motion image by image frame and calculating the activity of the user comprises the steps of: identifying an area representing the user in each of the image frames; determining an area of the identified areas And calculating the activity of the user according to the change rate,
The step of calculating the user's activity level using the user's activity level, the measure of the exercise amount consumed during the exercise demonstration by the exercise demonstrator, and the activity level of the exercise demonstrator may include: Calculating a user's momentum estimate based on a value obtained by dividing a value obtained by multiplying a measured value of the user's activity by the measured value of the user's activity with the activity indicator of the user.
제8항 또는 제13항에 있어서,
상기 운동 시범자가 상기 운동 시범 중에 소모한 운동량의 측정치는 상기 운동 시범자가 상기 운동 시범 중에 착용한 하나 이상의 센서에 의해 측정된 측정치인, 사용자의 운동량 추정 방법.
14. The method according to claim 8 or 13,
Wherein the measure of the amount of exercise the exercise demonstrator consumes during the exercise demonstration is a measure measured by at least one sensor the exercise demonstrator wore during the exercise demonstration.
사용자의 운동량을 추정하기 위해 클라이언트 단말에서 수행되는 방법으로서,
운동 시범자의 운동 시범에 관한 멀티미디어 컨텐츠를 요청하는 메시지를 네트워크를 통해 서버로 전송하는 단계,
상기 서버로부터 상기 네트워크를 통해 상기 멀티미디어 컨텐츠 및 상기 운동 시범자가 상기 운동 시범 중에 소모한 운동량의 측정치에 관한 정보를 수신하는 단계,
상기 멀티미디어 컨텐츠를 재생하는 단계,
상기 멀티미디어 컨텐츠가 재생되는 동안 사용자의 운동 영상을 촬영하는 단계,
상기 촬영된 사용자의 운동 영상으로부터 상기 사용자의 활동도를 계산하는 단계,
상기 멀티미디어 컨텐츠로부터 상기 운동 시범자의 활동도를 계산하는 단계, 및
상기 사용자의 활동도, 상기 운동 시범자가 상기 운동 시범 중에 소모한 운동량의 측정치 및 상기 운동 시범자의 활동도를 이용하여 상기 사용자의 운동량 추정치를 계산하는 단계를 포함하고,
상기 멀티미디어 컨텐츠는 영상 프레임들을 포함하고,
상기 멀티미디어 컨텐츠로부터 상기 운동 시범자의 활동도를 계산하는 단계는, 상기 멀티미디어 컨텐츠를 영상 프레임 별로 분석하여 상기 운동 시범자의 활동도를 계산하는 단계를 포함하고,
상기 멀티미디어 컨텐츠를 영상 프레임 별로 분석하여 상기 운동 시범자의 활동도를 계산하는 단계는, 상기 영상 프레임들의 각각에서 상기 운동 시범자의 움직임을 특징짓는 특징점들을 식별하는 단계 및 상기 영상 프레임들에 걸쳐 상기 특징점들이 이동한 거리들에 따라 상기 운동 시범자의 활동도를 계산하는 단계를 포함하고,
상기 사용자의 활동도, 상기 운동 시범자가 상기 운동 시범 중에 소모한 운동량의 측정치 및 상기 운동 시범자의 활동도를 이용하여 상기 사용자의 운동량 추정치를 계산하는 단계는, 상기 운동 시범자가 상기 운동 시범 중에 소모한 운동량의 측정치와 상기 사용자의 활동도를 곱한 값을 상기 운동 시범자의 활동도로 나누어 얻은 값을 기초로 상기 사용자의 운동량 추정치를 계산하는 단계를 포함하는, 사용자의 운동량 추정 방법.
A method performed at a client terminal to estimate a user's amount of exercise,
Transmitting a message to the server through the network requesting multimedia contents regarding exercise demonstration of the exercise demonstrator,
Receiving information from the server via the network about a measure of the amount of exercise the multimedia content and the exercise demonstrator have consumed during the exercise demonstration,
Reproducing the multimedia contents,
Capturing a motion image of a user while the multimedia contents are being reproduced,
Calculating an activity level of the user from the photographed user's motion image,
Calculating an activity level of the exercise demonstrator from the multimedia content; and
Calculating an exercise amount estimate of the user using the activity of the user, a measure of the exercise amount consumed during the exercise demonstration by the exercise demonstration player, and an activity level of the exercise demonstrator,
Wherein the multimedia content includes video frames,
Wherein the step of calculating the activity level of the exercise demonstrator from the multimedia content includes a step of analyzing the multimedia content for each image frame to calculate an activity level of the exercise demonstrator,
The step of analyzing the multimedia contents by image frames and calculating the activity of the exercise demonstrator may include the steps of identifying feature points that characterize the motion of the exercise demonstrator in each of the image frames, Calculating the activity of the exercise demonstrator according to the distances moved,
The step of calculating the user's activity level using the user's activity level, the measure of the exercise amount consumed during the exercise demonstration by the exercise demonstrator, and the activity level of the exercise demonstrator may include: Calculating a user's momentum estimate based on a value obtained by dividing a value obtained by multiplying a measured value of the user's activity by a measured value of the user's activity, A method of estimating a user's momentum.
삭제delete 삭제delete 제15항에 있어서,
상기 멀티미디어 컨텐츠는 3차원 카메라에 의해 획득한 3차원 영상이며, 상기 특징점들은 인체의 골격점들인, 사용자의 운동량 추정 방법.
16. The method of claim 15,
Wherein the multimedia contents are three-dimensional images acquired by a three-dimensional camera, and the feature points are skeletal points of a human body.
제15항에 있어서,
상기 멀티미디어 컨텐츠는 2차원 카메라에 의해 획득한 2차원 영상이며,
상기 영상 프레임들의 각각에서 상기 운동 시범자의 움직임을 특징짓는 특징점들을 식별하는 단계는
상기 영상 프레임들의 각각에서 상기 운동 시범자를 나타내는 영역을 식별하는 단계, 및
상기 해당 프레임에서의 상기 운동 시범자를 나타내는 영역에서 상기 특징점들을 식별하는 단계를 포함하는, 사용자의 운동량 추정 방법.
16. The method of claim 15,
The multimedia contents are two-dimensional images acquired by a two-dimensional camera,
Wherein identifying feature points characterizing the motion of the motion demonstrator in each of the image frames comprises:
Identifying an area representing the motion demonstrator in each of the image frames; and
Identifying said feature points in an area representing said motion demonstrator in said frame.
사용자의 운동량을 추정하기 위해 클라이언트 단말에서 수행되는 방법으로서,
운동 시범자의 운동 시범에 관한 멀티미디어 컨텐츠를 요청하는 메시지를 네트워크를 통해 서버로 전송하는 단계,
상기 서버로부터 상기 네트워크를 통해 상기 멀티미디어 컨텐츠 및 상기 운동 시범자가 상기 운동 시범 중에 소모한 운동량의 측정치에 관한 정보를 수신하는 단계,
상기 멀티미디어 컨텐츠를 재생하는 단계,
상기 멀티미디어 컨텐츠가 재생되는 동안 사용자의 운동 영상을 촬영하는 단계,
상기 촬영된 사용자의 운동 영상으로부터 상기 사용자의 활동도를 계산하는 단계,
상기 멀티미디어 컨텐츠로부터 상기 운동 시범자의 활동도를 계산하는 단계, 및
상기 사용자의 활동도, 상기 운동 시범자가 상기 운동 시범 중에 소모한 운동량의 측정치 및 상기 운동 시범자의 활동도를 이용하여 상기 사용자의 운동량 추정치를 계산하는 단계를 포함하고,
상기 멀티미디어 컨텐츠는 영상 프레임들을 포함하고,
상기 멀티미디어 컨텐츠로부터 상기 운동 시범자의 활동도를 계산하는 단계는, 상기 멀티미디어 컨텐츠를 영상 프레임 별로 분석하여 상기 운동 시범자의 활동도를 계산하는 단계를 포함하고,
상기 멀티미디어 컨텐츠를 영상 프레임 별로 분석하여 상기 운동 시범자의 활동도를 계산하는 단계는, 상기 영상 프레임들의 각각에서 상기 운동 시범자를 나타내는 영역을 식별하는 단계 및 상기 영상 프레임들에 걸친 상기 식별된 영역들의 면적 변화율에 따라 상기 운동 시범자의 활동도를 계산하는 단계를 포함하고,
상기 사용자의 활동도, 상기 운동 시범자가 상기 운동 시범 중에 소모한 운동량의 측정치 및 상기 운동 시범자의 활동도를 이용하여 상기 사용자의 운동량 추정치를 계산하는 단계는, 상기 운동 시범자가 상기 운동 시범 중에 소모한 운동량의 측정치와 상기 사용자의 활동도를 곱한 값을 상기 운동 시범자의 활동도로 나누어 얻은 값을 기초로 상기 사용자의 운동량 추정치를 계산하는 단계를 포함하는, 사용자의 운동량 추정 방법.
A method performed at a client terminal to estimate a user's amount of exercise,
Transmitting a message to the server through the network requesting multimedia contents regarding exercise demonstration of the exercise demonstrator,
Receiving information from the server via the network about a measure of the amount of exercise the multimedia content and the exercise demonstrator have consumed during the exercise demonstration,
Reproducing the multimedia contents,
Capturing a motion image of a user while the multimedia contents are being reproduced,
Calculating an activity level of the user from the photographed user's motion image,
Calculating an activity level of the exercise demonstrator from the multimedia content; and
Calculating an exercise amount estimate of the user using the activity of the user, a measure of the exercise amount consumed during the exercise demonstration by the exercise demonstration player, and an activity level of the exercise demonstrator,
Wherein the multimedia content includes video frames,
Wherein the step of calculating the activity level of the exercise demonstrator from the multimedia content includes a step of analyzing the multimedia content for each image frame to calculate an activity level of the exercise demonstrator,
Wherein the step of analyzing the multimedia content by image frame to calculate the activity of the exercise demonstrator comprises the steps of: identifying an area representing the exercise demonstrator in each of the image frames; determining an area of the identified areas over the image frames Calculating an activity level of the exercise demonstrator according to a change rate,
The step of calculating the user's activity level using the user's activity level, the measure of the exercise amount consumed during the exercise demonstration by the exercise demonstrator, and the activity level of the exercise demonstrator may include: Calculating a user's momentum estimate based on a value obtained by dividing a value obtained by multiplying a measured value of the user's activity by the measured value of the user's activity with the activity indicator of the user.
KR1020170091839A 2017-07-20 2017-07-20 Online method of estimating a user's quantity of motion KR101937040B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170091839A KR101937040B1 (en) 2017-07-20 2017-07-20 Online method of estimating a user's quantity of motion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170091839A KR101937040B1 (en) 2017-07-20 2017-07-20 Online method of estimating a user's quantity of motion

Publications (1)

Publication Number Publication Date
KR101937040B1 true KR101937040B1 (en) 2019-01-09

Family

ID=65017549

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170091839A KR101937040B1 (en) 2017-07-20 2017-07-20 Online method of estimating a user's quantity of motion

Country Status (1)

Country Link
KR (1) KR101937040B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102557953B1 (en) * 2023-03-16 2023-07-20 주식회사 케이에이씨미디어그룹 Choreography Analysis System

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013156995A (en) 2012-01-31 2013-08-15 Samsung Electronics Co Ltd Method of managing information related to exercise amount and display apparatus using the same, and server
KR101416282B1 (en) * 2012-02-29 2014-08-12 디게이트 주식회사 Functional measurement and evaluation system for exercising Health and Rehabilitation based on Natural Interaction
KR101495044B1 (en) 2013-05-11 2015-02-25 계명대학교 산학협력단 Exercising system and method based on motion capture using user movement patterns
KR101560673B1 (en) 2013-02-06 2015-10-16 삼성에스디에스 주식회사 Contents synchronization server and method thereof using motion matching

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013156995A (en) 2012-01-31 2013-08-15 Samsung Electronics Co Ltd Method of managing information related to exercise amount and display apparatus using the same, and server
KR101416282B1 (en) * 2012-02-29 2014-08-12 디게이트 주식회사 Functional measurement and evaluation system for exercising Health and Rehabilitation based on Natural Interaction
KR101560673B1 (en) 2013-02-06 2015-10-16 삼성에스디에스 주식회사 Contents synchronization server and method thereof using motion matching
KR101495044B1 (en) 2013-05-11 2015-02-25 계명대학교 산학협력단 Exercising system and method based on motion capture using user movement patterns

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102557953B1 (en) * 2023-03-16 2023-07-20 주식회사 케이에이씨미디어그룹 Choreography Analysis System

Similar Documents

Publication Publication Date Title
US9345967B2 (en) Method, device, and system for interacting with a virtual character in smart terminal
US11113988B2 (en) Apparatus for writing motion script, apparatus for self-teaching of motion and method for using the same
CN113850248B (en) Motion attitude evaluation method and device, edge calculation server and storage medium
KR101797870B1 (en) Method and system for measuring quality of video call
EP4390728A1 (en) Model training method and apparatus, device, medium and program product
Zou et al. Intelligent fitness trainer system based on human pose estimation
JP2017064095A (en) Learning system, learning method, program and record medium
US20240037898A1 (en) Method for predicting reconstructabilit, computer device and storage medium
KR101937040B1 (en) Online method of estimating a user's quantity of motion
Delikostidis et al. Bridging the gap between field-and lab-based user studies for location-based services
KR20060109762A (en) On-line motion posture correction system
CN107613385B (en) A kind of platform for preventing child myopia
JP6868673B1 (en) Information processing equipment, information processing methods, and information processing programs
Lo et al. From off-site to on-site: A Flexible Framework for XR Prototyping in Sports Spectating
CN110446996A (en) A kind of control method, terminal and system
CN106228614A (en) A kind of scene reproduction method and apparatus
Yim et al. Design and implementation of a smart campus guide android app
CN115576427A (en) XR-based multi-user online live broadcast and system
KR20230100557A (en) The method of providing a moving image to guide exercise and the apparatus comprising thereof
Häkkilä et al. Jogging in a virtual city
KR100863055B1 (en) Taekwondo learning system based on analysis of Image
KR102574764B1 (en) Apparatus for Fitness Service and Driving Method Thereof
Tokolyi et al. Internet of things in the game of basketball
US20240046500A1 (en) Method and system for body pose guiding based on video contents selected by user
WO2017199505A1 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant