KR20230114226A - Method and apparatus for providing feedback information related to user's performance of Taekwondo Poomsae - Google Patents

Method and apparatus for providing feedback information related to user's performance of Taekwondo Poomsae Download PDF

Info

Publication number
KR20230114226A
KR20230114226A KR1020230009341A KR20230009341A KR20230114226A KR 20230114226 A KR20230114226 A KR 20230114226A KR 1020230009341 A KR1020230009341 A KR 1020230009341A KR 20230009341 A KR20230009341 A KR 20230009341A KR 20230114226 A KR20230114226 A KR 20230114226A
Authority
KR
South Korea
Prior art keywords
user
motion
coordinates
normally performed
keypoints
Prior art date
Application number
KR1020230009341A
Other languages
Korean (ko)
Inventor
고상원
Original Assignee
주식회사 마케시안씨앤이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 마케시안씨앤이 filed Critical 주식회사 마케시안씨앤이
Publication of KR20230114226A publication Critical patent/KR20230114226A/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/17—Counting, e.g. counting periodical movements, revolutions or cycles, or including further data processing to determine distances or speed

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Databases & Information Systems (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Human Resources & Organizations (AREA)
  • Artificial Intelligence (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

실시예에 따른 사용자의 태권도 품새 수행과 관련된 피드백 정보 제공 방법은 (a) 태권도 품새별로 구성된 복수의 운동 동작 중 임의의 운동 동작을 사용자에게 제공하는 단계;
(b) 상기 임의의 운동 동작에 대응되는 시작 동작이 상기 사용자에 의해 정상적으로 수행되었는지 여부를 판별하는 단계;
(c) 상기 시작 동작이 상기 사용자에 의해 정상적으로 수행된 것으로 판별한 경우, 상기 임의의 운동 동작에 대응되는 종료 동작이 상기 사용자에 의해 정상적으로 수행되었는지 여부를 판별하는 단계; 및
(d) 상기 종료 동작이 상기 사용자에 의해 정상적으로 수행된 것으로 판별한 경우, 상기 시작 동작과 상기 종료 동작이 상기 사용자에 의해 정상적으로 수행되었음을 나타내는 피드백 정보를 상기 사용자에게 제공하는 단계;를 포함할 수 있다.A method for providing feedback information related to a user's performance of Taekwondo Poomsae according to an embodiment includes: (a) providing a user with a random exercise motion among a plurality of motions configured for each Taekwondo Poomsae;
(b) determining whether a starting motion corresponding to the arbitrary exercise motion was normally performed by the user;
(c) if it is determined that the starting motion is normally performed by the user, determining whether an ending motion corresponding to the arbitrary exercise motion is normally performed by the user; and
(d) when it is determined that the end operation has been normally performed by the user, providing feedback information indicating that the start operation and the end operation have been normally performed by the user to the user; .

Description

사용자의 태권도 품새 수행과 관련된 피드백 정보 제공 방법 및 장치{Method and apparatus for providing feedback information related to user's performance of Taekwondo Poomsae} Method and apparatus for providing feedback information related to user's performance of Taekwondo Poomsae

본 발명은 사용자의 태권도 품새 수행과 관련된 피드백 정보 제공 방법 및 장치에 관한 것으로, 보다 구체적으로 태권도 품새 수행의 정상 수행 여부를 보다 정확하게 판단하고 이를 기초로 한 피드백 정보를 제공하기 위한, 사용자의 태권도 품새 수행과 관련된 피드백 정보 제공 방법 및 장치에 관한 것이다. The present invention relates to a method and apparatus for providing feedback information related to a user's performance of Taekwondo Poomsae, and more specifically, to more accurately determine whether Taekwondo Poomsae is normally performed and to provide feedback information based on this, It relates to a method and apparatus for providing feedback information related to performance.

태권도 품새란, 공격과 방어의 기술을 규정된 형식에 맞추어 지도자 없이 수련할 수 있도록 이어놓은 동작을 말한다. 겨루기 기술 향상과 동작 응용 능력 그리고 기본 동작에서 익힐 수 없는 특수기술을 연마할 수 있는 장점이 있다. Taekwondo Poomsae refers to movements in which attack and defense techniques are linked in a prescribed format so that they can be practiced without a leader. It has the advantage of improving sparring skills, application of movements, and special skills that cannot be learned in basic movements.

일반적으로 품새는, 품새를 할 때의 발의 위치와 그 이동 방향을 선으로 표시한 품새선에 따라 수련하며, 태극, 고려, 금강, 태백, 평원, 십진, 지태, 천권, 한수, 일여의 10가지 종류가 있다. In general, Poomsae is practiced according to the Poomsae line, which indicates the position of the feet and the direction of their movement when performing Poomsae. There are types.

종래의 품새 판독 방식은 심사위원들이 각자 자신의 자리에 앉아 주관적인 판단으로 채점한 점수의 총합을 내어 승패를 결정하는 방식이었다. 그러나 이와 같은 종래의 품새 판독 방식은, 채점의 정확도 및 공정성이 떨어지고, 각 심판의 편견이나 오류로 심판 판정에 시비가 따르는 문제가 있었다. In the conventional Poomsae reading method, judges sit in their seats and determine the winner by summing the points scored by subjective judgment. However, such a conventional Poomsae reading method has a problem in that the accuracy and fairness of scoring are poor, and the judgment of the referee is disputed due to bias or error of each judge.

KRKR 2349213 2349213 B1B1

본 발명은 전술한 문제점을 해결하기 위해 도출된 것으로, 카메라를 통해 획득한 영상 정보를 활용해 사용자가 취하는 태권도 품새 판독의 정확도를 보다 향상시키고자 하는 데에 그 목적이 있다. The present invention was derived to solve the above-mentioned problems, and an object of the present invention is to further improve the accuracy of reading Taekwondo Poomsae taken by a user by utilizing image information acquired through a camera.

특히, 하나의 품새인 경우에도 각 품새를 이루는 복수의 동작에 대해, 사용자가 취하는 동작이 현재 품새 판독 대상이 되는 동작인지 여부를 먼저 정확하게 판별하도록 함으로써, 품새 판독의 정확도를 보다 향상시키고자 하는 데에 그 목적이 있다. In particular, even in the case of a single Poomsae, it is intended to further improve the accuracy of Poomsae reading by first accurately determining whether or not the action taken by the user is the current target of Poomsae reading for a plurality of actions constituting each Poomsae. has its purpose.

다중 카메라만을 이용하여 다각도에서 촬영된 영상프레임만을 기초로 사용자의 동작을 분석하도록 하면서도, TOF 센서, RGB-D(깊이 센서), 적외선 센서 등의 추가적인 별도의 고가 장비를 이용하지 않도록 하고, 또한 종래의 키포인트 사이의 사이각을 계산하는 복잡한 산술식을 별도로 고안하거나 이를 기초로 동작하도록 하지 않도록 하여 보다 간단한 플랫폼을 제공하면서도, 플랫폼 상에서 인공지능 기반의 모델들을 이용하도록 하여 보다 빠르고 정밀한 동작 분석 결과를 획득하고자 하는 데에 그 목적이 있다. While analyzing the user's motion based only on image frames taken from multiple angles using only multiple cameras, avoid using additional and separate expensive equipment such as a TOF sensor, RGB-D (depth sensor), and infrared sensor. Obtain faster and more precise motion analysis results by using artificial intelligence-based models on the platform while providing a simpler platform by not separately inventing or operating a complex arithmetic formula that calculates the angle between key points of Its purpose is what it wants to do.

실시예에 따른 사용자의 태권도 품새 수행과 관련된 피드백 정보 제공 방법은 (a) 태권도 품새별로 구성된 복수의 운동 동작 중 임의의 운동 동작을 사용자에게 제공하는 단계;A method for providing feedback information related to a user's performance of Taekwondo Poomsae according to an embodiment includes: (a) providing a user with a random exercise motion among a plurality of motions configured for each Taekwondo Poomsae;

(b) 상기 임의의 운동 동작에 대응되는 시작 동작이 상기 사용자에 의해 정상적으로 수행되었는지 여부를 판별하는 단계;(b) determining whether a starting motion corresponding to the arbitrary exercise motion was normally performed by the user;

(c) 상기 시작 동작이 상기 사용자에 의해 정상적으로 수행된 것으로 판별한 경우, 상기 임의의 운동 동작에 대응되는 종료 동작이 상기 사용자에 의해 정상적으로 수행되었는지 여부를 판별하는 단계; 및(c) if it is determined that the starting motion is normally performed by the user, determining whether an ending motion corresponding to the arbitrary exercise motion is normally performed by the user; and

(d) 상기 종료 동작이 상기 사용자에 의해 정상적으로 수행된 것으로 판별한 경우, 상기 시작 동작과 상기 종료 동작이 상기 사용자에 의해 정상적으로 수행되었음을 나타내는 피드백 정보를 상기 사용자에게 제공하는 단계;를 포함할 수 있다.(d) when it is determined that the end operation has been normally performed by the user, providing feedback information indicating that the start operation and the end operation have been normally performed by the user to the user; .

상기 (b)는, In (b),

(b-1) 서로 다른 위치 또는 각도로 설치된 복수의 카메라 각각으로부터 상기 사용자가 수행하는 상기 시작 동작이 촬영된 영상프레임을 각각 수신하는 단계; 및 (b-1) receiving image frames in which the starting motion performed by the user is photographed from each of a plurality of cameras installed at different positions or angles; and

(b-2) 상기 영상프레임 각각을 기초로 상기 시작 동작이 상기 사용자에 의해 정상적으로 수행되었는지 여부를 판별하는 단계;를 포함할 수 있다.(b-2) determining whether or not the starting operation was normally performed by the user based on each of the image frames; may include.

상기 (b-2)는, In (b-2),

(b-2-1) 상기 영상프레임 각각을 기초로 상기 사용자의 복수의 관절에 대한 복수의 키포인트의 좌표를 획득하는 단계; (b-2-1) obtaining coordinates of a plurality of keypoints of a plurality of joints of the user based on each of the image frames;

(b-2-2) 상기 복수의 키포인트의 좌표를 기초로 상기 사용자의 상기 복수의 관절에 대한 복수의 각도를 획득하는 단계; 및(b-2-2) obtaining a plurality of angles of the plurality of joints of the user based on the coordinates of the plurality of keypoints; and

(b-2-3) 상기 복수의 키포인트의 좌표와 상기 복수의 각도를 기초로 상기 시작 동작이 상기 사용자에 의해 정상적으로 수행되었는지 여부를 판별하는 단계;를 포함할 수 있다. (b-2-3) determining whether or not the starting operation was normally performed by the user based on the coordinates of the plurality of keypoints and the plurality of angles;

상기 (b-2-1)는, In the above (b-2-1),

상기 영상프레임 각각을 기초로 제1 인공지능모델을 통해 상기 사용자의 상기 복수의 관절에 대한 복수의 키포인트의 좌표를 획득하는 단계;를 포함하고,Acquiring coordinates of a plurality of keypoints of the plurality of joints of the user through a first artificial intelligence model based on each of the image frames;

상기 제1 인공지능모델은, The first artificial intelligence model,

학습용 영상프레임에 기초해 학습된 CNN 기반의 모델일 수 있다.It may be a CNN-based model learned based on video frames for learning.

상기 (b-2-2)는,In the above (b-2-2),

상기 복수의 키포인트의 좌표를 기초로 제2 인공지능모델을 통해 상기 사용자의 상기 복수의 관절에 대한 복수의 각도를 획득하는 단계;를 포함하고, Acquiring a plurality of angles of the plurality of joints of the user through a second artificial intelligence model based on the coordinates of the plurality of keypoints;

상기 제2 인공지능모델은, The second artificial intelligence model,

복수의 학습용 키포인트의 좌표값에 기초해 학습된 DNN 기반의 모델일 수 있다.It may be a DNN-based model learned based on coordinate values of a plurality of learning keypoints.

상기 (c)는,In (c),

(c-1) 서로 다른 위치 또는 각도로 설치된 복수의 카메라 각각으로부터 상기 사용자가 수행하는 상기 종료 동작이 촬영된 영상프레임을 각각 수신하는 단계; 및(c-1) receiving image frames in which the end operation performed by the user is photographed from each of a plurality of cameras installed at different positions or angles; and

(c-2) 상기 영상프레임 각각을 기초로 상기 종료 동작이 상기 사용자에 의해 정상적으로 수행되었는지 여부를 판별하는 단계;를 포함할 수 있다.(c-2) determining whether or not the ending operation was normally performed by the user based on each of the video frames;

상기 (c-2)는, In the above (c-2),

(c-2-1) 상기 영상프레임 각각을 기초로 상기 사용자의 복수의 관절에 대한 복수의 키포인트의 좌표를 획득하는 단계; (c-2-1) obtaining coordinates of a plurality of keypoints of a plurality of joints of the user based on each of the image frames;

(c-2-2) 상기 복수의 키포인트의 좌표를 기초로 상기 사용자의 상기 복수의 관절에 대한 복수의 각도를 획득하는 단계; 및(c-2-2) obtaining a plurality of angles of the plurality of joints of the user based on the coordinates of the plurality of keypoints; and

(c-2-3) 상기 복수의 키포인트의 좌표와 상기 복수의 각도를 기초로 상기 종료 동작이 상기 사용자에 의해 정상적으로 수행되었는지 여부를 판별하는 단계;를 포함할 수 있다. (c-2-3) determining whether the end operation was normally performed by the user based on the coordinates of the plurality of keypoints and the plurality of angles;

상기 (c-2-1)는, In the above (c-2-1),

상기 영상프레임 각각을 기초로 제1 인공지능모델을 통해 상기 사용자의 상기 복수의 관절에 대한 복수의 키포인트의 좌표를 획득하는 단계;를 포함하고,Acquiring coordinates of a plurality of keypoints of the plurality of joints of the user through a first artificial intelligence model based on each of the image frames;

상기 제1 인공지능모델은, The first artificial intelligence model,

학습용 영상프레임에 기초해 학습된 CNN 기반의 모델일 수 있다.It may be a CNN-based model learned based on video frames for learning.

상기 (c-2-2)는,In the above (c-2-2),

상기 복수의 키포인트의 좌표를 기초로 제2 인공지능모델을 통해 상기 사용자의 상기 복수의 관절에 대한 복수의 각도를 획득하는 단계;를 포함하고, Acquiring a plurality of angles of the plurality of joints of the user through a second artificial intelligence model based on the coordinates of the plurality of keypoints;

상기 제2 인공지능모델은, The second artificial intelligence model,

복수의 학습용 키포인트의 좌표값에 기초해 학습된 DNN 기반의 모델일 수 있다.It may be a DNN-based model learned based on coordinate values of a plurality of learning keypoints.

실시예에 따른 사용자의 태권도 품새 수행과 관련된 피드백 정보 제공 장치는, 태권도 품새별로 구성된 복수의 운동 동작을 저장하는 저장부; 및An apparatus for providing feedback information related to a user's performance of Taekwondo Poomsae according to an embodiment includes a storage unit configured to store a plurality of exercise motions configured for each Taekwondo Poomsae; and

상기 복수의 운동 동작 중 임의의 운동 동작을 사용자에게 제공하고, 상기 임의의 운동 동작에 대응되는 시작 동작이 상기 사용자에 의해 정상적으로 수행되었는지 여부를 판별하고, 상기 시작 동작이 상기 사용자에 의해 정상적으로 수행된 것으로 판별한 경우, 상기 임의의 운동 동작에 대응되는 종료 동작이 상기 사용자에 의해 정상적으로 수행되었는지 여부를 판별하며, 상기 종료 동작이 상기 사용자에 의해 정상적으로 수행된 것으로 판별한 경우, 상기 시작 동작과 상기 종료 동작이 상기 사용자에 의해 정상적으로 수행되었음을 나타내는 피드백 정보를 상기 사용자에게 제공하는 제어부;를 포함할 수 있다.A random exercise motion among the plurality of motion motions is provided to a user, it is determined whether or not a starting motion corresponding to the random motion motion was normally performed by the user, and whether the starting motion was normally performed by the user. If it is determined that it is, it is determined whether an end motion corresponding to the arbitrary exercise motion was normally performed by the user, and when it is determined that the end motion is normally performed by the user, the start motion and the end motion are determined. It may include; a control unit providing feedback information indicating that the operation was normally performed by the user to the user.

본 발명에 따르면, 카메라를 통해 획득한 영상 정보를 활용해 사용자가 취하는 태권도 품새 판독의 정확도를 보다 향상시킬 수 있게 된다. According to the present invention, it is possible to further improve the accuracy of reading Taekwondo Poomsae taken by a user by utilizing image information acquired through a camera.

특히, 하나의 품새인 경우에도 각 품새를 이루는 복수의 동작에 대해, 사용자가 취하는 동작이 현재 품새 판독 대상이 되는 동작인지 여부를 먼저 정확하게 판별하도록 함으로써, 품새 판독의 정확도를 보다 향상시킬 수 있게 된다. In particular, even in the case of a single Poomsae, it is possible to further improve the accuracy of Poomsae reading by first accurately determining whether or not the action taken by the user is the current Poomsae reading target for a plurality of actions constituting each Poomsae. .

본 발명에 따르면, 태권도 품새별 운동 동작들 각각에 대응되는 시작 동작과 종료 동작만을 이용해, 해당 운동 동작의 시작 동작과 종료 동작만을 기초로 해당 운동 동작의 시작 시점과 종료 시점을 판단할 수 있도록 함으로써, 불필요한 연산 없이 보다 간편하게 해당 운동 동작의 시작 시점과 종료 시점을 판단할 수 있게 된다. According to the present invention, by using only the start and end motions corresponding to each of the Taekwondo Poomsae exercise motions, it is possible to determine the start time and end time of the corresponding exercise motion based only on the start motion and end motion of the corresponding exercise motion. , it is possible to more conveniently determine the start time and end time of the exercise motion without unnecessary calculation.

본 발명에 따르면, 별도의 인공지능모델을 통해 복수의 키포인트의 3D 좌표값만 입력을 해도 사용자의 복수의 관절에 대한 각도, 즉 사용자의 신체를 구성하는 전체 관절에 대한 모든 각도값을 한번에 동시에 산출하도록 함으로써, 종래와 같은 복잡한 계산이나 처리 과정이 없어도 모든 각도값을 용이하게 산출할 수 있다. According to the present invention, even if only the 3D coordinate values of a plurality of key points are input through a separate artificial intelligence model, angles for a plurality of joints of the user, that is, all angle values for all joints constituting the user's body are simultaneously calculated at once. By doing so, it is possible to easily calculate all angle values without complicated calculation or processing as in the prior art.

또한, 본 발명에 따르면, 서로 다른 위치 또는 각도로 설치된 복수의 카메라 각각으로부터 수신한 영상프레임으로부터 복수의 키포인트의 3D좌표를 획득하고, 이를 기초로 각도를 산출하도록 함으로써, 보다 높은 정확도의 각도값을 산출할 수 있게 된다. In addition, according to the present invention, 3D coordinates of a plurality of key points are obtained from image frames received from each of a plurality of cameras installed at different positions or angles, and angles are calculated based on the obtained 3D coordinates, thereby obtaining higher accuracy angle values. be able to derive

도 1은 실시예에 따른 사용자의 태권도 품새 수행과 관련된 피드백 정보 제공 시스템(1)의 시스템도이다.
도 2 내지 도 5는 실시예에 따른 사용자의 태권도 품새 수행과 관련된 피드백 정보 제공 장치(10)의 동작을 설명하기 위한 순서도이고, 도 6 내지 도 9는 실시예에 따른 사용자의 태권도 품새 수행과 관련된 피드백 정보 제공 장치(10)의 동작을 설명하기 위해 참조되는 도면이다.1 is a system diagram of a system 1 for providing feedback information related to a user's performance of Taekwondo Poomsae according to an embodiment.
2 to 5 are in the embodiment 6 to 9 are flowcharts for explaining the operation of the feedback information providing device 10 related to the user's performance of Taekwondo Poomsae according to the embodiment, and FIGS. It is a drawing referenced to explain.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The detailed description of the present invention which follows refers to the accompanying drawings which illustrate, by way of illustration, specific embodiments in which the present invention may be practiced. These embodiments are described in sufficient detail to enable one skilled in the art to practice the present invention. It should be understood that the various embodiments of the present invention are different from each other but are not necessarily mutually exclusive. For example, specific shapes, structures, and characteristics described herein may be implemented in one embodiment in another embodiment without departing from the spirit and scope of the invention. Additionally, it should be understood that the location or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the invention. Accordingly, the detailed description set forth below is not to be taken in a limiting sense, and the scope of the present invention, if properly described, is limited only by the appended claims, along with all equivalents as claimed by those claims. Like reference numbers in the drawings indicate the same or similar function throughout the various aspects.

참고로, 본 발명의 각 순서도에 있어서, 각 단계는 일예이며, 각 순서를 다르게 변경 및/또는 조합한 경우에도 본 발명이 동일/유사하게 적용될 수 있다.For reference, in each flowchart of the present invention, each step is an example, and the present invention can be equally/similarly applied even when each order is differently changed and/or combined.

도 1은 실시예에 따른 사용자의 태권도 품새 수행과 관련된 피드백 정보 제공 시스템(1)의 시스템도이다. 1 is a system diagram of a system 1 for providing feedback information related to a user's performance of Taekwondo Poomsae according to an embodiment.

사용자의 태권도 품새 수행과 관련된 피드백 정보 제공 시스템(1)은 사용자의 태권도 품새 수행과 관련된 피드백 정보 제공 장치(10, 이하 제어 장치로 약칭한다) 및 카메라(20)와의 데이터 송수신으로 구성될 수 있다. The system 1 for providing feedback information related to the user's performance of Taekwondo Poomsae may be configured to transmit/receive data between a device for providing feedback information related to the user's performance of Taekwondo Poomsae (hereinafter referred to as a control device) and a camera 20.

실시예에 따른 제어 장치(10)는 제어부(11), 디스플레이부(12), 및 저장부(13)를 포함할 수 있다. The control device 10 according to the embodiment may include a control unit 11, a display unit 12, and a storage unit 13.

제어부(11)는 제어 장치(10)의 전반적인 동작을 제어할 수 있다. The controller 11 may control overall operations of the control device 10 .

제어부(11)는 카메라(20)로부터 수신한 사용자가 촬영된 태권도 품새 동작별 영상데이터를 기초로 이를 분석하여 분석 결과를 사용자에게 제공할 수 있다. The control unit 11 may analyze the image data for each motion of Taekwondo Poomsae captured by the user received from the camera 20 and provide the analysis result to the user.

디스플레이부(12)는 제어부(11)의 처리 결과를 출력하여 사용자에게 제공할 수 있고, 특히, 태권도 품새별로 구성된 운동 동작들 각각을 디스플레이부(12)의 화면을 통해 제공할 수 있다. The display unit 12 may output processing results of the controller 11 and provide the results to the user, and in particular, may provide each of the exercise motions configured for each Taekwondo Poomsae through the screen of the display unit 12 .

실시예에 따라, 디스플레이부(12)는 사용자 인터페이스부의 기능을 포함하여, 디스플레이부(12)의 화면을 통해 사용자 입력을 수신할 수 있다. Depending on the embodiment, the display unit 12 may receive a user input through the screen of the display unit 12, including the function of the user interface unit.

저장부(13)는 제어 장치(10)의 동작에 필요한 각종 프로그램 및 데이터 등을 저장할 수 있다. The storage unit 13 may store various programs and data necessary for the operation of the control device 10 .

저장부(13)는 제1 인공지능모델(131), 제2 인공지능모델(132), 및 운동동작DB(133)를 포함할 수 있다. The storage unit 13 may include a first artificial intelligence model 131, a second artificial intelligence model 132, and a motion action DB 133.

제1 인공지능모델(131) 및 제2 인공지능모델(132)은 신경망(Neural Network)모델에 대한 학습을 통해 획득된, 인공지능에 기반한 모델일 수 있다.The first artificial intelligence model 131 and the second artificial intelligence model 132 may be models based on artificial intelligence acquired through learning of a neural network model.

구체적으로, 제1 인공지능모델(131) 및 제2 인공지능모델(132) 은 인간의 뇌 구조를 컴퓨터 상에서 모의하도록 설계될 수 있으며 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고 받는 뉴런의 시냅팁(synaptic) 활동을 모의하도록 각각 연결 관계를 형성할 수 있다.Specifically, the first artificial intelligence model 131 and the second artificial intelligence model 132 may be designed to simulate the structure of the human brain on a computer, and may simulate a plurality of weighted neurons of a human neural network. may include network nodes of A plurality of network nodes may form a connection relationship, respectively, to simulate synaptic activities of neurons that transmit and receive signals through synapses.

또한, 제1 인공지능모델(131) 및 제2 인공지능모델(132) 은 일 예로, 신경망 모델, 또는 신경망 모델에서 발전한 딥러닝(deep-learning) 모델에 대한 학습에 기초해 획득된 모델일 수 있다. 딥러닝 모델에서 복수의 네트워크 노드들은 서로 다른 깊이(또는, 레이어)에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다. 신경망 모델은 복수의 신경망 레이어들을 포함할 수도 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행할 수 있다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 신경망 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 신경망 모델 모델에서 획득한 로스(loss)값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 학습된 신경망 모델의 예에는 DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network), CNN(Convolution Neural Network)등이 있을 수 있으나 본 발명은 이에 한정되지 않는다.In addition, the first artificial intelligence model 131 and the second artificial intelligence model 132 may be, for example, models obtained based on learning about a neural network model or a deep-learning model developed from a neural network model. there is. In the deep learning model, a plurality of network nodes may exchange data according to a convolution connection relationship while being located at different depths (or layers). A neural network model may include a plurality of neural network layers. Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation may be performed through an operation between an operation result of a previous layer and a plurality of weight values. The plurality of weights of the plurality of neural network layers may be optimized according to the learning result of the neural network model. For example, a plurality of weights may be updated to reduce or minimize a loss value or a cost value obtained from a neural network model during a learning process. Examples of the learned neural network model may include a deep neural network (DNN), a recurrent neural network (RNN), a bidirectional recurrent deep neural network (BRDNN), and a convolution neural network (CNN), but the present invention is not limited thereto.

실시예에 따라, 제어부(11)는 학습용 영상프레임에 기초해 학습된 상기 제1 인공지능모델(131)을 생성하여 저장부(13)에 저장할 수 있다.Depending on the embodiment, the control unit 11 may generate the first artificial intelligence model 131 learned based on the video frame for learning and store it in the storage unit 13 .

실시예에 따라, 제1 인공지능모델(131)은 사용자가 수행하는 태권도 품새별 운동 동작들 각각에 대응되는 시작 동작의 학습용 영상프레임 및 종료 동작의 학습용 영상프레임을 CNN과 같은 신경망 모델에 입력시키는 학습을 통해 획득된, 인공지능에 기반한 모델일 수 있다.According to the embodiment, the first artificial intelligence model 131 inputs a video frame for learning of a start motion and a video frame for learning an end motion corresponding to each of the exercise motions for each Taekwondo Poomsae performed by a user to a neural network model such as CNN. It may be a model based on artificial intelligence acquired through learning.

실시예에 따라, 상기 제1 인공지능모델(131)은 CNN(Convolutional Neural Network) 기반의 모델일 수 있으나, 이에 한정되는 것은 아니며 영상에서 특징을 추출하기 위한 다양한 인공 신경망 모델이 사용될 수 있다.Depending on the embodiment, the first artificial intelligence model 131 may be a convolutional neural network (CNN)-based model, but is not limited thereto, and various artificial neural network models for extracting features from images may be used.

실시예에 따라, 제1 인공지능모델(131)은 입력 RGB이미지를 컨볼루션 뉴럴 네트워크를 통해 공급하여 키포인트의 3D 좌표값을 획득하도록 학습된 모델일 수 있다.Depending on the embodiment, the first artificial intelligence model 131 may be a model learned to obtain 3D coordinate values of keypoints by supplying an input RGB image through a convolutional neural network.

실시예에 따라, 제1 인공지능모델(131)은 하나 이상의 합성곱 층(Convolutional Layer) 및 하나 이상의 풀링 층(Pooling Layer)를 포함할 수 있다. 합성곱 층은 입력되는 영상프레임에서 기 설정된 크기(예를 들어, 3×3 픽셀 크기)의 필터를 일정 간격으로 이동시키면서 해당 필터에 대응되는 픽셀들의 특징값을 추출할 수 있다. 풀링 층은 합성곱 층의 출력을 입력으로 받아 다운 샘플링(Down Sampling)을 수행할 수 있다.Depending on the embodiment, the first artificial intelligence model 131 may include one or more convolutional layers and one or more pooling layers. The convolution layer may extract feature values of pixels corresponding to the filter while moving a filter having a preset size (eg, 3×3 pixel size) at regular intervals in the input image frame. The pooling layer may perform down sampling by receiving the output of the convolution layer as an input.

실시예에 따라, 제어부(11)는 복수의 관절에 대한 복수의 학습용 키포인트의 3D좌표값에 기초해 학습된 상기 제2 인공지능모델(132)을 생성해 저장부(13)에 저장할 수 있다.Depending on the embodiment, the control unit 11 may generate the second artificial intelligence model 132 learned based on 3D coordinate values of a plurality of learning keypoints for a plurality of joints and store it in the storage unit 13 .

실시예에 따라, 상기 제2 인공지능모델(132)은 입력층(input layer)과 출력층(output layer) 사이에 여러 개의 은닉층(hidden layer)들로 이뤄진 DNN(Deep Neural Network) 기반의 모델일 수 있다.Depending on the embodiment, the second artificial intelligence model 132 may be a Deep Neural Network (DNN)-based model consisting of several hidden layers between an input layer and an output layer. there is.

실시예에 따라, 제어부(11)는 복수의 관절에 대한 복수의 학습용 키포인트의 3D좌표값을 DNN과 같은 신경망 모델에 입력하여, DNN을 통해 복수의 관절에 대한 복수의 학습용 각도를 출력하도록 반복 학습함으로써, 상기 제2 인공지능모델(132)을 생성할 수 있다.According to an embodiment, the control unit 11 inputs 3D coordinate values of a plurality of learning keypoints for a plurality of joints to a neural network model such as a DNN, and repeatedly learns to output a plurality of learning angles for a plurality of joints through the DNN. By doing so, the second artificial intelligence model 132 can be created.

예를 들어, 도 8(실험용 데이터셋임)을 참조하면, 전면영상프레임에 대응되는 복수의 관절에 대한 복수의 학습용 키포인트의 3D좌표값 (33*3=99개), 후면영상프레임에 대응되는 복수의 관절에 대한 복수의 학습용 키포인트의 3D좌표값 (33*3=99개), 및 측면영상프레임에 대응되는 복수의 관절에 대한 복수의 학습용 키포인트의 3D좌표값 (33*3=99개)이 연결된 297개의 좌표값이 학습을 위한 데이터셋으로 준비되고, 상기 데이터셋에 13개의 관절 각도값이 레이블링된 것을 알 수 있다. 즉, 297개의 좌표값 데이터셋 전체가 함께 입력값으로 신경망 모델에 입력되어, 13개의 관절 각도값 전체가 함께 출력값으로 출력되는 구조이다. For example, referring to FIG. 8 (experimental data set), 3D coordinate values (33 * 3 = 99) of a plurality of learning keypoints for a plurality of joints corresponding to the front image frame, a plurality of values corresponding to the rear image frame 3D coordinate values (33 * 3 = 99 pieces) of a plurality of learning keypoints for the joints of and 3D coordinate values (33 * 3 = 99 pieces) of a plurality of learning keypoints for a plurality of joints corresponding to the side image frame It can be seen that 297 connected coordinate values are prepared as a dataset for learning, and 13 joint angle values are labeled in the dataset. That is, the entirety of 297 coordinate data sets are input to the neural network model as input values, and all 13 joint angle values are output together as output values.

또한, 도 7을 참조하면, 상기 데이터셋이 DNN을 이용한 학습을 통해 획득된 제2 인공지능모델(132)로부터 추론을 통해 13개 관절의 각도값이 출력되는 것을 예시한다.Further, referring to FIG. 7 , the dataset illustrates that angle values of 13 joints are output through inference from the second artificial intelligence model 132 obtained through learning using DNN.

실시예에 따라, 운동동작DB(133)는 태권도 품새별 운동 동작들 각각에 대응되는 시작 동작과 종료 동작을 포함하는 운동 컨텐츠, 그리고, 각 시작 동작에 대응되는 복수의 표준 각도와 복수의 표준 키포인트의 좌표 및 각 종료 동작에 대응되는 복수의 표준 각도와 복수의 표준 키포인트의 좌표를 미리 저장할 수 있다. According to the embodiment, the exercise motion DB 133 includes exercise contents including a start motion and an end motion corresponding to each of the motion motions for each Taekwondo Poomsae, and a plurality of standard angles and a plurality of standard key points corresponding to each start motion. It is possible to store in advance the coordinates of a plurality of standard angles and coordinates of a plurality of standard keypoints corresponding to each end operation.

카메라부(20)는 디스플레이부(12)에 출력된 특정 운동 동작을 따라서 수행하는 사용자를 촬영한 영상을 획득할 수 있다.The camera unit 20 may obtain an image of a user performing a specific exercise motion output on the display unit 12 .

실시예에 따른 카메라(20)는 서로 다른 위치 또는 각도로 설치되고, 복수 개로 구현될 수 있다. 예를 들어, 사용자의 정면을 촬영하는 전면 카메라(21), 사용자의 후면을 촬영하는 후면 카메라(22), 및 사용자의 좌측면 또는 우측면을 촬영하는 측면 카메라(23)를 포함할 수 있다. 실시예에 따라, 후면 카메라(22)는 사용자의 후면을 촬영하여 피사체(P)의 관상면(Coronal plane)의 방향에 대한 자세를 캡쳐할 수 있다. 그리고, 측면 카메라(23)는 사용자의 좌측면 또는 우측면을 촬영하여 시상면(Sagittal plane)의 방향에 대한 자세를 캡쳐할 수 있다. The camera 20 according to the embodiment is installed at different positions or angles, and may be implemented in plurality. For example, it may include a front camera 21 that photographs the front of the user, a rear camera 22 that photographs the back of the user, and a side camera 23 that photographs the left or right side of the user. Depending on the embodiment, the rear camera 22 may capture the posture of the subject P in the direction of the coronal plane by capturing the back of the user. In addition, the side camera 23 may capture a posture in the direction of a sagittal plane by capturing a left side or a right side of the user.

본 발명에 따르면, 관상면, 시상면 등의 다방향으로 카메라를 장착하여 사용자의 전, 후, 좌, 우 등 각 방향의 자세를 캡쳐할 수 있고, 이를 기초로 사용자의 자세를 정밀하게 분석할 수 있다. According to the present invention, it is possible to capture the user's posture in each direction, such as the front, back, left, and right, by mounting the camera in multiple directions such as the coronal plane and the sagittal plane, and based on this, the user's posture can be precisely analyzed. can

다만, 이는 실시예이며, 보다 많은 종류의 다양한 각도에서 촬영된 카메라를 이용하는 경우에도 본 발명이 동일/유사하게 적용될 수 있다. However, this is an example, and the present invention can be applied in the same/similar way even when more types of cameras taken from various angles are used.

도 2 내지 도 5는 실시예에 따른 사용자의 태권도 품새 수행과 관련된 피드백 정보 제공 장치(10)의 동작을 설명하기 위한 순서도이고, 도 6 내지 도 9는 실시예에 따른 사용자의 태권도 품새 수행과 관련된 피드백 정보 제공 장치(10)의 동작을 설명하기 위해 참조되는 도면이다. 구체적으로, 도 3은 도 2의 s22 단계를 상세하게 설명한 순서도이고, 도 4는 도 2의 s23 단계를 상세하게 설명한 순서도이다.2 to 5 are in the embodiment 6 to 9 are flowcharts for explaining the operation of the feedback information providing device 10 related to the user's performance of Taekwondo Poomsae according to the embodiment, and FIGS. It is a drawing referenced to explain. Specifically, FIG. 3 is a flowchart illustrating step s22 of FIG. 2 in detail, and FIG. 4 is a flowchart illustrating step s23 of FIG. 2 in detail.

도 2 내지 도 5를 참조하면, 제어부(11)는 태권도 품새별로 구성된 복수의 운동 동작 중 임의의 운동 동작을 사용자에게 제공할 수 있다(s21). Referring to FIGS. 2 to 5 , the controller 11 may provide a user with an arbitrary exercise motion among a plurality of exercise motions configured for each Taekwondo Poomsae (s21).

구체적으로, 제어부(11)는 운동동작DB(133)에 기 저장된 태권도 품새별로 구성된 복수의 운동 동작 중 임의의 운동 동작을 독출하여 사용자에게 제공할 수 있다. 예를 들어, 도 9를 참조하면, 제어부(11)는 태권도 품새 '고려'에 포함되는 복수의 운동 동작 중 임의의 운동 동작(예> "거듭 엽차기")을 디스플레이부(12)를 통한 영상 및/또는 텍스트, 음성출력부(미도시)를 통한 음성으로 출력하여 제공할 수 있다. Specifically, the control unit 11 may read out an arbitrary exercise motion among a plurality of exercise motions configured for each Taekwondo Poomsae pre-stored in the exercise motion DB 133 and provide the read out motion to the user. For example, referring to FIG. 9 , the control unit 11 displays an image through the display unit 12 of an arbitrary exercise motion (eg, “repeated senchagi”) among a plurality of exercise motions included in Taekwondo Poomsae 'Goryeo'. And/or it may be output and provided as text or voice through a voice output unit (not shown).

제어부(11)는 임의의 운동 동작에 대응되는 시작 동작이 상기 사용자에 의해 정상적으로 수행되었는지 여부를 판별할 수 있다(s22). The control unit 11 may determine whether or not a starting motion corresponding to an arbitrary exercise motion has been normally performed by the user (S22).

예를 들어, 임의의 운동 동작("거듭 엽차기")에 대응되는 시작 동작은 "발을 지면에 위치시킨다"일 수 있다. For example, a starting motion corresponding to an arbitrary exercise motion (“repeated sencha kicking”) may be “put your feet on the ground”.

구체적으로, 제어부(11)는 운동동작DB(133)에 기 저장된 임의의 운동 동작에 대응되는 시작 동작과 s21 단계에서 제공된 임의의 운동 동작을 기초로 사용자에 의해 수행되는 동작을 비교해 상기 시작 동작이 정상적으로 수행되었는지 여부를 판별할 수 있다. Specifically, the control unit 11 compares the motion performed by the user based on the random motion provided in step s21 with the start motion corresponding to any motion motion pre-stored in the motion motion DB 133, and the starting motion is It can be determined whether or not it was performed normally.

보다 구체적으로, 도 3과 도 5를 참조하면, 제어부(11)는 서로 다른 위치 또는 각도로 설치된 복수의 카메라(20) 각각으로부터 사용자가 수행하는 상기 시작 동작이 촬영된 영상프레임을 각각 수신하고(s31), 상기 영상프레임 각각을 기초로 상기 사용자의 복수의 관절에 대한 복수의 키포인트의 좌표를 획득하며(s32), 상기 복수의 키포인트의 좌표를 기초로 상기 사용자의 상기 복수의 관절에 대한 복수의 각도를 획득하고(s33), 상기 복수의 키포인트의 좌표와 상기 복수의 각도를 운동동작DB(22)에 기 저장된 상기 임의의 운동 동작에 대응되는 상기 시작 동작의 복수의 표준 키포인트의 좌표와 복수의 표준 복수의 각도와 비교해 상기 시작 동작이 상기 사용자에 의해 정상적으로 수행되었는지 여부를 판별할 수 있다(s34). More specifically, referring to FIGS. 3 and 5 , the controller 11 receives image frames in which the starting motion performed by the user is photographed from each of the plurality of cameras 20 installed at different positions or angles ( s31), obtaining coordinates of a plurality of keypoints for a plurality of joints of the user based on each of the image frames (s32), and obtaining a plurality of coordinates of a plurality of joints of the user based on the coordinates of the plurality of keypoints. The angle is acquired (s33), and the coordinates of the plurality of keypoints and the plurality of angles are pre-stored in the motion action DB 22 and the coordinates of a plurality of standard keypoints of the starting motion corresponding to the arbitrary motion motion and the plurality of Compared with a plurality of standard angles, it may be determined whether or not the starting operation was normally performed by the user (S34).

s31의 경우, 실시예에 따라, 제어부(11)는 전면 카메라(21)로부터 사용자의 시작 동작의 정면이 촬영된 전면영상프레임을 수신하고, 후면 카메라(22)로부터 사용자의 시작 동작의 후면이 촬영된 후면영상프레임을 수신하며, 측면 카메라(23)로부터 사용자의 시작 동작의 측면이 촬영된 측면영상프레임을 수신할 수 있다. In the case of s31, according to the embodiment, the controller 11 receives a front image frame in which the front of the user's starting motion is photographed from the front camera 21, and the rear of the user's starting motion is photographed from the rear camera 22. received rear image frame, and may receive a side image frame in which the side of the user's starting motion is photographed from the side camera 23.

s32의 경우, 실시예에 따라, 제어부(11)는 상기 복수의 카메라(20) 각각으로부터 수신한 상기 영상프레임 각각으로부터 제1 인공지능모델(131)을 통해 상기 사용자의 복수의 관절에 대한 복수의 키포인트의 3D좌표를 획득할 수 있다. In the case of s32, according to the embodiment, the controller 11 determines a plurality of the plurality of joints of the user through the first artificial intelligence model 131 from each of the image frames received from each of the plurality of cameras 20. 3D coordinates of key points can be acquired.

실시예에 따라, 제어부(11)는 학습용 영상프레임을 기초로 한 학습을 통해 제1 인공지능모델(131)을 생성하여, 해당 제1 인공지능모델(131)을 통해 사용자의 복수의 키포인트의 3D좌표를 획득할 수 있다. According to the embodiment, the control unit 11 generates the first artificial intelligence model 131 through learning based on the video frame for learning, and uses the first artificial intelligence model 131 to generate 3D images of a plurality of key points of the user. coordinates can be obtained.

실시예에 따라, 제어부(11)는 전면영상프레임으로부터 상기 제1 인공지능모델(131)을 통해 상기 복수의 관절에 대한 복수의 키포인트의 3D 좌표를 획득하고, 후면영상프레임으로부터 상기 제1 인공지능모델(131)을 통해 상기 복수의 관절에 대한 복수의 키포인트의 3D 좌표를 획득하며, 측면영상프레임으로부터 상기 제1 인공지능모델(131)을 통해 복수의 관절에 대한 복수의 키포인트의 3D 좌표를 획득할 수 있다. According to the embodiment, the controller 11 acquires 3D coordinates of a plurality of key points for the plurality of joints through the first artificial intelligence model 131 from the front image frame, and obtains the 3D coordinates of the plurality of key points from the rear image frame through the first artificial intelligence model 131. Obtain 3D coordinates of a plurality of key points for the plurality of joints through the model 131, and obtain 3D coordinates of a plurality of key points for the plurality of joints from the side image frame through the first artificial intelligence model 131 can do.

예를 들어, 도 6과 같이, 제어부(11)는 각 영상프레임으로부터 사용자의 복수의 관절에 대한 33개의 키포인트의 3D 좌표(xyz 3개의 좌표)를 각각 획득할 수 있다. 실시예에 따라, 키포인트는 코, 좌측 눈(중앙/내측/외측), 우측 눈(중앙/내측/외측), 좌측 귀, 우측 퀴, 좌측 입, 우측 입, 좌측 어깨, 우측 어깨, 좌측 팔꿈치, 우측 팔꿈치, 좌측 손목, 우측 손목, 좌측 새끼 손가락, 우측 새끼 손가락, 좌측 검지 손가락, 우측 검지 손가락, 좌측 엄지 손가락, 우측 엄지 손가락, 좌측 둔부, 우측 둔부, 좌측 무릎, 우측 무릎, 좌측 발목, 우측 발목, 좌측 뒤꿈치, 우측 뒤꿈치, 좌측 발가락, 및 우측 발가락을 포함할 수 있다. For example, as shown in FIG. 6 , the controller 11 may acquire 3D coordinates (three xyz coordinates) of 33 key points for a plurality of joints of the user from each image frame. Depending on the embodiment, the key points are nose, left eye (center/inner/outer), right eye (center/inner/outer), left ear, right ear, left mouth, right mouth, left shoulder, right shoulder, left elbow, Right Elbow, Left Wrist, Right Wrist, Left Little Finger, Right Little Finger, Left Index Finger, Right Index Finger, Left Thumb, Right Thumb, Left Hip, Right Buttock, Left Knee, Right Knee, Left Ankle, Right Ankle , left heel, right heel, left toe, and right toe.

실시예에 따라, 제어부(11)는 상기 복수의 카메라(20) 각각으로부터 수신한 상기 영상프레임 각각의 타임스탬프의 차이값이 소정의 범위 내(예> 0.05ms 미만) 에서 서로 유사한 것으로 판단한 경우, 상기 영상프레임 각각이 서로 동기화된 것으로 간주하여 함께 상기 제1 인공지능모델(131)에 입력시킬 수 있다. Depending on the embodiment, when the control unit 11 determines that the difference values of the timestamps of each of the video frames received from each of the plurality of cameras 20 are similar to each other within a predetermined range (eg, less than 0.05 ms), Each of the image frames may be regarded as being synchronized with each other and may be input to the first artificial intelligence model 131 together.

본 발명의 경우, 이에 따라, 복수의 카메라를 사용하는 경우에 각각의 카메라의 내부 프로세서 혹은 카메라를 연결시키는 호스트 프로세스(예> 제어부(11))에 의해 프레임이 균등하게 발생되지 못하는 상황을 막을 수 있게 된다. 즉, 각 카메라별로 생성된 시간의 오차가 클 경우에, 제1 인공지능모델(131)에 입력으로 넣게 되면 정확하지 않은 관절 각도가 예측될 수 있으나, 본 발명에 따르면 상기와 같은 동기화 과정에 따라 프레임간 균등성을 유지할 수 있게 된다. In the case of the present invention, accordingly, when a plurality of cameras are used, it is possible to prevent a situation in which frames are not uniformly generated by an internal processor of each camera or a host process (eg, the controller 11) that connects the cameras. there will be That is, when the error of the time generated for each camera is large, an inaccurate joint angle can be predicted when input to the first artificial intelligence model 131, but according to the present invention, according to the above synchronization process It is possible to maintain uniformity between frames.

s33의 경우, 실시예에 따라, 제어부(11)는 상기 획득된 복수의 관절에 대한 복수의 키포인트의 3D좌표로부터 제2 인공지능모델(132)을 통해 상기 사용자의 복수의 관절에 대한 복수의 각도를 획득할 수 있다. In the case of s33, according to the embodiment, the control unit 11 calculates a plurality of angles for the plurality of joints of the user through the second artificial intelligence model 132 from the 3D coordinates of the plurality of key points for the plurality of joints obtained above. can be obtained.

실시예에 따라, 제어부(11)는 복수의 학습용 키포인트의 3D좌표값을 기초로 한 학습을 통해 제2 인공지능모델(132)을 생성하여, 해당 제2 인공지능모델(132)을 통해 사용자의 복수의 관절에 대한 복수의 각도를 획득할 수 있다. According to an embodiment, the control unit 11 generates a second artificial intelligence model 132 through learning based on 3D coordinate values of a plurality of key points for learning, and through the second artificial intelligence model 132, the user's A plurality of angles for a plurality of joints may be obtained.

실시예에 따라, 제어부(11)는 전면영상프레임으로부터 획득한 복수의 관절에 대한 복수의 키포인트의 3D 좌표값, 후면영상프레임으로부터 획득한 상기 복수의 관절에 대한 복수의 키포인트의 3D 좌표값, 및 측면영상프레임으로부터 획득한 상기 복수의 관절에 대한 복수의 키포인트의 3D 좌표값이 각각 서로 결합(또는 연결)된 키포인트 집합을 제2 인공지능모델(132)을 통해 입력하고, 제2 인공지능모델(132)을 통해 사용자의 복수의 관절에 대한 복수의 각도를 획득할 수 있다. According to the embodiment, the control unit 11 determines 3D coordinate values of a plurality of key points for a plurality of joints obtained from a front image frame, 3D coordinate values of a plurality of key points for a plurality of joints obtained from a rear image frame, and A set of keypoints in which the 3D coordinate values of the plurality of keypoints for the plurality of joints obtained from the side image frame are combined (or connected) are input through the second artificial intelligence model 132, and the second artificial intelligence model ( 132), it is possible to obtain a plurality of angles for a plurality of joints of the user.

실시예에 따라, 상기 사용자의 복수의 관절에 대한 복수의 각도는, 좌측 어깨 관절 각도, 우측 어깨 관절 각도, 좌측 무릎 관절 각도, 우측 무릎 관절 각도, 좌측 팔꿈치 관절 각도, 우측 팔꿈치 관절 각도, 좌측 발목 관절 각도, 우측 발목 관절 각도, 좌측 옆구리 관절 각도, 우측 옆구리 관절 각도, 좌측 손목 관절 각도, 우측 손목 관절 각도, 및 목 관절 각도를 포함할 수 있다.According to the embodiment, the plurality of angles of the plurality of joints of the user may include a left shoulder joint angle, a right shoulder joint angle, a left knee joint angle, a right knee joint angle, a left elbow joint angle, a right elbow joint angle, and a left ankle joint angle. It may include a joint angle, a right ankle joint angle, a left flank joint angle, a right flank joint angle, a left wrist joint angle, a right wrist joint angle, and a neck joint angle.

본 발명에 따르면, 이와 같이 별도의 인공지능모델을 통해 복수의 키포인트의 3D 좌표값만 입력을 해도 사용자의 복수의 관절에 대한 각도, 즉 사용자의 신체를 구성하는 전체 관절에 대한 모든 각도값을 한번에 동시에 산출하도록 함으로써, 종래와 같은 복잡한 계산이나 처리 과정이 없어도 모든 각도값을 용이하게 산출할 수 있다. 즉, 종래의 경우, 다중 카메라 이용시 TOF 센서, RGB-D(깊이 센서), 적외선 센서 등의 추가적인 고가의 센서 장비를 이용하여 복잡한 산술식을 통한 계산이나 처리 과정을 통해서만 키포인트로부터 각도를 산출할 수 있었으나, 본 발명에 따르면, 별도의 추가 센서 없이도, 딥러닝에 기반한 인공지능모델을 통해 복수의 키포인트의 3D 좌표값을 입력만 해도 사용자의 신체를 구성하는 전체 관절에 대한 모든 각도값을 한번에 산출할 수 있게 되어 보다 빠르고 간단하며, 더 높은 정확도의 각도값을 산출할 수 있게 된다. 즉, 종래의 관절에 대한 각도값 산출은 키포인트들이 서로 이루는 사이각에 기초한 반면, 본 발명의 경우, 키포인트들 사이의 사이각을 별도로 계산하지 않고 키포인트 자체 만으로 관절의 각도를 바로 추출할 수 있게 되어 처리가 간단하면서도 보다 빨라질 수 있게 된다. According to the present invention, even if only the 3D coordinate values of a plurality of key points are input through a separate artificial intelligence model as described above, the angles of the user's plurality of joints, that is, all the angle values of all the joints constituting the user's body, can be obtained at once. By simultaneously calculating, all angle values can be easily calculated without complicated calculation or processing as in the prior art. That is, in the conventional case, when using multiple cameras, the angle can be calculated from the keypoint only through calculation or processing through a complex arithmetic equation using additional expensive sensor equipment such as a TOF sensor, RGB-D (depth sensor), and an infrared sensor. However, according to the present invention, all angle values for all joints constituting the user's body can be calculated at once without a separate additional sensor, simply by inputting the 3D coordinate values of a plurality of key points through an artificial intelligence model based on deep learning. This makes it possible to calculate the angle value faster, simpler, and with higher accuracy. That is, while the calculation of the angle value for a conventional joint is based on the angle between key points, in the case of the present invention, it is possible to directly extract the angle of the joint only with the key point itself without separately calculating the angle between key points. The processing is simple and can be made faster.

또한, 본 발명에 따르면, 서로 다른 위치 또는 각도로 설치된 복수의 카메라 각각으로부터 수신한 영상프레임으로부터 복수의 키포인트의 3D좌표를 획득하고, 이를 기초로 각도를 산출하도록 함으로써, 보다 높은 정확도의 각도값을 산출할 수 있게 된다. 즉, 다양한 각도에서 촬영된 영상프레임으로부터 획득된 동일 대상의 3D좌표값이 반영되어 동일 대상에 대한 각도를 산출하게 되므로, 보다 높은 정확도의 각도값을 산출할 수 있게 되는 것이다. In addition, according to the present invention, 3D coordinates of a plurality of key points are obtained from image frames received from each of a plurality of cameras installed at different positions or angles, and angles are calculated based on the obtained 3D coordinates, thereby obtaining higher accuracy angle values. be able to derive That is, since the 3D coordinate values of the same object obtained from image frames photographed at various angles are reflected to calculate the angle of the same object, it is possible to calculate the angle value with higher accuracy.

s34의 경우, 실시예에 따라, 제어부(11)는 s32단계에서 획득한 복수의 키포인트의 좌표와 운동동작DB(22)에 기 저장된 상기 임의의 운동 동작에 대응되는 상기 시작 동작의 복수의 표준 키포인트의 좌표를 비교하여 제1 유사도를 산출하고, s33 단계에서 획득한 복수의 각도와 동작DB(22)에 기 저장된 상기 임의의 운동 동작에 대응되는 상기 시작 동작의 복수의 표준 각도를 비교하여 제2 유사도를 산출하며, 상기 제1 유사도와 상기 제2 유사도를 이용해 평균 유사도(= 제1 유사도 + 제2 유사도/2)를 산출하고, 상기 평균 유사도가 소정의 임계치(예> 0.5) 이상인 경우, 상기 시작 동작이 상기 사용자에 의해 정상적으로 수행된 것으로 판별하고 s23 단계를 수행할 수 있다. 이 경우, 제어부(11)는 사용자에 의해 해당 임의의 동작에 대응되는 시작 동작이 정상적으로 수행된 것을 판별하면, 해당 임의의 동작이 시작된 것으로 판별할 수 있다. 반면, 상기 평균 유사도가 소정의 임계치 미만인 경우, 상기 시작 동작이 상기 사용자에 의해 비정상적으로 수행된 것으로 판별하여 이를 나타내는 피드백 정보를 생성하여 사용자에게 제공할 수 있다. In the case of s34, according to the embodiment, the controller 11 sets the coordinates of the plurality of keypoints obtained in step s32 and the plurality of standard keypoints of the starting motion corresponding to the arbitrary motion previously stored in the motion DB 22 A first degree of similarity is calculated by comparing the coordinates of, and a plurality of angles obtained in step s33 are compared with a plurality of standard angles of the starting motion corresponding to the random motion previously stored in the motion DB 22 to obtain a second A similarity is calculated, and an average similarity (= first similarity + second similarity/2) is calculated using the first similarity and the second similarity, and when the average similarity is greater than or equal to a predetermined threshold (eg > 0.5), the It is determined that the start operation was normally performed by the user, and step s23 may be performed. In this case, the controller 11 may determine that the corresponding arbitrary operation has started when it is determined that the starting operation corresponding to the corresponding arbitrary operation has been normally performed by the user. On the other hand, when the average similarity is less than a predetermined threshold, it is determined that the starting operation is abnormally performed by the user, and feedback information representing this may be generated and provided to the user.

제어부(11)는 시작 동작이 상기 사용자에 의해 정상적으로 수행된 것으로 판별한 경우, 상기 임의의 운동 동작에 대응되는 종료 동작이 상기 사용자에 의해 정상적으로 수행되었는지 여부를 판별할 수 있다(s23). When it is determined that the starting motion is normally performed by the user, the controller 11 may determine whether or not the ending motion corresponding to the arbitrary exercise motion is normally performed by the user (S23).

예를 들어, 임의의 운동 동작("거듭 엽차기")에 대응되는 종료 동작은 "발을 허공에 위치시킨다"일 수 있다. For example, an end motion corresponding to an arbitrary exercise motion ("repeated sencha") may be "place the foot in the air".

구체적으로, 제어부(11)는 운동동작DB(133)에 기 저장된 임의의 운동 동작에 대응되는 종료 동작과 s21 단계에서 제공된 임의의 운동 동작을 기초로 사용자에 의해 수행되는 동작을 비교해 상기 종료 동작이 정상적으로 수행되었는지 여부를 판별할 수 있다. Specifically, the control unit 11 compares the end motion corresponding to any motion motion pre-stored in the motion motion DB 133 with the motion performed by the user based on the random motion motion provided in step s21, and determines that the end motion is It can be determined whether or not it was performed normally.

보다 구체적으로, 도 4와 도 5를 참조하면, 제어부(11)는 서로 다른 위치 또는 각도로 설치된 복수의 카메라(20) 각각으로부터 사용자가 수행하는 상기 종료 동작이 촬영된 영상프레임을 각각 수신하고(s41), 상기 영상프레임 각각을 기초로 상기 사용자의 복수의 관절에 대한 복수의 키포인트의 좌표를 획득하며(s42), 상기 복수의 키포인트의 좌표를 기초로 상기 사용자의 상기 복수의 관절에 대한 복수의 각도를 획득하고(s43), 상기 복수의 키포인트의 좌표와 상기 복수의 각도를 운동동작DB(22)에 기 저장된 상기 임의의 운동 동작에 대응되는 상기 종료 동작의 복수의 표준 키포인트의 좌표와 복수의 표준 복수의 각도와 비교해 상기 종료 동작이 상기 사용자에 의해 정상적으로 수행되었는지 여부를 판별할 수 있다(s44). More specifically, referring to FIGS. 4 and 5, the controller 11 receives image frames in which the end operation performed by the user is photographed from each of the plurality of cameras 20 installed at different positions or angles ( s41), obtaining coordinates of a plurality of keypoints for a plurality of joints of the user based on each of the image frames (s42), and obtaining a plurality of coordinates of a plurality of joints of the user based on the coordinates of the plurality of keypoints. The angle is acquired (s43), and the coordinates of the plurality of keypoints and the plurality of angles are pre-stored in the movement action DB 22, and the coordinates of the plurality of standard keypoints of the end action corresponding to the arbitrary movement action and the plurality of coordinates of the plurality of key points are obtained. Compared with a plurality of standard angles, it may be determined whether the ending operation was normally performed by the user (s44).

s41의 경우, 실시예에 따라, 제어부(11)는 전면 카메라(21)로부터 사용자의 종료 동작의 정면이 촬영된 전면영상프레임을 수신하고, 후면 카메라(22)로부터 사용자의 종료 동작의 후면이 촬영된 후면영상프레임을 수신하며, 측면 카메라(23)로부터 사용자의 종료 동작의 측면이 촬영된 측면영상프레임을 수신할 수 있다. In the case of s41, according to the embodiment, the controller 11 receives a front image frame in which the front of the user's ending action is photographed from the front camera 21, and the rear of the user's ending action is photographed from the rear camera 22. received rear image frame, and may receive a side image frame in which the side of the user's end operation is photographed from the side camera 23.

s42의 경우, 실시예에 따라, 제어부(11)는 상기 복수의 카메라(20) 각각으로부터 수신한 상기 영상프레임 각각으로부터 제1 인공지능모델(131)을 통해 상기 사용자의 복수의 관절에 대한 복수의 키포인트의 3D좌표를 획득할 수 있다. In the case of s42, according to the embodiment, the controller 11 determines a plurality of the plurality of joints of the user through the first artificial intelligence model 131 from each of the image frames received from each of the plurality of cameras 20. 3D coordinates of key points can be acquired.

실시예에 따라, 제어부(11)는 학습용 영상프레임을 기초로 한 학습을 통해 제1 인공지능모델(131)을 생성하여, 해당 제1 인공지능모델(131)을 통해 사용자의 복수의 키포인트의 3D좌표를 획득할 수 있다. According to the embodiment, the control unit 11 generates the first artificial intelligence model 131 through learning based on the video frame for learning, and uses the first artificial intelligence model 131 to generate 3D images of a plurality of key points of the user. coordinates can be obtained.

실시예에 따라, 제어부(11)는 전면영상프레임으로부터 상기 제1 인공지능모델(131)을 통해 상기 복수의 관절에 대한 복수의 키포인트의 3D 좌표를 획득하고, 후면영상프레임으로부터 상기 제1 인공지능모델(131)을 통해 상기 복수의 관절에 대한 복수의 키포인트의 3D 좌표를 획득하며, 측면영상프레임으로부터 상기 제1 인공지능모델(131)을 통해 복수의 관절에 대한 복수의 키포인트의 3D 좌표를 획득할 수 있다. According to the embodiment, the controller 11 acquires 3D coordinates of a plurality of key points for the plurality of joints through the first artificial intelligence model 131 from the front image frame, and obtains the 3D coordinates of the plurality of key points from the rear image frame through the first artificial intelligence model 131. Obtain 3D coordinates of a plurality of key points for the plurality of joints through the model 131, and obtain 3D coordinates of a plurality of key points for the plurality of joints from the side image frame through the first artificial intelligence model 131 can do.

예를 들어, 도 6과 같이, 제어부(11)는 각 영상프레임으로부터 사용자의 복수의 관절에 대한 33개의 키포인트의 3D 좌표(xyz 3개의 좌표)를 각각 획득할 수 있다. 실시예에 따라, 키포인트는 코, 좌측 눈(중앙/내측/외측), 우측 눈(중앙/내측/외측), 좌측 귀, 우측 귀, 좌측 입, 우측 입, 좌측 어깨, 우측 어깨, 좌측 팔꿈치, 우측 팔꿈치, 좌측 손목, 우측 손목, 좌측 새끼 손가락, 우측 새끼 손가락, 좌측 검지 손가락, 우측 검지 손가락, 좌측 엄지 손가락, 우측 엄지 손가락, 좌측 둔부, 우측 둔부, 좌측 무릎, 우측 무릎, 좌측 발목, 우측 발목, 좌측 뒤꿈치, 우측 뒤꿈치, 좌측 발가락, 및 우측 발가락을 포함할 수 있다. For example, as shown in FIG. 6 , the controller 11 may acquire 3D coordinates (three xyz coordinates) of 33 key points for a plurality of joints of the user from each image frame. Depending on the embodiment, the key points are nose, left eye (center/inner/outer), right eye (center/inner/outer), left ear, right ear, left mouth, right mouth, left shoulder, right shoulder, left elbow, Right Elbow, Left Wrist, Right Wrist, Left Little Finger, Right Little Finger, Left Index Finger, Right Index Finger, Left Thumb, Right Thumb, Left Hip, Right Buttock, Left Knee, Right Knee, Left Ankle, Right Ankle , left heel, right heel, left toe, and right toe.

실시예에 따라, 제어부(11)는 상기 복수의 카메라(20) 각각으로부터 수신한 상기 영상프레임 각각의 타임스탬프의 차이값이 소정의 범위 내(예> 0.05ms 미만) 에서 서로 유사한 것으로 판단한 경우, 상기 영상프레임 각각이 서로 동기화된 것으로 간주하여 함께 상기 제1 인공지능모델(131)에 입력시킬 수 있다. Depending on the embodiment, when the control unit 11 determines that the difference values of the timestamps of each of the video frames received from each of the plurality of cameras 20 are similar to each other within a predetermined range (eg, less than 0.05 ms), Each of the image frames may be regarded as being synchronized with each other and may be input to the first artificial intelligence model 131 together.

본 발명의 경우, 이에 따라, 복수의 카메라를 사용하는 경우에 각각의 카메라의 내부 프로세서 혹은 카메라를 연결시키는 호스트 프로세스(예> 제어부(11))에 의해 프레임이 균등하게 발생되지 못하는 상황을 막을 수 있게 된다. 즉, 각 카메라별로 생성된 시간의 오차가 클 경우에, 제1 인공지능모델(131)에 입력으로 넣게 되면 정확하지 않은 관절 각도가 예측될 수 있으나, 본 발명에 따르면 상기와 같은 동기화 과정에 따라 프레임간 균등성을 유지할 수 있게 된다. In the case of the present invention, accordingly, when a plurality of cameras are used, it is possible to prevent a situation in which frames are not uniformly generated by an internal processor of each camera or a host process (eg, the controller 11) that connects the cameras. there will be That is, when the error of the time generated for each camera is large, an inaccurate joint angle can be predicted when input to the first artificial intelligence model 131, but according to the present invention, according to the above synchronization process It is possible to maintain uniformity between frames.

s43의 경우, 실시예에 따라, 제어부(11)는 상기 획득된 복수의 관절에 대한 복수의 키포인트의 3D좌표로부터 제2 인공지능모델(132)을 통해 상기 사용자의 복수의 관절에 대한 복수의 각도를 획득할 수 있다. In the case of s43, according to the embodiment, the control unit 11 calculates a plurality of angles for a plurality of joints of the user through the second artificial intelligence model 132 from 3D coordinates of a plurality of key points for the plurality of joints obtained above. can be obtained.

실시예에 따라, 제어부(11)는 복수의 학습용 키포인트의 3D좌표값을 기초로 한 학습을 통해 제2 인공지능모델(132)을 생성하여, 해당 제2 인공지능모델(132)을 통해 사용자의 복수의 관절에 대한 복수의 각도를 획득할 수 있다. According to an embodiment, the control unit 11 generates a second artificial intelligence model 132 through learning based on 3D coordinate values of a plurality of key points for learning, and through the second artificial intelligence model 132, the user's A plurality of angles for a plurality of joints may be obtained.

실시예에 따라, 제어부(11)는 전면영상프레임으로부터 획득한 복수의 관절에 대한 복수의 키포인트의 3D 좌표값, 후면영상프레임으로부터 획득한 상기 복수의 관절에 대한 복수의 키포인트의 3D 좌표값, 및 측면영상프레임으로부터 획득한 상기 복수의 관절에 대한 복수의 키포인트의 3D 좌표값이 각각 서로 결합(또는 연결)된 키포인트 집합을 제2 인공지능모델(132)을 통해 입력하고, 제2 인공지능모델(132)을 통해 사용자의 복수의 관절에 대한 복수의 각도를 획득할 수 있다. According to the embodiment, the control unit 11 determines 3D coordinate values of a plurality of key points for a plurality of joints obtained from a front image frame, 3D coordinate values of a plurality of key points for a plurality of joints obtained from a rear image frame, and A set of keypoints in which the 3D coordinate values of the plurality of keypoints for the plurality of joints obtained from the side image frame are combined (or connected) are input through the second artificial intelligence model 132, and the second artificial intelligence model ( 132), it is possible to obtain a plurality of angles for a plurality of joints of the user.

실시예에 따라, 상기 사용자의 복수의 관절에 대한 복수의 각도는, 좌측 어깨 관절 각도, 우측 어깨 관절 각도, 좌측 무릎 관절 각도, 우측 무릎 관절 각도, 좌측 팔꿈치 관절 각도, 우측 팔꿈치 관절 각도, 좌측 발목 관절 각도, 우측 발목 관절 각도, 좌측 옆구리 관절 각도, 우측 옆구리 관절 각도, 좌측 손목 관절 각도, 우측 손목 관절 각도, 및 목 관절 각도를 포함할 수 있다.According to the embodiment, the plurality of angles of the plurality of joints of the user may include a left shoulder joint angle, a right shoulder joint angle, a left knee joint angle, a right knee joint angle, a left elbow joint angle, a right elbow joint angle, and a left ankle joint angle. It may include a joint angle, a right ankle joint angle, a left flank joint angle, a right flank joint angle, a left wrist joint angle, a right wrist joint angle, and a neck joint angle.

본 발명에 따르면, 이와 같이 별도의 인공지능모델을 통해 복수의 키포인트의 3D 좌표값만 입력을 해도 사용자의 복수의 관절에 대한 각도, 즉 사용자의 신체를 구성하는 전체 관절에 대한 모든 각도값을 한번에 동시에 산출하도록 함으로써, 종래와 같은 복잡한 계산이나 처리 과정이 없어도 모든 각도값을 용이하게 산출할 수 있다. 즉, 종래의 경우, 다중 카메라 이용시 TOF 센서, RGB-D(깊이 센서), 적외선 센서 등의 추가적인 고가의 센서 장비를 이용하여 복잡한 산술식을 통한 계산이나 처리 과정을 통해서만 키포인트로부터 각도를 산출할 수 있었으나, 본 발명에 따르면, 별도의 추가 센서 없이도, 딥러닝에 기반한 인공지능모델을 통해 복수의 키포인트의 3D 좌표값을 입력만 해도 사용자의 신체를 구성하는 전체 관절에 대한 모든 각도값을 한번에 산출할 수 있게 되어 보다 빠르고 간단하며, 더 높은 정확도의 각도값을 산출할 수 있게 된다. 즉, 종래의 관절에 대한 각도값 산출은 키포인트들이 서로 이루는 사이각에 기초한 반면, 본 발명의 경우, 키포인트들 사이의 사이각을 별도로 계산하지 않고 키포인트 자체 만으로 관절의 각도를 바로 추출할 수 있게 되어 처리가 간단하면서도 보다 빨라질 수 있게 된다. According to the present invention, even if only the 3D coordinate values of a plurality of key points are input through a separate artificial intelligence model as described above, the angles of the user's plurality of joints, that is, all the angle values of all the joints constituting the user's body, can be obtained at once. By simultaneously calculating, all angle values can be easily calculated without complicated calculation or processing as in the prior art. That is, in the conventional case, when using multiple cameras, the angle can be calculated from the keypoint only through calculation or processing through a complex arithmetic equation using additional expensive sensor equipment such as a TOF sensor, RGB-D (depth sensor), and an infrared sensor. However, according to the present invention, all angle values for all joints constituting the user's body can be calculated at once without a separate additional sensor, simply by inputting the 3D coordinate values of a plurality of key points through an artificial intelligence model based on deep learning. This makes it possible to calculate the angle value faster, simpler, and with higher accuracy. That is, while the calculation of the angle value for a conventional joint is based on the angle between key points, in the case of the present invention, it is possible to directly extract the angle of the joint only with the key point itself without separately calculating the angle between key points. The processing is simple and can be made faster.

또한, 본 발명에 따르면, 서로 다른 위치 또는 각도로 설치된 복수의 카메라 각각으로부터 수신한 영상프레임으로부터 복수의 키포인트의 3D좌표를 획득하고, 이를 기초로 각도를 산출하도록 함으로써, 보다 높은 정확도의 각도값을 산출할 수 있게 된다. 즉, 다양한 각도에서 촬영된 영상프레임으로부터 획득된 동일 대상의 3D좌표값이 반영되어 동일 대상에 대한 각도를 산출하게 되므로, 보다 높은 정확도의 각도값을 산출할 수 있게 되는 것이다. In addition, according to the present invention, 3D coordinates of a plurality of key points are obtained from image frames received from each of a plurality of cameras installed at different positions or angles, and angles are calculated based on the obtained 3D coordinates, thereby obtaining higher accuracy angle values. be able to derive That is, since the 3D coordinate values of the same object obtained from image frames photographed at various angles are reflected to calculate the angle of the same object, it is possible to calculate the angle value with higher accuracy.

s44의 경우, 실시예에 따라, 제어부(11)는 s42단계에서 획득한 복수의 키포인트의 좌표와 운동동작DB(22)에 기 저장된 상기 임의의 운동 동작에 대응되는 상기 종료 동작의 복수의 표준 키포인트의 좌표를 비교하여 제1 유사도를 산출하고, s43 단계에서 획득한 복수의 각도와 동작DB(22)에 기 저장된 상기 임의의 운동 동작에 대응되는 상기 종료 동작의 복수의 표준 각도를 비교하여 제2 유사도를 산출하며, 상기 제1 유사도와 상기 제2 유사도를 이용해 평균 유사도(= 제1 유사도 + 제2 유사도/2)를 산출하고, 상기 평균 유사도가 소정의 임계치(예> 0.5) 이상인 경우, 상기 종료 동작이 상기 사용자에 의해 정상적으로 수행된 것으로 판별하고 s24 단계를 수행할 수 있다. 이 경우, 제어부(11)는 사용자에 의해 해당 임의의 동작에 대응되는 종료 동작이 정상적으로 수행된 것을 판별하면, 해당 임의의 동작이 종료된 것으로 판별할 수 있다. 반면, 상기 평균 유사도가 소정의 임계치 미만인 경우, 상기 종료 동작이 상기 사용자에 의해 비정상적으로 수행된 것으로 판별하여 이를 나타내는 피드백 정보를 생성하여 사용자에게 제공할 수 있다. In the case of s44, according to the embodiment, the control unit 11 determines the coordinates of the plurality of keypoints obtained in step s42 and the plurality of standard keypoints of the end action corresponding to the arbitrary exercise motion pre-stored in the motion motion DB 22 A first similarity is calculated by comparing the coordinates of, and a plurality of angles obtained in step s43 are compared with a plurality of standard angles of the end motion corresponding to the random motion motion previously stored in the motion DB 22 to obtain a second A similarity is calculated, and an average similarity (= first similarity + second similarity/2) is calculated using the first similarity and the second similarity, and when the average similarity is greater than or equal to a predetermined threshold (eg > 0.5), the It is determined that the end operation was normally performed by the user, and step s24 may be performed. In this case, the control unit 11 may determine that the corresponding arbitrary operation is ended when it is determined that the ending operation corresponding to the corresponding arbitrary operation has been normally performed by the user. On the other hand, when the average similarity is less than a predetermined threshold, it is determined that the ending operation is abnormally performed by the user, and feedback information representing this may be generated and provided to the user.

제어부(11)는 상기 종료 동작이 상기 사용자에 의해 정상적으로 수행된 것으로 판별한 경우, 상기 시작 동작과 상기 종료 동작이 상기 사용자에 의해 정상적으로 수행되었음을 나타내는 피드백 정보를 사용자에게 제공할 수 있다. When it is determined that the end operation is normally performed by the user, the control unit 11 may provide feedback information indicating that the start operation and the end operation are normally performed by the user to the user.

구체적으로, 제어부(11)는 운동동작DB(133)에 기 저장된 피드백 정보를 독출하여 사용자에게 제공할 수 있다. 실시예에 따라, 제어부(11)는 피드백 정보를 디스플레이부(12)를 통한 영상 및/또는 텍스트, 음성출력부(미도시)를 통한 음성으로 출력하여 제공할 수 있다.Specifically, the control unit 11 may read feedback information pre-stored in the exercise operation DB 133 and provide it to the user. Depending on the embodiment, the control unit 11 may output and provide feedback information as video and/or text through the display unit 12 and audio through an audio output unit (not shown).

이후, 제어부(11)는 해당 임의의 동작이 정상적으로 시작되고 정상적으로 종료된 것을 판별하고, 다음 임의의 동작에 대해 s21 내지 s24 단계를 반복 수행할 수 있다. Thereafter, the control unit 11 may determine whether the corresponding arbitrary operation has been normally started and normally ended, and may repeatedly perform steps s21 to s24 for the next arbitrary operation.

본 발명에 따르면, 태권도 품새별 운동 동작들 각각에 대응되는 시작 동작과 종료 동작만을 이용해, 해당 운동 동작의 시작 동작과 종료 동작만을 기초로 해당 운동 동작의 시작 시점과 종료 시점을 판단할 수 있도록 함으로써, 불필요한 연산 없이 보다 간편하게 해당 운동 동작의 시작 시점과 종료 시점을 판단할 수 있게 된다. 즉, 종래와 같이 모든 동작을 판독하는 경우 판독을 위한 처리 시간이 길어져 실시간 처리가 어려워질 수 있고, 이러한 경우 동작에 대한 피드백이 지연되어 사용자에게 부정적인 영향을 끼칠 수 있으나, 본 발명과 같이 해당 운동 동작의 시작 동작과 종료 동작을 따라서 수행하는 사용자에 의해 발생된 중간 동작들이나, 시작 시점 전, 및 종료 시점을 경과한 동작들에 대해서는 별도의 동작 정확도 판단을 수행하지 않도록 함으로써, 보다 연산 속도가 빨라질 수 있게 된다. 특히, 태권도 품새 동작의 경우, 시작 동작과 종료 동작이 동작 정확성 판독을 위해 나머지 중간 동작에 비해 상대적으로 중요한 동작으로, 중간 동작들에 대한 판독이 없이도 판독의 정확성에 대해 신뢰할 수 있기 때문에 본 발명이 유용할 수 있게 된다. 또한, 이에 기초한 품새별 운동 동작들 각각에 대응되는 시작 시점과 종료 시점을 명확하게 판단할 수 있게 되어, 각 동작을 수행하는 사용자의 동작의 정확도 판단에 대한 정밀도가 보다 향상될 수 있게 된다. 즉, 각 동작들이 서로 명확하게 구분된 상태에서 사용자의 동작의 정확도를 판단하게 되므로, 정밀도가 보다 향상될 수 있게 된다. According to the present invention, by using only the start and end motions corresponding to each of the Taekwondo Poomsae exercise motions, it is possible to determine the start time and end time of the corresponding exercise motion based only on the start motion and end motion of the corresponding exercise motion. , it is possible to more conveniently determine the start time and end time of the exercise motion without unnecessary calculation. That is, in the case of reading all motions as in the prior art, the processing time for reading becomes long, making real-time processing difficult. In this case, feedback on motions may be delayed, which may negatively affect the user. By not performing a separate motion accuracy determination for intermediate motions generated by the user following the start and end motions of the motion, or motions before the start time and after the end time, the calculation speed can be increased. be able to In particular, in the case of Taekwondo Poomsae motions, the start and end motions are relatively important compared to the rest of the intermediate motions for motion accuracy reading, and the accuracy of the reading can be trusted without reading the middle motions, so the present invention can be useful In addition, based on this, it is possible to clearly determine the start time and end time corresponding to each of the exercise movements for each poomsae, so that the accuracy of determining the accuracy of the user performing each movement can be further improved. That is, since the accuracy of the user's motion is determined in a state where each motion is clearly distinguished from each other, the precision can be further improved.

예를 들어, 전술한 도 9와 같이, '거듭 엽차기' 동작에 대응되는 시작 동작(예> "발을 지면에 위치시킨다")에 대한 사용자의 동작 정확도와, 종료 동작(예> "발을 허공에 위치시킨다")에 대한 사용자의 동작 정확도만을 기초로 사용자가 해당 동작을 정확하게 수행하였는지 여부를 판별하고, 이로서, 해당 동작의 시작 시점과 종료 시점을 판별할 수 있도록 하므로, 다음 동작인 '이중 발차기'와 명확하게 구분되어 사용자의 동작 수행의 정확도를 판별할 수 있게 된다. For example, as shown in FIG. 9 described above, the user's motion accuracy for the start motion corresponding to the 'repeat sencha' motion (eg> "place the foot on the ground") and the end motion (eg> "put the foot on the ground") It is determined whether the user performed the corresponding operation correctly based only on the accuracy of the user's motion for "position in the air"), and as a result, it is possible to determine the start time and end time of the corresponding motion, so that the next action 'double double It is clearly distinguished from 'kicking' so that the accuracy of the user's motion performance can be determined.

이상 설명된 실시 형태는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터로 판독가능한 기록매체에 기록될 수 있다. 상기 컴퓨터로 판독가능한 기록매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. The above-described embodiments may be implemented in the form of program instructions that can be executed through various computer components and recorded on a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.

상기 컴퓨터로 판독가능한 기록매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.Program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in the art of computer software.

컴퓨터로 판독가능한 기록매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 실행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. optical media), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter or the like as well as machine language codes such as those produced by a compiler. The hardware device may be configured to act as one or more software modules for executing processes according to the present invention and vice versa.

본 명세서의 양상들은 전체적으로 하드웨어, 전체적으로 소프트웨어 (펌웨어, 상주 소프트웨어, 마이크로 코드 등을 포함 함) 또는 컴퓨터 판독 가능 프로그램 코드가 구현 된 하나 이상의 컴퓨터 판독 가능 매체에 구현 된 컴퓨터 프로그램 제품의 형태를 취할 수 있다.Aspects herein may take the form of entirely hardware, entirely software (including firmware, resident software, microcode, etc.) or a computer program product embodied entirely in one or more computer readable media having computer readable program code embodied thereon. .

이상에서 실시예들에 설명된 특징, 구조, 효과 등은 본 발명의 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.Features, structures, effects, etc. described in the embodiments above are included in one embodiment of the present invention, and are not necessarily limited to only one embodiment. Furthermore, the features, structures, and effects illustrated in each embodiment can be combined or modified with respect to other embodiments by those skilled in the art in the field to which the embodiments belong. Therefore, contents related to these combinations and variations should be construed as being included in the scope of the present invention.

또한, 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.In addition, although the above has been described with a focus on the embodiments, these are only examples and do not limit the present invention, and those skilled in the art to which the present invention belongs can exemplify the above to the extent that does not deviate from the essential characteristics of the present embodiment. It will be seen that various variations and applications that have not been made are possible. For example, each component specifically shown in the embodiment can be modified and implemented. And differences related to these modifications and applications should be construed as being included in the scope of the present invention as defined in the appended claims.

Claims (10)

(a) 태권도 품새별로 구성된 복수의 운동 동작 중 임의의 운동 동작을 사용자에게 제공하는 단계;
(b) 상기 임의의 운동 동작에 대응되는 시작 동작이 상기 사용자에 의해 정상적으로 수행되었는지 여부를 판별하는 단계;
(c) 상기 시작 동작이 상기 사용자에 의해 정상적으로 수행된 것으로 판별한 경우, 상기 임의의 운동 동작에 대응되는 종료 동작이 상기 사용자에 의해 정상적으로 수행되었는지 여부를 판별하는 단계; 및
(d) 상기 종료 동작이 상기 사용자에 의해 정상적으로 수행된 것으로 판별한 경우, 상기 시작 동작과 상기 종료 동작이 상기 사용자에 의해 정상적으로 수행되었음을 나타내는 피드백 정보를 상기 사용자에게 제공하는 단계;를 포함하는,
사용자의 태권도 품새 수행과 관련된 피드백 정보 제공 방법.
(a) providing a user with an arbitrary exercise motion among a plurality of exercise motions configured for each Taekwondo Poomsae;
(b) determining whether a starting motion corresponding to the arbitrary exercise motion was normally performed by the user;
(c) if it is determined that the starting motion is normally performed by the user, determining whether an ending motion corresponding to the arbitrary exercise motion is normally performed by the user; and
(d) when it is determined that the end operation has been normally performed by the user, providing feedback information indicating that the start operation and the end operation have been normally performed by the user to the user; including,
A method of providing feedback information related to the user's Taekwondo Poomsae performance.
 제 1항에 있어서,
상기 (b)는,
(b-1) 서로 다른 위치 또는 각도로 설치된 복수의 카메라 각각으로부터 상기 사용자가 수행하는 상기 시작 동작이 촬영된 영상프레임을 각각 수신하는 단계; 및
(b-2) 상기 영상프레임 각각을 기초로 상기 시작 동작이 상기 사용자에 의해 정상적으로 수행되었는지 여부를 판별하는 단계;를 포함하는,
사용자의 태권도 품새 수행과 관련된 피드백 정보 제공 방법.
According to claim 1,
In (b),
(b-1) receiving image frames in which the starting motion performed by the user is photographed from each of a plurality of cameras installed at different positions or angles; and
(b-2) determining whether the starting operation was normally performed by the user based on each of the video frames;
A method of providing feedback information related to the user's Taekwondo Poomsae performance.
 제 2항에 있어서,
상기 (b-2)는,
(b-2-1) 상기 영상프레임 각각을 기초로 상기 사용자의 복수의 관절에 대한 복수의 키포인트의 좌표를 획득하는 단계;
(b-2-2) 상기 복수의 키포인트의 좌표를 기초로 상기 사용자의 상기 복수의 관절에 대한 복수의 각도를 획득하는 단계; 및
(b-2-3) 상기 복수의 키포인트의 좌표와 상기 복수의 각도를 기초로 상기 시작 동작이 상기 사용자에 의해 정상적으로 수행되었는지 여부를 판별하는 단계;를 포함하는,
사용자의 태권도 품새 수행과 관련된 피드백 정보 제공 방법.
According to claim 2,
In (b-2),
(b-2-1) obtaining coordinates of a plurality of keypoints of a plurality of joints of the user based on each of the image frames;
(b-2-2) obtaining a plurality of angles of the plurality of joints of the user based on the coordinates of the plurality of keypoints; and
(b-2-3) determining whether the starting operation was normally performed by the user based on the coordinates of the plurality of keypoints and the plurality of angles; including,
A method of providing feedback information related to the user's Taekwondo Poomsae performance.
 제 3항에 있어서,
상기 (b-2-1)는,
상기 영상프레임 각각을 기초로 제1 인공지능모델을 통해 상기 사용자의 상기 복수의 관절에 대한 복수의 키포인트의 좌표를 획득하는 단계;를 포함하고,
상기 제1 인공지능모델은,
학습용 영상프레임에 기초해 학습된 CNN 기반의 모델인,
사용자의 태권도 품새 수행과 관련된 피드백 정보 제공 방법.
According to claim 3,
In the above (b-2-1),
Acquiring coordinates of a plurality of keypoints of the plurality of joints of the user through a first artificial intelligence model based on each of the image frames;
The first artificial intelligence model,
A CNN-based model learned based on the learning image frame,
A method of providing feedback information related to the user's Taekwondo Poomsae performance.
 제 3항에 있어서,
상기 (b-2-2)는,
상기 복수의 키포인트의 좌표를 기초로 제2 인공지능모델을 통해 상기 사용자의 상기 복수의 관절에 대한 복수의 각도를 획득하는 단계;를 포함하고,
상기 제2 인공지능모델은,
복수의 학습용 키포인트의 좌표값에 기초해 학습된 DNN 기반의 모델인,
사용자의 태권도 품새 수행과 관련된 피드백 정보 제공 방법.
According to claim 3,
In the above (b-2-2),
Acquiring a plurality of angles of the plurality of joints of the user through a second artificial intelligence model based on the coordinates of the plurality of keypoints;
The second artificial intelligence model,
A DNN-based model learned based on the coordinates of a plurality of learning keypoints,
A method of providing feedback information related to the user's Taekwondo Poomsae performance.
 제 1항에 있어서,
상기 (c)는,
(c-1) 서로 다른 위치 또는 각도로 설치된 복수의 카메라 각각으로부터 상기 사용자가 수행하는 상기 종료 동작이 촬영된 영상프레임을 각각 수신하는 단계; 및
(c-2) 상기 영상프레임 각각을 기초로 상기 종료 동작이 상기 사용자에 의해 정상적으로 수행되었는지 여부를 판별하는 단계;를 포함하는,
사용자의 태권도 품새 수행과 관련된 피드백 정보 제공 방법.
According to claim 1,
In (c),
(c-1) receiving image frames in which the end operation performed by the user is photographed from each of a plurality of cameras installed at different positions or angles; and
(c-2) determining whether the end operation was normally performed by the user based on each of the video frames;
A method of providing feedback information related to the user's Taekwondo Poomsae performance.
 제 6항에 있어서,
상기 (c-2)는,
(c-2-1) 상기 영상프레임 각각을 기초로 상기 사용자의 복수의 관절에 대한 복수의 키포인트의 좌표를 획득하는 단계;
(c-2-2) 상기 복수의 키포인트의 좌표를 기초로 상기 사용자의 상기 복수의 관절에 대한 복수의 각도를 획득하는 단계; 및
(c-2-3) 상기 복수의 키포인트의 좌표와 상기 복수의 각도를 기초로 상기 종료 동작이 상기 사용자에 의해 정상적으로 수행되었는지 여부를 판별하는 단계;를 포함하는,
사용자의 태권도 품새 수행과 관련된 피드백 정보 제공 방법.
According to claim 6,
In the above (c-2),
(c-2-1) obtaining coordinates of a plurality of keypoints of a plurality of joints of the user based on each of the image frames;
(c-2-2) obtaining a plurality of angles of the plurality of joints of the user based on the coordinates of the plurality of keypoints; and
(c-2-3) determining whether the end operation was normally performed by the user based on the coordinates of the plurality of keypoints and the plurality of angles; including,
A method of providing feedback information related to the user's Taekwondo Poomsae performance.
 제 7항에 있어서,
상기 (c-2-1)는,
상기 영상프레임 각각을 기초로 제1 인공지능모델을 통해 상기 사용자의 상기 복수의 관절에 대한 복수의 키포인트의 좌표를 획득하는 단계;를 포함하고,
상기 제1 인공지능모델은,
학습용 영상프레임에 기초해 학습된 CNN 기반의 모델인,
사용자의 태권도 품새 수행과 관련된 피드백 정보 제공 방법.
According to claim 7,
In the above (c-2-1),
Acquiring coordinates of a plurality of keypoints of the plurality of joints of the user through a first artificial intelligence model based on each of the image frames;
The first artificial intelligence model,
A CNN-based model learned based on the learning image frame,
A method of providing feedback information related to the user's Taekwondo Poomsae performance.
 제 7항에 있어서,
상기 (c-2-2)는,
상기 복수의 키포인트의 좌표를 기초로 제2 인공지능모델을 통해 상기 사용자의 상기 복수의 관절에 대한 복수의 각도를 획득하는 단계;를 포함하고,
상기 제2 인공지능모델은,
복수의 학습용 키포인트의 좌표값에 기초해 학습된 DNN 기반의 모델인,
사용자의 태권도 품새 수행과 관련된 피드백 정보 제공 방법.
According to claim 7,
In the above (c-2-2),
Acquiring a plurality of angles of the plurality of joints of the user through a second artificial intelligence model based on the coordinates of the plurality of keypoints;
The second artificial intelligence model,
A DNN-based model learned based on the coordinates of a plurality of learning keypoints,
A method of providing feedback information related to the user's Taekwondo Poomsae performance.
 태권도 품새별로 구성된 복수의 운동 동작을 저장하는 저장부; 및
상기 복수의 운동 동작 중 임의의 운동 동작을 사용자에게 제공하고, 상기 임의의 운동 동작에 대응되는 시작 동작이 상기 사용자에 의해 정상적으로 수행되었는지 여부를 판별하고, 상기 시작 동작이 상기 사용자에 의해 정상적으로 수행된 것으로 판별한 경우, 상기 임의의 운동 동작에 대응되는 종료 동작이 상기 사용자에 의해 정상적으로 수행되었는지 여부를 판별하며, 상기 종료 동작이 상기 사용자에 의해 정상적으로 수행된 것으로 판별한 경우, 상기 시작 동작과 상기 종료 동작이 상기 사용자에 의해 정상적으로 수행되었음을 나타내는 피드백 정보를 상기 사용자에게 제공하는 제어부;를 포함하는,
사용자의 태권도 품새 수행과 관련된 피드백 정보 제공 장치.

a storage unit for storing a plurality of exercise motions configured for each Taekwondo Poomsae; and
A random exercise motion among the plurality of motion motions is provided to a user, it is determined whether or not a starting motion corresponding to the random motion motion was normally performed by the user, and whether the starting motion was normally performed by the user. If it is determined that it is, it is determined whether an end motion corresponding to the arbitrary exercise motion was normally performed by the user, and when it is determined that the end motion is normally performed by the user, the start motion and the end motion are determined. A control unit for providing feedback information indicating that the operation was normally performed by the user to the user;
A device for providing feedback information related to the user's Taekwondo Poomsae performance.
KR1020230009341A 2022-01-24 2023-01-25 Method and apparatus for providing feedback information related to user's performance of Taekwondo Poomsae KR20230114226A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220010108 2022-01-24
KR20220010108 2022-01-24

Publications (1)

Publication Number Publication Date
KR20230114226A true KR20230114226A (en) 2023-08-01

Family

ID=87561570

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020230009341A KR20230114226A (en) 2022-01-24 2023-01-25 Method and apparatus for providing feedback information related to user's performance of Taekwondo Poomsae
KR1020230009340A KR20230114225A (en) 2022-01-24 2023-01-25 Method, control device, and system for providing feedback information related to user's exercise performance based on artificial intelligence

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020230009340A KR20230114225A (en) 2022-01-24 2023-01-25 Method, control device, and system for providing feedback information related to user's exercise performance based on artificial intelligence

Country Status (1)

Country Link
KR (2) KR20230114226A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102349213B1 (en) 2021-07-08 2022-01-10 마이스포 주식회사 Scoring system for Teakwondo Poomsae

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101679285B1 (en) 2015-05-12 2016-11-24 사단법인 캠틱종합기술원 System for analysing poses and motions using images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102349213B1 (en) 2021-07-08 2022-01-10 마이스포 주식회사 Scoring system for Teakwondo Poomsae

Also Published As

Publication number Publication date
KR20230114225A (en) 2023-08-01

Similar Documents

Publication Publication Date Title
CN113164098A (en) Human gait analysis system and method
CN110544301A (en) Three-dimensional human body action reconstruction system, method and action training system
CN112819852A (en) Evaluating gesture-based motion
CN113706699B (en) Data processing method and device, electronic equipment and computer readable storage medium
WO2021098616A1 (en) Motion posture recognition method, motion posture recognition apparatus, terminal device and medium
US10796448B2 (en) Methods and systems for player location determination in gameplay with a mobile device
JP2015079502A (en) Object tracking method, object tracking device, and tracking feature selection method
CN114187656A (en) Action detection method, device, equipment and storage medium
US20220379170A1 (en) Quantitative, biomechanical-based analysis with outcomes and context
Ohri et al. On-device realtime pose estimation & correction
WO2022003963A1 (en) Data generation method, data generation program, and information-processing device
US20230245366A1 (en) 3d avatar generation using biomechanical analysis
KR20230114226A (en) Method and apparatus for providing feedback information related to user's performance of Taekwondo Poomsae
CN113240044B (en) Human skeleton data fusion evaluation method based on multiple Kinects
US20210322852A1 (en) Determining trajectory of a ball from two-dimensional media-content using computer vision
JP2023527627A (en) Inference of joint rotation based on inverse kinematics
KR20210067590A (en) Method, device and non-transitory computer-readable recording medium for suggesting contents about golf
WO2024024055A1 (en) Information processing method, device, and program
KR102413988B1 (en) Method, device and non-transitory computer-readable recording medium for estimating information about golf swing
WO2022234741A1 (en) Methods and apparatuses for processing an image
JP2024063331A (en) Motion Analysis Device
US20220343649A1 (en) Machine learning for basketball rule violations and other actions
KR102347692B1 (en) Apparatus, method, computer-readable storage medium and computer program for providing feedback of posture based on motion information
KR102342760B1 (en) The golf image learning apparatus based on the artificial intelligence, and the method thereof and recording medium
US20230285802A1 (en) Method, device, and non-transitory computer-readable recording medium for estimating information on golf swing