KR102201050B1 - Apparatus for analysis and evaluation of dance motion and method for the same - Google Patents

Apparatus for analysis and evaluation of dance motion and method for the same Download PDF

Info

Publication number
KR102201050B1
KR102201050B1 KR1020190080745A KR20190080745A KR102201050B1 KR 102201050 B1 KR102201050 B1 KR 102201050B1 KR 1020190080745 A KR1020190080745 A KR 1020190080745A KR 20190080745 A KR20190080745 A KR 20190080745A KR 102201050 B1 KR102201050 B1 KR 102201050B1
Authority
KR
South Korea
Prior art keywords
dance
test
joint
image
object pattern
Prior art date
Application number
KR1020190080745A
Other languages
Korean (ko)
Inventor
송현우
Original Assignee
주식회사 펀웨이브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 펀웨이브 filed Critical 주식회사 펀웨이브
Priority to KR1020190080745A priority Critical patent/KR102201050B1/en
Priority to PCT/KR2019/008259 priority patent/WO2021002522A1/en
Application granted granted Critical
Publication of KR102201050B1 publication Critical patent/KR102201050B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0669—Score-keepers or score display devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2244/00—Sports without balls
    • A63B2244/22—Dancing

Abstract

According to an embodiment of the present invention, provided is a dance motion analysis and evaluation device, which is a dance motion analysis and evaluation device mounted on a mobile. The dance motion analysis and evaluation device comprises: a photographing unit photographing a test dance image; an object generation unit generating a test object pattern consisting of joints and links by using a test object in the test dance image; and an evaluation unit comparing the test object pattern and a sample object pattern, and comparing a joint angle of the test object pattern and a joint angle of the sample object pattern to evaluate the test dance image.

Description

댄스모션 분석 평가장치 및 방법{Apparatus for analysis and evaluation of dance motion and method for the same}Apparatus for analysis and evaluation of dance motion and method for the same}

본 발명은 댄스모션 분석 평가장치 및 방법에 관한 것으로서, 보다 상세하게는 모바일을 활용한 댄스모션 분석 평가장치 및 방법에 관한 것이다.The present invention relates to a dance motion analysis evaluation apparatus and method, and more particularly, to a dance motion analysis evaluation apparatus and method using a mobile.

전세계적으로 한류열풍이 확산되고 있으며, 한국 드라마, 한국 영화 및 한국 음악, 한국패션 등 한류 콘텐츠는 남녀노소를 불문하고 전세계 사람들에게 선망의 대상이 되어가고 있다.The Hallyu fever is spreading all over the world, and Hallyu contents such as Korean dramas, Korean movies, Korean music, and Korean fashion are becoming the envy of people all over the world, regardless of age or gender.

특히, 한국음악은 한류열풍의 중심에 있으며, 인터넷이 발달한 시대에 국경을 초월하여 언제 어디서나 쉽게 노래를 따라 부르고, 율동을 따라 하면서 젊은 세대 엔터테인먼트의 한 장르로 자리매김하고 있다.In particular, Korean music is at the center of the Korean Wave, and in the era when the Internet was developed, it has become a genre of entertainment for the younger generation, transcending national borders, easily singing along with songs anytime, anywhere, and following dance moves.

한국음악에서 젊은 보이그룹, 걸그룹의 등장으로 노랫말 뿐만 아니라 시각적으로 팬층을 자극하는 춤은 이를 모사하기 위한 경연대회가 곳곳에서 열릴정도로 인기가 높다.In Korean music, the appearance of young boy groups and girl groups, as well as the lyrics to visually stimulating the fan base, is so popular that competitions to mimic this are held everywhere.

관련하여, K-pop스타의 노래에 맞춰 춤을 추는 커버댄스는 새로운 한류상품으로 수익창출의 가능성이 매우 크다. In relation to this, cover dance, which dances to the songs of K-pop stars, is a new Hallyu product and has a great potential to generate revenue.

그럼에도 불구하고 최근까지 댄스모션을 인식하고 코칭해주는 장치의 개발은 미진한 상태이고, 대부분 고가의 장비와 복잡하고, 거대한 크기의 시설을 설치해야 한다. 또한, 이러한 장비가 동원됨으로서 사용되는 소프트웨어 가격도 비싼편이며, 연산속도가 느려 실시간으로 모션의 결과를 도출하는데는 한계가 있다.Nevertheless, until recently, the development of a device that recognizes and coaches dance motion has been inadequate, and most expensive equipment and complex, large-sized facilities have to be installed. In addition, as such equipment is mobilized, the price of the software used is also expensive, and the computational speed is slow, so there is a limit to deriving motion results in real time.

대한민국 등록특허 제10-1936692호(2019.01.03)는 사용자의 댄스동작을 트레이닝하는 장치로 기준 모션과 사용자의 모션을 비교하여 그 차이를 도출하는 장치이다. 그러나 이러한 장치 또한, 다양한 하드웨어가 동반되어야 하며, 3차원동작을 2차원으로 변환하는 등의 무거운 소프트웨어를 동작시킨다는 점에서 일반 사용자가 사용할 수 있는 장치와는 거리가 있다.Republic of Korea Patent Registration No. 10-1936692 (2019.01.03) is a device that trains a user's dance movement and compares a reference motion with a user's motion to derive the difference. However, these devices are also different from devices that can be used by general users in that they must be accompanied by various hardware and operate heavy software such as converting 3D motion to 2D.

위 특허와 같이 댄스동작에 대한 분석 또는 모션에 대한 분석을 통한 피드백을 위주로 하는 장비는 대부분이 모션의 정확도 분석에 초점이 맞추어져 있어, K-pop스타의 커버댄스를 따라하는 일반소비자가 사용하기 어렵고, 접근장벽이 매우 높다. As in the above patent, most of the equipment that focuses on the analysis of the dance movement or the feedback through the analysis of the motion is focused on the accuracy analysis of the motion, so it is used by general consumers who follow the cover dance of K-pop stars. It is difficult and the barriers to access are very high.

결국, 소비자는 저렴한 가격으로 사용이 간편한 댄스모션을 분석하고 평가하는 장치가 필요한 실정이다.After all, consumers need a device that analyzes and evaluates dance motion that is easy to use at an affordable price.

대한민국 등록특허 제10-1966040호(2019.03.30)Korean Patent Registration No. 10-1966040 (2019.03.30) 대한민국 등록특허 제10-1936692호(2019.01.03)Korean Patent Registration No. 10-1936692 (2019.01.03)

본 발명의 목적은 간편하게 촬영하고, 촬영된 영상을 실시간으로 분석이 가능한 댄스모션 분석 평가장치 및 방법을 제공하는 것이다.It is an object of the present invention to provide an apparatus and method for evaluating dance motion analysis that can be conveniently photographed and analyzed in real time.

본 발명의 실시예에 따른 댄스모션 분석평가장치는 모바일에 탑재되는 댄스모션 분석 평가장치로서, 테스트 댄스영상을 촬영하는 촬영부, 상기 테스트 댄스영상에서 테스트 객체를 이용하여 조인트와 링크로 이루어진 테스트 객체패턴을 생성하는 객체 생성부, 상기 테스트 객체패턴과 샘플 객체패턴을 비교하되, 상기 테스트 객체패턴의 조인트 각도와 상기 샘플 객체패턴의 조인트 각도를 비교하여 테스트 댄스영상을 평가하는 평가부를 포함한다.A dance motion analysis and evaluation device according to an embodiment of the present invention is a dance motion analysis and evaluation device mounted on a mobile device, a photographing unit for photographing a test dance image, and a test object consisting of joints and links using a test object in the test dance image. And an object generator for generating a pattern, and an evaluation unit for comparing the test object pattern and the sample object pattern, and comparing a joint angle of the test object pattern and a joint angle of the sample object pattern to evaluate a test dance image.

또한, 본 발명의 실시예에 따른 댄스모션 분석평가장치는 상기 테스트 댄스영상을 평가하기 위한 샘플 댄스영상을 저장하고, 상기 샘플 댄스영상에서 객체의 조인트와 링크로 이루어진 샘플 객체패턴을 저장하는 저장부를 더 포함할 수 있다.In addition, the dance motion analysis and evaluation apparatus according to an embodiment of the present invention stores a sample dance image for evaluating the test dance image, and stores a sample object pattern consisting of joints and links of objects in the sample dance image. It may contain more.

여기서, 상기 객체 생성부는 상기 테스트 댄스영상으로부터 분석, 평가대상인 객체를 추출하는 객체추출모듈 및 추출된 객체에서 테스트 객체패턴을 생성하는 패턴생성모듈을 포함할 수 있다.Here, the object generation unit may include an object extraction module for extracting an object to be analyzed and evaluated from the test dance image, and a pattern generation module for generating a test object pattern from the extracted object.

여기서, 상기 객체추출모듈은 둘 이상의 객체를 동시에 추출하고, 상기 패턴생성모듈은 둘 이상의 테스트 객체패턴을 동시에 추출할 수 있다.Here, the object extraction module may simultaneously extract two or more objects, and the pattern generation module may simultaneously extract two or more test object patterns.

여기서, 상기 평가부는 테스트 댄스영상의 프레임을 샘플 댄스영상 프레임과 일치시키는 타임스케줄러, 상기 테스트 객체패턴과 상기 샘플 객체패턴에서 조인트를 일치시키고, 각 객체패턴에서 조인트의 각도를 산출하는 각도산출모듈, 상기 테스트 객체패턴에서의 조인트 각도와 상기 샘플 객체패턴에서의 조인트 각도를 비교하는 비교모듈 및 조인트 각도의 일치여부에 따라 점수를 산출하는 점수산출모듈을 포함할 수 있다.Here, the evaluation unit is a time scheduler that matches a frame of a test dance image with a sample dance image frame, an angle calculation module that matches a joint in the test object pattern and the sample object pattern, and calculates an angle of the joint in each object pattern, A comparison module for comparing the joint angle in the test object pattern with the joint angle in the sample object pattern, and a score calculation module for calculating a score according to whether the joint angle matches.

여기서, 상기 각도산출모듈 및 비교모듈은 인공지능 알고리즘을 이용하여 조인트의 각도를 산출하고 비교할 수 있다.Here, the angle calculation module and the comparison module may calculate and compare the angle of the joint using an artificial intelligence algorithm.

본 발명의 실시예에 따른 댄스모션 분석 평가장치는 상기 테스트 댄스영상과 상기 테스트 객체패턴을 합성하여 상기 모바일의 화면을 통해서 출력하는 출력부를 더 포함할 수 있다.The dance motion analysis and evaluation apparatus according to an embodiment of the present invention may further include an output unit for synthesizing the test dance image and the test object pattern and outputting it through the screen of the mobile.

본 발명의 실시예에 따른 댄스모션 분석 평가방법은 댄스모션 분석평가장치가 수행하는 댄스모션 분석평가방법으로서, 테스트 댄스영상에서 테스트 객체를 추출하는 단계, 상기 테스트 객체를 이용하여 조인트와 링크로 이루어진 테스트 객체패턴을 생성하는 단계, 상기 테스트 객체패턴 조인트와 샘플 객체패턴 조인트의 각도를 비교하는 단계 및 비교된 값을 이용하여 점수를 산출하는 단계를 포함한다.A dance motion analysis and evaluation method according to an embodiment of the present invention is a dance motion analysis and evaluation method performed by a dance motion analysis and evaluation apparatus, the step of extracting a test object from a test dance image, consisting of a joint and a link using the test object. Generating a test object pattern, comparing an angle between the test object pattern joint and the sample object pattern joint, and calculating a score using the compared value.

여기서, 상기 각도를 비교하는 단계는 영상의 프레임별로 상기 테스트 객체패턴 조인트와 상기 샘플 객체패턴 조인트를 일치시키는 단계와 상기 테스트 객체패턴과 상기 테스트 댄스영상을 합성하여 조인트 별로 비교된 값을 출력하는 단계를 포함할 수 있다.Here, the comparing of the angles includes matching the test object pattern joint and the sample object pattern joint for each frame of an image, synthesizing the test object pattern and the test dance image, and outputting a value compared for each joint. It may include.

본 발명의 실시예에 따른 댄스모션 분석 평가장치 및 방법은 모바일 기기만으로 사용자의 댄스동작을 촬영, 분석, 평가를 수행할 수 있다.The dance motion analysis and evaluation apparatus and method according to an embodiment of the present invention may photograph, analyze, and evaluate a user's dance motion with only a mobile device.

또한, 댄스동작의 분석 및 평가시에 빠른 연산이 가능하여 동작분석후 실시간으로 사용자의 댄스동작에 대한 분석 및 평가가 가능하다.In addition, it is possible to perform fast calculations when analyzing and evaluating dance movements, allowing real-time analysis and evaluation of users' dance movements after movement analysis.

도 1은 본 발명의 실시예에 따른 댄스모션 분석 평가장치의 기능 블록도이다.
도 2는 본 발명의 실시예에 따른 객체 생성부의 세부 블록도이다.
도 3은 본 발명의 실시예에 따른 패턴형성모듈에 의해서 구현된 테스트 객체패턴의 실제사진이다.
도 4는 본 발명의 실시예에 따른 평가부의 세부 블록도이다.
도 5는 본 발명의 실시예에 따른 각도산출모듈의 실제 구현 예시도이다.
도 6은 본 발명의 실시예에 따른 비교모듈의 각도 비교 예시도이다.
도 7은 본 발명의 실시예에 따른 댄스모션 분석 평가장치의 시뮬레이션 사진이다.
도 8은 본 발명의 실시예에 따른 출력부를 통해서 출력되는 예시 화면이다.
도 9는 본 발명의 실시예에 따른 댄스모션 분석방법의 순서도이다.1 is a functional block diagram of a dance motion analysis and evaluation apparatus according to an embodiment of the present invention.
2 is a detailed block diagram of an object creation unit according to an embodiment of the present invention.
3 is an actual picture of a test object pattern implemented by a pattern forming module according to an embodiment of the present invention.
4 is a detailed block diagram of an evaluation unit according to an embodiment of the present invention.
5 is a diagram illustrating an actual implementation of an angle calculation module according to an embodiment of the present invention.
6 is an exemplary diagram for comparing angles of a comparison module according to an embodiment of the present invention.
7 is a simulation picture of a dance motion analysis and evaluation apparatus according to an embodiment of the present invention.
8 is an exemplary screen output through an output unit according to an embodiment of the present invention.
9 is a flowchart of a dance motion analysis method according to an embodiment of the present invention.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.Specific structural or functional descriptions of the embodiments according to the concept of the present invention disclosed in the present specification are exemplified only for the purpose of describing the embodiments according to the concept of the present invention, and the embodiments according to the concept of the present invention are It may be implemented in various forms and is not limited to the embodiments described herein.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.Since the embodiments according to the concept of the present invention can apply various changes and have various forms, embodiments are illustrated in the drawings and will be described in detail in the present specification. However, this is not intended to limit the embodiments according to the concept of the present invention to specific disclosed forms, and includes all changes, equivalents, or substitutes included in the spirit and scope of the present invention.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1 구성 요소는 제2 구성 요소로 명명될 수 있고 유사하게 제2 구성 요소는 제1 구성 요소로도 명명될 수 있다.Terms such as first or second may be used to describe various elements, but the elements should not be limited by the terms. The terms are only for the purpose of distinguishing one component from other components, for example, without departing from the scope of the rights according to the concept of the present invention, the first component may be named as the second component and similarly the second component. The component may also be referred to as a first component.

어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is referred to as being "connected" or "connected" to another component, it is understood that it is directly connected to or may be connected to the other component, but other components may exist in the middle. Should be. On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in the middle. Other expressions describing the relationship between components, such as "between" and "directly between" or "adjacent to" and "directly adjacent to" should be interpreted as well.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in the present specification are used only to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this specification, terms such as "comprises" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described herein, but one or more other features. It is to be understood that the possibility of addition or presence of elements or numbers, steps, actions, components, parts, or combinations thereof is not preliminarily excluded.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person of ordinary skill in the art to which the present invention belongs. Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in this specification. Does not.

이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다. 그러나 특허출원의 범위가 이러한 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, the scope of the patent application is not limited or limited by these embodiments. The same reference numerals in each drawing indicate the same members.

도 1은 본 발명의 실시예에 따른 댄스모션 분석 평가장치의 기능 블록도이다.1 is a functional block diagram of a dance motion analysis and evaluation apparatus according to an embodiment of the present invention.

도 1에 도시된 바와 같이 본 발명의 실시예에 따른 댄스모션 분석 평가장치는 모바일에 탑재되는 댄스모션 분석 평가장치로서, 테스트 댄스영상을 촬영하는 촬영부(100), 상기 테스트 댄스영상에서 테스트 객체를 이용하여 조인트와 링크로 이루어진 테스트 객체패턴을 생성하는 객체 생성부(200), 상기 테스트 객체패턴과 샘플 객체패턴을 비교하되, 상기 테스트 객체패턴의 조인트 각도와 상기 샘플 객체패턴의 조인트 각도를 비교하여 테스트 댄스영상을 평가하는 평가부(300)를 포함한다.As shown in FIG. 1, the dance motion analysis evaluation apparatus according to the embodiment of the present invention is a dance motion analysis evaluation apparatus mounted on a mobile device, and a photographing unit 100 for photographing a test dance image, and a test object in the test dance image. The object generation unit 200 for generating a test object pattern consisting of a joint and a link using, compares the test object pattern and the sample object pattern, and compares the joint angle of the test object pattern and the joint angle of the sample object pattern. It includes an evaluation unit 300 to evaluate the test dance image.

또한, 본 발명의 실시예에 따른 댄스모션 분석 평가장치는 상기 테스트 댄스영상을 평가하기 위한 샘플 댄스영상을 저장하고, 상기 샘플 댄스영상에서 객체의 조인트와 링크로 이루어진 샘플 객체패턴을 저장하는 저장부(400)와 분석결과 등을 출력하는 출력부(500)는 포함한다.In addition, the dance motion analysis and evaluation apparatus according to an embodiment of the present invention stores a sample dance image for evaluating the test dance image, and stores a sample object pattern consisting of joints and links of objects in the sample dance image. Includes 400 and an output unit 500 for outputting analysis results and the like.

본 발명의 실시예에 따른 댄스모션 분석 평가장치가 탑재되는 모바일은 기 공지된 소정의 전자 장치로, 예를 들어, 스마트 폰, 태블릿 피씨, 두부 장착형 디스플레이(HMD, Head Mounted Display) 장치, 스마트 시계, 랩톱 컴퓨터, 데스크톱 컴퓨터, 디지털 텔레비전, 셋톱박스, 내비게이션 장치, 인공 지능 스피커, 휴대용 게임기, 개인용 디지털 보조기(PDA, Personal Digital Assistant), 전자 칠판, 전자 광고판, 가전 기기 및/또는 이외 부호의 입력 또는 데이터의 시각적/청각적 출력이 가능한 다양한 전자 기기 중 적어도 하나를 포함할 수 있다.The mobile on which the dance motion analysis and evaluation device according to the embodiment of the present invention is mounted is a known electronic device, for example, a smart phone, a tablet PC, a head mounted display (HMD) device, and a smart watch. , Laptop computers, desktop computers, digital televisions, set-top boxes, navigation devices, artificial intelligence speakers, portable game consoles, personal digital assistants (PDAs), electronic boards, electronic billboards, home appliances and/or input of other codes or It may include at least one of various electronic devices capable of visual/audible output of data.

본 발명의 실시예에 따른 댄스모션 분석 평가장치는 복잡한 장비가 필요치 않고, 앞선 예와 같은 모바일 기기에 의해서 구현될 수 있다.The dance motion analysis and evaluation apparatus according to an embodiment of the present invention does not require complicated equipment and can be implemented by a mobile device such as the previous example.

이하, 설명의 편의를 위해 모바일 기기로서, 스마트 폰을 위주로 본 발명의 장치에 대한 설명을 이어간다.Hereinafter, for convenience of explanation, as a mobile device, a description of the device of the present invention will be continued, focusing on a smart phone.

촬영부(100)는 스마트 폰 등의 일면에 설치되는 카메라 등으로 구성되는 영상촬영장치를 포함한다. 촬영부(100)는 사용자의 댄스모션을 촬영하며, 테스트 댄스영상을 생성한다.The photographing unit 100 includes an image photographing apparatus including a camera installed on one surface of a smart phone or the like. The photographing unit 100 photographs a user's dance motion and generates a test dance image.

객체 생성부(200)는 촬영된 테스트 댄스영상에서 분석대상 또는 평가대상이 되는 피사체인 테스트 객체를 추출하고, 테스트 객체를 조인트와 링크로 표현되는 테스트 객체패턴을 생성한다.The object generation unit 200 extracts a test object, which is an analysis target or an evaluation target, from the captured test dance image, and generates a test object pattern representing the test object as a joint and a link.

도 2는 본 발명의 실시예에 따른 객체 생성부의 세부 블록도이다.2 is a detailed block diagram of an object creation unit according to an embodiment of the present invention.

도 2에 도시된 바와 같이 본 발명의 실시예에 따른 객체 생성부(200)는 상기 테스트 댄스영상으로부터 분석, 평가대상인 객체를 추출하는 객체추출모듈(210)과 추출된 객체에서 테스트 객체패턴을 생성하는 패턴생성모듈(220)을 포함한다.As shown in FIG. 2, the object generation unit 200 according to an embodiment of the present invention generates an object extraction module 210 that extracts an object to be analyzed and evaluated from the test dance image and a test object pattern from the extracted object. It includes a pattern generation module 220.

객체추출모듈(210)은 엣지추출기법 등을 통해서 배경화면과 객체를 분리하고, 객체를 추출한다. 객체추출모듈(210)은 기존에 공개된 다양한 객체추출 기법을 활용하여 테스트 객체를 추출하므로 자세한 설명은 생략한다.The object extraction module 210 separates the background screen and the object through an edge extraction technique and the like, and extracts the object. Since the object extraction module 210 extracts the test object by using various previously disclosed object extraction techniques, detailed descriptions are omitted.

객체추출모듈(210)은 테스트 댄스영상에 포함되어 있는 하나의 프레임에서 사용자에 의해서 설정된 영역내에 객체를 추출할 수도 있으며, 둘 이상의 객체를 동시에 추출하여 하나 이상의 사용자의 댄스영상을 테스트하기 위한 처리 과정을 수행한다. The object extraction module 210 may extract an object within an area set by the user from one frame included in the test dance image, and a process for testing the dance image of one or more users by simultaneously extracting two or more objects Perform.

나아가 객체추출모듈(210)을 통해서 테스트 댄스영상의 추출된 객체를 구간별로 조절하거나 변형을 가할 수 있으며, 크로마키 기법을 통해서 객체에 다른 배경화면을 합성하거나 대체할 수도 있다. Further, the extracted object of the test dance image may be adjusted or transformed for each section through the object extraction module 210, and another background image may be synthesized or replaced with the object through a chroma key technique.

패턴형성모듈(220)은 객체추출모듈(210)을 통해서 추출된 객체에서 테스트 객체패턴을 생성한다. 본 발명의 명세서 전반에 걸쳐 기재되어 있는 객체패턴은 조인트와 링크로 이루어진 모형 또는 단순화된 아바타일 수 있다. The pattern forming module 220 generates a test object pattern from the object extracted through the object extraction module 210. The object pattern described throughout the specification of the present invention may be a model consisting of joints and links or a simplified avatar.

도 3은 본 발명의 실시예에 따른 패턴형성모듈에 의해서 구현된 테스트 객체패턴의 실제사진이다.3 is an actual picture of a test object pattern implemented by a pattern forming module according to an embodiment of the present invention.

도 3에 도시된 바와 같이 본 발명의 실시예에 따른 댄스모션 분석 평가장치의 패턴형성모듈(220)에 의해서 구현된 테스트 객체패턴은 전체 17개의 조인트와 각 조인트를 연결하는 링크로 구성된다.As shown in FIG. 3, the test object pattern implemented by the pattern forming module 220 of the dance motion analysis and evaluation apparatus according to an embodiment of the present invention is composed of a total of 17 joints and links connecting each joint.

특히 각 조인트는 인체의 관절부위 및 손, 발과 같은 링크의 끝단, 그리고 눈, 입, 귀에 매칭되어 구성될 수 있으나 반드시 이에 제한되는 것은 아니다. In particular, each joint may be configured to match the joints of the human body and the ends of links such as hands and feet, and eyes, mouths, and ears, but is not limited thereto.

또한, 패턴형성모듈(220)은 댄스의 종류(힙합, 스윙댄스, 팝핀댄스 등)에 따라 다양한 방법으로 조인트를 구성할 수 있다. 관절을 많이 사용하는 팝핀댄스의 경우는 손목, 손가락 마디 등에도 별도의 조인트를 구성할 수 있으며, 스윙댄스와 같이 웨이브와 부드러운 율동이 주를 이루는 댄스의 경우에는 몸의 중심에 있는 척추에 별도의 조인트를 추가로 구성할 수도 있다.In addition, the pattern forming module 220 may configure a joint in various ways according to the type of dance (hip-hop, swing dance, poppin dance, etc.). In the case of poppin dance, which uses a lot of joints, separate joints can also be formed on the wrist and finger joints, and in the case of dances where waves and soft movements are dominated, such as swing dance, a separate spine at the center of the body Additional joints can also be configured.

패턴형성모듈(220)은 댄스모션의 분석 및 평가의 대상이 되는 테스트 댄스영상에서 추출된 테스트 객체를 이용하여 테스트 객체패턴을 형성할 수도 있고, 후술하게 될 저장부(400)에 저장되어 있는 샘플 댄스영상에서 추출된 샘플 객체를 이용하여 샘플 객체패턴을 형성할 수도 있다. The pattern forming module 220 may form a test object pattern by using a test object extracted from a test dance image that is a target of analysis and evaluation of dance motion, or a sample stored in the storage unit 400 to be described later. A sample object pattern may be formed using the sample object extracted from the dance image.

평가부(300)는 테스트 객체패턴과 샘플 객체패턴의 조인트 각도를 비교하여 테스트 댄스영상을 평가한다. The evaluation unit 300 evaluates the test dance image by comparing the joint angle of the test object pattern and the sample object pattern.

도 4는 본 발명의 실시예에 따른 평가부의 세부 블록도이다.4 is a detailed block diagram of an evaluation unit according to an embodiment of the present invention.

도 4에 도시된 바와 같이 평가부(300)는 테스트 댄스영상의 프레임을 샘플 댄스영상 프레임과 일치시키는 타임스케줄러(310), 상기 테스트 객체패턴과 상기 샘플 객체패턴에서 조인트를 일치시키고, 각 객체패턴에서 조인트의 각도를 산출하는 각도산출모듈(320), 상기 테스트 객체패턴에서의 조인트 각도와 상기 샘플 객체패턴에서의 조인트 각도를 비교하는 비교모듈(330) 및 조인트 각도의 일치여부에 따라 점수를 산출하는 점수산출모듈(340)을 포함한다.As shown in FIG. 4, the evaluation unit 300 includes a time scheduler 310 that matches a frame of a test dance image with a sample dance image frame, and matches a joint between the test object pattern and the sample object pattern, and each object pattern An angle calculation module 320 that calculates the angle of the joint in the test object pattern, the comparison module 330 that compares the joint angle in the sample object pattern with the joint angle in the test object pattern, and the score is calculated according to whether the joint angle matches. And a score calculation module (340).

타임스케줄러(310)는 테스트 댄스영상의 프레임과 샘플 댄스영상의 프레임을 일치시켜 테스트 댄스영상의 각각의 프레임들과 비교하게 될 샘플 댄스영상의 프레임을 특정시킨다. 일반적인 동영상은 1초에 몇 장의 영상이 촬영되는가에 따라서 기기마다 동영상을 촬영하거나 재생하는 처리속도가 달라진다. 스마트폰으로 촬영하는 동영상은 기본 초당 30프레임(60fps)를 지원하며, 설정에 따라서 달라질 수는 있으나 대부분은 30프레임 이상을 지원할 수 있다.The time scheduler 310 matches the frame of the test dance image with the frame of the sample dance image to specify a frame of the sample dance image to be compared with each frame of the test dance image. In general video, the processing speed of recording or playing a video varies depending on how many videos are recorded per second. Video shooting with a smartphone supports 30 frames per second (60 fps) by default, and it may vary depending on the setting, but most can support 30 frames or more.

빠른 움직임이 수반되는 스포츠 경기나 댄스영상은 잔상없이 선명하게 촬영하고 재생할 수 있도록 60fps의 동영상으로 촬영되는 것이 바람직하다.It is desirable to shoot a video of a sporting event or dance accompanying fast movement as a 60fps video so that it can be clearly recorded and reproduced without an afterimage.

타임스케줄러(310)는 테스트 댄스영상의 프레임과 샘플 댄스영상의 프레임이 30fps등으로 일치하는 경우, 시간에 따라서 양 영상간의 프레임을 매칭시킬 수 있고, 서로간의 초당 프레임이 일치하지 않는 경우에는 서로 겹치는 프레임을 매칭시키는 등의 방법을 통해서 일치시킨다. 특히 타임스케줄러(310)는 댄스의 난이도, 사용자의 숙련정도에 따라 양 영상(테스트 댄스영상 vs. 샘플 댄스영상)간의 프레임을 매칭시키는 범위를 폭넓게 형성하거나 샘플 댄스영상 프레임을 지연시켜 테스트 댄스영상과 매칭시킬 수 있다. 이는 샘플 댄스영상을 보면서 댄스모션을 취하는 초보단계의 사용자가 따라할 수 있도록 난이도를 조절하는 하나의 방법이 될 수 있다.When the frame of the test dance image and the frame of the sample dance image coincide at 30 fps, the time scheduler 310 can match the frames between the two images according to time, and if the frames per second between each other do not coincide, the frames overlap each other. It is matched through a method such as matching frames. In particular, the time scheduler 310 forms a wide range of matching frames between two images (test dance image vs. sample dance image) according to the difficulty of dance and the skill level of the user, or delays the sample dance image frame to match the test dance image. You can match. This can be a method of adjusting the difficulty level so that the beginner stage user who takes dance motion can follow the sample dance video.

각도산출모듈(320)은 테스트 객체패턴과 샘플 객체패턴의 조인트를 서로 일치시키고 조인트의 각도를 산출한다.The angle calculation module 320 matches the joint of the test object pattern and the sample object pattern with each other, and calculates the angle of the joint.

도 5는 본 발명의 실시예에 따른 각도산출모듈의 실제 구현 예시도이다.5 is a diagram illustrating an actual implementation of an angle calculation module according to an embodiment of the present invention.

도 5에 도시된 바와 같이 하나의 프레임에서 생성된 테스트 객체패턴은 얼굴의 조인트를 제외한 12개의 조인트로 표현된다. 각 조인트마다 별도의 식별자가 부여되어 영상속에서 각 조인트별 움직임이 트래킹 된다. 도 5에서 1번 조인트부터 6번 조인트는 테스트 객체의 오른쪽 측면이며, 나머지 7번 조인트부터 12번 조인트는 테스트 객체의 왼쪽 측면이다. 오른쪽 조인트 중에 무릎의 조인트인 5번 조인트가 이루는 각도는 α이며, 왼쪽 조인트 중에 무릎의 조인트인 8번 조인트가 이루는 각도는 β이고, 왼쪽 허리 조인트인 9번 조인트는 γ이다.As shown in FIG. 5, the test object pattern generated in one frame is represented by 12 joints excluding face joints. A separate identifier is assigned to each joint, and movement of each joint is tracked in the video. In FIG. 5, joints 1 to 6 are the right side of the test object, and joints 7 to 12 are the left side of the test object. Among the right joints, the angle formed by joint 5, the knee joint, is α, the angle formed by joint 8, the knee joint, among the left joints, is β, and the left waist joint, joint 9, is γ.

각도산출모듈(320)은 도 5를 통해서 설명한 바와 같이 각 조인트별 각도를 산출한다. 특히 3번 조인트, 10번 조인트, 4번 조인트, 9번 조인트와 같이 3개의 링크가 교차하는 조인트는 2개의 조인트 각도가 도출될 수 있으며, 댄스의 난이도, 댄스의 종류, 사용자의 숙련정도에 따라서 조인트별 산출각도에 포함시키거나 그렇지 않을 수도 있다.The angle calculation module 320 calculates an angle for each joint as described with reference to FIG. 5. In particular, two joint angles can be derived for joints where three links cross, such as joint 3, joint 10, joint 4, and joint 9, depending on the difficulty of the dance, the type of dance, and the skill level of the user. It may or may not be included in the calculated angle for each joint.

또한, 각도산출모듈(320)은 인공지능 기반의 알고리즘을 활용하여 연산을 수행할 수 있다. 즉, 스마트폰 카메라 등을 활용하여 모션 영상을 촬영하면 신체의 각도와 동작궤적을 트래킹하여 춤선의 위치를 벡터 데이터화 한 후 자료구조에 저장하고 학습하여 조인트의 각도를 산출하는데 활용할 수 있다.In addition, the angle calculation module 320 may perform an operation using an algorithm based on artificial intelligence. That is, if a motion image is captured using a smartphone camera, etc., the angle of the body and the motion trajectory are tracked, the position of the dance line is converted into vector data, and then stored in a data structure and learned to calculate the angle of the joint.

비교모듈(330)은 테스트 객체패턴에서의 조인트 각도와 샘플 객체패턴에서의 조인트 각도를 비교한다. The comparison module 330 compares the joint angle in the test object pattern and the joint angle in the sample object pattern.

도 6은 본 발명의 실시예에 따른 비교모듈의 각도 비교 예시도이다.6 is an exemplary diagram for comparing angles of a comparison module according to an embodiment of the present invention.

도 6에 도시된 바와 같이 비교모듈(330)은 앞선 도 5에 도시되어 있는 테스트 객체패턴의 5번 조인트 각도를 예시로 테스트 객체패턴의 조인트와 샘플 객체패턴의 5'번 조인트 각도를 비교한다.As illustrated in FIG. 6, the comparison module 330 compares the joint angle of the test object pattern and the joint angle 5'of the sample object pattern using the joint angle of the test object pattern shown in FIG. 5 as an example.

각도산출모듈(320)은 5번 조인트 각도를 ∠456 = α로 산출되었다. 샘플 객체패턴의 5'번 조인트 각도는 ∠4'5'6' = α'으로 산출되었다. 비교모듈(330)은 테스트 객체패턴의 5-6 링크와 샘플 객체패턴의 5'-6' 링크를 일치시키고 α-α'을 계산한다. 계산된 값(α-α')은 특정프레임의 5번 조인트의 각도 비교값으로 저장된다. 즉 각도산출모듈(320)은 링크가 향해있는 방향과는 상관없이 하나의 링크를 일치시키고 각도의 차이값만을 산출하여 각도 비교값을 생성한다.The angle calculation module 320 was calculated as ∠456 = α for the 5th joint angle. The 5'joint angle of the sample object pattern was calculated as ∠4'5'6' = α'. The comparison module 330 matches links 5-6 of the test object pattern and links 5'-6' of the sample object pattern, and calculates α-α'. The calculated value (α-α') is stored as an angle comparison value of joint 5 of a specific frame. That is, the angle calculation module 320 matches one link regardless of the direction in which the link is directed and calculates only the difference value of the angle to generate an angle comparison value.

도 6과 같은 일련의 조인트 각도 비교값 계산은 하나의 프레임당 2번 조인트 ~ 5번 조인트, 8번 조인트 ~ 11번 조인트까지 여덟번 계산된다. A series of joint angle comparison values as shown in FIG. 6 are calculated eight times per frame, from joint 2 to joint 5 and joint 8 to 11 joint.

비교모듈(330)은 인공지능 기반의 알고리즘인 CNN(Convolution Neural Network)를 활용하여 과거의 데이터에 대한 정보를 기억하고, 새로운 데이터를 처리할 수 있다. 예를 들어 비교모듈(330)은 CNN알고리즘을 활용하여 깊이방향으로의 회전에 의한 각도를 고려하여 각도 비교값을 생성할 수도 있다. 카메라에 의해서 촬영되고, 객체패턴으로 인식되는 2차원 평면상에서 앞뒤방향으로 회전하거나 움직이는 객체패턴의 움직임을 검출하는데 CNN알고리즘을 활용하여 정확한 각도 비교값의 산출이 가능한다. 즉 인공지능 기반의 CNN알고리즘을 이용하여 깊이값에 대한 정보를 획득할 수도 있으며, 이를 각도 비교값을 정확하게 산출하고 추론하는데 활용할 수 있다.The comparison module 330 may store information on past data and process new data by using a convolution neural network (CNN), which is an artificial intelligence-based algorithm. For example, the comparison module 330 may generate an angle comparison value in consideration of an angle caused by rotation in the depth direction using the CNN algorithm. It is possible to calculate an accurate angle comparison value using the CNN algorithm to detect the movement of an object pattern that is photographed by a camera and rotates or moves in a two-dimensional plane that is recognized as an object pattern. That is, information about the depth value can be obtained using the artificial intelligence-based CNN algorithm, and this can be used to accurately calculate and infer the angle comparison value.

도 7은 본 발명의 실시예에 따른 댄스모션 분석 평가장치의 시뮬레이션 사진이다. 7 is a simulation picture of a dance motion analysis and evaluation apparatus according to an embodiment of the present invention.

도 8은 본 발명의 실시예에 따른 출력부를 통해서 출력되는 예시 화면이다.8 is an exemplary screen output through an output unit according to an embodiment of the present invention.

비교모듈(330)은 도 7에 도시된 바와 같이 왼쪽 상단에 위치하고 있는 샘플 댄스영상과 우측 상단에 위치하고 있는 테스트 댄스영상을 객체패턴을 통해서 비교한다. 비교결과 중간수준의 오차가 발생하는 조인트는 우측 하단에 보이는 영상과 같이 밝은색 원으로 표시될 수 있고, 큰 오차가 발생한 조인트는 비교적 어두운 색 원으로 표시된다.The comparison module 330 compares the sample dance image located at the upper left and the test dance image located at the upper right through the object pattern, as shown in FIG. 7. As a result of the comparison, joints with intermediate errors can be displayed as bright circles, as shown in the image on the lower right, and joints with large errors are displayed as relatively dark circles.

점수산출모듈(340)은 앞서 살펴본, 비교모듈(330)에서 테스트 댄스영상에서의 테스트 객체패턴의 프레임별/각 조인트의 각도 비교값을 종합하여 사용자의 댄스점수를 산출한다. 사용자의 댄스점수를 산출하기 위한 다양한 방법이 고려될 수 있다. 점수산출모듈(340)은 또한, 춤의 숙련도에 따른 단계별 분류, 신체 부위별 움직임 정도의 차이에 따른 가중치 부여 등 사용자의 설정에 의한 점수산출이 가능하다.The score calculation module 340 calculates the user's dance score by synthesizing the frame-by-frame/angle comparison values of each joint of the test object pattern in the test dance image in the comparison module 330 described above. Various methods can be considered for calculating the user's dance score. The score calculation module 340 is also capable of calculating a score according to a user's setting, such as classification by stages according to dance proficiency and weighting according to a difference in movement degree of each body part.

본 발명의 실시예에 따른 댄스모션 분석 평가장치는 테스트 댄스영상을 평가하기 위한 샘플 댄스영상을 저장하고, 샘플 댄스영상에서 객체의 조인트와 링크로 이루어진 샘플 객체 패턴을 저장하는 저장부(400)와 테스트 댄스영상과 테스트 객체패턴을 합성하여 모바일의 화면을 통해서 출력하는 출력부(500)는 더 포함할 수 있다.A dance motion analysis and evaluation apparatus according to an embodiment of the present invention includes a storage unit 400 that stores a sample dance image for evaluating a test dance image, and stores a sample object pattern consisting of joints and links of objects in the sample dance image. The output unit 500 for synthesizing the test dance image and the test object pattern and outputting it through a screen of the mobile may further include.

저장부(400)는 댄스모션 분석 및 평가를 위한 다양한 정보를 저장할 수 있다. 저장부는, 예를 들어, 주기억장치 및 보조기억장치 중 적어도 하나를 포함할 수 있다. 주기억장치는 롬(ROM) 및/또는 램(RAM)과 같은 반도체 저장 매체를 이용하여 구현된 것일 수 있다. 롬은, 예를 들어, 통상적인 롬, 이프롬(EPROM), 이이프롬(EEPROM) 및/또는 마스크롬(MASK-ROM) 등을 포함할 수 있다. 램은 예를 들어, 디램(DRAM) 및/또는 에스램(SRAM) 등을 포함할 수 있다. 보조기억장치는, 플래시 메모리 장치, SD(Secure Digital) 카드, 솔리드 스테이트 드라이브(SSD, Solid State Drive), 하드 디스크 드라이브(HDD, Hard Disc Drive), 자기 드럼, 컴팩트 디스크(CD), 디브이디(DVD) 또는 레이저 디스크 등과 같은 광 기록 매체(optical media), 자기 테이프, 광자기 디스크 및/또는 플로피 디스크 등과 같이 데이터를 영구적 또는 반영구적으로 저장 가능한 적어도 하나의 저장 매체를 이용하여 구현될 수 있다.The storage unit 400 may store various pieces of information for analyzing and evaluating dance motion. The storage unit may include, for example, at least one of a main memory device and an auxiliary memory device. The main memory device may be implemented using a semiconductor storage medium such as ROM and/or RAM. The ROM may include, for example, a conventional ROM, EPROM, EEPROM, and/or MASK-ROM. The RAM may include, for example, DRAM and/or SRAM. Auxiliary storage devices include flash memory devices, SD (Secure Digital) cards, solid state drives (SSDs, Solid State Drives), hard disk drives (HDDs, Hard Disc Drives), magnetic drums, compact disks (CDs), DVDs ) Or an optical media such as a laser disk, a magnetic tape, a magneto-optical disk, and/or a floppy disk, and at least one storage medium capable of permanently or semi-permanently storing data.

출력부(500)는 도 3에 도시된 바와 같이 테스트 객체와 테스트 객체패턴을 합성하여 일치시키거나 도 8과 같이 테스트 객체와 테스트 객체패턴을 분리하여 동시에 출력할 수도 있다. 또한, 출력부(500)를 통해 본 발명의 실시예에 따른 댄스모션 분석 평가장치는 샘플 객체와 테스트 객체를 동시에 출력하고, 테스트 객체에서 오차가 발생하는 조인트를 표시할 수도 있으며, 터치가능한 유저 인터페이스를 이용하여 시작과 멈춤, 측정구역에서의 자세비교, 산출된 점수, 원하는 배속으로 플레이 등의 재생 및 출력할 수 있다.The output unit 500 may synthesize and match the test object and the test object pattern as illustrated in FIG. 3, or may separate the test object and the test object pattern and output simultaneously as illustrated in FIG. 8. In addition, the dance motion analysis and evaluation apparatus according to an embodiment of the present invention through the output unit 500 simultaneously outputs a sample object and a test object, and may display a joint in which an error occurs in the test object, and a touchable user interface Using, you can play and output the start and stop, the posture comparison in the measurement area, the calculated score, and play at the desired double speed.

이상 본 발명의 실시예에 따른 댄스모션 분석 평가장치에 대해서 상세히 살펴보았다. 이하, 본 발명의 또 다른 양태인 댄스모션 분석방법에 대해서 살펴본다.The above described in detail the dance motion analysis and evaluation apparatus according to the embodiment of the present invention. Hereinafter, another aspect of the present invention, a dance motion analysis method, will be described.

앞선 실시예와 중복되는 구성에 대한 설명은 생략한다.Description of the configuration overlapping with the previous embodiment will be omitted.

도 9는 본 발명의 실시예에 따른 댄스모션 분석방법의 순서도이다.9 is a flowchart of a dance motion analysis method according to an embodiment of the present invention.

도 9에 도시된 바와 같이 본 발명의 실시예에 따른 댄스모션 분석방법은 테스트 댄스영상에서 테스트 객체를 추출하는 단계(S100), 상기 테스트 객체를 이용하여 조인트와 링크로 이루어진 테스트 객체패턴을 생성하는 단계(S200), 상기 테스트 객체패턴 조인트와 샘플 객체패턴 조인트의 각도를 비교하는 단계(S300) 및 비교된 값을 이용하여 점수를 산출하는 단계(S400)를 포함한다.As shown in Fig. 9, the dance motion analysis method according to the embodiment of the present invention includes the step of extracting a test object from a test dance image (S100), and generating a test object pattern consisting of joints and links using the test object. Step S200, comparing the angles of the test object pattern joint and the sample object pattern joint (S300), and calculating a score using the compared value (S400).

테스트 댄스영상에서 테스트 객체를 추출하는 단계(S100)는 엣지추출기법 등을 통해서 배경이 있는 영상에서 테스트 객체만을 추출하는 단계이다. 영상내에서 테스트 객체는 하나일 수도 있으나, 복수의 테스트 객체도 동시에 추출할 수 있다. The step of extracting the test object from the test dance image (S100) is a step of extracting only the test object from the image with the background through an edge extraction technique. Although there may be one test object in the image, a plurality of test objects can be extracted simultaneously.

테스트 객체를 이용하여 조인트와 링크로 이루어진 테스트 객체패턴을 생성하는 단계(S200)는 객체의 댄스모션을 분석하는 대상을 조인트의 각도로 단순화하여 연산속도를 빠르게 하고, 다량의 연산이 가능하도록 조인트와 링크로 이루어진 테스트 객체를 생성하는 단계이다. In the step of generating a test object pattern consisting of joints and links using the test object (S200), the object for analyzing the dance motion of the object is simplified by the angle of the joint to speed up the calculation speed, and to enable a large amount of calculations This is the step of creating a test object consisting of links.

테스트 객체패턴 조인트와 샘플 객체패턴 조인트의 각도를 비교하는 단계(S300)는 앞서 도 6에서도 살펴본 바와 같이 저장부에 저장되어 있는 샘플 객체 패턴 조인트의 각도와 테스트 객체패턴 조인트의 각도를 프레임별로, 조인트별로 매칭시켜 비교한다. In the step of comparing the angle of the test object pattern joint and the sample object pattern joint (S300), the angle of the sample object pattern joint stored in the storage unit and the angle of the test object pattern joint are determined for each frame as shown in FIG. Match each and compare.

또한, 각도를 비교하는 단계(S300)는 영상의 프레임별로 테스트 객체패턴 조인트와 샘플 객체패턴 조인트를 일치시키는 단계를 포함하며, 테스트 객체패턴과 테스트 댄스영상을 합성하여 조인트별로 비교된 값을 출력하는 단계를 포함한다.In addition, the step of comparing the angle (S300) includes matching the test object pattern joint and the sample object pattern joint for each frame of the image, and outputting the compared value for each joint by synthesizing the test object pattern and the test dance image. Includes steps.

비교된 값을 이용하여 점수를 산출하는 단계(S400)는 조인트별로 테스트 객체패턴과 샘플 객체패턴을 비교한 비교값을 가중치와 난이도 등을 고려하여 점수화하는 단계이다. 점수를 산출하는 방법은 매우 다양하게 고려될 수 있다.The step of calculating a score using the compared value (S400) is a step of scoring a comparison value obtained by comparing a test object pattern and a sample object pattern for each joint in consideration of weights and difficulty. There are many different ways to calculate the score.

이상 살펴본 댄스모션 분석평가장치 및 방법에 의하면, 일상에서 사용되고 있는 모바일 기기를 이용하여 커버댄스의 동작을 따라하고, 그에 따른 피드백을 정량화하여 받을 수 있으며, 댄스코치의 조력 없이도 원하는 댄스모션을 손쉽게 연습하고 습득할 수 있다.According to the dance motion analysis and evaluation device and method discussed above, it is possible to follow the movement of cover dance using a mobile device used in daily life, and receive the feedback accordingly, and easily practice the desired dance motion without the assistance of a dance coach. And can learn.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성 요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성 요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.The present invention has been described with reference to the embodiments shown in the drawings, but these are only exemplary, and those of ordinary skill in the art will appreciate that various modifications and other equivalent embodiments are possible therefrom. For example, the described techniques are performed in a different order from the described method, and/or components such as systems, structures, devices, and circuits described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result can be achieved. Therefore, the true technical protection scope of the present invention should be determined by the technical idea of the attached registration claims.

100 촬영부 200 객체생성부
210 객체추출모듈 220 패턴생성모듈
300 평가부 310 타임스케줄러
320 각도산출모듈 330 비교모듈
340 점수산출모듈 400 저장부
500 출력부 100 photographing unit 200 object creation unit
210 Object Extraction Module 220 Pattern Generation Module
300 Evaluation Department 310 Time Scheduler
320 Angle calculation module 330 Comparison module
340 score calculation module 400 storage unit
500 outputs

Claims (10)

모바일에 탑재되는 댄스모션 분석 평가장치로서,
테스트 댄스영상을 촬영하는 촬영부;
상기 테스트 댄스영상에서 테스트 객체를 이용하여 조인트와 링크로 이루어진 테스트 객체패턴을 생성하는 객체 생성부;
상기 테스트 객체패턴과 샘플 객체패턴을 비교하되, 상기 테스트 객체패턴의 조인트 각도와 상기 샘플 객체패턴의 조인트 각도를 비교하여 테스트 댄스영상을 평가하는 평가부를 포함하고,
상기 평가부는
테스트 댄스영상의 프레임을 샘플 댄스영상 프레임과 일치시키는 타임스케줄러;
상기 테스트 객체패턴과 상기 샘플 객체패턴에서 조인트를 일치시키고, 각 객체패턴에서 조인트의 각도를 산출하는 각도산출모듈;
상기 테스트 객체패턴에서의 조인트 각도와 상기 샘플 객체패턴에서의 조인트 각도를 비교하는 비교모듈; 및
조인트 각도의 일치여부에 따라 점수를 산출하는 점수산출모듈을 포함하며,
상기 타임스케줄러는 댄스의 난이도 또는 사용자의 숙련정도에 따라 상기 테스트 댄스영상의 프레임과 상기 샘플 댄스영상 프레임 간의 매칭범위를 조절하여 난이도를 조절하고,
상기 각도산출모듈은 조인트마다 별도의 식별자를 부여하여 영상 속에서 각 조인트별 움직임을 트래킹하며, 댄스의 난이도 또는 사용자의 숙련정도에 따라 조인트별 산출각도를 포함시킬지 여부를 결정하는 것을 특징으로 하는 댄스모션 분석 평가장치.As a dance motion analysis evaluation device mounted on mobile,
A photographing unit for photographing a test dance image;
An object generation unit that generates a test object pattern consisting of joints and links by using a test object in the test dance image;
Comprising an evaluation unit for comparing the test object pattern and the sample object pattern, comparing the joint angle of the test object pattern and the joint angle of the sample object pattern to evaluate a test dance image,
The evaluation unit
A time scheduler that matches the frame of the test dance image with the sample dance image frame;
An angle calculation module for matching a joint between the test object pattern and the sample object pattern, and calculating an angle of the joint in each object pattern;
A comparison module comparing a joint angle in the test object pattern and a joint angle in the sample object pattern; And
It includes a score calculation module that calculates a score according to whether the joint angle is matched,
The time scheduler adjusts the difficulty by adjusting the matching range between the frame of the test dance image and the sample dance image frame according to the difficulty of dance or the skill level of the user,
The angle calculation module assigns a separate identifier to each joint to track the movement of each joint in the image, and determines whether to include the calculated angle for each joint according to the difficulty of the dance or the skill level of the user. Motion analysis evaluation device. 제1항에 있어서,
상기 테스트 댄스영상을 평가하기 위한 샘플 댄스영상을 저장하고, 상기 샘플 댄스영상에서 객체의 조인트와 링크로 이루어진 샘플 객체패턴을 저장하는 저장부를 더 포함하는 것을 특징으로 하는 댄스모션 분석 평가장치.The method of claim 1,
And a storage unit for storing a sample dance image for evaluating the test dance image, and storing a sample object pattern consisting of joints and links of objects in the sample dance image. 제1항에 있어서,
상기 객체 생성부는
상기 테스트 댄스영상으로부터 분석, 평가대상인 객체를 추출하는 객체추출모듈; 및
추출된 객체에서 테스트 객체패턴을 생성하는 패턴생성모듈을 포함하는 것을 특징으로 하는 댄스모션 분석 평가장치.The method of claim 1,
The object creation unit
An object extraction module for extracting an object to be analyzed and evaluated from the test dance image; And
Dance motion analysis and evaluation apparatus comprising a pattern generation module for generating a test object pattern from the extracted object. 제3항에 있어서,
상기 객체추출모듈은 둘 이상의 객체를 동시에 추출하고, 상기 패턴생성모듈은 둘 이상의 테스트 객체패턴을 동시에 추출하는 것을 특징으로 하는 댄스모션 분석 평가장치.The method of claim 3,
The object extraction module extracts two or more objects simultaneously, and the pattern generation module extracts two or more test object patterns simultaneously. 삭제delete 제1항에 있어서,
상기 각도산출모듈 및 비교모듈은 인공지능 알고리즘을 이용하여 조인트의 각도를 산출하고 비교하는 것을 특징으로 하는 댄스모션 분석 평가장치.The method of claim 1,
The angle calculation module and the comparison module calculate and compare the angle of the joint using an artificial intelligence algorithm. 제1항에 있어서,
상기 테스트 댄스영상과 상기 테스트 객체패턴을 합성하여 상기 모바일의 화면을 통해서 출력하는 출력부를 더 포함하는 것을 특징으로 하는 댄스모션 분석 평가장치.The method of claim 1,
And an output unit for synthesizing the test dance image and the test object pattern and outputting it through the screen of the mobile. 댄스모션 분석평가장치가 수행하는 댄스모션 분석평가방법으로서,
(a) 테스트 댄스영상에서 테스트 객체를 추출하는 단계;
(b) 상기 테스트 객체를 이용하여 조인트와 링크로 이루어진 테스트 객체패턴을 생성하는 단계;
(c) 상기 테스트 객체패턴 조인트와 샘플 객체패턴 조인트의 각도를 비교하는 단계; 및
(d) 비교된 값을 이용하여 점수를 산출하는 단계를 포함하고,
상기 (c)단계는
(c-1) 영상의 프레임별로 상기 테스트 객체패턴 조인트와 상기 샘플 객체패턴 조인트를 일치시키는 단계; 및
(c-2) 상기 테스트 객체패턴과 상기 테스트 댄스영상을 합성하여 조인트 별로 비교된 값을 출력하는 단계를 포함하며,
상기 (c-1) 단계는 댄스의 난이도 또는 사용자의 숙련정도에 따라 상기 테스트 댄스영상의 프레임과 샘플 댄스영상 프레임 간의 매칭범위를 조절하여 난이도를 조절하고,
상기 (c-2) 단계는 조인트마다 별도의 식별자를 부여하여 영상 속에서 각 조인트별 움직임을 트래킹하며, 댄스의 난이도 또는 사용자의 숙련정도에 따라 조인트별 산출각도를 포함시킬지 여부를 결정하는 것을 특징으로 하는 댄스모션 분석방법.As a dance motion analysis evaluation method performed by the dance motion analysis evaluation device,
(a) extracting a test object from the test dance image;
(b) generating a test object pattern consisting of a joint and a link using the test object;
(c) comparing angles of the test object pattern joint and the sample object pattern joint; And
(d) calculating a score by using the compared value,
Step (c)
(c-1) matching the test object pattern joint and the sample object pattern joint for each frame of an image; And
(c-2) synthesizing the test object pattern and the test dance image to output a value compared for each joint,
The step (c-1) adjusts the difficulty by adjusting the matching range between the frame of the test dance image and the sample dance image frame according to the difficulty of the dance or the skill level of the user,
In step (c-2), a separate identifier is assigned to each joint to track the movement of each joint in the image, and it is determined whether to include the calculated angle for each joint according to the difficulty of the dance or the skill level of the user. Dance motion analysis method. 삭제delete 삭제delete
KR1020190080745A 2019-07-04 2019-07-04 Apparatus for analysis and evaluation of dance motion and method for the same KR102201050B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190080745A KR102201050B1 (en) 2019-07-04 2019-07-04 Apparatus for analysis and evaluation of dance motion and method for the same
PCT/KR2019/008259 WO2021002522A1 (en) 2019-07-04 2019-07-05 Dance motion analysis evaluation device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190080745A KR102201050B1 (en) 2019-07-04 2019-07-04 Apparatus for analysis and evaluation of dance motion and method for the same

Publications (1)

Publication Number Publication Date
KR102201050B1 true KR102201050B1 (en) 2021-01-11

Family

ID=74100147

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190080745A KR102201050B1 (en) 2019-07-04 2019-07-04 Apparatus for analysis and evaluation of dance motion and method for the same

Country Status (2)

Country Link
KR (1) KR102201050B1 (en)
WO (1) WO2021002522A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102241127B1 (en) * 2021-02-02 2021-04-19 주식회사 펀리햅 Method for inducing non-facing self training
KR102358464B1 (en) * 2021-07-16 2022-02-08 (주)소프트젠 3d image converter that automaically generates 3d character animation from image infomation using artificial intelligence and 3d image converting system including the same
KR102412553B1 (en) * 2021-12-26 2022-06-24 주식회사 큐랩 Method and apparatus for comparing dance motion based on ai

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115105820A (en) * 2021-03-23 2022-09-27 薛雅馨 Action evaluation system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101936692B1 (en) 2017-12-18 2019-01-10 주식회사 쏘그웨어 Dance training apparatus and method using automatic generation of dance key motion
KR101962045B1 (en) * 2017-12-29 2019-03-25 포항공과대학교 산학협력단 Apparatus and method for testing 3-dimensional position
KR101966040B1 (en) 2019-01-25 2019-04-04 정주선 Apparatus for dance game and method for dance game using thereof
KR20190040627A (en) * 2017-10-11 2019-04-19 여의(주) a System for Analyzing a Synchronization of a Dance and Determining a Ranking thereof

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9981193B2 (en) * 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
US8989521B1 (en) * 2011-11-23 2015-03-24 Google Inc. Determination of dance steps based on media content
WO2014162787A1 (en) * 2013-04-02 2014-10-09 Ｎｅｃソリューションイノベータ株式会社 Body-motion assessment device, dance assessment device, karaoke device, and game device
KR101711488B1 (en) * 2015-01-28 2017-03-03 한국전자통신연구원 Method and System for Motion Based Interactive Service

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190040627A (en) * 2017-10-11 2019-04-19 여의(주) a System for Analyzing a Synchronization of a Dance and Determining a Ranking thereof
KR101936692B1 (en) 2017-12-18 2019-01-10 주식회사 쏘그웨어 Dance training apparatus and method using automatic generation of dance key motion
KR101962045B1 (en) * 2017-12-29 2019-03-25 포항공과대학교 산학협력단 Apparatus and method for testing 3-dimensional position
KR101966040B1 (en) 2019-01-25 2019-04-04 정주선 Apparatus for dance game and method for dance game using thereof

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QIAO 외 2인. Real-Time Gesture Grading Based on OpenPose. International Congress on Image and Signal Processing, BioMedical Engineering and Information. (2017.10.14.)* *
Rogez 외 2인. Lcr-net++: Multi-person 2d and 3d pose detection in natural images. arXiv:1803.00455v3. (2019.01.13.)* *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102241127B1 (en) * 2021-02-02 2021-04-19 주식회사 펀리햅 Method for inducing non-facing self training
KR102358464B1 (en) * 2021-07-16 2022-02-08 (주)소프트젠 3d image converter that automaically generates 3d character animation from image infomation using artificial intelligence and 3d image converting system including the same
KR102412553B1 (en) * 2021-12-26 2022-06-24 주식회사 큐랩 Method and apparatus for comparing dance motion based on ai

Also Published As

Publication number Publication date
WO2021002522A1 (en) 2021-01-07

Similar Documents

Publication Publication Date Title
KR102201050B1 (en) Apparatus for analysis and evaluation of dance motion and method for the same
Fothergill et al. Instructing people for training gestural interactive systems
Hu et al. Real-time human movement retrieval and assessment with kinect sensor
Zafrulla et al. American sign language recognition with the kinect
US10803762B2 (en) Body-motion assessment device, dance assessment device, karaoke device, and game device
KR101936692B1 (en) Dance training apparatus and method using automatic generation of dance key motion
US20110293144A1 (en) Method and System for Rendering an Entertainment Animation
KR101036429B1 (en) Apparatus and method for cyber training of martial art and the recording medium
US8538153B2 (en) System and method for enabling meaningful interaction with video based characters and objects
Essid et al. A multi-modal dance corpus for research into interaction between humans in virtual environments
US20220366653A1 (en) Full Body Virtual Reality Utilizing Computer Vision From a Single Camera and Associated Systems and Methods
US10885691B1 (en) Multiple character motion capture
US11403768B2 (en) Method and system for motion prediction
Li et al. Skeleton Plays Piano: Online Generation of Pianist Body Movements from MIDI Performance.
Langlois et al. Inverse-foley animation: Synchronizing rigid-body motions to sound
Hamanishi et al. Poseasquery: Full-body interface for repeated observation of a person in a video with ambiguous pose indexes and performed poses
KR20200076373A (en) The system and method of recognizing a motion
Zefinetti et al. Goalkeeper’s Performances Assessed with Action Cameras Based Mocap System
Lin et al. Temporal IK: Data-Driven Pose Estimation for Virtual Reality
Antoshchuk et al. Creating an interactive musical experience for a concert hall
Lu et al. iDVT: An interactive digital violin tutoring system based on audio-visual fusion
Casas Ortiz Capturing, Modelling, Analyzing and providing Feedback in Martial Arts with Artificial Intelligence to support Psychomotor Learning Activities
Farris Take the Lead: Toward a Virtual Video Dance Partner
Dai et al. Application of Virtual Image Technology in Badminton Teaching in Colleges and Universities
KR102622163B1 (en) Online music teaching method and apparatus based on virtual reality

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant