KR101840014B1 - 음악 매칭 댄싱 동작 인식 장치 및 매칭 방법 - Google Patents

음악 매칭 댄싱 동작 인식 장치 및 매칭 방법 Download PDF

Info

Publication number
KR101840014B1
KR101840014B1 KR1020170124480A KR20170124480A KR101840014B1 KR 101840014 B1 KR101840014 B1 KR 101840014B1 KR 1020170124480 A KR1020170124480 A KR 1020170124480A KR 20170124480 A KR20170124480 A KR 20170124480A KR 101840014 B1 KR101840014 B1 KR 101840014B1
Authority
KR
South Korea
Prior art keywords
dancing
music
feature point
motion
motion feature
Prior art date
Application number
KR1020170124480A
Other languages
English (en)
Inventor
이덕현
안두섭
임우현
김대진
Original Assignee
(주)스타캐슬커뮤니케이션즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)스타캐슬커뮤니케이션즈 filed Critical (주)스타캐슬커뮤니케이션즈
Priority to KR1020170124480A priority Critical patent/KR101840014B1/ko
Application granted granted Critical
Publication of KR101840014B1 publication Critical patent/KR101840014B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06K9/00342—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/4604—
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Abstract

본 발명의 실시 형태는 각 음악의 오디오 프레임 인덱스별로 기준 동작 특징점이 할당되어 등록되어 있는 기준 동작 특징점 저장부; 재생되고 있는 음악을 인식하여 재생되고 있는 오디오 프레임 인덱스를 파악하는 음악 인식부; 음악에 맞추어 움직이는 사람의 댄싱 동작 이미지를 인식하는 댄싱 동작 인식부; 인식되는 댄싱 동작 이미지에서 댄싱 동작 특징점을 추출하는 댄싱 동작 특징점 추출부; 및 상기 음악 인식부를 통해 파악되는 오디오 프레임 인덱스의 시점인 음악 재생 시점의 기준 동작 특징점과 상기 음악 재생 시점에서 파악되는 댄싱 동작 특징점간의 유사도를 산출하여 출력하는 댄싱 동작 유사도 매칭부;를 포함할 수 있다.

Description

음악 매칭 댄싱 동작 인식 장치 및 매칭 방법{Apparatus for recognizing dancing motion based music and method for operating the same}
본 발명은 음악 매칭 댄싱 동작 인식 장치 및 매칭 방법으로서, 흘러나오는 음악에 맞추어 춤추는 댄싱 동작의 정확성을 인식할 수 있는 음악 매칭 댄싱 동작 인식 장치 및 매칭 방법에 관한 것이다.
최근에는 3차원 동작 인식을 수행하는 시스템은, 컴퓨터를 포함하는 기계장치가 인간의 동작을 단순히 기록하는 것을 넘어 그 동작의 패턴을 인식할 수 있도록 하는 정보 기술의 새로운 혁신이 되고 있다. 또한, 3차원 동작 인식 시스템은, 움직이는 객체(동적 인체나, 물체, 동물몸체)를 단순히 스캐닝하는 것과 다르게 실사 촬영을 통하여 3차원 데이터를 추출할 수 있는 기술을 이용한다.
이러한 3차원 동작 인식 기술로는 다양한 수단이 제시되어 있는데, 예를 들어, 한국등록특허 제10-1203121호(2012.11.14 등록)는 모션 인식을 위한 기본 위치를 설정하여 모션 인식 과정의 오류를 줄일 수 있는 스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법에 관하여 기재되어 있다. 즉, 한국등록특허 제10-1203121호는 스테레오 카메라 전방의 일정한 거리에 기본위치를 설정하는 기본위치설정부와, 움직이는 객체를 스테레오 카메라로 촬영하여 스테레오 영상을 생성하는 스테레오카메라부와, 스테레오 카메라부로부터 연속적으로 입력되는 스테레오 영상의 각 프레임에서의 각 픽셀에 대한 심도 맵 데이터를 계산하여 객체까지의 심도가 기본위치의 심도 범위에 속하는지 판단하는 거리정보계산부와, 영상 프레임 각각에서 상기 움직이는 객체를 추출하여, 상기 추출한 객체 영역이 설정된 기본위치의 픽셀 영역에 속하는지 판단하는 객체추출부와, 객체가 상기 기본 위치의 심도 범위에 있고 상기 설정된 기본위치의 픽셀 영역에 속하는 경우에, 객체추출부가 추출한 객체 영역 중에서 모션 인식 대상이 되는 포인터를 인식하는 과정을 영상 프레임 각각에 대해 수행하여 포인터의 3차원 공간상의 위치 변화를 추적하는 모션추적부와, 추적된 포인터의 변화된 3차원 공간상 위치 정보를 이용하여 포인터의 3차원 상 이동방향에 대한 정보를 계산하고 출력하는 모션정보출력부를 포함한다.
이와 같이, 3차원 동작 인식을 하기 위해 센서로부터 좌표데이터를 가져오고 이를 이용한 특징들을 분석하기 위하여, 기존의 3차원 동작 인식 기술은, i)키넥트와 같은 3D 카메라를 이용하여 사람이 가지는 뼈대 구조를 습득하여 이 뼈대구조의 움직임 패턴을 분석 후 대상자의 동작을 인식하거나, 또는, ii) Wii와 같은 모션 컨트롤러 인터페이스를 이용하여 움직임 좌표를 가져와서 대상자의 동작을 인식하는 기술을 기반으로 하고 있다.
그런데 이와 같은 기존의 3차원 동작 인식 기술은, 특징 분석시 분석 시점의 시작 및 끝을 명확하게 인식하지 못해 인식률이 떨어지는 문제가 있다. 따라서 사람마다 신체의 길이, 움직일 때마다 동작의 각도, 동작의 속도, 동작의 정확한 타이밍 등이 달라서 동작의 원 대상자와 비교 매칭을 했을 때 정확한 매칭을 할 수 없다.
특히 댄스 강습 및 댄스 오디션같이 음악과 동작의 타이밍이 정확해야 하는 상황에서는 조금 더 정밀한 동작 인식이 필요한데, 기존의 3차원 동작 인식 기술로는, 음악과 같은 오디오의 타이밍과 매칭시키는 동작을 정확하게 인식할 수 없는 문제가 있다.
한국등록특허 제10-1203121호
본 발명의 기술적 과제는 댄스 강습 및 댄스 오디션같이 음악과 동작의 타이밍이 정확해야 하는 상황에서는 정밀한 동작 인식이 음악과 매칭되어 이루어질 수 있도록 하는 수단을 제공하는데 있다.
본 발명의 실시 형태는 각 음악의 오디오 프레임 인덱스별로 기준 동작 특징점이 할당되어 등록되어 있는 기준 동작 특징점 저장부; 재생되고 있는 음악을 인식하여 재생되고 있는 오디오 프레임 인덱스를 파악하는 음악 인식부; 음악에 맞추어 움직이는 사람의 댄싱 동작 이미지를 인식하는 댄싱 동작 인식부; 인식되는 댄싱 동작 이미지에서 댄싱 동작 특징점을 추출하는 댄싱 동작 특징점 추출부; 및 상기 음악 인식부를 통해 파악되는 오디오 프레임 인덱스의 시점인 음악 재생 시점의 기준 동작 특징점과 상기 음악 재생 시점에서 파악되는 댄싱 동작 특징점간의 유사도를 산출하여 출력하는 댄싱 동작 유사도 매칭부;를 포함할 수 있다.
상기 기준 동작 특징점과 댄싱 동작 특징점은, 골반을 기준으로 한 각 골격의 8방위 중 골격 위치값; 각 조인트 부분의 각도값; 골반을 기준으로 했을 때 팔 다리 좌우 골격 포인트의 위치 체크값인 제1위치 체크값; 어깨, 골반 무릎을 기준으로 골격 포인트의 위치 체크값인 제2위치 체크값; 중에서 적어도 하나 이상 포함할 수 있다.
기준 동작 특징점 저장부에 저장되는 기준 동작 특징점은, 기준 동작으로 댄싱 동작을 수행할 때의 골격 위치값, 각 조인트 부분의 각도값, 위치 제1체크값, 및 제2위치 체크값이며, 상기 기준 동작 특징점은, 뮤직 비디오를 통해 판독되는 안무가의 댄싱 동작의 파악하여, 뮤직 비디오의 음악내의 각 오디오 프레임 인덱스별로 산출되는 기준 동작 정보임을 특징으로 할 수 있다.
상기 댄싱 동작 특징점 추출부는, 상기 댄싱 동작 이미지에서 골반을 기준으로 한 기준 선과 골반을 기준으로 8방위 체크한 후, 골반을 기준으로 각 골격 포인트가 8방에서 어느 좌표에 있는지를 나타내는 8방위 중 골격 위치값을 추출하며, 상기 댄싱 동작 이미지에서 각 조인트 부분의 각도 체크값인 각 조인트 부분의 각도값을 추출하며, 상기 댄싱 동작 이미지에서 골반을 기준으로 했을 때 팔 다리 좌우 골격 포인트의 위치 체크값을 제1위치 체크값으로 추출하며, 상기 댄싱 동작 이미지에서 어깨, 골반 무릎을 기준으로 골격 포인트의 위치 체크값을 제2위치 체크값으로 추출할 수 있다.
상기 댄싱 동작 유사도 매칭부는, 음악 내의 오디오 프레임별로 기준 동작 특징점과 댄싱 동작 특징점간의 오차 개수를 산출하여 출력하거나, 또는 음악의 전체 오디오 프레임에서의 기준 동작 특징점과 댄싱 동작 특징점간의 전체 오차 개수를 산출하여 출력할 수 있다.
상기 댄싱 동작 유사도 매칭부는, 상기 오차 개수를 등급으로 표시한 유사도로서 표시하여 출력할 수 있다.
또한 본 발명의 실시 형태는, 재생되고 있는 음악을 인식하여, 인식되는 음악의 음악 재생 시점별로 오디오 프레임 인덱스를 파악하는 음악 인식 과정; 음악에 맞추어 움직이는 사람의 댄싱 동작 이미지를 인식하는 댄싱 동작 인식 과정; 인식되는 댄싱 동작 이미지에서 댄싱 동작 특징점을 추출하는 댄싱 동작 특징점 추출 과정; 및 오디오 프레임 인덱스의 시점인 음악 재생 시점의 기준 동작 특징점과 상기 음악 재생 시점에서 파악되는 댄싱 동작 특징점 간의 유사도를 산출하여 출력하는 댄싱 동작 유사도 매칭 과정;을 포함할 수 있다.
본 발명의 실시 형태에 따르면 음악의 타이밍을 판단하여 기준 대상자와 얼마나 정확히 일치하는지, 어디 시점의 어느 동작이 일치하거나, 어긋났는지를 판단할 수 있다. 따라서 음악에 맞추어서 정확한 동작을 필요로 하는 곳, 즉 댄스 강습 및 오디션, 게임 등의 다양한 분야에서 활용할 수 있다.
도 1은 본 발명의 실시예에 따라 음악에 맞는 댄싱 동작을 하고 있는지를 판별하는 음악 매칭 댄싱 동작 인식 장치를 도시한 그림.
도 2는 본 발명의 실시예에 따른 음악 매칭 댄싱 동작 인식 장치의 구성 블록도.
도 3은 음악 특징점을 추출하는 예시 흐름도.
도 4는 음악 특징점 구별을 통하여 음악의 종류를 파악하는 룩업 테이블 흐름 구성 예시 그림.
도 5는 본 발명의 실시예에 따라 각 오디오 프레임별로 기준 동작 특징점과 댄싱 동작 특징점의 일치 여부를 판단하여 유사도를 산출하는 예시 그림.
이하, 본 발명의 장점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은, 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것으로, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 또한, 본 발명을 설명함에 있어 관련된 공지 기술 등이 본 발명의 요지를 흐리게 할 수 있다고 판단되는 경우 그에 관한 자세한 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따라 음악에 맞는 댄싱 동작을 하고 있는지를 판별하는 음악 매칭 댄싱 동작 인식 장치를 도시한 그림이며, 도 2는 본 발명의 실시예에 따른 음악 매칭 댄싱 동작 인식 장치의 구성 블록도이며, 도 3은 음악 특징점을 추출하는 예시 흐름이며, 도 4는 음악 특징점 구별을 통하여 음악의 종류를 파악하는 룩업 테이블 흐름 구성 예이며, 도 5는 본 발명의 실시예에 따라 각 오디오 프레임별로 기준 동작 특징점과 댄싱 동작 특징점의 일치 여부를 판단하여 유사도를 산출하는 예시 그림이다.
본 발명은, 흘러나오고 있는 음악의 타이밍을 판단하여 기준 대상자와 얼마나 정확히 일치하는지, 어디 시점의 어느 동작이 일치하거나, 어긋났는지를 판단한다. 따라서 음악에 맞추어서 정확한 동작을 필요로 하는 곳, 즉 댄스 강습 및 오디션, 게임 등에 이용한다.
예를 들어, 도 1에 도시한 바와 같이 댄스 연습생이 음악에 맞추어 춤을 추고 있는 경우, 춤추는 댄스 연습생을 음악 매칭 댄싱 동작 인식 장치(10)가 촬영 인식하여, 댄스 연습생의 댄싱 동작이 음악의 각 시점마다 등록된 기준 동작과 일치하는지를 파악하여, 그 매칭률을 제공해주는 것이다. 따라서 댄스 연습생 입장에서는 자신의 댄싱 동작이 어디서 틀렸는지 손쉽게 발견하여, 댄싱 동작을 수정해가며 연습해 갈 수 있다.
이를 위하여 본 발명의 음악 매칭 댄싱 동작 인식 장치(10)는 도 2에 도시한 바와 같이 기준 동작 특징점 저장부(110), 음악 인식부(120), 댄싱 동작 인식부(130), 댄싱 동작 특징점 추출부(140), 및 댄싱 동작 유사도 매칭부(150)를 포함할 수 있다.
참고로, 음악 매칭 댄싱 동작 인식 장치(10)는, 도면에서는 데스크탑 PC(desktop PC)를 예로 들어 설명하나, 데스크탑 PC뿐만 아니라 스마트폰(smart phone), 태블릿 PC(tablet PC), 슬레이트 PC(slate PC), 노트북 컴퓨터(notebook computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 디지털 카메라(Digital Camera) 등이 해당될 수 있다. 물론, 본 발명이 적용 가능한 단말기는 상술한 종류에 한정되지 않고, 동작 인식 모듈을 구비하여 연산 가능한 단말기를 모두 포함할 수 있음은 당연하다.
기준 동작 특징점 저장부(110)는, 각 음악의 오디오 프레임 인덱스별로 기준 동작 특징점이 할당되어 등록되어 있는 데이터베이스이다. 참고로 데이터베이스(DB)는, 하드디스크 드라이브(Hard Disk Drive), SSD 드라이브(Solid State Drive), 플래시메모리(Flash Memory), CF카드(Compact Flash Card), SD카드(Secure Digital Card), SM카드(Smart Media Card), MMC 카드(Multi-Media Card) 또는 메모리 스틱(Memory Stick) 등 정보의 입출력이 가능한 모듈로서 장치의 내부에 구비되어 있을 수도 있고, 별도의 장치에 구비되어 있을 수도 있다.
여기서, 기준 동작 특징점과 댄싱 동작 특징점은, 골반을 기준으로 한 각 골격의 8방위 중 골격 위치값과, 각 조인트 부분의 각도값과, 골반을 기준으로 했을 때 팔 다리 좌우 골격 포인트의 위치 체크값인 제1위치 체크값과, 어깨, 골반 무릎을 기준으로 골격 포인트의 위치 체크값인 제2위치 체크값 중에서 적어도 하나 이상 포함할 수 있다. 따라서 각 오디오 프레임별로 해당되는 기준 동작 특징점이 저장되는데, 예를 들어, 오디오 제1프레임에는 기준 동작 특징점이 골격 위치값이 A1, 제1위치 체크값이 B1으로 저장되며, 오디오 제2프레임에는 기준 동작 특징점이 골격 위치값이 A2, 제1위치 체크값이 B2로 저장될 수 있다.
이러한 기준 동작 특징점은 각 오디오 프레임 순간에 가장 좋다고 평가되는 안무 동작의 기준 동작 특징점으로서, 미리 제공되는 안무 동작 정보를 이용하여 컴퓨터 시뮬레이션을 통하여 가장 모범 답안에 가까운 기준 동작 특징점이 등록 저장될 수 있다.
이밖에, 컴퓨터 시뮬레이션이 없이도 뮤직 비디오를 통하여 파악하여 기준 동작 특징점이 등록 저장되도록 할 수 있다. 뮤직 비디오를 통해 판독되는 안무가의 댄싱 동작의 파악하여, 뮤직 비디오의 음악내의 각 오디오 프레임 인덱스별로 산출되는 기준 동작 특징값이 등록 저장될 수 있다. 따라서 컴퓨터 시뮬레이션 없이도 안무가의 안무 동작을 기준 동작 특징점으로 등록할 수 있어, 다양한 응용이 가능하게 된다.
참고로, 여기서 오디오 프레임이라 함은, 음악내에서 음악 특징점(fingerprint)을 추출할 때 기준이 되는 단위 프레임을 말한다. 이러한 음악 특징점(fingerprint)은 원본 음성을 복제한 뒤, 그대로 옮기는 기만행위를 예방하기 위하여 음성 고유의 디지털 지문을 추출하여 원본을 식별하는데 사용된다.
이러한 음악내의 오디오 프레임 단위별로 음악 특징점을 추출하는 방식은 공지된 다양한 방식이 있는데, 예컨대, 도 3에 도시한 바와 같이 필립스 방식의 음악 특징점(fingerprint) 추출이 이루어질 수 있다.
도 3을 참조하여 오디오 프레임 단위별로 음악 특징점을 추출하는 것을 간략히 설명하면, 시간 영역(time domain)에서의 디지털 음악 신호들을 적절한 윈도우 크기(window size)와 스텝 크기(step size)로 윈도우 분석(window analysis)을 하게 된다. 이렇게 오디오 프레임(audio frame)으로 나눈 후 프레임마다 FFT(Fast Fourier Transform)를 수행하여 파워 스펙트럼(power spectrum)을 구한 후에 주파수 영역(frequency domain)에서 33개의 멜 필터뱅크 에너지(Mel-scale filter-bank energy) 값을 구하게 된다. 그리고 이 결과를 하기의 [수학식 1]을 이용하여 오디오 프레임 당 하나의 32bit 서브-핑거프린트(sub-fingerprint)를 추출한다.
[수학식 1]
E(n,m) = EB(n,m) - EB(n,m+1) - EB(n-1,m) - EB(n-1,m+1)
[수학식 1]에서 n은 프레임 인덱스(frame index), m은 주파수 대역의 인덱스, EB(n,m)은 n번째 프레임의 m번째 멜 필터뱅크 에너지 값을 의미한다. 이렇게 각 오디오 프레임마다 인접 주파수 대역과 인접 프레임 사이의 에너지 차이를 고유한 서브-핑거 프린트, 즉, 해시 코드(hash code)로 추출하게 되는 것이다. 추출된 해시 코드 H(n,m)은 n번째 프레임의 m번째 이진 코드를 의미한다.
음악 인식부(120)는, 재생되고 있는 음악을 인식하여 재생되고 있는 오디오 프레임 인덱스를 파악하는 기능을 수행한다. 즉, 음악 특징점 데이터베이스인 핑거프린트 데이터베이스가 저장이 되면 쿼리(query)가 입력되었을 때, 쿼리에 대응하는 음악을 찾아주는 음악 인식 솔루션에 의해 재생되고 있는 음악을 인식하고, 현재의 재생되는 시점의 오디오 프레임 인덱스를 파악할 수 있게 된다.
참고로, 이러한 음악 인식 솔루션은 공지된 다양한 방식이 사용될 수 있는데, 도 2를 참조하면, 핑거프린트 데이터베이스는 해시 테이블(hash table)을 통해 룩업 테이블(LUT)로서 메모리에 로딩(loading)이 된다. 그리고 쿼리가 입력이 되면 데이터베이스의 음악 특징점(핑거프린트;fingerprint)을 추출했던 방식과 동일하게 프레임별로 쿼리의 서브-핑거프린트들을 추출하게 된다. 추출된 핑거프린트, 즉 해시코드들은 검색 후보군(Candidate hash code)이 되어 룩업 테이블을 통해 검색을 하게 된다. 쿼리의 해시코드와 동일한 코드들을 룩업테이블에서 찾아 그 룩업 테이블이 가리키는 데이터베이스의 곡의 특정 위치에서 쿼리와 데이터베이스의 핑거프린트 블록간의 비트 에러율을 구하게 된다. 이때 최소값을 가지는 곡을 쿼리에 해당하는 음악으로 간주하게 된다.
한편, 댄싱 동작 인식부(130)는, 댄스 강습, 오디션, 게임에서 흘러나오는 음악에 맞추어 움직이는 사람의 댄싱 동작 이미지를 인식하는 기능을 수행한다. 키넥트와 같은 3D 카메라를 이용하여 사람이 가지는 뼈대 구조를 습득하여 이 뼈대구조의 움직임 패턴을 분석 후 대상자의 동작을 인식하게 된다.
댄싱 동작 특징점 추출부(140)는, 인식되는 댄싱 동작 이미지에서 댄싱 동작 특징점을 추출한다. 따라서 키넥트와 같은 3D 카메라를 이용하여 인식되는 대상자의 동작에서 댄싱 동작 특징점을 파악하게 된다. 여기서 댄싱하는 사람의 동작에서 파악되는 댄싱 동작 특징점은, 골반을 기준으로 한 각 골격의 8방위 중 골격 위치값과, 각 조인트 부분의 각도값과, 골반을 기준으로 했을 때 팔 다리 좌우 골격 포인트의 위치 체크값인 제1위치 체크값과, 어깨, 골반 무릎을 기준으로 골격 포인트의 위치 체크값인 제2위치 체크값 중에서 적어도 하나 이상 포함할 수 있다.
따라서 댄싱 동작 특징점 추출부(140)는, 댄싱 동작 이미지에서 골반을 기준으로 한 기준 선과 골반을 기준으로 8방위 체크한 후, 골반을 기준으로 각 골격 포인트가 8방에서 어느 좌표에 있는지를 나타내는 8방위 중 골격 위치값을 추출한다. 즉, 댄싱 동작 이미지에서 각 조인트 부분의 각도 체크값인 각 조인트 부분의 각도값을 추출하며, 댄싱 동작 이미지에서 골반을 기준으로 했을 때 팔 다리 좌우 골격 포인트의 위치 체크값을 제1위치 체크값으로 추출하며, 댄싱 동작 이미지에서 어깨, 골반 무릎을 기준으로 골격 포인트의 위치 체크값을 제2위치 체크값으로 추출한다.
댄싱 동작 유사도 매칭부(150)는, 음악 인식부(120)를 통해 파악되는 오디오 프레임 인덱스의 시점인 음악 재생 시점의 기준 동작 특징점과 음악 재생 시점에서 파악되는 댄싱 동작 특징점간의 유사도를 산출하여 출력한다.
예를 들어, 도 5에 도시한 바와 같이, 오디오 제1프레임에 미리 저장된 기준 동작 특징점과, 음악의 오디오 제1프레임 순간에 댄싱하는 사람의 동작에서 파악된 댄싱 동작 특징점을 서로 비교한다. 마찬가지로, 오디오 제2프레임에 미리 저장된 기준 동작 특징점과, 음악의 오디오 제2프레임 순간에 댄싱하는 사람의 동작에서 파악된 댄싱 동작 특징점을 서로 비교하며, 오디오 제3프레임에 미리 저장된 기준 동작 특징점과, 음악의 오디오 제3프레임 순간에 댄싱하는 사람의 동작에서 파악된 댄싱 동작 특징점을 서로 비교한다.
나아가, 댄싱 동작 유사도 매칭부(150)는, 음악 내의 오디오 프레임별로 기준 동작 특징점과 댄싱 동작 특징점간의 오차 개수를 산출하여 출력할 수 있다. 따라서 음악 내의 오디오 프레임별로 오차 개수를 파악할 수 있어, 어느 오디오 프레임에서 가장 많이 안무가 틀리는지 손쉽게 직관적으로 알 수 있어, 댄싱하는 사람은 해당 오디오 프레임에서의 안무 연습을 집중적으로 할 수 있게 된다.
또한 댄싱 동작 유사도 매칭부(150)는, 음악의 전체 오디오 프레임에서의 기준 동작 특징점과 댄싱 동작 특징점간의 전체 오차 개수를 산출하여 출력할 수 있다. 따라서 음악의 전체 오디오 프레임에서의 전체 오차 개수를 제공받을 수 있어, 음악 전체에 걸쳐서 각 댄싱하는 사람들의 안무 실력을 평가할 수 있게 된다.
나아가 댄싱 동작 유사도 매칭부(150)는, 오차 개수를 등급으로 표시한 유사도로서 표시하여 출력할 수 있다. 예를 들어, 오차 개수가 적을수록 등급을 높게 결정하여 출력함으로써, 댄싱하는 사람의 등급만으로도 해당 댄싱하는 사람의 안무 실력을 손쉽게 파악할 수 있게 된다.
도 6은 본 발명의 실시예에 따른 음악 매칭 댄싱 동작 인식 과정(S620)들을 도시한 플로차트이다.
본 발명의 음악 매칭 댄싱 동작 인식 방법은, 음악 인식 과정(S610), 댄싱 동작 인식 과정(S620), 댄싱 동작 특징점 추출 과정(S630), 및 댄싱 동작 유사도 매칭 과정(S640)을 포함할 수 있다.
음악 인식 과정(S610)은, 재생되고 있는 음악을 인식하여, 인식되는 음악의 음악 재생 시점별로 오디오 프레임 인덱스를 파악하는 과정이다. 즉, 음악 특징점 데이터베이스인 핑거프린트 데이터베이스가 저장이 되면 쿼리(query)가 입력되었을 때, 쿼리에 대응하는 음악을 찾아주는 음악 인식 솔루션에 의해 재생되고 있는 음악을 인식하고, 현재의 재생되는 시점의 오디오 프레임 인덱스를 파악할 수 있게 된다.
댄싱 동작 인식 과정(S620)은, 음악에 맞추어 움직이는 사람의 댄싱 동작 이미지를 인식하는 과정이다. 키넥트와 같은 3D 카메라를 이용하여 사람이 가지는 뼈대 구조를 습득하여 이 뼈대구조의 움직임 패턴을 분석 후 대상자의 동작을 인식하게 된다.
댄싱 동작 특징점 추출 과정(S630)은, 인식되는 댄싱 동작 이미지에서 댄싱 동작 특징점을 추출하는 과정이다. 댄싱 동작 특징점 추출은, 댄싱 동작 이미지에서 골반을 기준으로 한 기준 선과 골반을 기준으로 8방위 체크한 후, 골반을 기준으로 각 골격 포인트가 8방에서 어느 좌표에 있는지를 나타내는 8방위 중 골격 위치값을 추출한다. 즉, 댄싱 동작 이미지에서 각 조인트 부분의 각도 체크값인 각 조인트 부분의 각도값을 추출하며, 댄싱 동작 이미지에서 골반을 기준으로 했을 때 팔 다리 좌우 골격 포인트의 위치 체크값을 제1위치 체크값으로 추출하며, 댄싱 동작 이미지에서 어깨, 골반 무릎을 기준으로 골격 포인트의 위치 체크값을 제2위치 체크값으로 추출할 수 있다.
댄싱 동작 유사도 매칭 과정(S640)은, 오디오 프레임 인덱스의 시점인 음악 재생 시점의 기준 동작 특징점과 상기 음악 재생 시점에서 파악되는 댄싱 동작 특징점 간의 유사도를 산출하여 출력하는 과정이다.
나아가, 댄싱 동작 유사도 매칭 과정(S640)은, 음악 내의 오디오 프레임별로 기준 동작 특징점과 댄싱 동작 특징점간의 오차 개수를 산출하여 출력할 수 있다. 따라서 음악 내의 오디오 프레임별로 오차 개수를 파악할 수 있어, 어느 오디오 프레임에서 가장 많이 안무가 틀리는지 손쉽게 직관적으로 알 수 있어, 댄싱하는 사람은 해당 오디오 프레임에서의 안무 연습을 집중적으로 할 수 있게 된다. 또한 댄싱 동작 유사도 매칭 과정(S640)은, 음악의 전체 오디오 프레임에서의 기준 동작 특징점과 댄싱 동작 특징점간의 전체 오차 개수를 산출하여 출력할 수 있다. 따라서 음악의 전체 오디오 프레임에서의 전체 오차 개수를 제공받을 수 있어, 음악 전체에 걸쳐서 각 댄싱하는 사람들의 안무 실력을 평가할 수 있게 된다.
상술한 본 발명의 설명에서의 실시예는 여러가지 실시가능한 예중에서 당업자의 이해를 돕기 위하여 가장 바람직한 예를 선정하여 제시한 것으로, 이 발명의 기술적 사상이 반드시 이 실시예만 의해서 한정되거나 제한되는 것은 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 다양한 변화와 변경 및 균등한 타의 실시예가 가능한 것이다.
110:기준 동작 특징점 저장부
120:음악 인식부
130:댄싱 동작 인식부
140:댄싱 동작 특징점 추출부
150:댄싱 동작 유사도 매칭부

Claims (6)

  1. 각 음악의 오디오 프레임 인덱스별로 기준 동작 특징점이 할당되어 등록되어 있는 기준 동작 특징점 저장부;
    재생되고 있는 음악을 인식하여 재생되고 있는 오디오 프레임 인덱스를 파악하는 음악 인식부;
    음악에 맞추어 움직이는 사람의 댄싱 동작 이미지를 인식하는 댄싱 동작 인식부;
    인식되는 댄싱 동작 이미지에서 댄싱 동작 특징점을 추출하는 댄싱 동작 특징점 추출부; 및
    상기 음악 인식부를 통해 파악되는 오디오 프레임 인덱스의 시점인 음악 재생 시점의 기준 동작 특징점과 상기 음악 재생 시점에서 파악되는 댄싱 동작 특징점간의 유사도를 산출하여 출력하는 댄싱 동작 유사도 매칭부;를 포함하며,
    상기 기준 동작 특징점과 댄싱 동작 특징점은 골반을 기준으로 한 각 골격의 8방위 중 골격 위치값; 각 조인트 부분의 각도값; 골반을 기준으로 했을 때 팔 다리 좌우 골격 포인트의 위치 체크값인 제1위치 체크값; 어깨, 골반 무릎을 기준으로 골격 포인트의 위치 체크값인 제2위치 체크값; 중에서 적어도 하나 이상 포함하며,
    상기 댄싱 동작 특징점 추출부는,
    상기 댄싱 동작 이미지에서 골반을 기준으로 한 기준 선과 골반을 기준으로 8방위 체크한 후, 골반을 기준으로 각 골격 포인트가 8방에서 어느 좌표에 있는지를 나타내는 8방위 중 골격 위치값을 추출하며,
    상기 댄싱 동작 이미지에서 각 조인트 부분의 각도 체크값인 각 조인트 부분의 각도값을 추출하며,
    상기 댄싱 동작 이미지에서 골반을 기준으로 했을 때 팔 다리 좌우 골격 포인트의 위치 체크값을 제1위치 체크값으로 추출하며,
    상기 댄싱 동작 이미지에서 어깨, 골반 무릎을 기준으로 골격 포인트의 위치 체크값을 제2위치 체크값으로 추출함을 특징으로 하는 음악 매칭 댄싱 동작 인식 장치.
  2. 삭제
  3. 청구항 1에 있어서,
    기준 동작 특징점 저장부에 저장되는 기준 동작 특징점은, 기준 동작으로 댄싱 동작을 수행할 때의 골격 위치값, 각 조인트 부분의 각도값, 위치 제1체크값, 및 제2위치 체크값이며,
    상기 기준 동작 특징점은, 뮤직 비디오를 통해 판독되는 안무가의 댄싱 동작의 파악하여, 뮤직 비디오의 음악내의 각 오디오 프레임 인덱스별로 산출되는 기준 동작 정보임을 특징으로 하는 음악 매칭 댄싱 동작 인식 장치.
  4. 청구항 1에 있어서, 상기 댄싱 동작 유사도 매칭부는,
    음악 내의 오디오 프레임별로 기준 동작 특징점과 댄싱 동작 특징점간의 오차 개수를 산출하여 출력하거나,
    또는 음악의 전체 오디오 프레임에서의 기준 동작 특징점과 댄싱 동작 특징점간의 전체 오차 개수를 산출하여 출력함을 특징으로 하는 음악 매칭 댄싱 동작 인식 장치.
  5. 청구항 4에 있어서, 상기 댄싱 동작 유사도 매칭부는,
    상기 오차 개수를 등급으로 표시한 유사도로서 표시하여 출력함을 특징으로 하는 음악 매칭 댄싱 동작 인식 장치.
  6. 청구항 1, 청구항 3, 청구항 4 또는 청구항 5 중 어느 한 항에 따른 음악 매칭 댄싱 동작 인식 장치를 이용한 음악 매칭 댄싱 동작 인식 방법으로서,
    재생되고 있는 음악을 인식하여, 인식되는 음악의 음악 재생 시점별로 오디오 프레임 인덱스를 파악하는 음악 인식 과정;
    음악에 맞추어 움직이는 사람의 댄싱 동작 이미지를 인식하는 댄싱 동작 인식 과정;
    인식되는 댄싱 동작 이미지에서 댄싱 동작 특징점을 추출하는 댄싱 동작 특징점 추출 과정; 및
    오디오 프레임 인덱스의 시점인 음악 재생 시점의 기준 동작 특징점과 상기 음악 재생 시점에서 파악되는 댄싱 동작 특징점 간의 유사도를 산출하여 출력하는 댄싱 동작 유사도 매칭 과정;
    을 포함하는 음악 매칭 댄싱 동작 인식 방법.

KR1020170124480A 2017-09-26 2017-09-26 음악 매칭 댄싱 동작 인식 장치 및 매칭 방법 KR101840014B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170124480A KR101840014B1 (ko) 2017-09-26 2017-09-26 음악 매칭 댄싱 동작 인식 장치 및 매칭 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170124480A KR101840014B1 (ko) 2017-09-26 2017-09-26 음악 매칭 댄싱 동작 인식 장치 및 매칭 방법

Publications (1)

Publication Number Publication Date
KR101840014B1 true KR101840014B1 (ko) 2018-03-19

Family

ID=61911168

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170124480A KR101840014B1 (ko) 2017-09-26 2017-09-26 음악 매칭 댄싱 동작 인식 장치 및 매칭 방법

Country Status (1)

Country Link
KR (1) KR101840014B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643442A (zh) * 2021-08-06 2021-11-12 福建凯米网络科技有限公司 一种虚拟对象舞蹈生成方法及计算机存储介质
KR20220150127A (ko) * 2021-05-03 2022-11-10 (주)릴리어스 동작 평가 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220150127A (ko) * 2021-05-03 2022-11-10 (주)릴리어스 동작 평가 방법
KR102501300B1 (ko) * 2021-05-03 2023-02-21 (주)릴리어스 동작 평가 방법
CN113643442A (zh) * 2021-08-06 2021-11-12 福建凯米网络科技有限公司 一种虚拟对象舞蹈生成方法及计算机存储介质

Similar Documents

Publication Publication Date Title
CN109635772B (zh) 一种听写内容的批改方法及电子设备
US11610394B2 (en) Neural network model training method and apparatus, living body detecting method and apparatus, device and storage medium
US6944315B1 (en) Method and apparatus for performing scale-invariant gesture recognition
Saini et al. A novel framework of continuous human-activity recognition using Kinect
CN111048113B (zh) 声音方向定位处理方法、装置、系统、计算机设备及存储介质
CN106250938A (zh) 目标跟踪方法、增强现实方法及其装置
CN111078083A (zh) 一种点读内容的确定方法及电子设备
WO2021130546A1 (en) Target object identification system, method and apparatus, electronic device and storage medium
Tian et al. Scene Text Detection in Video by Learning Locally and Globally.
CN110766025B (zh) 绘本识别方法、装置、系统及存储介质
CN103105924A (zh) 人机交互方法和装置
CN111695499B (zh) 一种琴键识别方法、装置、电子设备及存储介质
KR101840014B1 (ko) 음악 매칭 댄싱 동작 인식 장치 및 매칭 방법
CN111026949A (zh) 一种基于电子设备的搜题方法及系统
CN110941992B (zh) 微笑表情检测方法、装置、计算机设备及存储介质
Kolesnik et al. Recognition, analysis and performance with expressive conducting gestures
Wei et al. Performance monitoring and evaluation in dance teaching with mobile sensing technology
CN112995757B (zh) 视频剪裁方法及装置
Keceli et al. Recognition of basic human actions using depth information
CN110728172B (zh) 基于点云的人脸关键点检测方法、装置、系统及存储介质
US20030123734A1 (en) Methods and apparatus for object recognition
JP6393495B2 (ja) 画像処理装置および物体認識方法
CN110874554A (zh) 动作识别方法、终端设备、服务器、系统及存储介质
Lin et al. Violence detection in movies with auditory and visual cues
CN114694257A (zh) 多人实时三维动作识别评估方法、装置、设备及介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant