KR101936692B1 - 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치 및 방법 - Google Patents

댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치 및 방법 Download PDF

Info

Publication number
KR101936692B1
KR101936692B1 KR1020170173931A KR20170173931A KR101936692B1 KR 101936692 B1 KR101936692 B1 KR 101936692B1 KR 1020170173931 A KR1020170173931 A KR 1020170173931A KR 20170173931 A KR20170173931 A KR 20170173931A KR 101936692 B1 KR101936692 B1 KR 101936692B1
Authority
KR
South Korea
Prior art keywords
dance
user
motion
unit
movement
Prior art date
Application number
KR1020170173931A
Other languages
English (en)
Inventor
손강민
Original Assignee
주식회사 쏘그웨어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 쏘그웨어 filed Critical 주식회사 쏘그웨어
Priority to KR1020170173931A priority Critical patent/KR101936692B1/ko
Application granted granted Critical
Publication of KR101936692B1 publication Critical patent/KR101936692B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치 및 방법이 개시된다. 댄스 동영상으로부터 움직임을 인식하여 시간 변화에 따른 기준 움직임 정보를 생성하는 생성부(10); 사용자를 촬영해서 촬영된 동영상으로부터 움직임을 인식하여 비교 움직임 정보를 생성하는 촬영부(20); 및 기준 움직임 정보와 비교 움직임 정보 사이의 차이를 계산하여 일치 정도를 출력하는 출력부(30)를 포함한다. 따라서 댄스 동영상의 움직임과 사용자 움직임을 비교하여 일치 정도를 출력할 수 있고, 댄스 동영상의 움직임과 사용자 움직임 간에 차이가 초과하는 구간에 대해 사용자가 집중 훈련할 수 있도록 다음 댄스 동영상을 초과하는 구간에 상응하게 재생하는 장점이 있고, 댄스 동영상에 포함된 캐릭터를 다수 개 준비하여 댄스 동영상을 생성하고, 캐릭터 특징에 따라 음성, 표정 및 동작에 반영할 수 있고, 디지털 매체로부터 댄스 동영상을 읽어들여 이미지 분석하고 시간 변화에 따른 기준 움직임을 추론하는 효과가 있고, 사용자를 촬영한 동영상에서 사용자 움직임 영상을 추출하고 댄스 동영상에 부가할 수 있고, 사용자 몸 영역에 관절 링크를 적용해서 움직임을 인식하고, 뉴럴 네트워크를 적용해서 움직임을 인식할 수 있고, 다른 사용자의 일치 정도를 수집해서 댄스 난이도를 계산하고, 댄스 난이도를 반영해서 일치 정도를 점수화하여 출력할 수 있다.

Description

댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치 및 방법{DANCE TRAINING APPARATUS AND METHOD USING AUTOMATIC GENERATION OF DANCE KEY MOTION}
본 발명은 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치 및 방법에 관한 것으로, 더욱 상세하게는 댄스 집중 훈련을 제공하는 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치 및 방법에 관한 것이다.
댄스 게임은 코나미사의 댄스댄스레볼류션으로 시작하였고, 댄스 트레이닝 장치는 하드웨어 장치인 발판 위에 표시된 기호가 화면에 표시되며 사용자가 이를 연속적으로 따라하여 춤동작과 유사한 행동을 유발하였다. 그러나 이러한 댄스 동작은 실제 해당 음악의 댄스와는 상관없이 발판 기호를 옮겨가며 만들어지는 댄스 동작이다. 댄스 트레이닝 장치는 댄스 동작을 캐릭터에 모사하고, 사용자가 캐릭터의 댄스 동작을 따라 한다. 화살표 발판을 이용한 댄스 트레이닝 장치가 있다. 댄스 트레이닝 장치는 댄스 동작을 화살표 발판에 화살표 위치와 시간을 조정해서 모사한다. 사용자는 화살표 발판에 나타나는 화살표 점등 위치와 시간에 맞추어 댄스 동작을 따라 할 수 있다. 댄스 트레이닝 장치는 사용자가 화살표 점등 위치와 시간에 맞추어 화살표 발판을 디디는 일치 정도를 판단해서 일치 정도에 상응하는 점수를 표시한다. 댄스 트레이닝 장치는 사용자 점수와 다른 사용자 점수를 순위화하여 표시해서 사용자 경쟁심을 자극한다. 댄스 트레이닝 장치가 화살표 발판을 이용하므로 댄스 동작에서 상위 몸동작은 모사가 어려운 문제점이 있다.
전세계적으로 케이팝이 유행하고 있고, 아이돌 그룹의 춤을 그대로 따라하는 커버댄스 문화가 새로운 한류로 탄생하게 되었으며, 유튜브의 동영상 공유 사이트에 커버댄스 동영상이 공유되고 있다. 종래 커버 댄스를 배울 수 있는 방법은 동영상 공유 사이트에서 영상을 보고 따라하거나, 댄스 학원에서 교습을 받는 방법이 존재한다.
마이크로소프트의 게임 콘솔인 Xbox360에서는 모션 카메라 센서인 키넥트를 이용한 댄스 센트럴이 사용자의 움직임을 기반으로 댄스 동작을 따라할 수 있는 게임으로 제공되고 있으나, 실제 댄스의 강습보다는 게임 플레이를 중점적으로 제공하는 문제점이 있다.
등록번호: 10-0457201, 댄스 게임 장치
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 사용자가 댄스 동영상을 보고 댄스 동작을 집중 훈련할 수 있는 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치 및 방법을 제공하는데 있다.
또한, 사용자가 특정 구간에 대해 집중 훈련하는 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치 및 방법을 제공하는데 있다.
또한, 음성, 표정 및 동작에 캐릭터 특징이 반영되는 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치 및 방법을 제공하는데 있다.
또한, 디지털 매체에 저장된 댄스 동영상을 활용하는 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치 및 방법을 제공하는데 있다.
또한, 사용자 움직임을 댄스 동영상에 부가하는 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치 및 방법을 제공하는데 있다.
또한, 뉴럴 네트워크로 움직임을 인식하는 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치 및 방법을 제공하는데 있다.
또한, 댄스 난이도를 반영하여 일치 정도를 점수화하는 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치 및 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명은, 댄스 동영상으로부터 움직임을 인식하여 시간 변화에 따른 기준 움직임 정보를 생성하는 생성부(10); 사용자를 촬영해서 촬영된 동영상으로부터 움직임을 인식하여 비교 움직임 정보를 생성하는 촬영부(20); 및 기준 움직임 정보와 비교 움직임 정보 사이의 차이를 계산하여 일치 정도를 출력하는 출력부(30)를 포함한다.
또한, 출력부(30)는 기준 움직임 정보와 비교 움직임 정보 사이의 차이가 미리 설정된 값을 초과하는 구간에서 사용자가 집중 훈련할 수 있도록 다음 댄스 동영상을 초과하는 구간에 상응하게 재생하는 재생부(31)를 포함하고, 생성부(10)는 초과하는 구간에 상응하게 재생된 댄스 동영상으로부터 움직임을 인식하고, 촬영부(20)는 초과하는 구간에 상응하는 사용자 움직임을 인식하고, 출력부(30)는 초과하는 구간에 상응하는 기준 움직임 정보와 비교 움직임 정보의 차이를 계산하여 일치 정도를 출력한다.
또한, 생성부(10)는 댄스 동영상에 포함된 캐릭터를 다수 개 준비하여 댄스 동영상을 생성하고, 다수 개의 캐릭터는 다양한 성격을 가지며, 예를 들어 무뚝뚝한 캐릭터 또는 부드러운 캐릭터를 포함하고, 캐릭터 특징에 따라 음성, 표정 및 동작에 다양한 성격을 반영하고, 사용자 음성, 표정 및 동작을 인식하고 캐릭터 특징에 반영한다.
또한, 생성부(10)는 디지털 매체로부터 댄스 동영상을 읽어들이는 입력부(11); 및 입력부(11)에 의해 읽어들인 댄스 동영상을 이미지 분석하여 시간 변화에 따른 기준 움직임 정보를 추론하는 추론부(12)를 포함한다.
또한, 촬영부(20)는 사용자를 촬영하여 동영상을 출력하는 영상부(21); 동영상에서 사용자 움직임 영상을 추출하고 댄스 동영상에 부가하는 부가부(22); 및 사용자 움직임 영상으로부터 움직임을 인식하여 비교 움직임 정보를 추론하는 추론부(12)를 포함한다.
또한, 추론부(12)는 동영상의 영상 프레임에서 사용자 몸 영역을 추출하고, 추론된 사용자 몸 영역에 관절 링크를 적용해서 움직임을 인식하는 링크 추론부(121); 및 추론된 사용자 몸 영역에 뉴럴 네트워크를 적용해서 움직임을 인식하는 뉴럴 추론부(122)를 포함하고, 뉴럴 추론부(122)는 링크 추론부(121)에 의해 인식된 움직임을 정답셋으로 뉴럴 네트워크를 학습시킨다.
뉴럴 네트워크로는 Fully Convolutional Network(FCN), Deconvolutional Network, CNN(Convolutional Neural Network features) 등이 사용될 수 있으며, 이러한 추론부(12)를 통한 학습으로 사용자의 움직임에 인식률을 좀더 정확하게 할 수 있다.
또한, 출력부(30)는 다른 사용자의 일치 정도를 수집해서 댄스 난이도를 계산하고, 댄스 난이도를 반영해서 일치 정도를 점수화하여 출력한다.
또한, 댄스 동영상으로부터 움직임을 인식하여 시간 변화에 따른 기준 움직임 정보를 생성하는 제1생성단계; 사용자를 촬영해서 촬영된 동영상으로부터 움직임을 인식하여 비교 움직임 정보를 생성하는 제2생성단계; 및 기준 움직임 정보와 비교 움직임 정보 사이의 차이를 계산하여 일치 정도를 출력하는 출력단계를 포함한다.
또한, 출력단계는 기준 움직임 정보와 비교 움직임 정보 사이의 차이가 미리 설정된 값을 초과하는 구간에서 사용자가 집중 훈련할 수 있도록 다음 댄스 동영상을 초과하는 구간에 상응하게 재생하는 재생단계를 포함하고, 제1생성단계는 초과하는 구간에 상응하게 재생된 댄스 동영상으로부터 움직임을 인식하고, 제2생성단계는 초과하는 구간에 상응하는 사용자 움직임을 인식하고, 출력단계는 초과하는 구간에 상응하는 기준 움직임 정보와 비교 움직임 정보의 차이를 계산하여 일치 정도를 출력한다.
또한, 제1생성단계는 댄스 동영상에 포함된 캐릭터를 다수 개 준비하여 댄스 동영상을 생성하고, 다수 개의 캐릭터는 다양한 성격을 가지며, 예를 들어 무뚝뚝한 캐릭터 또는 부드러운 캐릭터를 포함하고, 캐릭터 특징에 따라 음성, 표정 및 동작에 다양한 성격을 반영한다.
상기와 같은 본 발명에 따른 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치 및 방법을 이용할 경우에는 댄스 동영상의 움직임과 사용자 움직임을 비교하여 일치 정도를 출력할 수 있다.
또한, 댄스 트레이닝 장치 및 방법을 통해 댄스에서 중요 동작을 의미하는 키 모션을 자동으로 추출하여 생성할 수 있는 장점이 있다.
또한, 댄스 동영상의 움직임과 사용자 움직임 간에 차이가 초과하는 구간에 대해 사용자가 집중 훈련할 수 있도록 다음 댄스 동영상을 초과하는 구간에 상응하게 재생하는 장점이 있다.
또한, 댄스 동영상에 포함된 캐릭터를 다수 개 준비하여 댄스 동영상을 생성하고, 캐릭터 특징에 따라 음성, 표정 및 동작에 반영할 수 있다.
또한, 댄스 초보자들은 댄스 트레이닝 장치 및 방법을 통해 자동 생성되는 중요 동작의 간격을 넓게 잡아 큰 동작을 먼저 익힐 수 있으며, 숙련이 된 경우 중요 동작의 간격을 짧게 잡아 세부 동작을 익힐 수 있도록 함으로써, 사용자에게 수준별 맞춤 학습이 가능한 효과가 있다.
또한, 디지털 매체로부터 댄스 동영상을 읽어들여 이미지 분석하고 시간 변화에 따른 기준 움직임을 추론하는 효과가 있다.
또한, 사용자를 촬영한 동영상에서 사용자 움직임 영상을 추출하고 댄스 동영상에 부가할 수 있다.
또한, 사용자 몸 영역에 관절 링크를 적용해서 움직임을 인식하고, 뉴럴 네트워크를 적용해서 움직임을 인식할 수 있다.
또한, 다른 사용자의 일치 정도를 수집해서 댄스 난이도를 계산하고, 댄스 난이도를 반영해서 일치 정도를 점수화하여 출력할 수 있다.
도 1은 댄스 트레이닝 장치의 구성을 보인 블록도이다.
도 2는 출력부(30) 구성을 보인 블록도이다.
도 3은 생성부(10) 구성을 보인 블록도이다.
도 4는 촬영부(20) 구성을 보인 블록도이다.
도 5는 추론부 구성을 보인 블록도이다.
도 6은 댄스 트레이닝 방법의 동작 흐름도이다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 댄스 트레이닝 장치의 구성을 보인 블록도이다.
생성부(10)는 댄스 동영상으로부터 움직임을 인식하여 시간 변화에 따른 기준 움직임 정보를 생성한다. 생성부(10)는 댄스 동영상에 포함된 캐릭터 동작을 인식하여 시간 변화에 따른 기준 움직임 정보를 생성한다. 사용자가 댄스 동영상을 보고 댄스 동작을 따라하는데 댄스 동영상의 움직임과 사용자 움직임을 비교해야 한다. 생성부(10)는 사용자 움직임에 비교 기준이 되는 댄스 동영상의 움직임을 생성한다.
즉, 생성부(10)에서는 3차원으로 이루어진 공간 데이터의 프레임간 동작을 비교하고, 기준으로 정한 값 이상의 차이가 발생하면 해당 프레임을 키모션 프레임으로 선정하여 추출함으로써 해당 프레임의 정보(시간 및 프레임번호)를 기록한다. 이때, 기준으로 정하는 값을 낮은 값으로 설정하면 더 많은 키모션 프레임이 추출되며, 댄스 동작의 난이도는 높아지게 되고, 기준으로 정하는 값을 큰 값으로 설정하면 추출되는 키모션 프레임의 수는 적어지고, 댄스 동작의 난이도는 낮아지게 된다.
결과적으로 댄스 초보자들은 기준으로 정하는 값을 큰 값으로 설정하여 중요 동작의 간격을 넓게 잡아 큰 동작을 먼저 익힐 수 있으며, 숙련이 된 경우 기준으로 정하는 값을 작은 값으로 변경함으로써 중요 동작의 간격을 짧게 잡아 세부 동작을 익힐 수 있도록 함으로써, 사용자에게 수준별 맞춤 학습이 가능한 효과가 있다.
생성부(10)에 의해 생성된 기준 움직임 정보는 출력부(30)에 전달되어 출력부(30)가 기준 움직임 정보와 사용자 움직임을 비교할 수 있게 한다.
생성부(10)가 기준 움직임 정보를 생성할 때 난이도에 따라 댄스 동영상 프레임에서 움직임을 추출하거나 추출하지 않을 수 있다. 예를 들어, 프레임0, 프레임1, 프레임2가 있을 때 난이도 하일 때는 프레임 0과 프레임 2에서 움직임을 추출하고, 난이도 상일 때는 프레임 0, 프레임 1 및 프레임 3에서 움직임을 추출할 수 있다. 여기서, 난이도 하에서 프레임 1에 대해 움직임이 추출되지 않음을 알 수 있다. 댄스 동작에서 난이도가 높을수록 움직임이 많아지는데 초심자가 모든 댄스 동작을 따라 하는 것은 불가능할 수 있다. 생성부(10)는 난이도에 따라 댄스 동영상 프레임에서 움직임을 추출하거나 추출하지 않는 것이다.
생성부(10)는 3D 캐릭터를 2D 평면에 투사한 후 2D 이미지로 생성한다. 그 다음 생성부(10)는 2D 이미지를 편집한다. 2D 이미지 편집시 저작 도구를 통한 편집 작업이 수행된다. 저작 도구는 2D 이미지의 연결 동작을 검토하고 불필요한 부분을 편집한다. 생성부(10)는 편집이 마친 2D 이미지에 대응하여 중요 동작의 시간과 프레임 번호를 저장하고, 저장된 정보를 통하여 실시간으로 중요 동작의 2D 이미지를 생성하여 화면에 표출한다.
촬영부(20)는 사용자를 촬영해서 촬영된 동영상으로부터 움직임을 인식하여 비교 움직임 정보를 생성한다. 촬영부(20)는 카메라로 사용자를 촬영하고 촬영된 동영상에 포함된 사용자 움직임을 인식해서 비교 움직임 정보를 생성한다. 생성부(10)에 의해 생성된 기준 움직임 정보에 비교 대상이 되는 사용자 움직임이 있어야 한다. 댄스 트레이닝 장치는 댄스 동영상의 기준 움직임 정보와 사용자 움직임을 비교해서 사용자의 댄스 훈련을 보조한다. 이러한 사용자의 댄스 훈련에 사용되는 사용자 움직임은 촬영부(20)에 의해 생성된다.
출력부(30)는 기준 움직임 정보와 비교 움직임 정보 사이의 차이를 계산하여 일치 정도를 출력한다. 출력부(30)는 생성부(10)의 기준 움직임 정보와 촬영부(20)의 비교 움직임 정보를 비교하고 두 정보 사이의 차이를 계산하여 일치 정도를 출력한다. 생성부(10)와 촬영부(20)에서 각각 댄스 동영상의 움직임과 사용자 움직임이 생성되면 출력부(30)에서 이 두 정보를 비교한다.
댄스 트레이닝 장치에서 사용자가 댄스를 선택하여 연습을 시작하게 되면 생성부(10)가 화면에 준비된 댄스의 2D 이미지를 표시하고, 사용자는 특정 위치를 기준점으로 2D 이미지의 동작이 현재 음악 타이밍의 댄스 동작임을 알 수 있게 된다.
사용자가 2D 이미지에 맞는 동작을 음악 타이밍에 맞추어 댄스 동작을 취하면 촬영부(20)가 3차원 깊이 카메라를 통하여 실시간으로 사용자 움직임의 3차원 공간 좌표값을 획득한다.
출력부(30)는 2D 이미지의 키모션과 사용자 움직임의 3차원 공간 좌표값에 대하여 부위별로 상대적인 위치, 각도의 값을 비교하여 차이값을 생성한다. 출력부(30)는 촬영부(20)의 3차원 깊이 카메라의 성능에 따라 비교 대상 부위를 세분화할 수 있다. 예를 들어, 출력부(30)가 머리, 팔, 허리, 다리 등의 각도를 비교할 수 있다. 이때, 3차원 깊이 카메라의 센서와 위치에 따라 정확도가 달라질 수 있다.
부위별로 추출된 일치율은 댄스 동작에서 사용자가 얼마나 잘 따라했는지를 판단할 수 있는 정보이며, 일치율이 높을수록 댄스 동작을 잘 따라한 것이고, 일치율이 낮다면 댄스 동작에서 따라하지 못한 부위까지 알 수 있다. 이러한 정보는 사용자가 계속 훈련해야 하는 구간을 판단하는 자료로 활용된다.
생성부(10)는 댄스 동영상에 포함된 캐릭터를 다수 개 준비하여 댄스 동영상을 생성하고, 다수 개의 캐릭터는 다양한 성격을 가지며, 예를 들어 무뚝뚝한 캐릭터 또는 부드러운 캐릭터를 포함하고, 캐릭터 특징에 따라 음성, 표정 및 동작에 반영하고, 사용자 음성, 표정 및 동작을 인식하고 캐릭터 특징에 반영한다.
출력부(30)는 다른 사용자의 일치 정도를 수집해서 댄스 난이도를 계산하고, 댄스 난이도를 반영해서 일치 정도를 점수화하여 출력한다. 댄스 트레이닝 장치가 사용자 개인의 댄스 훈련을 보조하는 장치이므로 사용자의 댄스 훈련을 독려할 수 있는 정보가 제공되면 더할 나위 없이 좋을 것이다. 출력부(30)가 다른 사용자의 일치 정도를 수집해서 댄스 난이도를 계산할 수 있다. 다수 사용자의 일치 정도를 수집해서 댄스 동영상이 가지는 댄스 난이도를 객관적으로 평가할 수 있다. 출력부(30)에서 계산된 댄스 난이도는 생성부(10)에 피드백되어 댄스 동영상 프레임에서 기준 움직임 정보를 추출하는 동작을 다르게 변화시킬 수 있다.
도 2는 출력부(30) 구성을 보인 블록도이다.
출력부(30)는 기준 움직임 정보와 비교 움직임 정보 사이의 차이가 미리 설정된 값을 초과하는 구간에서 사용자가 집중 훈련할 수 있도록 다음 댄스 동영상을 초과하는 구간에 상응하게 재생하는 재생부(31)를 포함한다.
생성부(10)는 초과하는 구간에 상응하게 재생된 댄스 동영상으로부터 움직임을 인식하고, 촬영부(20)는 초과하는 구간에 상응하는 사용자 움직임을 인식하고, 출력부(30)는 초과하는 구간에 상응하는 기준 움직임 정보와 비교 움직임 정보의 차이를 계산하여 일치 정도를 출력한다.
생성부(10)는 댄스 동작과 일치하지 않는 사용자 움직임이 있는 일치율이 낮은 구간과 동작을 반복적으로 제시하고, 사용자는 해당 구간을 반복 훈련하여 최종적으로 해당 댄스를 마스터할 수 있게 된다.
도 3은 생성부(10) 구성을 보인 블록도이다.
생성부(10)는 디지털 매체로부터 댄스 동영상을 읽어들이는 입력부(11); 및 입력부(11)에 의해 읽어들인 댄스 동영상을 이미지 분석하여 시간 변화에 따른 기준 움직임 정보를 추론하는 추론부(12)를 포함한다. 입력부(11)가 디지털 매체로부터 댄스 동영상을 읽어들일 수 있다. 추론부(12)는 입력부(11)에 의해 읽어들인 댄스 동영상에 대해 이미지 분석하여 기준 움직임 정보를 추론할 수 있다. 추론부(12)의 뉴럴 네트워크는 학습 이미지와 정답셋으로 학습되며, 댄스 동영상으로부터 기준 움직임 정보를 추론한다. 학습 이미지는 2D 이미지의 댄스 동작 이미지이고, 정답셋은 기준 움직임 정보일 수 있다.
도 4는 촬영부(20) 구성을 보인 블록도이다.
촬영부(20)는 사용자를 촬영하여 동영상을 출력하는 영상부(21); 동영상에서 사용자 움직임 영상을 추출하고 댄스 동영상에 부가하는 부가부(22); 및 사용자 움직임 영상으로부터 움직임을 인식하여 비교 움직임 정보를 추론하는 추론부(12)를 포함한다. 영상부(21)가 촬영한 사용자 동영상을 입력받은 부가부(22)는 동영상에서 사용자 움직임 영상을 추출하고 댄스 동영상에 부가할 수 있다. 추론부(12)는 사용자 움직임 영상으로부터 비교 움직임 정보를 추론할 수 있다. 추론부(12)가 비교 움직임 정보를 추론할 때 뉴럴 네트워크를 이용할 수 있다.
도 5는 추론부 구성을 보인 블록도이다.
추론부(12)는 동영상의 영상 프레임에서 사용자 몸 영역을 추출하고, 추론된 사용자 몸 영역에 관절 링크를 적용해서 움직임을 인식하는 링크 추론부(121); 및 추론된 사용자 몸 영역에 뉴럴 네트워크를 적용해서 움직임을 인식하는 뉴럴 추론부(122)를 포함하고, 뉴럴 추론부(122)는 링크 추론부(121)에 의해 인식된 움직임을 정답셋으로 뉴럴 네트워크를 학습시킨다.
도 6은 댄스 트레이닝 방법의 동작 흐름도이다.
댄스 트레이닝 방법에 대해 설명한다.
댄스 트레이닝 장치는 프로그램을 저장하는 프로그램 메모리, 데이터를 저장하는 데이터 메모리, 프로그램을 실행하는 프로세서를 포함한다.
프로그램 메모리에 저장된 데이터를 살펴보면, 프로그램 메모리는 댄스 동영상으로부터 움직임을 인식하여 시간 변화에 따른 기준 움직임 정보를 생성하는 제1생성단계(S61); 사용자를 촬영해서 촬영된 동영상으로부터 움직임을 인식하여 비교 움직임 정보를 생성하는 제2생성단계(S62); 및 기준 움직임 정보와 비교 움직임 정보 사이의 차이를 계산하여 일치 정도를 출력하는 출력단계(S63)를 포함한다.
댄스 트레이닝 장치는 프로세서에 의해 프로그램 메모리에 저장된 프로그램을 실행하며 이러한 동작을 설명하면 다음과 같다.
댄스 트레이닝 장치에서 실행되는 절차를 시계열 순으로 설명한다.
댄스 트레이닝 장치는 댄스 동영상으로부터 움직임을 인식하여 시간 변화에 따른 기준 움직임 정보를 생성한다. 댄스 트레이닝 장치는 기준 움직임 정보를 생성할 때 난이도에 따라 댄스 동영상 프레임에서 움직임을 추출하거나 추출하지 않을 수 있다. 예를 들어, 프레임0, 프레임1, 프레임2가 있을 때 난이도 하일 때는 프레임 0과 프레임 2에서 움직임을 추출하고, 난이도 상일 때는 프레임 0, 프레임 1 및 프레임 3에서 움직임을 추출할 수 있다.
댄스 트레이닝 장치는 3D 캐릭터를 2D 평면에 투사한 후 2D 이미지로 생성한다. 그 다음 댄스 트레이닝 장치는 2D 이미지를 편집한다. 2D 이미지 편집시 저작 도구를 통한 편집 작업이 수행된다. 저작 도구는 2D 이미지의 연결 동작을 검토하고 불필요한 부분을 편집한다. 댄스 트레이닝 장치는 편집이 마친 2D 이미지에 대응하여 중요 동작의 시간과 프레임 번호를 저장하고, 저장된 정보를 통하여 실시간으로 중요 동작의 2D 이미지를 생성하여 화면에 표출한다.
댄스 트레이닝 장치는 사용자를 촬영해서 촬영된 동영상으로부터 움직임을 인식하여 비교 움직임 정보를 생성한다. 댄스 트레이닝 장치는 카메라로 사용자를 촬영하고 촬영된 동영상에 포함된 사용자 움직임을 인식해서 비교 움직임 정보를 생성한다.
댄스 트레이닝 장치는 기준 움직임 정보와 비교 움직임 정보 사이의 차이를 계산하여 일치 정도를 출력한다. 댄스 트레이닝 장치는 기준 움직임 정보와 비교 움직임 정보를 비교하고 두 정보 사이의 차이를 계산하여 일치 정도를 출력한다. 각각 댄스 동영상의 움직임과 사용자 움직임이 생성되면 댄스 트레이닝 장치에서 이 두 정보를 비교한다.
댄스 트레이닝 장치에서 사용자가 댄스를 선택하여 연습을 시작하게 되면 생성부(10)가 화면에 준비된 댄스의 2D 이미지를 표시하고, 사용자는 특정 위치를 기준점으로 2D 이미지의 동작이 현재 음악 타이밍의 댄스 동작임을 알 수 있게 된다.
사용자가 2D 이미지에 맞는 동작을 음악 타이밍에 맞추어 댄스 동작을 취하면 댄스 트레이닝 장치가 3차원 깊이 카메라를 통하여 실시간으로 사용자 움직임의 3차원 공간 좌표값을 획득한다.
댄스 트레이닝 장치는 2D 이미지의 키모션과 사용자 움직임의 3차원 공간 좌표값에 대하여 부위별로 상대적인 위치, 각도의 값을 비교하여 차이값을 생성한다. 댄스 트레이닝 장치는 3차원 깊이 카메라의 성능에 따라 비교 대상 부위를 세분화할 수 있다. 예를 들어, 댄스 트레이닝 장치가 머리, 팔, 허리, 다리 등의 각도를 비교할 수 있다. 이때, 3차원 깊이 카메라의 센서와 위치에 따라 정확도가 달라질 수 있다.
댄스 트레이닝 장치는 기준 움직임 정보와 비교 움직임 정보 사이의 차이가 미리 설정된 값을 초과하는 구간에서 사용자가 집중 훈련할 수 있도록 다음 댄스 동영상을 초과하는 구간에 상응하게 재생한다. 댄스 트레이닝 장치는 댄스 동작과 일치하지 않는 사용자 움직임이 있는 일치율이 낮은 구간과 동작을 반복적으로 제시하고, 사용자는 해당 구간을 반복 훈련하여 최종적으로 해당 댄스를 마스터할 수 있게 된다.
댄스 트레이닝 장치는 초과하는 구간에 상응하게 재생된 댄스 동영상으로부터 움직임을 인식하고, 초과하는 구간에 상응하는 사용자 움직임을 인식하고, 초과하는 구간에 상응하는 기준 움직임 정보와 비교 움직임 정보의 차이를 계산하여 일치 정도를 출력한다.
댄스 트레이닝 장치는 댄스 동영상에 포함된 캐릭터를 다수 개 준비하여 댄스 동영상을 생성하고, 다수 개의 캐릭터는 다양한 성격을 가지며, 예를 들어 무뚝뚝한 캐릭터 또는 부드러운 캐릭터를 포함하고, 캐릭터 특징에 따라 음성, 표정 및 동작에 다양한 성격을 반영한다.
댄스 트레이닝 장치는 다른 사용자의 일치 정도를 수집해서 사용자의 일치 정도와 비교 출력할 수 있다. 사용자와 다른 사용자가 같은 댄스 동영상을 보고 훈련할 때 댄스 트레이닝 장치는 다수 사용자의 일치 정도를 시간에 따라 변화하는 그래프로 나타낼 수 있다. 이렇게 함으로써 사용자는 그래프를 보고 다수 사용자의 일치 정도를 한 눈에 파악할 수 있다.
댄스 트레이닝 장치는 모션인식 카메라를 통하여 사용자의 움직임을 인식하고, 증강현실 기술을 통하여 캐릭터에 사용자 영상을 부가하여 실시간으로 사용자의 움직임 영상에 시청각적 피드백을 제공한다. 사용자가 증강현실화되어 캐릭터와 동시에 보여지고, 자신의 댄스 동작을 실시간으로 확인하면서 캐릭터의 동작과 비교하여 동작의 완성도를 높일 수 있다. 또한, 댄스 트레이닝 장치는 댄스 동작 중 주요 포인트가 되는 부분에 캐릭터의 관절 또는 사용자의 관절에 핑크색 부분을 표시해서 캐릭터의 댄스 동작과 쉽게 비교하여 댄스 훈련을 받을 수 있게 한다. 그리고 트레이닝 메뉴에 진입하면 댄스 트레이닝 장치는 사용자가 댄스 동작을 집중 훈련할 수 있도록 한다.
댄스 트레이닝 장치는 사용자 움직임에 반응하여 메뉴 탐색을 처리한다. 댄스 트레이닝 장치는 사용자 움직임을 인식하고 설정된 움직임과 인식된 움직임을 비교하여 일치하는 움직임에 대응하는 메뉴로 탐색을 처리한다. 사용자가 리모컨으로 메뉴 조작을 하지 않고, 특정 움직임으로 메뉴 탐색을 할 수 있으므로 댄스 훈련을 하면서 원하는 메뉴를 선택할 수 있다. 사용자가 메뉴 조작에 대응한 움직임을 설정해서 메뉴 탐색을 조작하도록 할 수 있다. 댄스 트레이닝 장치는 사용자로부터 움직임을 입력받아 메뉴 조작에 대응한 움직임으로 설정하고, 메뉴 탐색을 처리한다. 실시예로, 사용자가 메뉴를 터치하면 댄스 트레이닝 장치가 터치 위치를 화면에 매핑해서 선택된 메뉴를 실행할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 생성부 11: 입력부
12: 추론부 20: 촬영부
21: 영상부 22: 부가부
30: 출력부 31: 재생부

Claims (10)

  1. 댄스 동영상으로부터 움직임을 인식하여 시간 변화에 따른 기준 움직임 정보를 생성하는 생성부(10);
    사용자를 촬영해서 촬영된 동영상으로부터 움직임을 인식하여 비교 움직임 정보를 생성하는 촬영부(20); 및
    상기 기준 움직임 정보와 상기 비교 움직임 정보 사이의 차이를 계산하여 일치 정도를 출력하는 출력부(30)를 포함하고,
    상기 생성부(10)는 디지털 매체로부터 댄스 동영상을 읽어들이는 입력부(11); 및
    상기 입력부(11)에 의해 읽어들인 댄스 동영상을 이미지 분석하여 시간 변화에 따른 기준 움직임 정보를 추론하는 추론부(12)를 포함하고,
    상기 추론부(12)는 동영상의 영상 프레임에서 사용자 몸 영역을 추출하고, 추론된 사용자 몸 영역에 관절 링크를 적용해서 움직임을 인식하는 링크 추론부(121); 및
    추론된 사용자 몸 영역에 뉴럴 네트워크를 적용해서 움직임을 인식하는 뉴럴 추론부(122)를 포함하고,
    상기 뉴럴 추론부(122)는 상기 링크 추론부(121)에 의해 인식된 움직임을 정답셋으로 상기 뉴럴 네트워크를 학습시키는 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치.
  2. 제1항에 있어서,
    상기 출력부(30)는 상기 기준 움직임 정보와 상기 비교 움직임 정보 사이의 차이가 미리 설정된 값을 초과하는 구간에서 사용자가 집중 훈련할 수 있도록 다음 댄스 동영상을 상기 초과하는 구간에 상응하게 재생하는 재생부(31)를 포함하고,
    상기 생성부(10)는 상기 초과하는 구간에 상응하게 재생된 댄스 동영상으로부터 움직임을 인식하고, 상기 촬영부(20)는 상기 초과하는 구간에 상응하는 사용자 움직임을 인식하고, 상기 출력부(30)는 상기 초과하는 구간에 상응하는 기준 움직임 정보와 비교 움직임 정보의 차이를 계산하여 일치 정도를 출력하는 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치
  3. 제1항에 있어서,
    상기 생성부(10)는 댄스 동영상에 포함된 캐릭터를 다수 개 준비하여 댄스 동영상을 생성하고, 다수 개의 캐릭터는 다양한 성격을 가지며, 캐릭터 특징에 따라 음성, 표정 및 동작에 다양한 성격을 반영하고, 사용자 음성, 표정 및 동작을 인식하고 캐릭터 특징에 반영하는 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치.
  4. 삭제
  5. 제1항에 있어서,
    상기 촬영부(20)는 사용자를 촬영하여 동영상을 출력하는 영상부(21);
    상기 동영상에서 사용자 움직임 영상을 추출하고 댄스 동영상에 부가하는 부가부(22); 및
    상기 사용자 움직임 영상으로부터 움직임을 인식하여 비교 움직임 정보를 추론하는 추론부(12)를 포함하는 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치.
  6. 삭제
  7. 제1항에 있어서,
    상기 출력부(30)는 다른 사용자의 일치 정도를 수집해서 댄스 난이도를 계산하고, 상기 댄스 난이도를 반영해서 일치 정도를 점수화하여 출력하는 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치.
  8. 댄스 동영상으로부터 움직임을 인식하여 시간 변화에 따른 기준 움직임 정보를 생성하는 제1생성단계(S61);
    사용자를 촬영해서 촬영된 동영상으로부터 움직임을 인식하여 비교 움직임 정보를 생성하는 제2생성단계(S62); 및
    상기 기준 움직임 정보와 상기 비교 움직임 정보 사이의 차이를 계산하여 일치 정도를 출력하는 출력단계(S63)를 포함하고,
    상기 제1생성단계(S61)에 의해 읽어들인 댄스 동영상을 이미지 분석하여 시간 변화에 따른 기준 움직임 정보를 추론하는 단계를 더 포함하고,
    상기 추론하는 단계는 동영상의 영상 프레임에서 사용자 몸 영역을 추출하고, 추론된 사용자 몸 영역에 관절 링크를 적용해서 움직임을 인식하는 링크 추론단계; 및
    추론된 사용자 몸 영역에 뉴럴 네트워크를 적용해서 움직임을 인식하는 뉴럴 추론단계를 포함하고,
    상기 뉴럴 추론단계는 상기 링크 추론단계에 의해 인식된 움직임을 정답셋으로 상기 뉴럴 네트워크를 학습시키는 댄스 키모션 자동생성을 이용한 댄스 트레이닝 방법.
  9. 제8항에 있어서,
    상기 출력단계는 상기 기준 움직임 정보와 상기 비교 움직임 정보 사이의 차이가 미리 설정된 값을 초과하는 구간에서 사용자가 집중 훈련할 수 있도록 다음 댄스 동영상을 상기 초과하는 구간에 상응하게 재생하는 재생단계를 포함하고,
    상기 제1생성단계는 상기 초과하는 구간에 상응하게 재생된 댄스 동영상으로부터 움직임을 인식하고, 상기 제2생성단계는 상기 초과하는 구간에 상응하는 사용자 움직임을 인식하고, 상기 출력단계는 상기 초과하는 구간에 상응하는 기준 움직임 정보와 비교 움직임 정보의 차이를 계산하여 일치 정도를 출력하는 댄스 키모션 자동생성을 이용한 댄스 트레이닝 방법
  10. 제8항에 있어서,
    상기 제1생성단계는 댄스 동영상에 포함된 캐릭터를 다수 개 준비하여 댄스 동영상을 생성하고, 다수 개의 캐릭터는 다양한 성격을 가지며, 캐릭터 특징에 따라 음성, 표정 및 동작에 다양한 성격을 반영하는 댄스 키모션 자동생성을 이용한 댄스 트레이닝 방법.
KR1020170173931A 2017-12-18 2017-12-18 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치 및 방법 KR101936692B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170173931A KR101936692B1 (ko) 2017-12-18 2017-12-18 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170173931A KR101936692B1 (ko) 2017-12-18 2017-12-18 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101936692B1 true KR101936692B1 (ko) 2019-01-10

Family

ID=65020853

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170173931A KR101936692B1 (ko) 2017-12-18 2017-12-18 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101936692B1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102196203B1 (ko) * 2020-04-14 2020-12-29 임희정 3d 애니메이션 복싱 운동정보 제공방법 및 장치
KR102196275B1 (ko) 2020-06-18 2020-12-29 (주)창의발레소예 창의력 향상을 위한 발레 관련 컨텐츠 프로그램과 제공 방법 및 장치
KR102196094B1 (ko) * 2020-12-07 2020-12-29 주식회사 호아스쿨 영어 예체능 수업이 가능한 전문 인력 및 수요자를 효율적으로 매칭하는 방법
KR20200144991A (ko) * 2019-06-20 2020-12-30 코드비전 주식회사 운동 보조 장치 및 운동 보조 방법
KR102196602B1 (ko) * 2020-07-30 2020-12-30 주식회사 호아스쿨 영어 예체능 강사를 위한 인력 관리 방법 및 장치
KR102201050B1 (ko) 2019-07-04 2021-01-11 주식회사 펀웨이브 댄스모션 분석 평가장치 및 방법
WO2021100904A1 (ko) * 2019-11-20 2021-05-27 (주)데브언리밋 안무 연습 보조 방법 및 장치
KR20210066482A (ko) * 2019-11-28 2021-06-07 디노플러스 (주) 합성곱 신경망 기반 한류 모션 교육시스템
KR20220022582A (ko) * 2020-08-19 2022-02-28 엘아이지넥스원 주식회사 훈련 동작을 인식하는 가상훈련 장치 및 가상훈련 시스템
WO2022239988A1 (ko) * 2021-05-13 2022-11-17 주식회사 싸이드워크엔터테인먼트 댄스 매칭 방법 및 시스템
KR20230035770A (ko) * 2021-09-06 2023-03-14 주식회사 이엠피이모션캡쳐 인공지능 댄스 학습 제공 시스템 및 방법
US12125280B2 (en) 2021-05-13 2024-10-22 Sidewalk Entertainment Co., Ltd Dance matching method and system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101517275B1 (ko) * 2013-05-03 2015-05-04 주식회사 엘지씨엔에스 멀티미디어 서비스 제공 방법 및 시스템
KR101626065B1 (ko) * 2009-10-13 2016-05-31 삼성전자주식회사 마커리스 모션 캡쳐링 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101626065B1 (ko) * 2009-10-13 2016-05-31 삼성전자주식회사 마커리스 모션 캡쳐링 장치 및 방법
KR101517275B1 (ko) * 2013-05-03 2015-05-04 주식회사 엘지씨엔에스 멀티미디어 서비스 제공 방법 및 시스템

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102341985B1 (ko) * 2019-06-20 2021-12-22 코드비전 주식회사 운동 보조 장치 및 운동 보조 방법
US11521733B2 (en) 2019-06-20 2022-12-06 Codevision Inc. Exercise assistant device and exercise assistant method
KR20200144991A (ko) * 2019-06-20 2020-12-30 코드비전 주식회사 운동 보조 장치 및 운동 보조 방법
KR102201050B1 (ko) 2019-07-04 2021-01-11 주식회사 펀웨이브 댄스모션 분석 평가장치 및 방법
WO2021100904A1 (ko) * 2019-11-20 2021-05-27 (주)데브언리밋 안무 연습 보조 방법 및 장치
KR20210066482A (ko) * 2019-11-28 2021-06-07 디노플러스 (주) 합성곱 신경망 기반 한류 모션 교육시스템
KR102196203B1 (ko) * 2020-04-14 2020-12-29 임희정 3d 애니메이션 복싱 운동정보 제공방법 및 장치
KR102196275B1 (ko) 2020-06-18 2020-12-29 (주)창의발레소예 창의력 향상을 위한 발레 관련 컨텐츠 프로그램과 제공 방법 및 장치
KR102196602B1 (ko) * 2020-07-30 2020-12-30 주식회사 호아스쿨 영어 예체능 강사를 위한 인력 관리 방법 및 장치
KR20220022582A (ko) * 2020-08-19 2022-02-28 엘아이지넥스원 주식회사 훈련 동작을 인식하는 가상훈련 장치 및 가상훈련 시스템
KR102421092B1 (ko) * 2020-08-19 2022-07-14 엘아이지넥스원 주식회사 훈련 동작을 인식하는 가상훈련 장치 및 가상훈련 시스템
KR102196094B1 (ko) * 2020-12-07 2020-12-29 주식회사 호아스쿨 영어 예체능 수업이 가능한 전문 인력 및 수요자를 효율적으로 매칭하는 방법
WO2022239988A1 (ko) * 2021-05-13 2022-11-17 주식회사 싸이드워크엔터테인먼트 댄스 매칭 방법 및 시스템
KR20220154587A (ko) * 2021-05-13 2022-11-22 주식회사 싸이드워크엔터테인먼트 댄스 매칭 방법 및 시스템
KR102670736B1 (ko) 2021-05-13 2024-05-30 주식회사 싸이드워크엔터테인먼트 댄스 매칭 방법 및 시스템
US12125280B2 (en) 2021-05-13 2024-10-22 Sidewalk Entertainment Co., Ltd Dance matching method and system
KR20230035770A (ko) * 2021-09-06 2023-03-14 주식회사 이엠피이모션캡쳐 인공지능 댄스 학습 제공 시스템 및 방법
KR102663286B1 (ko) * 2021-09-06 2024-05-03 주식회사 이엠피 인공지능 댄스 학습 제공 시스템 및 방법

Similar Documents

Publication Publication Date Title
KR101936692B1 (ko) 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치 및 방법
KR101711488B1 (ko) 동작 기반 인터랙티브 서비스 방법 및 시스템
US7780450B2 (en) Video instructional system and method for teaching motor skills
US6881067B2 (en) Video instructional system and method for teaching motor skills
TWI377055B (en) Interactive rehabilitation method and system for upper and lower extremities
JP6137935B2 (ja) 身体動作評価装置、カラオケシステム、及びプログラム
US20210104169A1 (en) System and method for ai based skill learning
US20110293144A1 (en) Method and System for Rendering an Entertainment Animation
CN103258338A (zh) 利用真实数据来驱动仿真的虚拟环境的方法和系统
CN112528768B (zh) 视频中的动作处理方法、装置、电子设备及存储介质
Essid et al. A multi-modal dance corpus for research into interaction between humans in virtual environments
US20220277506A1 (en) Motion-based online interactive platform
CN113792646B (zh) 舞蹈动作辅助生成方法、装置及跳舞设备
JP2014023745A (ja) ダンス教習装置
Hamanishi et al. Poseasquery: Full-body interface for repeated observation of a person in a video with ambiguous pose indexes and performed poses
Grontman et al. Analysis of sword fencing training evaluation possibilities using Motion Capture techniques
KR102324579B1 (ko) 댄스 매칭 방법 및 시스템
KR102495213B1 (ko) 증강 현실 기반의 스크린 스포츠 체험 장치 및 방법
KR102027877B1 (ko) 댄스 싱크로 분석 및 랭킹 결정 시스템
Matzek et al. VRmonic: A VR Piano Playing Form Trainer
CN114356100B (zh) 健身动作指导方法、装置、电子设备及存储介质
Gammon et al. Limb-O: real-time comparison and visualization of lower limb motions
KR20040084173A (ko) 실시간 동작비교 방법 및 시스템
KR102430914B1 (ko) 가상현실 및 증강현실 컨텐츠 제공 시스템, 방법 그리고 컴퓨터 프로그램
Li et al. Computer-aided teaching software of three-dimensional model of sports movement based on kinect depth data

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant