KR101403599B1 - 로봇의 춤동작 표현 자동 생성 방법 - Google Patents

로봇의 춤동작 표현 자동 생성 방법 Download PDF

Info

Publication number
KR101403599B1
KR101403599B1 KR1020130029398A KR20130029398A KR101403599B1 KR 101403599 B1 KR101403599 B1 KR 101403599B1 KR 1020130029398 A KR1020130029398 A KR 1020130029398A KR 20130029398 A KR20130029398 A KR 20130029398A KR 101403599 B1 KR101403599 B1 KR 101403599B1
Authority
KR
South Korea
Prior art keywords
information
music
dance
motion
robot
Prior art date
Application number
KR1020130029398A
Other languages
English (en)
Inventor
권동수
서주환
양정연
김재우
유창동
김종민
박현신
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020130029398A priority Critical patent/KR101403599B1/ko
Application granted granted Critical
Publication of KR101403599B1 publication Critical patent/KR101403599B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/003Manipulators for entertainment
    • B25J11/0035Dancing, executing a choreography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/003Controls for manipulators by means of an audio-responsive input
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)
  • Toys (AREA)

Abstract

본 발명의 일 실시예는 로봇의 춤동작 표현 생성방법에 있어서, 음악신호로부터 제1음악정보를 추출하는 정보추출단계 상기 제1음악정보를 가지고 춤동작을 표현하기 위하여 제2음악정보를 예측하는 정보예측단계 및 모션 데이터베이스로부터 상기 제2음악정보에 적합한 춤동작관련정보를 선택하는 정보선택단계를 포함하는 로봇의 춤동작 표현 생성방법을 제공한다.

Description

로봇의 춤동작 표현 자동 생성 방법{Motion Generation Method of a Robot Dancing with Music}
본 발명은 로봇의 춤동작 표현 생성 방법에 관한 것이다. 더욱 상세하게는 실시간 음악 입력에 기반하여 로봇의 춤동작 표현을 자동으로 생성하는 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
최근 몇 년 동안 로봇의 춤동작 표현을 자동 생성시키는 방법에 대하여 많은 연구가 진행되어 왔다.
종래 기술에 의한 로봇의 춤동작 표현을 생성하는 방법은 특정 음악에 대응하는 로봇의 춤동작을 모두 프로그래밍하여 해당 음악이 나오는 경우 그에 맞추어 로봇이 춤동작을 표현하는 방식을 취하였다. 그러나 이러한 방식은 작업자의 작업량이 많으며, 음악이 바뀌게 되면 대응을 할 수 없는 문제가 있다.
또한, 로봇이 음악을 입력받아 실시간으로 춤동작을 표현하더라도 음악을 입력받고 그 음악에 적합한 춤동작을 선택하여 출력시키려면 시간이 걸리게 되어 결국 과거의 음악에 따라 춤동작을 표현하는 결과가 되는 문제가 있다.
춤은 크게 두 가지 종류로 나눌 수 있다. 하나는 음악에 대한 주관적인 해석이 이루어지고 이 해석에 기반하여 음악의 특징을 추출한 뒤에 이 특징에 대응하는 움직임을 표현하는 경우이다. 예를 들어 음악을 슬픈 느낌을 주는 음악으로 해석하고 슬픈 느낌을 살려 춤을 추는 경우이다. 이 경우는 춤에 대한 전문적인 지식이 필요하다.
다른 하나는 음악에 대한 해석보다 비트나 리듬이 더욱 중시되는 종류의 춤이다. 이 춤은 간단한 움직임을 비트에 맞추어 표현하게 되므로 춤에 대한 전문적인 지식이 필요 없다. 이 경우는 로봇에 적용 가능할 수 있다.
본 발명의 일 실시예는 실시간으로 입력되는 음악의 단위구간에 대하여 음악정보를 추출하고 이 정보를 기반으로 춤동작이 표현되는 시간구간에 대응하는 음악정보를 예측하여 그 예측된 음악정보에 기초하여 춤동작을 표현할 수 있는 새로운 구조를 갖는 춤동작 표현 생성방법을 제공한다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 로봇의 춤동작 표현 생성방법은 음악신호로부터 제1음악정보를 추출하는 정보추출단계를 포함할 수 있다.
또한, 상기 제1음악정보를 가지고 춤동작을 표현하기 위하여 제2음악정보를 예측하는 정보예측단계를 포함할 수 있다.
또한, 모션 데이터베이스로부터 상기 제2음악정보에 적합한 춤동작관련정보를 선택하는 정보선택단계를 포함할 수 있다.
여기서 상기 음악신호는 상기 춤동작이 표현되는 시점으로부터 소급하는 소정의 시간 동안의 음악신호일 수 있다.
또한, 상기 제1음악정보의 추출은 소정의 시간 간격을 두고 이루어질 수 있다.
또한, 상기 춤동작은 다수의 포스춰(Posture)들을 포함하고, 상기 다수의 포스춰들은 제1포스춰와 상기 제1포스춰와 연결되는 제2포스춰를 포함하며, 상기 제2음악정보는 상기 제1포스춰와 상기 제2포스춰 사이의 시간 간격을 결정할 수 있다.
실시예에 따라서는 상기 제2음악정보를 예측하기 위하여 칼만 필터(Kalman filter)를 사용할 수 있다.
실시예에 따라서는 상기 제1음악정보를 추출하기 위하여 LPF(Low pass filter)를 사용할 수 있다.
여기서 제1 및 제2음악정보는 음악 비트 정보를 포함할 수 있다.
상기 정보추출단계는 상기 음악신호로부터 음악크기정보를 추출하는 단계를 추가로 포함하며, 상기 정보선택단계는 상기 모션 데이터베이스로부터 상기 제2음악정보 또는 상기 음악크기정보에 적합한 춤동작관련정보를 선택할 수 있다.
여기서 상기 음악크기정보는 음량정보를 포함할 수 있다.
상기 음악크기정보는 상기 로봇에 포함된 관절의 회전량을 결정할 수 있다.
실시예에 따라서는 상기 회전량은 회전각을 포함할 수 있다.
본 발명의 또 다른 실시예에 의한 로봇의 춤동작 표현 생성방법은 실시간으로 입력되는 음악의 단위구간으로부터 제1음악정보를 추출하는 단계를 포함할 수 있다.
또한, 상기 제1음악정보로부터 제2음악정보를 예측하는 단계를 포함할 수 있다.
또한, 모션 데이터베이스로부터 상기 제2음악정보와 상기 음악의 음량정보에 적합한 춤동작을 선택하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시예에 의한 로봇의 춤동작 표현 생성장치는 음악신호를 입력받아 제1음악정보를 출력하는 정보인식부를 포함할 수 있다.
또한, 상기 제1음악정보를 입력받아 제2음악정보를 출력하는 정보예측부를 포함할 수 있다.
또한, 모션 데이터베이스로부터 상기 제2음악정보에 적합한 춤동작관련정보를 선택하여 출력하는 제어부를 포함할 수 있다.
본 실시예에 의하면 음악이 춤동작 표현 도중에 바뀌더라도 로봇이 실시간으로 바뀐 음악에 맞는 춤동작으로 동작을 변경하여 표현할 수 있는 효과가 있다.
또한, 로봇에 실시간으로 입력되는 모든 음악에 대한 춤동작을 프로그래밍할 필요가 없으므로 로봇의 춤동작 표현을 위해 작업자가 과도한 작업을 할 필요가 없는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 로봇의 춤동작 표현 생성방법을 나타내는 순서도이다.
도 2는 모션 데이터베이스에 저장되는 춤동작관련정보를 나타낸다.
이하, 본 발명의 일 실시예를 예시적인 도면을 통해 상세하게 설명한다. 그러나 이는 본 발명의 범위를 한정하려고 의도된 것은 아니다.
각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 로봇의 춤동작 표현 생성방법을 나타내는 순서도이다.
도 2는 모션 데이터베이스에 저장되는 춤동작관련정보를 나타낸다.
도 1 및 도 2를 참고하여 설명한다.
본 발명의 일 실시예에 따른 로봇의 춤동작 표현 생성방법은 음악신호로부터 제1음악정보를 추출하는 정보추출단계(S100)를 포함할 수 있다. 또한, 상기 제1음악정보를 가지고 춤동작을 표현하기 위하여 제2음악정보를 예측하는 정보예측단계(S110)를 포함할 수 있다. 그리고 모션 데이터베이스로부터 상기 제2음악정보에 적합한 춤동작관련정보를 선택하는 정보선택단계(S120)를 포함할 수 있다.
먼저 정보추출단계(S100)를 설명한다.
본 실시예에서 로봇의 일 실시예는 스스로 보유한 능력에 의해 주어진 일을 자동으로 처리하거나 작동하는 기계를 말할 수 있다. 로봇은 사람과 유사한 모습과 기능을 가질 수 있으나 반드시 그렇지는 않으며, 주어진 일을 처리하기 위해 작동할 수 있는 기계면 어떠한 것이라도 무방하다.
춤동작의 일 실시예는 음악과 연관된 동작을 의미할 수 있다. 여기서 음악은 박자, 가락, 음성 따위를 다양한 형식으로 조화하고 결합하여, 사람의 목소리나 악기를 통하여 사상 또는 감정을 나타내는 예술일 수 있다. 본 실시예와 관련하여 음악신호는 다양한 음악에서 추출할 수 있는 정보를 담고 있는 신호를 의미할 수 있다. 이러한 정보의 일례로 음악 비트 정보 또는 음량 정보 등이 있을 수 있다.
본 발명의 일 실시예인 춤동작 표현 생성방법은 로봇이 실시간으로 음악신호를 입력받아 그 음악신호에 맞추어 춤동작을 표현하는 방법이다.
먼저 본 실시예에 의한 방법은 로봇이 음악신호를 입력받는 단계를 포함할 수 있다. 로봇이 음악신호를 입력받아 실시간으로 음악신호에 맞추어 춤동작을 표현하기 위해서는 로봇의 춤동작이 표현되는 시점 이전의 시간 구간의 음악신호를 입력받아 여기에 대응하는 음악정보를 추출하고 춤동작이 표현되는 시간 구간의 음악정보를 예측해서 그 예측된 음악정보를 이용하여 춤동작을 표현하게 된다. 여기서 춤동작이 표현되는 시점 이전의 시간 구간의 음악신호에서 추출된 음악정보를 제1음악정보라고 정의한다. 또한, 제1음악정보로부터 예측된 음악정보를 제2음악정보라고 정의한다.
실시예에 따라서는 음악신호는 로봇의 춤동작이 표현되는 시점으로부터 소급하는 소정의 시간 동안의 음악신호일 수 있다. 상기 소정의 시간이 6초인 경우를 예를 들어 설명한다. 예컨대 춤동작 표현이 시작되는 시점이 6초라면 0초로부터 6초까지의 시간 구간의 음악신호로부터 제1음악정보를 추출할 수 있고, 7초라면 1초부터 7초까지의 시간 구간의 음악신호로부터 제1음악정보를 추출할 수 있다. 다시 말하면 로봇의 춤동작이 표현되는 매 시점마다 당해 시점 이전인 최근 6초 동안의 음악정보를 활용하는 것이다.
실시예에 따라서는 제1음악정보의 추출은 소정의 시간 간격을 두고 이루어질 수 있다. 실시예에 따라서는 상기 소정의 시간 간격은 2초일 수 있다. 예컨대 춤동작 표현이 시작되는 시점이 6초라면 0초로부터 6초까지의 시간 구간의 음악신호로부터 제1음악정보를 추출하고, 다시 2초가 지나서 2초부터 8초까지의 시간 구간의 음악신호로부터 다시 제1음악정보를 추출하며, 다시 2초가 지나서 4초부터 10초까지의 시간 구간의 음악신호로부터 다시 제1음악정보를 추출하는 것이다. 그리하여 로봇의 춤동작의 표현은 6초에서 8초까지의 제1춤동작 표현은 0초로부터 6초까지의 음악신호로부터 추출된 제1음악정보를 이용하고, 8초에서 10초까지의 제2춤동작 표현은 2초로부터 8초까지의 음악신호로부터 추출된 제1음악정보를 이용하며, 10초에서 12초까지의 제3춤동작 표현은 4초로부터 10까지의 음악신호로부터 추출된 제1음악정보를 이용하는 것이다.
상기 소정의 시간 간격은 작을수록 춤동작 표현이 음악신호를 추종함에 있어서의 정확성이 높아진다. 다만, 컴퓨터의 성능 한계로 인한 음악정보 추출에 소요되는 시간 등을 고려할 필요가 있으므로 정보를 추출함에 있어서 소정의 시간 간격을 두는 것이다.
제1음악신호는 실시예에 따라서는 음악 비트 정보를 포함할 수 있다. 음악 비트 정보는 비트 주기에 대한 정보를 포함할 수 있다. 비트 주기에 대한 정보는 비트와 비트 사이의 시간 간격에 대한 정보일 수 있다. 실시예에 따라서는 비트 주기 정보는 음악신호를 주파수 응답으로 변환하여 추출할 수 있다. 실시예에 따라서는 제1음악정보를 추출하기 위하여 LPF(Low Pass Filter)를 사용할 수 있다. 음악 비트 정보는 LPF를 사용하여 200Hz 이하의 저주파수의 음을 추출하여 얻을 수 있다. 또한, LPF를 사용하면 사람의 음성 등의 잡음을 걸러내고 음악에서 비트를 표현하는데 자주 쓰이는 드럼, 베이스 등의 악기의 소라만 남길 수 있는 장점이 있다.
로봇의 춤동작은 다수의 포스취(Posture)들을 포함할 수 있다. 로봇의 춤동작은 다수의 포스춰들의 조합일 수 있다. 예컨대 춤동작은 다수의 포스춰에 포함된 제1포스춰, 제2포스춰 및 제3포스춰의 조합일 수 있다. 예컨대 제1포스춰는 로봇이 오른팔을 올린 자세라 하고, 제2포스춰는 오른팔을 내리고 왼팔을 올린 자세라고 하며, 제3포스춰는 오른팔과 왼팔을 모두 내린 자세라고 하자. 제1포스춰, 제2포스춰 및 제3포스춰가 순차로 이어지면, 로봇의 자세는 오른팔을 올린 자세에서 오른팔을 내리면서 왼팔을 올린 뒤에 왼팔을 내려 오른팔과 왼팔을 모두 내린 자세로 마무리될 것이다. 결국 춤동작은 다수의 포스춰들의 연결로 볼 수 있다.
실시예에 따라서는 다수의 포스춰들 각각은 사람의 모션을 캡처하여 만들어질 수 있다. 모션 캡춰 방법은 종래에 많이 알려져 있으므로 상세한 설명은 생략한다.
전술한 비트와 비트 사이에 시간 간격에 대한 정보는 전술한 다수의 포스춰들에 포함된 제1포스춰와 상기 제1포스춰와 연결되는 제2포스춰 사이의 시간 간격을 결정할 수 있다. 전술한 예를 가지고 설명하면, 로봇이 오른팔을 올린 제1포스춰에서 오른팔을 내리고 왼팔을 올린 제2포스춰로 자세가 변경되는 데 걸리는 시간일 수 있다.
실시예에 따라서는 음악 비트 정보는 BPM의 단위로 표시될 수 있다. 예컨대 베이스음 사이의 간격이 0.5초라면 0.5초 사이에 하나의 비트가 표현된 것으로 볼 수 있으므로, 60초 사이에는 120비트가 표현된 것으로 볼 수 있다. 따라서 이 경우 120BPM이 될 수 있다. 다시 말하면 120BPM의 음악 비트를 가진다면 대응되는 포스춰와 포스춰 사이에 시간 간격은 0.5초가 된다. 전술한 예를 가지고 설명하면, 음악 비트 정보가 120BPM이면 제1포스춰와 제2포스춰 사이의 시간 간격을 0.5초로 결정하게 되므로, 로봇이 오른팔을 올린 자세에서 오른팔을 내리고 왼팔을 올린 자세로 변경되는 데 걸리는 시간이 0.5초가 될 것이다.
예를 들어 음악 비트 정보가 110BPM이면 포스춰와 포스춰 사이의 시간 간격을 0.545초로 결정하고, 130BPM이면 0.46초로 결정할 것이다.
정보예측단계(S110)를 설명한다. 전술한 바와 같이 제2음악정보는 제1음악정보로부터 예측된 정보이다. 로봇이 실시간으로 춤동작을 표현하기 위해서는 과거의 음악정보로 춤을 출 수 없으며 과거의 음악정보로부터 예측된 음악정보를 사용하여 현재 춤동작을 표현하는 시점에서 활용하는 것이다. 이렇게 예측된 음악정보가 제2음악정보이며 실시예에 따라서는 제2음악정보는 제1음악정보와 마찬가지로 음악 비트 정보일 수 있다.
제1음악정보로부터 제2음악정보를 예측하는 방법은 다양한 방법이 있을 수 있다. 실시예에 따라서는 칼만 필터(Kalman filter)를 사용할 수 있다. 칼만 필터의 일 실시예는 현재 상황 정보를 기반으로 시스템 모델을 활용하여 다음 상황 정보를 예측하고, 예측된 상황 정보와 실제관측된 상황 정보를 비교해서 예측된 상황 정보가 갖는 오차를 보정하는 방법이다. 칼만 필터와 관련한 내용은 종래에 많이 알려져 있으므로 상세한 설명은 생략한다.
정보선택단계(S120)를 설명한다.
본 발명의 일 실시예에 따른 로봇의 춤동작 표현 생성방법은 제2음악정보를 활용하여 제2음악정보에 적합한 춤동작을 기작성된 모션 데이터비이스로부터 자동적으로 선택하여 로봇 춤 표현을 자동적으로 생성할 수 있다.
실시예에 따라서 모션 데이터베이스에는 로봇의 춤동작들이 저장될 수 있다. 전술한 바와 같이 춤동작은 다수의 포스춰들을 포함할 수 있다. 실시예에 따라서는 다수의 포스춰들 각각은 대응되는 제어명령을 가질 수 있으며 이 제어명령이 저장될 수 있다.
모션 데이터베이스에 이미 입력된 다수의 춤동작 중에서 제2음악정보에 적합한 춤동작이 자동적으로 선택되는 것은 컴퓨터 프로그래밍에 의하여 이루어질 수 있다.
실시예에 따라서 모션 데이터베이스에는 춤동작관련정보가 저장될 수 있다. 실시예에 따라서는 춤동작관련정보는 포스춰들의 제어명령들이 음악 비트 정보에 기초하여 클러스터링(Clustering)된 그룹일 수 있다. 예컨대 낮은 음악 비트(Low BPM)와 관련한 제어명령 그룹에서 점진적으로 높은 음악 비트(High BPM)와 관련한 제어명령 그룹으로 나열할 수 있다. 전술한 예를 가지고 설명하면, 도 2의 X방향으로 100BPM, 110BPM, 120BPM, 130BPM 각각에 대응되는 그룹을 순서대로 나열하여 저장할 수 있다(도 2를 참조).
각각의 그룹은 해당 음악 비트 정보에 적합한 포스춰들의 조합을 포함할 수 있다.
정보추출단계(S100)를 또 다른 실시예를 설명한다. 정보추출단계(S100)는 음악신호로부터 음악크기정보를 추출하는 단계를 추가로 포함할 수 있다. 이 경우 정보선택단계(S120)는 모션 데이터베이스로부터 제2음악정보 또는 음악크기정보에 적합한 춤동작 관련 정보를 선택할 수 있다.
음악크기정보는 실시예에 따라서는 음량정보를 포함할 수 있다. 음악신호로부터 음량정보를 추출하는 방법은 예컨대 마이크 등을 이용하는 방법을 고려할 수 있다.
실시예에 따라서는 상기 음악크기정보는 로봇에 포함된 관절의 회전량을 결정할 수 있다. 실시예에 따라서는 회전량은 회전각을 포함할 수 있다. 예컨대 작은 음량이 입력되면 작은 회전량을 출력하고 큰 음량이 입력되면 큰 회전량을 출력하는 것을 고려할 수 있다. 이 경우 큰 음량을 입력받을수록 로봇의 춤동작은 커질 것이다.
정보선택단계(S120)의 또 다른 실시예에 따르면 모션 데이터베이스로부터 제2음악정보 및 음악크기정보 두 가지 정보에 적합한 춤동작관련정보를 선택할 수 있다.
이 경우 전술한 춤동작관련정보는 포스춰들의 제어명령들이 음악 비트 정보 또는 음악크기정보에 기초하여 클러스터링(Clustering)된 그룹일 수 있다. 전술한 예를 가지고 설명하면, 도 2의 X방향으로 100BPM, 110BPM, 120BPM, 130BPM 각각에 대응되는 그룹을 순서대로 나열하고, 도 2의 Y방향으로 낮은 음량정보(Small volume)에 관련한 제어명령 그룹으로부터 큰 음량정보(Large volume)와 관련한 제어명령 그룹으로 나열할 수 있다(도 2를 참조).
컴퓨터 프로그래밍에 의하여 모션 데이터베이스로부터 제2음악정보 또는 음악크기정보 두 가지 정보에 모두 적합한 춤동작을 자동적으로 선택하여 자동적으로 로봇의 춤동작이 생성될 수 있다.
본 발명의 일 실시예에 따른 로봇의 춤동작 표현 생성방법은 실시간으로 입력되는 음악의 단위구간으로부터 제1음악정보를 추출하는 단계를 포함할 수 있다. 또한, 상기 제1음악정보로부터 제2음악정보를 예측하는 단계를 포함할 수 있다.
모션 데이터베이스로부터 상기 제2음악정보와 상기 음악의 음량정보에 적합한 춤동작을 선택하는 단계를 포함할 수 있다.
한편, 본 발명의 일 실시예에 따른 로봇의 춤동작 표현 생성장치는 음악신호를 입력받아 제1음악정보를 출력하는 정보인식부를 포함할 수 있다. 또한, 상기 제1음악정보를 입력받아 제2음악정보를 출력하는 정보예측부를 포함할 수 있다. 또한, 모션 데이터베이스로부터 상기 제2음악정보에 적합한 춤동작관련정보를 선택하여 출력하는 제어부를 포함할 수 있다.
이상, 본 발명의 구체적인 예에 대해서만 상세히 설명되었지만 본 발명의 기술사상의 범위 내에서 다양한 변형 및 수정이 가능함은 당업자에게 있어서 자명한 것이며, 이러한 변형 및 수정이 첨부된 특허청구범위에 속함은 당연한 것이다.
S100 : 정보추출단계
S110 : 정보예측단계
S120 : 정보선택단계

Claims (10)

  1. 삭제
  2. 로봇의 춤동작 표현 생성방법에 있어서,
    음악신호로부터 제1음악정보를 추출하는 정보추출단계;
    상기 제1음악정보를 가지고 춤동작을 표현하기 위하여 제2음악정보를 예측하는 정보예측단계; 및
    모션 데이터베이스로부터 상기 제2음악정보에 적합한 춤동작관련정보를 선택하는 정보선택단계;
    를 포함하고,
    상기 음악신호는 상기 춤동작이 표현되는 시점으로부터 소급하는 소정의 시간 동안의 음악신호인 것을 특징으로 하는 로봇의 춤동작 표현 생성방법.
  3. 로봇의 춤동작 표현 생성방법에 있어서,
    음악신호로부터 제1음악정보를 추출하는 정보추출단계;
    상기 제1음악정보를 가지고 춤동작을 표현하기 위하여 제2음악정보를 예측하는 정보예측단계; 및
    모션 데이터베이스로부터 상기 제2음악정보에 적합한 춤동작관련정보를 선택하는 정보선택단계;
    를 포함하고,
    상기 제1음악정보의 추출은 소정의 시간 간격을 두고 이루어지는 것을 특징으로 하는 로봇의 춤동작 표현 생성방법.
  4. 로봇의 춤동작 표현 생성방법에 있어서,
    음악신호로부터 제1음악정보를 추출하는 정보추출단계;
    상기 제1음악정보를 가지고 춤동작을 표현하기 위하여 제2음악정보를 예측하는 정보예측단계; 및
    모션 데이터베이스로부터 상기 제2음악정보에 적합한 춤동작관련정보를 선택하는 정보선택단계;
    를 포함하고,
    상기 춤동작은 다수의 포스춰(Posture)들을 포함하고, 상기 다수의 포스춰들은 제1포스춰와 상기 제1포스춰와 연결되는 제2포스춰를 포함하며, 상기 제2음악정보는 상기 제1포스춰와 상기 제2포스춰 사이의 시간 간격을 결정하는 것을 특징으로 하는 로봇의 춤동작 표현 생성방법.
  5. 로봇의 춤동작 표현 생성방법에 있어서,
    음악신호로부터 제1음악정보를 추출하는 정보추출단계;
    상기 제1음악정보를 가지고 춤동작을 표현하기 위하여 제2음악정보를 예측하는 정보예측단계; 및
    모션 데이터베이스로부터 상기 제2음악정보에 적합한 춤동작관련정보를 선택하는 정보선택단계;
    를 포함하고,
    상기 제2음악정보를 예측하기 위하여 칼만 필터(Kalman filter)를 사용하는 것을 특징으로 하는 로봇의 춤동작 표현 생성방법.
  6. 제2항 내지 제5항 중 어느 하나의 항에 있어서,
    제1 및 제2음악정보는 음악 비트 정보를 포함하는 것을 특징으로 하는 로봇의 춤동작 표현 생성방법.
  7. 로봇의 춤동작 표현 생성방법에 있어서,
    음악신호로부터 제1음악정보를 추출하는 정보추출단계;
    상기 제1음악정보를 가지고 춤동작을 표현하기 위하여 제2음악정보를 예측하는 정보예측단계; 및
    모션 데이터베이스로부터 상기 제2음악정보에 적합한 춤동작관련정보를 선택하는 정보선택단계;
    를 포함하고,
    상기 제1음악정보를 추출하기 위하여 LPF(Low pass filter)를 사용하는 것을 특징으로 하는 로봇의 춤동작 표현 생성방법.
  8. 제2항 내지 제5항, 제7항 중 어느 하나의 항에 있어서,
    상기 정보추출단계는 상기 음악신호로부터 음악크기정보를 추출하는 단계를 추가로 포함하며, 상기 정보선택단계는 상기 모션 데이터베이스로부터 상기 제2음악정보 또는 상기 음악크기정보에 적합한 춤동작관련정보를 선택하는 것을 특징으로 하는 로봇의 춤동작 표현 생성방법.
  9. 제8항에 있어서,
    상기 음악크기정보는 상기 로봇에 포함된 관절의 회전량을 결정하는 것을 특징으로 하는 로봇의 춤동작 표현 생성방법.
  10. 음악신호를 입력받아 제1음악정보를 출력하는 정보인식부;
    상기 제1음악정보를 입력받아 춤동작을 표현하기 위하여 제2음악정보를 예측하여 출력하는 정보예측부; 및
    모션 데이터베이스로부터 상기 제2음악정보에 적합한 춤동작관련정보를 선택하여 출력하는 제어부;
    를 포함하고,
    상기 음악신호는 상기 춤동작이 표현되는 시점으로부터 소급하는 소정의 시간 동안의 음악신호인 것을 특징으로 하는 로봇의 춤동작 표현 생성장치.
KR1020130029398A 2013-03-19 2013-03-19 로봇의 춤동작 표현 자동 생성 방법 KR101403599B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130029398A KR101403599B1 (ko) 2013-03-19 2013-03-19 로봇의 춤동작 표현 자동 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130029398A KR101403599B1 (ko) 2013-03-19 2013-03-19 로봇의 춤동작 표현 자동 생성 방법

Publications (1)

Publication Number Publication Date
KR101403599B1 true KR101403599B1 (ko) 2014-06-03

Family

ID=51131808

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130029398A KR101403599B1 (ko) 2013-03-19 2013-03-19 로봇의 춤동작 표현 자동 생성 방법

Country Status (1)

Country Link
KR (1) KR101403599B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180097009A (ko) 2017-02-22 2018-08-30 강원대학교산학협력단 실시간 자율 댄싱 로봇 시스템
KR20200048015A (ko) * 2018-10-29 2020-05-08 (주)시뮬렉스 로봇 동작 제어 시스템 및 그 방법
CN112365568A (zh) * 2020-11-06 2021-02-12 广州小鹏汽车科技有限公司 音频处理方法、装置、电子设备和存储介质
CN114401439A (zh) * 2022-02-10 2022-04-26 腾讯音乐娱乐科技(深圳)有限公司 一种舞蹈视频生成方法、设备及存储介质
KR102703666B1 (ko) 2021-12-30 2024-09-06 주식회사지능디자인 원격지 데이터 저장소에서의 모션 데이터 처리 기술 및 춤동작 생성 기술 기반형 모션 정보 서비스 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080075275A (ko) * 2007-02-12 2008-08-18 박진규 음악에 따라 춤을 추는 로봇
KR101014884B1 (ko) 2008-10-08 2011-02-15 충남대학교산학협력단 음악 인식을 통한 로봇의 동작제어장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080075275A (ko) * 2007-02-12 2008-08-18 박진규 음악에 따라 춤을 추는 로봇
KR101014884B1 (ko) 2008-10-08 2011-02-15 충남대학교산학협력단 음악 인식을 통한 로봇의 동작제어장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문1.2010 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180097009A (ko) 2017-02-22 2018-08-30 강원대학교산학협력단 실시간 자율 댄싱 로봇 시스템
KR20200048015A (ko) * 2018-10-29 2020-05-08 (주)시뮬렉스 로봇 동작 제어 시스템 및 그 방법
KR102137112B1 (ko) 2018-10-29 2020-07-31 주식회사 액티브플러스 로봇 동작 제어 시스템 및 그 방법
CN112365568A (zh) * 2020-11-06 2021-02-12 广州小鹏汽车科技有限公司 音频处理方法、装置、电子设备和存储介质
KR102703666B1 (ko) 2021-12-30 2024-09-06 주식회사지능디자인 원격지 데이터 저장소에서의 모션 데이터 처리 기술 및 춤동작 생성 기술 기반형 모션 정보 서비스 방법
CN114401439A (zh) * 2022-02-10 2022-04-26 腾讯音乐娱乐科技(深圳)有限公司 一种舞蹈视频生成方法、设备及存储介质
CN114401439B (zh) * 2022-02-10 2024-03-19 腾讯音乐娱乐科技(深圳)有限公司 一种舞蹈视频生成方法、设备及存储介质

Similar Documents

Publication Publication Date Title
CN112037760B (zh) 语音频谱生成模型的训练方法、装置及电子设备
US9431027B2 (en) Synchronized gesture and speech production for humanoid robots using random numbers
CN109074166A (zh) 使用神经数据改变应用状态
Visi et al. Gesture in performance with traditional musical instruments and electronics: Use of embodied music cognition and multimodal motion capture to design gestural mapping strategies
KR101403599B1 (ko) 로봇의 춤동작 표현 자동 생성 방법
CN104423594A (zh) 用于生成与音频信号相关联的触觉效果的系统和方法
JP2016041142A (ja) ダンス動作データ作成システム及びダンス動作データ作成方法
US20200265353A1 (en) Intelligent workflow advisor for part design, simulation and manufacture
CN112331234A (zh) 歌曲多媒体的合成方法、装置、电子设备及存储介质
WO2022167870A3 (en) Prediction of pipeline column separations
CN113593595A (zh) 基于人工智能的语音降噪方法、装置及电子设备
CN110838306B (zh) 语音信号检测方法、计算机存储介质及相关设备
JP4599606B2 (ja) 頭部動作自動生成のための頭部動作学習装置及び頭部動作合成装置並びにコンピュータプログラム
CN106601217B (zh) 一种交互式乐器演奏方法及装置
JP2015041081A5 (ko)
McCallum et al. Supporting Interactive Machine Learning Approaches to Building Musical Instruments in the Browser.
CN114401439B (zh) 一种舞蹈视频生成方法、设备及存储介质
JP6660637B2 (ja) 触質情報処理装置および触質情報処理方法
CN112527105B (zh) 人机互动方法、装置、电子设备及存储介质
US11042274B2 (en) Extracting demonstrations from in-situ video content
JP6886663B2 (ja) 動作指示生成システム、方法およびプログラム
Choi Interactive composition and performance framework with evolutionary computing
Papetti Design and perceptual investigations of audio-tactile interactions
Anbarsanti et al. Dance learning and recognition system based on hidden Markov model. a case study: aceh traditional dance
CN106371598B (zh) 一种基于可穿戴设备的启动搜题方法和系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180425

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190521

Year of fee payment: 6