KR20080075275A

KR20080075275A - Robot for dancing by music

Info

Publication number: KR20080075275A
Application number: KR1020070014213A
Authority: KR
Inventors: 박진규
Original assignee: 박진규
Priority date: 2007-02-12
Filing date: 2007-02-12
Publication date: 2008-08-18

Abstract

A robot dancing to the music is provided to give persons with familiarity relative to the robot by allowing the robot to dance according to the type of the music. A robot comprises a robot controller(120), a multi-articulation actuating unit(130), a robot platform(100), and a terminal(200) communicated with the robot platform to provide information about dancing actions to the robot platform. The robot platform includes a dancing action creating unit(110), a communication unit(140), and a controller(150). The dancing action creating unit sends information about the dancing action to the robot controller by analyzing the music. The communication unit sends information about features of the music to the terminal and receives the information about the dancing action from the terminal.

Description

Robot for dancing by music

도 1은 본 발명에 의한 음악에 따라 춤을 추는 로봇의 개요 구성도.1 is a schematic configuration diagram of a robot dancing according to the music of the present invention.

도 2는 본 발명에 의한 일 실시 예를 보인 음악에 따라 춤을 추는 로봇의 구성도.Figure 2 is a block diagram of a robot dancing according to the music according to an embodiment of the present invention.

도 3은 본 발명의 응용 실시 예에 따른 음악에 따라 춤을 추는 로봇 시스템 구성도.3 is a block diagram of a robot system dancing according to music according to an embodiment of the present invention.

도 4는 본 발명의 또 다른 실시 예를 보인 음악에 따라 춤을 추는 로봇 구성도.Figure 4 is a robot configuration dancing according to the music showing another embodiment of the present invention.

〈도면의 주요부분에 대한 부호의 설명〉<Explanation of symbols for main parts of drawing>

100 : 로봇 플랫폼 110 : 음악분석 및 춤동작 생성부100: robot platform 110: music analysis and dance motion generation unit

111 : 마이크 112 : 오디오 입력부111 microphone 112 audio input unit

113 : 음악 분석부 114 : 춤 동작 라이브러리113: music analysis unit 114: dance motion library

115 : 춤동작 생성부 116 : 춤 동작 보상 제어부115: dance motion generation unit 116: dance motion compensation control unit

120 : 로봇 콘트롤러 130 : 동작수단120: robot controller 130: operation means

140 : 통신부 150 : 제어부140: communication unit 150: control unit

160 : 음악 재생기 161 : 라인 입력단자160: music player 161: line input terminal

162 : 스피커 200 : 단말기162: speaker 200: terminal

210 : 춤동작 제어장치 211 : 통신부210: dance motion control device 211: communication unit

212 : 춤동작 라이브러리 213 : 춤동작 생성부212: dance motion library 213: dance motion generation unit

214 : 음악분석 및 제어부214: Music analysis and control

본 발명은 춤추는 로봇에 관한 것으로서, 특히 음악을 들려주면 음악의 특성에 맞추어서 자동으로 춤을 생성하여 음악에 따른 춤을 출 수 있도록 한 춤추는 로봇에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a dancing robot, and more particularly, to a dancing robot that automatically generates dances in accordance with the characteristics of music when the music is played, thereby allowing a dance according to music.

최근 들어 기술 발전과 더불어 로봇에 대한 관심이 집중되면서 여러 가지 용도의 로봇이 개발되고 있다. 지능형 로봇으로의 진보화 되면서 다양한 발전이 있었는데, 예를 들어, 애완견 로봇이라든지, 휴머노이드형으로 걷기 및 춤추는 로봇등이 개발되고 있다.Recently, with the development of technology, attention to robots has been concentrated, and robots for various uses have been developed. There have been various developments as the robot is advanced. For example, a dog robot or a humanoid walking and dancing robot is being developed.

그러나, 종래의 춤추는 로봇은 단순히 외부의 자극(예; 소리, 터치등)을 감지하여 미리 설정된 춤 동작으로 춤을 추도록 하는 정도이다. 즉, 춤 동작을 미리 설정하여 두고 음악과는 상관없이 미리 세팅된 동작으로 춤을 추도록 하고 있다.However, the conventional dancing robot simply senses an external stimulus (eg, sound, touch, etc.) to dance with a preset dance motion. In other words, the dance motion is set in advance, and the dance is performed in a preset motion regardless of music.

그러므로, 음악과는 상관없는 춤 동작으로 로봇이 춤을 추기 때문에 실질적인 느낌이 동 떨어지고, 단순히 움직이는 정도에 지나지 않아 몇 번만 보고나면 실증을 느끼게 된다는 문제점이 있었다.Therefore, since the robot dances with a dance movement irrelevant to music, the actual feeling falls off, and it is merely a moving degree.

본 발명은 음악에 맞추어서 춤동작을 자체 생성하여 춤을 출 수 있도록 한 춤추는 로봇을 제공하기 위한 것이다.The present invention is to provide a dancing robot that is able to dance by generating a dance movement in accordance with the music itself.

또한 본 발명은 네트웍을 이용하여 로봇이 듣고 있는 음악에 대한 춤 동작을 생성하여 로봇 플랫폼을 저가형 모델로 춤추는 로봇을 구현할 수 있도록 하기 위한 것이다.In addition, the present invention is to create a dancing motion for the music that the robot is listening to using the network to implement a robot that dances the robot platform as a low-cost model.

본 발명의 목적은,The object of the present invention,

로봇 콘트롤러가 로봇의 다관절 동작수단을 제어하여 로봇을 각종 동작으로 움직일 수 있도록 이루어진 로봇에 있어서, In the robot that the robot controller can control the articulated movement means of the robot to move the robot in various motions,

외부의 소리 및 음악을 듣기 위한 마이크와;A microphone for listening to external sounds and music;

상기 마이크를 통해 외부 오디오를 입력받는 오디오 입력부와;An audio input unit configured to receive external audio through the microphone;

상기 입력된 음악신호를 분석하여 춤동작 생성을 위한 파라메타들을 분석하는 음악 분석부와;A music analyzer analyzing the input music signal to analyze parameters for generating a dance motion;

미리 음악의 장르별로 각각 복수의 기본 리듬에 따른 춤동작에 대해 상기 로봇 콘트롤러가 상기 다관절 동작수단을 제어하는 제어 정보로서 라이브러리로 저장하여 둔 춤동작 라이브러리와;A dance motion library previously stored in the library as control information for controlling the articulated motion means by the robot controller for a dance motion according to a plurality of basic rhythms for each genre of music;

상기 음악 분석부에서 분석된 음악의 파라메타에 의거하여 상기 춤동작 라이 브러리에서 해당 장르의 음악에 따른 춤동작 정보를 읽어오고 상기 음악 분석부에서 분석된 음악의 파라메타들에 의해 읽어들인 춤동작 정보에 파라메타를 적용하여 음악에 따른 연속되는 춤동작 정보를 생성하여 상기 로봇 콘트롤러로 동작 제어정보를 출력하는 춤동작 생성 및 제어부를 포함하여 구성함으로써 달성되는 것이다.Based on the music parameter analyzed by the music analyzer, the dance motion library reads the dance motion information according to the music of the genre, and the dance motion information read by the music parameters analyzed by the music analyzer is read. It is achieved by including a dance motion generation and control unit for generating continuous dance motion information according to music by applying a parameter to output motion control information to the robot controller.

상기 춤동작 라이브러리는,The dance motion library,

음악의 장르별로 복수의 음악에 대해 해당 음악의 가수나 무용가의 춤동작을 모션캡쳐 받고, 모션 캡쳐된 영상과 로봇의 춤동작을 위한 위치를 서로 매칭시켜 각 위치별 변위량 정보를 구하고, 각 위치별 변위량 정보에 대해 로봇의 각 동작제어수단의 제어정보를 구하여 춤동작 정보 라이브러리를 생성하여 저장함을 특징으로 한다.Receives motion capturing the dance movements of the singer or dancer of the music for a plurality of music genres according to the genres of music, and obtains displacement information for each position by matching the motion-captured images with the positions for the robot's dance movements, and for each position. Obtaining control information of each motion control means of the robot with respect to the displacement information, characterized in that to generate and store the dance motion information library.

또한, 상기 춤동작 라이브러리는, 3차원 그래픽으로 모델링된 그래픽 로봇을 음악의 장르별로 각각 복수의 춤동작으로 춤추도록 제어하고, 그래픽 로봇의 춤동작에서 해당되는 다관절 동작수단의 동작 정보를 추출하여 춤동작 정보 라이브러리를 생성 저장하는 것을 특징으로 한다.In addition, the dance motion library controls the graphic robot modeled as a 3D graphic to dance with a plurality of dance motions for each genre of music, and extracts motion information of the corresponding articulated motion means from the dance motion of the graphic robot. And generating and storing the dance motion information library.

또한, 상기 음악 분석부는, 입력된 음악의 주파수 스펙트럼을 분석하여 리듬과 박자 및 소리 크기 등을 파라메타로 분석하는 것을 특징으로 한다.The music analyzer may analyze the frequency spectrum of the input music to analyze the rhythm, the beat and the loudness as parameters.

또한, 본 발명은, 상기 로봇에, 통신수단을 더 포함하여 구성하고, 상기 통신 수단과 통신하는 통신수단을 구비한 단말장치를 구비하며, 단말장치에 상기 춤동작 라이브러리 및 춤동작 생성부를 구비하고, 상기 춤동작 생성부가 생성된 춤동작 정보를 상기 통신수단을 통해 로봇으로 송신하면, 로봇의 통신수단이 수신하고 수신된 로봇의 춤동작 정보에 의거하여 상기 춤동작 제어부가 상기 로봇 콘트롤러를 제어하여 음악에 맞추어 춤을 추게 구성할 수 있다.In addition, the present invention, the robot further comprises a communication means, comprising a terminal device having a communication means for communicating with the communication means, the terminal device having the dance motion library and the dance motion generation unit When the dance motion generation unit transmits the generated dance motion information to the robot through the communication means, the dance motion control unit controls the robot controller based on the received dance motion information of the robot. Can be configured to dance to the music.

그리고, 상기 통신수단을 구비한 단말장치가 네트웍에 연결되어 서버와 연결되고, 서버에서 다양한 커뮤니티를 제공함과 아울러 춤동작 라이브러리를 생성 및 업그레이드시켜 각각의 단말장치에 다운로드 시킬 수 있도록 구성한다.In addition, the terminal device having the communication means is connected to the network and connected to the server, to provide various communities in the server, and to create and upgrade the dance motion library to be downloaded to each terminal device.

또한, 상기 서버에는 춤동작 정보 라이브러리 이외에 특정 음악에 대해 해당 음악에 따라 미리 생성해둔 로봇의 춤동작 정보를 저장하여 두고, 음악과 춤동작 정보를 함께 다운 로드시킬 수 있도록 구성하며, 로봇에는 음악파일 재생수단 및 스피커를 더 포함시켜 구성하여 두고, 상기 단말장치에서 춤동작 정보를 가진 음악 파일을 다운로드받아 해당 음악과 춤동작 정보를 로봇으로 출력하면, 로봇에서 춤동작 정보에 따라 로봇 콘트롤러를 통해 로봇을 제어함과 아울러 음악을 재생하여 출력하도록 구성됨을 특징으로 한다.In addition, the server stores the dance motion information of the robot previously generated according to the music for a specific music in addition to the dance motion information library, so that the music and the dance motion information can be downloaded together, and the robot has a music file. The apparatus further includes a playback means and a speaker, and downloads a music file having dance motion information from the terminal device and outputs the music and dance motion information to the robot, and the robot uses the robot controller according to the dance motion information. It is characterized in that it is configured to control and play and output music.

이하, 본 발명의 실시예를 첨부된 도면을 참조해서 상세히 설명하면 다음과 같다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 의한 춤추는 로봇의 개요도이고, 도 2는 본 발명에 의한 춤추는 로봇의 제어 블록도이다. 도면에서 음악을 들으면 춤을 추게 하는 선택버튼이나, 전원 수단 및 동작 표시기 등등은 표시하지 않았으나 당연한 구성이 될 수 있는 것이므로 설명과 도면 표시를 생략한다.1 is a schematic diagram of a dancing robot according to the present invention, Figure 2 is a control block diagram of a dancing robot according to the present invention. Listening to music in the drawing does not display a selection button, a power supply means, an operation indicator, etc. to dance, but may be a natural configuration, and thus descriptions and drawings will be omitted.

본 발명에 의한 춤추는 로봇은, 다관절 로봇으로 휴머노이드 로봇 플랫폼(100)을 구성하고, 로봇 플랫폼(100)의 각 관절을 동작시키는 동작 수단(예; 스텝 모터)(110)를 설치하여 다관절 동작이 가능하도록 구성되며, 로봇 콘트롤러(120)에 의해 각 동작수단(110)을 제어하도록 구성된다. 상기 동작수단(110)의 기구적인 작동 한계치 및 휴머노이드에 따른 동작 한계치를 설정하여 작동 제한을 두고 동작 시키도록 한다.The dancing robot according to the present invention comprises the humanoid robot platform 100 as a multi-joint robot, and installs an operation means (eg, a step motor) 110 for operating each joint of the robot platform 100 to perform articulated joints. It is configured to be possible, it is configured to control each operation means 110 by the robot controller 120. The operating limit of the operation means 110 and the operating limit value according to the humanoid are set to operate with the operation restriction.

상기와 같이 구성되는 로봇에 있어서, 본 발명에서는 외부의 음악을 듣고서 로봇이 춤을 추도록 제어하는 음악 분석 및 춤동작 생성수단(110)을 더 포함하여 구성된다.In the robot configured as described above, the present invention further comprises a music analysis and dance motion generating means 110 for controlling the robot to dance while listening to external music.

상기 음악 분석 및 춤동작 생성수단(100)은, 통상의 신호처리 프로세서(DSP) 또는 마이컴 및 메모리를 하드웨어로 포함하고, 각 기능에 대해 소프트웨어적으로 구성된다.The music analysis and dance motion generating means 100 includes a general signal processing processor (DSP) or a microcomputer and a memory, and is configured in software for each function.

본 발명에 의한 음악 분석 및 춤동작 생성수단(100)은, 로봇 플랫폼(100)의 외부에서 들려지는 오디오신호를 입력받기 위한 마이크(111) 및 오디오입력부(112)와, 상기 오디오 입력부(112)를 통해 입력된 오디오신호를 분석하여 춤동작을 위한 미리 정해진 복수의 파라메타들을 분석하여 추출하는 음악 분석부(113)와, 로봇이 춤을 추는 동작을 할 수 있도록 음악의 장르별로 각각 복수의 춤동작 제어정보를 라이블러리로 저장하여둔 춤동작 라이브러리(114)와, 상기 음악분석부(113)에서 분석된 파라메터들에 의해 상기 춤동작 라이브러리(114)에서 해당 장르의 해당 춤동작 라이브러리를 매칭시켜 불러오고, 상기 음악 분석부(113)에서 분석된 음악의 박자 및 소리 크기등의 특징에 따라 보상함과 아울러 음악과 동기시킨 춤동작 정보를 생성하여 상기 로봇 콘트롤러(120)에 동작수단 제어정보로서 제공하여 로봇이 음악 에 따라 춤을 추게 하는 춤동작 생성부(115)를 포함하여 구성된다.The music analysis and dance motion generating means 100 according to the present invention includes a microphone 111 and an audio input unit 112 for receiving an audio signal heard from the outside of the robot platform 100, and the audio input unit 112. The music analysis unit 113 analyzes and extracts a plurality of predetermined parameters for the dance motion by analyzing the audio signal input through the plurality of dance motions, and each of the plurality of dance motions for each genre of music so that the robot can dance. According to the dance motion library 114 storing control information as a library and the parameters analyzed by the music analyzer 113, the dance motion library 114 matches the corresponding dance motion library of the genre. The robot controller compensates for the characteristics of the beat and the loudness of the music analyzed by the music analyzer 113 and generates dance motion information synchronized with the music. It comprises a dance motion generation unit 115 to provide to the 120 as the operating means control information to the robot to dance according to the music.

이와 같이 구성된 본 발명에 의한 춤추는 로봇은, 먼저, 로봇의 춤동작을 구현하기 위하여 휴머노이드형으로 구성하고, 다관절 예를 들어, 손목, 팔굽, 어깨, 허리, 목, 다리, 무릅, 발목 등등 로봇 플랫폼의 구성에 따라 다관절 구성으로 각각 스텝 모터등의 동작수단에 의해 움직임 동작이 가능하도록 구성된 로봇을 사용한다.The dancing robot according to the present invention configured as described above, first, a humanoid type in order to implement the dancing motion of the robot, and articulated, for example, a wrist, an elbow, a shoulder, a waist, a neck, a leg, a knee, an ankle, and the like. According to the configuration of the platform, a multi-joint configuration uses a robot configured to be able to move by each operating means such as a step motor.

그리고, 상기 동작수단(130)들을 로봇 콘트롤러(120)가 제어하여 춤동작으로 구현하기 위하여 춤동작 라이브러리(114)를 생성하여 저장하여둔다. 춤동작 라이브러리(114)는, 가장 바람직하게는 사람이 춤추는 동작을 그대로 재현할 수 있도록 구성하되, 로봇의 구성 특정과 동작수단들의 제어특성들을 감안하여 각각 한계치를 설정하여 제어할수 있도록 한다. 먼저, 음악의 장르별로 구분하여 각 장르마다 복수의 춤동작을 라이브러리로 저장한다. 가수나 무용가의 춤동작을 모션캡쳐 받고, 모션캡쳐의 지정 포인트와 로봇 플랫폼의 지정 포인트를 매칭시켜 각 포인트의 움직임 변위 정보를 구하고, 각 포인트의 움직임 변위정보에 대해 상기 로봇 콘트롤러(120)가 동작수단(130)을 제어하여 각 포인트별로 각각의 변위정보만큼 움직임을 줄수 있도록 매트릭스 테이블등을 이용하여 춤동작 정보를 생성한다. 즉, 춤동작 정보는 로봇 콘트롤러(120)가 동작수단(130)들의 각각을 어떤 속도 어떤 각도 및 어떤 변위량으로 제어할 것인지를 가지는 동작 제어 정보로서 구축한다.In addition, the robot controller 120 generates and stores the dance motion library 114 to control the motion means 130 to be implemented as a dance motion. Most preferably, the dance motion library 114 is configured to reproduce the dancing motion of a person as it is, so that each control value can be set by setting a limit value in consideration of the configuration of the robot and the control characteristics of the motion means. First, a plurality of dance movements are stored in a library by dividing by music genres. The motion controller of the singer or the dancer receives a motion capture, matches the designated point of the motion capture with the designated point of the robot platform to obtain motion displacement information of each point, and the robot controller 120 operates on the motion displacement information of each point. The control unit 130 generates dance motion information by using a matrix table and the like so as to move the respective displacement information for each point. That is, the dance motion information is constructed as motion control information that the robot controller 120 controls each of the motion means 130 at which speed, at what angle, and at what displacement amount.

상기와 같은 춤동작 라이브러리는, 임의의 음악의 전곡을 춤동작 라이브러리로 구축하는 것은 아니며, 적어도 노래의 한 소절에 대한 춤 동작 라이브러리를 구 축하여 저장하고, 해당 춤동작과 연속적으로 이어질 수 있도록 하는 다음 소절의 춤 동작에 대해서는 또 다른 라이브러리로 저장하여둔다. 즉, 임의의 장르에 대한 춤동작 라이브러리는, A타입, B타입, C타입, 등등으로 복수의 라이브러리고 구축하고, 각 타입의 라이브러리는, 각기 한 소절씩의 춤동작에 대해 복수의 춤동작정보를 저장하여 두고, 해당 복수의 춤동작들을 서로 이어지는 연속된 춤으로 동작할 수 있도록 랜덤하게 병합하여 춤동작이 이어질 수 있도록 라이브러리를 구축한다.The dance motion library as described above does not construct any music of any music as a dance motion library, but constructs and stores a dance motion library for at least one measure of a song, and then connects it to the dance motion continuously. Save the dance of the measure to another library. That is, a dance motion library for any genre is constructed with a plurality of libraries of type A, type B, type C, and the like, and each type of library includes a plurality of dance motion information for each dance movement. Save and store the library so that the dance movement can be continued by merging randomly so that the plurality of dance movements can operate as a continuous dance.

그리고, 음악 분석부(113)에서는, 주파스 스펙트럼을 분석하거나, 디지털 신호처리에 의해 음악을 분석하여 박자, 리듬, 등등으로 음악인지와, 해당 음악의 장르를 분석하고, 연속적으로 박자와 리듬 및 소리의 크기 등등의 춤동작에 필요로하는 파라메터들을 분석하게 된다. 예를 들어, 주파수 스펙트럼 분석에 의해 진폭을 분석하고 반복되는 대역에 의해 음악인지를 판단하며, 음악인 경우 분석을 실시한다. 분석은 장르를 파악하기 위하여 각 장르별 특징 정보를 설정하여두고, 음악을 분석하여 장르별 특징정보를 추출하여 어떤 장르인지를 구별한다. 그리고, 박자 리듬과 소리의 크기, 남성, 여성 등도 필요에 따라 분석항목으로 부여할 수 있다. 이와 같이 음악분석이 이루어지면 해당 분석 정보를 이용하여 상기 춤동작 라이브러리(114)에서 해당되는 장르의 춤동작 라이브러리중, 가장 적합한 춤동작 정보를 찾아내고, 이 춤동작 정보를 불러들인다. 충동작 생성부(115)는, 상기 춤동작 라이브러리에서 불러들인 춤동작 정보에 상기 음악 분석부(113)에서 분석된 음악의 특징 정보에 따라 연속적으로 춤동작 정보를 보상하면서 동기신호를 함께 포함시켜 로봇 콘트롤러(120)로 전송한다.Then, the music analyzing unit 113 analyzes the frequency spectrum or analyzes the music by digital signal processing to analyze whether the music is in time, rhythm, etc., and the genre of the music, and continuously the beat and rhythm and This will analyze the parameters required for the dance movement, such as loudness and so on. For example, the amplitude is analyzed by frequency spectrum analysis, the music is judged by the repeated band, and the music is analyzed. In order to grasp genres, the analysis sets feature information for each genre, and analyzes music to extract feature information for each genre to distinguish which genres are included. In addition, the beat rhythm and the volume of sound, men, women, etc. can be given as an analysis item as necessary. When the music analysis is performed as described above, the dance motion library of the genre of the corresponding genre is found in the dance motion library 114 using the analysis information, and the most suitable dance motion information is retrieved. The impulse motion generation unit 115 includes a sync signal while continuously compensating the dance motion information according to the feature information of the music analyzed by the music analyzer 113 in the dance motion information loaded from the dance motion library. Transfer to the robot controller 120.

따라서 로봇 콘트롤러(120)는 춤동작 정보를 수신받아 음악 동기신호에 맞추어서 동기 타이밍을 조절하여 동작수단(130)을 제어함으로서 음악에 맞추어서 춤을 추게 할 수 있게 된다.Therefore, the robot controller 120 receives the dance motion information and adjusts the synchronization timing according to the music synchronization signal to control the operation means 130 so that the dance can be performed in accordance with the music.

한편, 도 3은 본 발명에 의한 응용 실시예를 보인 춤추는 로봇의 네트웍 구성도이다. 크게 로봇 플랫폼(100)과, 그 로봇 플랫폼(100)과 유/무선 통신이 연결되는 단말기(예; PC)(200)로 구성되고, 상기 로봇 플랫폼(100)에는, 음악 분석 및 춤 동작 생성수단(110)과, 로봇 콘트롤러(120)와, 동작 수단(130)과, 통신부(140)와, 제어부(150)를 포함하여 구성하고, 상기 단말기(200)에는 상기 로봇 플랫폼(100)의 통신부(140)와 통신하여 분석된 음악정보에 의거하여 춤동작 라이브러리에서 춤동작 정보를 검색한 후 음악 분석정보에 따라 춤동작 정보를 생성하여 로봇 플랫폼(100)으로 전송하여 주는 춤동작 제어부(210)를 더 포함하여 구성된다.On the other hand, Figure 3 is a network configuration of the dancing robot showing an application embodiment according to the present invention. The robot platform 100 and a terminal (eg, PC) 200 to which the robot platform 100 and wired / wireless communication are connected are large, and the robot platform 100 includes music analysis and dance motion generating means. 110, a robot controller 120, an operation unit 130, a communication unit 140, and a control unit 150, and the terminal 200 includes a communication unit of the robot platform 100 ( 140, the dance motion control unit 210 retrieves the dance motion information from the dance motion library based on the analyzed music information and generates the dance motion information according to the music analysis information and transmits the dance motion information to the robot platform 100. It is configured to include more.

상기 음악 분석 및 춤동작 생성수단(110)은, 마이크(111) 및 오디오 입력부(112)와, 음악의 기본적인 특징 정보만을 추출하여 기본 분석정보를 상기 통신부(140)를 통해 전송하기 위한 음악 분석부(113)와, 상기 통신부(140)를 통해 수신되는 춤동작 정보에 상기 음악 분석부(113)에서 분석된 음악의 기본정보에 의거하여 보상한 후, 상기 로봇 콘트롤러(120)로 전송하는 춤 동작 보상 제어부(116)를 구비하고, 상기 통신부(140)는, 상기 음악 분석부(113)에서 분석된 음악의 특징 정보들을 상기 외부 단말기(200)로 전송하고, 단말기(200)로부터 전송되어오는 춤동작 정보를 수신하여 상기 춤동작 보상 제어부(116)로 전달하도록 구성되며, 상기 제어부(150)는, 상기 통신부(140)의 통신을 제어함과 아울러 상기 음악 분석 및 춤동작 생성 수단(110)을 제어하여 음악 분석에 따른 춤동작 제어를 할 수 있도록 구성된다.The music analysis and dance motion generating means 110, the microphone 111 and the audio input unit 112, and the music analysis unit for transmitting the basic analysis information through the communication unit 140 by extracting only the basic feature information of the music And the dance motion information transmitted to the robot controller 120 after compensating the dance motion information received through the communication unit 140 based on the music basic information analyzed by the music analyzer 113. Compensation control unit 116 is provided, the communication unit 140, the dance characterized by the music analysis unit 113 transmits the characteristic information of the music to the external terminal 200, the dance transmitted from the terminal 200 Receives motion information and transmits it to the dance motion compensation control unit 116, the control unit 150 controls the communication of the communication unit 140, and the music analysis and dance motion generating means 110 To control your music analysis It is configured to control the operation.

상기 단말기(200)는, PC나 네트웍 서버와 연결되는 라우터등이 될 수 있으며, 본 발명에서는 PC를 예로 설명한다.The terminal 200 may be a PC or a router connected to a network server. In the present invention, a PC is described as an example.

상기 로봇 플랫폼(100)과 통신하기 위한 통신부(211)와, 미리 음악 장르별로 각각 복수의 춤동작 정보를 저장하여둔 춤 동작 라이브러리(212)와, 상기 통신부(211)를 통해서 수신된 상기 로봇 플랫폼(100)의 음악 분석 정보에 의거하여 상기 춤동작 라이브러리(212)에서 해당 장르의 해당 춤동작 정보를 읽어와서 해당 음악 분석정보에 맞는 춤동작 정보를 생성하는 춤동작 생성부(213)와, 상기 통신부(211)의 통신제어와 함께 수신된 음악 분석 정보를 정밀하게 분석하여 음악의 장르 및 춤동작 라이브러리를 찾기 위한 파라메터와 춤동작 생성을 위한 파라메타들을 추출하여 춤동작 생성부(213)를 제어하는 음악 분석 및 제어부(214)를 포함하여 구성된다.A communication unit 211 for communicating with the robot platform 100, a dance motion library 212 storing a plurality of dance motion information for each music genre in advance, and the robot platform received through the communication unit 211. A dance motion generation unit 213 for reading dance motion information of a corresponding genre from the dance motion library 212 based on music analysis information of 100 to generate dance motion information suitable for the music analysis information, and By precisely analyzing the music analysis information received with the communication control of the communication unit 211 to extract the parameters to find the genre and dance motion library of the music and the dance motion generation to control the dance motion generation unit 213 And a music analysis and control unit 214.

이와 같이 구성된 본 발명은,The present invention configured as described above,

상기 로봇 플랫폼(100)에서는 간략하게 음악의 특성 정보만을 분석하여 단말기(200)로 전송하고, 단말기(200)에서 소프트웨어에 의해 정밀하게 분석하게 된다. 단말기(200)에서의 분석은 음악 분석 및 제어부(214)에서 음악 분석을 하게 되며, 춤동작 라이브러리(212)를 구축하여 두고, 음악 분석 정보에 맞추어서 해당 장르의 춤동작 정보를 찾아내고, 찾아진 춤 동작 정보를 상기 음악 분석 정보에 의거하여 가공하여 춤동작 생성부(213)가 춤동작 을 생성한다. 춤동작 생성부(213)에서 생성 된 춤동작 정보는 통신부(211)를 통해서 전송되고, 로봇 플랫폼(100)의 통신부(140)에서 수신하여 춤동작 보상 제어부(116)로 넘겨준다. 춤동작 보상 제어부(116)는 상기 음악 분석부(113)에서 간략 분석된 정보중 소리의 크기나, 빠르기 등의 간략 정보에 따라 상기 수신된 춤동작의 크기나 바르기를 보상하고 음악과 동기되게 동기신호를 부여하여 로봇 콘트롤러(120)로 전송한다. 이에따라 로봇 콘트롤러(120)가 춤동작으로 제어하게 되는 것이다.In the robot platform 100, only the characteristic information of the music is analyzed and transmitted to the terminal 200, and the terminal 200 is precisely analyzed by software. The analysis in the terminal 200 is to analyze the music in the music analysis and control unit 214, to build the dance motion library 212, find the dance motion information of the genre in accordance with the music analysis information, and found The dance motion information is processed based on the music analysis information and the dance motion generator 213 generates a dance motion. The dance motion information generated by the dance motion generation unit 213 is transmitted through the communication unit 211, received by the communication unit 140 of the robot platform 100, and transferred to the dance motion compensation control unit 116. The dance motion compensation control unit 116 compensates for the size or variation of the received dance motion according to simple information such as sound volume or speed among the information briefly analyzed by the music analyzer 113 and synchronizes with music. The signal is transmitted to the robot controller 120. Accordingly, the robot controller 120 is to control the dance movement.

따라서, 도 3과 같은 응용 실시예를 로봇 플렛폼(100)에 고가의 프러세서나 대용량 저장장치등을 사용하지 않고, 단순한 음악 분석 및 춤동작 보상과 통신 제어등을 수행할 수 있도록 저가형으로 구성하고, 음악에 대한 정밀 분석 및 춤동작 라이브러리 구축과 춤동작 생성등은 단말기 즉, PC에서 수행하여 로봇으로 전송하게 한 것이다.Therefore, the application embodiment as shown in FIG. 3 is configured at low cost so that simple music analysis, dance motion compensation, and communication control can be performed without using expensive processors or mass storage devices in the robot platform 100. , Music analysis, dance motion library construction and dance motion generation are performed on the terminal, PC, and transmitted to the robot.

그리고 도 3의 응용 실시예를 더 확장하여 네트웍으로 연결하여 네트웍 상에서 서버와 연결되고, 서버에서 춤동작 라이브러리를 생성하여 각 단말기에 다운로드 할 수 있도록 하고, 음악 분석과, 춤동작 라이브러리, 춤동작 생성등을 서버에서 처리하게 할 고 단말기는 로봇 프랫폼과의 통신 중계만 하게 구성(예; 라우터)할 수도 있다.3 further extends the application embodiment of FIG. 3 to connect to a network to connect to a server on the network, to create a dance motion library on the server to be downloaded to each terminal, music analysis, dance motion library, dance motion generation The terminal may be configured to handle communication with the robot platform only (eg, a router).

통신방법은 무선통신을 기반으로 하되, 유선통신도 가능하나 이는 로봇 플랫폼의 춤동작에 따른 이동과 움직임에 제약을 줄 수도 있으나 모델에 따라서는 유선 연결도 가능하다.The communication method is based on wireless communication, but wired communication is possible, but this may limit movement and movement due to the dance movement of the robot platform, but wire connection may be possible depending on the model.

또한, 도 4는 본 발명에 의한 또 다른 실시 예를 보인 춤추는 로봇의 구성도 로서, 이에 도시된 바와 같이, 라인 입력단자(161)와, 스피커(162)와, 상기 라인 입력단자(161)에서 입력된 오디오신호를 재생시켜 상기 스피커(162)를 통해 출력함과 아울러 재생된 음악출력을 상기 오디오 입력부(112)에 입력시키는 오디오 재생기(160)를 더 포함하여 구성된다.In addition, Figure 4 is a block diagram of a dancing robot according to another embodiment of the present invention, as shown in the line input terminal 161, the speaker 162, and the line input terminal 161 And an audio player 160 for reproducing the input audio signal through the speaker 162 and inputting the reproduced music output to the audio input unit 112.

이와 같이 구성된 본 발명의 또 다른 실시예는, 외부에서 라인 입력으로 음악 파일 신호를 입력하면 음악 재생기(160)가 라인 입력된 음악 파일을 저장하여 두고, 저장된 음악 파일중 선택된 임의의 음악 파일을 재생하여 스피커로 출력함과 아울러 오디오 입력부(112)로 입력시켜 음악 분석에 따른 춤 동작을 생성하여 음악에 따라 춤을 출수 있도록 할 수 있다. 여기서, 라인 입력된 음악 파일을 저장하는 저장수단(메모리)과, 이를 선택하는 버튼, 및 디스플레이등을 도면에 표시하지 않았으나, 음악 재생기의 구성으로서 모두 포함되어 구성될 수 있다.According to another embodiment of the present invention configured as described above, when a music file signal is input from a line input from the outside, the music player 160 stores the line input music file, and plays any music file selected from the stored music files. By outputting to the speaker as well as input to the audio input unit 112 can generate a dance motion according to the music analysis to be able to dance according to the music. Here, the storage means (memory) for storing the line-in music files, the buttons for selecting them, the display, etc. are not shown in the drawing, but may be included as the configuration of the music player.

따라서, MP3파일등을 미리 로봇에 복수의 곡을 저장하여두고, 버튼등을 이용해서 선택하여 재생시키면서 춤을 추게 선택한다면, 음악 재생과 함께 춤을 추도록 할 수 있는 것이다. 즉, 도 1 - 도 3에서는 외부에서 들려주는 음악에 대해 춤을 추게 하는 것이고, 도 4의 구성은 자체 저장된 음악을 재생하면서 해당 음악에 맞는 춤을 추도록 할 수 있게 된다.Therefore, if the MP3 file or the like is stored in advance in a plurality of songs in the robot, and selected to be played while being selected and played by using a button or the like, the dance can be performed together with the music play. That is, in FIG. 1 to FIG. 3, the dance is performed on the music played from the outside, and the configuration of FIG. 4 makes it possible to dance the music while playing the stored music.

이상에서 상세히 설명한 바와 같이 본 발명은 음악을 들으면 그 음악을 분석하여 음악에 맞는 춤을 추게 하는 로봇을 구현할 수 있게된다. 이에 따라 음악과 무관하게 의미없는 동작을 하던 종래의 로봇에 비해 음악에 따라 춤동작을 생성하여 음악에 맞추어서 춤을 추게 할 수 있으므로 휴머노이드 로봇에서 더욱 친근한 느낌을 전달 할 수 있는 효과가 있다. As described in detail above, the present invention enables the implementation of a robot that dances to music by analyzing the music when listening to the music. Accordingly, compared to the conventional robot, which had no meaningless motion regardless of music, the dance motion can be generated according to the music and danced according to the music, so that the humanoid robot can deliver a more friendly feeling.

Claims

In the robot that the robot controller can control the articulated movement means of the robot to move the robot in various motions,

Receives external music sound through microphone or inputs external music through line input, analyzes parameters for dance movement, finds dance motion library stored in advance based on the analyzed parameters, and adds to the dance motion information of the corresponding dance motion library. Music analysis and dance motion generating means for generating dance motion information, which is control information for controlling the multi-joint motion means, respectively, based on the analyzed parameters and transmitting the dance motion information to the robot controller to perform a dance in accordance with music. Robots that dance according to music, characterized in that the composition.

The method of claim 1, wherein the music analysis and dance motion generation unit,

A microphone for listening to external sounds and music;

An audio input unit configured to receive external audio through the microphone;

A music analyzer analyzing the input music signal to analyze parameters for generating a dance motion;

A dance motion library previously stored in the library as control information for controlling the articulated motion means by the robot controller for a dance motion according to a plurality of basic rhythms for each genre of music;

The dance motion information according to the music of the genre is read from the dance motion library based on the music parameter analyzed by the music analyzer and the motion motion information read by the parameters of music analyzed by the music analyzer is read. Dancing according to music, characterized in that it comprises a dance motion generation and control unit for generating continuous dance motion information according to the music to output the motion control information to the robot controller by applying a.

According to claim 1, The dancing library,

Receives motion capturing the dance movements of the singer or dancer of the music for a plurality of music genres according to the genres of music, and obtains displacement information for each position by matching the motion-captured images with the positions for the robot's dance movements, and for each position. The robot dancing according to music, characterized in that the control information of each motion control means of the robot is obtained with respect to the displacement information, and a dance motion information library is generated and stored.

In the robot controller 120 is configured to move the robot in various motions by controlling the articulation operation means 130 of the robot,

Robot platform 100; Comprising a terminal 200 for generating and providing dance motion information by communicating with the robot platform 100,

The robot platform 100,

Receives music through the microphone and analyzes the music and transmits the analysis information, and compensates the received dance motion information by considering the music characteristics according to the music analysis, and then analyzes the music to output the dance motion control information to the robot controller 120. And dance motion generating means 110,

A communication unit 140 for transmitting the characteristic information by the music analysis to the external terminal 200 and receiving the dance motion information transmitted from the terminal 200;

And a control unit 150 for controlling the communication of the communication unit 140 and controlling the music analysis and dance motion generation means 110 to control the dance motion according to music analysis.

The terminal 200,

Communication unit 211 for communicating with the robot platform 100,

The dance motion library 212 previously stored a plurality of dance motion information for each music genre, and the dance motion library 212 based on music analysis information of the robot platform 100 received through the communication unit 211. Dance motion generation unit 213 for reading the corresponding dance motion information of the genre to generate the dance motion information according to the music analysis information;

Control the dance motion generator 213 by precisely analyzing the music analysis information received along with the communication control of the communication unit 211, extracting parameters for finding the genre of music and the dance motion library and parameters for generating the dance motion. A robot dancing according to music characterized in that it comprises a music analysis and the control unit 214.

The method according to any one of claims 1 to 4,

The audio input unit 112 reproduces the audio signal input from the line input terminal 161, the speaker 162, and the line input terminal 161 and outputs the reproduced music output through the speaker 162. The robot dancing according to music, characterized in that it further comprises an audio player (160) to input.