KR100762585B1 - Apparatus and method of music synchronization based on dancing - Google Patents

Apparatus and method of music synchronization based on dancing Download PDF

Info

Publication number
KR100762585B1
KR100762585B1 KR1020050063310A KR20050063310A KR100762585B1 KR 100762585 B1 KR100762585 B1 KR 100762585B1 KR 1020050063310 A KR1020050063310 A KR 1020050063310A KR 20050063310 A KR20050063310 A KR 20050063310A KR 100762585 B1 KR100762585 B1 KR 100762585B1
Authority
KR
South Korea
Prior art keywords
music
rhythm
information
database
movement
Prior art date
Application number
KR1020050063310A
Other languages
Korean (ko)
Other versions
KR20070008238A (en
Inventor
최우영
전혜정
도대원
조성문
배소영
송건호
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020050063310A priority Critical patent/KR100762585B1/en
Publication of KR20070008238A publication Critical patent/KR20070008238A/en
Application granted granted Critical
Publication of KR100762585B1 publication Critical patent/KR100762585B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/135—Musical aspects of games or videogames; Musical instrument-shaped game input interfaces
    • G10H2220/141—Games on or about music, i.e. based on musical knowledge, e.g. musical multimedia quizzes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2230/00—General physical, ergonomic or hardware implementation of electrophonic musical tools or instruments, e.g. shape or architecture
    • G10H2230/005—Device type or category
    • G10H2230/015—PDA [personal digital assistant] or palmtop computing devices used for musical purposes, e.g. portable music players, tablet computers, e-readers or smart phones in which mobile telephony functions need not be used

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 재생되는 음악에 맞추어 그 음악에 적절한 율동을 해당 데이터 베이스로부터 추출하여 사용자에게 제공할 수 있는 댄싱 엑스퍼트 시스템(Dancing Expert System)에 관한 것이다.The present invention relates to a Dancing Expert System capable of extracting a rhythm appropriate for the music from the database in accordance with the music to be played and providing the same to the user.

본 발명은 전문 댄서의 음악에 대응하는 율동을 모션 캡쳐(motion capture)하고 이를 데이터 베이스로 구축하여 저장한다. 그리고, 특정 음악을 재생할 때 해당 음악의 장르 등에 따른 음악적 특성에 기반하여 해당 음악에 적절한 율동을 상기 구축된 율동 데이터 베이스로부터 추출하고 이 것을 애니매이션 오브젝트(animation object)에 매칭시켜 디스플레이하여 줌으로써, 사용자가 음악을 감상할 때 해당 음악에 적절한 애니매이션 오브젝트의 율동과 음악의 시청각적인 동시 감상이 가능하게 한다.The present invention motion capture corresponding to the music of a professional dancer (motion capture) and builds and stores it as a database. When playing a specific music, the user extracts a rhythm suitable for the music based on the musical characteristics according to the genre of the music, etc. from the established rhythm database, and displays the matching rhythm with an animation object. When listening to music, the animation of the animation object appropriate for the music and the audio-visual simultaneous listening of the music are made possible.

음악, 동조화, 댄싱, 율동, 애니매이션 오브젝트 Music, Synchronization, Dancing, Dancing, Animation Objects

Description

율동 기반 음악 동조화 장치 및 방법{APPARATUS AND METHOD OF MUSIC SYNCHRONIZATION BASED ON DANCING}Rhythm-based music synchronization apparatus and method {APPARATUS AND METHOD OF MUSIC SYNCHRONIZATION BASED ON DANCING}

도1은 본 발명에서 전문 댄서로부터 율동 데이터 베이스를 구축하기 위한 모션 캡쳐 데이터를 수집하기 위한 방법의 개요를 나타낸 도면1 shows an overview of a method for collecting motion capture data for building a rhythm database from a professional dancer in the present invention.

도2는 본 발명에서 율동 데이터 베이스 구축방법의 예를 나타낸 도면2 is a diagram showing an example of a method for establishing a rhythm database in the present invention;

도3은 본 발명에서 율동 데이터 베이스를 기반으로 음악에 율동을 동조화시키는 시스템의 구성을 나타낸 도면3 is a diagram showing the configuration of a system for synchronizing rhythm with music based on the rhythm database in the present invention;

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for main parts of the drawings>

30: 입력 음악신호 40: 동조화 시스템30: input music signal 40: synchronization system

41: 율동 데이터 베이스 42: 분석모듈41: Activity database 42: Analysis module

43: 검색모듈 44: 출력모듈43: search module 44: output module

50: 디스플레이부50: display unit

본 발명은 재생되는 음악에 맞추어 그 음악에 적절한 율동을 사용자에게 제공할 수 있는 댄싱 엑스퍼트 시스템(Dancing Expert System)으로서, 율동 기반의 음악 동조화 장치와 율동 데이터 베이스 기반의 음악 동조화 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a dancing expert system capable of providing a user with an appropriate rhythm to a music to be played, and relates to a rhythm-based music synchronization device and a rhythm database-based music synchronization method.

일반 가정에서 사용하는 음향기기 뿐만 아니라, 퍼스널 컴퓨터에서도 음악 재생이 가능하며, 특히 휴대 가능한 단말기로서 MP3플레이어 뿐만 아니라 휴대폰 등과 같은 개인용 단말기에서도 오디오 재생 시스템이 탑재되어 사용되고 있다.In addition to the sound equipment used in the home, music can be played on a personal computer. In particular, as a portable terminal, an audio playback system is used in a personal terminal such as a mobile phone as well as an MP3 player.

이러한 오디오 시스템에서 음악 등을 재생하는 경우 시각화 효과를 동반하는 경우가 적지 않다. 대부분의 미디어 플레이어(media player)에서는 음악을 재생하면서 음악의 특징을 보통의 경우 음압 정보 또는 주파수 스펙트럼 정보를 화면에 함께 나타내어 시각적인 효과를 낸다. 그렇지만 이러한 음악의 표현 방법은 매우 진부하며 사용자에게 재미를 줄 수 없다.When playing music on such an audio system, it is often accompanied by visualization effects. In most media players, while playing music, the characteristics of the music are usually displayed together with sound pressure information or frequency spectrum information on the screen to produce a visual effect. However, the way of expressing such music is very cliché and cannot be fun for the user.

단순한 음압 정보나 주파수 스펙트럼 정보를 화면에 나타내는 방법의 진부함에서 벗어나기 위하여, 음악 재생에 맞추어 적당한 이미지를 순차적으로 디스플레이하는 기술도 선보이고 있다. 이 기술은 미리 준비된 특정 이미지들을 음악에 맞추어 순차적으로 재생함으로써 시각적인 효과를 내기도 한다.In order to escape from the triviality of displaying simple sound pressure information or frequency spectrum information on the screen, a technology of sequentially displaying appropriate images in accordance with music reproduction is also introduced. The technology also creates a visual effect by sequentially playing specific images that are prepared in advance with music.

본 발명의 목적은 음악 재생 시, 미리 준비된 율동 데이터 베이스를 이용해서 해당 음악에 적당한 율동을 음악 재생에 맞추어 함께 출력해 줄 수 있도록 한 율동 기반의 음악 동조화 장치와 그 방법을 제공하는데 있다.SUMMARY OF THE INVENTION An object of the present invention is to provide a rhythm-based music synchronizing apparatus and a method for outputting a rhythm suitable for a corresponding music by using a rhythm database prepared in advance.

본 발명의 다른 목적은 음악 재생 시, 해당 음악의 특성을 분석하고, 분석된 특성에 기반하여 그 음악에 적절한 율동 정보를 검색하고, 검색된 율동 정보를 토대로 애니매이션 오브젝트의 동작을 유도하여 이를 디스플레이 함으로써, 음악 재 생 시에 시청각적인 감상 효과를 함께 확보할 수 있도록 한 율동 기반의 음악 동조화 장치와 그 방법을 제공하는데 있다.Another object of the present invention is to analyze the characteristics of the music when playing the music, to search the behavior information appropriate to the music based on the analyzed characteristics, to induce the operation of the animation object based on the searched movement information and display it, The purpose of the present invention is to provide a rhythm-based music synchronizing device and method for securing audio-visual appreciation effects during music playback.

본 발명의 또 다른 목적은 음악 파일에 해당 음악의 특성에 따른 율동 정보를 포함시키고, 율동 정보가 포함된 음악 콘텐트의 재생 시, 상기 율동 정보를 추출하여 해당 율동 정보에 의해서 애니매이션 오브젝트의 동작을 유도하고 이를 디스플레이 함으로써, 음악 재생 시에 시청각적인 감상 효과를 함께 확보할 수 있도록 한 율동 기반 음악 동조화 장치와 그 방법을 제공하는데 있다.It is still another object of the present invention to include the rhythm information according to the characteristics of the music in the music file, and extract the rhythm information when the music content including the rhythm information is reproduced to induce the motion of the animation object by the rhythm information. The present invention provides a rhythm-based music synchronizing apparatus and method for securing audiovisual listening effects when playing music.

상기 목적을 달성하기 위한 본 발명의 율동 기반 음악 동조화 장치는, 음악에 대응한 율동 정보가 저장되는 율동 데이터 베이스; 재생 음악에 대응하는 율동을 검색하기 위하여 음악 특성을 분석하는 수단; 상기 음악 특성 분석수단에 의해서 분석된 음악의 특성에 따라 상기 율동 데이터 베이스에서 적절한 율동 정보를 검색하는 수단; 상기 검색수단에서 검색된 율동을 해당 음악에 동조화시켜 출력하는 수단; 을 포함하여 이루어지는 것을 특징으로 한다.A rhythm-based music synchronizing apparatus of the present invention for achieving the above object includes a rhythm database in which rhythm information corresponding to music is stored; Means for analyzing a music characteristic to search for a rhythm corresponding to the played music; Means for retrieving appropriate rhythm information from the rhythm database according to the characteristics of the music analyzed by the music characteristic analysis means; Means for synchronizing and outputting the rhythm searched by the search means with the music; Characterized in that comprises a.

또한 상기 목적을 달성하기 위한 본 발명의 율동 기반 음악 동조화 방법은, 재생 음악신호에 대하여 파형 분석을 기반으로 해당 음악의 특징을 추출하는 단계; 상기 추출된 음악 특징을 이용해서 율동 데이터 베이스로부터 해당 음악에 적절한 율동 정보를 검색하는 단계; 상기 검색된 율동 정보를 해당 음악의 재생에 맞추어 출력하는 단계; 를 포함하여 이루어지는 것을 특징으로 한다.In addition, the rhythm-based music synchronizing method of the present invention for achieving the above object comprises the steps of: extracting a feature of the music based on the waveform analysis of the playback music signal; Retrieving activity information suitable for the music from the activity database using the extracted music feature; Outputting the found activity information in accordance with the reproduction of the music; Characterized in that comprises a.

또한 본 발명에서 상기 율동 데이터 베이스는 전문 댄서가 음악에 맞추어 추 는 춤동작을 모션 캡쳐하여 구성된 것임을 특징으로 한다.In addition, the rhythm database in the present invention is characterized in that it is configured by motion capture the dance movements that the professional dancers dance to the music.

또한 본 발명에서 상기 율동 데이터와 음악 데이터는 각각의 파일로 저장된 것임을 특징으로 한다.In the present invention, the rhythm data and the music data are characterized in that each file is stored.

또한 본 발명에서 상기 율동 데이터는 음악 데이터 파일에 태그(TAG) 형식으로 포함된 것임을 특징으로 한다.In the present invention, the rhythm data is characterized in that it is included in the tag (TAG) format in the music data file.

또한 본 발명에서 상기 율동 데이터와 음악 데이터의 동조화를 위한 검색 파라미터는 웨이브(wave) 파형인 것을 특징으로 한다.In the present invention, the search parameter for the synchronization of the rhythm data and the music data is characterized in that the wave (wave) waveform.

또한 본 발명에서 상기 율동 데이터는 2차원 율동 데이터나 3차원 율동 데이터인 것을 특징으로 한다.In the present invention, the rhythm data is characterized in that the two-dimensional rhythm data or three-dimensional rhythm data.

또한 본 발명에서 상기 검색된 율동 데이터를 애니매이션 오브젝트에 적용하여 율동에 맞춘 애니매이션 오브젝트 동작을 유도 및 디스플레이하는 것을 특징으로 한다.In addition, the present invention is characterized by deriving and displaying the animation object motion according to the movement by applying the searched movement data to the animation object.

또한 본 발명에서 상기 율동 지속시간과 음악 지속시간을 동조화시키는 것을 특징으로 한다.In the present invention, it is characterized in that the rhythm duration and the music duration.

또한 상기 목적을 달성하기 위한 본 발명의 율동 기반 음악 동조화 장치는, 음악 파일에 포함된 율동 정보를 추출하는 수단; 상기 추출된 율동 정보를 애니매이션 오브젝트에 반영하여 애니매이션 오브젝트가 해당 율동을 모사하도록 처리하는 수단; 상기 율동을 모사하는 애니매이션 오브젝트와 해당 음악 재생을 동기화하여 출력하는 수단; 을 포함하여 이루어지는 것을 특징으로 한다.In addition, the rhythm-based music synchronization apparatus of the present invention for achieving the above object, means for extracting rhythm information contained in the music file; Means for reflecting the extracted activity information to an animation object so that the animation object simulates the corresponding activity; Means for synchronizing the animation object with the movement and outputting the music; Characterized in that comprises a.

또한 상기 목적을 달성하기 위한 본 발명의 율동 기반 음악 동조화 방법은, 음악 파일에 해당 음악의 특징에 기반한 특정 율동 정보를 포함하여 음악 콘텐트를 제공하는 단계; 상기 음악 콘텐트로부터 음악 데이터와 율동 정보를 분리하는 단계; 상기 분리된 율동 정보를 애니매이션 오브젝트에 반영하여 애니매이션 오브젝트가 해당 율동을 모사하는 단계; 상기 분리된 음악 데이터와 애니매이션 오브젝트를 동조화하여 재생 및 디스플레이 하는 단계; 를 포함하여 이루어지는 것을 특징으로 한다.In addition, the rhythm-based music synchronizing method of the present invention for achieving the above object comprises the steps of: providing music content including specific rhythm information based on the characteristics of the music in the music file; Separating music data and activity information from the music content; Reflecting the separated activity information on the animation object to simulate the activity by the animation object; Synchronizing and playing and displaying the separated music data and animation object; Characterized in that comprises a.

상기한 바와 같이 이루어지는 본 발명의 율동 데이터 베이스 기반 음악 동조화 시스템의 실시예를 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다.An embodiment of the rhythm database-based music synchronization system of the present invention made as described above will be described in detail with reference to the accompanying drawings.

본 발명에서 율동 데이터 베이스를 기반으로 하여 음악에 맞춘 율동을 출력하는 시스템을 엑스퍼트 시스템(expert system)-전문가 시스템으로 명명하며, 그 기본 개념은 어떤 전문적인 데이터 베이스를 이용해서 새로운 입력에 적당한 출력을 내어 주는 것이다.In the present invention, a system for outputting a rhythm to a music based on a rhythm database is called an expert system-expert system, and the basic concept is to use an expert database to provide an appropriate output for a new input. It is given out.

본 발명에서의 전문적인 데이터 베이스로는 여러 음악에 대하여 전문적인 댄서가 춤을 추는 동작, 즉 율동(혹은 안무)을 2차원 또는 3차원 모션 캡쳐(motion capture)한 데이터와 이에 대응되는 음악을 사용한다.As a professional database in the present invention, data of a professional dancer dancing on various music, that is, data captured by two-dimensional or three-dimensional motion capture of a rhythm (or choreography) and music corresponding thereto are used. do.

율동 데이터 베이스화 과정에서 필요한 모션 캡쳐(motion capture) 과정은 이미 컴퓨터 애니매이션(computer animation)이나 영화의 특수 효과에 널리 사용되는 기술로써, 예를 들면 전문 댄서의 몸에 몇 개의 신호 전송기(signal transmitter)를 장착하고 이를 2차원이나 3차원 상의 움직임으로 컴퓨터에서 인식하는 기술이다. 이러한 방법들은 기존에 이미 알려진 기술을 사용하는 것이므로 본 발명에서 이에 대한 구체적인 설명은 생략하기로 한다. 다만, 알려진 애니매이션 캡쳐 시스템을 토대로 하여 전문 댄서가 추는 춤동작을 2차원이나 3차원으로 모션 캡쳐한 것을 율동 데이터 베이스로 구축하고, 이 율동 데이터 베이스 자원을 활용하는 것이 본 발명의 핵심이 되는 기술 내용이다.The motion capture process required for rhythm database is already widely used in computer animation or movie special effects. For example, a professional dancer's body has several signal transmitters. It is a technology that recognizes a computer with two-dimensional or three-dimensional movement. Since these methods use a known technique, a detailed description thereof will be omitted in the present invention. However, based on the known animation capture system, the motion capture of a dance performed by a professional dancer in two or three dimensions is constructed using a rhythm database, and utilizing the rhythm database resource is the core of the present invention. to be.

즉, 본 발명에서는 음악이 재생될 때 어떤 춤 동작-율동(혹은 안무)이 해당 음악에 잘 어울릴지를 엑스퍼트 시스템을 이용하여 자동으로 맞추어 주는 방법과 그 장치를 제시한다.That is, the present invention proposes a method and an apparatus for automatically adjusting which dance movement-movement (or choreography) is suitable for the music when the music is played using the expert system.

이를 위하여, 본 발명은 전문 댄서가 춤추는 여러 가지 동작을 2차원이나 3차원의 동작으로 모션 캡쳐하고 이 것을 데이터 베이스화한 후, 엑스퍼트 시스템-전문가 시스템을 구축하는 것이다.To this end, the present invention is to capture the various motions of a professional dancer in a two-dimensional or three-dimensional motion and to database them, to build an expert system-expert system.

또한, 상기 엑스퍼트 시스템을 이용하여 어떤 음악에도 어울리는 춤 동작을 자동으로 찾아주는 방법을 제시한다. 이렇게 검색된 안무 동작은 단말기에서 음악이 재생될 때 애니매이션 오브젝트(animation object) 등의 동작과 맵핑하여 화면에 재생될 수 있다. 본 발명에서 애니매이션 오브젝트(animation object)는 사이버 캐릭터(cyber character)나 아바타(avatar)의 개념으로 이해하면 충분할 것이다.In addition, the present invention provides a method for automatically finding a dance motion that matches any music using the expert system. The choreographed motion thus retrieved may be reproduced on the screen by mapping with an animation object or the like when music is played on the terminal. In the present invention, the animation object may be sufficient as the concept of a cyber character or an avatar.

앞서 설명한 바와 같이, 전문 댄서의 여러 가지 춤 동작을 2차원이나 3차원으로 모션 캡쳐하고 여기서 얻어진 데이터를 데이터 베이스화하여 엑스퍼트 시스템을 구축한다.As described above, the motion system of the professional dancer is motion-captured in two or three dimensions, and the data obtained therefrom is used to construct an expert system.

도1은 본 발명에서 전문 댄서로부터 율동 데이터 베이스를 구축하기 위한 모션 캡쳐 데이터를 수집하기 위한 방법을 개념적으로 보여준다.1 conceptually illustrates a method for collecting motion capture data for building a rhythm database from a professional dancer in the present invention.

도1에서와 같이, 전문 댄서(10)들의 몸에 모션 캡쳐를 위한 신호 송신기(signal transmitter)(11)를 관절과 중요 위치에 장착하여 놓은 상태로 여러가지 다양한 춤 동작을 다양한 음악에 맞추어 추게 하고, 여기서 얻어진 모션 캡쳐 데이터와 음악을 함께 데이터 베이스화한다.As shown in FIG. 1, various dance movements are performed to various music in a state in which a signal transmitter 11 for capturing motion is mounted on a joint and an important position in a body of professional dancers 10, The motion capture data obtained here and music are databased together.

앞서 이미 설명한 바와 같이, 춤 동작 정보를 수집하는 방법은 기존의 애니매이션 구축 시스템이나 영화 등의 특수효과 촬영기법에 널리 쓰이는 방법을 사용할 수 있다. 이 때 얻어진 춤 동작, 즉 율동 정보는 전문 댄서의 몸에 부착한 신호 송신기(11)의 위치 정보와, 율동에 따른 움직임 정보가 함께 수집되며, 벡터(vector)로 표현될 수 있다. 이렇게 수집되는 율동 정보는 2차원 정보일 수도 있고 3차원 정보일 수도 있다. 본 발명에서는 2차원 또는 3차원의 율동 정보를 수집하고, 해당 정보를 음악에 대응시켜 데이터 베이스화 한다.As described above, the method of collecting dance motion information may use a method widely used in a conventional animation construction system or a special effect photographing technique such as a movie. The dance motion, that is, the motion information obtained at this time, is collected together with the position information of the signal transmitter 11 attached to the body of a professional dancer and the motion information according to the motion, and can be expressed as a vector. The activity information collected in this manner may be two-dimensional information or three-dimensional information. In the present invention, two-dimensional or three-dimensional rhythm information is collected, and the information is corresponded to music to make a database.

도2는 본 발명에서 율동 데이터 베이스 구축방법의 예를 나타낸 도면이다. 도2에 나타낸 바와 같이 전문 댄서들의 춤 동작들은 벡터 정보(21)의 형태로 수집된다. 수집된 전문 댄서들의 춤 동작 정보는 데이터 베이스(22)로 구축되는데, 데이터 베이스(22)의 단위는 하나의 춤 동작으로 나눈다. 이렇게 하면 한 곡의 음악에서도 여러 가지 춤 동작 데이터 베이스를 구할 수 있다. 이 데이터 베이스(22)는 엑스퍼트 시스템에 사용될 것이기 때문에 전문 댄서의 춤 동작이 어떤 반복적인 구간에서는 유사한 춤 동작으로 반복될 수도 있고, 그렇지 않을 수도 있으므로, 데이터 베이스를 구축할 때에는 유사한 율동이 반복되지 않도록 세심하게 데이터 베이스화함으로써, 데이터 량을 줄일 수 있을 뿐만 아니라 제한된 메모리 자원을 이용 하여 보다 더 풍부한 춤 동작 데이터 베이스를 구축할 수 있을 것이다.2 is a diagram showing an example of a method for establishing a rhythm database in the present invention. As shown in Fig. 2, the dance movements of the professional dancers are collected in the form of the vector information 21. The dance motion information of the collected professional dancers is constructed as a database 22, and the unit of the database 22 is divided into one dance motion. This will allow you to get a database of different dance movements in a single piece of music. Since the database 22 will be used in an expert system, the dance movements of a professional dancer may or may not be repeated with similar dance movements in some repetitive sections, so that similar movements are not repeated when building the database. With careful databaseization, you will not only reduce the amount of data, but also build a richer dance motion database with limited memory resources.

이와 같이 전문 댄서들의 춤 동작이 여러가지 다양한 장르의 음악에 대하여 충분하게 모션 캡쳐되고 또 이 것이 데이터 베이스로 구축된다. 그렇게 하면 이 데이터 베이스(22)를 바탕으로 엑스퍼트 시스템을 구성할 수 있게 된다.As such, the dance movements of professional dancers are sufficiently motion-captured for various different genres of music, and these are built into a database. Doing so makes it possible to construct an expert system based on this database 22.

엑스퍼트 시스템에서의 입력 파라미터(parameter)는 음악의 웨이브(wave) 파형이 될 것이고, 이 것을 데이터 베이스(22)에 있는 음악들의 웨이브 파형과 비교한다. 그리고, 상기 비교 결과에 따라 해당 음악을 적절한 구간으로 나누어서 데이터 베이스(22)에서 대응되는 춤 동작과 연결해 준다.The input parameter in the Expert system will be the wave waveform of the music, which is compared with the wave waveform of the music in the database 22. According to the comparison result, the music is divided into appropriate sections and connected to the corresponding dance movement in the database 22.

도3은 본 발명에서 율동 데이터 베이스를 기반으로 음악에 율동을 동조화시키는 시스템의 구성을 보여준다. 입력 음악신호(30)는 동조화 시스템(40)에서 분석되고 해당 율동이 검색되며, 검색된 율동이 디스플레이부(50)에 표시된다. 입력 음악신호(30)는 음악 웨이브(wave) 파형의 형태로 입력된다. 동조화 시스템(40)은 앞서 설명한 율동 데이터 베이스(41)와, 입력 음악 파형의 분석모듈(42), 파형 분석 결과를 토대로 데이터 베이스에서 해당 율동 정보를 검색하는 검색모듈(43), 그리고 검색된 율동 정보를 출력해 주는 출력모듈(44)을 포함한다.3 shows the configuration of a system for synchronizing rhythm with music based on the rhythm database in the present invention. The input music signal 30 is analyzed in the synchronizing system 40 and the corresponding rhythm is searched, and the searched rhythm is displayed on the display unit 50. The input music signal 30 is input in the form of a music wave waveform. The tuning system 40 includes the above-described rhythm database 41, the analysis module 42 of the input music waveform, the search module 43 for searching the rhythm information in the database based on the waveform analysis result, and the searched rhythm information. It includes an output module 44 for outputting.

동조화 시스템(40)의 율동 데이터 베이스(41)에는 상기한 바와 같이 전문 댄서들의 춤 동작-율동 정보를 모션 캡쳐를 기반으로 하여 구한 율동 정보가 저장된다. 여기에 저장되는 율동 정보는 2차원 율동 정보이거나 3차원 율동 정보이며, 음악 파일에 태그(TAG) 형태로 포함되거나, 음악 파일과 별도로 율동 파일의 형태로 저장된다. 그리고, 율동 정보는 하나의 춤 동작 단위로 나뉘며, 각각에 대하여 검 색이 이루어질 수 있도록 그 율동의 특징별로 인덱싱될 수 있다. 예를 들면, 음악의 빠르기나 비트, 장르 등으로 인덱싱될 수 있다.In the movement database 41 of the synchronization system 40, the movement information obtained based on the motion capture of the dance movement-movement information of the professional dancers is stored as described above. The movement information stored here is two-dimensional movement information or three-dimensional movement information, and is included in a tag (TAG) form in the music file or stored in the form of a movement file separately from the music file. In addition, the activity information is divided into one dance movement unit and may be indexed according to the characteristics of the action so that a search can be performed for each of them. For example, it can be indexed by the speed, beat, genre, etc. of the music.

분석모듈(42)은 입력 음악신호(30)를 파형 기반으로 분석하여 그 음악의 특징을 추출한다. 음악의 특징이 추출되면 해당 결과는 검색모듈(43)로 전달된다. 검색모듈(43)에서는 추출된 음악적 특징을 이용해서 율동 데이터 베이스(41)로부터 해당 음악에 적합한 율동 정보를 검색해 낸다.The analysis module 42 analyzes the input music signal 30 based on the waveform to extract the feature of the music. When the feature of the music is extracted, the result is transmitted to the search module 43. The search module 43 searches for activity information suitable for the music from the movement database 41 using the extracted musical features.

출력모듈(44)은 상기 검색모듈(43)의 검색 결과를 받아서 이를 해당 음악에 동조화시켜 출력해 준다. 율동과 음악의 동조화 방법으로는 율동 지속 시간과 음악 지속 시간을 비교하여, 율동 지속 시간이 음악 지속 시간보다 짧을 경우에는 율동의 출력 횟수를 늘려주고, 율동 지속 시간이 음악 지속 시간보다 긴 경우에는 율동의 출력 횟수를 줄여줌으로써 이루어질 수 있다.The output module 44 receives the search result of the search module 43 and synchronizes it with the corresponding music and outputs the result. As a method of synchronizing rhythm with music, the duration of the movement is compared with the duration of the music.When the duration of the movement is shorter than the duration of music, the output of the movement is increased, and when the duration of the movement is longer than the duration of music, This can be done by reducing the number of outputs.

출력모듈(44)에서 출력되는 율동과 음악의 동조화 결과는 디스플레이부(50)에 예시된 바와 같이, 율동 정보를 기반으로 특정 애니매이션 오브젝트의 동작을 유도하고 이를 디스플레이하는 기법을 사용할 수 있다. 여기서 애니매이션 오브젝트는 사전에 준비된 것이며, 알려진 그래픽 엔진을 이용해서 구현할 수 있다. 또한, 애니매이션 오브젝트를 여러 개 준비하여 두고, 사용자가 그 중에서 하나를 선택하면 선택된 애니매이션 오브젝트에 상기 율동 정보를 부여하여 해당 애니매이션 오브젝트가 율동 정보에 따른 동작을 수행하도록 할 수도 있다.As shown in the display unit 50, the result of synchronizing rhythm and music output from the output module 44 may use a technique of inducing and displaying an operation of a specific animation object based on rhythm information. Here, the animation object is prepared in advance and can be implemented using a known graphics engine. In addition, a plurality of animation objects may be prepared, and when the user selects one of them, the activity information may be given to the selected animation object so that the corresponding animation object may perform an operation according to the activity information.

이렇게 하면 결국, 애니매이션 오브젝트의 율동은 전문 댄서의 춤 동작을 모사하는 형태가 될 것이므로, 음악과 동조화 된 역동적인 율동이 표현됨으로써, 음 악 감상시에 시청각적인 효과를 극대화할 수 있게 된다.As a result, the movement of the animation object will be a form that simulates the dance movement of a professional dancer, so that the dynamic movement synchronized with the music is expressed, thereby maximizing the audiovisual effect when listening to music.

상기한 바와 같이 구축된 엑스퍼트 시스템을 활용하는 방법은 여러 가지가 있을 수 있다. 예를 들면 퍼스널 컴퓨터(PC) 상에서 어떤 음악 파일을 엑스퍼트 시스템에 입력으로 넣어주면 자동으로 그 음악에 어울리는 춤 동작을 찾아주는 방법이다. 또는, 춤 동작의 데이터를 단말기에서 음악 파일과 함께 사용하여 음악 재생시 애니매이션 오브젝트의 춤 동작으로 연결시켜 주는 방법이다.There may be a number of ways to utilize the expert system constructed as described above. For example, when a music file is input to an expert system on a personal computer (PC), it automatically finds a dance action that matches the music. Alternatively, the dance motion data is used together with the music file in the terminal to connect the dance motion of the animation object when the music is played.

엑스퍼트 시스템에서 얻어지는 춤 동작의 데이터는 2차원이나 3차원의 벡터 값이 될 것이다. 그리고, 음악마다 빠르기나 비트 등이 달라질 것이기 때문에 엑스퍼트 시스템에서는 입력 웨이브 파형에서의 모양을 보고 유사한 웨이브 파형에 해당하는 춤 동작을 찾아 주게 된다. 즉, 입력 웨이브 파형을 분석하고 그 웨이브 파형의 특징을 추출하여 그와 유사도가 높은 웨이브 파형에 해당하는 춤 동작을 해당 데이터 베이스로부터 검색해 주는 것이다. 유사도의 설정은 사용자가 설정할 수도 있고, 디폴트로 설정되어 있을 수도 있다. 유사도가 높은 것을 원하는 경우에는 보다 엄격하고 정밀하게 매칭된 춤 동작이 구해질 것이고, 유사도가 낮아도 무방한 것을 원하는 경우에는 보다 느슨하게 매칭되는 춤 동작이 구해질 것이다.The dance motion data obtained from the Expert system will be two- or three-dimensional vector values. Since the speed and beat of the music will vary, the expert system looks at the shape of the input wave waveform and finds a dance motion corresponding to a similar wave waveform. In other words, it analyzes the input wave waveform, extracts the features of the wave waveform, and searches the corresponding database for the dance motion corresponding to the wave waveform with high similarity. The degree of similarity may be set by the user or may be set by default. If a higher similarity is desired, a more rigorous and precisely matched dance motion will be obtained, and if a lower similarity is desired, a more loosely matched dance motion will be obtained.

여기서, 춤 동작의 지속 시간이 구해진 웨이브 파형의 시간과 다르다면 이를 동조화 할 필요가 있음을 앞서 설명하였다. 즉, 춤 동작의 지속 시간이 웨이브 파형의 시간보다 짧다면 음악 재생이 종료되기도 전에 춤 동작이 중단될 것이고, 춤 동작의 지속 시간이 웨이브 파형의 시간 보다 길다면 음악 재생이 종료되었음에도 불구하고 춤 동작이 계속되어 불편하게 될 것이기 때문이다.Here, it has been described above that if the duration of the dance motion is different from the time of the obtained wave waveform, it is necessary to synchronize it. That is, if the duration of the dance motion is shorter than the time of the wave waveform, the dance motion will be stopped before the music playback ends. If the duration of the dance motion is longer than the time of the wave waveform, the dance motion will continue even though the music playback is finished. It will continue to be uncomfortable.

따라서, 이러한 경우에는 춤 동작의 출력 횟수를 늘리거나 줄임으로써 춤 동작과 웨이브 파형 지속시간의 불일치 문제를 해결할 수 있다. 이를 위하여, 춤 동작 지속 시간과 웨이브 파형 지속 시간을 서로 비교하고, 그 비교 결과에 따라 춤 동작 지속 시간을 웨이브 파형 지속 시간에 맞추어 주기 위한 출력 횟수를 산출하며, 산출된 횟수만큼 해당 춤 동작을 출력해 주는 것이다.Therefore, in this case, it is possible to solve the problem of inconsistency between the dance motion and the wave waveform duration by increasing or decreasing the output frequency of the dance motion. To this end, the dance motion duration and the wave waveform duration are compared with each other, and the number of outputs for matching the dance motion duration with the wave waveform duration is calculated according to the comparison result, and the corresponding dance motion is output by the calculated number of times. It is done.

또한, 앞서 설명한 바와 같이 자동으로 생성된 춤 동작의 데이터, 즉 율동 정보는 음악 파일에 태그(TAG) 형식으로 포함되거나, 춤 동작 파일로써 음악 파일과 함께 저장되어 사용될 수도 있다. 음악 파일에 태그(TAG) 형식으로 포함된 경우에는 음악 콘텐트 자체가 일종의 동조화를 위한 율동 정보를 포함하는 형식이 된다고 볼 수 있고, 별도의 파일로 관리된다면 음악 특성 분석을 기반으로 검색된 율동정보가 특정 음악에 매칭되어 출력되는 시스템이 될 것이다.In addition, as described above, the automatically generated dance motion data, that is, the rhythm information, may be included in the tag in the music file or may be stored and used together with the music file as the dance motion file. When the music file is included in the TAG format, the music content itself may be considered to be a type that includes some kind of rhythm information for synchronizing. If the music file is managed as a separate file, the rhythm information retrieved based on the music characteristic analysis is identified. It will be a system that matches the music and outputs it.

이러한 데이터 파일은 컴퓨터는 물론, 핸드폰이나 PDA, 휴대용 멀티미디어 플레이어 등과 같은 단말기에 저장하고 이를 기반으로 특정 음악 재생 시에 그 음악에 가장 적절한 춤 동작을 끌어내서 디스플레이 함으로써, 본 발명의 엑스퍼트 시스템이 앞서 설명한 다양한 종류의 단말기에서도 사용될 수 있다. The data file is stored in a terminal such as a computer, a mobile phone, a PDA, a portable multimedia player, and the like, and based on this, the expert system of the present invention draws and displays the most suitable dance movement for the music, and thus, the expert system of the present invention has been described above. It can be used in various kinds of terminals.

지금까지는 율동 데이터 베이스를 토대로 하여 음악의 특성에 적당한 율동 정보를 검색하고 이 것을 애니매이션 오브젝트에 반영하여 애니매이션 오브젝트가 상기 해당 율동에 따른 춤 동작을 수행하는 시스템에 대하여 설명하였다.Up to now, a description has been made of a system in which an animation object performs dance motions according to the corresponding movements by searching for movement information suitable for the characteristics of music based on the movements database and reflecting the same on an animation object.

그렇지만 본 발명의 율동 기반 음악 동조화 시스템으로 다음과 같은 예도 가능하다. 즉, 음악 파일이 그 음악 파일에 해당하는 율동 정보를 처음부터 포함하는 형태의 음악 컨텐트로써 제공되는 것이다. 이러한 경우에는 동조화 시스템, 예를 들면 음악을 재생하는 단말기 등에서는 율동 데이터 베이스 없이, 애니매이션 오브젝트에 그 음악에서 추출된 율동 정보를 반영하여 율동 정보가 주는 춤 동작을 유도하고 이를 디스플레이하여 주는 경우가 된다.However, the following example is also possible with the rhythm-based music synchronization system of the present invention. That is, the music file is provided as music content in a form that includes activity information corresponding to the music file from the beginning. In such a case, a synchronization system, for example, a terminal for playing music, may derive and display a dance motion given by the rhythm information by reflecting rhythm information extracted from the music in an animation object without a rhythm database. .

즉, 음악 콘텐트는 사전에 순수한 음악 데이터와 그 음악의 특성에 적합하게 미리 제작되어 부가되는 율동 정보를 포함하고, 이를 재생하는 시스템에서는 상기 음악 파일에 포함된 율동 정보를 추출하는 수단과, 상기 추출된 율동 정보를 토대로 애니매이션 오브젝트의 춤 동작을 유도하는 수단 및, 이를 디스플레이하는 수단을 포함 함으로써, 별도의 율동 데이터 베이스 없이도 매 음악 콘텐트 마다 해당 음악 콘텐트가 포함-제공하는 율동을 애니매이션 오브젝트를 통해서 재현할 수 있게 되는 것이다.That is, the music content includes in advance pure music data and rhythm information that is prefabricated and added to suit the characteristics of the music, and the system for reproducing the rhythm includes means for extracting rhythm information included in the music file; By including means for inducing a dance motion of the animation object based on the rhythm information and the means for displaying the motion information, the animation object to reproduce the rhythm included in the music content for each music content without a separate rhythm database through the animation object It will be possible.

이 경우는 율동정보 추출수단에서 입력 음악 콘텐트로부터 음악 데이터와 율동 정보를 분리하고, 분리된 음악 데이터는 재생하며, 율동 정보는 애니매이션 오브젝트에 반영하여 해당 오브젝트가 율동 정보에 의해서 유도되는 댄서의 춤 동작을 모사하면서 디스플레이되도록 하는 시스템으로 구현된다.In this case, the rhythm information extracting means separates the music data and the rhythm information from the input music content, reproduces the separated music data, and reflects the rhythm information on the animation object so that the object is induced by the rhythm information. It is implemented as a system that allows display while simulating.

또한, 본 발명의 율동 기반 음악 동조화 시스템으로 다음과 같은 예도 가능하다. 즉, 음악 파일이 그 음악 파일의 특징 정보, 예를 들면 장르, 빠르기, 비트 등과 같이 애니매이션 오브젝트의 율동을 정하는데 사용할 수 있는 정보를 포함하고 있고, 동조화 시스템, 예를 들면 음악을 재생하는 단말기 등에서는 상기 제공되는 장르, 빠르기, 비트 등과 같은 정보를 토대로 하여 율동 데이터 베이스로부터 해당되는 적절한 율동 정보를 검색 및 추출하고, 애니매이션 오브젝트에 그 율동 정보를 반영하여 율동 정보가 주는 춤 동작을 유도하고 이를 상기 재생되는 음악에 동조화시켜 디스플레이하여 주는 경우가 된다.In addition, the following example is also possible with the rhythm-based music synchronization system of the present invention. That is, the music file contains the characteristic information of the music file, for example, information that can be used to determine the animation object's movement, such as genre, speed, beat, and the like, and is used in a synchronization system, for example, a terminal that plays music. Searches for and extracts the appropriate rhythm information from the rhythm database based on the information such as genre, speed, beat, and the like, and induces a dance action given by the rhythm information by reflecting the rhythm information in the animation object. This is a case where the display is synchronized with the music to be played back.

본 발명은 어떤 음악에 대하여 춤 동작을 전문 댄서의 춤 동작 데이터 베이스에 근거하여 자동으로 맞추어 주는 방법을 제공한다. 특히, 음악을 재생할 때 애니매이션 오브젝트 등이 음악에 맞추어 자연스럽게 춤 추게 하는 기술적 기반을 제공할 수 있다. 따라서, 음악을 청각에만 의존하여 감상하던 기존의 틀에서 벗어나서, 마치 한 편의 뮤직 비디오를 감상하는 것과 같이 시청각적으로도 해당 음악을 감상할 수 있게 하며, 새로운 음악을 만들었을 때에는 이 음악에 어울리는 춤 동작을 전문 댄서들의 데이터 베이스에 근거하여 시뮬레이션 해 볼 수 있는 수단으로도 활용이 가능한 효과가 있다.The present invention provides a method for automatically adapting a dance movement to a certain music based on a dance motion database of a professional dancer. In particular, when playing music, an animation object or the like may provide a technical basis for naturally dancing to music. Therefore, it is possible to listen to the music visually and visually, as if you were listening to a single music video. It can also be used as a means to simulate movements based on a database of professional dancers.

Claims (15)

음악 파일의 재생시 음악의 특성에 근거하여 움직임이 동반되는 오브젝트의 출력을 수행하는 장치에 있어서,An apparatus for performing an output of an object accompanied by a movement based on a characteristic of a music when playing a music file, 음악 데이터와 그 음악 데이터의 특성에 적합하게 미리 제작되어 부가되는 율동 정보를 함께 포함하는 음악 파일로부터 음악 데이터와 율동 정보를 분리하는 수단;Means for separating the music data and the rhythm information from the music file that includes the music data and the rhythm information that is prefabricated and added to suit the characteristics of the music data; 상기 분리된 율동 정보를 애니매이션 오브젝트에 반영하여 애니매이션 오브젝트가 해당 율동을 모사하도록 처리하는 수단;Means for reflecting the separated activity information in an animation object so that the animation object simulates the activity; 상기 율동을 모사하는 애니매이션 오브젝트와 해당 음악 재생을 동기화하여 출력하는 수단;Means for synchronizing the animation object with the movement and outputting the music; 을 포함하여 이루어지는 것을 특징으로 하는 율동 기반 음악 동조화 장치.A rhythm-based music synchronizing device, characterized in that comprises a. 삭제delete 삭제delete 제 1 항에 있어서, 상기 율동 정보는 음악 데이터 파일에 태그(TAG) 형식으로 포함된 것임을 특징으로 하는 율동 기반 음악 동조화 장치.The apparatus of claim 1, wherein the activity information is included in a tag format in a music data file. 삭제delete 삭제delete 삭제delete 제 1 항에 있어서, 상기 출력수단은 율동 지속시간과 음악 지속시간을 비교하여 서로 일치하지 않을 경우 상기 음악 파일로부터 분리된 율동 정보의 출력 횟수를 음악 지속 시간에 맞추어 늘리거나 줄임으로써 양자를 동조화시키는 것을 특징으로 하는 율동 기반 음악 동조화 장치.The method of claim 1, wherein the output means compares the duration of the movement with the duration of the music and synchronizes the two by increasing or decreasing the number of outputs of the movement information separated from the music file in accordance with the duration of music if they do not coincide with each other. A rhythm-based music synchronizing device, characterized in that. 음악 파일의 재생시 음악의 특성에 근거하여 움직임이 동반되는 오브젝트의 출력을 수행하는 방법에 있어서,In the method of performing the output of the object accompanying the movement based on the characteristics of the music when playing the music file, 음악 데이터와 그 음악 데이터의 특성에 적합하게 미리 제작되어 부가되는 율동 정보를 함께 포함하는 음악 파일을 입력받는 단계;Receiving a music file including music data and rhythm information that is prefabricated and added in accordance with characteristics of the music data; 상기 입력된 음악 파일로부터 음악 데이터와 율동 정보를 분리하는 단계;Separating music data and activity information from the input music file; 상기 분리된 율동 정보를 애니매이션 오브젝트에 반영하여 애니매이션 오브젝트가 해당 율동을 모사하는 단계;Reflecting the separated activity information on the animation object to simulate the activity by the animation object; 상기 분리된 음악 데이터와 애니매이션 오브젝트를 동조화하여 재생 및 디스플레이 하는 단계;Synchronizing and playing and displaying the separated music data and animation object; 를 포함하여 이루어지는 것을 특징으로 하는 율동 기반 음악 동조화 방법.A rhythm-based music synchronizing method comprising a. 제 9 항에 있어서, 상기 율동 정보는 음악 데이터 파일에 태그(TAG) 형식으로 포함된 것임을 특징으로 하는 율동 기반 음악 동조화 방법.10. The method of claim 9, wherein the activity information is included in a tag format in a music data file. 삭제delete 삭제delete 제 9 항에 있어서, 상기 출력단계에서는, 율동 지속시간과 음악 지속시간을 비교하여 서로 일치하지 않을 경우 상기 음악 파일로부터 분리된 율동 정보의 출력 횟수를 음악 지속 시간에 맞추어 늘리거나 줄임으로써 양자를 동조화시키는 것을 특징으로 하는 율동 기반 음악 동조화 방법.10. The method of claim 9, wherein in the outputting step, the duration of the movement and the duration of music are compared to each other by increasing or decreasing the number of outputs of the movement information separated from the music file to match the duration of music when they do not match with each other. A rhythm-based music synchronizing method, characterized in that. 삭제delete 삭제delete
KR1020050063310A 2005-07-13 2005-07-13 Apparatus and method of music synchronization based on dancing KR100762585B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050063310A KR100762585B1 (en) 2005-07-13 2005-07-13 Apparatus and method of music synchronization based on dancing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050063310A KR100762585B1 (en) 2005-07-13 2005-07-13 Apparatus and method of music synchronization based on dancing

Publications (2)

Publication Number Publication Date
KR20070008238A KR20070008238A (en) 2007-01-17
KR100762585B1 true KR100762585B1 (en) 2007-10-01

Family

ID=38010484

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050063310A KR100762585B1 (en) 2005-07-13 2005-07-13 Apparatus and method of music synchronization based on dancing

Country Status (1)

Country Link
KR (1) KR100762585B1 (en)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210109841A (en) 2020-02-28 2021-09-07 주식회사 안무공장 Method for providing supplementary services based on choreography content
KR20210109821A (en) 2020-02-28 2021-09-07 주식회사 안무공장 Recording Method
KR20210109846A (en) 2020-02-28 2021-09-07 주식회사 안무공장 Apparatus for providing supplementary services based on choreography content
KR20210109822A (en) 2020-02-28 2021-09-07 주식회사 안무공장 Program for providing supplementary services based on choreography content
KR20210109829A (en) 2020-02-28 2021-09-07 주식회사 안무공장 Recording Medium
KR20210109837A (en) 2020-02-28 2021-09-07 주식회사 안무공장 Method for providing supplementary services based on choreography content
KR20210109840A (en) 2020-02-28 2021-09-07 주식회사 안무공장 Apparatus for providing supplementary services based on choreography content
KR20210109832A (en) 2020-02-28 2021-09-07 주식회사 안무공장 Program for providing supplementary services based on choreography content
KR20210109825A (en) 2020-02-28 2021-09-07 주식회사 안무공장 Recording Medium
KR20210109828A (en) 2020-02-28 2021-09-07 주식회사 안무공장 Program for providing supplementary services based on choreography content
KR20210109843A (en) 2020-02-28 2021-09-07 주식회사 안무공장 Method for providing supplementary services based on choreography content
KR20210109848A (en) 2020-02-28 2021-09-07 주식회사 안무공장 Apparatus for providing supplementary services based on choreography content
KR20210120613A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Apparatus or providing supplementary services based on choreography contents
KR20210120590A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Method for providing supplementary services based on choreography contents
KR20210120592A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Method for providing supplementary services based on choreography contents
KR20210120623A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Apparatus for providing supplementary services based on choreography contents
KR20210120636A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Apparatus for providing supplementary services based on choreography contents
KR20210120632A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Apparatus for providing supplementary services based on choreography contents
KR20210120600A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Method for providing supplementary services based on choreography contents
KR20210120617A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Apparatus or providing supplementary services based on choreography contents
KR20210120595A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Method for providing supplementary services based on choreography contents
KR20210120591A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Method for providing supplementary services based on choreography contents
KR20210120606A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Method for providing supplementary services based on choreography contents
KR20210120634A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Apparatus for providing supplementary services based on choreography contents
KR20210120625A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Apparatus for providing supplementary services based on choreography contents
KR20210120598A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Method for providing supplementary services based on choreography contents
KR20210120616A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Apparatus or providing supplementary services based on choreography contents
KR20210120607A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Method for providing supplementary services based on choreography contents
KR20210120596A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Method for providing supplementary services based on choreography contents
KR20220040122A (en) 2020-09-23 2022-03-30 주식회사 아이원솔루션 System and method for recognizing and controlling sound sources using rfid

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008148020A2 (en) * 2007-05-25 2008-12-04 Thinking Moves, Llc Method and system of purposeful movement to a steady beat
KR20090002292A (en) 2007-06-26 2009-01-09 삼성전자주식회사 Apparatus and method for synchronizing virtual character with music and sharing it through xml based language
KR102070991B1 (en) * 2017-12-13 2020-01-29 미디어스코프 주식회사 Method for generating choreography of avatar and apparatus for executing the method
CN114820888A (en) * 2022-04-24 2022-07-29 广州虎牙科技有限公司 Animation generation method and system and computer equipment

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08293039A (en) * 1995-04-24 1996-11-05 Matsushita Electric Ind Co Ltd Music/image conversion device
JPH11120197A (en) 1997-10-20 1999-04-30 Matsushita Electric Ind Co Ltd Motion data retrieving device
KR20000017780A (en) * 1999-12-07 2000-04-06 조원규 A disk of motion pictures recorded dancing programs and a manufacturing method of the disk, and a manufacturing apparatus of the disk
KR20020022504A (en) * 2000-09-20 2002-03-27 박종만 System and method for 3D animation authoring with motion control, facial animation, lip synchronizing and lip synchronized voice
KR20040008378A (en) * 2002-07-18 2004-01-31 한국과학기술원 Synchronization Method of Rhythmic Motion with Music based on Beat Analysis
KR20060009150A (en) * 2004-07-20 2006-01-31 최중인 Moving avator go into action according to music

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08293039A (en) * 1995-04-24 1996-11-05 Matsushita Electric Ind Co Ltd Music/image conversion device
JPH11120197A (en) 1997-10-20 1999-04-30 Matsushita Electric Ind Co Ltd Motion data retrieving device
KR20000017780A (en) * 1999-12-07 2000-04-06 조원규 A disk of motion pictures recorded dancing programs and a manufacturing method of the disk, and a manufacturing apparatus of the disk
KR20020022504A (en) * 2000-09-20 2002-03-27 박종만 System and method for 3D animation authoring with motion control, facial animation, lip synchronizing and lip synchronized voice
KR20040008378A (en) * 2002-07-18 2004-01-31 한국과학기술원 Synchronization Method of Rhythmic Motion with Music based on Beat Analysis
KR20060009150A (en) * 2004-07-20 2006-01-31 최중인 Moving avator go into action according to music

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210109841A (en) 2020-02-28 2021-09-07 주식회사 안무공장 Method for providing supplementary services based on choreography content
KR20210109821A (en) 2020-02-28 2021-09-07 주식회사 안무공장 Recording Method
KR20210109846A (en) 2020-02-28 2021-09-07 주식회사 안무공장 Apparatus for providing supplementary services based on choreography content
KR20210109822A (en) 2020-02-28 2021-09-07 주식회사 안무공장 Program for providing supplementary services based on choreography content
KR20210109829A (en) 2020-02-28 2021-09-07 주식회사 안무공장 Recording Medium
KR20210109837A (en) 2020-02-28 2021-09-07 주식회사 안무공장 Method for providing supplementary services based on choreography content
KR20210109840A (en) 2020-02-28 2021-09-07 주식회사 안무공장 Apparatus for providing supplementary services based on choreography content
KR20210109832A (en) 2020-02-28 2021-09-07 주식회사 안무공장 Program for providing supplementary services based on choreography content
KR20210109825A (en) 2020-02-28 2021-09-07 주식회사 안무공장 Recording Medium
KR20210109828A (en) 2020-02-28 2021-09-07 주식회사 안무공장 Program for providing supplementary services based on choreography content
KR20210109843A (en) 2020-02-28 2021-09-07 주식회사 안무공장 Method for providing supplementary services based on choreography content
KR20210109848A (en) 2020-02-28 2021-09-07 주식회사 안무공장 Apparatus for providing supplementary services based on choreography content
KR20210120613A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Apparatus or providing supplementary services based on choreography contents
KR20210120590A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Method for providing supplementary services based on choreography contents
KR20210120592A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Method for providing supplementary services based on choreography contents
KR20210120623A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Apparatus for providing supplementary services based on choreography contents
KR20210120636A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Apparatus for providing supplementary services based on choreography contents
KR20210120632A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Apparatus for providing supplementary services based on choreography contents
KR20210120600A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Method for providing supplementary services based on choreography contents
KR20210120617A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Apparatus or providing supplementary services based on choreography contents
KR20210120595A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Method for providing supplementary services based on choreography contents
KR20210120591A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Method for providing supplementary services based on choreography contents
KR20210120606A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Method for providing supplementary services based on choreography contents
KR20210120634A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Apparatus for providing supplementary services based on choreography contents
KR20210120625A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Apparatus for providing supplementary services based on choreography contents
KR20210120598A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Method for providing supplementary services based on choreography contents
KR20210120616A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Apparatus or providing supplementary services based on choreography contents
KR20210120607A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Method for providing supplementary services based on choreography contents
KR20210120596A (en) 2020-03-27 2021-10-07 주식회사 안무공장 Method for providing supplementary services based on choreography contents
KR20220040122A (en) 2020-09-23 2022-03-30 주식회사 아이원솔루션 System and method for recognizing and controlling sound sources using rfid

Also Published As

Publication number Publication date
KR20070008238A (en) 2007-01-17

Similar Documents

Publication Publication Date Title
KR100762585B1 (en) Apparatus and method of music synchronization based on dancing
CN108064406A (en) It is synchronous for the rhythm of the cross-fade of music audio frequency segment for multimedia
US9467673B2 (en) Method, system, and computer-readable memory for rhythm visualization
JP3615195B2 (en) Content recording / playback apparatus and content editing method
JP2000516011A (en) Time-based media processing system
JP5706718B2 (en) Movie synthesis system and method, movie synthesis program and storage medium thereof
CN109257499A (en) A kind of Dynamic Display method and device of the lyrics
KR20050086942A (en) Method and system for augmenting an audio signal
JP6930547B2 (en) Information processing equipment, information processing methods and their programs
CN105243093A (en) Singer recommendation method and apparatus
CN113691909A (en) Digital audio workstation with audio processing recommendations
JP4196052B2 (en) Music retrieval / playback apparatus and medium on which system program is recorded
CN109359203A (en) The processing method and processing device of motion profile video
Katz Music, Performance, and Generation
EP3399438A1 (en) Method for creating preview track and apparatus using same
KR20060054678A (en) Apparatus and method for implementing character video synchronized with sound
CN109327731A (en) A kind of real-time synthetic method of DIY video and system based on Karaoke
JP3506410B2 (en) Dramatic video production support method and apparatus
KR20070077601A (en) Game application based on feature of a music
KR102324579B1 (en) Method and system for matching a dance
JP2014123085A (en) Device, method, and program for further effectively performing and providing body motion and so on to be performed by viewer according to singing in karaoke
CN100446531C (en) Karaoke making method and playing method for wireless network and wireless hand-held device
CN112233647A (en) Information processing apparatus and method, and computer-readable storage medium
KR100991368B1 (en) Method and system for fusioning multi-media capable of providing actual feeling contents
KR20080024876A (en) Audio searching system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee