KR20070008238A - 율동 기반 음악 동조화 장치 및 방법 - Google Patents

Abstract

본 발명은 재생되는 음악에 맞추어 그 음악에 적절한 율동을 해당 데이터 베이스로부터 추출하여 사용자에게 제공할 수 있는 댄싱 엑스퍼트 시스템(Dancing Expert System)에 관한 것이다.

본 발명은 전문 댄서의 음악에 대응하는 율동을 모션 캡쳐(motion capture)하고 이를 데이터 베이스로 구축하여 저장한다. 그리고, 특정 음악을 재생할 때 해당 음악의 장르 등에 따른 음악적 특성에 기반하여 해당 음악에 적절한 율동을 상기 구축된 율동 데이터 베이스로부터 추출하고 이 것을 애니매이션 오브젝트(animation object)에 매칭시켜 디스플레이하여 줌으로써, 사용자가 음악을 감상할 때 해당 음악에 적절한 애니매이션 오브젝트의 율동과 음악의 시청각적인 동시 감상이 가능하게 한다.

음악, 동조화, 댄싱, 율동, 애니매이션 오브젝트

Description

율동 기반 음악 동조화 장치 및 방법{APPARATUS AND METHOD OF MUSIC SYNCHRONIZATION BASED ON DANCING}

도1은 본 발명에서 전문 댄서로부터 율동 데이터 베이스를 구축하기 위한 모션 캡쳐 데이터를 수집하기 위한 방법의 개요를 나타낸 도면

도2는 본 발명에서 율동 데이터 베이스 구축방법의 예를 나타낸 도면

도3은 본 발명에서 율동 데이터 베이스를 기반으로 음악에 율동을 동조화시키는 시스템의 구성을 나타낸 도면

<도면의 주요 부분에 대한 부호의 설명>

30: 입력 음악신호 40: 동조화 시스템

41: 율동 데이터 베이스 42: 분석모듈

43: 검색모듈 44: 출력모듈

50: 디스플레이부

본 발명은 재생되는 음악에 맞추어 그 음악에 적절한 율동을 사용자에게 제공할 수 있는 댄싱 엑스퍼트 시스템(Dancing Expert System)으로서, 율동 기반의 음악 동조화 장치와 율동 데이터 베이스 기반의 음악 동조화 방법에 관한 것이다.

일반 가정에서 사용하는 음향기기 뿐만 아니라, 퍼스널 컴퓨터에서도 음악 재생이 가능하며, 특히 휴대 가능한 단말기로서 MP3플레이어 뿐만 아니라 휴대폰 등과 같은 개인용 단말기에서도 오디오 재생 시스템이 탑재되어 사용되고 있다.

이러한 오디오 시스템에서 음악 등을 재생하는 경우 시각화 효과를 동반하는 경우가 적지 않다. 대부분의 미디어 플레이어(media player)에서는 음악을 재생하면서 음악의 특징을 보통의 경우 음압 정보 또는 주파수 스펙트럼 정보를 화면에 함께 나타내어 시각적인 효과를 낸다. 그렇지만 이러한 음악의 표현 방법은 매우 진부하며 사용자에게 재미를 줄 수 없다.

단순한 음압 정보나 주파수 스펙트럼 정보를 화면에 나타내는 방법의 진부함에서 벗어나기 위하여, 음악 재생에 맞추어 적당한 이미지를 순차적으로 디스플레이하는 기술도 선보이고 있다. 이 기술은 미리 준비된 특정 이미지들을 음악에 맞추어 순차적으로 재생함으로써 시각적인 효과를 내기도 한다.

본 발명의 목적은 음악 재생 시, 미리 준비된 율동 데이터 베이스를 이용해서 해당 음악에 적당한 율동을 음악 재생에 맞추어 함께 출력해 줄 수 있도록 한 율동 기반의 음악 동조화 장치와 그 방법을 제공하는데 있다.

본 발명의 다른 목적은 음악 재생 시, 해당 음악의 특성을 분석하고, 분석된 특성에 기반하여 그 음악에 적절한 율동 정보를 검색하고, 검색된 율동 정보를 토대로 애니매이션 오브젝트의 동작을 유도하여 이를 디스플레이 함으로써, 음악 재 생 시에 시청각적인 감상 효과를 함께 확보할 수 있도록 한 율동 기반의 음악 동조화 장치와 그 방법을 제공하는데 있다.

본 발명의 또 다른 목적은 음악 파일에 해당 음악의 특성에 따른 율동 정보를 포함시키고, 율동 정보가 포함된 음악 콘텐트의 재생 시, 상기 율동 정보를 추출하여 해당 율동 정보에 의해서 애니매이션 오브젝트의 동작을 유도하고 이를 디스플레이 함으로써, 음악 재생 시에 시청각적인 감상 효과를 함께 확보할 수 있도록 한 율동 기반 음악 동조화 장치와 그 방법을 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명의 율동 기반 음악 동조화 장치는, 음악에 대응한 율동 정보가 저장되는 율동 데이터 베이스; 재생 음악에 대응하는 율동을 검색하기 위하여 음악 특성을 분석하는 수단; 상기 음악 특성 분석수단에 의해서 분석된 음악의 특성에 따라 상기 율동 데이터 베이스에서 적절한 율동 정보를 검색하는 수단; 상기 검색수단에서 검색된 율동을 해당 음악에 동조화시켜 출력하는 수단; 을 포함하여 이루어지는 것을 특징으로 한다.

또한 상기 목적을 달성하기 위한 본 발명의 율동 기반 음악 동조화 방법은, 재생 음악신호에 대하여 파형 분석을 기반으로 해당 음악의 특징을 추출하는 단계; 상기 추출된 음악 특징을 이용해서 율동 데이터 베이스로부터 해당 음악에 적절한 율동 정보를 검색하는 단계; 상기 검색된 율동 정보를 해당 음악의 재생에 맞추어 출력하는 단계; 를 포함하여 이루어지는 것을 특징으로 한다.

또한 본 발명에서 상기 율동 데이터 베이스는 전문 댄서가 음악에 맞추어 추 는 춤동작을 모션 캡쳐하여 구성된 것임을 특징으로 한다.

또한 본 발명에서 상기 율동 데이터와 음악 데이터는 각각의 파일로 저장된 것임을 특징으로 한다.

또한 본 발명에서 상기 율동 데이터는 음악 데이터 파일에 태그(TAG) 형식으로 포함된 것임을 특징으로 한다.

또한 본 발명에서 상기 율동 데이터와 음악 데이터의 동조화를 위한 검색 파라미터는 웨이브(wave) 파형인 것을 특징으로 한다.

또한 본 발명에서 상기 율동 데이터는 2차원 율동 데이터나 3차원 율동 데이터인 것을 특징으로 한다.

또한 본 발명에서 상기 검색된 율동 데이터를 애니매이션 오브젝트에 적용하여 율동에 맞춘 애니매이션 오브젝트 동작을 유도 및 디스플레이하는 것을 특징으로 한다.

또한 본 발명에서 상기 율동 지속시간과 음악 지속시간을 동조화시키는 것을 특징으로 한다.

또한 상기 목적을 달성하기 위한 본 발명의 율동 기반 음악 동조화 장치는, 음악 파일에 포함된 율동 정보를 추출하는 수단; 상기 추출된 율동 정보를 애니매이션 오브젝트에 반영하여 애니매이션 오브젝트가 해당 율동을 모사하도록 처리하는 수단; 상기 율동을 모사하는 애니매이션 오브젝트와 해당 음악 재생을 동기화하여 출력하는 수단; 을 포함하여 이루어지는 것을 특징으로 한다.

또한 상기 목적을 달성하기 위한 본 발명의 율동 기반 음악 동조화 방법은, 음악 파일에 해당 음악의 특징에 기반한 특정 율동 정보를 포함하여 음악 콘텐트를 제공하는 단계; 상기 음악 콘텐트로부터 음악 데이터와 율동 정보를 분리하는 단계; 상기 분리된 율동 정보를 애니매이션 오브젝트에 반영하여 애니매이션 오브젝트가 해당 율동을 모사하는 단계; 상기 분리된 음악 데이터와 애니매이션 오브젝트를 동조화하여 재생 및 디스플레이 하는 단계; 를 포함하여 이루어지는 것을 특징으로 한다.

상기한 바와 같이 이루어지는 본 발명의 율동 데이터 베이스 기반 음악 동조화 시스템의 실시예를 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다.

본 발명에서 율동 데이터 베이스를 기반으로 하여 음악에 맞춘 율동을 출력하는 시스템을 엑스퍼트 시스템(expert system)-전문가 시스템으로 명명하며, 그 기본 개념은 어떤 전문적인 데이터 베이스를 이용해서 새로운 입력에 적당한 출력을 내어 주는 것이다.

본 발명에서의 전문적인 데이터 베이스로는 여러 음악에 대하여 전문적인 댄서가 춤을 추는 동작, 즉 율동(혹은 안무)을 2차원 또는 3차원 모션 캡쳐(motion capture)한 데이터와 이에 대응되는 음악을 사용한다.

율동 데이터 베이스화 과정에서 필요한 모션 캡쳐(motion capture) 과정은 이미 컴퓨터 애니매이션(computer animation)이나 영화의 특수 효과에 널리 사용되는 기술로써, 예를 들면 전문 댄서의 몸에 몇 개의 신호 전송기(signal transmitter)를 장착하고 이를 2차원이나 3차원 상의 움직임으로 컴퓨터에서 인식하는 기술이다. 이러한 방법들은 기존에 이미 알려진 기술을 사용하는 것이므로 본 발명에서 이에 대한 구체적인 설명은 생략하기로 한다. 다만, 알려진 애니매이션 캡쳐 시스템을 토대로 하여 전문 댄서가 추는 춤동작을 2차원이나 3차원으로 모션 캡쳐한 것을 율동 데이터 베이스로 구축하고, 이 율동 데이터 베이스 자원을 활용하는 것이 본 발명의 핵심이 되는 기술 내용이다.

즉, 본 발명에서는 음악이 재생될 때 어떤 춤 동작-율동(혹은 안무)이 해당 음악에 잘 어울릴지를 엑스퍼트 시스템을 이용하여 자동으로 맞추어 주는 방법과 그 장치를 제시한다.

이를 위하여, 본 발명은 전문 댄서가 춤추는 여러 가지 동작을 2차원이나 3차원의 동작으로 모션 캡쳐하고 이 것을 데이터 베이스화한 후, 엑스퍼트 시스템-전문가 시스템을 구축하는 것이다.

또한, 상기 엑스퍼트 시스템을 이용하여 어떤 음악에도 어울리는 춤 동작을 자동으로 찾아주는 방법을 제시한다. 이렇게 검색된 안무 동작은 단말기에서 음악이 재생될 때 애니매이션 오브젝트(animation object) 등의 동작과 맵핑하여 화면에 재생될 수 있다. 본 발명에서 애니매이션 오브젝트(animation object)는 사이버 캐릭터(cyber character)나 아바타(avatar)의 개념으로 이해하면 충분할 것이다.

앞서 설명한 바와 같이, 전문 댄서의 여러 가지 춤 동작을 2차원이나 3차원으로 모션 캡쳐하고 여기서 얻어진 데이터를 데이터 베이스화하여 엑스퍼트 시스템을 구축한다.

도1은 본 발명에서 전문 댄서로부터 율동 데이터 베이스를 구축하기 위한 모션 캡쳐 데이터를 수집하기 위한 방법을 개념적으로 보여준다.

도1에서와 같이, 전문 댄서(10)들의 몸에 모션 캡쳐를 위한 신호 송신기(signal transmitter)(11)를 관절과 중요 위치에 장착하여 놓은 상태로 여러가지 다양한 춤 동작을 다양한 음악에 맞추어 추게 하고, 여기서 얻어진 모션 캡쳐 데이터와 음악을 함께 데이터 베이스화한다.

앞서 이미 설명한 바와 같이, 춤 동작 정보를 수집하는 방법은 기존의 애니매이션 구축 시스템이나 영화 등의 특수효과 촬영기법에 널리 쓰이는 방법을 사용할 수 있다. 이 때 얻어진 춤 동작, 즉 율동 정보는 전문 댄서의 몸에 부착한 신호 송신기(11)의 위치 정보와, 율동에 따른 움직임 정보가 함께 수집되며, 벡터(vector)로 표현될 수 있다. 이렇게 수집되는 율동 정보는 2차원 정보일 수도 있고 3차원 정보일 수도 있다. 본 발명에서는 2차원 또는 3차원의 율동 정보를 수집하고, 해당 정보를 음악에 대응시켜 데이터 베이스화 한다.

도2는 본 발명에서 율동 데이터 베이스 구축방법의 예를 나타낸 도면이다. 도2에 나타낸 바와 같이 전문 댄서들의 춤 동작들은 벡터 정보(21)의 형태로 수집된다. 수집된 전문 댄서들의 춤 동작 정보는 데이터 베이스(22)로 구축되는데, 데이터 베이스(22)의 단위는 하나의 춤 동작으로 나눈다. 이렇게 하면 한 곡의 음악에서도 여러 가지 춤 동작 데이터 베이스를 구할 수 있다. 이 데이터 베이스(22)는 엑스퍼트 시스템에 사용될 것이기 때문에 전문 댄서의 춤 동작이 어떤 반복적인 구간에서는 유사한 춤 동작으로 반복될 수도 있고, 그렇지 않을 수도 있으므로, 데이터 베이스를 구축할 때에는 유사한 율동이 반복되지 않도록 세심하게 데이터 베이스화함으로써, 데이터 량을 줄일 수 있을 뿐만 아니라 제한된 메모리 자원을 이용 하여 보다 더 풍부한 춤 동작 데이터 베이스를 구축할 수 있을 것이다.

이와 같이 전문 댄서들의 춤 동작이 여러가지 다양한 장르의 음악에 대하여 충분하게 모션 캡쳐되고 또 이 것이 데이터 베이스로 구축된다. 그렇게 하면 이 데이터 베이스(22)를 바탕으로 엑스퍼트 시스템을 구성할 수 있게 된다.

엑스퍼트 시스템에서의 입력 파라미터(parameter)는 음악의 웨이브(wave) 파형이 될 것이고, 이 것을 데이터 베이스(22)에 있는 음악들의 웨이브 파형과 비교한다. 그리고, 상기 비교 결과에 따라 해당 음악을 적절한 구간으로 나누어서 데이터 베이스(22)에서 대응되는 춤 동작과 연결해 준다.

도3은 본 발명에서 율동 데이터 베이스를 기반으로 음악에 율동을 동조화시키는 시스템의 구성을 보여준다. 입력 음악신호(30)는 동조화 시스템(40)에서 분석되고 해당 율동이 검색되며, 검색된 율동이 디스플레이부(50)에 표시된다. 입력 음악신호(30)는 음악 웨이브(wave) 파형의 형태로 입력된다. 동조화 시스템(40)은 앞서 설명한 율동 데이터 베이스(41)와, 입력 음악 파형의 분석모듈(42), 파형 분석 결과를 토대로 데이터 베이스에서 해당 율동 정보를 검색하는 검색모듈(43), 그리고 검색된 율동 정보를 출력해 주는 출력모듈(44)을 포함한다.

동조화 시스템(40)의 율동 데이터 베이스(41)에는 상기한 바와 같이 전문 댄서들의 춤 동작-율동 정보를 모션 캡쳐를 기반으로 하여 구한 율동 정보가 저장된다. 여기에 저장되는 율동 정보는 2차원 율동 정보이거나 3차원 율동 정보이며, 음악 파일에 태그(TAG) 형태로 포함되거나, 음악 파일과 별도로 율동 파일의 형태로 저장된다. 그리고, 율동 정보는 하나의 춤 동작 단위로 나뉘며, 각각에 대하여 검 색이 이루어질 수 있도록 그 율동의 특징별로 인덱싱될 수 있다. 예를 들면, 음악의 빠르기나 비트, 장르 등으로 인덱싱될 수 있다.

분석모듈(42)은 입력 음악신호(30)를 파형 기반으로 분석하여 그 음악의 특징을 추출한다. 음악의 특징이 추출되면 해당 결과는 검색모듈(43)로 전달된다. 검색모듈(43)에서는 추출된 음악적 특징을 이용해서 율동 데이터 베이스(41)로부터 해당 음악에 적합한 율동 정보를 검색해 낸다.

출력모듈(44)은 상기 검색모듈(43)의 검색 결과를 받아서 이를 해당 음악에 동조화시켜 출력해 준다. 율동과 음악의 동조화 방법으로는 율동 지속 시간과 음악 지속 시간을 비교하여, 율동 지속 시간이 음악 지속 시간보다 짧을 경우에는 율동의 출력 횟수를 늘려주고, 율동 지속 시간이 음악 지속 시간보다 긴 경우에는 율동의 출력 횟수를 줄여줌으로써 이루어질 수 있다.

출력모듈(44)에서 출력되는 율동과 음악의 동조화 결과는 디스플레이부(50)에 예시된 바와 같이, 율동 정보를 기반으로 특정 애니매이션 오브젝트의 동작을 유도하고 이를 디스플레이하는 기법을 사용할 수 있다. 여기서 애니매이션 오브젝트는 사전에 준비된 것이며, 알려진 그래픽 엔진을 이용해서 구현할 수 있다. 또한, 애니매이션 오브젝트를 여러 개 준비하여 두고, 사용자가 그 중에서 하나를 선택하면 선택된 애니매이션 오브젝트에 상기 율동 정보를 부여하여 해당 애니매이션 오브젝트가 율동 정보에 따른 동작을 수행하도록 할 수도 있다.

이렇게 하면 결국, 애니매이션 오브젝트의 율동은 전문 댄서의 춤 동작을 모사하는 형태가 될 것이므로, 음악과 동조화 된 역동적인 율동이 표현됨으로써, 음 악 감상시에 시청각적인 효과를 극대화할 수 있게 된다.

상기한 바와 같이 구축된 엑스퍼트 시스템을 활용하는 방법은 여러 가지가 있을 수 있다. 예를 들면 퍼스널 컴퓨터(PC) 상에서 어떤 음악 파일을 엑스퍼트 시스템에 입력으로 넣어주면 자동으로 그 음악에 어울리는 춤 동작을 찾아주는 방법이다. 또는, 춤 동작의 데이터를 단말기에서 음악 파일과 함께 사용하여 음악 재생시 애니매이션 오브젝트의 춤 동작으로 연결시켜 주는 방법이다.

엑스퍼트 시스템에서 얻어지는 춤 동작의 데이터는 2차원이나 3차원의 벡터 값이 될 것이다. 그리고, 음악마다 빠르기나 비트 등이 달라질 것이기 때문에 엑스퍼트 시스템에서는 입력 웨이브 파형에서의 모양을 보고 유사한 웨이브 파형에 해당하는 춤 동작을 찾아 주게 된다. 즉, 입력 웨이브 파형을 분석하고 그 웨이브 파형의 특징을 추출하여 그와 유사도가 높은 웨이브 파형에 해당하는 춤 동작을 해당 데이터 베이스로부터 검색해 주는 것이다. 유사도의 설정은 사용자가 설정할 수도 있고, 디폴트로 설정되어 있을 수도 있다. 유사도가 높은 것을 원하는 경우에는 보다 엄격하고 정밀하게 매칭된 춤 동작이 구해질 것이고, 유사도가 낮아도 무방한 것을 원하는 경우에는 보다 느슨하게 매칭되는 춤 동작이 구해질 것이다.

여기서, 춤 동작의 지속 시간이 구해진 웨이브 파형의 시간과 다르다면 이를 동조화 할 필요가 있음을 앞서 설명하였다. 즉, 춤 동작의 지속 시간이 웨이브 파형의 시간보다 짧다면 음악 재생이 종료되기도 전에 춤 동작이 중단될 것이고, 춤 동작의 지속 시간이 웨이브 파형의 시간 보다 길다면 음악 재생이 종료되었음에도 불구하고 춤 동작이 계속되어 불편하게 될 것이기 때문이다.

따라서, 이러한 경우에는 춤 동작의 출력 횟수를 늘리거나 줄임으로써 춤 동작과 웨이브 파형 지속시간의 불일치 문제를 해결할 수 있다. 이를 위하여, 춤 동작 지속 시간과 웨이브 파형 지속 시간을 서로 비교하고, 그 비교 결과에 따라 춤 동작 지속 시간을 웨이브 파형 지속 시간에 맞추어 주기 위한 출력 횟수를 산출하며, 산출된 횟수만큼 해당 춤 동작을 출력해 주는 것이다.

또한, 앞서 설명한 바와 같이 자동으로 생성된 춤 동작의 데이터, 즉 율동 정보는 음악 파일에 태그(TAG) 형식으로 포함되거나, 춤 동작 파일로써 음악 파일과 함께 저장되어 사용될 수도 있다. 음악 파일에 태그(TAG) 형식으로 포함된 경우에는 음악 콘텐트 자체가 일종의 동조화를 위한 율동 정보를 포함하는 형식이 된다고 볼 수 있고, 별도의 파일로 관리된다면 음악 특성 분석을 기반으로 검색된 율동정보가 특정 음악에 매칭되어 출력되는 시스템이 될 것이다.

이러한 데이터 파일은 컴퓨터는 물론, 핸드폰이나 PDA, 휴대용 멀티미디어 플레이어 등과 같은 단말기에 저장하고 이를 기반으로 특정 음악 재생 시에 그 음악에 가장 적절한 춤 동작을 끌어내서 디스플레이 함으로써, 본 발명의 엑스퍼트 시스템이 앞서 설명한 다양한 종류의 단말기에서도 사용될 수 있다.

지금까지는 율동 데이터 베이스를 토대로 하여 음악의 특성에 적당한 율동 정보를 검색하고 이 것을 애니매이션 오브젝트에 반영하여 애니매이션 오브젝트가 상기 해당 율동에 따른 춤 동작을 수행하는 시스템에 대하여 설명하였다.

그렇지만 본 발명의 율동 기반 음악 동조화 시스템으로 다음과 같은 예도 가능하다. 즉, 음악 파일이 그 음악 파일에 해당하는 율동 정보를 처음부터 포함하는 형태의 음악 컨텐트로써 제공되는 것이다. 이러한 경우에는 동조화 시스템, 예를 들면 음악을 재생하는 단말기 등에서는 율동 데이터 베이스 없이, 애니매이션 오브젝트에 그 음악에서 추출된 율동 정보를 반영하여 율동 정보가 주는 춤 동작을 유도하고 이를 디스플레이하여 주는 경우가 된다.

즉, 음악 콘텐트는 사전에 순수한 음악 데이터와 그 음악의 특성에 적합하게 미리 제작되어 부가되는 율동 정보를 포함하고, 이를 재생하는 시스템에서는 상기 음악 파일에 포함된 율동 정보를 추출하는 수단과, 상기 추출된 율동 정보를 토대로 애니매이션 오브젝트의 춤 동작을 유도하는 수단 및, 이를 디스플레이하는 수단을 포함 함으로써, 별도의 율동 데이터 베이스 없이도 매 음악 콘텐트 마다 해당 음악 콘텐트가 포함-제공하는 율동을 애니매이션 오브젝트를 통해서 재현할 수 있게 되는 것이다.

이 경우는 율동정보 추출수단에서 입력 음악 콘텐트로부터 음악 데이터와 율동 정보를 분리하고, 분리된 음악 데이터는 재생하며, 율동 정보는 애니매이션 오브젝트에 반영하여 해당 오브젝트가 율동 정보에 의해서 유도되는 댄서의 춤 동작을 모사하면서 디스플레이되도록 하는 시스템으로 구현된다.

또한, 본 발명의 율동 기반 음악 동조화 시스템으로 다음과 같은 예도 가능하다. 즉, 음악 파일이 그 음악 파일의 특징 정보, 예를 들면 장르, 빠르기, 비트 등과 같이 애니매이션 오브젝트의 율동을 정하는데 사용할 수 있는 정보를 포함하고 있고, 동조화 시스템, 예를 들면 음악을 재생하는 단말기 등에서는 상기 제공되는 장르, 빠르기, 비트 등과 같은 정보를 토대로 하여 율동 데이터 베이스로부터 해당되는 적절한 율동 정보를 검색 및 추출하고, 애니매이션 오브젝트에 그 율동 정보를 반영하여 율동 정보가 주는 춤 동작을 유도하고 이를 상기 재생되는 음악에 동조화시켜 디스플레이하여 주는 경우가 된다.

본 발명은 어떤 음악에 대하여 춤 동작을 전문 댄서의 춤 동작 데이터 베이스에 근거하여 자동으로 맞추어 주는 방법을 제공한다. 특히, 음악을 재생할 때 애니매이션 오브젝트 등이 음악에 맞추어 자연스럽게 춤 추게 하는 기술적 기반을 제공할 수 있다. 따라서, 음악을 청각에만 의존하여 감상하던 기존의 틀에서 벗어나서, 마치 한 편의 뮤직 비디오를 감상하는 것과 같이 시청각적으로도 해당 음악을 감상할 수 있게 하며, 새로운 음악을 만들었을 때에는 이 음악에 어울리는 춤 동작을 전문 댄서들의 데이터 베이스에 근거하여 시뮬레이션 해 볼 수 있는 수단으로도 활용이 가능한 효과가 있다.

Claims (15)

1. 음악에 대응한 율동 정보가 저장되는 율동 데이터 베이스; 재생 음악에 대응하는 율동을 검색하기 위하여 음악 특성을 분석하는 수단; 상기 음악 특성 분석수단에 의해서 분석된 음악의 특성에 따라 상기 율동 데이터 베이스에서 적절한 율동 정보를 검색하는 수단; 상기 검색수단에서 검색된 율동을 해당 음악에 동조화시켜 출력하는 수단; 을 포함하여 이루어지는 것을 특징으로 하는 율동 기반 음악 동조화 장치.
2. 제 1 항에 있어서, 상기 율동 데이터 베이스는 전문 댄서가 음악에 맞추어 추는 춤동작을 모션 캡쳐하여 구성된 것임을 특징으로 하는 율동 기반 음악 동조화 장치.
3. 제 1 항에 있어서, 상기 율동 데이터와 음악 데이터는 각각의 파일로 저장된 것임을 특징으로 하는 율동 기반 음악 동조화 장치.
4. 제 1 항에 있어서, 상기 율동 데이터는 음악 데이터 파일에 태그(TAG) 형식으로 포함된 것임을 특징으로 하는 율동 기반 음악 동조화 장치.
5. 제 1 항에 있어서, 상기 율동 데이터와 음악 데이터의 동조화를 위한 검색 파라미터는 웨이브(wave) 파형인 것을 특징으로 하는 율동 기반 음악 동조화 장치.
6. 제 1 항에 있어서, 상기 율동 데이터는 2차원 율동 데이터나 3차원 율동 데이터인 것을 특징으로 하는 율동 기반 음악 동조화 장치.
7. 제 1 항에 있어서, 상기 출력수단은 검색된 율동 데이터를 애니매이션 오브젝트에 적용하여 율동에 맞춘 애니매이션 오브젝트 동작을 유도 및 디스플레이하는 것을 특징으로 하는 율동 기반 음악 동조화 장치.
8. 제 1 항에 있어서, 상기 출력수단은 율동 지속시간과 음악 지속시간을 동조화시키는 것을 특징으로 하는 율동 기반 음악 동조화 장치.
9. 재생 음악신호에 대하여 파형 분석을 기반으로 해당 음악의 특징을 추출하는 단계; 상기 추출된 음악 특징을 이용해서 율동 데이터 베이스로부터 해당 음악에 적절한 율동 정보를 검색하는 단계; 상기 검색된 율동 정보를 해당 음악의 재생에 맞추어 출력하는 단계; 를 포함하여 이루어지는 것을 특징으로 하는 율동 기반 음악 동조화 방법.
10. 제 9 항에 있어서, 상기 율동 데이터 베이스는 전문 댄서가 음악에 맞추어 추는 춤 동작을 모션 캡쳐를 기반으로 하여 율동 정보를 검출하는 단계; 상기 검출 된 모션 캡쳐 데이터의 중복성을 제거하고 해당 음악에 대응시켜 율동 정보를 저장하는 단계; 를 포함하여 구축되는 것임을 특징으로 하는 율동 기반 음악 동조화 방법.
11. 제 9 항에 있어서, 상기 율동 데이터와 음악 데이터의 동조화를 위한 검색 파라미터는 웨이브(wave) 파형인 것을 특징으로 하는 율동 기반 음악 동조화 방법.
12. 제 9 항에 있어서, 상기 출력단계에서는, 검색된 율동 데이터를 애니매이션 오브젝트에 적용하여 율동에 맞춘 애니매이션 오브젝트 동작을 유도 및 디스플레이하는 것을 특징으로 하는 율동 기반 음악 동조화 방법.
13. 제 9 항에 있어서, 상기 출력단계에서는, 율동 지속시간과 음악 지속시간을 비교하여 서로 일치하지 않을 경우 율동 정보의 출력 횟수를 음악 지속 시간에 맞추어 늘리거나 줄임으로써 양자를 동조화시키는 것을 특징으로 하는 율동 기반 음악 동조화 방법.
14. 음악 파일에 포함된 율동 정보를 추출하는 수단; 상기 추출된 율동 정보를 애니매이션 오브젝트에 반영하여 애니매이션 오브젝트가 해당 율동을 모사하도록 처리하는 수단; 상기 율동을 모사하는 애니매이션 오브젝트와 해당 음악 재생을 동기화하여 출력하는 수단; 을 포함하여 이루어지는 것을 특징으로 하는 율동 기반 음악 동조화 장치.
15. 음악 파일에 해당 음악의 특징에 기반한 특정 율동 정보를 포함하여 음악 콘텐트를 제공하는 단계; 상기 음악 콘텐트로부터 음악 데이터와 율동 정보를 분리하는 단계; 상기 분리된 율동 정보를 애니매이션 오브젝트에 반영하여 애니매이션 오브젝트가 해당 율동을 모사하는 단계; 상기 분리된 음악 데이터와 애니매이션 오브젝트를 동조화하여 재생 및 디스플레이 하는 단계; 를 포함하여 이루어지는 것을 특징으로 하는 율동 기반 음악 동조화 방법.

Images