KR101292698B1 - 메타데이터 부여 방법 및 장치 - Google Patents

Abstract

메타데이터를 부여하는 방법은 음악의 악곡 데이터의 소절의 헤드부에 적어도 2개의 위치를 지정하는 단계와, 지정된 2개의 위치 사이에서의 구간을 세그먼트로 분할하고, 세그먼트에 시계열의 메타데이터를 부여하는 단계를 포함한다.

메타데이터, 악곡 데이터, 소절, 신뢰도 값, 오디오 재생 장치, 비트 추출 시스템

Description

메타데이터 부여 방법 및 장치{METHOD AND APPARATUS FOR ATTACHING METADATA}

도 1은 본 발명의 실시예에 따른 비트 추출 시스템을 개략적으로 나타낸 블록도이다.

도 2는 녹음된 악곡에서 비트의 수를 참조한 순간 BPM를 나타낸 그래프이다.

도 3은 비트 추출 시스템의 수동 저작부의 처리를 실현하기 위한 그래픽 조작 입력 화면을 나타낸 도면이다.

도 4는 파형 표시부에 표시되는 비트를 나타낸 도면이다.

도 5는 비트 추출 영역으로부터 추출되어 비트 편집 영역에 표시되는 비트 정보만을 나타낸 도면이다.

도 6은 소절의 헤드부를 지정하는 지점(Z1, Z2)을 나타낸 도면이다.

도 7은 지정된 지점(Z1, Z2) 사이의 소절의 수를 입력하여 각 소절의 길이 및 비트 간격을 구하는 방법을 설명하기 위한 도면이다.

도 8은 지정된 지점과 진동에서의 고정단의 관계를 나타내는 도면이다.

도 9a는 지정된 위치(Z1, Z2) 사이의 소절 및 비트의 위치 정보를 부여하기 위한 처리의 동작을 나타내는 플로차트이다.

도 9b는 도 9a의 플로차트에 계속되는 부분을 나타내는 도면이다.

도 10은 지정된 지점(Z1, Z2) 사이에 비트 및 소절의 헤드가 맞추어지는 방법을 나타낸 도면이다.

도 11의 (a) 및 (b)는 표시부에 표시되는 비트의 순간 BPM에서의 오차, 누적 오차, 위상 어긋남을 나타낸 도면이다.

도 12는 3개 이상의 지정된 지점이 입력된 파형을 나타낸 도면이다.

도 13은 시계열의 메타데이터로서 악곡의 멜로디 구조가 입력된 파형을 나타내는 도면이다.

도 14는 본 발명의 실시예에 관한 비트 추출부를 포함하는 음악 재생 장치를 나타내는 블록도이다.

도 15는 비트 추출부를 기능 블록도이다.

도 16의 (a)는 디지털 오디오 신호의 시계열 파형의 일례를 나타낸 도면이며, 도 16의 (b)는 디지털 오디오 신호의 스펙트로그램을 나타낸 도면이다.

도 17은 비트 추출 처리부를 나타내는 기능 블록도이다.

도 18의 (a)는 디지털 오디오 신호의 시계열 파형의 일례를 나타낸 도면이며, 도 18의 (b)는 디지털 오디오 신호의 스펙트로그램을 나타낸 도면이며, 도 18의 (c)는 디지털 오디오 신호로부터 추출된 비트 파형을 나타낸 도면이다.

도 19의 (a)는 비트 추출 처리부에 의해 추출된 비트 위치 정보의 비트 간격을 나타낸 도면이며, 도 19의 (b)는 비트 정렬 처리부에 의해 정렬된 비트 위치 정보의 비트 간격을 나타낸 도면이다.

도 20은 특정 비트가 인비트인지 여부를 판단하기 위한 윈도우 폭을 나타낸 도면이다.

도 21은 비트 위치 정보의 비트 간격을 나타낸 도면이다.

도 22는 비트 추출 시스템의 수동 저작부의 소프트웨어 모듈을 개략적으로 나타내는 기능 블록도이다.

도 23의 (a) 및 도 23의 (b)는 메타데이터 본체의 구조 및 리스트를 나타낸 도면이다.

도 24는 구간 관리부가 구간을 관리하는 단위 구조를 나타낸 도면이다.

본 발명은 2006년 3월 16일에 일본특허청에 제출된 일본특허출원 JP 2006-073185호에 관련된 특허 대상(subject matter)을 포함하며, 상기 출원의 전체 내용이 본 명세서에 참조로서 포함되는 것으로 한다.

본 발명은, 시계열의 음악 메타데이터를 부여하기 위한 메타데이터 부여 방법 및 메타데이터 부여 장치에 관한 것이다.

최근, 반도체 메모리나 하드 디스크 등의 대용량 기록 매체를 이용하는 오디오 재생 장치가 널리 보급되고 있다. 오디오 재생 장치뿐만 아니라 퍼스널 컴퓨터나 휴대 전화기와 같은 정보 기기 등의 내부의 기억 장치에, 대량의 악곡 데이터를 보존하여 즐기는 사용자도 증가하고 있다. 앨범은 컴팩트 디스크(CD)나 테이프 등의 제거가능한 기록 매체에 미디어 단위로 관리될 수 있지만, 몇백 곡 내지 몇만 곡의 대량의 악곡 데이터를 1대의 장치에서 취급하는 것이 가능하다.

이와 같은 대량의 악곡에 대해서, 미디어를 교체하지 않고 랜덤으로 액세스하는 것이 가능하기 때문에, 사용자는 여러 개의 앨범에 걸쳐 악곡의 플레이 리스트를 만드는 것이 가능하다. 대량의 악곡 중 악곡을 효율적으로 검색하거나 악곡을 그룹화하기 위해, 메타데이터 부여 서비스 시스템이 주목받고 있다. 이 메타데이터 부여 서비스 시스템은, 악곡 데이터에 대해서, 악곡의 곡명, 아티스트명, 앨범명 등과 같은 음악 메타데이터를 데이터 베이스로부터 취득하고, 이 음악 메타데이터를 악곡 데이터에 부여한다. 이 메타데이터 부여 서비스 시스템은, 악곡의 곡명이나 아티스트명뿐만 아니라, 각 악곡의 장르와, 어느 정도의 템포 정보 등도 취득할 수 있다.

그러나, 이들 메타데이터 부여 서비스 시스템은, 기본적으로 악곡의 검색 및 악곡의 그룹화를 위한 목적으로 만들어져 있어서, 실제로 검색 및 그룹화를 위한 목적으로 사용하고 있다. 검색된 결과로 재생되는 곡의 듣는 방법은 종래와 변함이 없다.

악곡을 작곡하거나 편곡하는 직업적인 또는 반직업적인 음악 크리에이터를 위한 툴(tool)을 이용할 수 있다. 이러한 툴에서는 악곡의 템포나 비트(beat) 위치를 시계축에서 관리하고, 그 위치를 참조하여 악곡 데이터를 편집하는 것이 가능하게 되어 있다. 마찬가지로, 몇몇의 이용가능한 디스크 카키(DJ)용 소프트웨어 프로그램에서도 비트의 동기를 맞추어 복수 개의 악곡을 덧붙이기 위해 비트의 위치 정보를 유지한다.

이러한 비트 관련 정보는, 하나의 악곡을 통해 템포가 변화없이 유지된다는 전제를 기초로 하고 있다. 시판 중인 다양한 녹음된 콘텐츠에서, 템포가 각각의 악곡의 몇 개의 국소적인 위치에서 요동하는 경우가 많고, 이들에 정확한 비트 위치를 추적하는 것은 매우 곤란하다.

장치가 라이브 음악의 파형으로부터, 음악의 소절이나 비트의 타이밍을 자동으로 인식하면, 기존의 CD에 기록된 방대한 양의 음악 콘텐츠로부터 비트 위치의 메타데이터를 얻을 수 있고, 새로운 엔터테인먼트의 가능성이 넓어진다.

템포나 비트를 자동으로 추출하는 시도는 종래부터 행해져 오고 있다.

예를 들면, 일본 특허출원 공개 제2002-116754호에는, 시계열 신호로서의 음악 파형 신호의 자기 상관(autocorrelation)을 산출하고, 이 산출된 자기 상관에 기초하여 음악의 비트 구조를 해석하고, 또한 이 비트 구조로부터 음악의 템포를 추출하는 방법이 개시되어 있다.

또한, 일본 특허 제3066528호에는, 악곡 데이터로부터 복수 개의 주파수 대역의 각각의 음압(sound pressure) 데이터를 작성하고, 그 복수 개의 주파수 대역 중에서 리듬을 가장 현저하게 제공하는 주파수 대역을 특정하며, 특정한 주파수 타이밍의 음압 데이터에서의 변화 주기에 따라 리듬 성분을 추정하는 방법이 기재되어 있다.

리듬, 비트 및 템포 등을 자동으로 추출하는 기술을 크게 2가지로 분류하면, 상기 일본 특허출원 공개 제2002-116754호에 개시된 바와 같이, 음악 신호를 시간 영역에서 분석하는 방식과, 상기 일본 특허 제3066528호에 개시된 바와 같이, 음악 신호를 주파수 영역에서 분석하는 방식으로 나눌 수 있다.

음악 신호를 시간 영역에서 분석하는 것은, 비트와 시계열 파형이 서로 정확하게 일치하지 않기 때문에, 높은 추출 정밀도를 얻을 수 없다. 음악 신호를 주파수 영역에서 분석하는 것은, 상대적으로 추출 정밀도를 향상시킬 수 있지만, 주파수 분석에 의해 얻어진 데이터 중에는, 특정한 악보의 비트 외의 다른 많은 비트가 포함된다. 모든 비트로부터 특정한 악보에서의 비트를 식별하는 것이 매우 곤란하다. 음악의 템포 자체에도 큰 요동이 있기 때문에, 음악적 템포의 요동에 추종하여, 특정한 악보에서의 비트만을 추출하는 것은 매우 곤란하다.

본 발명은, 이와 같은 종래의 문제점을 해결하기 위한 것으로서, 비트 위치 및 소절 등의 시계열의 메타데이터를 악곡 데이터에 용이하고 정확하게 부여할 수 있도록 한 메타데이터 부여 방법 및 장치를 제공하는 것을 목적으로 한다.

본 발명은, 전술한 목적을 달성하기 위해, 본 발명의 일실시예에 따라, 음악의 악곡 데이터의 소절의 헤드 부분의 위치를 적어도 2개 지정하고, 지정된 2개의 위치 사이의 구간을 분할하며, 시계열의 메타데이터를 이 세그먼트에 부여하는 메타데이터 부여 방법을 제공하는 것을 특징으로 한다.

소절의 헤드부 내의 2개의 위치 중 적어도 1개는 음악을 듣고 있는 청취자가 수작업으로 지정할 수 있다.

시계열의 메타데이터는, 지정된 2개의 위치 사이의 구간을, 소절의 길이와 소절의 수 중의 하나에 의하여 분할함으로써 산출될 수 있다.

본 발명의 실시예에 의하면, 각 소절의 음악 리듬 내의 비트 위치 또는 헤드 위치가 악곡 데이터로부터 정확하게 추출된다.

(발명을 실시하기 위한 최선의 형태)

본 발명의 일실시예에 의하면, 오디오 신호(음향 신호)로부터 비트 위치를 간단하고 정확하게 추출한다. 오디오 신호의 악곡 데이터에 대해서 적어도 2개의 구획(소절의 헤드)을 지정하고, 지정된 2개의 구획 사이의 구간을 동일한 간격으로 분할하여 비트 위치(소절의 헤드의 위치를 포함)를 추출한다. 지정되는 2개의 구획 중 적어도 1개의 구획은, 청취자가, 음악을 실제로 들으면서, 수작업으로 입력한다.

도 1은 본 발명의 일실시에에 따른 시스템을 나타낸다. 도 1에 도시된 바와 같이, 오디오 신호 공급 장치(1)는 악곡 데이터를 포함하는 오디오 신호를 비트 추출 장치(2)에 제공한다. 비트 추출 장치(2) 내의 자동 비트 추출부(3)는 비트를 추출한다. 자동 비트 추출부(3)에서 자동으로 추출된 비트는, 수동 저작부(manual authoring unit)(4)에 제공되어, 작업자의 수작업에 의해, 시계열의 메타데이터(5)가 비트에 부여된다. 또한, 음악 신호 공급 장치(1)로부터의 악곡 데이터에 대해서, 수동 저작부(4)가 직접 비트 추출을 행하여 시계열의 메타데이터(5)를 부여해도 된다.

악곡 데이터에 정확한 시계열의 메타데이터(5)를 부여하기 위해, 악곡 데이터로부터 비트 위치가 정확하게 추출된다. 이를 위해서, 종래부터, 악곡 데이터의 오디오 신호에 대해 신호 처리를 행하여 주파수 분석이나 음압 분석을 행하는 방법이 알려져 있다. 악곡의 비트가 뚜렷하고 또한 비트 간격이 일정하면, 이와 같은 자동 추출 방법에서 높은 확률로 정확한 비트 위치를 추출하고, 비트 위치의 악곡 데이터를 생성하는 것이 가능하다.

그러나, 인간이 악기를 연주해서 녹음한 악곡의 경우, 도 2와 같이 악곡의 템포는 요동한다. 비트 간격은 일정하지 않다. 도 2는 라이브로 녹음된 악곡에서의 박자(비트)에 대한 순간 BPM(beat per minutes)을 나타낸 그래프이다. 또한, 악곡에 따라서는, 국소적인 요동에서의 변경이 아닌, 몇 개의 소절 이상의 범위에서 평균 BPM가 점진적으로 증가하거나 감소한다.

이와 같은 악곡에 대해서, 그 악곡의 템포를 나타내는데 평균 BPM은 그다지 중요하지 않고, 그 BPM를 사용하여 비트 위치를 균등하게 결정하여도, 산출된 비트 위치는 실제의 비트 위치와 크게 다르게 될 가능성이 있다.

또한, 신호 처리에 의해 비트의 위치를 정확하게 추출하여 요동을 어느 정도까지 극복할 수 있는 경우에도, 각 소절의 헤드와, 멜로디의 종류나 개시 위치를 정확하게 추출하는 것은 매우 곤란하다.

악곡 데이터에 시계열의 메타데이터를 정확하게 부여하기 위한 방법으로서, 인간이 수작업으로 행하는 것도 고려되지만, 1곡당 몇백 내지 몇천 개에 달하는 비트의 위치를 부여하여야 한다. 수백 또는 수천의 악곡을 처리하는 경우, 이러한 수작업의 부여 동작은 방대한 양의 작업이 되기 때문에 현실적이지 않다.

본 발명의 실시예에서는, 도 1의 자동 비트 추출부(3)에서의 신호 처리에 의 해 자동으로 추출한 비트에 기초하여, 수동 저작부(4)에 의해, 인간밖에 알 수 없는 추상도가 높은 데이터를 정확하고 간단하게 수작업으로 부여할 수 있는 시스템을 제안하고 있다. 또한, 자동 비트 추출부(3)에서의 비트 자동 추출은 이론적으로 100%의 정확성을 가질 수 없으므로, 자동 비트 추출부(3)가 비트를 잘못 추출한 경우에도, 수동 저작부(4)가 그 오류 추출을 간단하게 수정할 수 있는 시스템을 제안하고 있다. 도 1의 자동 비트 추출부(3)는 필수적인 것이 아니다. 수동 저작부(4)에 의해, 사용자가 음악 신호 공급 장치(1)로부터의 악곡 데이터에 대해서 직접 비트를 부여하도록 해도 된다.

도 3은, 비트 추출 시스템에서의 수동 저작부(4)에 의한 처리를 실현하기 위한 그래픽적인 조작 입력 화면, 즉 그래픽 사용자 인터페이스(GUI: graphical user interface)의 일례를 나타낸 도면이다. 도 3에 나타낸 바와 같이, 처리 대상이 되는 오디오 신호의 악곡 데이터의 파형이 파형 표시부(301)에 표시된다. 이 파형 표시부(301)에는 후술하는 비트 정보도 표시된다. 도 3에 도시된 파형 표시부(301)는, 스테레오 좌우 채널에 각각 대응하도록 2개가 형성되어 있다. 또한, 오디오 신호의 악곡 데이터를 광범위하게 표시하기 위한 표시부(302)가 설치된다. 표시부(302)는 시간 축(비트)에 대한 순간 BPM을 표시한다.

도 4는 파형 표시부(301)에 표시되는 비트 표시 형태의 예를 나타낸다.

파형 표시부(301)는 악곡의 오디오 파형 데이터를 표시한다. 예컨대, 파형 표시부(301)는 미리 추출된 비트에 기초한 비트 정보를 최종적으로 처리하거나 편집하는데 이용하기 위한 비트 편집 영역(304)이 있는 상부를 포함한다. 파형 표시 부(301)는 자동 비트 추출부(3)에 의해 자동으로 추출된 비트 정보로서, 오디오 파형에 중첩하여 비트 위치를 나타내는 라인(수직 바)이 표시되는 비트 추출 영역(303)이 있는 하부를 포함한다.

도 5는 비트 추출 영역(303) 및 비트 편집 영역(304)에 표시되는 비트 정보만을 나타내고 있다. 신호 처리에 의해 수행되는 자동 비트 추출의 결과로서, 도 5의 비트 추출 영역(303)에 표시되는 비트 정보는, 본래의 박자에 동기화되는 것으로 판단한 제1 종류의 비트 Ba, 자동 비트 추출을 할 수 없었지만, 본래의 박자에 따라 자동으로 보간된 제2 종류의 비트 Bb, 및 자동 비트 추출을 하였지만, 본래의 박자는 아닌 제3 종류의 비트(소위, 업비트) Bc를 포함한다. 이하의 설명에서는, 제1 비트 Ba와 제2 비트 Bb를 인비트(in beat)라 하고, 제3 비트 Bc를 아웃비트(out beat)라 한다. 이들 종류의 비트 Ba~Bc에 대해서는, 각각의 표시 색을 다르게 하여 용이하게 확인 가능하도록 한다. 예를 들면, 제1 종류의 비트 Ba를 밝은 청색 라인으로 하고, 제2 종류의 비트 Bb를 핑크색 라인으로 하며, 제3 종류의 비트 Bc를 오렌지색의 라인으로 표시한다. 자동 비트 추출부(3)의 구체적인 예에 대해서는 후술한다.

이와 같이 추출되어 비트 추출 영역(303)에 표시된 비트에 기초하여, 더 정확한 비트 정보를 비트 편집 영역(304)에 표시한다. 도 5의 비트 편집 영역(304)에 표시된 비트 정보는 각 소절의 헤드부 Bd와 통상의 비트 Be를 포함한다. 비트 위치와 각 소절의 위치를 더 정확하게 구하기 위해, 다음의 문제점을 해결하는 것이 필요하다.

(1) 자동 비트 추출 처리에 의한 결과는 100% 정확한 것이 아니다.

(2) 자동 비트 추출 처리는 각 소절의 헤드부나 비트를 인식하는 것이 매우 어렵고, 100%의 정확한 정답을 달성할 수 없다.

(3) 잘못된 추출을 에러인 것으로 장치가 인식하는 것이 어렵고, 인간이 실제로 귀로 들어 수작업으로 수정할 수밖에 없다.

(4) 모든 처리를 수작업으로 행하는 경우, 1곡당 몇백 내지 몇천의 비트를 모두 수작업으로 부여하여야 한다. 이러한 작업은 대단한 노력을 필요로 한다.

(5) 수작업으로 입력하는 비트의 위치는 신호 처리에 의해 추출한 위치에 비해 정확성이 떨어질 수 있다.

(6) 악곡 그 자체의 비트와 템포는 요동이 클 가능성이 있다.

이들 문제점을 고려하여, 본 발명의 실시예에 있어서는, 다음의 방침에 따라 해결을 도모한다.

(a) 소절의 헤드부의 위치는 인간에 의해서만 인식될 수 있기 때문에, 자동 추출에만 의지하지 않는다(인간의 음악 인식 능력은 우수하다).

(b) 비트 위치를 잘못 추출하지 않은 경우에, 자동 비트 추출 처리에 의해 추출된 비트 위치를 사용한다.

(c) 비트를 잘못 추출한 경우, 잘못 추출한 비트의 위치를 용이하게 인식할 수 있도록 한다.

(d) 비트를 잘못 추출한 경우, 수작업에 의한 수정을 매우 간단하게 할 수 있도록 한다.

이하, 상기 각 방침 (a)~(d)에 따른 해결법을 구체적으로 설명한다.

방침 (a): 소절의 헤드부의 위치는 인간에 의해서만 인식될 수 있기 때문에, 자동 추출에만 의지하지 않는다는 것에 대해서는, 다음과 같이 행한다.

악곡은 소절로 구성되어 있고, 소절은 비트(박자)로 구성되어 있다. 2박자이면 1소절 중에 비트가 2개 들어가고, 4박자이면 1소절 중에 비트가 4개 들어간다.

소절의 헤드부를 정하기 위해 악곡 데이터를 실제로 듣는 경우, 도 6과 같이, 작업자가 각 소절의 헤드부로서 명확하게 인식되는 2개의 지점(Z1, Z2)을 지정하고, 그 2개의 지점 사이의 구간 내에서 소절의 수 n을 입력한다. 구간 내의 비트와 소절이 자동으로 정해진다(보간된다). 소절의 헤드부의 지정은, 악곡 데이터를 재생하여 귀로 들으면서, 소절의 헤드부라고 인식한 타이밍에서, 작업자가 도 3의 GUI 화면의 탭 버튼(311)을 누르는(마우스에 의해 클릭하는) 것에 의해 행해진다. 악곡의 개시 위치는 소절의 헤드부인 것이 통상적이기 때문에, 악곡의 개시 위치는 2개의 지점 중 하나로 대신한다. 이 경우, 악곡을 들으면서 수작업의 지정은 1개의 지점에서만 필요하다.

소절의 헤드부로서의 2개의 지점(Z1, Z2)이 지정되고 소절의 수 n이 입력되면, 소절의 길이 LBar는 LBar = (Z2－Z1)/n으로 표현되고, 각 비트의 길이(비트 간격, 비트 구간) LB는 Lb = (LBar/비트 수)로 표현된다. 예를 들면, 도 7에 나타낸 바와 같이, 지정된 2개 지점 Z1과 Z2 사이의 소절의 수 n에 n=142를 입력함으로써, 소절의 길이 LBar 및 비트 간격 Lb가 정해진다.

알고 있는 소절의 수에 의하여 지정된 2개의 지점 Z1 및 Z2로부터 소절의 길이를 구한다. 그러나 소절의 수를 세는 것은 매우 번거롭다. 반대로, 소절의 길이 LBar를 알고 있으면, 소절의 수를 정할 수 있다. 소절의 길이 LBar와 지정된 지점(Z1, Z2)으로부터, 각 소절과 비트 위치를 구하는 방법을 다음에 설명한다. 중요한 것은, 지정된 지점(Z1, Z2)은 소절의 헤드부를 나타내며, 또한 지정된 지점(Z1, Z2) 사이의 구간 내에 속하는 소절의 수는 정수라는 것이다. 따라서, 소절의 길이로부터 소절의 수를 구하는 경우에는, 정확하지 않아도 1소절의 개략의 길이를 지정함으로써, 소절의 수 n이 정수로 되는 가장 가까운 정확한 소절의 길이가 구해진다. 도 8에 나타낸 바와 같이, 지정된 지점(Z1, Z2)은 진동에서의 고정 단에 상당한다고 생각할 수 있다.

지점(Z1, Z2)은, 소절의 헤드부로서 지정된 것이므로, 이들 2개의 지점(Z1, Z2) 사이에 속하는 소절의 수 n은 정수이다. 그래서, 소절의 수를 자동으로 정수가 되도록 하기 위해 개략적인 소절의 길이가 지정된다. 개략적인 소절의 길이를 La로 하고, n개의 소절이 지점(Z1, Z2) 사이에 정확히 들어맞는 소절의 길이를 LBar로 한다. 다음의 등식으로부터 소절의 길이 LBar를 구할 수 있다.

nf=((Z2－Z1)/La)+0.5

n=INT (nf)

LBar=(Z2－Z1)/n

여기서, nf를 구하는 식 중에서의 왼쪽에 0.5를 추가하는 것은, n을 구하는 식에서 라운드오프를 하기 위한 것이며, n을 구하는 식 중의 INT(x)는, x의 소수점 이하를 라운드오프하는(정수 부분을 구하는) 함수이다.

소절의 개략적인 길이 또는 소절의 수를 알고 있으면, 2개의 지정된 지점(Z1, Z2)의 사이에 소절과 비트를 맞춘다. 소절의 수나 개략적인 소절의 길이를 둘다 모르면, 다음과 같은 방법이 유효하다.

전술한 예에서는, 자동 추출된 비트가 인비트와 아웃비트를 포함한다. 인비트는 자동 추출 알고리즘에 의해 추출된 악곡 본래의 비트이다. 인비트가 소절의 헤드부인지 여부와 비트의 수는 알지 못하지만, 인비트의 수는 실제의 비트의 절반이나 2배이다. 이 특징을 이용하면, 소절의 헤드부는 인비트에 기초하여 설정되고, 각각의 임시의 소절의 헤드부는 사용자에 의해 지정된 각각의 타이밍마다 규칙적으로 설정된다(예컨대, 4/4 박자, 3/4 박자 등). 임시의 소절의 헤드부는 구간 내에서 정렬된다. 소절의 길이 LBar은 지정된 지점(Z1, Z2) 사이의 임시의 소절의 수를 n으로 하던가, 소절의 헤드부 사이의 차분을 산출함으로써 용이하게 정해진다.

자동 추출한 비트는, 본래의 박자의 절반 또는 2배가 될 수 있다. 이 경우, 자동으로 추출한 비트는 2배 또는 절반이 될 수 있다. 재생된 악곡 데이터를 귀로 들음으로써, 작업자는 추출한 비트가 원래 박자의 절반 또는 두 배가 되는지 여부를 즉시 인식할 수 있다. 본 발명의 실시예에 따라, 지정된 지점(Z1, Z2) 사이에 소절의 수 n을 절반으로 또는 두 배로 즉시 산출하기 위하여 인터페이스가 제공된다. 도 3의 버튼(312, 313)은 각각 소절의 수 n을 두 배로 또는 절반으로 하는데 이용된다. 소절의 수 n이 정해지면, 비트 위치의 재계산이 용이하게 수행된다. 이에 따라, 정확한 소절의 수와 정확한 소절의 길이는 몇 개의 단계로 용이하게 구할 수 있다.

본 발명의 실시예에서, 소절의 수 n을 수작업으로 +1 또는 -1만큼 증가 또는 감소시키도록 하기 위한 인터페이스[도 3의 버튼(314, 315)을 이용하여]가 제공된다. 지정된 지점(Z1, Z2) 사이의 시간 길이가 길면, 포함되는 오차가 커진다. 길이 La로부터 정해진 소절의 수 n은 실제의 수보다 하나 크거나 또는 하나 작게 될 수 있다. 사용자가 재생된 악곡 데이터를 들을 때 비트가 상승하면, 소절의 수 n은 1만큼 증가하거나 1만큼 감소하고, 소절의 길이 LBar은 비트를 재위치시키기 위해 자동으로 재산출될 것이다. 이 동작은 지정된 지점(Z1, Z2) 사이의 소절의 수 n이 정수라는 전제에 기초하여 수행된다.

방침 (b): 비트 위치를 잘못 추출하지 않은 경우에, 자동 비트 추출 처리에 의해 추출된 비트 위치를 사용한다는 것에 대해서는, 다음과 같이 행해진다.

소절의 헤드 위치, 수 및 길이는 지정된 지점(Z1, Z2)의 사이에 소절과 비트를 보간하기 위해 정해진다. 소절과 비트가 균등하게 보간되면, 도 2로 나타낸 비트 간격으로 요동이 있는 악곡에 대해서 실제의 비트 위치와 계산으로 구한 비트 위치가 어긋나 버린다.

본 발명의 실시예에 따라, 신호 처리에 의해 자동 추출된 비트의 정보를 고려하여 이 문제를 해결하고 있다. 더 구체적으로 말하면, 도 1의 자동 비트 추출부(3)에 의한 비트의 자동 추출로 얻은 비트 위치 정보는, 비트 요동의 원인이 되므로, 가능한 그대로 이용한다. 자동 추출한 비트가 잘못되었을 가능성이 있는 경 우, 그 위치의 비트 위치 정보는 사용하지 않고, 계산으로 구한 위치 정보를 사용한다. 이와 같은 처리의 흐름을, 도 9a 및 도 9b를 참조하여 설명한다.

도 9a 및 9b는 조작자가 소절의 헤드부에 부여한 지정된 지점 Z1로부터 지점 Z2로 향해 순차적으로 소절 및 비트의 위치 정보를 부여하는 처리를 나타내는 플로차트이다.

도 9a의 단계 S401에서, 소절의 길이 LBar을 구한다. 전술한 바와 같이, 소절의 길이 LBar은 지정된 지점(Z1, Z2)의 위치 및 소절의 수 n을 사용하여, 이하의 식으로부터 구한다.

LBar=(Z2－Z1)/n

소절의 수 n은 전술한 개략적인 소절의 길이 La로부터 구한다.

단계 S402에서는, 다음의 등식으로, 즉 단계 S401에서 구한 소절의 길이 LBar를 박자로 나누어 구한다.

Lb=LBar/박자

단계 S403에서는, 이 처리 중에 마지막에 비트를 맞춘(최근에 비트 위치를 부여한) 위치를 나타내는 변수 Pa에, 초기치로서의 지정된 지점 Z1의 위치를 대입함으로써(Pa=Z1), 변수 Pa를 초기화한다. 단계 S404에서, 마지막으로 박자를 맞춘(최근에 소절의 헤드부 위치를 부여한) 소절의 헤드부의 위치를 나타내는 변수 PBar에, 지정된 지점 Z1의 위치를 대입함으로써(PBar=Z1), 변수 PBar를 초기화한다.

단계 S405에서는, 다음의 비트 후보의 위치를 나타내는 변수 Pc에, Pa＋Lb의 값을 대입한다(Pc=Pa＋Pa). 최후의(최신의) 비트 위치 Pa로부터 임시 비트 길이 Lb 만큼 진행된 위치를, 다음의 비트 후보로서의 위치 Pc가 되도록 설정한다. 자동 추출 비트가 존재하는지 여부가 후보 위치 Pc를 중심으로 하는 임계값 Ti의 범위 내(윈도우 폭 내)에 존재한다. 단계 S406에서, 후보 위치 Pc가 지정된 지점 Z2보다 작은지 여부(Pc＜Z2)가 판단된다. 단계 S406에서 YES(예)이면, 즉 후보 위치 Pc가 지정된 지점 Z2보다 시간적으로 앞에 있으면, 단계 S407으로 진행한다. 단계 S406에서의 판단이 NO(아니오)이면, 처리를 종료한다.

단계 S407에서, 자동 추출된 인비트가 후보 위치 Pc를 중심으로 하여 임계값 Ti의 범위 내에 있는지 여부가 판단된다. 단계 S407에서의 판단이 YES이면, 처리는 단계 S408로 진행한다. 단계 S408에서, 인비트의 위치 Pi에 비트 정보가 부여된다. 단계 S409에서, 비트가 맞추어졌던 최신 위치를 나타내는 Pa는 변수 Pa에 Pi를 대입함으로써 나중의 처리를 위해 갱신된다. 처리는 단계 S415로 진행한다.

단계 S407에서의 판단이 자동 추출된 인비트가 발견되지 않은 것이면, 처리는 단계 S410으로 진행한다. 단계 S410에서 자동 추출된 아웃비트가 후보 위치 Pc를 중심으로 하는 임계값 To의 범위 내에 존재하는 것으로 판단된다(윈도우 폭 내, 본 실시예에서는 Ti＞To). 단계 S410에서의 판단이 YES(아웃비트가 있음)로 판단되면, 단계 S411에서 아웃비트의 위치 Po에 비트 정보가 부여된다. 단계 S412에서, 비트가 맞추어졌던 최신 위치를 나타내는 변수 Pa에 Pc를 대입함으로써(Pa=Pc) 나중의 처리를 위해 갱신된다. 처리는 단계 S415로 진행한다.

단계 S410에서 NO(자동 추출된 아웃비트가 없음)인 것로 판단되면, 단계 S413으로 진행한다. 비트 정보가 위치 후보 Pc의 위치에 부여된다. 단계 S414에서, 비트가 맞추어졌던 최신 위치를 나타내는 변수 Pa에 Pc를 대입함으로써(Pa=Pc), Pa를 갱신한다. 처리는 단계 S415로 진행한다.

단계 S415에서 마지막으로 맞추어진 비트(최신 위치를 나타내는 변수 Pa의 위치의 비트)가 소절의 헤드부인지 여부가 판단된다. 단계 S415에서의 판단이 YES이면, 처리는 단계 S416으로 진행한다. 단계 S415에서의 판단이 NO일 때는 처리는 단계 S405로 복귀한다.

단계 S416에서, 마지막에 맞추어진 비트 위치 Pa와 마지막에 맞추어진 소절의 헤드의 위치 PBar에 기초하여, Pa - PBar을 계산함으로써, 바로 옆의 소절의 길이가 구해진다. 비트의 길이 후보 Lb는 결정된 소절의 길이와 박자로부터, 더 구체적으로 말하면, Lb=(Pa-PBar)/박자로부터 정해진다.

단계 S417에서, 소절의 헤드부의 최신 위치를 나타내는 변수 PBar은 Pa를 대입함으로써(PBar=Pa) 갱신된다. 처리는 단계 S405로 복귀한다.

단계 S405부터 단계 S417까지의 처리는, 단계 S406에서의 판단이 NO로 될 때까지, 즉 후보 위치 Pc가 지정된 지점 Z2에 도달할 때까지 반복된다.

도 10은 각 비트의 헤드부와 각각의 소절이 맞추어지는 방법을 나타내며, 자동으로 추출된 비트를 표시하는 비트 추출 영역(303)을 나타내고, 비트 편집 영역(304) 내에서 추출된 비트에 따라 비트의 헤드부와 소절이 맞추어진다. 악곡 데이터의 파형은 도 5 및 10에 도시되어 있지 않다. 도 5와 관련하여 설명한 제1 종류의 색 Ba는 자동으로 추출한 인비트로서, 도 10의 위치 Pi에서의 비트에 대응한 다. 제2 종류의 색 Bb는 자동으로 추출한 아웃비트로서 도 10의 위치 Po에서 비트에 대응한다.

도 10을 참조하여, 지정된 지점 Z1은 도 9a의 단계 S403 및 S404에 나타낸 바와 같이, 최후의(최신의) 비트 위치 Pa와 소절의 헤드부 위치 PBar의 초기값이다. 이 최후의(최신의) 비트 위치 Pa(=Z1)와 임시의 비트 길이 Lb를 가산한 위치를, 다음의 비트 후보(341)의 위치 Pc로 결정한다. 후보 위치 Pc를 중심으로 하여 임계값 Ti의 범위 내(윈도우 폭 내)에 자동 추출한 비트가 존재하는지가 판정된다.

도 10을 참조하여, 비트 추출 영역(303)에, 비트 후보(341)의 위치 Pc를 중심으로 하는 임계값 Ti의 범위 내에서 자동 추출된 인비트(342)가 존재한다. 도 9b의 단계 S407에서 YES로 판정되고 처리는 단계 S408로 진행한다. 비트(343)는 추출된 비트(342)의 위치 Pi에서 비트 편집 영역(304) 내에서 맞추어진다. 단계 S409에서, 최후의(최신의) 비트 위치를 나타내는 변수 Pa는 비트(343)의 위치 Pi를 대입하여(Pa=Pi), 갱신된다.

갱신된 Pa로부터 임시의 비트 길이 Lb만큼 진행된 위치가 다음의 비트 후보(344)의 위치 Pc가 되도록 설정된다. 위치 Pc를 중심으로 하는 임계값 Ti의 범위 내로부터 자동 추출 비트가 조사되면, 도 10의 비트 추출 영역(303)에 아웃비트(345)와 인비트가 존재한다. 도 9a의 플로차트로부터 명백한 바와 같이, 인비트가 존재하는지 여부에 대하여 단계 S407에서의 판단이 YES이면, 처리는 단계 S408로 진행한다. 비트(347)는 임계값 Ti의 범위 내의 인비트(346)의 위치 Pi에 비트 편집 영역(304)에 맞추어진다. 변수 Pa는 위치 Pi로 갱신된다(Pa=Pi).

마지막(최근)에 맞추어진 비트(347)의 위치 Pa로부터 임시의 비트 길이 Lb 만큼 진행하는 위치에서 비트 후보(348)를 중심으로 하는 임계값 Ti의 범위 내로부터 자동 추출 비트가 조사된다. 도 10의 비트 추출 영역(303)에는, 아웃비트(349)는 존재하지만, 인비트는 존재하지 않는다. 예를 들면, 다음의 인비트(250)는 임계값 Ti의 범위를 벗어난다. 도 9b의 단계 S407에서의 판단이 NO이면, 처리는 단계 S410으로 진행한다. 단계 S410에서, 자동으로 추출된 아웃비트가 비트 후보(348)의 위치 Pc를 중심으로 하는 임계값 To의 범위 내(본 실시예에서는 Ti＞To)에 존재하는지 여부가 판정된다. 도 10의 비트 추출 영역(303) 내의 아웃비트(349)는 임계값 To의 범위 내에 포함되므로, 단계 S410에서의 판정이 YES이다. 처리는 단계 S411로 진행한다. 비트(351)는 아웃비트(349)의 위치 Po에서 비트 편집 영역(304) 내에서 맞추어진다. 단계 S412에서, 변수 P1은, 변수 Pa에 위치 Po를 대입함으로써(Pa=Po), 갱신된다.

비트(351)의 위치 Pa로부터 임시의 비트 길이 Lb 만큼 진행된 위치의 비트 후보(352)의 위치 Pc를 중심으로 하는 임계값 Ti의 범위 내에 인비트는 존재하지 않는다. 위치 Pc를 중심으로 하는 임계값 To의 범위 내에 아웃비트도 존재하지 않는다. 도 9b의 단계 S407에서의 판정이 NO이고, 단계 S410에서의 판정이 NO이면, 처리는 단계 S413으로 진행한다. 비트 후보(352)의 위치 Pc에, 보간용의 비트(353)가 맞추어진다.

다음 비트의 후보 위치 Pc에 대하여 소정의 임계값의 범위 내에 존재하는 자동 추출 비트는 그대로(자동 추출 비트의 위치로 끌어당겨서) 사용한다. 소정의 임계값의 범위 내에 자동 추출 비트가 존재하지 않으면, 다음 비트의 후보 위치 Pc에서 보간용의 비트가 맞추어진다.

방침 (c): 비트를 잘못 추출한 경우, 잘못 추출한 비트의 위치를 용이하게 인식할 수 있도록 한다는 것에 대해서는, 다음과 같이 행해진다.

도 10의 비트 편집 영역(304)에서, 지정된 지점(Z1, Z2) 사이에서 비트의 박자가 맞추어진다. 비트(342, 347, 351, 353 등)는, 비트 추출 영역(303) 내에 표시되는 자동 추출 비트가, 윈도우 폭, 즉 비트 후보 위치 Pc를 중심으로 하는 임계값 Ti 또는 To의 범위 내에서 발견되었는지 여부에 따라, 비트 편집 영역(304)에 상이한 색으로 표시될 수 있다.

본 발명의 실시예에 의하면, 자동 추출 비트의 인비트 위치 Pi에 붙은 비트(343, 347) 등은 밝은 청색(또는 청색)으로 표시되고, 자동 추출 비트의 아웃비트 위치 Po에 붙은 비트(351) 등은 노란색(또는 오렌지색)으로 표시되며, 자동 추출 비트가 소정의 임계값 범위 내에서 발견되지 않았기 때문에 계산에 의한 보간을 행한 비트(353) 등은 적색(또는 핑크색)으로 표시된다. 신호기의 색과 마찬가지로, 밝은 청색(청색), 노란색, 적색의 순서로, 비트의 신뢰성이 높은 쪽에서 낮은 쪽으로 표현하고 있다.

이에 의하여, 자동 추출한 비트 위치와, 지정된 지점(Z1, Z2) 사이의 구간에서의 소절 위치 및 비트 부여 위치가, 후보 위치 부근의 임계값 Ti의 범위 내에 포함되는 경우, 비트는 밝은 청색(청색)으로 표시된다.

자동 추출 처리 과정 동안 잘못된 추출이 일어나는 경우, 추출된 비트 위치 와, 지정된 지점(Z1, Z2) 사이의 구간에서의 비트 부여 위치가 서로 맞지 않는다. 비트가 정확하게 추출되지 않은 경우의 대부분에서, 악곡 중 몇 개 내지 몇십 개의 소절에 걸쳐 템포가 크게 변화하거나, 비트가 확실치 않은 악곡에서 정확한 인비트를 골라낼 수 없는 경우가 있다. 이러한 경우, 지정된 지점(Z1, Z2) 사이의 구간 내에 포함되는 비트의 수가 소절의 수로 나누어지지 않는다. 지정된 지점(Z1, Z2)은 소절의 헤드부이므로, 그 구간에 포함되는 비트의 수는 반드시 소절의 수의 정수배가 되어야 한다. 그러나, 잘못된 추출이 발생하면, 구간에 포함되는 비트의 수가 비트의 실제의 수와 맞지 않는다. 어떠한 비트도 도 10에서의 임계값 Ti 또는 To의 범위 내에 포함되지 않는다. 1비트 어긋난 비트가 임계값에 포함될 때까지 이 상태가 계속된다. 그 결과, 적색의 비트가 편집 영역(304)에 연속하여 표시된다. 따라서, 비트 어긋남을 용이하게 발견할 수 있다.

순간 BPM 내의 각 비트의 오차, 누적 오차 및 위상 어긋남이 그래프로 볼 수 있게 되어 있다. 신호 처리를 통해 자동으로 추출된 각 비트의 신뢰성이 예측된다. 도 11의 (a)는 비트가 크게 요동하는, 사운드가 실제 연주된 또는 녹음된 표시부(302)를 나타낸다. 도 11의 (b)는 컴퓨터 상에서 사운드가 녹음된 표시부(302)를 나타낸다. 도 11의 (a) 및 (b)에서, 곡선 Qa는 비트의 순간 BPM의 오차를 나타내며, 곡선 Qb는 비트의 순간 BPM의 누적 오차를 나타내고, 곡선 Qc는 위상 어긋남을 나타낸다.

도 11의 (b)에 나타낸 것과 같이 안정된 악곡의 BPM에 의해 자동 추출이 이루어진 경우, 3종류의 곡선 Qa, Qb, Qc는 대략적으로 겹쳐진다. 도 11의 (a)에 도 시된 것과 같이 비트가 크게 요동하는 경우, 곡선 Qa, Qb, Qc는 크게 서로 어긋나게 된다. 이에 의하면, 자동 추출 비트의 신뢰도를 한눈에 확인할 수 있다.

방침 (d): 비트를 잘못 추출한 경우, 수작업에 의한 수정을 매우 간단하게 할 수 있도록 한다는 것에 대해서는, 다음과 같이 행해진다.

상기 설명한 바와 같이, 잘못된 추출의 원인은, 악곡 중 수개 내지 수십 개의 소절에 걸쳐 템포가 크고 변화하거나, 비트가 확실치 않은 악곡에서 정확한 인비트를 골라낼 수 없을 수 있다는 것이다. 또한, 작곡자나 연주자가 의도적으로 박자를 부분적으로 변경하는 경우가 있다.

이와 같은 악곡으로부터 비트가 추출되지 않으면, 도 10, 도 11의 (a) 및 도 11의 (b)를 참조하여 설명한 방법으로 간단하게 검출된다. 바람직하게는, 이러한 악곡에 적어도 2개의 구간이 설정되고, 정확한 비트 위치와 소절의 정확한 헤드부 위치가 결정된다. 도 12를 참조하여, 적어도 3개의 지점(Z1, Z2, Z3)이 지정되고, 도 9a, 9b 및 도 10을 참조하여 설명한 처리 과정이 지정된 지점(Z1, Z2, Z3) 사이의 각각의 구간에 대해 수행된다.

지정된 지점(Z1, Z2, …)은 소절의 헤드부이며, 지정된 지점(Z1, Z2, …)의 각각으로부터 다음 지정된 지점까지의 소절의 길이, 소절의 수, 비트는 개별적으로 관리된다. 구간은, 자동 추출이 성공적이었던 구간과, 자동 추출이 실패했던 구간으로 분할되며, 상기 설명한 계산은 구간 단위로 상이한 소절 길이에 의해 각 구간에 대해 수행된다.

구간 설정과는 별도로, 도 1의 수동 저작부(4)는, 시계열의 악곡 데이터로 서, 악곡의 멜로디 구조, 예를 들면 도입부(intro), 멜로디 A, 멜로디 B, 클라이막스, 엔딩 등에 관한 음악 구조 정보를 입력할 수 있다. 구체적으로 말하면, 도 13에 나타낸 바와 같이, 파형 표시부(301) 내의 악곡 데이터의 비트 위치와 소절의 헤드부 위치와 함께, 사용자의 조작 입력에 따라, 멜로디 구조의 각 부분을 구별하기 위한 변화의 위치 정보를 나타내는 마크(451)가 부여되어 표시된다. 이들 멜로디 구조에 따른 변화 위치는, 지정된 지점(Z1, Z2, …)과는 상이하지만, 소절의 헤드부 위치인 경우가 많다. 템포와 박자는 멜로디 구조에서 구간마다 변경될 수 있다. 예를 들어, 도입부는 다른 부분에서의 템포보다 느린 템포에서 재생될 수 있다.

이상 설명한 본 발명의 실시예에 의하여, 악곡의 정확한 비트 위치가 필요한 애플리케이션을 위한 시계열의 메타데이터를 간단하고 정확하게 부여하는 것이 가능하다. 또한, 비트 위치에 따라, 정확한 멜로디, 정확한 코드 진행, 가사 등의 정보가 부여될 수 있다.

정확한 메타데이터를 필요로 하는 음악 리믹스 애플리케이션, 비트에 동기하여 정확한 타이밍 제어가 필요한 기기 및 소프트웨어를 제작하는 것이 가능해진다.

음악 메타데이터 추출 시스템에 대하여 설명한다. 음악 메타데이터 추출 시스템은, 도 1의 수동 저작부(4)를 갖는 비트 추출 장치(2)를 포함한다. 수동 저작부(4)는 비트 위치와 소절 헤드부 위치를 수동으로 부여한다. 음악 메타데이터 추출 시스템은 자동 비트 추출부(3)를 포함한다.

도 14는 본 발명의 실시예에 따라 도 1의 비트 추출 장치(2)를 포함하는 하 드웨어 구성의 일례를 개략적으로 나타낸 블록도이다. 도 14의 장치(10)는, 퍼스널 컴퓨터를 포함하며, 도 1의 자동 비트 추출부(3) 및 수동 저작부(4)의 기능을 실현할 뿐만 아니라, 음악 컨텐츠 공급 기능이나 음악 재생 기능도 포함한다.

자동 비트 추출부(3)는 도 1의 수동 저작부(4)에 원래 데이터(입력 데이터)로 기능하는 자동 추출 비트를 획득한다. 자동 비트 추출부(3)는 본 발명의 필수 요소는 아니다. 자동 비트 추출부(3)에서의 비트 추출 정확도가 높아질수록, 수동 저작의 시간을 줄일 수 있다. 비트 추출 및 소절 헤드부 추출은 높은 품질의 수준으로 수행된다. 높은 품질의 자동 비트 추출부(3)의 사용은 유용하다. 이러한 관점에서, 도 1의 자동 비트 추출부(3)의 바람직한 예에 대하여 상세하게 설명한다.

도 14에 나타낸 장치(10)에서, 시스템 버스(100)에는, 중앙 처리 장치(CPU)(101), 판독 전용 메모리(ROM)(102), 및 랜덤 액세스 메모리(RAM)(103)가 접속되어 있다. ROM(102)에는 각종 프로그램이 기록되어 있고, CPU(101)는 작업 영역으로 RAM(103) 상에서 이들 프로그램에 근거하는 처리를 실행한다.

또한, 시스템 버스(100)에는, 오디오 데이터 디코더부(104), 미디어 드라이브(105), 통신 네트워크 인터페이스(I/F)(107), 조작 입력 인터페이스(109), 디스플레이 인터페이스(111), 입출력(I/O) 포트(113), 입출력(I/O) 포트(114), 입력 인터페이스(115), 및 하드 디스크 드라이브(HDD)(121)가 접속되어 있다. 구성 요소에 의해 처리되는 일련의 데이터부는 시스템 버스(100)를 통해 각각의 구성 요소에 공급된다.

미디어 드라이브(105)는, 컴팩트 디스크(CD), DVD 등의 디스크(106)에 기록 되어 있는 음악 컨텐츠의 악곡 데이터를 시스템 버스(100)에 읽어들인다.

조작 입력 인터페이스(109)에는 키보드 및 마우스 등의 조작 입력부(110)가 접속되어 있다.

도 3과 관련하여 설명한 바와 같이, 디스플레이(112)는, 수동 저작 동작 동안 GUI 화면을 표시한다. 자동 비트 추출 동안, 추출한 비트에 동기 표시를 하거나, 추출한 비트에 동기하여 춤추는 인형이나 로봇을 표시할 수 있다.

I/O 포트(113)에는 오디오 재생부(117)와 비트 추출부(11)가 접속되어 있다. I/O 포트(114)에는 비트 추출부(11)가 접속되어 있다. 비트 추출부(11)는 도 1의 자동 비트 추출부(3)에 대응한다.

입력 인터페이스(115)에는, 아날로그-디지털(A/D) 변환기(116A), 마이크로폰 단자(116B), 및 마이크로폰(116C)을 포함하는 입력부(116)가 접속되어 있다. 마이크로폰(116C)에 의해 픽업된 오디오 신호와 음악 신호는, A/D 변환기(116A)에 의해 디지털 오디오 신호로 변환된다. 디지털 오디오 신호는 입력 인터페이스(115)에 공급된다. 입력 인터페이스(115)는 디지털 오디오 신호를 시스템 버스(100)에 취득한다. 시스템 버스(100)에 의해 캡쳐된 디지털 오디오 신호(시계열 파형 신호)는 HDD(121)상에 .wav 파일 형식으로 기록된다. 입력 인터페이스(115)를 통하여 캡쳐된 디지털 오디오 신호는 오디오 재생부(117)에 직접 공급되지 않는다.

오디오 데이터 디코더부(104)는, 시스템 버스(100)를 통하여 HDD(121) 및 미디어 드라이브(105) 중 하나로부터 악곡 데이터가 공급되면, 이 악곡 데이터를 복호하고, 디지털 오디오 신호를 복원한다. 오디오 데이터 디코더부(104)는, 복원된 디지털 오디오 신호를, 시스템 버스(100)를 통하여 I/O 포트(113)에 전송한다. I/O 포트(113)는 시스템 버스(100)를 통하여 전송되는 디지털 오디오 신호를 비트 추출부(11) 및 오디오 재생부(117)에 각각 공급한다.

시스템 버스(100)는 기존의 CD 등의 미디어(106)로부터의 데이터를 미디어 드라이브(105)를 통해 얻는다. 청취자가 다운로드함으로써 취득하여 HDD(121)에 저장되는 비압축 오디오 컨텐츠는 시스템 버스(100)에 의해 직접 캡쳐된다. 한편, 압축 오디오 컨텐츠는 오디오 데이터 디코더부(104)를 통해 시스템 버스(100)에 되돌려진다. 입력부(116)와 입력 인터페이스(115)를 통하여 시스템 버스(100)에 의해 캡쳐된 디지털 오디오 신호(디지털 오디오 신호는 음악 신호에 한정되지 않고, 음성 신호나 그 외의 오디오 대역 신호를 포함한다)는 HDD(121)에 저장된다. 디지털 오디오 신호는 시스템 버스(100)에 되돌려진다.

본 발명의 일실시예에 따른 장치(10)에서는, 시스템 버스(100)에 의해 캡쳐된 디지털 오디오 신호(시간 파형 신호에 상당함)는 I/O 포트(113)에 전송되고, 비트 추출부(11)에 공급된다.

본 발명의 일실시예에 따른 비트 추출부(11)는 비트 추출 처리부(12)와 비트 정렬 처리부(13)를 포함한다. 비트 추출 처리부(12)는 악곡의 리듬에 관한 비트 위치 정보를 추출한다. 비트 정렬 처리부(13)는 비트 추출 처리부(12)에 의해 추출된 비트 위치 정보를 이용하여 비트 주기 정보를 생성하고, 이 비트 주기 정보에 따라 비트 추출 처리부(12)에 의해 추출된 비트 위치 정보의 비트를 정렬시킨다.

도 15에 나타낸 바와 같이, 비트 추출 처리부(12)는, .wav 파일 형식으로 기 록되어 있는 디지털 오디오 신호가 공급되면, 비트 추출 처리부(12)는 디지털 오디오 신호로부터 조악한 비트 위치 정보를 추출하고, 그 결과로서의 조악한 비트 정보를 .mty 파일 형식으로 기록된 악곡 데이터로서 출력한다. 비트 정렬 처리부(13)는, .mty 파일 형식으로 기록된 모든 악곡 데이터 또는 동일한 템포를 갖는 것으로 된 음악 부분에 대응하는 악곡 데이터에 기초하여, 비트 추출 처리부(12)에 의해 추출된 비트 위치 정보를 정렬시키고, 그 결과로서의 비트 위치 정보를 .may 파일 형식으로 기록된 악곡 데이터로서 출력한다. 단계적으로 증가되는 높은 정밀도를 갖는 추출된 비트 위치 정보가 제공된다. 비트 추출부(11)에 대한 자세한 것은 후술한다.

오디오 재생부(117)는, D/A 변환기(117A), 출력 증폭기(117B), 및 스피커(117C)를 구비한다. I/O 포트(113)는 시스템 버스(100)를 통하여 전송되는 디지털 오디오 신호를 오디오 재생부(117) 내의 D/A 변환기(117A)에 공급한다. D/A 변환기(117A)는 I/O 포트(113)를 통해 공급된 디지털 오디오 신호를 아날로그 오디오 신호로 변환하고, 출력 증폭기(117B)를 통해서 스피커(117C)에 공급한다. 스피커(117C)는 출력 증폭기(117B)를 통해서 D/A 변환기(117A)로부터 공급된 아날로그 오디오 신호를 사운드로 변환한다.

디스플레이 인터페이스(111)에는 액정 디스플레이(LCD) 등의 디스플레이(112)가 접속되어 있다. 디스플레이(112)는 음악 컨텐츠의 악곡 데이터로부터 추출된 비트 성분과 템포 값이 표시된다. 디스플레이(112)는 음악에 애니메이션 화상이나 가사가 표시된다.

통신 네트워크 인터페이스(107)는 인터넷(108)에 접속되어 있다. 음악 재생 장치(10)는 음악 컨텐츠의 속성 정보를 기억하는 서버에, 인터넷(108)을 통하여 액세스하여, 음악 컨텐츠의 식별 정보를 검색 워드로서 그 속성 정보의 취득 요구를 보낸다. 이 취득 요구에 따라, 음악 재생 장치(10)는 서버로부터 보내져 오는 속성 정보를, HDD(121) 상의 하드 디스크에 기억시킨다.

본 발명의 일실시예에 따른 음악 재생 장치(10)가 구비하는 비트 추출부(11)는, 이하에 설명하는 디지털 오디오 신호의 특징에 기초하여, 악곡의 리듬에 관한 비트 위치 정보를 추출한다.

도 16의 (a)는 디지털 오디오 신호의 시계열 파형을 나타낸다. 도 16의 (a)의 시계열 파형에는, 순간적으로 큰 피크 값을 나타내는 부분이 포함되어 있다. 큰 피크 값을 나타내는 부분은 드럼의 비트에 대응할 수 있다.

도 16의 (a)에 나타낸 디지털 오디오 신호의 시계열 파형을 갖는 악곡을 실제로 들으면, 이러한 비트가 디지털 오디오 데이터의 시계열 파형 내에 볼 수 없도록 숨어 있더라도, 많은 비트가 일반적으로 규칙적인 간격으로 맞추어져 있다는 것을 알 수 있다. 도 16의 (a)에 나타내는 시계열 파형의 큰 피크 값으로부터, 악곡의 리듬의 실제 비트 성분이 추출될 수 없다.

도 16의 (b)는 도 16의 (a)에 나타낸 시계열 파형을 가지는 디지털 오디오 신호의 스펙트로그램을 나타낸 것이다. 도 16의 (b)에 나타내는 디지털 오디오 신호의 스펙트로그램에서는, 도 16의 (a)에 나타내는 시계열 파형에 숨어 있던 비트 성분이, 파워 스펙트럼에서의 순간적으로 크게 변화하는 부분으로서 보인다. 실제 로 음을 들으면, 파워 스펙트럼에서 순간적으로 크게 변화하는 부분이 비트 성분에 대응하는 것을 알 수 있다. 비트 추출부(11)에서는, 파워 스펙트럼이 순간적으로 크게 변화하는 부분이 리듬의 비트 성분으로서 간주한다.

이 비트 성분을 추출하여 비트 주기를 계측함으로써, 음악의 리듬 주기와 BPM(beat per minutes)을 알 수 있다.

도 17에 나타낸 바와 같이, 비트 추출 처리부(12)는, 파워 스펙트럼 산출부(12A), 변화율 산출부(12B), 엔벨로프 팔로워(12C), 비교부(12D), 및 이진화부(12E)를 구비한다.

파워 스펙트럼 산출부(12A)는 도 18의 (a)에 도시된 악곡의 시계열 파형으로 이루여진 디지털 오디오 신호를 수신한다.

오디오 데이터 디코더부(104)로부터 공급된 디지털 오디오 신호는, 비트 추출 처리부(12) 내의 파워 스펙트럼 산출부(12A)에 공급된다.

파워 스펙트럼 산출부(12A)는, 시계열 파형으로부터 높은 정밀도로 비트 성분을 추출할 수 없다. 파워 스펙트럼 산출부(12A)는 이 시계열 파형에 대해, 고속 푸리에 변환(FFT: Fast Fourier Transform) 연산을 수행하여, 도 18의 (b)에 나타낸 바와 같은 스펙트로그램을 산출한다.

FFT 연산에서의 분해능은, 비트 추출 처리부(12)에 입력되는 디지털 오디오 신호의 샘플링 주파수가 48kHz인 경우, 샘플 수를 512개의 샘플, 또는 1024개의 샘플로 하고, 실시간으로 5 ~ 30 ms(밀리초)로 설정하는 것이 바람직하다. FFT 연산에서 설정된 파라미터 값은 이들에 한정되지 않는다. 또한, 해닝 윈도우 또는 해 밍 윈도우 등의 창 함수(window function)가 오버랩되는 윈도우에 의해 적용되면서, FFT 연산을 행하는 것이 바람직하다.

파워 스펙트럼 산출부(12A)는 산출한 스펙트럼을 변화율 산출부(12B)에 공급한다.

변화율 산출부(12B)는, 파워 스펙트럼 산출부(12A)로부터 공급된 파워 스펙트럼의 변화율을 산출한다. 더 구체적으로 말하면, 변화율 산출부(12B)는, 파워 스펙트럼 산출부(12A)로부터 공급된 파워 스펙트럼에 대해서 미분 연산을 행함으로써, 변화율을 산출한다. 변화율 산출부(12B)는, 계속해서 변화하는 파워 스펙트럼에 대해서 미분 연산을 반복적으로 행함으로써, 도 18의 (c)에 나타낸 추출된 비트 파형을 가진 검출 신호를 출력한다. 도 18의 (c)에 나타낸 추출된 비트 파형 중 정방향으로 전이된 피크를 비트 성분으로 간주한다.

엔벨로프 팔로워(12C)는, 변화율 산출부(12B)로부터 검출 신호가 공급되면, 이 검출 신호에 적당한 시정수를 갖는 히스테리시스 특성을 부가한다. 엔벨로프 팔로워(12C)는 검출 신호로부터 채터링(chattering)을 제거하고, 채터링이 제거된 검출 신호를 비교부(12D)에 공급한다.

비교부(12D)는, 적당한 임계값을 설정하고, 엔벨로프 팔로워(12C)로부터 공급된 검출 신호로부터 저레벨의 노이즈를 제거하며, 이 저레벨의 노이즈가 제거된 검출 신호를 이진화부(12E)에 공급한다.

이진화부(12E)는, 비교부(12D)로부터 공급된 검출 신호 중에서, 임계값 이상의 레벨을 가지는 검출 신호만을 남기도록 이진화 처리를 수행한다. 이진화 부(12E)는 P1, P2, 및 P3으로 이루어지는 비트 성분의 위치를 시간으로 나타내는 비트 위치 정보를 mty 파일 형식으로 기록된 악곡 데이터로서 출력한다.

비트 추출 처리부(12)는, 디지털 오디오 신호의 시계열 파형으로부터 비트 위치 정보를 추출하고, 이 비트 위치 정보를 .mty 파일 형식으로 기록된 악곡 데이터로서 출력한다. 비트 추출 처리부(12)의 구성 요소에는 내부 파라미터 세트가 포함된다. 내부 파라미터를 변경함으로써, 각 구성 요소의 동작의 효과가 변형된다. 내부 파라미터는 자동으로 최적화된다. 그러나, 사용자는 조작 입력부(110)를 이용하여 파라미터 설정을 수동으로 행할 수 있다.

비트 추출 처리부(12)에 의해 추출되어 .mty 파일 형식으로 악곡 데이터로서 기록되어 있는 악곡의 비트 위치 정보의 비트 간격은, 도 19의 (a)에 나타낸 바와 같이, 규칙적인 것이 일반적이다.

비트 정렬 처리부(13)는, 비트 추출 처리부(12)에 의해 추출된 비트 위치 정보 중에서, 동일한 악곡 또는 동일한 템포를 제공하는 음악 부분 내의 비트 위치 정보를 정렬시킨다.

비트 정렬 처리부(13)는, 비트 추출 처리부(12)에 의해 추출되어 .mty 파일 형식으로 기록된 비트 위치 정보의 메타데이터로부터, 도 19의 (a)의 A1 내지 A11과 같은 규칙적인 시간 간격으로 맞추어진 등 간격 비트를 추출한다. 비트 정렬 처리부(13)는 B1 내지 B4 등의 불규칙하게 맞추어진 비트를 추출하지 않는다. 본 발명의 일실시예에 의하면, 규칙적으로 맞추어진 비트는 4분 음표의 비트와 같은 등 간격에서 맞추어진다.

비트 정렬 처리부(13)는, 비트 추출 처리부(12)에 의해 추출되어 .mty 파일 형식으로 기록되어 있는 비트 위치 정보의 메타데이터로부터 정확한 평균 주기 T를 산출하고, 평균 주기 T와 시간 간격이 같은 비트를 등 간격 비트로서 추출한다.

규칙적으로 맞추어진 추출된 비트에서만, 도 19의 (a)에 나타낸 바와 같은 공백 기간이 존재한다. 도 19의 (b)에 나타낸 바와 같이, 비트 정렬 처리부(13)는 규칙적인 비트가 맞추어졌을 위치에, 보간 비트 C1 내지 C3를 부가한다. 이에 따라, 모든 비트 간격이 규칙적인 간격인 비트 위치 정보를 얻는 것이 가능해진다.

비트 정렬 처리부(13)는 등 간격 비트와 위상이 동일한 비트를 인비트(in beat)라고 정의하고, 이 인비트를 추출한다. 인비트는 실제의 음악 비트와 동기하는 비트이며, 등 간격 비트도 포함된다. 비트 정렬 처리부(13)는, 등 간격 비트와 위상이 상이한 비트를 아웃비트(out beat)라고 정의하고, 이 아웃비트를 배제한다. 아웃비트는, 실제의 음악 비트(4분 음표의 비트 등)와 동기 하지 않는 비트이다. 비트 정렬 처리부(13)는 인비트와 아웃비트를 판별할 필요가 있다.

인비트와 아웃비트를 판별하기 위하여, 비트 정렬 처리부(13)는, 도 20에 나타낸 바와 같이, 등 간격 비트를 중심으로 한 일정한 윈도우 폭 W를 정의한다. 비트 정렬 처리부(13)는, 윈도우 폭 W 내에 포함되는 비트를 인비트로 하고, 윈도우 폭 W에 포함되지 않은 비트를 아웃비트라고 판단한다.

비트 정렬 처리부(13)는, 윈도우 폭 W에 등 간격 비트가 포함되어 있지 않은 때, 등 간격 비트를 보간하기 위해 보간 비트를 부가한다.

도 21에 나타낸 바와 같이, 비트 정렬 처리부(13)는, A11 내지 A20의 등 간 격 비트와, 등 간격 비트 A11과 거의 동위상인 인비트 D11을 추출한다. 비트 정렬 처리기(13)는 보간 비트 C11 ~ C13을 추출한다. 비트 추출부(13)는 아웃비트 B11 ~ B13을 4분 음표 비트로서 추출하지 않는다.

음악 비트는 시간적으로 요동하므로, 요동이 큰 악곡으로부터 추출되는 인비트의 수가 적어진다. 비트 슬립(beat slip)이라고 하는 추출 에러가 발생할 수 있다.

요동이 큰 음악에 대해서는, 윈도우 폭 W의 값을 크게 설정한다. 이에 따라, 추출된 인비트의 수가 증가하고, 추출 오차는 감소한다. 윈도우 폭 W는 통상 일정한 값으로 할 수 있다. 큰 요동이 있는 악곡에서는, 파라미터로서의 윈도우 폭 W를 더 크게 조정할 수 있다.

비트 정렬 처리부(13)는 윈도우 폭 W에 포함되는 인비트를 나타내는 비트 속성과 윈도우 폭 W에 포함되지 않는 아웃비트를 메타데이터에 부여한다. 추출된 비트가 윈도우 폭 W에 존재하지 않으면, 비트 정렬 처리기(13)는 보간 비트를 자동으로 부가하고, 보간 비트로서의 비트 속성을 메타데이터로서 부여한다. 비트 정보를 구성하는 메타데이터는, 전술한 비트 위치 정보와 비트 속성을 포함하고, 이 메타데이터를 메타데이터 파일(.may)에 기록한다. 비트 정렬 처리부(13)에 포함되는 구성 요소는, 윈도우 폭 W 등의 내부 파라미터를 가지며, 내부 파라미터를 변경함으로써 비트 정렬 처리기(13)의 동작의 효과가 변경된다.

비트 추출부(11)는, 비트 추출 처리부(12) 및 비트 정렬 처리부(13)에서의 2단계 데이터 처리를 수행함으로써, 디지털 오디오 신호로부터 매우 정확한 비트 정 보를 자동으로 추출한다. 비트 추출부(11)는, 인비트/아웃비트의 판정뿐만 아니라, 비트 보간 처리를 수행함으로써, 곡 전체에 걸쳐 4분 음표 간격의 비트 정보를 얻을 수 있다.

도 1의 수동 저작부(4)의 특정예로서 설명한 비트 추출부(11)는, 비트 위치 정보 등의 타임 스탬프 정보를 가지지 않는 펄스 코드 변조화(PCM)된 오디오 파형(샘플링 음원)을 다른 미디어와 음악적으로 동조시킬 수 있다. 비트 위치 정보 등의 타임 스탬프 정보의 데이터 사이즈는, 수 Kbyte 내지 수십 Kbyte이며, 오디오 파형의 데이터 사이즈의 수천 분의 1로 매우 작다. 메모리 용량이나 처리 공정을 감소시킬 수 있으므로, 사용자가 비트 위치 정보를 매우 용이하게 취급할 수 있다. 템포가 변하는 음악이나 리듬에 요동이 있는 음악에 대해서, 곡 전체에 걸쳐서 정확하게 비트를 추출할 수 있다. 음악을 다른 미디어를 동조시킴으로써, 새로운 엔터테인먼트를 창조하는 것이 가능해진다.

비트 추출부(11)에 의해 추출한 비트 정보를, 도 1의 수동 저작부(4)에 전송하여, 정밀도가 높은 비트 위치 및 소절의 헤드부의 메타데이터를 얻을 수 있다.

도 1의 수동 저작부(4)는, 도 14에 나타낸 하드웨어 구성을 사용하여, 전술한 수동 저작의 기능을 소프트웨어적으로 실현할 수 있다.

도 22는, 도 1에 나타낸 비트 추출 시스템의 수동 저작부(4)의 소프트웨어 모듈을 나타내는 기능 블록도이다.

도 22에서, 운영 체제(200)는, 도 14의 조작 입력부(110)로서 사용되는, 키보드(110A), 마우스(110B), 디스플레이(112), 스피커(117C), 및 기억 장치(201)에 대해서 데이터 입출력을 행한다. 기억 장치(201)는, 악곡 데이터를 포함하는 음향 데이터(202) 및 메타데이터(203)를 기억하는 것이며, 예를 들면 도 14의 HDD(121)를 포함한다.

운영 체제(200) 상에서 실현되는 소프트웨어 모듈로서, 사용자 입력 처리부(205), 메타데이터 관리부(206), 표시 관리부(207), 비트 자동 검출부(208), 파일 입출력부(209), 음향 데이터 관리부(210), 및 음향 재생부(211)가 포함된다.

사용자 입력 처리부(205)는, 키보드(110A) 및 마우스(110B) 등의 입력 장치를 통해 입력되는 사용자의 조작 입력을 판별하고, 그 조작 입력에 대응하여 모듈에 대해 처리 명령을 한다. 사용자가 마우스(110B)를 사용하여 구간 마크 입력 조작을 선택하면, 사용자 입력 처리부(205)는 사용자 입력 처리부 자체를 구간 마크 입력 상태로 설정하고, 표시 관리부(207)에 대해 사용자 입력 처리부(205)가 구간 마크 입력 상태로 된 것을 알린다.

사용자가 입력 가능한 범위 내에서 마우스(110B)의 클릭을 행하면, 사용자 입력 처리부(205)는, 클릭된 좌표를 시간축에서의 음향 데이터의 위치로 변환하고, 메타데이터 관리부에 대해서 그 시간축의 위치에 구간 마크가 위치하도록 지시한다.

메타데이터 관리부(206)는 구간 관리부(221)와 메타데이터 본체(222)를 포함한다. 메타데이터 본체(222)는 도 23의 (a)에 나타내는 데이터열의 리스트를 포함한다. 도 23의 (a)의 데이터열은, 소절 수와, 비트, 멜로디 및 엑센트를 포함하는 메타데이터 타입, 및 샘플 위치를 포함한다. 메타데이터는 시간 순으로 관리된다. 메타데이터 본체(222)는 리스트 구조로 관리된다. 편집 동작에 삽입되어야 하는 새로운 데이터가 작성되면, 참조 목적지 포인터 및 참조 소스 포인터가 간단히 변경된다.

구간 관리부(221)는 구간을 관리한다. 구간 관리부(221)는 도 24의 구조를 하나의 단위로 저장한다. 도 24에 도시된 바와 같이, 하나의 단위는 개시 샘플, 종료 샘플, 구간 BPM, 구간 내 비트, 구간 내 소절의 수, 및 구간 소절 길이를 포함한다.

메타데이터 관리부(206)는, 사용자 입력 처리부(205)가 알려주는 구간 정보에 기초하여 구간을 생성하며, 사용자 입력 처리부(205)가 알려주는 소절 위치에 기초하여 비트 위치를 정한다. 이것은 도 9a 및 도 9b를 참조하여 설명한 처리 과정에 따라 행해진다. 비트 위치 계산은 구간마다 개별적으로 행해진다.

메타데이터 관리부(206)는 메타데이터 본체(222)와 구간 데이터에 대하여 소거, 이동, 삽입, 검색 등의 처리를 행한다.

표시 관리부(207)는, 음향 데이터 표시부(225) 및 메타데이터 표시부(226)를 포함하고, 현재 디스플레이(112)의 화면에 표시되어 있는 시간축의 범위를 산출하고, 그 범위에 포함되는 메타데이터를 메타데이터 관리부(206)를 사용하여 검색한다. 취득한 메타데이터의 종류에 따라 대응하는 색이나 아이콘 등으로서 디스플레이(112)의 화면에 메타데이터를 표시한다.

표시 관리부(207)는, 음향 데이터의 파형, 통계 데이터, 소절 번호, 현재 편집 중인 샘플의 샘플 위치의 수치 값을 표시한다.

비트 자동 검출부(208)는, 도 1의 자동 비트 추출부(3)와 도 14의 비트 추출부(11) 중 하나에 대응한다. 비트 자동 검출부(208)는, 음향 데이터로부터 자동으로 음악 비트를 추출하고, 메타데이터 관리부(206)에 대해서 자동 추출 비트의 위치를 통지한다. 비트 자동 추출의 알고리즘은, 메타데이터 관리부(206)에 공급되어야 할 정보의 요구를 만족시키는 정보를 생성하는 것이면 무엇을 사용해도 상관없다.

파일 입출력부(209)는, 지정한 음향 데이터를 열어, 지정된 위치에 의해 지정된 수의 샘플의 데이터를 판독하며, 데이터를 요청 소스로 되돌려준다. 파일 입출력부(209)는, 메타데이터 본체를 기억 장치(201) 등의 2차 기억 장치의 파일에 출력하거나, 2차 기억 장치의 메타데이터 파일로부터 메타데이터 본체(222)에 읽어들인다.

음향 데이터 관리부(210)는, 파일 입출력부(209)를 통해 판독한 음향 데이터를 저장하고, 응향 데이터를 음향 재생부(211) 및 표시 관리부(207)에 각각 전송한다. 저장 장치(201)는 음향 데이터에 부수하는 각종 정보(양자화 비트 수, 샘플링 레이트, 채널 수 등)를 조사하여 저장한다.

음향 데이터 재생부(211)는, 음향 데이터를 지정된 위치로부터 재생하고, 음향 데이터를 스피커(117C) 등의 실제 음향 출력 장치에 출력한다.

이상 설명한 바와 같은 본 발명의 실시예에 따르면, 악곡의 정확한 비트 위치가 필요로 하는 애플리케이션을 위한 시계열의 메타데이터를 간단하고 정확하게 부여하는 것이 가능하다. 비트 위치에 따라, 정확한 멜로디, 정확한 코드 진행, 가사 등의 정보를 부여하는 것이 가능하다. 정확한 메타데이터를 필요로 하는 음악 리믹스 애플리케이션, 비트에 동기하여 정확한 타이밍 제어를 필요로 하는 기기 및 소프트웨어를 제작하는 것이 가능해진다.

본 발명은 전술한 실시예에 한정되는 것이 아니고, 예를 들면, 본 발명에 관한 비트 추출 장치는, 퍼스널 컴퓨터나 휴대형의 음악 재생기뿐만 아니라, 임의의 기기 또는 임의의 전자 장치에도 적용하는 것이 가능하다.

본 기술분야의 당업자라면, 첨부된 청구범위 또는 등가 표현의 범위 내에 있는 한, 다양한 변형, 조합, 부분 조합 및 변경이 설계 요구 및 다른 요인에 따라 가능하다는 것을 알 수 있을 것이다.

본 발명에 의하면, 악곡 데이터에 대해서, 음악의 리듬에서의 비트 위치나 소절의 헤드 위치를 높은 정밀도로 추출하는 것이 가능해진다.

Claims (13)

1. 메타데이터를 부여하는 방법으로서,

   악곡 데이터의 소절의 헤드 위치를 적어도 2개소 지정하는 단계와,

   지정된 상기 2개소의 위치 사이를 분할하여 시간축 상의 메타데이터를 부여하는 단계와,

   상기 악곡 데이터에 대하여 신호 처리에 의해 자동적으로 비트 정보를 추출하는 자동 비트 추출 단계

   를 포함하고,

   상기 자동 비트 추출 단계에 의해 추출된 자동 추출 비트가 본래의 박자에 타이밍이 맞고 있다고 판단한 제1 종류 비트와, 상기 자동 추출 비트가 발견되지 않고 본래의 박자에 따라 자동적으로 보간(補間)된 제2 종류 비트와, 자동 비트 추출이 행해졌지만 본래의 박자의 위치가 아니라고 판단한 제3 종류 비트로 분류하고, 상기 제1 종류 비트 내지 제3 종류 비트의 각각의 표시색을 다르게 표시부에 표시하는,

   메타데이터 부여 방법.
2. 제1항에 있어서,

   분류된 각 비트의 신뢰도로서,상기 제1 종류 비트의 신뢰도의 값을 가장 높게 하고, 상기 제3 종류 비트, 상기 제2 종류 비트의 순서로 신뢰도의 값을 낮게 하여, 이러한 신뢰도의 값에 따른 표시색으로 표시를 행하는 메타데이터 부여 방법.
3. 제1항에 있어서,

   상기 소절의 헤드로서 지정되는 2개소 중 적어도 1개소는, 악곡을 들으면서, 수작업으로 지정 입력하는, 메타데이터 부여 방법.
4. 제1항에 있어서,

   지정된 상기 2개소의 위치 사이의 구간을, 소절의 길이 또는 소절의 수(數)로 나눗셈하여 시간축 상의 메타데이터를 산출하는, 메타데이터 부여 방법.
5. 제4항에 있어서,

   상기 소절의 길이 LBar은, 개략의 소절 길이 Lb을 임시 설정하고, 상기 소절 길이 Lb에 가장 가까운 값의 소절 길이 LBar로서, 상기 지정된 2개소의 위치 사이의 구간 중의 소절 수가 정수값이 되는 소절 길이 LBar을 계산에 의하여 구하는, 메타데이터 부여 방법.
6. 제1항에 있어서,

   상기 자동 비트 추출 단계에 의하여 추출된 자동 추출 비트에 대하여, 소절의 헤드를 지시하는 것에 의해 구간 내의 소절 수를 자동적으로 산출하여 시간축 상의 메타데이터로 하는, 메타데이터 부여 방법.
7. 제6항에 있어서,

   후보가 되는 비트 위치 부근의 소정 임계값의 범위 내에 포함되는 자동 추출 비트를 검색하고, 그 비트 위치를 우선적으로 이용하는, 메타데이터 부여 방법.
8. 제7항에 있어서,

   상기 임계값의 범위 내에 자동 추출 비트가 발견되지 않은 경우, 계산값에 따라 비트를 보간하여, 신뢰도의 값을 낮게 하는, 메타데이터 부여 방법.
9. 제5항에 있어서,

   1개 전에 산출한 상기 소절의 길이 LBar에 근거하여 동적으로 다음에 치는 비트의 간격을 변화시키는, 메타데이터 부여 방법.
10. 악곡 데이터의 소절의 헤드 위치를 적어도 2개소 지정하는 입력 수단과,

    지정된 상기 2개소의 위치 사이를 동일 간격으로 분할하여 시간축 상의 메타데이터를 부여하는 메타데이터 부여 수단과,

    상기 악곡 데이터에 대하여 신호 처리에 의하여 자동적으로 비트 정보를 추출하는 자동 비트 추출 수단

    을 구비하고,

    상기 자동 비트 추출 수단에 의하여 추출된 자동 추출 비트가 본래의 박자에 타이밍이 맞고 있다고 판단한 제1 종류 비트와, 상기 자동 추출 비트가 발견되지 않고 본래의 박자에 따라 자동적으로 보간(補間)된 제2 종류 비트와, 자동 비트 추출이 행해졌지만 본래의 박자의 위치가 아니라고 판단한 제3 종류 비트로 분류하고, 이러한 상기 제1 종류 비트 내지 제3 종류 비트의 각각의 표시색을 다르게 하여 표시부에 표시하는,

    메타데이터 부여 장치.
11. 제10항에 있어서,

    분류된 각 비트의 신뢰도로서, 상기 제1 종류 비트의 신뢰도의 값을 가장 높게 하고, 상기 제3 종류 비트, 상기 제2 종류 비트의 순서로 신뢰도의 값을 낮게 하여, 이러한 신뢰도의 값에 따른 표시색으로 표시를 행하는, 메타데이터 부여 장치.
12. 제11항에 있어서,

    상기 소절의 헤드로서 지정되는 2개소 중 적어도 1개소는, 악곡을 들으면서, 수작업으로 지정 입력하는, 메타데이터 부여 장치.
13. 삭제

Images