KR20080065910A

KR20080065910A - 정보처리장치 및 방법과 프로그램

Info

Publication number: KR20080065910A
Application number: KR1020077015580A
Authority: KR
Inventors: 요시유키 고바야시
Original assignee: 소니 가부시끼 가이샤
Priority date: 2005-11-08
Filing date: 2006-11-08
Publication date: 2008-07-15
Also published as: US8101845B2; US20090287323A1; JP2007156434A; EP1947638A1; EP1947638B1; CN101116134A; JP4465626B2; CN101116134B; WO2007055238A1; EP1947638A4

Abstract

본 발명은 적은 연산량으로, 전조가 있는 악곡 파형을 해석할 수 있는 정보처리장치 및 방법과 프로그램에 관한 것이다. 비트 특징량 추출부(41)는, 전조가 있는 악곡 파형을 비트마다 단락지은 구간에 있어서의, 비트에 관계하는 특징량을 추출하고, 비트 특징량 제거부(42)는, 추출된 특징량의 주파수 성분으로부터 위상성분을 제거하고, 자기 상관 맵 생성부(43)는, 위상성분이 제거된 특징량에 근거하여, 어느 구간과 다른 구간과의 상관을 나타내는 자기상관정보를 생성하는 것으로, 적은 연산량으로, 전조가 있는 악곡 파형을 해석할 수 있게 된다. 본 발명은, 정보처리장치에 적용할 수 있다.

Description

정보처리장치 및 방법과 프로그램{Information processing device and method, and program}

본 발명은 정보처리장치 및 방법과 프로그램에 관한 것이며, 특히, 전조(轉調)가 있는 악곡 파형을 해석하는 정보처리장치 및 방법과 프로그램에 관한 것이다.

종래부터, 악곡의 구조를 해석하기 위한 여러 가지의 방법이 제안되어 있다. 구체적으로는, 도 1의 위쪽에 나타내는 바와 같이, 악곡 파형을 해석함으로써, 악곡은, 도 1의 아래 쪽에 나타내는 바와 같이, 도면 중 왼쪽에서 오른쪽을 시간 방향으로 할 때, "인트로덕션(introduction)"에서 개시하고, "적음부(寂音部=サビ)", "간주", "A멜로", "B멜로", "적음부", "적음부", "간주",‥"의 순서로 구성되어 있는 것이 해석된다. 그리고, 그러한 해석의 결과를 기본으로, 악곡 중에서, 적음부로 되는 구간이 어디에 있는지를 식별하거나 한다.

또한, 이하, 악곡의 중간 정도에서 악상이 변화하는 부분이며, 특히, 곡이 가장 고조된 부분을 적음부라고 칭하고, 박자와 동일하게, 박자를 만드는 단위를 비트(beat)라고 칭한다. 즉, 비트(박자)는, 일정한 시간적 간격을 가지고 셀 수 있는 것으로, 소절 중에서의 비트(박자)의 위치에 의해 엑센트의 강약(즉, 강박／ 약박)이 생겨나며, 그 조합에 의해, 각종의 박자가 만들어진다.

또, 입력되어 오는 음성 데이터의 특징량을 추출하고, 그 특징량간의 유사도를 계산하여 반복구간을 리스트업 하고, 리스트업 된 반복구간을 통합하여, 전조를 동반하는 반복구간의 검출을 행하고, 그러한 전조를 동반하는 반복구간을 통합하고, 통합한 반복구간 중에서, 적음부인 구간으로서 적당한 것을 선택하는 방법도 있다(예를 들면, 특허 문헌 1).

특허문헌 1：특개 2004－233965호 공보

그렇지만, 전조가 있는 악곡 파형을 해석하는 경우, 전조에 대응하기 위한 연산량이 증가함으로써, 악곡 파형의 해석에 시간이 걸린다고 하는 문제가 있었다.

예를 들면, 특개 2004－233965호 공보에 개시되어 있는 방법은, 전조를 동반하는 반복구간의 검출을 실시함으로써, 적음부 구간으로서 적당한 것을 선택하고 있지만, 적당한 적음부 구간을 선택하기까지 시간이 걸려 버리는 일이 있다.

본 발명은 이러한 상황을 감안하여 이루어진 것이며, 보다 적은 연산량으로, 전조가 있는 악곡 파형을 해석할 수 있도록 하는 것이다.

도 1은, 종래의 악곡의 곡구조를 해석하는 방법을 설명하는 도면이다.

도 2는, 퍼스널 컴퓨터의 하드웨어의 구성의 예를 설명하는 블럭도이다.

도 3은, 퍼스널 컴퓨터의 CPU에 의해 실행되는 소프트웨어의 기능적 구성예를 나타내는 블럭도이다.

도 4는, 악곡 구조 해석부에 의한, 적음부 추출처리에 대하여 설명하는 플로차트(flow chart)이다.

도 5는, 악곡 파형으로부터 검출되는 비트의 예를 나타내는 도면이다.

도 6은, 악곡 파형의 비트마다 추출되는 비트 특징량에 대하여 설명하는 도면이다.

도 7은, 비트 특징량 추출부에 의한, 비트 특징량 추출처리의 상세에 대하여 설명하는 플로차트이다.

도 8은, 비트 특징량 추출부에 의한, 비트 특징량 추출처리에 대하여 설명하는 도면이다.

도 9는, 음정과 시간에 의한 각 음(Cl 내지 B7)의 에너지 분포의 예를 나타내는 도면이다.

도 10은, 7옥타브분의 각 음의 에너지를 해석하는 방법에 대하여 설명하는 도면이다.

도 11은, 어느 비트 특징량과, 다른 비트 특징량과의 상관에 대하여 설명하는 도면이다.

도 12는, 비트 특징량을 제거하는 처리에 대하여 설명하는 도면이다.

도 13은, 비트 특징량을 제거하는 처리에 대하여 설명하는 도면이다.

도 14는, 자기(自己) 상관(相關) 맵(map) 생성부에 의한, 자기 상관 맵 생성처리의 상세에 대하여 설명하는 플로차트이다.

도 15는, 자기 상관 맵 생성부에 의해 생성되는, 자기 상관 맵의 예를 나타 내는 도면이다.

도 16은, 자기 상관 맵에 있어서의 구간의 분할에 대하여 설명하는 도면이다.

도 17은, 악곡에 있어서의 구간의 분할에 대하여 설명하는 도면이다.

도 18은, 악곡 파형의 분할된 구간마다 추출되는 음악 특징량에 대하여 설명하는 도면이다.

도 19는, 악곡의 분할된 구간마다 추출되는, 음악 특징량 이외의 기타 특징량에 대하여 설명하는 도면이다.

도 20은, 적음부 식별부에 의한, 적음부인 구간의 식별에 대하여 설명하는 도면이다.

도 21은, 적음부 식별부에 의한, 적음부인 구간의 식별의 상세에 대하여 설명하는 도면이다.

도 22는, 자기 상관 맵 생성부에 의한, 자기 상관 맵 생성처리의 상세에 대하여 설명하는 플로차트이다.

도 23은, 한쪽 편의 N비트마다의 자기 상관 맵의 예를 나타내는 도면이다.

도 24는, 한쪽 편의 N비트마다의 자기 상관 맵의 예를 나타내는 도면이다.

도 25는, 비트 특징량의 셔풀(shuffle)에 대하여 설명하는 도면이다.

도 26은, 비트 특징량의 시프트에 대하여 설명하는 도면이다.

도 27은, 퍼스널 컴퓨터의 CPU에 의해 실행되는 소프트웨어의 기능적 구성의 다른 예를 나타내는 블럭도이다.

도 28은, 악곡 파형으로부터 검출되는 비트의 예를 나타내는 도면이다.

도 29는, 비트 검출부의 구성의 일례를 나타내는 블럭도이다.

도 30은, 어택(attack) 정보의 추출에 대하여 설명하는 도면이다.

도 31은, 어택 정보의 추출에 대하여 설명하는 도면이다.

도 32는, 기본 비트 주기의 검출에 대하여 설명하는 도면이다.

도 33은, 템포의 결정에 대하여 설명하는 도면이다.

도 34는, 템포의 수정에 대하여 설명하는 도면이다.

도 35는, 템포의 수정에 대하여 설명하는 도면이다.

도 36은, 악곡 특징량의 추출에 대하여 설명하는 도면이다.

도 37은, 박자의 결정에 대하여 설명하는 도면이다.

도 38은, 박자의 결정에 대하여 설명하는 도면이다.

도 39는, 소절의 선두 결정에 대하여 설명하는 도면이다.

도 40은, 소절의 선두 결정에 대하여 설명하는 도면이다.

〈도면의 주요부분에 대한 부호의 설명〉

1. 퍼스널 컴퓨터 11. CPU

12. ROM 13. RAM

16. 입력부 17. 출력부

18. 기록부 19. 통신부

20. 드라이브 21.리무버블 미디어

31. 악곡 구조 해석부 41. 비트 특징량 추출부

42. 비트 특징량 제거부 43. 자기 상관 맵 생성부

44. 구간 분할부 45. 음악 특징량 추출부

46. 적음부 식별부(deep voice identification unit)

101. 비트 검출부

111. 어택 정보 추출부 112. 기본 비트 주기 검출부

113. 템포 결정부 114. 악곡 특징량 추출부

115. 템포 수정부 116. 비트 특징량 추출부

117. 박자 결정부 118. 소절 선두 결정부

본 발명의 일 측면은, 전조가 있는 악곡 파형을 비트마다 단락지은 제 1의 구간에 있어서의, 상기 비트에 관계하는 제 1의 특징량을 추출하는 제 1의 추출수단과, 추출된 상기 제 1의 특징량의 주파수 성분으로부터 위상성분을 제거하는 제거수단과, 위상성분이 제거된 상기 제 1의 특징량에 근거하여, 어느 제 1의 구간과, 다른 제 1의 구간과의 상관을 나타내는 자기상관정보를 생성하는 생성수단을 갖추는 정보처리장치이다.

상기 자기상관정보에 근거하여, 상기 비트를, 복수의 상관성이 높은 비트가 반복되어 있는 제 2의 구간마다 분할하는 분할수단과, 분할된 상기 제 2의 구간에 있어서의, 상기 악곡의 음악적인 특징을 나타내는 제 2의 특징량을 추출하는 제 2의 추출수단과, 상기 제 2의 특징량에 근거하여, 분할된 상기 제 2의 구간에 있어서의 상기 악곡의 곡구성을 식별하는 식별수단을 갖추도록 할 수 있다.

상기 제거수단은, 이산(離散) 푸리에 변환에 의해, 상기 제 1의 특징량의 주파수 성분으로부터 위상성분을 제거하도록 할 수 있다.

상기 식별수단은, 상기 곡구성으로서 적음부인 구간을 식별하도록 할 수 있다.

상기 제 1의 특징량은, 상기 제 1의 구간에 있어서의, 소정의 옥타브 분의 각 음의 에너지이도록 할 수 있다.

상기 제 2의 특징량은, 상기 제 2의 구간에 있어서의, 음량, 음원에 관한 정보, 또는 어느 주파수대의 이득이도록 할 수 있다.

상기 제 2의 특징량은, 상기 제 2의 구간의 길이, 상기 제 2의 구간이 출현한 회수, 또는 상기 제 2의 구간이 연속하여 반복되는 회수이도록 할 수 있다.

상기 생성수단은, 위상성분이 제거된 상기 제 1의 특징량에 근거하여, 소정의 비트마다, 어느 제 1의 구간과의 상관을 산출함으로써, 상기 자기상관정보를 생성 하도록 할 수 있다.

상기 제거수단은, 셔풀 된 상기 제 1의 특징량의 주파수 성분으로부터 위상성분을 제거하도록 할 수 있다.

상기 제거수단은, 상기 각 음의 에너지를 시프트 시키고 나서, 상기 제 1의 특징량의 주파수 성분으로부터 위상성분을 제거하도록 할 수 있다.

본 발명의 일 측면은, 전조가 있는 악곡 파형을 비트마다 단락지은 구간에 있어서의, 상기 비트에 관계하는 특징량을 추출하는 추출 스텝과, 추출된 상기 특징량의 주파수 성분으로부터 위상성분을 제거하는 제거 스텝과, 위상성분이 제거된 상기 특징량에 근거하여, 어느 구간과, 다른 구간과의 상관을 나타내는 자기상관정보를 생성하는 생성 스텝을 포함하는 정보처리방법이다.

본 발명의 일 측면은, 전조가 있는 악곡 파형을 비트마다 단락지은 구간에 있어서의, 상기 비트에 관계하는 특징량을 추출하는 추출 스텝과, 추출된 상기 특징량의 주파수 성분으로부터 위상성분을 제거하는 제거 스텝과, 위상성분이 제거된 상기 특징량에 근거하여, 어느 구간과 다른 구간과의 상관을 나타내는 자기상관정보를 생성하는 생성 스텝을 컴퓨터에 실행시키는 프로그램이다.

본 발명의 일 측면에 있어서는, 전조가 있는 악곡 파형을 비트마다 단락지은 제 1의 구간에 있어서의, 상기 비트에 관계하는 제 1의 특징량이 추출되며, 추출된 상기 제 1의 특징량의 주파수 성분으로부터 위상성분이 제거되며, 위상성분이 제거된 상기 제 1의 특징량에 근거하여, 어느 제 1의 구간과 다른 제 1의 구간과의 상관을 나타내는 자기상관정보가 생성된다.

이하, 도면을 참조하면서 본 발명의 실시의 형태에 대하여 설명한다.

도 2는, 퍼스널 컴퓨터(1)의 하드웨어의 구성의 예를 설명하는 블럭도이다.

퍼스널 컴퓨터(1)는, 악곡의 데이터를 기록하고, 그 악곡의 데이터로부터 재생되는 악곡 파형을 해석하기 위한 소정의 처리를 행하는 기기이며, 본 발명의 정보처리장치의 일례이다.

도 2의 예의 퍼스널 컴퓨터(1)에 있어서, CPU(Central Processing Unit)(11)는, ROM(Read Only Memory)(12)에 기억되어 있는 프로그램, 또는 기록부(18)에서 RAM(Random Access Memory)(13)에 로드된 프로그램에 따라서 각종 처리를 실행한 다. RAM(13)에는 또, CPU(ll)가 각종 처리를 실행하는데에 있어서 필요한 데이터 등도 적당히 기억된다.

CPU(ll), ROM(12) 및 RAM(13)는, 버스(14)를 통하여 서로 접속되어 있다. 이 버스(14)에는 또, 입출력 인터페이스(15)도 접속되어 있다.

입출력 인터페이스(15)에는, 키보드, 마우스 등으로 이루어지는 입력부(16), 스피커, LCD(Liquid Crystal Display) 등의 디스플레이 등으로 이루어지는 출력부(17), 하드디스크 등으로 구성되는 기록부(18) 및 인터넷 등의 네트워크를 통하여 다른 기기와의 통신처리를 제어하는 통신부(19)가 접속되어 있다.

입출력 인터페이스(15)에는 또, 필요에 따라서 드라이브(20)가 접속되며, 자기디스크, 광디스크, 광자기디스크, 또는 반도체 메모리 등의 리무버블 미디어(21)가 적당히 장착되며, 그들로부터 읽어내진 컴퓨터 프로그램이, 필요에 따라서 기록부(18)에 인스톨 된다.

또한, 퍼스널 컴퓨터(1)의 하드웨어의 구성은, 도 2의 예로 한정되지 않고, 후술하는 도 3의 기능적 구성을 적어도 가지고 있으면 좋다.

도 3은, 도 2의 퍼스널 컴퓨터(1)의 CPU(ll)에 의해 실행되는 소프트웨어의 기능적 구성예를 나타내는 블럭도이다.

악곡 구조 해석부(31)는, (전조가 있다) 악곡 파형을 해석하기 위한 소정의 처리를 행한다.

악곡 구조 해석부(31)는, 비트 특징량 추출부(41), 자기 상관 맵 생성부(42), 구간 분할부(43), 음악 특징량 추출부(44) 및 적음부 식별부(45)를 포함하 도록 하여 구성된다.

비트 특징량 추출부(41)는, 비트 특징량 추출처리를 행하고, 비트마다 추출되는 특징량인 비트 특징량을 추출한다. 비트 특징량 추출부(41)는, 추출한 비트 특징량을 비트 특징량 제거부(42)에 공급한다. 또한, 비트 특징량 추출처리의 상세는 후술한다.

비트 특징량 제거부(42)는, 비트 특징량 추출부(41)로부터 공급되는 비트 특징량의 위상성분을 제거한다. 비트 특징량 제거부(42)는, 위상성분이 제거된 비트 특징량을 자기 상관 맵 생성부(43)에 공급한다.

자기 상관 맵 생성부(43)는, 비트 특징량 제거부(42)로부터 공급되는, 위상성분이 제거된 비트 특징량을 기본으로, 자기 상관 맵 생성의 처리를 행하고, 자기 상관 맵을 생성한다. 자기 상관 맵 생성부(43)는, 생성한 자기 상관 맵을 구간 분할부(44)에 공급한다. 또한, 자기 상관 맵 생성처리의 자세한 것은 후술한다.

구간 분할부(44)는, 자기 상관 맵 생성부(43)로부터 공급되는 자기 상관 맵을 기본으로, 악곡 파형이 동일한 프레이즈(phrase)를 여러 차례 반복하고 있는 구간마다 분할한다(세그멘테이션 한다).

음악 특징량 추출부(45)는, 동일한(비슷한) 프레이즈마다 분할된 각각의 구간(의 악곡 파형)으로부터, 음악적인 특징량인 음악 특징량을 추출한다. 음악 특징량 추출부(45)는, 추출한 음악 특징량을 적음부 식별부(46)에 공급한다.

또, 음악 특징량 추출부(45)는, 동일한(비슷한) 프레이즈 마다 분할된 각각의 구간(의 악곡파형)으로부터, 음악 특징량 이외의 기타 특징량을 추출한다. 음 악 특징량 추출부(45)는, 추출한 기타 특징량을 적음부 식별부(46)에 공급한다.

적음부 식별부(46)는, 음악 특징량 추출부(45)로부터 공급되는 음악 특징량 또는 기타 특징량을 기본으로, 동일한(비슷한) 프레이즈 마다 분할된 각각의 구간(의 악곡파형)으로부터, 적음부인 구간을 식별한다.

또한, 본 실시의 형태에서는, 퍼스널 컴퓨터(1)는, 상술한 도 2의 하드웨어 구성을 가지고 있으므로, 악곡 구조 해석부(31)는, 예를 들면, 도 2의 CPU(ll)가 실행하는 어플리케이션 소프트웨어로서 구성되지만, 그 이외에도, 퍼스널 컴퓨터(1)의 하드웨어 구성을 도 2의 구성과는 다르게 하는 것으로, 악곡 구조 해석부(31)는, 하드웨어 단체로서 구성할 수도 있고, 소프트웨어와 하드웨어의 조합으로서 구성할 수도 있다.

그런데, 상술한 바와 같이, 악곡 파형으로부터, 그 악곡의 곡구성을 해석함으로써, 그 악곡의 적음부로 되는 구간을 식별할 수 있다. 따라서, 다음으로, 도 4의 플로차트를 참조하고, 악곡 구조 해석부(31)에 의한, 적음부 식별처리에 대하여 설명한다.

스텝(Sl)에 있어서, 악곡 구조 해석부(31)는, 악곡 파형으로부터 비트를 검출한다. 예를 들면, 스텝(Sl)에 있어서, 악곡 구조 해석부(31)는, MP3(MPEG Audio Layer－3)나 AAC(Advanced Audio Coding) 등의 방식으로 음성 압축된 음성신호로부터 재생되는 악곡 파형으로부터, 템포, 박자, 또는 소절 등의 위치를 검출한다.

도 5의 위쪽에서 나타내는 악곡 파형으로부터 검출되는 비트는, 도 5의 아래 쪽에 나타내는 바와 같이, 악곡 파형을 복수로 분할하고 있는, 도면 중 수직방향의 선에 의해 단락지어진 구간에 의해 나타내고 있다. 즉, 그들 선 가운데, 4개 걸러서 나타내고 있는 굵은 선은, 소절의 선두를 나타내고, 그 굵은 선에 의해 단락지어진 구간 중, 더 가는 선으로 단락지어진 4개의 구간의 각각이, 템포(4분 음표의 길이)를 나타내고 있다. 즉, 도 5에 나타내는 악곡 파형은, 도면 중 아래 쪽의 파형을 분할하는 선에 의해 단락지어진 구간마다 붙여있는 숫자(1 내지 4)로 나타내는 바와 같이, 4 비트의 악곡으로 된다.

즉, 예를 들면, 악곡 구조 해석부(31)는, 도 5에 나타내는 바와 같이, 도면 중 위쪽에 나타내는 악곡 파형으로부터, 도면 중 아래 쪽에 나타내는 비트를 검출한다.

도 4의 플로차트로 되돌아가, 스텝(S2)에 있어서, 비트 특징량 추출부(41)는, 비트 특징량 추출처리를 행하고, 비트 특징량을 추출한다.

도 6에 나타내는 악곡 파형에 있어서는, 도 5의 아래쪽과 동일하게, 악곡 파형이 비트마다 분할되어 있고(도 6에 나타내는 예에서는 12구간으로 분할되어 있다), 비트 특징량 추출부(41)는, 그들 분할되어 있는 비트마다, 각각, 비트 특징량을 추출한다.

여기서, 스텝(S2)에 있어서의, 비트 특징량 추출부(41)에 의한, 비트 특징량 추출처리의 상세에 대하여, 도 7의 플로차트를 참조하여 설명한다.

스텝(Sll)에 있어서, 비트 특징량 추출부(41)는, 비트마다 분할되어 있는 악곡 파형으로부터, 예를 들면, 비트마다 7 옥타브 분의 각 음의 에너지를 산출한다.

도 8은, 비트 특징량 추출부(41)에 의한, 비트 특징량 추출처리에 대하여 설명하는 도면이다.

도 8에 나타내는 바와 같이, 예를 들면, 7 옥타브 분의 각 음의 에너지를 산출하는 경우, 옥타브 1 내지 옥타브 7(이하, O1 내지 O7이라고도 칭한다)의 각각의, C, C＃, D, D＃, E, F, F＃, G, G＃, A, A＃, B인 코드의 에너지를 산출하게 된다. 여기서, 1 옥타브에는, 주파수가 낮은 쪽부터, C(도), C＃, D(레), D＃, E(미), F(파), F＃, G(솔), G＃, A(라), A＃, B(시)의 12 음정(소리)이 포함된다. 예를 들면, 옥타브 1(O1)의 C, C＃, D, D＃, E, F, F＃, G, G＃, A, A＃, B의 12 음정을, 각각, Cl, C＃1, Dl, D＃1, El, Fl, F＃1, Gl, G＃1, Al, A＃1, Bl라고 칭하고, 옥타브 2(O2)의 C, C＃, D, D＃, E, F, F＃, G, G＃, A, A＃, B의 12 음정을, 각각, C2, C＃2, D2, D＃2, E2, F2, F＃2, G2, G＃2, A2, A＃2, B2라고 칭한다. 또, 옥타브 3(O3) 내지 옥타브 7(O7)에 대해서도 동일하다.

즉, 비트 특징량 추출부(41)는, 예를 들면, 비트마다 분할되어 있는 악곡 파형으로부터, Cl 내지 B7의 각각의 에너지를 산출한다.

여기서, 7 옥타브 분의 각 음(Cl 내지 B7)의 에너지를 산출하는 방법이지만, 예를 들면, 비트마다 분할되어 있는 악곡 파형을, 음정 및 시간에 의해 해석하는 것으로, 각 음의 에너지를 산출한다. 다음으로, 도 9 및 도 10을 참조하고, 7 옥타브 분의 각 음의 에너지를 산출하는 방법에 대하여 설명한다.

도 9는, 음정과 시간에 의한 각 음(Cl 내지 B7)의 에너지의 분포의 예를 나타내는 도면이다.

도 9에 나타내는 예에 있어서, 가로축 방향은 시간을 나타내고, 도면 중 왼쪽에서 오른쪽 방향으로 시간이 진행되는 것을 나타내고 있다. 또, 세로축 방향은 음정을 나타내고, 도면 중 아래에서 윗 방향으로 되는 것에 따라 음정이 높아지는(주파수가 높아진다) 것을 나타낸다.

도면 중의 검게 나타내는 영역과 흰색으로 나타내는 영역이 있지만, 검게 나타내는 영역만큼, 에너지가 강한 것을 나타내고, 도면 중 흰색으로 나타내는 영역만큼 에너지가 약해지는 것을 나타내고 있다. 또한, 도 9의 예에서는, 설명을 알기 쉽게 하기 위해서, 에너지가 강함을 흑과 백의 2색에 의해 표현하고 있지만, 실제로는, 더 상세하게 에너지의 강함의 분포를 표현하도록 해도 좋다.

도면 중 가로 방향의 6개의 점선은, 설명을 알기 쉽게 하기 위해서 그은 선이며, 이들 점선에 의해 단락지어지고 있는 7개의 구간의 각각이 1 옥타브분을 나타내고, 즉, 7개의 구간에 의해, O1 내지 O7의 7 옥타브로 분할되어 있다.

예를 들면, 도 9에 나타내는 예에 있어서, 도면 중 아래에서 1번째 내지 3번째의 구간인 O1 내지 O3의 각각에서는, 각 음의 에너지는, 띄엄띄엄 분포하고 있지만, 도면 중 아래에서 4번째 내지 7번째의 구간인 O4 내지 O7의 각각에서는, 각 음의 에너지는, 거의 전체적으로 분포하고 있게 된다.

비트 특징량 추출부(41)는, 비트마다 7 옥타브 분의 에너지를 산출하는 경우, 도 10에 나타내는 바와 같이, 비트 특징량을 추출하는 비트의 시간 범위에 있 어서의 신호를 잘라내고, 그 잘라낸 신호의 에너지를 시간에 의해 평균한다. 그 결과, 비트 특징량 추출부(41)는, 도 10의 우측의 그래프로 나타내는, 각 음(Cl 내지 B7)의 에너지를 산출할 수 있다.

도 7의 플로차트로 되돌아가, 스텝(S12)에 있어서, 비트 특징량 추출부(41)는, 산출된 각 음의 에너지에 가중한다. 예를 들면, 스텝(S12)에 있어서, 비트 특징량 추출부(41)는, 도 8에 나타내는 바와 같이, 산출된 7 옥타브 분의 각 음(Cl 내지 B7)의 에너지에, 각각 가중한다.

여기서, 각 음(Cl 내지 B7)의 에너지에 가중하는 방법이지만, 비트 특징량 추출부(41)는, 예를 들면, 가우스분포 등에 의해 중량을 산출하고, 산출된 중량을 정규화함으로써, 각 음(Cl 내지 B7)에 있어서의 중량을 특정하고, 가중한다.

구체적으로는, 가우스분포에 의한 중량(W(N))은, 식(1)에 의해 산출된다.

W(N)=Exp(－(N－Gm)×(N－Gm)／(2×Gv×Gv))‥(1)

또한, 식(1)에 있어서, Gm은, 가장 중량이 높은 음정을 나타내고, Gv는, 중량이 넓이를 나타내고 있고, 각각 소정의 값이 설정된다. 또, N은, 음정 수를 나타내고, 즉, 음정 수(예를 들면, 도 8의 경우, Cl 내지 B7)만큼 가우스분포에 의한 중량(W(N))이 산출되게 된다. 그리고, 산출된 중량(W(N))은, 정규화되게 된다.

이와 같이, 각 음(Cl 내지 B7)에 대하여, 중량을 행함으로써, 예를 들면, 높은 주파수대의 소리나 낮은 주파수대의 소리 등의 관계가 없는 소리를 없앨 수 있다.

도 7의 플로차트로 되돌아가, 스텝(S13)에 있어서, 비트 특징량 추출부(41) 는, 비트 특징량을 추출하고, 비트 특징량 추출처리는 종료한다.

예를 들면, 스텝(S13)에 있어서, 비트 특징량 추출부(41)는, 도 8에 나타내는 바와 같이, 중량이 된 Cl 내지 B7중에서, Cl, C2, C3, C4, C5, C6, C7를 가산함으로써, C인 코드의 에너지를 추출하고, C＃1, C＃2, C＃3, C＃4, C＃5, C＃6, C＃7을 가산함으로써, C＃인 코드의 에너지를 추출한다. 또, 동일하게, 비트 특징량 추출부(41)는, 중량 된 Cl 내지 B7중에서, Dl 내지 D7를 가산함으로써, D인 코드의 에너지를 추출하고, D＃1 내지 D＃7을 가산함으로써, D＃인 코드의 에너지를 추출하고, El 내지 B7도 동일하게 가산함으로써, E 내지 B인 코드의 각각의 에너지가 추출된다. 그리고, 비트 특징량 추출부(41)는, 도 8에 나타내는 바와 같이, 비트 특징량으로서 C, C＃, D, D＃, E, F, F＃, G, G＃, A, A＃, B의 12음 분의 에너지를 추출한다.

즉, 비트 특징량 추출부(41)는, 스텝(Sll) 내지 스텝(S13)의 처리에 의해, 비트마다 분할되어 있는 악곡 파형의 각각의 구간에 있어서의 비트 특징량을 산출한다.

또한, 비트 특징량 추출부(41)가 추출하는 비트 특징량은, 상술한 예에 한정하지 않고, 예를 들면, 스텝(S13)의 처리에 있어서의 가산 처리를 행하지 않고, 그대로 84(12×7)개의 에너지를 사용하는 등, 비트마다 분할되어 있는 구간마다의 특징량이면 좋다.

도 4의 플로차트로 되돌아가, 스텝(S3)에 있어서, 비트 특징량 제거부(42)는, 비트 특징량 추출부(41)로부터 공급되는 비트 특징량의 위상성분을 제거하고, 위상성분이 제거된 비트 특징량을 자기 상관 맵 생성부(43)에 공급한다.

예를 들면, 스텝(S3)에 있어서, 비트 특징량 제거부(42)는, 비트마다 분할되어 있는 악곡 파형으로부터, 상관을 산출하는 구간을 특정한다. 비트 특징량 제거부(42)는, 특정된 구간에 있어서의 추출된 비트 특징량에 대하여, 이산 푸리에 변환(DFT(Discrete Fourier Transform))을 실시함으로써, 추출된 비트 특징량의 위상성분을 제거한다.

도 11에 나타내는 예에 있어서, 비트마다 분할되어 있는 악곡 파형의 각각의 비트 특징량을, 각각, 악곡 파형의 아래쪽의 C, C＃, D, D＃, E, F, F＃, G, G＃, A, A＃, B인 12음 분의 코드(도 11의 예에서는, C, B의 코드명만을 기재하고 있다)를 나타내고 있는 12개의 사각으로 표현하고 있다.

어느 악곡 파형에 있어서는, 예를 들면, 위치(Ⅹ)를 포함하고 있는 구간(의 비트 특징량)과 위치(Y)를 포함하고 있는 구간(의 비트 특징량)과의 상관(다른 2개소의 상관)을 산출하는 경우, 위치(Ⅹ)를 포함하고 있는 구간으로부터 시간 방향으로 뒤로 되는, 도면 중 왼쪽으로 기운 사선으로 해칭(hatching) 된 4구간(4 비트)분의 비트 특징량과, 위치(Y)를 포함하고 있는 구간으로부터 시간 방향으로 뒤로 되는, 도면 중 오른쪽으로 기운 사선으로 해칭 된 4구간(4 비트)분의 비트 특징량과의 상관을 산출한다.

이때, 예를 들면, 비트 특징량 제거부(42)는, 상관을 산출하는, 도면 중 왼 쪽으로 기운 사선 및 오른쪽으로 기운 사선에 의해 해칭 된 4구간분의 비트 특징량의 각각에 대하여, 이산 푸리에 변환을 실시함으로써, 그들 비트 특징량의 위상성분을 제거한다.

즉, 예를 들면, 비트 특징량 제거부(42)는, 도 12에 나타내는 바와 같이, 도 11의 왼쪽으로 기운 사선으로 해칭 된 4구간(4 비트)의 비트 특징량에 대하여, 이산 푸리에 변환을 실시하고 위상성분을 제거함으로써, 변환전에, 48(12개×4구간) 개였던 비트 특징량을, 25(12×4／2+1)개로 감소시킨다.

동일하게, 예를 들면, 비트 특징량 제거부(42)는, 도 11의 오른쪽으로 기운 사선으로 해칭 된 4구간(4 비트) 분의 비트 특징량에 대하여, 이산 푸리에 변환을 실시하고 위상성분을 제거함으로써, 비트 특징량을, 48개에서 25개로 감소시킨다.

이때, 이산 푸리에 변환에 의해 얻어진 비트 특징량(예를 들면, 25개의 비트 특징량)은, 도 13에 나타내는 바와 같이, 예를 들면, "도미솔도"를 키(C)나 키(D)(키(C)와 비교하여 키가 2개 위로 올랐다)로 연주했을 때 등에 있어서, C나 D등의 조(調)에 의하지 않고 일정하게 된다. 즉, 전조가 있는 악곡에 있어서, 이산 푸리에 변환에 의해 얻어진 비트 특징량은, 전조와는 관계없이 일정하므로, 이 25개의 비트 특징량끼리의 상관을 1도 계산함으로써, 전조에 대응한 상관의 계산을 행할 수 있다. 그 결과, 상관에 관한 연산량을 줄일 수 있으므로, 보다 적은 연산량으로, 전조가 있는 악곡 파형을 해석할 수 있다.

또한 비트 특징량의 상관을 산출하는 경우의 구간이지만, 상술한 4구간(4비트)에 한정하지 않고, 예를 들면, 1, 8, 또는 10등 이어도 좋고, 또, 그 구간도, 기준으로 되는 위치(예를 들면, 도 11의 Ⅹ, Y)로부터 시간 방향으로 뒤쪽이라고는 한정하지 않고, 앞쪽이나 전후를 포함하도록 해도 좋다. 즉, 비트 특징량의 상관을 산출하는 구간은, 예를 들면, 도 11에 있어서, 위치(Ⅹ)를 포함하고 있는 구간에서 앞쪽 3구간(3 비트)과 뒤쪽 6구간(6 비트)의 합계 8구간(8 비트)의 비트 특징량이라고 해도 좋다.

또, 상술한 예에 있어서, 비트 특징량 제거부(42)는, 이산 푸리에 변환에 의해, 비트 특징량의 위상성분을 제거한다고 하여 설명했지만, 본 발명은 그것에 한정하지 않고, 비트 특징량의 위상성분을 제거할 수 있는 방법이면 좋다.

도 4의 플로차트로 되돌아가, 스텝(S4)에 있어서, 자기 상관 맵 생성부(43)는, 비트 특징량 제거부(42)로부터 공급되는, 위상성분이 제거된 비트 특징량을 기본으로, 자기 상관 맵 생성의 처리를 행하고, 자기 상관 맵을 생성한다.

여기서, 스텝(S4)에 있어서의, 자기 상관 맵 생성부(43)에 의한, 자기 상관 맵 생성처리의 상세에 대하여, 도 14의 플로차트를 참조하여 설명한다.

스텝(S21)에 있어서, 자기 상관 맵 생성부(43)는, 비트 특징량 제거부(42)로부터 공급되는, 도 11에 나타내는, 위치(Ⅹ)를 포함하고 있는 4구간(도면 중 왼쪽으로 기운 사선으로 해칭 된 구간)의 위상성분이 제거된 비트 특징량과 위치(Y)를 포함하고 있는 4구간(도면 중 오른쪽으로 기운 사선으로 해칭 된 구간)의 위상성분이 제거된 비트 특징량과의 상관을 산출한다.

바꾸어 말하면, 자기 상관 맵 생성부(43)는, 전조가 있는 악곡에 대응하기 위해서, 수(數) 비트 분의 비트 특징량을 이산 푸리에 변환한 결과 중, 노 름(norme) 성분만을 이용하여 상관을 산출하고 있다고도 말할 수 있다.

구체적으로는, 비트 특징량의 상관은, 예를 들면, 식(2)에 의해 산출된다.

또한, 식(2)에서, 예를 들면,Ⅹ은, 도 11의 위치(Ⅹ)를 포함하고 있는 4구간(4 비트)의 위상성분이 제거된 비트 특징량을 나타내고, Y는, 도 11의 위치(Y)를 포함하고 있는 4구간(4 비트)의 위상성분이 제거된 비트 특징량을 나타낸다.

스텝(S22)에 있어서, 자기 상관 맵 생성부(43)는, 산출된 각 비트간의 상관에 근거하여, 자기 상관 맵을 생성한다.

도 15는, 자기 상관 맵 생성부(43)에 의해 생성되는, 자기 상관 맵의 예를 나타내는 도면이다.

도 15에서 나타내는 자기 상관 맵의 예에 있어서, 수평방향의 축은, 어느 악곡(의 1곡중)의 개시부터 종료까지의 비트를 나타내고 있고, 그 시간의 방향은, 도면 중 왼쪽에서 오른쪽으로 향하는 방향으로 되어 있다. 또, 수직방향의 축은, 수평방향의 축으로 나타낸 악곡과 동일한 악곡(의 1곡중)의 개시부터 종료까지의 비트를 나타내고 있고, 그 시간의 방향은, 도면 중 위에서 아래로 향하는 방향으로 되어 있다. 즉, 수평방향의 축은, 도면 중 오른쪽으로 가는 만큼, 그 악곡의 마지 막쪽으로 되며, 수직방향의 축은, 도면 중 아래로 가는 만큼, 그 악곡의 마지막쪽으로 된다. 또한 수평방향의 축과 수직방향의 축이란, 동일한 악곡의 비트를 나타내고 있으므로, 그 축의 길이는 동일하게 되어 있다.

또, 도면 중의 검게 나타내고 있는 영역은, 수평방향의 축과 수직방향의 축에 의해 특정되는 악곡의 각 비트의 상관이 높은 것을 나타내며, 도면 중의 흰색으로 나타내고 있는 영역은, 수평방향의 축과 수직방향의 축에 의해 특정되는 악곡의 각 비트의 상관이 작은 것을 나타낸다. 또한 당연히, 도면 중의 정방형(正方形)으로 나타내는 자기 상관 맵의 좌상(左上)에서 우하(右下)로 뻗는 대각선은, 수평방향의 축과 수직방향의 축에 의해 특정되는 악곡의 비트가 동일하게 되는 개소이므로, 도면 중의 검은 선(대각선)으로 나타내는 바와 같이 상관이 높게 된다.

도 15의 자기 상관 맵의 예는, 예를 들면, 식(2)에 의해 산출된, 비트 특징량의 상관에 근거하여, 비트간의 상관이 높은 부분을 검게 나타내며, 비트간의 상관이 작은 부분을 흰색으로 나타내고 있게 된다. 즉, 자기 상관 맵은, 어느 악곡에 있어서 동일 프레이즈가 되는 부분(상관이 있는 부분)을, 검은 선에 의해 나타내고 있는 도면으로 된다.

도 4의 플로차트로 되돌아가, 스텝(S5)에 있어서, 구간 분할부(44)는, 자기 상관 맵 생성부(43)로부터 공급되는 자기 상관 맵을 기본으로, 악곡 파형이 동일한 프레이즈(비슷한 프레이즈)를 여러 차례 반복하고 있는 구간마다 분할한다(세그멘테이션 한다).

구체적으로는, 도 16의 예에서 나타내는 바와 같이, 도 15의 자기 상관 맵의 예에 있어서, 위에서 1번째의 점선(A)으로 둘러싸이는 영역에서는, 거의 동일한(비슷한) 모양으로 되는 오른쪽 사선이 4회 출현하고 있고, 그 출현하고 있는 구간을 구간(A)으로 하고, 위에서 2번째의 점선(C)으로 둘러싸이는 영역에서는, 거의 동일한 모양으로 되는 오른쪽 사선이 2회 출현하고 있고, 그 출현하고 있는 구간을 구간(C)으로 한다. 또 동일하게, 위에서 3번째의 점선(B)으로 둘러싸이는 영역에서는, 거의 동일한 모양으로 되는 오른쪽 사선이 2회 출현하고 있고, 그 출현하고 있는 구간을 구간(B)으로 하고, 위에서 4번째의 점선(D)으로 둘러싸이는 영역에서는, 거의 동일한 모양으로 되는 오른쪽 사선이 2회 출현하고 있고, 그 출현하고 있는 구간을 구간(D)으로 한다. 게다가, 도시 하지 않지만, 동일하게, 거의 동일한 모양으로 되는 오른쪽 사선이 출현하고 있는 구간을, 각각, 구간(E), 구간(F), 구간(G),‥으로 한다.

이와 같이, 동일한 프레이즈를 여러 차례 반복하고 있는 구간마다 분할된 도 16의 자기 상관 맵을, 도 16의 수평방향의 축으로 나타내는 악곡의 비트에 맞추어 표현하면, 도 17과 같이 표현할 수 있다. 즉, 도 17은, 비슷한 프레이즈가 되는 구간마다 분할된 악곡(의 파형)을 나타낸다.

도 17에 있어서, 악곡은, 도 16에서 분할한 구간에 대응하고, A, B, C, D, E, B, B, C,‥인 구간의 순서로, 각각 분할되어 있다. 또한, 그 시간의 방향은, 도면 중 왼쪽에서 오른쪽으로 향하는 방향으로 되며, 각각의 구간에 있어서는, 보다 긴 구간 쪽이, 그 구간이 긴 시간 재생되는 것을 나타내고, 반대로, 보다 짧은 구간 쪽이, 그 구간이 짧은 시간 재생되는 것을 나타내고 있다.

도 4의 플로차트로 되돌아가, 스텝(S6)에 있어서, 음악 특징량 추출부(45)는, 동일한(비슷한) 프레이즈 마다 분할된 각각의 구간(의 악곡 파형)으로부터, 음악 특징량을 추출하고, 추출한 음악 특징량을 적음부 식별부(46)에 공급한다.

여기서, 음악 특징량 추출부(45)에 의해 추출되는 음악 특징량은, 예를 들면, 음량, 음원에 관한 정보, 어느 주파수대의 이득, 주파수의 밸런스, 소리가 많음, 드럼이나 베이스 등의 리듬 악기의 비율, 또는, 보컬이 존재하는지 등의 음악적인 특징량이 된다.

도 18에 나타내는 분할된 구간은, 도 17과 동일하게, 도 16의 자기 상관 맵을 분할한 구간에 대응하여 분할되어 있고(A, B, C, D, E, B, B, C,‥인 구간의 순서로, 각각 분할되어 있다), 음악 특징량 추출부(45)는, 그들 분할되어 있는 구간마다, 각각, 예를 들면, 음량 등의 음악 특징량을 추출한다.

도 4의 플로차트로 되돌아가, 또, 스텝(S6)에 있어서, 음악 특징량 추출부(45)는, 동일한(비슷한) 프레이즈 마다 분할된 각각의 구간(의 악곡 파형)으로부터, 음악 특징량 이외의 기타 특징량을 추출하고, 추출한 기타 특징량을 적음부 식별부(46)에 공급한다.

여기서, 음악 특징량 추출부(45)에 의해 추출되는 기타 특징량은, 예를 들면, 분할된 어느 구간의 길이, 1곡 중에 있는 구간이 몇 회 출현하는지의 회수, 또는, 어느 구간이 반복되는 회수 등의 특징량이 된다.

도 19에서 나타내는 예에 있어서, 음악 특징량 추출부(45)는, 기타 특징량으로서 구간(B)의 길이 등의 세그먼트(segment)의 길이(비트 단위), 1곡 중에 구간(B)이 몇 회 출현하는지를 나타내고 있는 1곡 중에서의 동일 세그먼트(segment)의 출현 회수(반복 회수), 구간(B)이 반복되고 있는 회수를 나타내고 있는 연속반복 회수 등을 추출한다.

또, 기타 특징량은, 도 19를 참조하여 설명한 이외에도, 예를 들면, 1곡 중의 세그먼트(segment)의 상대위치(예를 들면, 5분의 곡에 있어서, 어느 세그먼트(segment)가 1분부터 시작되는 경우는, 1／5=0.2), 또는 직전 또는 직후에 출현하는 세그먼트(segment)의 다양성이 많음 등이어도 좋다.

또한, 자세한 것은 후술 하지만, 음악 특징량 및 기타 특징량을, 보다 많이 추출함으로써, 예를 들면, 적음부 식별부(46)는, 악곡의 곡구조를 식별하는 정밀도를 보다 향상시킬 수 있다.

또한, 음악 특징량 추출부(45)는, 동일한(비슷한) 프레이즈 마다 분할된 각각의 구간(의 악곡 파형)으로부터, 음악 특징량 또는 기타 특징량 가운데, 어느 한쪽을 추출하고, 추출한 어느 한쪽의 특징량을 적음부(寂音部) 식별부(46)에 공급하도록 해도 좋다.

도 4의 플로차트로 되돌아가, 스텝(S7)에 있어서, 적음부 식별부(46)는, 음악 특징량 추출부(45)로부터 공급되는 음악 특징량 또는 기타 특징량을 기본으로, 동일한(비슷한) 프레이즈 마다 분할된 각각의 구간(의 악곡 파형)으로부터, 적음부인 구간을 식별하고, 적음부 식별 처리는 종료한다.

예를 들면, 스텝(S7)에 있어서, 적음부 식별부(46)는, 도 20에 나타내는 바와 같이, 추출된 분할된 각각의 구간마다의 음악 특징량(Ⅹ1)과 기타 특징량(Ⅹ2)을 기본으로, 각각의 구간에 있어서의 "적음부스러움"(y(％))을 산출함으로써, 적음부인 구간을 식별한다.

구체적으로는, 예를 들면, 적음부 식별부(46)는, 음악 특징량(Xl), 기타 특징량(X2)과 정해로 되는 적음부 데이터(예를 들면, 사용자에 의해 설정되는, 어느 악곡의 어디가 적음부로 되는지를 나타내는 데이터)를 이용하고, 적음부를 식별하기 위해 학습함으로써, 소정의 함수(예를 들면, "적음부스러움"을 연산하는 함수)를 생성한다. 적음부 식별부(46)는, 음악 특징량 추출부(45)로부터 공급되는 음악 특징량(Ⅹ1) 및 기타 특징량(Ⅹ2)을, 그 생성된 소정의 함수에 의하여 연산함으로써, 각각의 구간에 있어서의 "적음부스러움"(y(％))을 산출하고, 적음부인 구간을 식별한다.

또한, 적음부 식별부(46)가 산출하는 "적음부스러움"(y(％))이지만, 상술한 방법에 한정하지 않고, 적음부인 확률을 산출할 수 있는 방법이면 좋다.

도 21은, 적음부 식별부(46)에 의한, 적음부인 구간의 식별의 상세에 대하여 설명하는 도면이다.

도 21에서 나타내는 예에 있어서, 악곡(의 파형)은, 도 17 등과 같이, A, B, C, D, E, B, B, C,‥인 구간의 순서로, 각각의 구간이 분할되어 있다. 적음부 식 별부(46)는, 예를 들면, 분할된 각각의 구간에 있어서, "구간(A)의 적음부스러움" 이 0％, "구간(B)의 적음부스러움"이 60％, "구간(C)의 적음부스러움"이 10％, "구간(D)의 적음부스러움"이 30％, "구간(E)의 적음부스러움"이 40％, "구간(B)의 적음부스러움"이 70％, "구간(B)의 적음부스러움"이 80％, "구간(C)의 적음부스러움"이 15％,‥를, 각각 산출한다.

그리고, 적음부 식별부(46)는, 예를 들면, 산출된 "적음부스러움"의 평균이 가장 높은 구간을 적음부인 구간으로서 식별한다. 예를 들면, 적음부 식별부(46)는, 도 21에 나타내는 바와 같이, 구간(B)의 각각의 "적음부스러움"이, 60％, 70％, 80％,‥"으로 되며, "적음부스러움"의 평균이 가장 높기 때문에, 구간(B)를 적음부인 구간으로서 식별한다.

이상과 같이 하여, 악곡 구조 해석부(31)는, 보다 적은 연산량으로, 전조가 있는 악곡 파형으로부터, 그 악곡의 곡구성을 식별할 수 있다.

예를 들면, 퍼스널 컴퓨터(1)의, 예를 들면, 하드 디스크 등으로 이루어지는 기록부(18)에 기록되어 있는 방대한 수의 악곡의 데이터로부터 얻어지는 악곡 파형으로부터, 보다 적은 연산량으로, 그 악곡의 곡구성에서 적음부인 구간을 식별함으로써, 악곡을 선택할 경우에, 곡 머리에서 재생시키는 것이 아니라, 적음부만을 재생할 수 있다. 그 결과, 사용자는, 예를 들면, 곡이 가장 고조되는 적음부부분을 시청하고, 소망의 악곡을 검색하거나 할 수 있다.

또, 보다 적은 연산량으로, 그 악곡의 곡구성으로부터 적음부인 구간을 식별할 수 있으므로, 예를 들면, 용량이 적은 기록매체에, 악곡의 적음부 구간만을 잘 라내어 기록하게 하는 것으로, 보다 많은 악곡의 데이터를 기록할 수 있다.

또한, 상술한 예에 있어서는, 악곡 파형으로부터, 곡구성으로서 "적음부"를 식별한다고 하여 설명했지만, 본 발명은 거기에 한정되지 않고, "적음부" 대신에, 예를 들면, "인트로덕션", "간주", "A멜로", "B멜로" 등을 식별하도록 해도 좋다.

그런데, 자기 상관 맵 생성부(43)에 의한, 자기 상관 맵의 생성처리이지만, 상술한 처리(도 14의 자기 상관 맵 생성의 처리)로 한정되지 않고, 위상성분이 제거된 비트 특징량을 기본으로, 자기 상관 맵을 생성할 수 있는 방법이면 좋다. 예를 들면, 도 4의 스텝(S5)의 처리에 있어서의, 구간 분할부(44)에 의한 분할의 처리에 있어서, "적음부"인 구간을 식별하는 것만으로 좋은 경우(즉, "A멜로", "B멜로"인 구간을 식별할 필요가 없는 경우), 통상, "적음부"의 길이로서 생각할 수 있는 길이인, 소정의 비트 이상(예를 들면, 20비트 이상 등)의 구간에만, 분할할 수 있으면 좋다. 즉, 자기 상관 맵에서는, 소정의 비트 이상의 길이의 반복만을 검출할 수 있으면 좋다. 그래서, 우선, 한쪽 편(예를 들면, 후술하는 도 23의 수직방향의 축)에 있어서, 소정의 비트마다 자기 상관 맵을 생성하고, 그 후, 상관이 높은(즉, 반복의 가능성이 있는) 개소의 전후만, 상관을 계산함으로써, 한층 더 "적음부"를 식별하는 처리의 부하를 저감할 수 있다.

따라서, 다음으로, 도 22의 플로차트를 참조하여, "적음부"인 구간을 식별하는 것만으로 좋은 경우의, 도 4의 스텝(S4)에 있어서의, 자기 상관 맵 생성부(43)에 의한, 자기 상관 맵 생성처리의 상세에 대하여 설명한다.

스텝(S31)에 있어서, 자기 상관 맵 생성부(43)는, 한쪽 편의 N비트마다, 비 트간의 상관을 산출한다. 예를 들면, 스텝(S31)에 있어서, 자기 상관 맵 생성부(43)는, 후술하는 도 23의 수직방향의 축에서 N비트마다, 비트 특징량 제거부(42)로부터 공급되는, 도 11에 나타내는, 위치(Ⅹ)를 포함하고 있는 4구간(도면 중 왼쪽으로 기운 사선으로 해칭 된 구간)의 위상성분이 제거된 비트 특징량과 위치(Y)를 포함하고 있는 4구간(도면 중 오른쪽으로 기운 사선으로 해칭 된 구간)의 위상성분이 제거된 비트 특징량과의 상관을 산출한다.

구체적으로는, 후술하는 도 23의 수직방향의 축에서 N비트 마다의 비트 특징량의 상관은, 예를 들면, 상술한, 식(2)에 의해 산출된다.

스텝(S32)에 있어서, 자기 상관 맵 생성부(43)는, 산출된 각 비트간의 상관에 근거하여, 자기 상관 맵을 생성한다.

도 23은, 자기 상관 맵 생성부(43)에 의해 생성되는, 한쪽 편의 N비트 마다의 자기 상관 맵의 예를 나타내는 도면이다.

도 23에서 나타내는 자기 상관 맵의 예는, 도 15와 동일하게, 수평방향의 축은, 어느 악곡(의 1곡 중)의 개시부터 종료까지의 비트를 나타내고, 수직방향의 축은, 수평방향의 축에서 나타낸 악곡과 동일한 악곡(의 1곡 중)의 개시부터 종료까지의 비트를 나타내고 있고, 수평방향의 축은, 도면 중 오른쪽으로 가는 만큼, 그 악곡의 마지막쪽으로 되며, 수직방향의 축은, 도면 중 아래로 가는 만큼, 그 악곡의 마지막쪽으로 된다. 또, 도면 중의 검게 나타내고 있는 영역은, 수평방향의 축과 수직방향의 축에 의해 특정되는 악곡의 각 비트의 상관이 높은 것을 나타내고, 도면 중의 희게 나타내고 있는 영역은, 수평방향의 축과 수직방향의 축에 의해 특정되는 악곡의 각 비트의 상관이 작은 것을 나타낸다.

도 23의 자기 상관 맵의 예에서는, 수직방향의 축에 있어서의 N비트마다, 비트 특징량의 상관을 산출하고 있기 때문에, 상관이 높은 검게 나타내는 영역은, 수직방향의 축에 있어서의 N비트마다 밖에 나타나지 않게 된다. 반대로 말하면, 도 23의 자기 상관 맵의 예에서는, 어느 N비트와, 그 다음의 N비트와의 사이에서는, 비트 특징량의 상관을 산출하고 있지 않기 때문에, 반드시 흰 영역에서 나타나게 된다.

즉, 도 23의 자기 상관 맵의 예는, 검은 점으로 나타내는 개소에서는, 위상성분이 제거된 비트 특징량끼리의 상관이 높아진다.

또한, 상술한 바와 같이, 도 23의 자기 상관 맵에 있어서는, 통상, "적음부"로서 생각되는 길이가, 예를 들면, 20 비트 이상인 경우, 사용자는, 미리, N=20(비트)을 설정해 둔다.

도 22의 플로차트로 되돌아가, 스텝(S33)에 있어서의, 자기 상관 맵 생성부(43)는, 생성된 자기 상관 맵에 있어서의, 상관이 있는 개소에서 앞쪽으로 상관을 산출한다.

도 24는, 한쪽 편의 N비트 마다의 자기 상관 맵의 예를 나타내는 도면이다.

도 24에서 나타내는 자기 상관 맵의 예의 축은, 도 23의 자기 상관 맵의 예와 동일하기 때문에, 그 설명은 생략한다.

도 24에서 나타내는 자기 상관 맵의 예는, 도 23의 자기 상관 맵의 예에 있어서 검은 점으로 나타내는 개소로부터, 앞쪽에 N비트의 상관과, 후술하는 뒤쪽에 N비트의 상관을 산출하고, 상관이 높은 영역을 검게 나타내고, 상관이 작은 영역을 희게 나타냈을 때의 도면이 된다.

구체적으로는, 예를 들면, 자기 상관 맵 생성부(43)는, 도 23의 자기 상관 맵의 예에서, 수직방향의 축에 있어서의 1번째의 N비트 위의 검은 점으로 나타내는 개소로부터, 도면 중의 화살표(al)로 나타내는 방향으로, N비트의 상관을 산출함으로써, 상술한, 도 15의 자기 상관 맵의 예와 동일하게, 도 24의 자기 상관 맵을 생성하게 된다.

도 22의 플로차트로 되돌아가, 스텝(S34)에 있어서, 자기 상관 맵 생성부(43)는, 생성된 자기 상관 맵에 있어서의, 상관이 있는 개소로부터 후방으로 상관을 산출한다.

구체적으로는, 예를 들면, 자기 상관 맵 생성부(43)는, 도 23의 자기 상관 맵의 예에 있어서, 수직방향의 축에 있어서의 2번째의 N비트 위의 검은 점으로 나타내는 개소로부터, 도면 중의 화살표(a2)로 나타내는 방향으로, N비트의 상관을 산출함으로써, 상술한, 도 15의 자기 상관 맵의 예와 동일하게, 도 24의 자기 상관 맵을 생성하게 된다.

즉, 도 24에 나타내는 바와 같이, 자기 상관 맵 생성부(43)는, N비트마다 비트 특징량의 상관을 산출하고, 산출한 상관이 높았던 개소의 전후의 최대 N비트를, 높은 상관이 계속되는 범위에서만 상관을 계속 계산함으로써, 자기 상관 맵을 생성한다.

이와 같이, 우선, 한쪽 편(예를 들면, 도 23의 수직방향의 축)에 있어서, 소 정의 비트마다 자기 상관 맵(도 23의 자기 상관 맵)을 생성하고, 그 후, 상관이 높은 개소의 전후만, 상관을 계산하여 자기 상관 맵(도 24의 자기 상관 맵)을 생성함으로써, 또한 적음부 식별처리의 부하를 저감하고, 고속으로 적음부 식별처리를 행할 수 있다.

그런데, 상술한, 스텝(S3)의 처리에 있어서, 비트 특징량 제거부(42)는, 비트 특징량 추출부(41)로부터 공급되는 비트 특징량을 셔풀하고 나서, 셔풀된 비트 특징량으로부터, 위상성분을 제거하도록 해도 좋다.

도 25는, 비트 특징량의 셔풀에 대하여 설명하는 도면이다.

도 25에서 나타내는 예에 있어서, 도면 중의 4개의 사각은, 도 12 등과 동일하게, 비트마다 분할되어 있는 악곡 파형의 비트 특징량을 나타내고 있고, 4개의 사각은, 각각, 12개의 사각으로 나타내고 있는, C, C＃, D, D＃, E, F, F＃, G, G＃, A, A＃, B인 12음분의 코드(도 25의 예에서는, C, B의 코드명만을 기재하고 있다)로 이루어진다.

예를 들면, 비트 특징량 제거부(42)는, 이 4개의 사각을, 도면 중 왼쪽에서 오른쪽 방향으로, 최초의 비트, 2번째, 3번째, 4번째로 칭하는 경우, 2번째와 3번째를 셔풀하고 나서, 셔풀된 비트 특징량에 대하여, 이산 푸리에 변환 등을 실시함으로써, 추출된 비트 특징량의 위상성분을 제거한다.

이와 같이, 비트 특징량을 셔풀함으로써, 자기 상관 맵(적음부 등의 곡구성을 식별하는 처리)의 정밀도를 올릴 수 있다.

또한, 상술한 예에 있어서는, 도 25의 2번째와 3번째의 사각을 셔풀한다고 설명했지만, 본 발명에 있어서는 거기에 한정하지 않고, 예를 들면, 1번째 내지 4번째의 사각의 각각을 셔풀하도록 하여도 좋다.

또, 예를 들면, 자기 상관 맵(적음부 등의 곡구성을 식별하는 처리)의 정밀도를 올리기 위하여, 이산 푸리에 변환 등에 의하여, 비트 특징량의 위상성분을 제거하고 나서부터, 각 비트의 상관을 산출한 후에, 자기 상관 맵의 다른 한쪽(예를 들면, 도 15의 수평방향의 축 또는 수직방향의 축)의 비트 특징량을 11회 시프트 시키면서, 재차 상관을 산출하도록 하여도 좋다.

도 26에서 나타내는 예에 있어서는, 도면 중 왼쪽에서 1번째의 사각(이하, 1번째의 사각이라고 칭하고, 동일하게, 2번째의 사각, 3번째의 사각,‥", 12번째의 사각이라고 칭한다)는, 도 12 등과 동일하게, 비트마다 분할되어 있는 악곡 파형의 비트 특징량을 나타내고 있고, 또한 그 사각은, 그 사각안의 12개의 사각으로 나타내고 있는, C, C＃, D, D＃, E, F, F＃, G, G＃, A, A＃, B인 12음 분의 코드로 이루어진다.

예를 들면, 우선, 비트 특징량 제거부(42)는, 1번째의 사각에서 나타내는 비트 특징량에 대하여, 이산 푸리에 변환 등을 실시함으로써, 비트 특징량의 위상성분을 제거한다. 자기 상관 맵 생성부(43)는, 위상성분이 제거된 1번째의 사각을 기본으로, 비트 특징량의 상관을 산출한다.

다음으로, 1번째의 사각으로부터, 12음 분의 코드를 도면 중 아래방향으로 1개 시프트 시킴으로써, 비트 특징량은, 2번째의 사각에서 나타내는 바와 같이, 도 면 중 아래로부터, C＃, D, D＃, E, F, F＃, G, G＃, A, A＃, B, C의 순서로 시프트 하게 된다.

이때, 예를 들면, 비트 특징량 제거부(42)는, 2번째의 사각에서 나타내는 비트 특징량에 대하여, 이산 푸리에 변환 등을 실시함으로써, 비트 특징량의 위상성분을 제거한다. 자기 상관 맵 생성부(43)는, 위상성분이 제거된 2번째의 사각을 기본으로, 비트 특징량의 상관을 산출한다.

동일하게, 비트 특징량의 12음 분의 코드를 1개씩 순서로 아래방향으로 시프트 시킴으로써, 예를 들면, 비트 특징량 제거부(42)는, 3번째 내지 11번째의 사각(도시하지 않음)에서 나타내는 비트 특징량에 대하여, 이산 푸리에 변환 등을 실시함으로써, 비트 특징량의 위상성분을 제거하고, 자기 상관 맵 생성부(43)는, 위상성분이 제거된 3번째 내지 11번째의 사각을 기본으로, 비트 특징량의 상관을 산출한다.

그리고 마지막으로, 11번째의 사각으로부터, 12음 분의 코드를 도면 중 아래 방향으로 1개 시프트 시킴으로써, 12번째의 사각(도면 중 오른쪽에서 1번째의 사각)에서 나타내는 바와 같이, 도면 중 아래로부터, B, C, C＃, D, D＃, E, F, F＃, G, G＃, A, A＃의 순서로 시프트 하게 된다.

이때, 예를 들면, 비트 특징량 제거부(42)는, 12번째의 사각에서 나타내는 비트 특징량에 대하여, 이산 푸리에 변환 등을 실시함으로써, 비트 특징량의 위상성분을 제거한다. 자기 상관 맵 생성부(43)는, 위상성분이 제거된 12번째의 사각을 기본으로, 비트 특징량의 상관을 산출한다.

이와 같이, 비트 특징량을 11회 시프트 시키면서, 상관을 산출함으로써, 자기 상관 맵 생성부(43)는, 보다 정밀도가 높은 자기 상관 맵을 생성할 수 있다.

또한, 도 26에서는, 설명을 알기 쉽게 하기 위하여, 1구간(1비트)의 비트 특징량의 시프트에 대하여 설명했지만, 예를 들면, 4구간(4비트)등 이어도, 동일하게 비트 특징량을 시프트 시킴으로써, 자기 상관 맵의 정밀도를 또한 올릴 수 있다.

그런데, 본 실시의 형태에서는, 비트를 검출하는 처리(도 4의 스텝(Sl)의 처리)에 있어서, 악곡 파형(음성신호)으로부터 검출되는 비트(템포, 박자, 소절의 선두 등)의 검출 정밀도를 올리는 것으로, 예를 들면, 분할의 처리(도 4의 스텝(S5)의 처리)를 행하는 경우, 분할되는 각 구간의 경계는 소절의 선두로 하는 편이 좋기 때문에, 그러한 소절의 선두를 정확하게 요구함으로써, 정확하게 분할을 실시할 수 있다. 그런데, 다음으로, 도 27 내지 도 40을 참조하여, 악곡 파형으로부터 템포, 박자, 소절의 선두(이하, 비트 데이터라고 칭한다)를 검출하는 처리에 대하여 설명한다.

도 27은, 도 2의 퍼스널 컴퓨터(1)의 CPU(ll)에 의하여 실행되는 소프트웨어의 기능적 구성의 다른 예를 나타내는 블럭도이다.

또한, 도 27에서는, 도 3과 동일한 개소에는, 동일한 부호를 붙이고 있고, 처리가 동일한 부분에 관해서는, 그 설명은 반복되기 때문에 생략한다. 즉, 도 27에 있어서, 악곡 구조 해석부(31)는, 도 3의 악곡 구조 해석부(31)와 비교하여, 비트 검출부(101)가 추가하여 설치되어 있다.

비트 검출부(101)는, 악곡 파형으로부터 비트 데이터를 검출한다. 예를 들 면, 비트 검출부(101)는, MP3나 AAC 등의 방식으로 음성 압축된 음성신호에서 재생되는 악곡 파형으로부터, 템포, 박자, 또는 소절의 선두 등의 비트 데이터를 검출한다.

다음으로, 도 28에 나타내는 바와 같이, 악곡 파형으로부터, 비트, 즉, 박자의 각각의 위치를 검출하는 비트 검출부(101)에 대하여 설명한다. 도 28에 있어서, "1：1, 1：2, 1：3, 1：4, 2：1, 2：2, 2：3, 2：4, 3：1, 3：2, 3：3, 3：4,‥"(이「1：1」등의 수는, 도면 중 오른쪽 아래에 적힌 바와 같이, 「소절：박자」를 표현하고 있다)의 각각의 수에 대한 세로선은, 악곡 파형에 있어서의 박자 선두의 각각의 위치를 나타낸다. 도 28에 있어서, 각각의 수에 대한 세로선으로 나타내는 위치에서, 그 다음의 세로선의 위치까지의 범위는, 악곡 파형에 있어서의 박자의 범위를 나타낸다.

또한, 인접하는 2개의 세로선의 사이에서 나타내는 길이는, 예를 들면, 4분음표의 길이를 나타내고, 템포에 상당한다. 또, "1：1", "2：1", "3：1",‥"인 수에 대한 세로선으로 나타내는 위치는, 소절의 선두를 나타낸다.

즉, 비트 검출부(101)는, 도 28에 나타내는 음성신호에 의한 악곡 파형으로부터, 도면 중의 세로선으로 나타내는 각 박자나 각 소절의 선두, 또는 도면 중 인접하는 2개의 세로선의 사이에서 나타내는 길이인 템포 등을, 비트 데이터로서 검출한다.

도 29는, 비트 검출부(101)의 구성의 일례를 나타내는 블럭도이다. 비트 검출부(101)는, 어택 정보 추출부(111), 기본 비트 주기 검출부(112), 템포 결정 부(113), 악곡 특징량 추출부(114), 템포 수정부(115), 비트 특징량 추출부(116), 박자 결정부(117) 및 소절 선두 결정부(118)를 포함하도록 하여 구성된다.

어택 정보 추출부(111)는, 악곡 파형을 나타내는 음성신호로부터 시계열의 어택 정보를 추출한다. 여기에서, 시계열의 어택 정보는, 인간에게 비트를 느끼게 하는 음량의 변화를 시간에 따라서 데이터화 한 것이다. 도 30에 나타내는 바와 같이, 어택 정보는, 시간에 대한, 인간이 느끼는 음량을 나타내는 음량감으로 나타낸다.

예를 들면, 어택 정보 추출부(111)는, 각각의 시각에 있어서의, 음성신호에 의한 소리 레벨을 나타내는 어택 정보를 음성신호로부터 추출한다.

또, 예를 들면, 도 31에서 나타내는 바와 같이, 어택 정보 추출부(111)는, 음성신호에 의한 음성을 복수의 옥타브의 성분으로 나누고, 또한 각각의 옥타브에 있어서의 12 평균율의 각각의 높이의 12음의 에너지를 구함으로써, 옥타브마다의 12음 각각의 에너지를 나타내는 12음 해석에 의한 시간-음정 데이터를 구한다. 어택 정보 추출부(111)는, 각 시각에 있어서의, 12음과 복수의 옥타브에 대하여 음의 에너지를 적산(積算)하고, 그 결과를 어택 정보로 한다.

또, 예를 들면, 어택 정보 추출부(111)는, 음성신호에 의한 음성을 복수의 옥타브의 성분으로 나누고, 또한 각각의 옥타브에 있어서의 12평균율의 각각의 높이의 12음의 울기 시작하는 타이밍을 검출한다. 예를 들면, 어택 정보 추출부(111)는, 각각의 소리의 에너지의 시간 방향의 차분이 미리 정한 임계치보다 큰 경우, 그 소리의 울기 시작함이라고 한다.

그리고, 어택 정보 추출부(111)는, 소리의 울기 시작을 1로하고, 그 이외를 0으로 하고, 그 값을 복수 옥타브의 각각의 12음에 대하여 적산하고, 그 결과를 어택 정보로 한다.

도 31에 있어서, 동그라미는, 소리가 울기 시작한 위치를 나타낸다. 소리의 울기 시작을 1로 하고, 그 이외를 0으로 하고, 이것을 적산하여 어택 정보를 구했을 경우, 어택 정보는, 복수 옥타브의 각각의 12음에 있어서, 울기 시작함이 많은 경우에는, 큰 값이 되며, 울기 시작함이 적은 경우에는, 작은 값이 된다.

또한, 예를 들면, 어택 정보 추출부(111)는, 음성신호에 의한 음성을 복수의 옥타브의 성분으로 나누고, 또한 각각의 옥타브에 있어서의 12평균율의 각각의 높이의 12의 소리의 에너지의 변화를 요구한다. 예를 들면, 소리의 에너지의 변화는, 소리의 에너지의 시간 방향의 차분으로서 계산된다. 어택 정보 추출부(111)는, 각 시각에 있어서의, 소리의 에너지의 변화를, 복수 옥타브의 각각의 12음에 대하여 적산하고, 그 결과를 어택 정보로 한다.

도 29로 되돌아가, 어택 정보 추출부(111)는, 이러한 어택 정보를, 기본 비트 주기 검출부(112), 템포 수정부(115) 및 박자 결정부(117)에 공급한다.

기본 비트 주기 검출부(112)는, 코드의 검출의 대상이 되고 있는 악곡에 있어서, 가장 기본이 되고 있는 소리의 길이를 검출한다. 예를 들면, 악곡에 있어서 가장 기본이 되고 있는 소리는, 4분 음표, 8분 음표, 또는 16분 음표에서 나타내는 소리이다.

이하, 악곡에 있어서, 가장 기본이 되는 소리의 길이를 기본 비트 주기라고 칭한다.

기본 비트 주기 검출부(112)에 있어서, 시계열의 정보인 어택 정보를 통상의 파형과 판단하여 기본 피치(음정) 추출을 실시함으로써 기본 비트 주기가 구해진다.

예를 들면, 도 32에서 나타내는 바와 같이, 기본 비트 주기 검출부(112)는, 시계열의 정보인 어택 정보를 쇼트 타임 푸리에 변환(STFT(Short－Time Fourier Transform))한다. 어택 정보를 쇼트 타임 푸리에 변환함으로써, 주파수에 있어서의 에너지의 힘을 시계열로 나타내는 결과가 얻어진다.

즉, 기본 비트 주기 검출부(112)에 있어서, 어택 정보의 시간적인 길이에 대하여 충분히 짧은 기간인 창의 위치를 어택 정보에 대하여 옮기면서, 그 창에 있어서의 어택 정보의 부분을 푸리에 변환하고, 그 푸리에 변환의 결과를 시계열로 배치함으로써, 각각의 주파수에 있어서의 에너지의 힘을 시계열로 나타내는 결과가 구해진다.

쇼트 타임 푸리에 변환의 결과, 다른 주파수의 에너지와 비교하여 강한 에너지의 주파수가, 기본 비트 주기의 후보인 주기로서 검출된다. 도 32의 아래 쪽에 있어서, 농도는, 에너지의 힘을 나타낸다.

기본 비트 주기 검출부(112)는, 어택 정보의 쇼트 타임 푸리에 변환의 결과 검출된 주기 중 가장 우위의 것을 기본 비트 주기로 한다.

즉, 기본 비트 주기 검출부(112)는, 어택 정보의 쇼트 타임 푸리에 변환의 결과 검출된 주기 중에서, 미리 준비한 중량인 기본 비트다움과, 어택 정보의 쇼트 타임 푸리에 변환의 결과를 대조하고, 기본 비트다움이 높은 주기를 기본 비트 주기로 한다.

보다 구체적으로는, 기본 비트 주기 검출부(112)는, 미리 정한 주파수 방향의 중량인 기본 비트다움으로, 어택 정보의 쇼트 타임 푸리에 변환의 결과 얻어진 주파수 마다의 에너지를 가중하여, 가중에 의하여 얻어진 값 중 가장 큰 값이 얻어진 주기를 기본 비트 주기로 한다.

주파수 방향의 중량인 기본 비트다움을 이용함으로써, 기본 비트 주기는 될 수 없는 지극히 낮은 주파수의 주기나 지극히 높은 주파수의 주기가, 기본 비트 주기로 되는 것을 방지할 수 있다.

도 29로 되돌아가, 기본 비트 주기 검출부(112)는, 이와 같이 추출한 기본 비트 주기를 템포 결정부(113)에 공급한다.

악곡 특징량 추출부(114)는, 음성신호에 소정의 신호 처리를 적용함으로써, 악곡으로부터 소정의 수의 특징량(이하, 악곡 특징량이라고 칭한다)을 추출한다. 예를 들면, 악곡 특징량 추출부(114)는, 음성신호를 복수의 옥타브의 성분으로 나누고, 또한 각각의 옥타브에 있어서의 12평균율의 각각의 높이의 12음의 신호를 구하고, 각각의 옥타브에 있어서의 각각의 12음의 신호에 소정의 신호 처리를 적용함으로써, 악곡 특징량을 추출한다.

예를 들면, 악곡 특징량 추출부(114)는, 악곡 특징량으로서, 각각의 옥타브에 있어서의 각각의 12음의 신호의, 단위시간 당의 피크의 수를 구한다.

또, 예를 들면, 악곡 특징량 추출부(114)는, 악곡 특징량으로서, 각각의 옥 타브에 있어서의 각각의 12음의 신호의, 음정 방향의 에너지의 분산을 구한다.

또한 또, 예를 들면, 악곡 특징량 추출부(114)는, 악곡 특징량으로서, 각각의 옥타브에 있어서의 각각의 12음의 신호로부터, 저역, 중역 및 고역의 에너지의 밸런스를 구한다.

또, 예를 들면, 악곡 특징량 추출부(114)는, 악곡 특징량으로서, 각각의 옥타브에 있어서의 각각의 12음의 신호로부터, 스테레오인 음성신호 좌우의 채널의 신호의 상관의 크기 등을 구한다.

악곡 특징량 추출부(114)는, 이와 같이 추출한 악곡 특징량을 템포 결정부(113)에 공급한다.

템포 결정부(113)는, 악곡 특징량과 템포에 의한 학습에 의하여 미리 구성되며, 악곡 특징량 추출부(114)로부터 공급된 악곡 특징량으로부터, 템포를 추정한다. 이하, 추정된 템포를 추정 템포라고 칭한다.

템포 결정부(113)는, 추정 템포와, 기본 비트 주기 검출부(112)로부터 공급된 기본 비트 주기로부터, 기본 비트 주기의 2의 Ⅹ승배(‥"1／8배, 1／4배, 1／2배, 1배, 2배, 4배, 8배‥")중에서 템포를 결정한다. 예를 들면, 악곡의 특징량으로부터 회귀해석으로 추정된 추정 템포에 대하여, 추정 템포×21／2와 추정 템포÷21／2와의 범위에 들어가도록, 기본 비트 주기를 2배 할 것인지 또는 1／2배하여 얻어진 값이 템포로 된다.

예를 들면, 도 33에 나타내는 바와 같이, 템포 결정부(113)는, 기본 비트 주기 검출부(112)로부터 공급된 기본 비트 주기와, 추정 템포÷21／2로 구해진 주기 를 비교하고, 추정 템포÷21／2로 구해진 주기보다 기본 비트 주기(도 33의 위쪽의 흰원으로 나타내는 기본 비트 주기)가 긴 경우, 기본 비트 주기를 1／2배 한다.

템포 결정부(113)는, 기본 비트 주기 검출부(112)로부터 공급된 기본 비트 주기와, 추정 템포×21／2에서 구해진 주기를 비교하고, 추정 템포×21／2에서 구해진 주기보다 기본 비트 주기(도 33의 아래쪽의 흰원에서 나타내는 기본 비트 주기)가 짧은 경우, 기본 비트 주기를 2배한다.

템포 결정부(113)는, 추정 템포×21／2와 추정 템포÷21／2와의 범위에 들어가도록, 1／2배 하였는지 혹은 2배 하였는지, 또는 반복하여 1／2배 하였는지 혹은 반복하여 2배한 기본 비트 주기(도 33의 검은 원에서 나타내는 기본 비트 주기)를 템포로 한다.

또한, 템포 결정부(113)는, 기본 비트 주기가 추정 템포×21／2와 추정 템포÷21／2의 범위에 들어가는 경우, 그대로의 기본 비트 주기를 템포로 한다.

도 29로 되돌아가, 템포 결정부(113)는, 이와 같이 결정한 템포를 템포 수정부(115)에 공급한다.

템포 수정부(115)는, 어택 정보 추출부(111)로부터 공급되는 어택 정보에 의하여, 템포 결정부(113)에 있어서 결정된 템포를 보다 세세하게 수정한다.

우선, 템포 수정부(115)는, 비트의 위상을 수정한다.

즉, 도 34에서 나타낸 바와 같이, 템포 수정부(115)는, 어택 정보에 대하여 결정된 템포의 주기로, 박자의 범위마다, 악곡 전체에 걸쳐 어택 정보를 더하여 합한다.

예를 들면, 템포 수정부(115)는, 악곡 전체에 걸쳐서, 템포의 주기에 결정되는 박자의 범위에 대하여, 최초의 박자의 범위 내지 마지막 박자 범위의 각각에 있어서의, 최초의 어택 정보의 샘플을 더하여 합하고, 그 결과를, 박자 범위의 최초의 합계치로 한다. 다음으로, 템포 수정부(115)는, 악곡 전체에 걸쳐서, 템포의 주기에서 결정되는 박자의 범위에 대하여, 최초의 박자의 범위 내지 마지막 박자 범위의 각각에 있어서의, 2번째의 어택 정보의 샘플을 더하여 합하고, 그 결과를, 박자 범위의 2번째의 합계치로 한다.

동일하게, 템포 수정부(115)는, 악곡 전체에 걸쳐서, 템포의 주기에서 결정되는 박자의 범위에 대하여, 최초의 박자의 범위 내지 마지막 박자 범위의 각각에 있어서의, 3번째 내지 마지막 어택 정보의 샘플을, 박자의 범위에 있어서의 순서마다 더하여 합하고, 그 결과의 각각을, 박자 범위의 3번째 내지 마지막 합계치로 한다.

그리고, 템포 수정부(115)는, 어택 정보에 대한 템포 주기의 위상을 옮겨서, 동일하게, 박자의 범위마다, 악곡 전체에 걸쳐서 어택 정보를 더하여 합한다.

템포 수정부(115)는, 어택 정보에 대한 템포 주기의 위상을, 어택 정보에 대한 템포 주기의 위상을 옮겨서 얻어진 합계치 중, 가장 큰 합계치가 얻어진 위상으로 수정한다. 즉, 템포 수정부(115)는, 박자의 위치를, 가장 큰 합계치가 얻어진, 어택 정보에 대한 템포 주기의 위치에 수정한다.

또, 템포 수정부(115)는, 템포를 수정한다.

즉, 도 35에서 나타내는 바와 같이, 템포 수정부(115)는, 템포의 주기를, 그 주기에 대하여 충분히 짧은 소정의 길이만큼 줄일 것인지, 또는 늘려서, 그 줄여졌던지 또는 늘려진 템포의 주기에서, 템포의 주기 마다, 악곡 전체에 걸쳐서 어택 정보를 더하여 합한다.

이 경우도, 템포 수정부(115)는, 악곡 전체에 걸쳐서, 템포의 주기에서 결정되는 박자의 범위에 대하여, 최초 박자의 범위 내지 마지막 박자 범위의 각각에 있어서의, 최초 내지 마지막 어택 정보의 샘플을, 박자의 범위에 있어서의 순서마다 더하여 합하고, 그 결과의 각각을, 박자 범위의 최초 내지 마지막 합계치로 한다.

템포 수정부(115)는, 템포의 주기를 소정의 길이만큼 줄이든지, 또는 늘려서, 그 줄여졌든지 또는 늘려진 템포의 주기마다, 악곡 전체에 걸쳐서 어택 정보를 더하여 합하고, 박자 범위의 최초 내지 마지막 합계치를 구한다.

템포 수정부(115)는, 원의 길이인지, 줄여진 것인지, 또는 늘려진 템포 주기 중, 가장 큰 합계치가 얻어진 길이로 템포의 주기를 수정한다.

템포 수정부(115)는, 이와 같은 비트 위상의 수정과 템포의 수정을 필요에 따라 반복하고, 최종적인 템포를 결정한다. 예를 들면, 템포 수정부(115)는, 비트 위상의 수정과, 템포의 수정을, 각각 2회 등, 미리 결정된 회수만큼 반복하고, 최종적인 템포를 결정한다.

도 29로 되돌아가, 템포 수정부(115)는, 최종적으로 결정된 템포를 나타내는 박자데이터를, 비트 특징량 추출부(116) 및 소절 선두 결정부(118)에 공급한다.

비트 특징량 추출부(116)는, 템포 수정부(115)로부터 공급되는 박자데이터에 의거하여, 세그먼트(segment)(1박자) 마다, 음악 특징량이나 코드 등의 악곡 특징 량을 추출한다.

예를 들면, 비트 특징량 추출부(116)는, 도 36에 나타내는 악곡 파형으로부터, 도면 중 세로선으로 나누어져 있는 비트마다(도 36에 나타내는 예에서는 12구간에 분할되어 있다)에, 악곡 특징량을 추출한다.

또한, 비트 특징량 추출부(116)에 의하여 추출되는 악곡 특징량은, 예를 들면, 상술한, 악곡 특징량 추출부(114)에 의하여 추출되는 악곡 특징량과 동일하게, 12음 해석의 결과에 의하여 얻어진 신호에 소정의 신호 처리를 적용함으로써 추출된다.

도 29로 되돌아가, 비트 특징량 추출부(116)는, 이와 같이 추출한 비트마다의 악곡 특징량을 소절 선두 결정부(118)에 공급한다.

박자 결정부(117)는, 어택 정보 추출부(111)로부터 공급되는 어택 정보에 의거하여, 예를 들면, 4／4 박자, 3／4 박자, 6／8 박자 등의 박자를 결정한다.

여기에서, 박자의 결정 방법이지만, 예를 들면, 쇼트 타임 푸리에 변환을 실시한 어택 정보의 배음 구조로부터 박자를 구할 수 있다. 예를 들면, 도 37에서 나타내는 바와 같이, 박자 결정부(117)는, 기본 비트 주기 검출부(112)와 동일하게, 시계열의 정보인 어택 정보를 쇼트 타임 푸리에 변환한다. 이것에 의하여, 주파수에 있어서의 에너지의 힘을 시계열에 나타내는 결과가 얻어진다.

즉, 도 37의 예에 나타내는 바와 같이, 어택 정보에 쇼트 타임 푸리에 변환을 행함으로써 얻어지는 결과에 의하여, 피크가 나타난 주파수가 검출되기 때문에, 그 주파수를 이용하여 박자를 결정한다. 예를 들면, 도면 중 좌측에 나타내고 있 는 4／4 박자에 있어서, 8분 음표, 4분 음표, 2분 음표, 전 음부의 각각의 관계는, 도면 중 동그라미 표시로 나타내는 바와 같이, 8분 음표의 주파수의 반이 4분 음표의 주파수가 되고, 도면 중 삼각표에 나타내는 바와 같이, 4분 음표의 주파수의 반이 2분 음표의 주파수가 되고, 도면 중 ×(엑스)표로 나타내는 바와 같이, 2분 음표의 주파수의 반이 전(全) 음표의 주파수로 된다. 바꾸어 말하면, 4분 음표의 주기는, 8분 음표의 주기의 2배이며, 2분 음표의 주기는, 4분 음표의 주기의 2배이고, 전 음표의 주기는, 2분 음표의 2배이다 라고도 말할 수 있다.

또, 동일하게, 예를 들면, 도면 중 중앙에 나타내고 있는 3／4 박자에 있어서, 4분 음표, 1소절, 2소절의 각각의 관계는, 도면 중 동그라미 표시로 나타내는 바와 같이, 4분 음표의 주파수의 1／3이 1소절의 주파수가 되고, 도면 중 ×(엑스)표로 나타내는 바와 같이, 1소절의 주파수의 반이 2소절의 주파수가 된다.

또한, 동일하게, 도면 중 우측으로 나타내고 있는 6／8 박자에 있어서, 8분 음표, 4분 음표, 부점(付点) 4분 음표, 1 소절의 각각의 관계는, 도면 중 동그라미 표시로 나타내는 바와 같이, 8분 음표의 주파수의 반이 4분 음표의 주파수가 되고, 도면 중 ×(엑스)표로 나타내는 바와 같이, 4분 음표의 주파수의 2／3가 부점 4분 음표의 주파수로 되고, 4분 음표의 주파수의 1／3이 1소절의 주파수로 된다.

즉, 박자 결정부(117)는, 피크가 나타난 주파수에 있어서의 에너지의 간격의 패턴, 즉, 쇼트 타임 푸리에 변환을 행한 어택 정보의 배음 구조로부터, 박자를 결정한다.

도 38은, 박자 결정부(117)에 의한, 구체적인 박자의 결정 방법의 예를 설명 하는 도면이다.

도 38에 있어서는, 도면 중 좌측에 나타내는 바와 같은, 가로축 방향을 시간으로 하고, 세로축 방향을 주파수로 하는 그래프(이하, 시간-주파수 그래프라고 칭한다), 시간-주파수 그래프의 우측에 나타내는 바와 같이, 가로축 방향을 에너지로 하고, 세로축 방향을 주파수로 하는 그래프(이하, 에너지-주파수 그래프라고 칭한다), 에너지-주파수 그래프의 우측에 나타내는 바와 같이, 횡축 방향을 에너지로 하고, 세로축 방향을 로그 주파수로 하는 그래프(이하, 에너지-로그 주파수 그래프라고 칭한다)의 3개의 그래프가 나타내고 있다.

도 38에 있어서, 우선, 박자 결정부(117)는, 어택 정보에 쇼트 타임 푸리에 변환을 행함으로써 얻어진, 시간-주파수 그래프에 있어서의 주파수를 시간 방향으로 더하여 합한 것으로, 에너지-주파수 그래프를 얻는다. 다음으로, 박자 결정부(117)는, 에너지-주파수 그래프에 있어서의 주파수축을 로그 주파수 축으로 변환하여, 에너지-로그 주파수 그래프를 얻는다.

그리고, 박자 결정부(117)는, 에너지-로그 주파수 그래프에 나타내는 로그 주파수 마다의 에너지에 대하여, 고속 푸리에 변환(FFT(Fast Fourier Transform))을 행함으로써 얻어진 파워 성분인 특징량과, 미리 준비한 박자의 패턴을 대조하여, 박자를 결정한다.

도 29로 되돌아가, 박자 결정부(117)는, 이와 같이 결정한 박자를 소절 선두 결정부(118)에 공급한다.

소절 선두 결정부(118)에는, 템포 수정부(115)로부터 박자데이터가 공급되 며, 비트 특징량 추출부(116)로부터 비트마다의 악곡 특징량이 공급되며, 박자 결정부(117)로부터 박자가 공급된다. 소절 선두 결정부(118)는, 그들의 박자데이터, 비트마다의 특징량 및 박자에 의거하여, 소절의 선두를 결정한다.

여기에서, 소절의 선두의 결정 방법이지만, 예를 들면, 소절의 선두에서는, 그 외의 부분과 비교하여, 코드가 변화하기 쉬운, 음악적으로 안정된 코드(예를 들면, 이른바 쓰리 코드 등)의 출현 확률이 높고, 음정이 확실히 안정되어 있는, 음량적으로 엑센트가 있는 등이라고 하는 특징이 있다.

소절 선두 결정부(118)는, 이러한 소절의 선두의 특징을 이용하고, 각 비트에 대하여 소절의 선두 같음을 추정한다. 또한, 소절 선두 결정부(118)는, 예를 들면, 각 비트의 특징량이나 코드 등에 의한 학습에 의하여 미리 구성되며, 박자데이터, 비트마다의 악곡 특징량 및 박자로부터, 소절의 선두 같음을 추정한다.

다음으로, 도 39의 예에 나타내는 바와 같이, 소절 선두 결정부(118)는, 구한 소절의 선두 같음을, 악곡 전체 또는 특정의 범위에 있어서 박자의 1소절 근처의 음표의 수 마다(예를 들면, 4／4 박자라면 4개 마다, 3／4 박자라면 3개마다, 6／8 박자라면 6개 마다 등)에 더하여 합한다. 즉, 도 39의 예에서는, 4／4 박자이기 때문에 4개마다 더하여 합쳐진다. 보다 구체적으로는, 1번째의 비트, 5번째의 비트, 9번째의 비트,‥"(이하, 1／4박자 째라고 칭한다)의 소절의 선두 같음이 더하여 합쳐지며, 2번째의 비트, 6번째의 비트, 10개째의 비트,‥"(이하, 2／4박자 째라고 칭한다)의 소절의 선두 같음이 더하여 합쳐지며, 3번째의 비트, 7번째의 비트, 11개째의 비트,‥"(이하, 3／4박자 째라고 칭한다)의 소절의 선두 같음이 더하 여 합쳐지며, 4번째의 비트, 8번째의 비트, 12개째의 비트,"‥(이하, 4／4박자 째라고 칭한다)의 소절의 선두 같음이 더하여 합쳐진다.

그리고, 도 40의 예에 나타내는 바와 같이, 소절 선두 결정부(118)는, 4／4 박자이기 때문에 4개마다 더하여 합쳐진 소절의 선두 같음을 비교하여, 가장 소절의 선두 같음이 높아진 개소의 비트를 소절의 선두라고 결정한다. 보다 구체적으로는, 도 40의 예에서는, 1／4박자째의 소절의 선두 같음의 값을 더하여 합한 합계의 값이 35.6, 2／4박자째의 소절의 선두 같음의 값을 더하여 합한 합계의 값이 12.6, 3／4박자째의 소절의 선두 같음의 값을 더하여 합한 합계의 값이 21.5, 4／4박자째의 소절의 선두 같음의 값을 더하여 합한 합계의 값이 13.3이 되고, 1／4박자째의 합계의 값이 가장 선두 같음의 값이 비싸기 때문에, 소절 선두 결정부(118)는, 1／4박자째를 소절의 선두라고 결정한다.

이와 같이, 비트 검출부(101)는, 악곡의 파형(음성 신호)으로부터, 템포, 박자, 소절의 선두 등의 비트 데이터를 검출하고, 출력한다. 즉, 비트 검출부(101)는, 예를 들면, 비트를 검출하는 처리(도 4의 스텝(Sl)의 처리)에서, 상술한 방법에 의하여 비트 데이터를 구할 수 있기 때문에, 보다 정확하게 비트를 검출하는 것이 가능해진다. 그 결과, 예를 들면, 분할의 처리(도 4의 스텝(S5)의 처리)에 있어서, 정확하게 분할을 실시할 수 있고, 나아가서는 적음부를 식별하는 처리(도 4의 스텝(S7)의 처리)에 있어서, 적음부인 구간을 보다 정확하게 식별하는 것이 가능해진다.

여기에서, 종래의 수법과 본 발명의 수법의 각각에 의하여, 전조가 있는 악 곡의 파형을 해석했을 경우의 연산량(승가산 회수)을 비교한다. 또한, 비교할 때의 조건을 동일하게 하기 위하여, 예를 들면, 악곡의 길이를 5분, 템포를 120, 상관 계산에 이용하는 비트의 수를 8비트로서 각각의 연산량을 비교한다.

우선, 종래의 수법에 의하여 전조가 있는 악곡의 파형을 해석했을 경우, 상관을 산출하기 위한 평균과 노름(norme)을 산출할 때의 연산량(al)은, 이하와 같이 된다.

연산량(al)=(비트의 수)×(8비트분)×(12음)×(2(평균과 노름))=5×120×8×12×2=115,200(회)

또, 상관을 산출하는 경우의 연산량(a2)은, 이하와 같이 된다.

연산량(a2)=(비트의 수)×(비트의 수／2+1)×(8비트분)×(12음)×(12회 시프트)=5×120×299×8×12×12=206,668,800(회)

즉, 종래의 수법의 연산량(A)은, 이하와 같이 된다.

연산량(A)=연산량(al)+연산량(a2)=115,200+206,668,800=206,784,000(회)

다음으로, 본 발명의 수법에 의하여 전조가 있는 악곡의 파형을 해석했을 경우, 이산 푸리에 변환에 의하여 위상성분을 제거하고, 상관을 산출하기 위한 평균과 노름을 산출할 때의 연산량(bl)은, 이하와 같이 된다.

연산량(bl)=(비트의 수)×((8비트분)×(12음))2(이산 푸리에 변환의 계산)+(비트의 수)×(이산 푸리에 변환 후의 특징량)×(2(평균과 노름))=5×120×(8×12) 2+ 5×120×47×2=5,529,600+56,400=5,586,000(회)

또, 상관을 산출하는 경우의 연산량(b2)은, 이하와 같이 된다.

연산량(b2)=(비트의 수)×(비트의 수／2+1)×(이산 푸리에 변환 후의 특징량)=5×120×299×47=8,431,800(회)

즉, 본 발명의 수법의 연산량(B)은, 이하와 같이 된다.

연산량(B)=연산량(bl)+연산량(b2)=5,586,000+ 8,431,800=14,017,800(회)

따라서, 종래 수법의 연산량(A)과 본 발명의 수법의 연산량(B)을 비교했을 경우, 206,784,000(회)과 14,017,800(회)로 되기 때문에, 본 발명의 수법의 연산량(B)은, 종래 수법의 연산량(A)의 1／14 이하의 연산량(승가산 회수), 실제로는, 이산 푸리에 변환으로 고속의 알고리즘을 이용함으로써, N2이하의 승가산 회수에 의하여 계산을 할 수 있으므로, 보다 계산 회수가 적게 되고, 보다 신속하게, 자기 상관 맵을 생성할 수 있다. 그 결과, 보다 신속하게, 예를 들면, 악곡 구조나 적음부의 식별 등의 처리를 행할 수 있다.

이상과 같이, 본 발명의 일 측면에 의하면, 적은 연산량으로, 전조가 있는 악곡 파형을 해석할 수 있다.

이상과 같이, 본 발명에 의하면, 적은 연산량으로, 전조가 있는 악곡의 파형을 해석할 수 있다.

또, 본 발명에 의하면, 보다 적은 연산량으로, 전조가 있는 악곡의 파형으로부터, 그 악곡의 곡구성을 식별할 수 있다.

상술한 일련의 처리는, 하드웨어에 의하여 실행시킬 수도 있지만, 소프트웨어에 의하여 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의하여 실행시키 는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 넣어지고 있는 컴퓨터, 또는, 각종의 프로그램을 인스톨함으로써, 각종의 기능을 실행하는 것이 가능한, 예를 들면 범용의 퍼스널 컴퓨터 등에, 기록 매체로부터 인스톨 된다.

이 기록 매체는, 컴퓨터와는 별도로, 사용자에게 프로그램을 제공하기 위해서 배포되는, 프로그램이 기록되어 있는 자기 디스크(플렉시블 디스크를 포함한다), 광디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disk))를 포함한다), 광자기 디스크(MD(Mini-Disk)(등록상표)를 포함한다), 혹은 반도체 메모리 등으로 이루어지며, 도 2의 리무버블 미디어(21)에 의하여 구성될 뿐만 아니라, 컴퓨터에 미리 넣어진 상태에서 사용자에게 제공되는, 프로그램이 기록되어 있는 도 2의 ROM(12)이나 기록부(18) 등으로 구성된다.

또, 상술한 일련의 처리를 실행시키는 프로그램은, 필요에 따라서 라우터(router), 모뎀 등의 인터페이스를 통하여, 근거리 통신망, 인터넷, 디지털 위성방송이라고 하는, 유선 또는 무선의 통신 매체를 통하여 컴퓨터에 인스톨 되도록 하여도 좋다.

또한, 본 명세서에 있어서, 기록 매체에 격납되는 프로그램을 기술하는 스텝은, 기재된 순서에 따라서 시계열적으로 실시되는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 혹은 개별로 실행되는 처리도 포함하는 것이다.

또, 본 발명의 실시의 형태는, 상술한 실시의 형태로 한정되는 것이 아니고, 본 발명의 요지를 일탈하지 않는 범위에 있어서 여러 가지의 변경이 가능하다.

Claims

전조(轉調)가 있는 악곡 파형을 비트마다 단락지은 제 1의 구간에 있어서의, 상기 비트에 관계하는 제 1의 특징량을 추출하는 제 1의 추출수단과,

추출된 상기 제 1의 특징량의 주파수 성분으로부터 위상성분을 제거하는 제거수단과,

위상성분이 제거된 상기 제 1의 특징량에 근거하여, 어느 제 1의 구간과 다른 제 1의 구간과의 상관을 나타내는 자기상관정보를 생성하는 생성수단을 갖추는 것을 특징으로 하는 정보처리장치.
제 1항에 있어서,

상기 자기상관정보에 근거하여, 상기 비트를, 복수의 상관성이 높은 비트가 반복되어 있는 제 2의 구간마다 분할하는 분할수단과,

분할된 상기 제 2의 구간에 있어서의, 상기 악곡의 음악적인 특징을 나타내는 제 2의 특징량을 추출하는 제 2의 추출수단과,

상기 제 2의 특징량에 근거하여, 분할된 상기 제 2의 구간에 있어서의 상기 악곡의 곡구성을 식별하는 식별수단을 갖추는 것을 특징으로 하는 정보처리장치.
제 1항에 있어서,

상기 제거수단은, 이산(離散) 푸리에(Fourier)변환에 의해, 상기 제 1의 특 징량의 주파수 성분으로부터 위상성분을 제거하는 것을 특징으로 하는 정보처리장치.
제 2항에 있어서,

상기 식별수단은, 상기 곡구성으로서, 적음부(寂音部)인 구간을 식별하는 것을 특징으로 하는 정보처리장치.
제 1항에 있어서,

상기 제 1의 특징량은, 상기 제 1의 구간에 있어서의, 소정의 옥타브분의 각 음의 에너지인 것을 특징으로 하는 정보처리장치.
제 2항에 있어서,

상기 제 2의 특징량은, 상기 제 2의 구간에 있어서의, 음량, 음원에 관한 정보, 또는 어떤 주파수대의 이득인 것을 특징으로 하는 정보처리장치.
제 6항에 있어서,

상기 제 2의 특징량은, 상기 제 2의 구간의 길이, 상기 제 2의 구간이 출현한 회수, 또는 상기 제 2의 구간이 연속하여 반복된 회수인 것을 특징으로 하는 정보처리장치.
제 4항에 있어서,

상기 생성수단은, 위상성분이 제거된 상기 제 1의 특징량에 근거하여, 소정의 비트마다, 어느 제 1의 구간과의 상관(相關)을 산출함으로써, 상기 자기상관정보를 생성하는 것을 특징으로 하는 정보처리장치.
제 1항에 있어서,

상기 제거수단은, 셔풀(shuffle) 된 상기 제 1의 특징량의 주파수 성분으로부터 위상성분을 제거하는 것을 특징으로 하는 정보처리장치.
제 5항에 있어서,

상기 제거수단은, 상기 각 음의 에너지를 시프트 시키고 나서, 상기 제 1의 특징량의 주파수 성분으로부터 위상성분을 제거하는 것을 특징으로 하는 정보처리장치.
전조가 있는 악곡 파형을 비트마다 단락지은 구간에 있어서의, 상기 비트에 관계하는 특징량을 추출하는 추출 스텝과,

추출된 상기 특징량의 주파수 성분으로부터 위상성분을 제거하는 제거 스텝과,

위상성분이 제거된 상기 특징량에 근거하여, 어느 구간과 다른 구간과의 상관을 나타내는 자기상관정보를 생성하는 생성 스텝을 포함하는 것을 특징으로 하는 정보처리방법.
전조가 있는 악곡 파형을 비트마다 단락지은 구간에 있어서의, 상기 비트에 관계하는 특징량을 추출하는 추출 스텝과,

추출된 상기 특징량의 주파수 성분으로부터 위상성분을 제거하는 제거 스텝과,

위상성분이 제거된 상기 특징량에 근거하여, 어느 구간과 다른 구간과의 상관을 나타내는 자기상관정보를 생성하는 생성 스텝을 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램.