KR20080074975A

KR20080074975A - 음악 편집 장치, 음악 편집 정보의 작성 방법, 및 음악편집 정보가 기록된 기록 매체

Info

Publication number: KR20080074975A
Application number: KR1020087013804A
Authority: KR
Inventors: 아키히로 고모리; 고세이 야마시타; 야스시 미야지마; 모토유키 다카이; 노리카즈 히라키; 유이치 아베
Original assignee: 소니 가부시끼 가이샤
Priority date: 2005-12-09
Filing date: 2006-12-07
Publication date: 2008-08-13
Also published as: US7678983B2; EP1959427A1; JPWO2007066813A1; EP1959427A4; CN101322179B; US20090044689A1; WO2007066813A1; CN101322179A

Abstract

다수의 악곡의 전체 또는 부분을 비트(beat)를 정렬하여 중첩하거나, 연결하는 편집을 실현할 수 있는 음악 편집 장치를 제공한다. 악곡 데이터에 대응하여 미리 생성된, 적어도 시간 축 상의 비트 위치를 포함하는 메타 데이터와, 리믹스 패턴을 결정하는 파일에 기초하여 리믹스 처리를 행하는 리믹스 처리부와, 마스터 비트를 생성하고 이 마스터 비트를 상기 리믹스 처리부에 보내는 것과 동시에, 상기 리믹스 처리부가 리믹스 패턴과 메타 데이터에 따라서 지시한 리믹스 처리에 따라 복수의 악곡을 재생하는 동기 재생 제어부와, 동기 재생 제어부에 의해 재생된 악곡을 혼합하는 혼합부를 포함하고, 리믹스 처리부는 계층화되고, 또한 각 계층에 제어 파라미터부와 데이터 엔티티를 가지는 데이터 구조의 리믹스 패턴 파일에 기초하여 리믹스 처리를 행한다.

Description

음악 편집 장치, 음악 편집 정보의 작성 방법, 및 음악 편집 정보가 기록된 기록 매체{MUSIC EDIT DEVICE, MUSIC EDIT INFORMATION CREATING METHOD, AND RECORDING MEDIUM WHERE MUSIC EDIT INFORMATION IS RECORDED}

본 발명은, 예를 들면, 악곡을 악곡 파트, 소절 등으로 세분화하고, 이들을 편집할 때, 곡과 곡을 연결하는 방법을 지정하기 위한 음악 편집 정보의 작성 방법에 관한 것이며, 특히 상기 작성 방법에 따른 편집 정보에 따라 음악 컨텐츠 등을 소재로서 사용하여 편집하여 새로운 악곡(음악 컨텐츠)을 생성하는 음악 편집 장치에 관한 것이다. 또, 상기 음악 편집 정보의 작성 방법에 따라 기술된 편집 정보를 기록하는 기록 매체에 관한 것이다.

메모리 형 오디오의 보급과 함께 사용자는 대량의 악곡을 가지고 다니는 것이 일상적으로 되었다. 대량의 악곡을 미디어의 교환 없이 연속하여 들을 수 있는 메모리 형 오디오에 있어서는, 원래의 CD 앨범 단위로 듣는 것만이 아니고, 모든 CD 앨범에서 악곡을 건너뛰어 셔플해서 듣거나, 자신의 마음에 든 곡만을 플레이 리스트로서 재구성해서 듣는 스타일이 퍼지고 있다. 미리 앨범에 녹음되어 있는 순번을 지키지 않고, 사용자가 스스로 듣고 싶은 곡을 듣고 싶은 순서로 듣는 자유가 퍼졌다고도 말할 수 있다.

그러나 1곡1곡에 대하여는 처음부터 끝까지 듣는 것이 전제로 되어 있고, 또 곡과 곡 사이에는 무음 부분이 발생해버린다. 즉, 곡은 1곡이라는 단위가 최소로 되어 있으므로, 그 1곡으로 완결하여 듣는 방법밖에 없다. 그러므로 거기에 집중, 이른바 열중이 중단되어 버리므로, 긴장을 유지한 채 악곡을 계속 듣는 것이 어렵다.

도 28에는 악곡 A와 악곡 B를 사용한 종래의 음악 재생을 나타낸다. 2개의 악곡은 각각 악곡이 가지는 원래의 템포로 재생된다. 물론, 곡 사이에는 무음 부분이 발생해버린다.

그래서 복수의 음악 소재(music material)를 조합시켜 편집하는 기술이 고려되고 있다. 일본 특개 2003-44046호 공보에는, 키보드나 마우스를 통한 사용자 입력에 따라 복수의 음 소재를 조합시켜 악곡을 대화적으로 편집하거나 재생하여 즐기는 기술이 개시되어 있다. 키보드의 각 키에 대하여, 사운드 패턴이나 원-샷(one-shot) 등의 음편(sound piece)이나, 이들 음편에 적용하는 효과 등으로 이루어지는 팁(tip)이 할당되어 있다. 사용자가 키를 누르는 것에 의해, 이 눌려진 키에 대응하는 팁이 실행된다. 복수의 키를 동시에 푸시 조작함으로써, 해당하는 팁을 합성 출력한다. 또, 각 키를 차례로 눌러서 팁을 시계열적으로 조합시켜 악곡을 구성한다.

그러나 상기 일본 특개 2003-44046호 공보의 기술에 의해서도, 예를 들면, 디스크자키(DJ)가 행하는 리믹스와 같이 곡의 일부분을 다른 곡으로 이어 복수의 곡으로부터 마치 1개의 곡을, 비트를 정렬하여 연결하도록 재구성한다는 것은 곤란 하였다. DJ는 현재는 일반적인 직업이며, 리믹스 음악도 그 전용의 라벨 회사가 있어 그것을 즐기고 있는 사용자층도 규모가 커지고 있다.

본 발명은, 상기 문제점을 감안하여 이루어진 것이며, 하드 디스크나 플래시 메모리 등의 기억 매체에, 기록되어 있는 다수의 악곡의 전체 또는 부분을 비트를 정렬하여 중첩하여 재생하거나, 이어 재생한다는 편집을 실현할 때 이용할 수 있는 음악 편집 정보의 작성 방법의 제공을 목적으로 한다. 또, 상기 작성 방법에 따른 편집 정보에 따라 음악 컨텐츠 등을 소재로서 사용하여 편집하여 새로운 악곡(음악 컨텐츠)을 생성하는 음악 편집 장치의 제공을 목적으로 한다. 또, 상기 음악 편집 정보의 작성 방법에 따라 기술된 편집 정보를 기록하는 기록 매체의 제공을 목적으로 한다.

본 발명에 관한 음악 편집 장치는, 상기 과제를 해결하기 위하여, 악곡 데이터에 대응하여 미리 생성된, 적어도 시간 축 상의 비트 위치를 포함하는 메타 데이터와, 리믹스 패턴을 결정하는 파일에 기초하여 리믹스 처리를 행하는 리믹스 처리부와, 마스터 비트를 생성하고 이 마스터 비트를 상기 리믹스 처리부에 보내는 것과 동시에, 상기 리믹스 처리부가 리믹스 패턴과 메타 데이터에 따라서 지시한 리믹스 처리에 따라 복수의 악곡을 재생하는 동기 재생 제어부와, 상기 동기 재생 제어부에 의해 재생된 악곡을 혼합하는 혼합부를 포함하고, 상기 리믹스 처리부는 계층화되고, 또한 각 계층에 제어 파라미터부와 데이터 엔티티를 가지는 데이터 구조의 리믹스 패턴 파일에 기초하여 리믹스 처리를 행한다.

본 발명에 관한 편집 정보의 작성 방법은, 상기 과제를 해결하기 위하여, 악곡 데이터에 대응하여 미리 생성된, 적어도 시간 축 상의 비트 위치를 포함하는 메타 데이터와, 리믹스 패턴을 결정하는 파일에 기초하여 리믹스 처리를 행하는 리믹스 처리부와, 마스터 비트를 생성하고 이 마스터 비트를 상기 리믹스 처리부에 보내는 것과 동시에, 상기 리믹스 처리부가 리믹스 패턴과 메타 데이터에 따라서 지시한 리믹스 처리에 따라 복수의 악곡을 재생하는 동기 재생 제어부와, 상기 동기 재생 제어부에 의해 재생된 악곡을 혼합하는 혼합부를 포함하여 이루어지는 음악 편집 장치에 의해, 상기 리믹스 패턴으로서 참조되는 편집 정보의 작성 방법으로서, 계층화되고, 또한 각 계층에 제어 파라미터부와 데이터 엔티티를 가지는 데이터 구조의 리믹스 패턴 파일을, 상위층의 데이터부를 구성하고 있는 하위층의 제어 파라미터부에 의해 동 계층의 데이터 엔티티를 처리함으로써 작성한다.

본 발명에 관한 편집 정보를 기록한 기록 매체는, 상기 과제를 해결하기 위하여, 악곡 데이터에 대응하여 미리 생성된, 적어도 시간 축 상의 비트 위치를 포함하는 메타 데이터와, 리믹스 패턴을 결정하는 파일에 기초하여 리믹스 처리를 행하는 리믹스 처리부와, 마스터 비트를 생성하고 이 마스터 비트를 상기 리믹스 처리부에 보내는 것과 동시에, 상기 리믹스 처리부가 리믹스 패턴과 메타 데이터에 따라서 지시한 리믹스 처리에 따라 복수의 악곡을 재생하는 동기 재생 제어부와, 상기 동기 재생 제어부에 의해 재생된 악곡을 혼합하는 혼합부를 포함하여 이루어지는 음악 편집 장치에 의해, 상기 리믹스 패턴으로서 참조되는 편집 정보를 기록한 기록 매체로서, 계층화되고, 또한 각 계층에 제어 파라미터부와 데이터 엔티티를 가지는 데이터 구조의 리믹스 패턴 파일을, 상위층의 데이터부를 구성하고 있는 하위층의 제어 파라미터부에 의해 동 계층의 데이터 엔티티를 처리함으로써 작성된 편집 정보를 기록하고 있다.

본 발명에 의하면, 하드 디스크나 플래시 메모리 등의 기억 매체에, 기록되어 있는 다수의 악곡의 전체 또는 부분을 비트를 정렬하여 중첩하여 재생하거나, 이어 재생한다는 편집을 실현할 수 있다. 또, 악곡의 전체 또는 일부를 리얼 타임으로 그 장소 그 장소에서 이어 재생할 수 있다.

도 1은 본 발명에 의한 장치, 방법의 일실시예가 적용되는 음악 편집 장치(1)의 블록도이다.

도 2는 동기 재생 제어부와 음성 믹싱부의 상세한 구성을 나타낸 블록도이다.

도 3은 음악 편집 장치의 기능 블록도이다.

도 4는 음악 편집 장치가 CPU에 의해 실행하는 음악 편집 프로그램의 처리 스텝을 나타내는 플로차트이다.

도 5는 시간 축 상의 메타 데이터를 나타낸 도면이다.

도 6은 시간 축 메타 데이터의 구체예를 나타낸 도면이다.

도 7은 시간 축 메타 데이터의 다른 구체예를 나타낸 도면이다.

도 8a, 도 8b 및 도 8c는 메타 데이터의 저장 방법을 나타낸 도면이다.

도 9는 리믹스 패턴 파일의 구체예를 나타낸 도면이다.

도 10은 본 발명의 편집 정보의 작성 방법에 의해 작성된 편집 정보의 데이터 구조를 나타낸 도면이다.

도 11은 XML에 의해 기술된 리믹스 패턴 파일의 기술예를 나타낸 도면이다.

도 12는 노래 리스트 층, 노래 층, 멜로디 블록 층 이외에, 앙상블 층, 인스트루먼트 층까지의 계층화를 나타내고 있는 도면이다.

도 13은 본 발명의 편집 정보의 작성 방법에 의해 작성된 편집 정보, 구체적으로는 리믹스 패턴 파일에 근거한 음악 편집 장치의 제어예를 나타낸 도면이다.

도 14는 본 발명의 편집 정보의 작성 방법을 직감적으로 실현하기 위한 오소링 툴(authoring tool)의 GUI 구성예를 나타낸 도면이다,

도 15는 본 발명에 의한 음악 재생을 설명하기 위한 도면이다.

도 16은 크로스 페이드에 의한 연결을 설명하기 위한 도면이다.

도 17은 컷 인에 의한 연결을 설명하기 위한 도면이다.

도 18은 효과음을 사용한 연결을 설명하기 위한 도면이다.

도 19는 효과음을 사용한 크로스 페이드에 의한 연결을 설명하기 위한 도면이다.

도 20은 동시 동기 재생을 설명하기 위한 도면이다.

도 21은 효과의 적용을 설명하기 위한 도면이다.

도 22는 부분 재생을 설명하기 위한 도면이다.

도 23은 네트워크 통신부를 가지는 음악 편집 장치의 구성도이다.

도 24는 네트워크 통신부를 가지는 음악 편집 장치의 기능 블록도이다.

도 25는 센서값 취득부를 가지는 음악 편집 장치의 구성도이다.

도 26은 센서값 취득부를 가지는 음악 편집 장치의 기능 블록도이다.

도 27a 및 도 27b는 센서값 취득부를 가지는 음악 편집 장치의 처리 스텝을 나타내는 플로차트이다.

도 28은 종래의 음악 재생을 설명하기 위한 도면이다.

* 도면부호의 설명

1 음악 편집 장치

2 CPU

4 기억부

5 악곡용 기억부

6 악곡 메타 데이터용 기억부

7 리믹스 패턴용 기억부

8 동기 재생부

9 동기 재생 제어부

10 음성 믹싱부

20 리믹스 처리부

21 메타 데이터 처리부

22 리믹스 패턴 판독부

90 마스터 비트 생성부

93a, 93b, 93c 음성 신호 생성부

S1 리믹스 패턴 파일을 취득한다

S2 다음의 악곡을 취득한다

S3 다음의 악곡이 있는가?

S4 마스터 비트 템포를 결정한다

S5 연결 방법 패턴을 취득한다

S6 악곡의 데이터를 취득한다

S7 효과 처리가 필요한가?

S8 효과 처리부를 유효로 한다

S9 음량 효과 처리가 필요한가?

S10 페이드 파라미터를 설정한다

S11 동기 재생 제어부에 악곡의 원래 템포를 세트한다

S12 비어 있는 음성 신호 생성부를 취득한다

S13 동기 재생 제어부에 악곡을 세트한다

S14 각 악곡의 현재의 재생 위치를 취득한다

S15 다음의 악곡을 준비하는 포인트에 도달하였는가?

S40 노래 리스트 선택

S41 연결 방법ㆍ노래 선택

S42 멜로디 블록 선택

S43 앙상블 선택

S44 인스트루먼트 선택

S45 노래 종료 조건 선택

S311 센서 우선 모드인지 패턴 우선 모드인지를 결정한다

S312 센서 우선 모드인가?

S313 센서의 입력으로부터 악곡과 템포를 결정한다

S314 다음의 악곡이 있는가?

S315 마스터 비트 템포를 설정한다

S316 연결 방법 패턴을 자동적으로 결정

S317 악곡의 메타 데이터를 취득

S318 효과 처리가 필요한가?

S319 효과 처리부를 유효하게 한다

S320 음량 페이드 처리가 필요한가?

S321 페이드 파라미터를 설정한다

S322 동기 재생 제어부에 악곡의 원래 템포를 세트한다

S323 비어 있는 음성 신호 생성부를 취득한다

S324 동시 재생 제어부에 악곡을 세트한다

S325 각 악곡의 현재의 재생 위치를 취득

S326 다음의 악곡을 준비하는 포인트에 도달하였는가?

S327 센서 우선 모드인가?

S328 리믹스 패턴 파일을 취득

S329 다음의 악곡의 취득

S330 다음의 악곡이 있는가?

S331 마스터 비트 템포를 결정한다

S332 연결 방법 패턴을 취득

이하, 본 발명을 실시하기 위한 바람직한 실시예에 대하여 도면을 참조하면서 설명한다. 도 1은 본 발명에 의한 장치, 방법의 일실시예가 적용되는 음악 편집 장치(1)의 블록도이다.

이 음악 편집 장치(1)는, 하드 디스크(HD), 컴팩트 디스크(CD), 미니 디스크(MD), 디지털 버서타일 디스크(DVD) 등의 각종의 기록 매체나 인터넷 등의 네트워크를 통해 제공되는 악곡의 음악 컨텐츠 데이터(원래 데이터)에 대하여, 후술하는 메타 데이터를 사용하여, 예를 들면, 본래 템포가 상이한 악곡 A와 악곡 B를 비트를 정렬하여 중첩하여 재생할 수 있다. 즉, 자동적으로 DJ 재생을 행하는 장치이다.

도 1에 나타낸 바와 같이, 이 음악 편집 장치(1)는, 중앙연산처리장치(CPU)(2)에 버스(3)를 통하여 기억부(4), 동기 재생부(8)를 접속하고 있다. 또, CPU(2)에 버스(3)를 통하여 ROM(13), RAM(14), 사용자 조작 I/F부(15) 및 사용자 인터페이스(U/I) 표시부(16)가 접속되어 있다.

CPU(2)는 리얼 타임으로 악곡의 연결 방법을 결정하고, 동기 재생부(8)에 대하여 필요한 악곡 소재를 필요한 타이밍에서 부여한다. 또, 사용자의 조작에 따라 동기 재생부(8)에 대하여, 템포의 지시나 비트 동기/비동기의 지시를 행한다.

기억부(4)는, 악곡용 기억부(5), 악곡 메타 데이터용 기억부(6) 및 리믹스 패턴용 기억부(7)로 이루어진다. 악곡용 기억부(5)는, 복수의 악곡 데이터를 유지하는 기억부이다. 보류용의 음악 재생 장치나, 휴대용의 음악 재생 장치가 가지고 있는 것과 같은 플래시 메모리나 하드 디스크 등의 기억부를 외부 접속해도 된다. 그리고 악곡용 기억부(5)에 기억되는 악곡 데이터는 압축된 것이어도 비압축의 것이어도 상관없다.

악곡 메타 데이터용 기억부(6)는, 악곡에 부가되어 있는, 시간 축 상의 메타 데이터를 기억하고 있다. 자세한 것은 후술하지만, 메타 데이터는 악곡에 부가된 시간 축 상의 보조 데이터이며, 템포뿐 아니라 비트의 위치 정보, 소절의 선두(단지 헤드라고 함) 위치 정보, 전주(introduction)나 테마(캐치부(catchy part)) 등의 멜로디 정보가 기술되어 있다.

리믹스 패턴용 기억부(7)는, 악곡용 기억부(5)와 마찬가지로 기억 장치이면 특히 제한을 둘 필요는 없다. 리믹스 패턴 지정 방법을 지시하고 리믹스 패턴 파일을 유지하는 기억부이다. 리믹스 패턴 파일에 대하여는, 상세를 후술하지만, 곡의 순서가 써 있을 뿐만 아니라, 곡의 순서＋어떤 식으로 조합시킬 것인지, 또는 악곡 A와 악곡 B의 어디를 사용하여 어디에 조합시킬 것인지와 같은 것이 써 있는 파일이다.

동기 재생부(8)는, 음악 편집 장치(1)가 자동적으로 DJ 재생을 행하기 위한 신호 처리 블록이며, CPU(2)의 리믹스 제어 기능에 의해 지시된 악곡 소재를 기준 비트에 동기하여 재생한다. 동기 재생 제어부(9), 음성 믹싱부(10), 디지털/아날 로그 변환부(D/A)(11) 및 음성 출력부(12)로 이루어진다.

동기 재생 제어부(9)는, 복수의 음성 신호 생성부를 가지고, 복수의 음성 신호를, 자신 중에서 생성된 클록 신호에 동기하여 재생한다. 또, 메타 데이터용 기억 장치(6)로부터의 메타 데이터에 따라 현재 재생되어 있는 악곡의 위치를 항상 감시하고, CPU(2)의 리믹스 처리 기능부에, 현재의 재생 위치(악곡의 재생을 하고 있는 샘플수 등의 위치)나, 몇 번째 소절의 몇 번째 박자를 재생하고 있는지를 나타내는 위치를 전송한다.

음성 믹싱부(10)는, 동기 재생 제어부(9) 내의 복수의 음성 신호 생성부에서 생성된 복수의 음성 신호를 합성하여 출력한다. D/A(11)는 음성 믹싱부(10)에서 재생된 디지털 신호를 아날로그 신호로 변환한다. 음성 출력부(12)는, D/A(11)로부터의 아날로그 음성 신호를 증폭하고, 스피커나 헤드폰 등에 출력한다.

ROM(13)은, 본 발명의 음악 편집 방법에 따른 처리 스텝으로 이루어지는 음악 편집 프로그램을 저장하고 있다. 또, 디폴트의 각종 데이터를 저장하고 있다. RAM(14)은, CPU(2)가 상기 음악 편집 프로그램을 실행할 때의 작업 영역이 된다. 또, 상기 음악 편집 프로그램을 실행할 때의 각종 갱신 데이터를 기억한다.

사용자 조작 I/F부(15)는 사용자에 의한 조작을 받아들이는, 예를 들면, 키보드나, 마우스, 터치 패드 등이다. U/I 표시부(16)는, 현재의 조작 상황, 음악 편집 처리 상황, 또는 사용자에 의한 조작을 가능하게 하는 터치 패널을 포함한 표시부이며, 예를 들면, 액정 표시 장치이다. 물론, CRT일 수 있다.

도 2는 동기 재생 제어부(9)와 음성 믹싱부(10)의 상세한 구성을 나타낸 블 록도이다. 동기 재생 제어부(9)는, 마스터 비트 생성부(90)와, 3 계통의 음성 신호 생성부로 이루어진다. 마스터 비트 생성부(90)는, 비트에 상당하는 클록을 생성한다. 상세하게는, 리믹스 시의 템포와 그 템포에 동기한 비트 신호를 출력한다. 마스터 비트 생성부(90)는 지정된 박자(4/4 박자나 3/4 박자 등)에 맞추어, 소절의 헤드 신호와 그 이외의 통상의 비트 신호를 생성하고, 출력한다.

3 계통(트랙)의 음성 신호 생성부는, 리얼 타임으로 복수의 스테레오의 음을 낼 수 있도록 하기 위하여, 전형적인 예로서, 악곡 A, 악곡 B, 효과음(Sound effect: SE)이라는 뜻으로 3트랙을 갖는 것이다. 물론, 악곡의 구성 수에 따라 4트랙, 5트랙 또는 그 이상의 트랙 수이어도 상관없다. 이 음성 신호 생성부는, 마스터 비트 생성부(90)가 생성한 동기 신호(클록, 또는 비트)를 기초로 악곡의 소절/비트 위치를 마스터 비트의 소절/비트 위치에 맞추어 동기 재생을 행한다.

각 트랙에는, 각각, 디코더(Decoder)(91a, 91b 및 91c)와, 타임 스트레치부(Time Stretch)(92a, 92b 및 92c)가 포함되어 있다. 디코더(91a, 91b 및 91c)는, MP3나 ATRAC 등의 압축 음성을 디코드하고, PCM 데이터로서 출력한다. 여기서, SE는 길이가 짧고, 데이터 사이즈도 작으므로 반드시 압축할 필요는 없다. 그러므로 이 SE 트랙의 디코더는 생략해도 된다. 타임 스트레치부(92a, 92b 및 92c)는, 음 높이(pitch)를 일정하게 유지한 채로 재생 속도를 변환한다. 메타 데이터용 기억부(6)로부터의 메타 데이터에 따라 상이한 템포를 가지는 악곡 소재를 기준 비트의 템포에 맞춘다. 악곡의 원래 템포와 마스터 비트와의 비율을 감안하여, 재생 속도를 리얼 타임으로 변화시키는 처리를 행한다. 이로써, 악곡의 원래 템포를 마스터 비트의 템포에 맞출 수가 있다. 물론, 전술한 바와 같이 음 높이를 바꿀 것은 없다.

그리고 이들 음성 신호 생성부에는, 피치 시프트(Pitch Shifter) 기능을 탑재해도 된다. 피치 시프트 기능은, 재생 속도를 일정하게 유지한 채로 음 높이를 변경한다. 이것은 상이한 키나 음 높이를 가지는 악곡 소재를 음악적으로 조화시키는데 이용되지만, 반드시 필요한 기능은 아니고 부가적인 기능이다.

음성 믹싱부(10)는, 상기 3트랙의 음성 신호 생성부에 대응하여, 3 계통의 효과 처리부(100a, 100b 및 100c)와 음량 조정부(101a, 101b 및 101c)를 포함한다. 이들 3 계통의 출력은 음성 믹스부(102)에 의해 믹스되고 나서 음성 출력부(103)에 의해 증폭되어 외부의 스피커, 헤드폰에 출력된다. 음성 신호 생성부의 각 트랙으로부터의 출력 음성 신호에 대하여 각각 효과 처리와, 음량 조정 처리를 할 수 있는 구성으로 되어 있다.

도 3은 음악 편집 장치(1)의 기능 블록도이다. 도 1에 하드웨어 구성으로서 나타낸 CPU(2)의 기능이, 리믹스 처리부(20)로서 도시되어 있다. 리믹스 처리부(20)는, 또한 메타 데이터 처리부(21)와 리믹스 패턴 판독부(22)로 나누어져 있다.

리믹스 처리부(20)는, 메타 데이터용 기억부(6)에 저장된 메타 데이터를 메타 데이터 처리부(21)에 의해 처리한다. 전술한 바와 같이, 악곡에는 시간 축 상의 메타 데이터가 부가되어 있고, 템포뿐 아니라 비트의 위치 정보, 소절의 헤드 위치 정보, 전주가나 캐치부 등의 멜로디 정보를 유지하고 있다.

메타 데이터 처리부(21)는, 악곡에 대응한 시간 축 상의 메타 데이터를 입력하고, 리믹스 패턴 판독부(22)에서 읽어들인 리믹스 패턴 정보의 지시에 따라 상기 악곡의 위치 정보를 조사한다. 예를 들면, 지금, 어디의 비트에 자신이 있는가, 지금 조합하고자 하는 악곡의 비트는 어디에 있는가 하는 것을 파악하면서, 복수의 악곡이나 효과음을, 어느 시점에서, 어떤 식으로 재생할지를 결정하고 있다.

또, 리믹스 처리부(20)는, 리믹스 패턴용 기억부(7)에 저장된 리믹스 패턴 파일(7a)을 리믹스 패턴 판독부(22)에서 읽어들인다. 리믹스 패턴 파일(7a)은, 페이드 아웃 할 것인지, 컷 인할 것인지, SE는 무엇을 실행할 지와 같은 것을 지정한 파일이다. 리믹스 패턴은, 사용자 또는 제삼자의 손에 의해 인위적으로 지시된 데이터열(이 곡의 후에는 어떤 식으로 연결하라거나)이어도 좋고, 자동 생성 알고리즘에 의해 만들어진 것이어도 좋다(즉, 기계 측이 결정하는 것과 같은 리믹스 같은 것).

동기 재생 제어부(9)는, 마스터 비트 생성부(90)에 의해 마스터 비트를 생성하고, 이 마스터 비트를 리믹스 처리부(20)에 보내는 동시에, 리믹스 처리부(20)가 리믹스 패턴과 메타 데이터에 따라서 지시한 리믹스 처리에 따라 메타 데이터용 기억부(6)로부터의 각 메타 데이터를 사용하여 복수의 악곡을 재생한다.

도 4는 음악 편집 장치(1)가 CPU(2)에 의해 실행하는 음악 편집 프로그램의 처리 스텝이다. 이 음악 편집 프로그램은 본 발명의 음악 편집 방법의 구체예이다.

먼저, CPU(2)의 리믹스 처리부(20)는 리믹스 패턴용 기억부(7)로부터의 리믹 스 패턴 파일(7a)을 리믹스 패턴 판독부(22)에서 읽어들여 취득한다(스텝 S1). 다음에, 악곡, 예를 들면 1곡째를 동기 재생 제어부(9)에 취득시킨다(스텝 S2). 또한, 다음의 곡이 있으면(스텝 S3에 의해 YES), 동기 재생 제어부(9)의 마스터 비트 생성부(90)의 템포를 결정한다(스텝 S4). 템포는, 140으로 고정될 수 있고, 사용자가 템포를 지정할 수도 있다. 다음에, 연결 방법 패턴(이것도 패턴 파일에 써 있다)을 취득한다(스텝 S5).

이것으로, 곡으로 연결 방법의 패턴이 정해졌으므로, 악곡의 메타 데이터를 취득한다(스텝 S6). 악곡 A이면 악곡 A의 메타 데이터이다. 다음에, 효과 처리가 필요한지 여부를 리믹스 패턴 파일로부터 판단하고(스텝 S7), 필요하면(YES), 효과 처리부(100)에 의해, 그러한 효과에 걸리도록 유효하게 한다(스텝 S8).

다음에, 음량 페이드 처리가 필요한지 여부를 리믹스 패턴 파일로부터 판단한다(스텝 S9). 예를 들면, 악곡 A와 악곡 B를 중첩하도록 편집할 때 음량을 올리거나 내리거나 하는 음량 페이드(sound volume fade)가 필요한지를 선택한다. 만약 필요가 있다면(YES), 페이드 파라미터를 설정한다(스텝 S10). 음량을 자동적으로 올리거나 내리는 것을 가정하였지만, CPU(2)는 파라미터를 설정하여 둔다.

다음에, 동기 재생 제어부(9)의 마스터 비트 생성부(90)에 대하여, 악곡의 원래의 템포를 세팅한다(스텝 S11). 악곡의 원래의 템포는 메타 데이터에 부여되어 있다. 그리고 동기 재생 제어부(9) 내의 비어 있는 음성 신호 생성부를 취득한다. 3ch의 구체예를 전술하였으나, 비어 있어 있는 것을 취득하여 재생하려는 악곡을 세팅한다(스텝 S13).

그리고 각 악곡의 현재의 재생 위치를 취득하고 나서(스텝 S14), 다음의 악곡을 준비하는 포인트에 도달했는지를 판단한다(스텝 S15). 예를 들면, SE가 크로스 페이드(cross-fade)이면, 크로스 페이드가 끝나는 것은 그 소절의 몇 소절 전이거나, SE가 컷 인이면, 바로 시작되므로 1소절 전부터 준비해도 충분하다. 물론, 동시 재생은 모두 동시에 재생이다. 그러한 포인트에 도달했는지를 보고, 만약 악곡을 준비하는 포인트에 도달해 있지 않으면, 스텝 S14로 돌아와서, 도달할 때까지 기다리고 있는다. 만약, 다음의 악곡을 준비하는 포인트에 도달해 있으면(YES), 스텝 S2로 돌아온다.

도 5는 시간 축 상의 메타 데이터(30)를 나타낸 도면이다. 메타 데이터(30)는, 전술한 바와 같이, 악곡에 부가된 시간 축 상의 보조 데이터이며, 템포뿐 아니라 비트의 위치 정보, 소절의 헤드 위치 정보, 전주가나 캐치부 등의 멜로디 정보가 기술되어 있다. 소절/박자(31)는 1소절의 몇 번째 박자인지를 나타내고 있다. 「11」은 첫 번째 소절의 첫 박자를 나타낸다. 「14」는 첫 번째 소절의 4번째 박자를 나타낸다. 마찬가지로, 「21」은 두 번째 소절의 첫 박자를 나타낸다. 특히, 「11」, 「21」은 각 소절의 선두의 박자를 나타내게 된다. 속성(32)은 그 위치에 무엇이 있는지를 나타내고 있다. 소절의 헤드, 보통 박자, 멜로디, 테마(캐치부) 등의 위치를 나타낸다. 「01800001」은 소절의 선두인 것을 「11」, 「21」의 속성으로서 나타내고 있다. 샘플 위치는, 예를 들면, 악곡이 44.1kHz로 샘플링되어 있으면, 1초 사이에 44100 샘플이지만, 그 위치가 샘플 단위로 기술되어 있게 된다. 이 도 5에 나타낸 바와 같은 메타 데이터(30)는 텍스트 형식이나 바이너리 형식으로 기술되어 있다.

도 6은 시간 축 메타 데이터의 구체예이다. 음성 신호(40)와 비트(41, 42)의 시간 축의 메타 데이터를 동시에 표시하고 있다. 음성 신호(40)는 좌측으로부터 우측으로 시간의 경과와 함께 변화되고 있지만, 그와 동시에 비트도 타고 있다. 도 6에 있어서 긴 선(41)이 소절의 헤드, 짧은 선(42)이 통상의 비트를 나타내고 있다. 소절의 선두(41)와 그 이외의 비트(42)(4박자이면 소절 헤드의 후에 4분 음 부의 타이밍에서 3박자) 위치를 악곡의 샘플 위치에 대응시켜 유지하고 있는 것이다.

도 7도 시간 축 메타 데이터의 구체예를 나타낸 도면이다. 음성 신호(50)에, 비트 위치(55)뿐 아니라 악곡의 전주(51)이나, A 멜로디(52) 및 (53), B 멜로디(54), 테마(캐치부)라는 멜로디 구성을 나타낸 위치 정보를 붙이는 것이 가능하다. 이 정보를 이용하여 대상의 악곡의 소절 위치나 특정한 멜로디의 개시 위치를 알 수 있다.

상기 도 1 등에 구성을 나타낸 음악 편집 장치(1)에서는, 메타 데이터는 악곡 메타 데이터용 기억 장치(6)에 저장되어 있었다. 메타 데이터의 저장 방법은, 도 8a, 도 8b 및 도 8c에 나타낸 바와 같이 할 수 있다. 도 8a는 MP3와 같이 메타 데이터(71)와 악곡 데이터(72)가 논리적으로 별개이고 물리적으로 같은 미디어에 존재하는 예이다. 또, 도 8b는 MPEG4와 같이 악곡 데이터(74)에 메타 데이터(73)가 혼재하고 있는 예이다. 또, 도 8c는 예를 들면, 네트워크를 통하여 악곡 데이터(76)에 대응하는 메타 데이터(75)가 검색되는 예이다. 논리적으로도 물리적으로 악곡 데이터와 메타 데이터는 별개이다. 이것은, 후술하는 음악 편집 장치(80 및 110)와 같이, 네트워크 통신부를 포함하고, 인터넷 등의 네트워크에 접속하는 형태 일 때 적용된다. 악곡 ID에 따라 네트워크 상의 사이트로부터 메타 데이터를 다운로드할 수 있다.

도 9는 리믹스 패턴 파일의 구체예를 나타낸 도면이다. 악곡의 메타 데이터는 악곡에 대하여 1대1의 관계에 있지만, 리믹스 패턴 쪽은, 사용자가 자유롭게 만들 수가 있고, 악곡과는 아무 의존관계도 없게 할 수도 있다. 즉, 리믹스 패턴 파일은, 악곡 사이를 어떻게 연결하는가를 나타내는 파일이다. 리믹스의 패턴(60)에 있어서의, 곡ID(파일)(61)의 ID_A~ID_E는, 곡명 A~E와 같아도 된다. 절대적인 파일 이름이나 파일 패스로도 된다. 재생부분(62)은, 각각의 악곡에 대하여 어디를 재생하는지를 나타낸다. 곡A에 대하여는 「캐치부」, B에 대하여는 「전주」, C에 대하여는 「8번째 소절로부터 20번째 소절」까지, D에 대하여는 전체, E에 대하여는 「캐치부」라는 위치를 지정한다. 재생시(효과)(63)는, 각 곡의 각 부분에, 각각 어떤 식의 효과를 적용한 것인지를 지정한다. 연결 방법(패턴)(64)은, 곡A에 대하여 크로스 페이드로 있지만, B와 연결할 때 크로스 페이드로 연결하라는 것을 나타낸다. 또, B로부터 C는 컷 인으로, C로부터 D는 크로스 페이드로, D와 E는 후렴의 부분을 동시 재생으로 연결한다는 것을 나타낸다. 또, 연결 시(효과)(65)는 연결 시에 효과로서 리버브(reverb), 로우 컷(low-cut), 왜곡(distortion)을 적용한 것을 지정한다. 연결 SE(66)는, 효과음을 지정한다.

도 9에 나타낸 패턴을 지시한 경우, 실제의 재생은 다음과 같이 행해진다. 「ID_A의 캐치부가 재생된다. → ID_A의 캐치부의 마지막 부근에서 ID_B전주가 크로스 페이드로 들어온다. → ID_B의 전주 마지막과 동시에 ID_C의 8번째 소절의 재생이 개시된다. → ID_C20소절의 수개의 소절로부터 ID_D가 크로스 페이드로 들어온다. 동시에 SE_A도 믹스된다. → ID_D의 캐치부가 오면 ID_E의 캐치부도 동시에 재생된다.」 라는 상태이다.

이와 같이, 리믹스 패턴은 개념적으로 종래의 플레이 리스트에 대해 곡의 어디를 어떻게 연결하는가 하는 지시를 추가하는 것으로도 말할 수 있다.

도 10은 본 발명의 편집 정보의 작성 방법에 의해 작성된 편집 정보의 데이터 구조를 나타낸 도면이다. 도 9에 나타낸 구체예의 ID_A, ID_B, ID_C의 곡 부분에 대응하고 있다.

도 10에서는, 악곡을 노래 리스트 층(120), 노래 층(130), 멜로디 블록 층(140)과 같이 계층화하고 있다. 악곡을 계층화하여, 계층마다 처리 내용의 입도를 상이하게 한 트리 구조로 하고 있다. 이 트리를 구성하는 각 노드는 음악 편집 장치의 인터페이스로부터의 입력에 따라 악곡의 구성 방법이나 진행 방법을 리얼 타임으로 생성하기 위한 제어 파라미터부와 악곡을 구성하는 음 소재로 하는 데이터 엔티티로 구성된다. 또, 각 노드는 동일 계층에서 같은 시각에 처리 가능한 것과 처리 불가능한 것이 있다.

도 10에서는 악곡 및 악곡과 악곡의 연결 시퀀스를 다음에 나타내는 3층의 레이어로 나누어 구조화해서 관리를 행한다. 노래 리스트 층(120)은, 노래 층의 연결의 시퀀스도 포함한 가장 글로벌한 층이다. 크로스 페이드나 BPM를 정렬하여 동시에 재생하는 등 곡 사이의 효과를 변화시킬 수 있다. 노래 리스트 층의 룰 베이스는 노래 층의 노래 룰을 창작하는 크리에이터가 몇 개의 노래를 모아서 구축하는가(기존의 앨범과 노래의 관계와 유사함), 제삼자(사용자 또는 다른 크리에이터)가 다양한 노래를 다이내믹하게 이용하기 위한 룰을 기술할 수 있다.

노래 층(130)은, 기존의 개념으로 설명하는 1곡에 해당한다. 노래 리스트 층(120)과의 차이는, 통상 1개의 노래는 동일한 크리에이터에 의해 창작되어 적어도 하나의 노래로 곡으로서는 완결되어 있는 곳이다. 이와 같이 생각하면 노래 리스트 층(120)은 복수의 노래를 이어 가기 위한 상위의 층이다. 따라서, 예를 들면, 「ID_A」 등과 같이 기존의 곡을 별도인 어레인지로 하기 위한 한 묶음의 데이터와 액션으로 구성되어 있다.

멜로디 블록 층(140)은, 상위의 노래 층(130)을 구성하기 위한 악곡 블록 군으로 구성된다. 예를 들면, 통상의 악곡은 「전주」「A 멜로디」「캐치부」「기타 솔로」 등으로 칭하는 의미적인 구조를 가지고 있다. 본 시스템에서도 곡을 이와 같은 구조로 분해해서 유지함으로써, 예를 들면, 전주만을 별도의 것으로 바꾸어 넣거나 캐치부를 몇 번이라도 반복하도록 하는 것과 같이 악곡을 매크로적으로 편곡할 수 있다.

노래 리스트 층(120)에는, 제어 파라미터부(121)가 있다. 이 제어 파라미터부(121)는, 리믹스 예를 나타내는 오브젝트인 리믹스 데이터부(122)를 제어하기 위한 파라미터를 규정하고 있다. 노래 층(130)에는 후술하는 바와 같이 ID_A132, ID_B134, ID_C136의 악곡 데이터 엔티티(오브젝트)가 기술된다. 이들 ID_A132, ID_B134, ID_C136를 사용한 리믹스의 엔티티가 리믹스 데이터부(122)에 기술되어 있다. 그리고 리믹스 데이터부(122)를 제어하기 위한 제어 파라미터가 제어 파라미터부(121)에 기술되어 있다.

제어 파라미터부(121)에는, 재생 순서가 ID_A→ID_B→ID_C와 같이 기술되어 있다. 상기 도 9면에 나타낸 예의 도중까지의 순서와 같다. 연결 방법 패턴은, ID_A→ID_B에는, 크로스 페이드 패턴을 지정하고 있다. 또, ID_B→ID_C는, 컷 인 패턴을 지정하고 있다. 또, 연결 시 효과는 ID_A→ID_B에는, 리버브를 지정하고 있다. 또, ID_B→ID_C는 로우 컷을 지정하고 있다. 또, 연결 SE는 ID_A→ID_B, ID_B→ID_C 모두 없음으로 되어 있다.

노래 층(130)에는, 제어 파라미터부(131, 133 및 135)가 기술되어 있다. 이들 제어 파라미터부(131, 133 및 135)는, 노래 리스트 층의 리믹스 데이터부(122)로 성립되어 있다. 그리고 제어 파라미터부(131, 133 및 135)는, 각 ID_A132, ID_B134, ID_C136라는 오브젝트인 엔티티를 제어하기 위한 제어 파라미터를 규정하고 있다.

제어 파라미터부(131)는, ID_A132의 곡의 재생부분을 테마(캐치부)로 하고 있다. 재생시 효과는 지정하고 있지 않다. 또, 제어 파라미터부(133)는, ID_B134의 곡의 재생부분을 전주으로 하고 있다. 재생시 효과는 로우 컷을 지정하고 있다. 제어 파라미터부(135)는 ID_C136의 곡의 재생부분을 8번째 소절로부터 20번째 소절로 하고 있다. 재생시 효과는 지정하고 있지 않다.

멜로디 블록 층(140)은, 빈(free) 제어 파라미터부(141, 143, 145, 147, 149, 151, 153, 155)를 포함하고 있다. 이 예에서는, 리믹스 패턴에 따라서, 정적으로 처리를 행하므로, 멜로디 블록 층(140)의 제어 파라미터부는 각 파라미터를 필요로 하지 않는다. 각 제어 파라미터부에는, 제어의 엔티티로 되는 전주부(142), A 멜로디부(144), B 멜로디부(146), 캐치부(148), 엔딩부(150), 전주부(152), A 멜로디부(154), 캐치부(156)가 접속하는 형태로 되어 있다.

도 11에는, XML에 의해 기술된 리믹스 패턴 파일의 기술예를 나타낸다. -<song_list id="SONG_LIST_1">에 의해 노래 리스트 1인 것을 규정하고 있다. 이어서, <controller transition="ID_A:ID_B" pattern="CROSS_FADE" effect="REVERB" se=""/>에 의해, ID_A→ID_B에는, 크로스 페이드 패턴을 지정하고, 또한 효과로서 리버브를 지정하고 있다.

또, <controller transition="ID_B:ID_C" pattern="CUT_IN" effect="LOW_CUT" se=""/>는, ID_B→ID_C에는, 컷 인 패턴을 지정하고, 또한 효과로서 로우 컷을 지정하고 있다.

또, <song id="ID_A">에 의해, ID_A의 재생을 규정하고 있다. <controller play_segment="MELODY_BLOCK:A"effect=""/>에 의해 A 멜로디 블록과, 효과 없음을 지정하고, <melody type="INTRO"/>에 의해 전주를, <melody type="A"/>에 의해 A 멜로디를, <melody type="B"/>에 의해 B 멜로디를, <melody type="SABI"/>에 의해 캐치부를, <melody type="ENDING"/>에 의해 엔딩을 지정하고 있다.

또, <song id="ID_B">에 의해 ID_B의 재생을 규정하고, <controller play_segment="MELODY_BLOCK:INTRO"effect="LOW_CUT"/>에 의해 전주의 효과를 로우 컷으로 재생하는 것을 규정하고 있다. 그리고 <melody type="INTRO"/>에 의해 전주를, <melody type="A"/>에 의해 A 멜로디를, <melody type="SABI"/>에 의해 캐치부를 지정하고 있다.

또, <song id="ID_C">에 의해, ID_C를 지정하고, <controller play_segment="BAR:8-20"effect=""/>에 의해 곡의 재생부분을 8번째 소절로부터 20번째 소절로 하고, 효과를 없음으로 지정하고 있다.

도 12에는, 노래 리스트 층, 노래 층, 멜로디 블록 층 이외에, 앙상블 층, 인스트루먼트 층까지의 계층화를 나타내고 있다. 앙상블 층은, 전주, 캐치부 등의 악곡 구조 단위로 본 경우, 그 반복 수에 의해 예를 들면, 1회째의 캐치부는 피아노가 들어가고, 2회째의 캐치부는 피아노 대신에 혼 섹션이 들어가는 경우가 있다. 또, 반복을 빠져나와 다른 멜로디 블록으로 이행하기 직전의 수 소절이 1회째의 반복과는 상이한 경우가 있다.

인스트루먼트 층은, 앙상블 층을 구성하기 위한 악기마다 녹음된 음 소재의 집합이다. 구체적인 파일 엔티티를 명시해도 상관없고, 「밝은 8비트의 기타」와 같은 검색 조건을 부여하여 두어도 상관없다.

도 13에는, 본 발명의 편집 정보의 작성 방법에 의해 작성된 편집 정보, 구체적으로는 리믹스 패턴 파일에 근거한 음악 편집 장치(1)의 제어예를 나타낸다. 여기에 나타내고 있는 것은 복수의 악곡을 연결 방법을 지정하여 연속 재생하는 예이다.

처음에 사용자에 의해 노래 리스트가 선택된다(스텝 S40). 다음에, 도 10이 나 도 12의 노래 층에 있는 제어 파라미터부에 지정된 연결 방법과 노래가 선택된다(스텝 S41). 여기서 지정되는 연결 방법이란 악곡의 종료 전 몇 번째 소절로부터 크로스 페이드를 행하는 것인가라는 효과 정보나, 연결할 때 어떠한 음성을 어떻게(예를 들면, 소절의 헤드의 비트에 맞추어 N회 재생) 하는가 등의 정보이다.

다음에, 멜로디 블록, 앙상블, 인스트루먼트의 차례로 악곡의 구성 요소가 선택되고, 곡이 재생된다(스텝 S42, 스텝 S43, 스텝 S44). 이들은 노래 종료 조건이 "계속중"인 사이에 반복된다. 또한, 노래 종료 조건이 스텝 S45에 의해 "종료"로 되었을 때는 스텝 S41의 연결 방법·노래 선택하러 가기, 새로운 노래가 지정된 연결 방법으로 개시하게 된다.

도 14에는, 본 발명의 편집 정보의 작성 방법을 직감적으로 실현하기 위한 오소링 툴(authoring tool)의 GUI 구성예를 나타낸다. 이 예는 악곡을 연결해서 재생하는 것을 목적으로 한 지정 방법예이다. 화면(160)에는 노래 리스트 명(161), 노래명(162), 다음의 곡으로 연결할 때의 효과(163)와 연결에 사용되는 음성 파일(164)이 지정 가능하도록 되어 있다.

이와 같이, 도 10에 나타낸 데이터 구조의 편집 정보인 리믹스 패턴 데이터에 의하면, 기존의 악곡의 어레인지가 변경이 되므로, 사용자에게 새로운 음악을 즐기는 방법을 제공할 수 있다. 또, 작자가 악곡 생성·재생 장치에 있어서의 센서나 사용자 인터페이스의 입력에 따른 어레인지의 변경을 지정할 수 있게 된다. 또, 복수의 곡을 연결해 재생함으로써, DJ가 행하고 있는 것과 같은 악곡의 재생 방법을 용이하게 즐기는 것이 가능해진다.

다음에, 도 15 ~ 도 22면을 참조하여 악곡을 연결 방법의 실례를 개략적으로 설명한다. 종래의 음악 재생에서는 도 28과 같이 2개의 악곡 A와 악곡 B는 각각의 악곡이 가지는 원래의 템포로 재생되고, 곡과 곡의 사이에는 무음 부분이 생기는 것이 대부분이었다. 재생 장치의 메커니즘으로 무음 부분 없이 연결할 수 있는 것도 있지만, 악곡의 전후에는 다소 무음 부분이 있는 곡도 많고, 이들 곡은 곡의 전후에 곡의 일부로서 무음 부분을 포함하고 있으므로 곡 사이에 무음 부분이 생겨 버린다.

도 1에 구성을 나타낸 음악 편집 장치(1)에 의하면, 도 15와 같이, 악곡의 원래 템포에 의하지 않고 사용자 또는 시스템이 결정된 템포에 모든 악곡의 템포를 맞추고 그리고 이들 악곡의 박자 위치(다운비트 위치)도 맞추어 재생함으로써, 곡을 위화감 없이 연결매 없이 논스톱으로 연결하는 것을 가능하게 한다.

이것은 음악 편집 장치(1)가 악곡 A와 악곡 B를 전술한 바와 같이 비트 동기 재생하는 것에 의한다. 상이한 템포의 악곡의 비트(박자)를 동기시켜 재생하기 위해서는, 각각의 악곡의 원래의 템포와 박자(비트) 위치를 모르면 안 된다. 또, 재생시에는 템포와 비트 위치를 정렬하기 위해 악곡의 재생 속도를 변화시키지 않으면 안 된다.

원래의 템포와 비트 위치를 알기 위하여, 음악 편집 장치(1)에서는 악곡과 페어가 된 시간 축 상의 메타 데이터를 사용하고 있다. 재생시에는 악곡의 원래 템포와 현재의 마스터 비트 템포의 비율로부터 재생 속도를 변화시키면서, 각각의 악곡의 소절의 헤드 위치를 맞추어 재생을 개시한다.

상기한 바와 같이 복수의 악곡의 템포와 비트 위치를 정확하게 취급하여, 리얼 타임으로 재생 위치를 제어하여 동기 재생을 행한다. 여기서 설명하는 악곡을 이음매 없이 연결 방법은 모두 이 비트 동기 재생이라는 방법을 이용하는 것이 전제로 되어 있다.

도 16에는, 악곡 A와 악곡 B를 비트를 정렬하여 거듭하면서, 크로스 페이드 처리에 의해 연결하는 예를 나타낸다. 현재의 악곡 A를 페이드아웃(음량을 서서히 작게 하는) 하면서 다음에, 오는 악곡 B를 페이드인(음량을 서서히 크게 하는) 하고, 그 양쪽을 동시에 재생함으로써 양쪽의 곡이 이음매 없이 교체하는 효과가 얻어진다. 크로스 페이드는, 종래부터 FM 라디오 방송 등으로 이용되는 방법이지만 본 발명의 포인트는, 이들 악곡 A와 악곡 B의 템포와 비트 위치가 나란히 되어 있기 때문에 위화감 없이 논스톱으로 악곡이 연결되는 것에 있다.

음악 편집 장치(1)에서는, 도 17에 개요를 나타내는 컷 인 처리도 행할 수 있다. 악곡 A, 악곡 B, 악곡 C 사이의 이음매가 음악적으로 끊어지는 경우 등에는 크로스 페이드를 행하기보다 도 17와 같이 그대로 연결해 버리는 것이 좋은 경우도 있다. 또, 악곡의 비트의 끊어지는 부분에서 의도적으로 쉬어 다음의 비트로부터 다음의 곡으로 전환하는 것도 고려된다.

또, 음악 편집 장치(1)에서는, 전술한 바와 같이 효과음(SE)을 사용하여 악곡을 연결하고 있다. 즉, 악곡뿐 아니라, 악곡 연결 부분이나 임의의 부분에 효과음(SE: Sound Effect)을 끼울 수가 있다.

도 18은 악곡 A와 악곡 B와 악곡 C의 각각의 악곡 사이에 효과음을 협지한 예이다. 도 19는 SE를 사용한 악곡 A와 악곡 B의 크로스 페이드에 의한 연결을 나타낸 예이다. 물론 이 경우의 효과음도 마스터 비트 템포에 동기시키는 것이 가능하다. SE를 협지하거나 중첩함으로써 곡조가 크게 상이한 악곡끼리를 연결하는 경우보다 자연스럽게 연결하는 것이 가능해진다.

또, 음악 편집 장치(1)에서는, 동시 재생을 행해도 된다. 상이한 악곡을 연결하는 것만이 아니고, 도 20에 나타낸 바와 같이, 비트 동기를 행하여 동시에 재생을 계속한다. 템포와 비트 위치가 동기하고 있으므로 마치 최초로부터 그와 같은 1곡이었던 것처럼 착각할 수도 있다.

또, 음악 편집 장치(1)는, 도 21에 나타낸 바와 같이, 1개의 악곡 A 중에 효과를 적용해도 된다. 악곡 A의 일부분 또는 전체에 효과(음향 효과)를 적용하고 음질을 변화시킨다. 단지 저음이나 고음을 강조하는 것뿐 아니라, 리버브, 지연, 왜곡, 맥시마이저(maximizer)라는 음색 그 자체를 변화시키는 것까지를 포함한다.

효과는 악곡 A에는 리버브, 악곡 B에는 로우 컷 필터를 적용하면서 동시에 재생하거나 상기 다양한 연결 방법을 동시에 적용함으로써 보다 자연스럽고 매력적인 연결 방법을 실현할 수 있다.

또, 음악 편집 장치(1)는, 상기 연결 방법을 적용하는 데는 악곡 전체에 한정되지 않고, 도 22와 같이 각 악곡의 캐치부의 부분에 있거나, 전주 부분에서 있거나 하여도 상관없다. 악곡의 부분을 연결하는 것으로 예를 들면, 캐치부만 리믹스하도록 한 연결 방법이 가능해진다.

이상 설명한 바와 같이, 음악 편집 장치(1)에 의하면, 리믹스 패턴을 기술한 리믹스 패턴 파일을 기초로 악곡의 리믹스를 논스톱으로 행할 수 있다. 그때 사용자가 지정한 템포로 마스터 비트 템포를 결정해도 되고, 메인으로 되는 악곡의 템포에 대응하도록 결정해도 된다.

따라서, 음악 편집 장치(1)에 의하면, 사용자는 지금까지의 음악을 즐기는 방법에 더하여, 다음의 새로운 차원의 즐기는 방법이 생긴다. 이들 즐거움은 지금까지와 같이 수동적으로 음악을 듣는 것만으로는 결코 얻을 수 없는 것이며, 능동적으로 음악에 관한 것이며, 자기 자신에게 맞는 음악을 듣는 방법을 창출하거나 자기 자신의 현시욕을 만족시키는 것이다.

즉, 악곡의 좋아하는 부분을 멋지게 이어 논스톱의 리믹스 음악으로서 들을 수가 있다. 또, 악곡의 연결 방법을 스스로 시행 착오해서 선택한 멋진 것을 만든다는 창조욕구를 만족시키는 것이 가능하다.

그리고 도 23에는, 본 발명의 실시예가 적용되는 다른 음악 편집 장치(80)의 구성을 나타낸다. 도 24는, 음악 편집 장치(80)의 기능 블록도이다. 이 음악 편집 장치(80)는, 네트워크 통신부(81)를 포함하고, 인터넷(82)에 접속할 수 있다.

네트워크 통신부(81)를 가짐으로써, 리믹스 패턴 파일을 인터넷(82) 등의 네트워크로 교환, 공유함으로써 어떤 사용자가 작성한 리믹스를 제삼자가 다운로드하여 즐길 수가 있다. 또, 개인의 사용자에게 한정되지 않고 컨텐츠 서비스 측이 제공한 리믹스 패턴을 사용해도 된다.

이 음악 편집 장치(80)에 의하면, 악곡의 연결 방법을 인터넷 등으로 공개하고, 그것을 다른 사람과 공유하거나 복수인으로 리믹스를 만들어내고 서로 평가한 다고 하는 새로운 음악을 축으로 한 커뮤니케이션이 가능해진다.

도 25 및 도 26에는 또 다른 음악 편집 장치(110)의 하드웨어 구성 및 기능 블록도를 나타낸다. 이 음악 편집 장치(110)는, A/D 컨버터(111)를 통하여 센서(112)로부터 센서 값을 취득하는 구성이며, 기능적으로 센서값 취득부를 포함한다.

센서값 취득부(113)는, 예를 들면, 「재생 양태 제어 장치 및 재생 양태 제어 방법(일본 특개 2005-156641)」의 발명에 있는 바와 같이, 가속도 센서를 이용하여 보행 템포를 검출하고, 그 보행 템포에 맞추어 악곡의 템포를 변화시키는 기술을 적용하고 있다. 이 예를 응용하면, 보행 템포에 맞추어 마스터 비트 생성부의 템포를 변경하고, 모든 악곡을 보행이나 조깅의 템포에 맞추어 리믹스 재생하는 것이 가능해진다. 또, 「오디오 신호의 재생기 및 재생 방법」(특원 2005-363094)에 있는 바와 같이 보행이나 조깅의 템포에 맞추어 악곡을 선택하는 발명을 적용해도 된다.

이들을 사용하기 위해서는, 센서가 불가결하여, 그 센서와 이들 발명의 알고리즘을 본 시스템에 적용함으로써, 사용자의 상태에 맞추어 악곡이 선택되고, 또한 이들이 리믹스되어 논스톱 재생할 수 있다.

도 27a 및 도 27b는 센서 우선 모드를 포함한 음악 편집 장치(110)의 처리 스텝을 나타내는 플로차트이다. 이 처리 스텝은, 리믹스 패턴 우선 모드 이외에, 센서 우선 모드가 있으므로, 예를 들면, 사용자의 선택에 따라 처리를 상이하게 한다. 센서 우선 모드에서는, 보행이라든지, 조깅이라든지의 패턴을 센서가 검출하 고, 그 패턴에 따라 비트를 변화시키는 것이다.

먼저, 센서 우선 모드인지 패턴 우선 모드인지를 결정한다(스텝 S311). 이 경우, 센서 우선 모드라는 것은, 조금 전의 사용자가 조깅 하는 중인지, 걷는 중인지에 따라 선곡하는 기술이며, 곡의 순번이라든지, 선곡 그 자체는 센서에 의해 결정되는 것이며, 패턴에 따라 결정되는 것에 한하지 않는다. 이것은, 동적으로 변한다는 것을 시사하고 있는 것으로도 말할 수 있다. 미리 픽스되어 있는 패턴 파일(prefixed pattern file)을 읽는 것이 아니라, 센서로부터의 값에 의해, 패턴 파일을 동적으로 만드는 것이다.

스텝 S311에 의해 센서 우선이 아닌 패턴 우선 모드가 선택되었을 때는, 전술한 도 4의 처리 스텝과 마찬가지이다.

스텝 S311, 스텝 S312에 의해 센서 우선 모드가 선택되었을 때에 대하여 설명한다. 조깅에 맞추어 악곡이 자동적으로 선택되고 거기에 맞추어 악곡을 자동적으로 연결하도록 하는 것과 같은 경우이다.

서브 루틴으로 되어 있지만, 센서의 입력으로부터 악곡과 템포를 결정한다(스텝 S313). 스텝 S314에 의해 다음의 곡이 있는 것으로 판정하면, 스텝 S315에 의해 마스터 비트 템포를 설정한다. 이 경우, 보행의 템포로부터 검출되어 설정된 템포로 된다. 이 경우는, 곡의 연결 방법이 미리 결정된 것에 한하지 않으므로, 자동적으로 결정한다(스텝 S316). 예를 들면, 조깅 모드라면 전부 크로스 페이드로 연결하는 단순한 것도 있고, 다음 곡의 메타 데이터를 보고, 페이드 인되어 있는 곡이므로, 그대로 중첩되는 경우도 있다. 스텝 S317 이후의 처리에 대하여는 도 4의 스텝 S6~S15와 동일하므로, 설명을 생략한다.

이와 같이 음악 편집 장치(110)에 의하면, 조깅의 템포에 맞춘 악곡 선택을 하고, 또한 이들을 논스톱으로 연결하는 것에 의해 조깅의 긴장이나 템포를 혼란시키는 일없이 쾌적하게 조깅을 즐길 수가 있다. 또, 조깅에 한정되지 않고, 센서에 따라서는 다른 리드미컬한 운동(댄스 등)이나 심장 박동(heart rate)에 맞춘 리믹스 등을 실현할 수 있다.

센서로부터의 입력을 사용하여, 곡을 선택하고 또한, 그 템포도 조깅의 템포에 맞추어, 리믹스 된다. 자신이 좋아하는 곡을 자신의 템포에 맞추어 즐길 수가 있다.

또, 타이머 리믹스 재생을 행할 수도 있다. 예를 들면, 마음에 든 앨범의 곡이나 스스로 만든 플레이 리스트를 통근 시간의 30분의 사이에 듣고 싶다 라는 요구가 있다. 종래이면, 앨범이 60분인 경우, 매회 30분 재생한 곳에서, 곡을 도중에 정지시킬 수밖에 없었지만, 본 발명의 시스템을 이용함으로써 지정한 악곡집이 30분에 딱 맞도록 템포 및 곡의 사용하는 부분을 선택 리믹스하는 것이 가능해진다. 조깅과 조합시키는 것도 할 수 있다. 30분만큼 달리고 싶을 때, 30분 리믹스로 조깅 템포로 곡이 되어 있지만, 30분에 딱 곡이 끝나도록 할 수 있다.

캐치부만을 통근시의 30분에 맞도록 리믹스하고, 목적지에 도착했을 때 정확히 리믹스가 끝나도록 할 수 있다. 또, 동시에 도착 시각 부근에서는 템포를 점점 늦게 하거나, 특정한 SE를 중첩되게 하여 이제 도착한다는 분위기를 연출할 수도 있다.

이상에서 설명한 바와 같이, 음악 편집 장치(80 및 110)에 의하면, 악곡의 연결 방법을 인터넷 등으로 공개하고, 그것을 다른 사람과 공유하거나 복수인으로 리믹스를 만들어내고 서로 평가한다고 하는 새로운 음악을 축으로 한 커뮤니케이션이 가능해진다. 또, 센서를 이용하여, 보다 자신의 상황이나 상태에 맞는 음악을 들을 수가 있다.

이들 특징은, 지금까지의 프로 크리에이터(professional creator), 뮤지션이 만든 작품을 그대로 즐기는 것을 당연하다고 생각되어 온 세계에 파문을 일으켜 이들 작품을 자신의 표현을 위한 소재로서 재이용하여 재구성하고 즐긴다는 새로운 세계를 사용자에게 체험시킬 수 있다.

이로써, 음악에 즐거움을 발견하는 사용자가 증가하면 음악 업계 전체가 활성화된다. 또, 음악 업계 측으로부터 보아도 사용자 측에서 새롭게 재구성하는 것을 전제로 한 악곡 작품과 그것을 창출하는 새로운 크리에이터가 등장할 가능성이 있다. 업계와 사용자에 의해 새로운 음악 문화 창조의 가능성이 있다.

마지막으로, 본 발명의 음악 편집 장치의 이용 가능한 특징에 대하여 기술한다. 이 음악 편집 장치는, 기억부에 기록된 복수의 악곡의 템포와 다운비트를 정해진 타이밍으로 정렬하고, 복수의 재생 제어부를 유지하는 재생부에서, 상기 복수의 악곡을 모두 동시에 동기 재생하는 것을 특징으로 한 악곡 생성·재생 장치이다. 또, 상기 악곡은 곡의 전체 또는 일부분을 사용하는 것을 특징으로 한다. 또, 상기 악곡은 음악적으로 구성된 1개의 곡뿐 아니라, 효과음이나 회화, 어나운스 등의 음성을 포함하는 것을 특징으로 한다.

또, 상기 동기 재생시에 임의의 악곡에 대하여 임의의 악곡 개시 위치, 임의의 타이밍에서 자유롭게 발음 개시/정지를 할 수 있는 것을 특징으로 한다. 또, 상기 임의의 위치, 임의의 타이밍은 특히 소절 단위, 박자 단위, 멜로디 구성 단위에서의 지정이 가능한 것을 특징으로 한다.

또, 상기 특징을 이용하고, 현재 재생 중인 악곡에 대하여 상이한 다른 악곡의 임의 부분을 임의의 타이밍에서 동시에 재생하는 것을 가능하게 한다. 마찬가지로, 상기 특징을 이용하고, 현재 재생 중인 악곡의 임의의 부분에서 재생을 정지하고, 중단되는 일 없이 상이한 다른 악곡의 임의 부분을 즉시 재생 개시하는 것을 가능하게 한다.

또, 상기 동기 재생시에 동시에 재생 중인 각각의 악곡에 대하여, 개별적으로 음량 조정 가능한 것을 특징으로 한다. 상기 음량 조정을 이용하고, 상기 동시 재생시에 현재 재생 중인 악곡의 음량을 내리면서 다음 악곡의 음량을 올리면서 동시에 합성하여 재생하는 것을 가능하게 한다.

또, 상기 동기 재생시에 동시에 재생 중인 각각의 악곡에 대하여, 개별적으로 신호 처리에 의한 효과 처리를 적용할 수 있는 것을 특징으로 한다. 또, 상기 동기 재생은, 상기 악곡에 대응하여 미리 기록된 템포, 박자, 다운비트 위치, 멜로디 구성 변화 위치 정보 등으로 구성되는 메타 데이터를 기초로 타이밍 제어를 행하는 것을 특징으로 한다.

또, 상기 메타 데이터는 동일한 파일에 기록되어 있거나, 별개의 파일로서 기록되는 악곡과의 대응을 데이터 베이스 및 식별자를 사용하여 관리하는 것을 특 징으로 한다. 또, 상기 동기 재생시의 악곡의 범위, 발음 개시 타이밍, 음량의 제어 방법, 효과 처리의 종류는, 생성·재생 방법을 기술한 패턴 파일을 별도로 준비하고, 그것을 기초로 리얼 타임으로 재생 제어를 행하는 것을 특징으로 한다.

또, 상기 템포는 사용자가 지정하거나 본 장치가 자동적으로 결정하는 것을 특징으로 한다. 상기한 본 장치가 자동적으로 결정하는 템포로서 센서로부터의 입력 데이터를 사용하는 것을 특징으로 한다.

상기 센서에는 가속도 센서, 자이로 센서, 심장 박동 센서, 체온 센서, 체동 센서, 뇌파 센서 등 모든 센서를 부가할 수 있는 것을 특징으로 한다. 상기 패턴 파일은 본 장치 내의 기억부에 기록될 뿐 아니라, 외부 기억 장치 또는 인터넷으로부터 취득 가능한 것을 특징으로 한다.

또, 악곡의 리믹스 방법을 기술하기 위한 파일에 있어서, 악곡을 연속 재생하는 경우에, 각각의 악곡을 한 곡씩 개별적으로 재생하는 이외에, 크로스 페이드와 같은 효과나 별도의 음을 믹싱함으로써 음이 중단되는 일 없이 재생되도록 하기 위한, 곡과 곡의 연결 방법 정보를 기술할 수 있는 것을 특징으로 한다.

또, 악곡 생성·재생 장치의 인터페이스에 대한 사용자의 조작이나, 악곡 생성·재생 장치의 외부에 장착된 센서로부터의 입력에 따른 악곡의 재생 위치나 악곡끼리의 연결 방법을, 사용자를 지정할 수 있는 것을 특징으로 한다. 또, 악곡의 연결 부분 이외의 장소에도 별도인 음을 믹싱하거나, 효과를 가한, 이들 제어 파라미터의 변경 방법을 지정한 악곡의 어레인지 방법이 생기는 것을 특징으로 한다.

Claims

악곡 데이터에 대응하여 미리 생성된, 적어도 시간 축 상의 비트 위치를 포함하는 메타 데이터(meta data)와, 리믹스 패턴(remix pattern)을 결정하는 파일에 기초하여 리믹스 처리를 행하는 리믹스 처리부와,

마스터 비트(master beat)를 생성하고, 이 마스터 비트를 상기 리믹스 처리부에 보내는 것과 동시에, 상기 리믹스 처리부가 리믹스 패턴과 메타 데이터에 따라서 지시한 리믹스 처리에 따라, 각 메타 데이터를 사용하여 복수의 악곡을 재생하는 동기 재생 제어부(synchronizing reproduction controlling section)와,

상기 동기 재생 제어부에 의해 재생된 악곡을 혼합하는 혼합부(mixing section)

를 포함하고,

상기 리믹스 처리부는, 계층화되고, 또한 각 계층에 제어 파라미터부와 데이터 엔티티를 가지는 데이터 구조의 리믹스 패턴 파일에 기초하여 리믹스 처리를 행하는, 음악 편집 장치.
제1항에 있어서,

상기 리믹스 처리부는, 상기 메타 데이터를 처리하는 메타 데이터 처리부와, 상기 리믹스 패턴을 읽어들이는 리믹스 패턴 판독부를 포함하는, 음악 편집 장치.
제1항에 있어서,

상기 동기 재생 제어부는, 마스터 비트를 생성하고, 상기 리믹스 처리부에 공급하는 마스터 비트 생성부와, 복수의 악곡의 음성 신호를 생성하는 복수 계통의 음성 신호 생성부를 포함하는, 음악 편집 장치.
제1항에 있어서,

상기 메타 데이터를 기억하고 있는 메타 데이터용 기억부, 상기 악곡 데이터를 기억하고 있는 악곡용 기억부 및 리믹스 패턴을 기억하고 있는 리믹스 패턴용 기억부를 포함하는, 음악 편집 장치.
악곡 데이터에 대응하여 미리 생성된, 적어도 시간 축 상의 비트 위치를 포함하는 메타 데이터와 리믹스 패턴을 결정하는 파일에 기초하여 리믹스 처리를 행하는 리믹스 처리부와, 마스터 비트를 생성하고 이 마스터 비트를 상기 리믹스 처리부에 보내는 것과 동시에, 상기 리믹스 처리부가 리믹스 패턴과 메타 데이터에 따라서 지시한 리믹스 처리에 따라 복수의 악곡을 재생하는 동기 재생 제어부와, 상기 동기 재생 제어부에 의해 재생된 악곡을 혼합하는 혼합부를 포함하여 이루어지는 음악 편집 장치에 의해, 상기 리믹스 패턴으로서 참조되는 편집 정보의 작성 방법에 있어서,

계층화되고, 또한 각 계층에 제어 파라미터부와 데이터 엔티티를 가지는 데이터 구조의 리믹스 패턴 파일을, 상위층의 데이터부를 구성하고 있는 하위층의 제 어 파라미터부에 의해 동 계층의 데이터 엔티티를 처리함으로써 작성하는, 편집 정보의 작성 방법.
제5항에 있어서,

상기 계층화는, 상위층 측으로부터 노래 리스트 층, 노래 층, 멜로디 블록 층인, 편집 정보의 작성 방법.
제6항에 있어서,

노래 리스트 층의 제어 파라미터부는 리믹스 엔티티 데이터부를 제어하기 위해 사용되고, 상기 리믹스 엔티티 데이터부는 노래 층의 복수의 제어 파라미터부로 이루어지고, 노래 층의 복수의 제어 파라미터는 노래 층의 각 엔티티 데이터부를 제어하기 위해 사용되고, 멜로디 블록 층에서는 정적으로 복수의 엔티티 데이터부가 실행되는, 편집 정보의 작성 방법.
악곡 데이터에 대응하여 미리 생성된, 적어도 시간 축 상의 비트 위치를 포함하는 메타 데이터와 리믹스 패턴을 결정하는 파일에 기초하여 리믹스 처리를 행하는 리믹스 처리부와, 마스터 비트를 생성하고 이 마스터 비트를 상기 리믹스 처리부에 보내는 것과 동시에, 상기 리믹스 처리부가 리믹스 패턴과 메타 데이터에 따라서 지시한 리믹스 처리에 따라 복수의 악곡을 재생하는 동기 재생 제어부와, 상기 동기 재생 제어부에 의해 재생된 악곡을 혼합하는 혼합부를 포함하여 이루어 지는 음악 편집 장치에 의해, 상기 리믹스 패턴으로서 참조되는 편집 정보를 기록한 기록 매체에 있어서,

계층화되고, 또한 각 계층에 제어 파라미터부와 데이터 엔티티를 가지는 데이터 구조의 리믹스 패턴 파일을, 상위층의 데이터부를 구성하고 있는 하위층의 제어 파라미터부에 의해 동 계층의 데이터 엔티티를 처리함으로써 작성된 편집 정보를 기록하고 있는, 기록 매체.