KR100773186B1 - 악곡 데이터 생성 시스템 및 악곡 데이터 생성 프로그램을저장한 컴퓨터 판독가능 기록 매체 - Google Patents

Abstract

단말기 유저에 의해 독자적인 3D 음악 콘텐츠를 자유롭게 생성하는 것으로, 이 악곡 데이터 생성 시스템은, 인터넷 등으로 통신 가능하게 접속되는 서버(SV)와 휴대 전화용 단말기 등의 클라이언트 단말기(CL)로 이루어진다. 클라이언트 단말기(CL)에서는, 유저가, 서버(SV)로부터 송신되어 온 원하는 원 악곡 데이터를 재생하면서, 3D 음향 공간을 나타내는 3D 시퀀스 입력 화면을 이용하여 가상적인 음상 위치를 순차적으로 지정하여 기록해 간다(C6). 기록된 일련의 음상 위치는 위치 시퀀스로서 서버(SV)로 송신되고, 서버(SV)에서는, 위치 시퀀스를 원 악곡 데이터에 부가하여 3차원(3D) 음향 특성 부여 악곡 데이터(3D 악곡 데이터)를 생성하고, 이것을 클라이언트 단말기로 배신한다(S5). 클라이언트 단말기(CL)에서는, 배신된 3D 악음 데이터에 따라 유저 독자의 위치 시퀀스에 대응하여 음상이 이동하는 악곡 연주 공간을 생성할 수 있다(C7).

3차원 음향, 악곡 데이터, 음상, 3D 음향 시퀀스

Description

악곡 데이터 생성 시스템 및 악곡 데이터 생성 프로그램을 저장한 컴퓨터 판독가능 기록 매체{MUSIC DATA PRODUCING SYSTEM AND COMPUTER READABLE RECORDING MEDIUM STORING A MUSIC DATA PRODUCING PROGRAM}

도 1은 본 발명의 일 실시예에 의한 악곡 데이터 생성 시스템 전체의 개요 구성도.

도 2는 본 발명의 일 실시예에 의한 악곡 데이터 생성 시스템에 있어서의 전체적인 처리 동작을 나타내는 도면.

도 3은 본 발명의 일 실시예에 의한 악곡 데이터 생성 시스템에서 생성되는 3차원(3D) 음향 특성 부여 악곡 데이터의 구조예를 나타내는 도면.

도 4는 본 발명의 일 실시예에 의한 클라이언트 단말기측 악곡 데이터 생성 처리를 나타내는 플로우 차트.

도 5는 본 발명의 일 실시예에 의한 클라이언트 단말기측 악곡 데이터 생성 처리 중의 시퀀스 입력 처리를 나타내는 플로우 차트.

도 6은 클라이언트 단말기의 키 배치의 일례를 나타내는 도면.

도 7은 클라이언트 단말기에서의 시퀀스 입력 화면(3D 화면)의 일례를 나타내는 도면.

도 8은 본 발명의 일 실시예에 의한 서버측 악곡 데이터 생성 처리를 나타내 는 플로우 차트.

〈도면의 주요부분에 대한 부호의 설명〉

CL; CLa.CLb 클라이언트 단말기나 PC 등으로 구성되는 서버(SV)와 통신 가능한 클라이언트 단말기(전자 음악 장치)

Gr : 좌표 그리드

Po : 청취 위치 즉 원점 좌표 위치

Pg : 음상 위치(음원 위치라고도 함) 또는 음상 위치를 나타내는 화상

Dg : 음상 위치 Pg의 최신 좌표값을 나타내는 현재 위치 표기

[비특허 문헌1] http://ascii24.com/news/i/tech/article/2004/12/09/653023-000. html

[비특허 문헌2] http://www.yamaha.co.jp/news/2005/05011101.htm1

본 발명은, 인터넷 등의 통신 네트워크를 통하여 서버 및 클라이언트 단말기를 통신 가능하게 접속하여, 클라이언트 단말기를 사용하는 유저가 원하는 3차원(3D) 음향 특성 부여 악곡 데이터를 생성하기 위한 악곡 데이터 생성 시스템에 관한 것이다.

종래부터, 휴대 전화용 단말기에서, 인터넷 등을 통하여 콘텐츠 배신 사이트 로부터 제공되는 착신 멜로디용 악곡의 어레인지를 변경하는 것이 있다. 또한, 최근에 와서, 비특허 문헌 1, 2에 나타내는 바와 같이, 음원이 가까워져 오는 등의 효과를 포함하는 3D 포지셔널 오디오 기술이 채용된 휴대 전화 단말기나, 이러한 휴대 전화 단말기로, 음을 이동시켜 입체 음향이나 음의 확산을 체감할 수 있는 3D 착신 멜로디를 배신하는 서비스가 출현하고 있다.

그러나, 착신 멜로디 배신 서비스의 대부분은, 변경하고 싶은 악곡(원 파일)내지 변경 가능한 파라미터를 미리 준비된 것 중에서 선택한다고 하는 소위 "템플릿형"의 곡 변환을 행하는 방법을 이용하는 것이다. 즉, 유저는, 미리 결정된 패턴으로 원 파일을 변환할 때의 바리에이션을 선택할 수 있을 뿐, 유저 독자의 오리지널한 악곡 콘텐츠를 얻을 수 없다.

또한, 음상의 위치를 이동시키는 장치로서는, 예를 들면, 특허 문헌 1, 2에 나타내는 것과 같은 것이 있다. 특허 문헌 1에서는, 게임 프로그램 혹은 트랙볼이나 죠이스틱 등의 조작자에 의해 음상 정위 위치의 이동 상태가 지시되는 데 따라서 좌우 2 채널로부터의 악음의 음상 위치를 제어하여 음상 이동의 리얼감을 풍부하게 할 수 있도록 하고 있다. 또한 특허 문헌 2에는, 트랙볼 등의 조작자의 조작에 기초하여 조작 위치에 가까운 예정된 음상 이동 경로 상으로 음상을 확실하게 이동시키도록 하고 있다.

본 발명은, 이러한 사정을 감안하여, 클라이언트 단말기의 유저에 의한 위치 지정 조작에 기초하여 유저 독자의 3차원 음향 특성 부여 음악 콘텐츠를 자유롭게 생성할 수 있는 악곡 데이터 생성 시스템을 제공하는 것을 목적으로 한다.

본 발명의 주된 특징에 따르면, 통신 네트워크(CN)를 통하여 통신 가능하게 접속되는 서버(SV) 및 클라이언트 단말기(CL; CLa, CLb)로 이루어지는 시스템으로서, 서버(SV)는, 복수의 악곡 데이터를 축적하는 원 악곡 축적 수단(DB)과, 원 악곡 축적 수단으로부터 악곡 데이터를 판독하는 원 악곡 판독 수단(S4, S12)과, 클라이언트 단말기(CL)로부터 위치 시퀀스 데이터를 수신하는 시퀀스 수신 수단(S5, Sl1)과, 악곡 판독 수단에 의해 판독된 악곡 데이터에 위치 시퀀스 데이터를 부가함으로써, 3차원 음향 특성으로써 재생 가능한 위치 시퀀스 부여 악곡 데이터(3D 악곡 데이터 Md)를 생성하는 3차원 악곡 생성 수단(S5,S14∼S18)과, 위치 시퀀스 부여 악곡 데이터(Md)를 클라이언트 단말기(CL)로 송신하는 3차원 악곡 송신 수단(S5, S19)을 구비하고, 클라이언트 단말기(CL)는 유저 조작에 기초하여 가상적인 음상의 위치 좌표(Pg)를 순차적으로 입력하는 시퀀스 입력 수단(Cl9;C34∼C41)과, 입력된 일련의 위치 좌표를 위치 시퀀스 데이터로서 기록하는 시퀀스 기록 수단(C19: C39, C40)과, 기록된 위치 시퀀스 데이터를 서버(SV)에 송신하는 시퀀스 송신 수단(C20)과, 위치 시퀀스 부여 악곡 데이터(Md)를 서버(SV)로부터 수신하는 3차원 악곡 수신 수단(C24)과, 수신된 위치 시퀀스 부여 악곡 데이터(Md)를 재생 가능하게 기억하는 3차원 악곡 기억 수단(2, 4; C25)과, 기억된 위치 시퀀스 부여 악곡 데이터(Md)를 3차원 음향 특성으로써 재생하는 3차원 악곡 재생 수단(C25')을 구비하는 악곡 데이터 생성 시스템 [청구항 1〕이 제공된다. 또한, 괄호 쓰기는 대응하는 실시예의 참조 기호 등을 나타내고, 이하에 있어서도 마찬가지다.

본 발명에 의한 악곡 데이터 생성 시스템에서, 서버(SV)는, 또한, 클라이언트 단말기(CL)로부터의 리퀘스트에 따라서 악곡 판독 수단(S4)에 의해 판독된 악곡 데이터를 클라이언트 단말기(CL)로 송신하는 원 악곡 송신 수단(S4)을 구비하고, 클라이언트 단말기(CL)는, 또한, 악곡 데이터를 요구하는 리퀘스트를 서버(SV)로 송신하는 리퀘스트 송신 수단(C5)과, 송신된 리퀘스트에 따라서 서버(SV)로부터 송신되어 오는 악곡 데이터를 수신하는 원 악곡 수신 수단(C18)과, 수신된 악곡 데이터를 재생 가능하게 기억하는 원 악곡 기억 수단(2, 4; C18)을 구비하고, 시퀀스 입력 수단(Cl9)에 의한 위치 좌표(Pg)의 입력은, 원 악곡 기억 수단(2)에 기억된 악곡 데이터의 재생과 병행하여 행해지는(C33∼C41)〔청구항 2〕와 같이 구성할 수 있다.

본 발명에 의한 악곡 데이터 생성 시스템에서는, 시퀀스 입력 수단(C19)은, 유저 조작에 의해 순차적으로 지시되는 좌표 위치를 연속적으로 입력하는 제1 입력 수단(C38), 및 / 또는, 유저 조작에 의해 지시되는 이동 양태에 따른 좌표 위치 계열을 생성하여 입력하는 제2 입력 수단(C40)을 구비하는〔청구항 3〕과 같이 구성할 수 있다.

본 발명의 다른 특징에 따르면, 통신 네트워크(CN)를 통하여 서버(SV)에 통신 가능하게 접속되는 컴퓨터(클라이언트 단말기: CL; CLa, CLb)에, 악곡 데이터를 요구하는 리퀘스트를 서버(SV)로 송신하는 리퀘스트 송신 스텝(C3)과, 송신된 리퀘스트에 따라서 서버(SV)로부터 송신되어 오는 악곡 데이터를 수신하는 원 악곡 수 신 스텝(Cl8)과, 원 악곡 수신 스텝에서 수신된 악곡 데이터를 재생 가능하게 기억하는 원 악곡 기억 스텝(C18)과, 원 악곡 기억 스텝에서 기억된 악곡 데이터를 재생함과 함께, 유저 조작에 의해 순차적으로 지시되는 좌표 위치를 연속적으로 입력함으로써(C38), 및 / 또는, 유저 조작에 의해 지시되는 이동 양태에 따른 좌표 위치를 입력함으로써(C40), 가상적인 음상의 위치 좌표(Pg)를 순차적으로 입력하는 시퀀스 입력 스텝(C34∼C41)과, 시퀀스 입력 스텝에서 입력된 일련의 위치 좌표를 위치 시퀀스 데이터로서 기록하는 시퀀스 기록 스텝(C39, C40)과, 기록된 위치 시퀀스 데이터를 서버(SV)로 송신하는 시퀀스 송신 스텝(C20)과, 리퀘스트 송신 스텝에서 송신된 리퀘스트에 대응하는 악곡 데이터에 위치 시퀀스 데이터를 부가함으로써 생성된, 3차원 음향 특성으로써 재생 가능한 위치 시퀀스 부여 악곡 데이터(3D 악곡 데이터 Md)를, 서버(SV)로부터 수신하는 3차원 악곡 수신 스텝(C24)과, 3차원 악곡 수신 스텝에서 수신된 위치 시퀀스 부여 악곡 데이터(Md)를 재생 가능하게 기억하는 3차원 악곡 기억 스텝(C25)과, 3차원 악곡 기억 스텝에서 기억된 위치 시퀀스 부여 악곡 데이터(Md)를 3차원 음향 특성으로써 재생하는 3차원 악곡 재생 스텝(C25')으로 이루어지는 수순을 실행시키기 위한 악곡 데이터 생성 프로그램을 저장한 컴퓨터 판독 가능 기록 매체〔청구항 4〕가 제공된다.

〔시스템의 개요〕

도 1은, 본 발명의 일 실시예에 의한 3차원(3D) 음향 특성 부여 악곡 데이터 생성 시스템 전체의 구성예를 나타내는 도면이다. 이 악곡 데이터 생성 시스템은, 도 1의 (1)은, 3차원(3D) 음향 특성 부여 악곡 데이터(이하「3D 악곡 데이터」라고 함)를 제공하는 3D 악곡 제공 사이트로서 기능하는 서버(SV)와, 인터넷 등의 광역 통신 네트워크(CN)를 통하여 서버(SV)와 통신 가능한 복수의 클라이언트 단말기 CL; CLa, CLb(기호“CL"은, 클라이언트 단말기를 일반적으로 나타낸다)로 이루어진다. 이 예에서는, 클라이언트 단말기(유저 단말기)(CL)는, 예를 들면, 서버(SV)와의 통신 기능을 가지며 악곡 데이터 처리 기능을 구비한 휴대 전화용 단말기(CLa)나 퍼스널 컴퓨터(PC) 단말기(CLb) 등의 전자 음악 장치로 구성된다. 클라이언트 단말기(CL)에는, 바람직하게는, 휴대 전화용 단말기(CLa)가 이용되며, 이 시스템에서 생성된 3D 악곡 데이터를 착신 멜로디 등으로서 임의의 사용 환경에서 즐길 수 있다.

서버(SV)의 대용량의 외부 기억 장치에는, 클라이언트 단말기(CL)의 유저에 3D 악곡 데이터를 제공하기 위한 복수의 데이터베이스(DB)가 구축되어 있다. 예를 들면, 어플리케이션 데이터베이스에는, 클라이언트 단말기(CL)에서 실행 가능한 3차원(3D) 음향 특성 부여 악곡 데이터 생성 프로그램(이하「어플리케이션」이라고 함)을 포함하는 클라이언트 단말기용 각종 어플리케이션이 축적된다. 악곡 데이터베이스에는, 3D 악곡 데이터를 생성하는 토대로 되는 기존 타입의 다수의 악곡 데이터(「원 악곡 데이터」라고 함)가 축적되며, 각 원 악곡 데이터는, 1 내지 복수의 악음 채널분의 음악 정보로 구성된다. 또한, 템플릿 데이터베이스에는, 3D 악곡 데이터를 생성하기 위해 미리 정해진 위치 시퀀스를 부여하는 다수의 3D 템플릿이 축적되어 있다.

각 휴대 전화용 단말기(CL)는, 휴대 전화용 단말기(CLa)인 경우, 무선 기지 국(BS) 및 통신 네트워크(CN)를 통하여 서버(SV)에 접속되고, PC 단말기(CLb)인 경우는 통신 네트워크(CN)를 통하여 서버(SV)에 접속된다. 도 1의 (2)는, 이 악곡 데이터 생성 시스템을 구성하는 각 장치의 하드웨어 구성을 설명하기 위한 블록도이며, 클라이언트 단말기(CL)를 기준으로 도시하고 있다.

클라이언트 단말기(CL)에 대해서는, 이하의 설명에서는, 주로 휴대 전화용 단말기(CLa)가 사용되는 것으로 설명하지만(단, 통상의 전화 기능에 대해서는 설명을 생략한다), 전술한 바와 같이, 통신 기능 및 악음 데이터 처리 기능을 갖춘 PC와 같은 범용의 정보 처리 장치(CLb)를 사용해도 된다. 클라이언트 단말기(CL)는, 중앙 처리 장치(CPU)(1), 랜덤 액세스 메모리(RAM)부(2), 판독 전용 메모리(ROM)부(3), 보조 기억부(4), 입력 디바이스(5), 음원(6), 표시기(7), 통신 인터페이스(통신 I/F)(8) 등을 구비하고, 이들 장치 l∼8은 버스(9)를 통하여 상호 접속되어 있다.

CPU(1), RAM부(2) 및 ROM부(3)는 본체 처리부를 구성한다. ROM부(3)는, 기기 전체를 통괄 제어하기 위한 펌웨어나 각종 프로그램 등을 기억하고 있으며, CPU(1)는, ROM부(3)에 기억된 프로그램에 따라 기기 전체를 통괄 제어한다. RAM부(2)는, 각종 처리에 있어서 OS나 각종 프로그램의 작업용 에리어로서 이용되고, 예를 들면, 위치 시퀀스 데이터 작성시에는, 원 악곡 데이터나 위치 이벤트 혹은 3D 템플릿 등의 각종 데이터를 일시적으로 저장(가기억)해 두기 위한 각종 데이터 기억(템포러리 메모리) 영역이 확보된다. 더욱, 휴대 전화용 단말기(CLa)의 경우, RAM부(2) 내지 ROM부(3)에는, 플래시 메모리 등의 불휘발성 반도체 메모리를 이용 할 수 있다.

보조 기억부(외부 기억부)(4)는, 3D 악곡 데이터를 포함하는 각종 데이터나 네트 세션 제어 프로그램, 어플리케이션 등을 기억(보존)해 두는 데 이용된다. PC 단말기(CLb)의 경우 하드디스크 구동 장치(HDD)가 이용되지만, 휴대 전화용 단말기(CLa)의 경우에는, HDD는 구비되지 않고, 플래시 메모리 등의 불휘발성 반도체 메모리가 이용된다. 이 경우, RAM부(2)나 ROM부(3)에 이용되는 플래시 메모리 등의 불휘발성 반도체 메모리에 보조 기억부(4)의 기능을 갖게 하며, 해당 반도체 메모리에 모든 데이터 종류를 보존해 두도록 구성할 수 있다.

입력 디바이스(5)는, 각종 입력 키 등의 조작자와, 이들 조작자의 조작 내용을 검출하여 본체 처리부에 도입하는 조작 검출 회로로 이루어진다. 휴대 전화용 단말기(CLa)의 경우, 키 조작자로는, 예를 들면, 커서 키, 기능 키, 온 훅 키, 오프 훅 키, 전화용 숫자·기호 키 등이 있으며, PC 단말기(CLb)의 경우에는 마우스나 키보드가 조작자로 이용된다. 표시기(7)는, 각종 화면을 표시하는 디스플레이와, CPU(l)로부터의 명령에 따라서 화면 표시를 제어하는 표시 회로로 이루어지며, 클라이언트 단말기(CL)의 동작 상태를 표시하거나 유저 조작에 대한 표시 원조를 행한다.

음원부(6) 및 음원부(6)에 접속되는 사운드 시스템(10)은 악음 재생부를 구성한다. 즉, 음원부(6)는, 음원 회로(TG)나 DSP(디지털 신호 처리기) 등을 포함하고, 원 악곡 데이터나 3D 악곡 데이터에 대응하는 악음 신호를 생성하고, 특히, DSP는 3D 악곡 데이터에 따라서 3D 음장 제어를 행하는 기능을 갖는다. 사운드 시 스템(10)은, D/A 변환부나 앰프, 스테레오 트윈 스피커를 갖추고, 음원부(6)로부터의 악음 신호에 기초한 악음을 발생하며, 특히, 3D 악곡 데이터의 재생에 의해, 악음의 음상이 소정의 경로로 이동하여 음의 확산이 있는 입체 음향 공간을 실현할 수 있다.

통신 I/F(8)는, 적어도 인터넷에 직접적/간접적으로 접속 가능한 모뎀이나 이더 등의 통신 인터페이스이며, 유선에 국한하지 않고 무선 통신을 행하는 인터페이스이어도 된다. 클라이언트 단말기(CL)는, 통신 I/F(8)에 의해, 인터넷을 포함하는 네트워크(CN)를 통하여 서버(SV)와 교신할 수가 있으며, 서버(SV)에 대하여 원 악곡 데이터나 3D 악곡 데이터의 요구 및 수신을 행할 수 있다. 이 경우, 휴대 전화용 단말기(CLa)에서는, 통신 I/F(8)로부터 무선데이터 통신으로 기지국(BS)을 통하여 서버(SV)와 교신한다.

또한, 서버(SV)의 하드웨어 구성에 대해서는, 도 1의 (2)에서 설명한 클라이언트 단말기(CL)와 거의 동일하지만, 사운드 시스템(10)은 갖추고 있지 않아도 된다. 서버(SV)는 대용량의 외부 기억 장치(HDD 등)를 구비한다. 이 외부 기억 장치에는, 전술한 바와 같이, 어플리케이션, 원 악곡 데이터, 3D 템플릿 등을 각각 축적한 복수의 데이터베이스(DB)가 구축됨과 함께, 각 클라이언트 단말기 유저를 관리하기 위한 유저 관리 데이터 파일 등도 기억된다.

〔동작의 개요〕

도 2는, 본 발명의 일 실시예에 의한 악곡 데이터 생성 시스템에 있어서의 전체적인 처리 동작을 클라이언트 단말기의 표시 화면의 추이와 함께 나타낸 도면 이다. 이 시스템의 처리 동작은, 어플리케이션 즉 3D 음향 특성 부여 악곡 데이터 생성 프로그램을 클라이언트 단말기(CL)에 다운로드하는 제1 단계와, 다운로드한 어플리케이션을 클라이언트 단말기(CL) 상에서 실행하는 제2 단계로 분리된다.

제1 단계에서는, 우선, 유저는, 클라이언트 단말기(CL)로부터 서버(SV)에 어플리케이션을 요구한다(스텝 Cl). 이때, 어플리케이션의 리퀘스트와 함께 클라이언트 단말기(CL)의 기종, 유저 ID 등을 통지한다. 서버(SV)는, 신규 유저이면 유저 관리 데이터 파일에 유저 등록하고, 그렇지 않으면, 유저 관리 데이터 파일의 해당 단말기 유저의 등록 데이터와 대조하여 기종이나 유저 ID, 유저 어드레스 등을 확인한 후에 어플리케이션을 클라이언트 단말기(CL)에 배신한다(스텝 S1). 그리고, 클라이언트 단말기(CL)에서는, 배신을 받은 어플리케이션을 기억 수단(보조 기억부(4) 또는 ROM부(3))에 기억한다(스텝 C2).

제2 단계는, 클라이언트 단말기(CL)로써, 기억 수단에 기억된 어플리케이션을 기동함으로써 개시되고, 도시한 바와 같은 화면 추이 C3∼C7을 나타낸다. 우선, 어플리케이션을 기동하면,「최근의 인기곡」이나「곡명별 검색」,「아티스트별 검색」 등의 악곡 선택에 필요한 항목을 실은 기동 화면(어플리케이션 톱 화면)이 표시기(7)의 디스플레이(이하, 기호「7」은 디스플레이의 참조에도 이용된다)에 표시된다(스텝 C3). 유저는 기동 화면을 이용하여 원하는 항목을 지시하는 조작을 행하면, 클라이언트 단말기(CL)는, 지시된 항목에 대응하는 악곡 리스트를 서버(SV)에 요구한다. 서버(SV)는, 악곡 리스트의 리퀘스트에 수반하여 송신되어 온 기종이나 유저 ID 등을 확인한 후, 해당 악곡 리스트를 해당 클라이언트 단말기 (CL)로 송신한다(스텝 S2).

클라이언트 단말기(CL)는, 서버(SV)로부터의 악곡 리스트의 수신에 따라서 해당 악곡 리스트를 실은 악곡 선택 화면을 디스플레이(7)에 표시한다(스텝 C4). 유저는 악곡 선택 화면을 이용하여 원하는 악곡을 선택하는 조작을 행하면, 클라이언트 단말기(CL)는, 악곡이 선택되었음을 서버(SV)에 통지하고, 서버(SV)는, 해당 선택 악곡에 대응 가능한 처리를 나타내는 처리 항목 데이터를 클라이언트 단말기(CL)로 회신한다(스텝 S3).

클라이언트 단말기(CL)는, 이것에 따라서 해당 선택 악곡의 처리 항목을 실은 처리 선택 화면을 디스플레이(7)에 표시한다(스텝 C5). 이 처리 항목에는, 단말기 유저의 수동 입력으로 작성한 시퀀스에 기초하여 3D 악곡을 생성하는 제1 처리 방법과, 유저의 선택 조작으로 지시된 3D 템플릿에 기초하여 3D 악곡을 생성하는 제2 처리 방법이 있으며, 제2 처리 방법으로서는, 처리 항목 데이터에 포함되는 템플릿 정보에 의해, 서버(SV)에 미리 준비된 복수의 3D 템플릿의 명칭을 열거하고, 이것에 대한 유저의 템플릿 선택 조작에 의해서 원하는 3D 템플릿을 선택적으로 지시할 수 있다.

이것에 대하여, 유저가 원하는 처리 방법을 선택하는 조작을 행하면, 클라이언트 단말기(CL)는 해당 처리 방법을 서버(SV)에 통지하고, 서버(SV)는, 해당 처리 방법에 대응하는 처리를 행한다. 예를 들면, 제1 처리 방법이 선택된 경우에는, 악곡 선택 화면에서 선택된 악곡에 대응하는 원 악곡 데이터를 악곡 데이터베이스(DB)로부터 판독하고, 그 악곡 ID와 함께 클라이언트 단말기(CL)로 송신한다. 또 한, 제2 처리 방법이 선택된 경우에는, 해당 원 악곡 데이터 및 악곡 ID에 추가로, 또한, 템플릿 선택 조작에 대응하여 선택된 3D 템플릿을 송신한다.

제1 처리 방법이 선택된 경우, 클라이언트 단말기(CL)는, 서버(SV)로부터의 원 악곡 데이터를 수신하면, 해당 원 악곡 데이터를 RAM부(2)의 원 악곡 기억 영역에 저장함과 함께, 시퀀스 입력 화면(「3D 화면」이라고도 불린다)을 디스플레이(7)에 표시한다(스텝 C5). 단말기 유저는, 시퀀스 입력 화면을 이용하여, 원 악곡 데이터의 재생에 맞춰 수동 입력으로 악곡의 음상 위치를 순차적으로 지시함으로써, 일련의 음상 위치 이벤트 데이터 열로 이루어지는 위치 시퀀스 데이터를 작성할 수 있다. 클라이언트 단말기(CL)는, 해당 원 악곡 데이터에 대응하여 작성된 위치 시퀀스 데이터를 해당 원 악곡 데이터의 악곡 ID와 함께 서버(SV)로 송신한다.

또한, 제2 처리 방법이 선택된 경우에는, 클라이언트 단말기(CL)는, 서버(SV)로부터의 원 악곡 데이터 및 3D 템플릿을 RAM부(2)의 원 악곡 및 템플릿 기억 영역에 저장하며, 템플릿 확인 화면(「3D 화면」이라고도 불린다)을 디스플레이(7)에 표시한다(스텝 C5). 템플릿 확인 화면에는, 원 악곡 데이터의 재생에 맞춰 3D 템플릿에 기초한 음상 위치가 표시되므로, 표시된 음상 이동 양태를 단말기 유저가 확인하여 요해(OK) 조작을 행하면, 클라이언트 단말기(CL)는, 해당 3D 템플릿에 대한 요해 신호를 악곡 ID와 함께 서버(SV)로 송신한다.

또한, 선택한 처리 방법이나 3D 템플릿이 단말기 유저의 기호가 아닌 NG 조작이 행해진 경우에는, 처리 선택 스텝(C5)으로 되돌아가 처리 방법이나 3D 템플릿 의 재선택을 행할 수 있다. 또한, 원 악곡 자체가 단말기 유저의 기호가 아닌 「되돌아가기」조작이 행해진 경우에는 악곡 선택 스텝(C4)으로 되돌아갈 수 있으며, 어떠한 경우라도 그 취지를 서버(SV)에 통지한다.

서버(SV)는, 제1 처리 방법이 선택된 경우에는, 악곡 ID로 지정되는 원 악곡 데이터에 위치 시퀀스 데이터를 부가하여 원 악곡 데이터로부터 3D 악곡 데이터 즉, 3차원(3D) 음향 특성 부여 악곡 데이터로 변환하는 3D 변환을 행하며, 또한, 제2 처리 방법이 선택된 경우에는, 요해 신호의 수신에 의해, 선택된 3D 템플릿에 따라서 3D 변환을 행하며, 3D 변환에 의해 얻어진 3D 악곡 데이터(MD:도 3)를 클라이언트 단말기(CL)로 배신한다(스텝 S5). 또한, 제2 처리 방법이 선택된 경우의 처리 방법으로서는, 전술한 바와 같이 원 악곡 데이터나 3D 템플릿의 송신(S4)이나 요해 신호의 수신(S5)을 거치지 않고, 즉시, 스텝 S4에서, 클라이언트 단말기(CL) 측에서 선택된 3D 템플릿에 따라서 3D 변환해야 함을 결정하도록 구성하여도 된다.

클라이언트 단말기(CL)는, 서버(SV)로부터 3D 악곡 데이터를 수신하면, 다운로드 통지 화면(3D 화면)을 디스플레이(7)에 표시하고, 유저가 음상의 이동을 확인하여 다운로드 통지 화면에 대하여 3D 악곡 데이터의 취득을 결정하는 조작을 행하면, 해당 3D 악곡 데이터를 기억 수단(2, 4)에 보존한다(스텝 C7). 이후, 클라이언트 단말기(CL)에서는 기억 수단에 보존된 3D 악곡 데이터를 재생하고, 유저가 작성한 위치 시퀀스 데이터 혹은 유저에 의해 선택된 3D 템플릿에 대응하여 악곡의 음상이 이동하는 악곡 연주 공간을 즐길 수 있으며, 또한, 이 악곡 재생에 맞춰 악곡의 음상 위치를 이동 표시하는 3D 악곡 재생 화면(3D 화면)을 디스플레이(7)에 표시할 수 있다.

또한, 다른 악곡에 대하여 3D 악곡 데이터를 희망하는 경우에는, 입력 디바이스(5)의「되돌아가기」(「F3」키) 조작에 의해 악곡 선택 화면(C3)으로 되돌아가, 전술한 처리 동작 C3∼C7, S2∼S5를 반복할 수 있으며, 이것에 의해, 클라이언트 단말기(CL)의 유저는, 새로운 원 악곡 데이터에 기초하여 새로운 3D 악곡 데이터를 취득할 수 있다.

본 발명의 일 실시예에 의한 악곡 데이터 생성 시스템은, 특히, 3D 악곡 데이터의 생성에 필요한 위치 시퀀스 데이터를 클라이언트 단말기(CL) 측에서 시퀀스 입력 화면(C6)을 이용하여 작성하는 것을 특징으로 한다. 즉, 이 시스템의 요점은 다음과 같다: 클라이언트 단말기(CL)에서는, 유저가, 서버(SV)로부터 송신되어 온 원하는 원 악곡 데이터를 재생하면서, 3D 음향 공간을 나타내는 3D 시퀀스 화면을 이용하여 가상적인 음상 위치를 순차적으로 지정하여 기록해 간다(C6). 기록된 일련의 음상 위치는 위치 시퀀스로서 서버(SV)로 송신되며, 서버(SV)에서는, 위치 시퀀스를 원 악곡 데이터에 부가함으로써 3차원(3D) 음향 특성 부여 악곡 데이터(3D 악곡 데이터)를 생성하고, 이것을 클라이언트 단말기로 배신한다(S5). 클라이언트 단말기(CL)에서는, 배신된 3D 악음 데이터에 따라 유저 독자의 위치 시퀀스에 대응하여 음상이 이동하는 악곡 연주 공간을 생성할 수 있다 (C7).

〔3D 악곡 데이터의 구조〕

도 3은, 서버에서의 3D 변환에 의해 얻어지는 3D 악곡 데이터의 구성예를 나타낸다. 3D 악곡 데이터(Md)는, 헤더 정보(Hd), 악음 트랙 정보(Mt) 및 위치 시퀀 스 트랙 정보(St)로 이루어진다. 헤더 정보(Hd)는, 이 3D 악곡 데이터(Md)에는, 어떠한 종류의 트랙이 몇 개 있으며, 각 트랙은 어떠한 종류의 채널이 있는지, 각 트랙 및 각 채널의 어드레스 정보 등을 나타내며, 3D 악곡 데이터(Md) 선두의 헤더 부분에 기술되어 있다. 악음 트랙 정보(Mt)는, 원 악곡 데이터에 대응하여 악음 트랙에 기술되는 음악 정보이며, 원 악곡 데이터와 마찬가지로, 멜로디나 반주 등의 파트에 대응하는 임의 개수의 채널로 이루어진다. 각 채널의 음악 정보는, MIDI 형식 혹은 MIDI 형식과 유사한 이벤트 형식으로 악음을 나타내는 이벤트 시퀀스 데이터, 혹은, ADPCM 등의 부호화 형식으로 악음 파형을 나타내는 오디오 신호 데이터로 구성된다.

또한, 위치 시퀀스 트랙에 기술되는 위치 시퀀스 트랙 정보(St)는, 소정 채널의 악음 트랙 정보(Mt)에 대응하여, 해당 악음 트랙 정보(Mt)에 기초한 각 악음의 음상 위치를 미소한 이동 시간(△t) 마다의 위치 이벤트로 시퀀셜하게 규정하는 음상 위치 규정 데이터이다. 위치 시퀀스 트랙 정보(St)는, 좌표 위치 Pg(r, θ, φ)와 그 시간 정보를 세트로 하여 1개의 위치 이벤트를 나타낼 수 있으며, 시간 정보에는, 악음 트랙 정보(Mt)의 연주 개시부터의 절대 시간( 시각 데이터)(t) 및 이동 시간(△t)이 이용된다. 예를 들면, 1개의 위치 이벤트에 대하여, 위치 이벤트 시각(t)을 2 바이트, 이동 시간(△t)을 2 바이트, 이동 후의 좌표 위치 Pg(r, θ, φ)를 3 바이트〔극 좌표값〕로 한 계 7 바이트의 데이터로 할 수 있다.

또한, 시퀀스 입력 화면(C6)에서 입력되는 위치 이벤트 시퀀스의 내용은, 기본적으로는, 전술한 위치 시퀀스 트랙 정보(St)와 동일한 형식이지만, 좌표계는, 묘화 좌표계(유클리드계, 직교 좌표계) 혹은 극 좌표계 중의 어느 것을 이용해도 된다. 예를 들면, 1 위치 이벤트에 대하여, 위치 이벤트 시각 t= 2 바이트, 이동 시간 △t= 2 바이트, 이동 후의 좌표 위치 Pg(x, y, z)= 3 바이트〔직교 좌표값〕 혹은 Pg(r, θ, φ)= 3 바이트〔극 좌표값〕로 한 계 7 바이트의 데이터로 할 수 있다.

〔클라이언트 단말기에서의 처리〕

도 4는, 본 발명의 일 실시예에 의한 클라이언트 단말기에서 실행되는 3D 악곡 데이터 생성 처리를 나타내는 플로우 차트이다. 클라이언트 단말기(CL)에서는, 서버(SV)로부터 다운로드한 어플리케이션(Sl, C2:도 2)을 기동하면, CPU(1)는, 초기화를 행하고, 우선, 디스플레이(7)에 기동(탑) 화면을 표시하며, 이어서, 이 화면에서 요구한 원하는 악곡 리스트가 서버(SV)로부터 송신되어 오기 때문에(S2:도 2), 해당 악곡 리스트를 취득한다(스텝 C11). 이에 따라서, 키 기능 및 메뉴를 악곡 선택용으로 할당하고 (스텝 Cl2), 취득한 악곡 리스트를 악곡 선택 화면에 표시하고 (스텝 C13), 악곡 선택 화면에 대한 유저 조작을 대기한다(스텝 Cl4→NO).

여기서, 유저 조작에 의해 원하는 악곡을 선택하면(C14→YES), 선택된 악곡의 정보는 서버(SV)로 통지되며, 해당 선택 악곡에 대응하는 처리 항목이 서버(SV)로부터 송신되어 오는 (S3:도 2)것에 따라서, 키 기능 및 메뉴를 처리 선택용으로 할당함과 함께 (스텝 C15), 이들의 처리 항목을 처리 선택 화면에 표시하고 (스텝 C16), 처리 선택 화면에 대한 유저 조작을 대기한다(스텝 C17).

처리 선택 화면에 대한 유저 조작에 의해, 유저 자신이 수동 입력에 의해 스 스로 선택 악곡에 대한 위치 시퀀스의 입력 처리를 행하는 취지를 선택했을 때는(Cl7→YES),그 취지가 서버(SV)로 통지되고, 선택된 악곡의 내용을 나타내는 원 악곡 데이터가 서버(SV)로부터 송신되어 오기 때문에(S4:도 2), 해당 원 악곡 데이터를 수신하고 RAM부(2)의 원 악곡 기억 영역에 저장한다(스텝 C18). 클라이언트 단말기(CL)는, 이어서, 시퀀스 입력 처리(도 5)를 행하고, 수신한 원 악곡 데이터에 대하여 위치 시퀀스 데이터를 작성한다(스텝 C19). 그리고, 작성된 위치 시퀀스 데이터를 악곡 데이터의 악곡 ID와 함께 서버(SV)로 송신한다(스텝 C20).

한편, 처리 선택 화면에 대한 유저 조작에 의해, 서버(SV)에 미리 준비되어 있는 3D 템플릿중에서 소정의 3D 템플릿을 선택하고, 이 3D 템플릿에 따라서 선택 악곡을 3D 변환하는 취지를 선택했을 때에는(C17→NO), 그 취지가 서버(SV)로 통지되고, 선택된 악곡의 내용을 나타내는 원 악곡 데이터와 함께 선택된 3D 템플릿이 서버(SV)로부터 송신되어 오기 때문에(S4:도 2), 이들의 데이터를 수신하고 (스텝 C21), 악음 재생부(6-10) 및 디스플레이(7)의 템플릿 확인 화면에서 재생한다(스텝 C22). 그리고,이 템플릿 확인 화면에 의한 음상 위치의 이동 표시를 유저가 관찰하여 해당 3D 템플릿이 마음에 든 경우에는, 유저 조작에 의해 요해(OK)한 취지를 서버(SV)로 통지한다(스텝 C23).

즉, 서버(SV)에는, 청취 위치를 원점으로 하여 악곡의 음상 위치가, 예를 들면, 원점을 중심으로 하여 원 형상 또는 타원 형상으로 회전하는, 회전하면서 멀리서부터 서서히 원점에 가까워지고 다시 멀어지는, 좌우, 전후 또는 비스듬히 진자 형상, 곡선형상 또는 직선 형상으로 왕복 운동하는,‥,등등의 음상 이동 양태가 3D 템플릿으로서 준비되어 있고, 클라이언트 단말기(CL)에는, 템플릿 정보에 따라서 이들의 음상 이동 양태가 처리 선택 화면에 템플릿 선택지로서 표시된다. 따라서, 유저 조작에 의해 어느 것인가의 템플릿을 선택하면, 템플릿 확인 화면이 디스플레이(7)에 표시되며, 선택 악곡의 재생(악음 재생부(6-l0))에 맞춰서, 유저 조작에 의해 선택된 어느 것인가의 템플릿의 위치 시퀀스 데이터에 따라서 해당 악곡의 음상 위치가 템플릿 확인 화면 내로 이동 표시되므로, 유저의 희망에 매치한 3D 템플릿인지 아닌지를 확인할 수 있다.

서버(SV)는, 스텝 C20, C23에서의 통지에 따라서, 대응하는 3D 악곡 데이터 (Md)를 작성하여 3D 변환 완료된 파일로서 배신되기 때문에(S5:도 2), 클라이언트 단말기(CL)는, 이 3D 악곡 데이터(3D 변환 완료된 파일)(Md)를 취득하고 (스텝 C24), 이 3D 악곡 데이터를 다운로드 통지 화면(3D 화면)에 표시하고 그 음상 이동 내용을 확인한 후, 기억 수단(2,4)에 재생 가능하게 보존한다(스텝 C25).

또한, 기억 수단에 보존된 3D 악곡 데이터(Md)에 대해서는, 필요할 때에, 3D 악곡 재생 화면에서 3D 악곡의 선택 및 재생을 지시함으로써, 원하는 3D 악곡 데이터(Md)가 판독되며, 악음 재생부(6-10)를 통하여, 시퀀스 입력 처리 또는 선택된 3D 템플릿으로 지정된 위치 시퀀스에 따라서 음상 위치가 이동하도록 악곡을 재생할 수가 있으며, 또한, 해당 3D 악곡 데이터(Md)의 위치 시퀀스 트랙 정보(St)를 토대로, 악곡 재생에 맞춰 해당 악곡의 음상 위치를 디스플레이(7)의 3D 악곡 재생 화면(3D 화면)에 애니메이션적으로 이동 표시할 수도 있다 (스텝 C25').

또한, 3D 악곡 데이터의 보존 처리(C25) 후, 이 3D 악곡 데이터 생성 처리를 종료하는지의 여부가 유저에게 타진되고 (스텝 C26), 처리를 종료하지 않은 취지를 지시했을 때는(C26→NO), 원 악곡 선택 단계(C12)로 돌아가고, 새롭게 선택한 원 악곡에 대하여 전술한 스텝 C12∼C25의 동작을 반복한다. 그리고, 종료의 취지를 지시했을 때에는(C26→YES), RAM부(2)의 각종 데이터 기억 영역에 남아 있는 데이터를 모두 소거하여 이 3D 악곡 데이터 생성 처리를 종료한다.

〔시퀀스 입력 처리의 예〕

도 5는, 본 발명의 일 실시예에 의한 시퀀스 입력 처리, 즉, 도 4의 클라이언트 단말기(CL) 측에서의 3D 악곡 데이터 생성 처리에 있어서의 시퀀스 입력 처리(Cl9)의 구체 예를 나타내는 플로우 차트이다. 이 시퀀스 입력 처리에 이르러서는, 도 4의 스텝 C12, C15와 마찬가지로, 키 기능 및 메뉴를 시퀀스 입력 처리용에 할당하여 시퀀스 입력 화면이 표시되며, 유저는, 시퀀스 입력 화면을 이용하여 소정의 키 조작을 행함으로써, 자력 입력으로 원하는 위치 시퀀스 데이터를 작성할 수 있다.

도 6은, 휴대 전화용 단말기와 같은 클라이언트 단말기에 있어서, 입력 디바이스로서 이용되는 키의 전형적인 배치 예 및 숫자 키로의 기능 할당 예를 나타낸다. 도 6(l)의 키 배치 예에 도시한 바와 같이, 입력 디바이스(5)의 조작자로서는, 메뉴 등을 표시하기 위한 펑션 키로서 이용되는 「Fl」∼「F3」키, 「결정」 키, 그 상하 좌우의 「커서 이동」 키, 「온」 및 「오프」훅 키,「1」∼「9」,「*」,「0」,「#」의 숫자· 기호 키 등을 구비한다. 예를 들면, 악곡 선택 화면(C4)에서 원 악곡 리스트를 표시하거나 3D 악곡 재생 화면(C25')에서 3D 악곡의 선택이 나 재생을 지시할 때에는,「F1」 키로 메뉴를 표시하고, 커서 키로 메뉴 아이템을 선택하며,「결정」 키로 확정 조작을 행하는 식으로, 각 키에 소정의 기능이 할당된다.

또한, 시퀀스 입력 처리시에는, 「Fl」키에는 리트라이(retry), 「F2」키에는「모드 1」∼「 모드 3」의 모드 변경, 「F3」 키에는 원 악곡 재생의 진행을 그 조작시마다 순차적으로 기동/ 정지하는 플레이/스톱 기능,「*」키에는 시점 위치 변경, 이라고 하는 식으로 각 키에 소정의 기능이 할당된다. 또한, 시퀀스 입력 처리의 모드에는, 유클리드계(직교 좌표)에서 위치 이벤트를 순차적으로 입력(스텝)할 수 있는「모드 1」과, 극 좌표에서 위치 이벤트를 순차적으로 입력할 수 있는「모드 2」와, 점프나 이동 경로를 지시하는 임의의 자동 제어 처리(점프)로 모든 위치 이벤트를 입력하는「모드 3」(좌표계는 직교 좌표이거나 극 좌표가 좋다)가 있으며, 숫자 키에는, 도 6의 (2)에 도시한 바와 같이 각 모드 마다 소정의 기능이 할당된다.

도 7은, 클라이언트 단말기 디스플레이에 표시되는 시퀀스 입력 화면의 일례를 나타낸다. 클라이언트 단말기(CL)에서의 시퀀스 입력 처리 시에 디스플레이(7)에 표시되는 시퀀스 입력 화면은, 청취 위치 즉 사운드 시스템(10)의 헤드폰 위치 (Po)를 원점으로 표시한 좌표 그리드에 따라서 악곡의 청취 공간을 3차원적으로 모의 표시하는 것이다. 또한, 도 7은, 이해의 편의를 위해 청취 공간을 예시적으로 표현한 것이며, 예를 들면, 그리드의 메쉬는 간략화되어 있으며, 원점 및 정점의 좌표값〔단위는 m(미터)〕도 실제의 표시가 아니다 (단, 필요에 따라 표시해도 된 다). 또한, 청취 공간의 크기나 메쉬 사이즈는 임의의 척도로 설정된다.

유저는, 원 악곡을 재생하면서, 키 조작에 의해서, 악음의 음상을 나타내는 도형(간단히「음상」라고도 함) Pg를 시퀀스 입력 화면의 청취 공간 내로 이동시키는 것에 의해, 리얼 타임으로 음상 위치의 지정 및 제어를 행하며, 음상의 위치 이벤트를 시퀀셜로 결정하여 리얼 타임으로 기록하는 것이 가능하다. 이때, 시퀀스 입력 화면상에서 순차적으로 설정된 음상(Pg)의 궤적(x, y, z)은, 도 7에 도시한 바와 같이, 일정 시간 동안 페이드 아웃 표시되며, 예를 들면, 최신 설정된 위치까지의 일정 시간에 걸친 음상 Pg(x, y, z)를, 새로운 시점의 음상 위치일수록 짙게 표시하고 오래된 음상 위치일수록 옅게 표시한다. 또한, 앞서 설명한 다운로드 통지 화면이나 3D 악곡 재생 화면(C7, C25, C25')에 있어서도, 이러한 페이드 아웃 표시가 이루어진다.

키 조작과 위치 이벤트의 관계를 간단히 설명하면, 예를 들면, 모드 1에서는,「2」키를 조작할 때마다 전(+y) 방향으로 l 단위 거리만큼 이동하고,「4」키를 조작할 때마다 좌(-x) 방향으로 1단위 거리만큼 이동한다. 이와 같이, 「2」,「4」,「6」,「8」 키의 조작에 의하면, 스텝 바이 스텝으로 음상 위치를 지정해 갈 수 있으며, 이 타입의 위치 입력 방법은 "스텝"형이라고 불린다. 또한,「1」,「3」,「5」,「 7」,「9」 키를 조작하면, 그 시점에 지정되어 있던 현재 위치로부터 미리 정해진 형상의 이동 경로를 거쳐 소정의 위치로 점프할 수가 있으며, 이 경로는,「직선 형상」,「지그재그 형상」「랜덤(불규칙한 곡선 형상)」등 이동 궤적에 요동을 갖도록 별도 지정할 수 있다. 이 타입의 위치 입력 방법은, "점프" 형이라 고 불리고, 키 조작에 의한 지시에 따른 자동 제어 처리에 의해, 미리 정해진 위치 이벤트가 자동으로 작성된다. 또한,「0」키는, 키 기능의 좌표계를 변경하기 위해 설치되고,「0」키 조작마다,「1」∼「3」,「7」∼「9」키 조작에 의한 점프점 또는 이동 방향은 전후(+y.-y)와 상하(+z,-z)가 절환된다.

「F2」키를 한번 조작한 후의 모드 2에서는, 도 7 우측에 도시한 바와 같이, 위치 이벤트가 극 좌표 형식으로 입력된다. 예를 들면,「2」키를 조작할 때마다 앙각 φ을 + 방향(+z측)으로 1단위 각도만큼 변위하고,「4」키를 조작할 때마다 방위각 θ를 - 방향(x-y 평면 상을 우회전)으로 l 단위 각도만큼 변위하고, 「5」키를 조작할 때마다 원점으로부터 거리(r)를 - 방향(원점측)으로 1 단위 거리만큼 이동한다고 하는 식으로, 「2」,「4」∼「6」,「8」 키에 의해 "스텝"형으로 위치를 입력할 수 있다. 또한,「l」,「3」,「7」, 「9」 키를 조작하면, 모드 1과 마찬가지로, "점프"형으로 입력된다. 또한, 모드 1에서「O」키가 조작되어 전후와 상하가 절환된 경우, 이 절환 상태는 모드 2의「l」,「3」,「7」,「8」 키의 조작에 대해서도 유지된다. 예를 들면, 모드 1에서 「O」키 조작을 조작하여 「전후」로부터 「상하」로 절환한 후, 모드 2로 들어가 「1」키를 조작하면, 상(+z) 방향 좌측의 정점으로 점프한다.

더욱, 「F2」키를 조작하면 모드 3으로 들어간다. 이 모드는 자동 제어 모드라고도 불리고, 「1」,「3」,「7」,「9」 키의 조작에 의해 모드 1과 마찬가지로 점프할 뿐만 아니라, 다른 어떤 키를 조작해도, 도 6에 도시한 바와 같이 소정의 경로를 거쳐 소정의 위치에 도달하는 "점프"형으로 모든 위치 이벤트가 입력된다. 예를 들면, 「1」 키를 조작하면, 현재 위치에서 소정 형상의 이동 경로를 거쳐, 미리 이산적으로 정해진 특정한 좌표 위치(정점 또는 랜덤한 점) a∼d 중 하나의 좌표 위치 a로 점프하고, 「2」 키를 조작했을 때는, x-y 평면에 관해서 현재 위치(x, y, z)와 대칭적인 위치(x, y,-z)로 점프한다. 또한,「4」 키를 조작하면, x -y 평면과 평행한 면상을 z축을 중심으로 1 회전하여 현재 위치(x, y, z)로 되돌아가고, 「0」키 조작이 있으면, 원점(0, 0, 0)과 현재 위치(x, y, z)를 포함하는 임의의 평면 위를 소정 좌표 위치를 중심으로 하여 1 회전한 후, 재차, 현재 위치(×, y, z)로 되돌아간다.

그런데, 도 5의 시퀀스 입력 처리의 제1 스텝에서는, CPU(l)는, 시퀀스 입력 화면(도 7:3D 화면)에 대한 유저의 설정 조작에 따라서 음상(Pg)의 초기 위치를 설정한다(스텝 C31). 이때 설정된 음상 위치 Pg(x, y, z)는, 화면의 3D 청취 공간에 화상으로서 표시됨과 함께 단부의 현재 위치 표기 Dg에서 좌표값으로 표시되어 유저가 확인할 수 있다. 또한, 초기 위치 설정 스텝(C31)에서는, 모드 1 또는 모드 2로 「*」 키를 조작한 후, 숫자 키(2,4,6,8.0)의 조작으로 시점 위치를 변경하고 「결정」키로 확정하여 좌표 그리드의 시점 위치를 변경할 수 있다.

다음으로, 「F3」키 조작으로 처리를 개시하고, 음상 위치 이벤트의 이동 시간 (Δt)을「0」으로 리세트하여, 설정된 음상 초기 위치 Pg(x, y, z)및 시간 정보( 절대 시간 t=「0」, 이동 시간 Δt=「0」)를 RAM부(2)의 위치 이벤트 기억 영역에 최초의 위치 이벤트로서 기록함과 함께 (스텝 C32), RAM부(2)의 원 악곡 기억 영역으로부터 원 악곡 데이터를 판독하여 악음 출력부(6-10)를 통하여 재생을 개시 한다(스텝 C33). 또한, 이어서 「F3」키를 조작함으로써 원 악곡의 재생을 일시 정지할 수가 있으며, 더욱 「F3」키를 조작함으로써 원 악곡의 재생을 재개할 수 있다. 한편, 원 악곡의 재생 정지중은 계시 동작은 정지하고, 재생 재개로 다시 계시 동작을 개시한다.

이어서 위치 이벤트에 관한 유저의 입력 조작이 있었는지의 여부를 판정하고 (스텝 C34), 위치 입력 조작이 없을 때는 (C34→NO), 원 악곡의 재생이 없을 때는 (스텝 C35→NO) 입력 조작 판정 스텝(C34)으로 되돌아간다. 그리고, 위치 입력 조작이 있었을 때는 (C34→YES), 전회의 위치 입력 조작 시점(시퀀스 입력 처리의 개시 당초는「F3」키에 의한 개시 조작 시점)부터 해당 위치 입력 조작 시점까지의 경과 시간으로 음상 위치 이벤트의 이동 시간 (Δt)을 갱신한 뒤(스텝 C36), 위치 이벤트에 관한 입력 조작의 종별 판정을 행한다 (스텝 C37).

여기서, 입력 조작의 종별이 "스텝"(순차)형 위치 입력일 때에는(C37→YES), 입력 조작에 기초한 이동 내지 변위량에 따라서 음상의 현재 위치 Pg(x, y, z)를 갱신하고 (스텝 C38), 갱신 후의 음상 현재 위치 Pg(x, y, z)와 그 시간 정보(원 악곡 데이터의 재생 개시로부터의 절대 시간 (t) 및 이동 시간(Δt))로 이루어지는 위치 이벤트를 생성하고, 이것을 RAM부(2)의 위치 이벤트 기억 영역에 기록한다(스텝 C39).

한편, 입력 조작의 종별이 "점프"(자동 제어)형 위치 입력일 때에는(C37→NO), 입력 조작에 의해 지정되는 이동 내용에 따라서, 음상이 이동하는 경로를 자동 제어하고, 해당 경로에 상당하는 대표적인 복수의 좌표 위치와 이들의 시간 정 보(경과 시간 Δt로부터 산출한 각 좌표 위치 통과 시점을 나타내는 절대 시간 및 상대적 이동 시간)로 이루어지는 일련의 위치 이벤트를 생성하고, 이것을 RAM부(2)의 위치 이벤트 기억 영역에 순차적으로 기록한다(스텝 C40). 또한, "점프"(자동 제어) 형 위치 입력으로 음상 위치를 이동할 때의 이동 속도는, 등속도라도 되고, 등가속도(가속 방향, 감속 방향)라도 되며, 등가속도의 장소에 있어서의 가속과 감속의 정도는 같지 않아도 된다. 또한, 이미 설명한 바와 같이, 이동 궤적에는, 지그재그 경로나 랜덤 한 요동 등, 요동을 갖게 하더라도 좋다.

또한, 새로운 위치 이벤트가 기록되었을 때에는(C39, C40), 도 7의 화면에 도시한 바와 같이, 최신의 음상 위치(Pg)로부터 일정 시간 전까지의 음상을 3D 청취 공간 내에 화상으로서 페이드아웃 표시함과 함께, 화면 단부의 현재 위치 표기(Dg)로 최신 음상 위치의 좌표값 Pg(x, y, z)를 표시한다. 이러한 위치 입력 조작에 기초한 위치 이벤트의 기록 처리가 있으면 (C39, C40), 즉각, 이동 시간(Δt)을「0」값으로 리세트하여 (스텝 C41), 위치 입력 조작 검출 단계(C34)로 돌아가고, 원 악곡 데이터의 재생이 종료하지 않은 동안은(C35→NO), 전술한 스텝 C34∼C41의 동작을 반복하고, 위치 이벤트 기억 영역에 원 악곡 데이터 1곡 분량의 위치 이벤트를 기록하여 위치 시퀀스 데이터를 완성할 수 있다.

그리고 위치 입력 조작이 없고 (C34→NO) 더구나 원 악곡 데이터의 재생이 종료되었을 때에는(C35→YES),「리트라이(retry)」를 지시하는 조작이 이루어졌는가의 여부를 판정한다(스텝 C42). 즉, 원 악곡 데이터의 재생 종료시에는, 펑션 키(F2, F3)의 기능 할당이 변경되고,「F2」키에는 리플레이(replay) 기능이 할당되 며,「F3」키에는「(스텝 C13으로)되돌아가기」기능이 할당되도록 되어 있으며, 이 스텝(C42)에서「F1」의 유저 조작에 의하여 리트라이(retry)를 지시했는지의 여부를 판정한다. 그래서 리트라이의 지시가 있었을 때는(C42→YES), 펑션 키(F2, F3)의 기능 할당을 원상 복귀한 후, 스텝 C3l로 돌아가, 재차, 스텝 C31∼C42의 동작을 반복하여 동일한 원 악곡 데이터에 관하여 새로운 위치 시퀀스 데이터를 작성한다.

또한, 리트라이 지시가 아니라「F2」키 조작에 의한 리플레이(replay)의 지시가 있었을 때에는(C42→NO), 이 시퀀스 입력 처리를 종료하고, 도 4의 스텝 C20으로 리턴하여, 서버(SV)에 원 악곡 데이터의 악곡 ID와 위치 시퀀스 데이터를 송신하고 3D 악곡 데이터로의 변환을 리퀘스트한다. 또한, 도시하지는 않았지만, 「F3」키 조작에 의한「되돌아가기」지시가 있었을 때에도, 이 시퀀스 입력 처리를 종료하고, 즉각, 도 4의 스텝 C13(도 2의 스텝 C4에 상당)으로 되돌아가 새로운 원 악곡 데이터를 선택할 수 있다.

〔서버측의 처리〕

도 8은, 본 발명의 일 실시예 에 의한 서버측의 악곡 데이터 생성 처리를 나타내는 플로우 차트이며, 이 처리 플로우는, 특히, 도 2의 3D 변환 스텝(S5)에서, 유저 독자의 위치 시퀀스에 기초하여 실행되는 3D 악곡 변환 동작의 보다 상세한 수순을 나타낸다. 서버(SV)는, 원 악곡 데이터베이스(DB)에 다수의 원 악곡 데이터를 축적하고 있으며, 유저 관리 데이터 파일에는, 클라이언트 단말기(CL)의 기종에 관한 여러 가지 정보나 유저 ID, 유저 어드레스 등의 단말기 정보를 기억하고 있 다. 또한, 이들의 원 악곡 데이터는, 이미 설명한 바와 같이, MIDI 형식 혹은 MIDI 형식과 유사한 이벤트 형식으로 악음을 나타내는 이벤트 시퀀스 데이터, 혹은, ADPCM 등의 부호화 형식으로 악음 파형을 나타내는 오디오 신호 데이터이다.

그런데, 서버(SV)는, 3D 변환 대상이 되는 원 악곡 데이터의 악곡 ID와 위치 시퀀스 데이터를 클라이언트 단말기(CL)로부터 수신하여 3D 악곡으로의 데이터 변환의 리퀘스트를 접수하면, 우선, 수신한 악곡 ID 및 위치 시퀀스 데이터, 클라이언트 단말기(CL)의 기종, 해당 클라이언트 단말기(CL)의 유저 어드레스 등의 리퀘스트 내용을 확인한다(스텝 Sl1). 다음으로, 해당 악곡 ID에 의해 특정되는 원 악곡 데이터를 원 악곡 데이터베이스(DB)로부터 판독하고 (스텝 S12), 또한, 유저 관리 데이터 파일로부터 해당 클라이언트 단말기(CL)의 단말 정보를 판독한다(스텝 Sl3). 여기서, 판독되는 단말기 정보에는, 음량 밸런스 등의 보정 정보가 포함된다.

다음으로, 수신한 위치 시퀀스 데이터의 좌표계를 음향용 좌표계로 변환한다 (스텝 Sl4). 그리고, 원 악곡 데이터의 데이터 부분을 악음 트랙 정보(Mt)로 하고, 위치 시퀀스 트랙을 추가한다(스텝 S15). 이어서, 좌표계의 변환이 이루어진 위치 시퀀스 데이터를 위치 시퀀스 트랙에 기록하여 위치 시퀀스 트랙 정보(St)로 하고, 원 악곡 데이터의 헤더 부분에 필요한 정보를 추가한 것을 헤더 정보(Hd)로서 부가함으로써, 원 악곡 데이터를 입체 음상 변화 효과 부여 악곡 데이터로 변환한다(스텝 S16). 또한, 악음 트랙 정보(Mt)가 복수 채널로 구성되는 경우, 위치 시퀀스 트랙 정보(St)에 대응되는 악곡 채널은 고정된 것으로 한다 (예를 들면, 멜로디 파트 의 채널). 한편, 원 악곡 데이터가 이벤트 시퀀스 데이터 형식인 경우는, 서버(SV)측의 음원 회로에 의해, 원 악곡 데이터에 기초하여 대응하는 오디오 신호 데이터를 생성하고, 생성된 오디오 신호 데이터를 악음 트랙 정보(Mt)로 치환한다.

이어서, 변환된 입체 음상 변화 효과 부여 악곡 데이터에 대하여, 음량 밸런스 등을 조정하는 밸런스 보정을 행한다(스텝 S17). 즉, 3D 악곡 변환을 리퀘스트한 클라이언트 단말기(CL)에 실장되어 있는 DSP의 사양에 따라서는, 3D 음향 효과를 부여한 채널의 볼륨이, 3D 음향 효과가 부여되지 않은 다른 채널의 볼륨보다도 내려가는 경우가 있다. 그 때문에, 유저 단말기의 기종 정보로부터 음량 밸런스 등의 보정 정보를 취득하고, 이 보정 정보에 따라서 악음 트랙 정보(Mt)의 각 채널의 볼륨 보정을 행함으로써, 클라이언트 단말기에 최적화한 음량 밸런스를 재현한다.

이에 의해, 밸런스 보정이 이루어진 오디오 신호 데이터로 구성되는 악음 트랙 정보(Mt)와, 좌표계의 변환이 이루어진 위치 시퀀스 데이터로 구성되는 위치 시퀀스 트랙 정보(St)로 이루어지는 3D 악곡 데이터(Md)를 생성한다(스텝 Sl8). 그리고, 생성된 3D 악곡 데이터(Md)를 해당 클라이언트 단말기(CL)에 배신하면 (스텝 S19), 해당 리퀘스트에 대한 악곡 데이터 생성 처리를 종료하고, 새로운 리퀘스트의 접수 단계로 리턴한다.

〔여러 가지의 실시 양태〕

이상, 본 발명의 적합한 일 실시예에 대하여 설명했지만, 이것은 단순한 일례이고, 본 발명은, 발명의 정신을 일탈하지 않은 범위에서 여러 가지 변경이 가능하고, 여러 가지 양태로 실시할 수 있다. 예를 들면, 실시예에서는, 서버측에서 ADPCM 형식 등의 오디오 신호 데이터로 변환한 3D(입체 음향 부여) 악곡 데이터를 제공하도록 했지만, 3D 변환 기능을 클라이언트 단말기측에 갖게 하여, 클라이언트 단말기 상에서 변환을 행하도록 하여도 된다.

실시예에서는, 원 악곡 데이터를 서버로부터 송신하도록 했지만, 클라이언트 단말기에 보존하고 있는 악곡 데이터를 원 악곡 데이터로서 이용할 수 있다. 이 경우, 작성된 위치 시퀀스와 함께 서버로 송신하여 3D 변환을 리퀘스트하도록 해도 되며, 전술된 바와 같이, 클라이언트 단말기 상에서 3D 변환을 행하도록 하여도 된다.

변환후의 3D 악곡 데이터의 악곡 트랙 정보(Mt)는, ADPCM 형식으로 국한하지 않는다. 다른 형식의 디지털 오디오 신호 데이터여도 되며, MIDI 등의 이벤트 시퀀스 데이터 형식이어도 된다. 또한, MIDI 등의 이벤트 시퀀스 데이터 형식의 악곡 트랙 정보를 갖는 3D 악곡 데이터인 경우, 클라이언트 단말기에서, 실시간으로 오디오 신호 데이터를 작성하여 3D 음향 효과를 부여하는 것은, 처리량적으로 곤란할 수가 있기 때문에, 3D 악곡 데이터의 이용에 앞서서 미리, 이벤트 시퀀스 데이터 형식의 악곡 트랙 정보를 대응하는 오디오 신호 데이터 형식의 악곡 트랙 정보로 치환해 두는 것이 바람직하다.

위치 시퀀스 트랙 정보(St)에 의한 3D 효과는, 복수 채널의 악곡 트랙 정보(Mt)에 부가할 수 있다. 예를 들면, 미리 특정한 악곡 채널에 3D 음향 효과가 부가되어 있는 3D 악곡 데이터의 다른 악음 채널에 동일한 3D 효과를 부가하도록 해도 된다. 또한, 1개의 원 악곡 데이터에 대하여 복수회 위치 시퀀스를 입력하고, 각 위치 시퀀스에 의해 원 악곡 데이터의 각 채널에 3D 변환을 가해도 된다.

3D 효과가 이미 부가되어 있는 3D 악곡 데이터를 재생하면서, 그 위치 시퀀스 트랙을 수정하도록 하여도 된다. 예를 들면, 3D 효과가 부여된 3D 악곡 데이터를 재생 중에 위치 시퀀스의 입력이 있으면, 기존의 위치 시퀀스로부터의 상대 변위로 위치 시퀀스를 갱신하도록 하여도 된다.

3D 악곡 데이터로의 변환을 행할 때, 연속하는 3 이상의 위치 변위의 궤적이 원점을 지나는 평면상에서 단조 변화할 경우에는, 2점간의 이동으로 치환하고, 데이터량의 압축을 도모하도록 해도 된다. 혹은, 시간 분해능을 떨어뜨려 데이터를 씨닝하여도 된다.

과금 처리에 대해서는, 실시예에서는 설명하지 않았지만, 임의의 시점에서 과금을 행할 수 있다. 예를 들면, 변환 후의 3D 악곡 데이터를 다운로드하고, 클라이언트 단말기 상에서 재생 가능하게 기록하는(즉, 클라이언트 단말기의 데이터 라이브러리에 등록한다)시점에서 과금 처리를 행하도록 하여도 된다. 이 경우, 3D 악곡 데이터의 다운로드에 대한 과금과, 원 악곡 데이터로부터 3D 악곡 데이터로의 변환에 대한 과금을 나누어도 된다. 예를 들면, 이미 과금 처리가 실행되어 클라이언트 단말기에 보존되어 있는 악곡 데이터를 변환하는 경우에는, 악곡 데이터 자체에 대한 재과금은 행하지 않고 변환 처리에 대해서만 추가 과금을 행한다.

본 발명에 의한 악곡 데이터 생성 시스템에서는, 서버(SV)는, 통신 수단(8)으로부터 인터넷 등의 통신 네트워크(CN)를 통하여, 통신 기능 및 악곡 재생 기능 을 갖는 휴대 전화용 단말기(CLa)나 퍼스널 컴퓨터(CLb) 등의 클라이언트 단말기 (CL)간에 송수신가능하고, 3차원(3D) 음향 특성 부여 악곡 데이터(3D 악곡 데이터 Md)의 토대로 되는 복수의 악곡 데이터(원 악곡 데이터)를 축적하는 원 악곡 축적 수단(DB)을 구비하고, 클라이언트 단말기(CL)로부터의 요구에 따라서 원 악곡 데이터를 송신하거나, 원 악곡 데이터를 3차원 음향 특성 부여 악곡 데이터(3D 악곡 데이터 Md)로 변환하여 클라이언트 단말기(CL)로 배신할 수 있다.

우선, 서버(SV)로부터 클라이언트 단말기(CL)에 원 악곡 데이터가 송신되면(S4), 클라이언트 단말기(CL)는, 수신된 원 악곡 데이터의 진행에 대응하여, 유저 조작에 따라서 가상적인 음상 위치(Pg)가 되는 3차원(3D) 위치 좌표를 순차적으로 지시하고, 지시된 일련의 좌표 위치를 기억 수단에 기록해 간다(C6, C19, C34∼C41). 이 경우, 좌표 위치의 입력 방법에는, 실제의 좌표 위치를 연속적으로 순차 입력해 가는 제1 방법(C38)과, 유저 조작에 의해 지시되는 이동 양태에 따라서 좌표 위치를 입력하는 제2 방법(C40)이 있으며, 어느 하나의 방법 혹은 양쪽 방법을 병용할 수 있다.

클라이언트 단말기(CL)는, 이와 같이 하여 1개의 악곡 데이터에 대응하여 일련의 좌표 위치(Pg)를 입력하면(C38, C40), 이 입력에 대응하여 기록된 일련의 좌표 위치를 위치 시퀀스 데이터로서 서버(SV)로 송신하고(S20), 서버(SV)는, 수신된 위치 시퀀스 데이터를 원 악곡 데이터에 부가하여 3차원 음향 특성 부여 악곡 데이터(Md)를 생성하고(S14∼S18), 이 3D 악곡 데이터를 클라이언트 단말기(CL)에 배신한다(S19). 그리고, 클라이언트 단말기(CL)는, 서버(SV)로부터 취득한 3차원 음향 특성 부여 악곡 데이터(Md)를 보존해 두고, 필요시에 입체 음향으로 재생할 수 있다. 예를 들면, 클라이언트 단말기(CL)가 휴대 전화용 단말기(CLa)인 경우에는, 마치 스피커 위치를 뛰어넘어 자유롭게 음이 날아오는 것 같이 들리는 착신 통지음(착신 멜로디) 등으로서 이용할 수 있다.

따라서, 본 발명에 따르면, 클라이언트 단말기에 있어서 유저에 의한 위치 지정 조작에 기초하여 가상 음원 위치(3D 위치 정보)를 기록함으로써 3차원 음향 특성 부여 악곡 데이터를 생성하도록 하고 있기 때문에, 유저 독자의 3차원 음향 특성 부여 음악 콘텐츠를 생성할 수 있다. 또한, 악곡 데이터의 어레인지를 행하는 것은 아니고, 가상 음원 위치를 자유롭게 지정할 수 있다. 또한, 원 악곡 데이터를 재생하면서, 유저에 의해 임의의 가상 음원 위치를 지정하도록 하고 있기 때문에, 3D 악곡 데이터를 그 악곡에 매치한 입체 음향으로 재생할 수 있다. 또한, 좌표 위치의 시퀀스 입력에는 2가지의 방법이 준비되어 있기 때문에, 위치의 지정이 곤란한 경우에는, 미리 준비해 둔 제2 방법에 의한 자동 기능에 따라서 위치 시퀀스를 생성할 수 있다.

Claims (4)

1. 통신 네트워크를 통하여 통신 가능하게 접속되는 서버 및 클라이언트 단말기로 이루어지는 시스템으로서,

   서버는,

   복수의 악곡 데이터를 축적하는 원 악곡 축적 수단과,

   상기 원 악곡 축적 수단으로부터 악곡 데이터를 판독하는 원 악곡 판독 수단과,

   클라이언트 단말기로부터 위치 시퀀스 데이터를 수신하는 시퀀스 수신 수단과,

   상기 악곡 판독 수단에 의해 판독된 악곡 데이터에 상기 위치 시퀀스 데이터를 부가함으로써, 3차원 음향 특성으로써 재생 가능한 위치 시퀀스 부여 악곡 데이터를 생성하는 3차원 악곡 생성 수단과,

   상기 위치 시퀀스 부여 악곡 데이터를 클라이언트 단말기로 송신하는 3차원 악곡 송신 수단을 구비하며,

   클라이언트 단말기는,

   유저 조작에 기초하여 가상적인 음상의 위치 좌표를 순차적으로 입력하는 시퀀스 입력 수단과,

   입력된 일련의 위치 좌표를 위치 시퀀스 데이터로서 기록하는 시퀀스 기록 수단과,

   기록된 위치 시퀀스 데이터를 서버로 송신하는 시퀀스 송신 수단과,

   위치 시퀀스 부여 악곡 데이터를 서버로부터 수신하는 3차원 악곡 수신 수단과,

   수신된 위치 시퀀스 부여 악곡 데이터를 재생 가능하게 기억하는 3차원 악곡 기억 수단과,

   기억된 위치 시퀀스 부여 악곡 데이터를 3차원 음향 특성으로써 재생하는 3차원 악곡 재생 수단

   을 구비하는 것을 특징으로 하는 악곡 데이터 생성 시스템.
2. 제1항에 있어서,

   서버는, 또한 클라이언트 단말기로부터의 리퀘스트에 따라서 상기 악곡 판독 수단에 의해 판독된 악곡 데이터를 클라이언트 단말기로 송신하는 원 악곡 송신 수단을 구비하며,

   클라이언트 단말기는, 또한

   악곡 데이터를 요구하는 리퀘스트를 서버로 송신하는 리퀘스트 송신 수단과,

   송신된 리퀘스트에 따라서 서버로부터 송신되어 오는 악곡 데이터를 수신하는 원 악곡 수신 수단과,

   수신된 악곡 데이터를 재생 가능하게 기억하는 원 악곡 기억 수단을 구비하며,

   상기 시퀀스 입력 수단에 의한 위치 좌표의 입력은, 상기 원 악곡 기억 수단 에 기억된 악곡 데이터의 재생과 병행하여 행해지는 것을 특징으로 하는 악곡 데이터 생성 시스템.
3. 제1항 또는 제2항에 있어서,

   상기 시퀀스 입력 수단은, 유저 조작에 의해 순차적으로 지시되는 좌표 위치를 연속적으로 입력하는 제1 입력 수단, 및 / 또는, 유저 조작에 의해 지시되는 이동 양태에 따른 좌표 위치 계열을 생성하여 입력하는 제2 입력 수단을 구비하는 것을 특징으로 하는 악곡 데이터 생성 시스템.
4. 통신 네트워크를 통하여 서버에 통신 가능하게 접속되는 컴퓨터에게,

   악곡 데이터를 요구하는 리퀘스트를 서버로 송신하는 리퀘스트 송신 스텝과,

   송신된 리퀘스트에 따라서 서버로부터 송신되어 오는 악곡 데이터를 수신하는 원 악곡 수신 스텝과,

   원 악곡 수신 스텝에서 수신된 악곡 데이터를 재생 가능하게 기억하는 원 악곡 기억 스텝과,

   원 악곡 기억 스텝에서 기억된 악곡 데이터를 재생함과 함께, 유저 조작에 의해 순차적으로 지시되는 좌표 위치를 연속적으로 입력함으로써, 및 / 또는, 유저 조작에 의해 지시되는 이동 양태에 따른 좌표 위치를 입력함으로써, 가상적인 음상의 위치 좌표를 순차적으로 입력하는 시퀀스 입력 스텝과,

   시퀀스 입력 스텝에서 입력된 일련의 위치 좌표를 위치 시퀀스 데이터로서 기록하는 시퀀스 기록 스텝과,

   기록된 위치 시퀀스 데이터를 서버로 송신하는 시퀀스 송신 스텝과,

   리퀘스트 송신 스텝에서 송신된 리퀘스트에 대응하는 악곡 데이터에 상기 위치 시퀀스 데이터를 부가함으로써 생성된, 3차원 음향 특성으로써 재생 가능한 위치 시퀀스 부여 악곡 데이터를 서버로부터 수신하는 3차원 악곡 수신 스텝과,

   3차원 악곡 수신 스텝에서 수신된 위치 시퀀스 부여 악곡 데이터를 재생 가능하게 기억하는 3차원 악곡 기억 스텝과,

   3차원 악곡 기억 스텝에서 기억된 위치 시퀀스 부여 악곡 데이터를 3차원 음향 특성으로써 재생하는 3차원 악곡 재생 스텝으로 이루어지는 수순을 실행시키기 위한 악곡 데이터 생성 프로그램을 저장한 컴퓨터 판독 가능 기록 매체.

Images