KR101453177B1

KR101453177B1 - 믹싱 데이터 배신 서버

Info

Publication number: KR101453177B1
Application number: KR1020127024457A
Authority: KR
Inventors: 슈이치 마츠모토
Original assignee: 야마하 가부시키가이샤
Priority date: 2010-03-19
Filing date: 2011-03-17
Publication date: 2014-10-22
Also published as: WO2011115210A1; KR20120128142A; JP2011197344A; JP5544961B2; CN102822887A; CN102822887B

Abstract

본 발명은 통신 시간을 증대시키지 않고 음성과 악음을 각각 축적할 수 있는 서버를 제공한다. 가창자의 가창음만, 노래방 연주의 동기 정보와 함께 음성 데이터(가창 파일)로서 센터에 업로드한다. 동기 정보에는 적어도 음성 데이터의 녹음 시에 연주하고 있었던 노래방 악곡에 있어서의 템포 및 볼륨 정보가 기재되어 있다. 센터는 가창 파일을 재생해서 가창 음성 신호를 생성함과 함께, 동기 정보에 기재되어 있는 템포, 볼륨으로 노래방 연주를 행하여 악음 신호를 생성한다. 생성한 가창 음성 신호 및 악음 신호를 믹싱함으로써, 새로운 음성 데이터(믹싱 데이터)를 생성한다.

Description

믹싱 데이터 배신 서버{MIXING DATA DELIVERY SERVER}

본 발명은 음성과 악음을 믹싱한 음성 데이터를 배신하는 서버에 관한 것이다.

종래, 노래방 장치로 녹음한 가창음 및 악음으로 이루어지는 음성 데이터를 서버에 업로드하고, 서버가 음성 데이터를 각 유저에게 배신하는 시스템이 제안되어 있다(특허문헌 1을 참조). 특허문헌 1에는 각 유저가 배신된 음성 데이터의 가창음 및 악음을 청취하여 채점을 행함으로써, 노래방 콩쿠르를 실시하는 것이 기재되어 있다.

일본 특허 공개 2007-121550호 공보

특허문헌 1의 시스템에서는 가창음 및 악음이 이미 믹싱된 1개의 음성 데이터로서 서버에 축적된다. 따라서, 나중에 가창음과 악음의 믹싱 밸런스를 조정할 수 없다. 나중에 가창음과 악음의 믹싱 밸런스를 조정하기 위해서는, 가창음과 악음을 각각의 음성 데이터로서 업로드하는 것도 생각할 수 있지만, 가창음과 악음을 각각 업로드하면, 종래의 2배 이상의 통신 시간이 걸린다고 하는 문제가 발생한다.

이에, 본 발명은 통신 시간을 증대시키지 않고 음성과 악음을 각각 축적할 수 있는 서버를 제공하는 것을 목적으로 한다.

본 발명의 믹싱 데이터 배신 서버는 수신 수단, 기억 수단, 음성 데이터 생성 수단 및 배신 수단을 구비하고 있다. 수신 수단은 가창자의 음성 데이터 및 상기 가창자의 음성 데이터의 노래방 연주와의 동기 정보를 수신한다. 기억 수단은 수신한 가창자의 음성 데이터 및 동기 정보를 기억한다. 또한, 기억 수단은 노래방 연주를 행하기 위한 악곡 데이터도 기억하고 있다.

음성 데이터 생성 수단은 기억 수단으로부터 판독한 음성 데이터를 재생함과 함께, 동기 정보에 기초하여 악곡 데이터를 판독하여 자동 연주를 행한다. 그리고, 음성 데이터 생성 수단은 재생한 음성 데이터에 기초하는 음성 및 자동 연주에 의한 악음을 믹싱해서 믹싱 데이터를 생성한다. 생성된 믹싱 데이터가 각 단말기에 배신되어, 유저가 청취 가능한 상태로 된다.

이와 같이, 가창자의 가창음을 노래방 연주음의 동기 정보와 함께 음성 데이터로서 서버에 업로드하고, 악음에 대해서는 서버측에서 동기 정보에 기초하여 악곡 데이터를 자동 연주함으로써 생성하고, 음성 데이터의 재생음과 믹싱해서 믹싱 데이터(가창음과 악음으로 이루어지는 완전 데이터)를 생성한다. 따라서, 가창음의 음성 데이터를 업로드하는 것 만으로, 음성과 악음을 각각 서버측에 축적하게 되어, 업로드에 필요한 시간은 종래와 변함이 없다.

또한, 동기 정보에는 음성 데이터의 녹음 시에 연주하고 있었던 노래방 악곡에 있어서의 템포 및 볼륨 정보가 기재되어 있는 형태이어도 좋다. 이에 의해, 나중에 가창음의 음성 데이터를 재생했을 때, 이 가창음에 동기한 노래방 연주가 행하여진다.

또한, 음성 데이터는 복수의 음성 데이터로 이루어지며, 동기 정보는 상기 복수의 음성 데이터 각각의 재생 타이밍을 나타내는 정보가 포함되는 형태이어도 좋다. 예를 들어, 듀엣곡이면 가창자는 듀엣 파트의 가창을 행하고, 1곡 안에서 가창을 행하는 시간대가 정해져 있기 때문에, 가창 파일을 복수로 분할하는 것도 가능하다. 이 경우, 동기 정보에 연주 개시로부터의 시간 경과를 나타내는 정보 혹은 델타 타임을 기재해 두고, 재생 시에 이 정보를 참조하여 각 가창 파일을 재생하는 것으로도 가창음에 동기한 노래방 연주를 행할 수 있다.

또한, 생성한 믹싱 데이터는 기억 수단에 유지해 두어도 좋다. 이 경우, 동시 다수에 배신 리퀘스트가 있었던 경우에도, 바로 배신 가능하게 된다. 이 경우에 있어서도, 가창음의 음성 데이터는 기억 수단에 유지되어 있기 때문에, 나중에 믹싱 밸런스를 변경할 수 있다.

또한, 동기 정보에는 이펙트 파라미터가 포함되어 있으며, 음성 데이터 생성 수단이 자동 연주에 의한 악음의 믹싱을 행할 때에, 그 이펙트 파라미터의 설정을 반영시키는 형태이어도 좋다. 이에 의해, 가창음의 녹음 시에 설정하고 있었던 이펙트를 노래방 연주에 반영시킬 수 있어, 믹싱 데이터의 배신을 받는 유저는 보다 현장감이 있는 연주를 즐기는 것이 가능하다.

본 발명에 의하면, 통신 시간을 증대시키지 않고 음성과 악음을 각각 서버에 축적할 수 있다.

도 1은 노래방 시스템의 구성을 나타내는 블록도이다.
도 2는 노래방 장치의 구성을 나타내는 블록도이다.
도 3은 각종 데이터의 구조를 나타내는 도면이다.
도 4는 센터의 구성을 나타내는 블록도이다.
도 5는 WEB 상에 표시되는 가창 파일의 일람의 예를 나타낸 도면이다.
도 6은 유저 PC의 구성을 나타내는 블록도이다.
도 7은 가창 파일 등록 시의 동작을 설명하는 흐름도이다.
도 8은 듀엣 배신 시의 동작을 설명하는 흐름도이다.

도 1은 믹싱 데이터 배신 시스템의 구성을 나타내는 도면이다. 믹싱 데이터 배신 시스템은 인터넷 등으로 이루어지는 네트워크(2)를 통해서 접속되는 센터(서버, 믹싱 데이터 배신 서버)(1)와, 복수의 노래방 점포(3)와, 복수의 유저 PC(4)로 이루어진다. 각 노래방 점포(3)에는 네트워크(2)에 접속되는 라우터 등의 중계기(5)와, 중계기(5)를 통해서 네트워크(2)에 접속되는 복수의 노래방 장치(7)가 설치되어 있다. 중계기(5)는 노래방 점포의 관리실 내 등에 설치되어 있다. 복수대의 노래방 장치(7)는 각각의 룸(방)에 1대씩 설치되어 있다. 유저 PC(4)는 일반적인 가정용 퍼스널 컴퓨터이다.

본 실시 형태의 믹싱 데이터 배신 시스템이란, 미리 어떤 가창자가 노래방 장치(7)로 가창한 음성을 녹음해서 가창 파일(압축 음성 데이터)로서 센터(1)에 업로드해 두는 것이다. 그리고, 센터(1)가 각 유저 PC(4)의 리퀘스트에 따라서 가창 파일을 재생하고, 재생하는 가창 파일에 동기해서 노래방 연주를 행하고, 가창음과 악음을 믹싱한 믹싱 데이터(압축 음성 데이터)를 생성해서 유저 PC(4)에게 배신하는 것이다. 이하, 이 믹싱 데이터 배신 시스템을 실현하기 위한 각 구성 및 동작에 대해서 설명한다.

도 2는 노래방 장치의 구성을 나타내는 블록도이다. 노래방 장치(7)는 장치 전체의 동작을 제어하는 CPU(11) 및 CPU(11)에 접속되는 각종 구성부로 이루어진다. CPU(11)에는 RAM(12), HDD(13), 네트워크 인터페이스(I/F)(14), 조작부(15), A/D 컨버터(17), 음원(18), 믹서(이펙터)(19), MPEG 등의 디코더(22) 및 표시 처리부(23)가 접속되어 있다.

HDD(13)는 노래방 곡을 연주하기 위한 악곡 데이터나 모니터(24)에 배경 영상을 표시하기 위한 영상 데이터 등을 기억하고 있다. 영상 데이터는 동화상, 정지 화상의 양쪽을 기억하고 있다.

워크 메모리인 RAM(12)에는 CPU(11)의 동작용 프로그램을 실행하기 위해서 판독하는 에리어나 노래방 곡을 연주하기 위해서 악곡 데이터를 판독하는 에리어 등이 설정된다.

CPU(11)는 기능적으로 시퀀서를 내장하고 있다. 시퀀서는 HDD(13)에 기억되어 있는 악곡 데이터를 판독하여 노래방 연주를 실행하는 프로그램이다. 도 3의 (A)에 나타내는 바와 같이, 악곡 데이터는 곡 번호 등이 기입되어 있는 헤더, 연주용 MIDI 데이터가 기입되어 있는 악음 트랙, 가이드 멜로디용 MIDI 데이터가 기입되어 있는 가이드 멜로디 트랙, 가사용 MIDI 데이터가 기입되어 있는 가사 트랙, 백 코러스 재생 타이밍 및 재생해야 하는 음성 데이터가 기입되어 있는 코러스 트랙 등으로 이루어져 있다. 시퀀서는 악음 트랙이나 가이드 멜로디 트랙의 데이터에 기초하여 음원(18)을 제어하여 노래방 곡의 악음을 발생시킨다. 또한, 시퀀서는 코러스 트랙이 지정하는 타이밍에서 백 코러스의 음성 데이터(악곡 데이터에 부수되어 있는 MP3 등의 압축 음성 데이터)를 재생한다. 또한, 시퀀서는 가사 트랙에 기초하여 곡의 진행에 동기해서 가사의 문자 패턴을 합성하고, 이 문자 패턴을 영상 신호로 변환해서 표시 처리부(23)에 입력한다.

음원(18)은 시퀀서의 처리에 의해 CPU(11)로부터 입력된 데이터(노트 이벤트 데이터)에 따라서 악음 신호(디지털 음성 신호)를 형성한다. 형성된 악음 신호는 믹서(19)에 입력된다.

믹서(19)는 음원(18)이 형성한 악음 신호, 코러스음 및 마이크(16)로부터 A/D 컨버터(17)를 통해서 입력된 가창자의 가창 음성 신호에 대하여 에코 등의 효과를 부여함과 함께, 이들 신호를 믹싱한다.

믹싱된 각 디지털 음성 신호는 사운드 시스템(SS)(20)에 입력된다. 사운드 시스템(20)은 D/A 컨버터 및 파워 증폭기를 내장하고 있어, 입력된 디지털 신호를 아날로그 신호로 변환해서 증폭하여 스피커(21)로부터 방음한다. 믹서(19)가 각 음성 신호에 부여하는 효과 및 믹싱의 밸런스는 CPU(11)에 의해 제어된다.

CPU(11)는 상기 시퀀서에 의한 악음의 발생, 가사 텔롭의 생성과 동기하여, HDD(13)에 기억되어 있는 영상 데이터를 판독해서 배경 영상 등을 재생한다. 동화상의 영상 데이터는 MPEG 형식으로 인코드되어 있다. CPU(11)는 판독한 영상 데이터를 MPEG 디코더(22)에 입력한다. MPEG 디코더(22)는 입력된 MPEG 데이터를 영상 신호로 변환해서 표시 처리부(23)에 입력한다. 표시 처리부(23)에는 배경 영상의 영상 신호 이외에 상기 가사 텔롭의 문자 패턴 등이 입력된다. 표시 처리부(23)는 배경 영상의 영상 신호 상에 가사 텔롭 등을 OSD(On Screen Display)로 합성해서 모니터(24)에 출력한다. 모니터(24)는 표시 처리부(23)로부터 입력된 영상 신호를 표시한다.

조작부(15)는 노래방 장치(7)의 조작 패널면에 설치된 각종 키 스위치나 적외선 통신 등을 통해서 접속되는 리모콘 등으로 이루어지며, 유저의 각종 조작을 접수하여, 조작 형태에 따른 조작 정보를 CPU(11)에 입력한다. 조작부(15)는 곡의 리퀘스트나 가창음의 녹음(등록 조작) 등을 접수한다.

CPU(11)는 가창음을 공개하고 싶은 가창자가 조작부(15)로 가창음의 등록 조작 및 곡의 지정을 행했을 때, 지정된 곡의 노래방 연주를 행함과 함께, 마이크(16)로부터 A/D 컨버터(17)를 통해서 입력된 가창자의 가창 음성 신호에 기초하여 가창 파일을 생성하고, 네트워크 I/F(14)를 통해서 센터(1)에 업로드를 행한다. 가창 파일은 MP3 등의 압축 음성 데이터로서 생성된다. 이 때, CPU(11)는 연주를 행한 노래방 곡과 가창 파일의 대응 짓기를 나타내는 동기 정보를 생성하여 가창 파일과 함께 업로드한다.

도 3의 (B)는 동기 정보의 일례를 나타내는 도면이다. 도 3의 (C)는 가창 파일의 일례를 나타내는 도면이다. 도 3의 (B)에 나타내는 바와 같이, 동기 정보는 헤더, 템포 정보, 볼륨 정보(Vol.), 타이밍 정보(템포 변화량)로 이루어진다. 헤더는 곡 번호나 곡명, 대응 지어지는 가창 파일의 파일명 등이 기재되어 있다. 곡 번호는 각 노래방 곡의 악곡 데이터에 부여되어 있는 곡 번호와 공통 형식의 데이터(영숫자를 나타내는 정보)이며, 가창자가 등록 조작 시에 지정한 곡 번호가 옮겨 기재된다. 템포 정보는 가창자가 등록 조작 시에 지정한 곡의 연주 템포를 나타내는 정보이며, 시퀀서의 진행 속도를 지정하는 것이다. 등록 조작 시에 가창자가 템포의 지정, 변경을 행하지 않으면 악곡 데이터의 표준 템포가 그대로 옮겨 기재된다. 볼륨 정보는 가창자가 등록 조작 시에 지정한 곡의 음량(악음 트랙의 음량)을 나타내는 정보이다. 타이밍 정보는 가창자가 가창 중에 템포를 변화시킨 경우, 그 템포 변화의 타이밍(연주 개시로부터의 시간 경과)을 나타내는 정보이다. 이 템포 변화를 나타내는 타이밍 정보가 참조됨으로써, 나중의 재생 시에도 곡의 도중에 연주 템포가 변화된다.

가창 파일은 도 3의 (C)에 나타내는 바와 같이, 헤더와 가창 음성 데이터로 이루어진다. 헤더에는 적어도 파일명이 기재되고 있으며, 동기 정보의 헤더와 대응지어져 있다. 인코드 형식이 MP3이면 헤더는 ID3 태그로서 기록되는 형태이어도 좋다.

이상과 같은 동기 정보 및 가창 파일이 센터(1)에 업로드되어 센터(1)에 축적된다. 또한, 가창자는 조작부(15)를 사용해서 자신의 프로필이나 메시지 등을 입력하여, 가창자 정보로서 업로드하는 것도 가능하다.

센터(1)에서는 축적한 각 가창 파일을 재생할 때, 각 가창 파일의 동기 정보를 참조하여 지정된 곡 번호의 악곡 데이터를 판독하여, 동기 정보에 기재된 템포, 볼륨으로 노래방 연주를 행한다. 템포 변화를 나타내는 타이밍 정보가 기재되어 있는 경우에는, 이 타이밍 정보에 따라서 곡의 도중에 연주 템포를 변화시킨다. 이에 의해, 녹음 시의 노래방 연주를 재현할 수 있으며, 재생된 가창 음성 신호 및 연주에 의해 생성된 악음 신호를 믹싱한 믹싱 데이터(가창음과 악음으로 이루어지는 완전 데이터)를 생성한다. 따라서, 가창음의 음성 데이터를 업로드하는 것 만으로도, 가창음과 악음을 서버측에 축적하게 되어, 업로드에 필요한 시간을 증대시키지 않고, 가창음과 악음을 각각 축적해 둘 수 있다.

또한, 도 3의 (C)에 나타내는 가창 파일은 노래방 곡의 연주 개시 시로부터 연주 종료 시까지의 모든 음성(마이크(16)로 수음한 음성)을 기록한 것이다. 이 경우, 노래방 연주의 개시와 함께, 가창 파일에 기초하는 음성 신호를 출력하면 동기 재생을 행할 수 있지만, 예를 들어 도 3의 (E)에 나타내는 바와 같이, 1곡 중의 가창 파일을 복수의 가창 파일로 분할하는 것도 가능하다. 이 경우, 도 3의 (D)에 나타내는 바와 같이, 동기 정보에 각 가창 파일의 재생 타이밍을 나타내는 정보로서, 연주 개시로부터의 시간 경과를 나타내는 정보, 혹은 가창 파일간의 델타 타임(선두의 가창 파일은 연주 개시로부터의 시간)을 기재해 두고, 재생 시에는 동기 정보의 타이밍 정보를 참조하여 각 가창 파일을 재생하도록 해도 좋다. 이 때, 동기 정보는 악곡 데이터와의 임플리멘테이션(implementation)의 통일을 취하기 위해서, MIDI 데이터(악곡 데이터의 확장 트랙)로서 구성해 두고, 시퀀서에 판독 가능한 형식으로 해도 좋다. 이 경우, 가창을 행하고 있지 않은 시간대는 가창음이 녹음되지 않기 때문에, 가창 파일의 데이터 용량을 삭감할 수 있어 업로드 시간을 더 단축할 수 있다. 1곡 중에서 가창을 행하는 시간대가 한정되어 있는 경우(예를 들어 듀엣곡으로, 가창자가 1개의 듀엣 파트만 가창하는 경우)에 특히 유용하다.

이어서, 도 4는 센터(1)의 구성을 나타내는 블록도이다. 센터(1)는 센터 전체의 동작을 제어하는 CPU(31) 및 CPU(31)에 접속되는 각종 구성으로 이루어진다. CPU(31)에는 RAM(32), HDD(33), 네트워크 인터페이스(I/F)(34), 음원(38) 및 믹서(이펙터)(39)가 접속되어 있다.

HDD(33)는 각 노래방 장치(7)로부터 업로드된 가창 파일, 동기 정보 및 가창자 정보 외에, 노래방 장치(7)와 동일한 수의 악곡 데이터를 기억하고 있다. 또한, 과거에 생성한 믹싱 데이터도 기억하고 있다. 또한, HDD(33)에는 CPU(31)의 동작용 프로그램이 기록되고 있으며, CPU(31)는 이 동작용 프로그램을 RAM(32)에 전개해서 다양한 처리를 행한다.

예를 들어, CPU(31)는 네트워크 I/F(34)를 통해서 각 노래방 장치(7)로부터 수신한 가창 파일, 동기 정보 및 가창자 정보를 HDD(33)에 기록하는 수신 데이터 처리를 행한다. 또한, CPU(31)는 기능적으로 시퀀서를 내장하고 있어, 노래방 장치(7)와 마찬가지로, HDD(33)로부터 악곡 데이터를 판독해서 노래방 연주를 행하고, 음원(38)을 제어함으로써, 악음 신호를 생성할 수 있다. 또한, CPU(31)는 각 가창자 정보를 편집해서 일람 표시를 행하는 HTML 파일(도시하지 않음)을 생성하여, 유저 PC(4)에 WEB 페이지로서 표시시키는 WEB 표시 처리를 행한다.

도 5는 WEB 페이지로서 표시되는 가창 파일의 일람의 예를 나타낸 도면이다. 도 5에 나타내는 바와 같이, WEB 페이지에는 각 가창 파일이 파일명(또는 곡 번호), 곡명, 가창자가 등록 조작 시에 입력한 프로필, 메시지 등의 항목으로 일람 표시된다. 또한, 각 가창 파일의 인기도(다운로드 횟수) 등도 표시된다. 각 가창 파일의 다운로드 횟수는 HDD(33)에 기록되어 있으며, 각 노래방 장치(7)에 가창 파일을 다운로드시켰을 때에 카운트 업된다. 유저 PC(4)는 WEB 페이지에 액세스함으로써, 이 일람을 참조할 수 있어 청취하고 싶은 가창자의 가창 파일을 선택할 수 있다. 또한, 유저 PC(4)를 조작해서 각 항목을 선택하면, 일람표의 오름차순, 내림차순의 소트를 행할 수도 있다.

도 6은 유저 PC(4)의 구성을 나타내는 블록도이다. 유저 PC(4)는 일반적인 가정용 퍼스널 컴퓨터이며, 전체의 동작을 제어하는 CPU(41)와, CPU(41)에 접속되는 각종 구성으로 이루어진다. CPU(41)에는 RAM(42), HDD(43), 네트워크 I/F(44), 조작부(45), 사운드 시스템(SS)(46) 및 표시 처리부(48)가 접속되어 있다. CPU(41)는 HDD(43)에 기록된 동작용 프로그램을 RAM(42)에 전개하여 다양한 처리를 행한다. 유저가 조작부(45)를 사용하여, 가창 파일의 표시 리퀘스트를 행하면, CPU(41)는 표시 리퀘스트를 센터(1)로 송신한다. 표시 리퀘스트를 수신한 센터(1)의 CPU(31)는 HTML 파일을 유저 PC(4)로 전송한다(URL을 통지하여 유저 PC(4)가 액세스함). 유저 PC(4)에서는 센터(1)로부터 전송된 HTML 파일에 기초하는 WEB 페이지가 표시 처리부(48)를 거쳐서 모니터(49)에 표시된다. 이와 같이 하여, 도 5에 나타낸 가창 파일의 일람이 표시된다.

유저가 조작부(45)를 사용해서 WEB 페이지 상에 표시되어 있는 가창 파일을 선택하면, CPU(41)는 믹싱 데이터 배신의 리퀘스트를 행한다. 리퀘스트는 예를 들어 가창 파일명을 나타내는 정보가 센터(1)로 송신됨으로써 실행된다. 센터(1)의 CPU(31)는 수신한 가창 파일명을 HDD(33)로부터 검색하여, 해당하는 가창 파일 및 동기 정보를 판독한다.

CPU(31)는 판독한 가창 파일을 재생해서 가창 음성 신호를 생성함과 함께, 동기 정보에 기재되어 있는 곡 번호의 악곡 데이터를 판독하여, 동기 정보에 기재되어 있는 템포 및 볼륨 정보에 따라서 시퀀서로 노래방 곡의 연주를 실행한다. 이에 의해 악음 신호를 생성한다.

생성한 악음 신호와 가창 음성 신호는 믹서(39)에 출력되어서 믹싱된다. 이 믹싱된 음성 신호가 다시 CPU(31)에 입력되어, 1개의 압축 음성 데이터(믹싱 데이터)로서 생성된다. CPU(31)는 생성한 믹싱 데이터를 리퀘스트가 이루어진 유저 PC(4)에게 배신한다. 그리고, 배신된 믹싱 데이터는 유저 PC(4)의 CPU(41)에서 재생되고, SS46에서 아날로그 음성 신호로 변환되어서 스피커(47)로부터 방음된다.

또한, 센터(1)는 소정의 과금 시스템과 연동하여, 과금 처리를 행하여도 좋다. 배신 리퀘스트를 행한 유저에게 소정의 금액을 과금한 후, 유저 PC(4)에 믹싱 데이터를 다운로드시킨다. 이 경우, 가창자는 가창 파일이 다운로드될 때마다 보수를 수취할 수 있기 때문에, 과금 시스템과의 연동에 의해, 가창자에게 인센티브를 부여할 수 있다.

이와 같이 하여, 유저는 각 가창자의 가창음 및 악음을 청취할 수 있다. 본 실시 형태의 배신 시스템에 의하면, 예를 들어 각 유저가 청취한 가창음의 채점을 행함으로써, 노래방 콩쿠르를 실현하는 것이 가능하다.

또한, 본 실시 형태에 나타낸 배신 시스템에 의하면, 센터(1)에는 가창 파일을 업로드하는 것만으로 좋기 때문에, 업로드 시간을 증대시키지 않고, 가창음과 악음을 각각 서버에 축적할 수 있다. 가창음의 데이터(가창 파일)는 악음의 데이터(악곡 데이터)와는 별도로 센터(1)의 HDD(33)에 기억되어 있기 때문에, 나중에 믹싱 밸런스를 변경하거나, 각각 이펙트를 변경하는 것도 용이하게 실현 가능하다.

또한, 본 실시 형태의 배신 시스템에 의하면, 복수의 가창자의 가창음(혹은 동일한 가창자의 가창음)을 나중에 합성하는 다중 녹음을 행하는 것도 가능하다. 종래의 시스템에서는 가창음 및 악음이 이미 믹싱된 1개의 음성 데이터로서 서버에 축적되는 형태이었기 때문에, 나중에 다른 가창음을 추가하는 경우, 일단 음성 데이터를 디코드해서 음성 신호로 변환하고, 다른 가창음의 음성 신호를 믹싱한 후에 인코드를 행하기 때문에, 음질 열화가 발생하고 있었다. 그러나, 본 실시 형태에서는 가창음과 악음을 다른 데이터로서 유지해 두기 때문에, 재생 시에 다중화하고 싶은 가창 파일을 디코드해서 합성하면 된다. 그로 인해, 다중 녹음에 의한 음질 열화는 발생하지 않는다.

이어서, 본 실시 형태의 배신 시스템의 동작을 흐름도를 이용해서 설명한다. 도 7은 등록 조작 시의 동작을 나타내는 흐름도이다. 도 8은 믹싱 데이터 배신 시의 동작을 나타내는 흐름도이다.

우선, 도 7에 나타내는 바와 같이, 가창음을 공개하고 싶은 가창자가 노래방 장치(7)의 조작부(15)로 가창음의 등록 조작 및 곡의 지정을 행하면, CPU(11)가 등록 조작을 접수한다(s11). 이 때, CPU(11)는 조작부(15)로부터 가창자의 프로필이나 메시지 등의 입력도 접수한다.

CPU(11)는 등록 조작을 접수하면, 지정된 악곡 데이터를 판독해서 노래방 연주를 행함과 함께(s12), 마이크(16)로부터 A/D 컨버터(17)를 통해서 입력된 가창자의 가창 음성 신호에 기초하여 가창 파일을 생성한다(s13). 또한, 연주한 곡의 곡 번호, 템포, 볼륨 등에 기초하여, 동기 정보를 생성한다(s14). CPU(11)는 곡의 연주가 종료하면, 생성한 가창 파일 및 동기 정보를 센터(1)에 업로드한다(s15). 센터(1)는 업로드된 가창 파일 및 동기 정보를 HDD(33)에 기록한다(s16). 이와 같이 하여 가창자의 가창 파일이 센터(1)에 등록된다. 센터(1)의 CPU(31)는 업로드된 가창 파일의 각 가창자 정보를 이용해서 HTML 파일을 갱신하고, 유저 PC(4)가 액세스하는 WEB 페이지를 갱신한다(s17).

이어서, 도 8에 나타내는 바와 같이, 믹싱 데이터 배신을 리퀘스트하는 유저(유저 PC(4)의 유저)는 가창자의 일람을 참조하기 위해서, 가창 파일의 표시 리퀘스트를 행한다(s21). 이 표시 리퀘스트는 센터(1)로 송신되고, 센터(1)는 WEB 표시 리퀘스트의 접수를 행한다(s22). 센터(1)의 CPU(31)는 HTML 파일을 유저 PC(4)로 전송하는 WEB 표시 처리를 행한다(s23). 유저 PC(4)의 모니터(49)에는 센터(1)로부터 전송된 HTML 파일에 기초하는 WEB 페이지가 표시된다(s24). 이와 같이 하여, 도 5에 나타낸 가창 파일의 일람이 모니터(49)에 표시된다.

유저는 모니터(49)에 표시되어 있는 가창 파일의 일람을 참조함으로써, 청취하고 싶은 가창자를 선택하여 믹싱 데이터의 배신 리퀘스트를 행한다(s25). CPU(41)는 유저가 선택한 가창 파일의 파일명을 HTML 파일로부터 추출하여 센터(1)에 통지한다. 이에 의해, 배신 리퀘스트가 접수된다(s26).

그리고, 센터(1)(또는 과금 서버 등) 및 유저 PC(4)에 있어서 과금 처리가 행하여지고(s27, s28), 과금 처리가 종료하면 센터(1)의 CPU(11)는 HDD(33)로부터 대응하는 가창 파일 및 동기 정보를 판독하여 가창 파일의 디코드를 행하고, 가창 파일에 기초하는 가창음 음성 신호를 생성한다. 또한, 과금 처리는 필수가 아니며, s27 및 s28의 처리는 생략해도 좋다. 그리고, 동기 정보에 기재되어 있는 곡 번호의 악곡 데이터를 HDD(33)로부터 판독하고, 동기 정보에 기재되어 있는 템포 및 볼륨에 따라서 악곡 데이터를 시퀀스하여 음원(38)을 제어한다. 이에 의해, 가창음의 녹음 시와 동일한 템포, 볼륨으로 노래방 연주를 재현하고, 동시에 가창자의 가창음을 출력함으로써 동기 재생을 행한다(s29). 단, 이미 과거에 동일한 가창 파일을 재생하여, 믹싱 데이터로서 HDD(33)에 유지하고 있는 경우, HDD(33)로부터 믹싱 데이터를 판독하면, 재차 동기 재생을 행할 필요는 없다. 또한, 센터(1)의 처리의 빈 시간을 이용하여, 미리 각 믹싱 데이터를 생성해 두어도 좋다. 이 경우, 동시 다수로 배신 리퀘스트가 있었던 경우에도, 바로 믹싱 데이터의 배신이 가능하게 된다. 물론, 이 경우에도 가창 파일은 HDD(33)에 유지되어 있기 때문에, 나중에 믹싱 밸런스를 변경할 수 있다.

그 후, 동기 재생한 가창 음성 신호 및 노래방 곡의 악음 신호를 믹싱해서 믹싱 데이터를 생성하여(s30) 유저 PC(4)에 다운로드시킨다(s31). 이 때, 센터(1)의 CPU(31)는 다운로드시킨 가창 파일의 다운로드 횟수를 카운트 업한다(s32).

유저 PC(4)의 CPU(41)는 센터(1)로부터 믹싱 데이터를 다운로드하여(s33) HDD(43)(또는 RAM(42))에 유지한다. 그리고, CPU(41)는 믹싱 데이터의 디코드를 행하여 가창음 및 악음의 재생을 행한다(s34).

믹싱 데이터의 생성 및 배신은 1곡 분량을 묶어서 행하여도 좋고, 순차 스트리밍 데이터로서 다운로드시켜도 좋다. 또한, 저비트 레이트로 배신하는 경우에는 무료로, 고비트 레이트(녹음 시의 비트 레이트)로 배신하는 경우에는 유료로 해도 좋다.

또한, 도 3의 (C) 및 도 3의 (D)에 나타낸 바와 같이, 동기 정보에 각 가창 파일의 재생 타이밍을 나타내는 정보로서 연주 개시로부터의 시간 경과를 나타내는 정보, 혹은 가창 파일간의 델타 타임(선두의 가창 파일은 연주 개시로부터의 시간)이 기재되어 있는 경우, 센터(1)의 CPU(31)에서는 악곡 데이터의 시퀀스에 따라서, 각 가창 파일에 기초하는 음성 신호를 출력한다. 동기 정보가 MIDI 데이터(악곡 데이터의 확장 트랙)로서 구성되어 있는 경우에는, 시퀀서가 이 동기 정보의 MIDI 데이터를 판독함으로써 각 가창 파일에 기초하는 음성 신호를 출력할 수 있다.

여기에서, 유저가 조작부(45)를 조작하여 믹싱 밸런스의 변경 지시를 행한 경우(s35), CPU(41)는 센터(1)에 변경 리퀘스트를 행한다(s36). 변경 리퀘스트에는 가창음과 악음의 믹싱 밸런스를 지시하는 정보가 포함되어 있다. 센터(1)의 CPU(31)는 변경 리퀘스트를 접수하면(s37), 상기 변경 리퀘스트에 포함되어 있는 믹싱 밸런스를 나타내는 정보에 따라서 믹서(39)의 믹싱 밸런스를 변경하여 믹싱 데이터를 다시 생성한다(s38). 그리고, CPU(31)는 재생성 후의 믹싱 데이터를 변경 리퀘스트가 행하여진 유저 PC(4)에게 배신한다(s39). 유저 PC(4)에서는 재배신된 믹싱 데이터를 재생하고(s40), 이상의 처리를 재생이 종료될 때까지 반복한다(s41).

또한, 재배신하는 믹싱 데이터는 변경 리퀘스트가 행하여진 곡의 도중부터 재배신하도록 해도 좋고, 곡의 처음부터 변경 후의 믹싱 밸런스로 재배신하도록 해도 좋다.

이와 같이, 본 실시 형태에서는 가창음과 악음이 각각의 소스로부터 구성되기 때문에, 독립해서 음량을 제어하는 것이 가능하며, 용이하게 믹싱 밸런스를 변경하는 것이 가능하다.

또한, 유저는 상기 믹싱 밸런스의 변경 지시에 있어서, 이펙트의 변경 지시나 템포 변경의 지시를 행하는 것도 가능하다. 템포 변경의 지시를 행한 경우, 센터(1)의 CPU(31)는 변경된 템포로 악곡 데이터의 시퀀스를 행함과 함께, 가창 파일의 재생 속도의 변경도 행한다. 이 경우, CPU(31)(또는 도시하지 않은 DSP)는 가창음의 음정을 유지하면서 시간축에 음성 신호를 신축(伸縮)하는 처리를 행한다. 가창음의 음정을 유지하면서 시간축에 음성 신호를 신축하는 처리는, 예를 들어 이하와 같이 해서 행한다.

즉, CPU(31)는 가창 파일에 기초하는 가창음의 음성 신호를 샘플링 주기마다의 시간축 파형으로 나누고, 복수의 시간축 파형을 합성한 새로운 시간축 파형(중간 파형)을 생성한다. 중간 파형은 전후의 시간축 파형을 크로스페이드 해서 합성함으로써 생성한다. 그리고, 원래의 시간축 파형의 사이에 중간 파형을 삽입하면, 가창음의 음정을 유지하면서 시간축으로 신장하는 것이 가능하다. 음성 데이터를 압축하는 경우에는, 중간 파형을 원래의 시간축 파형으로 치환하는 처리를 행한다. 예를 들어, 1 샘플링씩 건너뛰어 삽입 처리를 행하면 2배로 신장(재생 속도 1/2)하는 것이 가능하며, 치환하는 처리를 행하면 압축(재생 속도를 2배)할 수 있다. 2 샘플링씩 건너뛰어 삽입 처리를 행하면 1.5배로 신장하는 것이 가능하며, 3 샘플링씩 건너뛰어 삽입 처리를 행하면 1.33배로 신장하는 것이 가능하다.

또한, CPU(31)는 유저가 키 변경을 지시한 경우, 악곡 데이터의 키 변경(노트 넘버의 시프트)을 행함과 함께, 가창 음성 신호의 피치 변경을 행한다. 피치 변경은 음성 신호의 리샘플링을 행함으로써 실현 가능하다. 또한, 음성 신호의 주파수 특성의 변경을 행하여도 좋다.

또한, 본 실시 형태에서는 노래방 장치(7)를 사용해서 가창자가 가창 파일을 등록하는 조작을 행하는 예를 나타냈지만, 센터(1)에 마이크나 녹음의 기능을 부가하고, 센터(1)를 사용해서 가창 파일을 등록하도록 구성하는 것도 가능하다. 보다 간이적으로는 노래방 장치(7)의 기능을 실현한 유저 PC(4)를 사용해서 실현하는 것도 가능하다. 이 경우, 유저 PC(4)의 소프트웨어가 시퀀서나 음원 등의 구성을 실현하여 노래방 연주 단말기를 구성한다.

또한, 가창 파일의 청취는 일반적인 가정용 퍼스널 컴퓨터를 사용하는 예를 나타냈지만, 물론 노래방 장치(7)를 사용해서 청취하는 것도 가능하다.

본 실시 형태에서는 도 3의 (B)에 나타내는 바와 같이, 동기 정보는 헤더, 템포 정보, 볼륨 정보(Vol.), 타이밍 정보(템포 변화량)로 이루어지는 예를 설명하고 있다. 그러나, 동기 정보는 이들 정보 이외에, 마이크 에코나 리바브, 컴프레서, 보이스 체인지 등의 이펙트 파라미터를 포함하고 있어도 좋다. 이 경우, 가창음의 등록 조작 시에 있어서, 이펙트 파라미터를 포함하는 동기 정보를 등록해 둔다. 구체적으로는, 예를 들어 도 7의 s14의 동기 정보 생성의 처리의 타이밍에서, 그 때에 노래방 장치(7)에서 설정되어 있었던 이펙트 파라미터를 동기 정보에 반영시킨다. 노래방 연주 시에는, 이 이펙트 파라미터를 이용하여, 마이크 에코 등을 음성 신호에 반영시킨다. 이에 의해, 가창음의 녹음 시에 설정하고 있었던 이펙트를 노래방 연주에 반영시킬 수 있어, 믹싱 데이터의 배신을 받는 유저는 보다 현장감이 있는 연주를 즐기는 것이 가능하다.

본 실시 형태에서는 믹싱 데이터의 송신 시에 과금 처리를 행하고 있었지만, 가창자가 가창 파일을 업로드할 때에 과금 처리를 행하여도 좋다. 즉, 도 7의 s11에 있어서의 등록 조작 시나 s15에 있어서의 가창 파일 및 동기 정보의 업로드 시에 가창자에게 과금시키도록 한다. 이에 의해, 예를 들어 가창자가 돈을 지불하여 참가할 수 있는 노래방 콘테스트를 실시할 때에, 자신의 가창 파일을 업로드할 때에 각 가창자로부터 참가비로써 돈을 징수하는 시스템을 실현할 수 있다.

1 센터
2 네트워크
3 노래방 점포
4 유저 PC
5 중계기
7 노래방 장치

Claims

가창자의 음성 데이터 및 상기 가창자의 음성 데이터의 노래방 연주와의 동기 정보를 수신하는 수신 수단과,
상기 가창자의 음성 데이터, 동기 정보 및 노래방 연주를 행하기 위한 악곡 데이터를 기억하는 기억 수단과,
상기 음성 데이터를 재생함과 함께, 상기 동기 정보에 기초하여 상기 악곡 데이터를 판독하여 자동 연주를 행하고,
재생한 상기 음성 데이터에 기초하는 음성 및 상기 자동 연주에 의한 악음을 믹싱해서 믹싱 데이터를 생성하는 음성 데이터 생성 수단과,
상기 음성 데이터 생성 수단이 생성한 믹싱 데이터를 배신하는 배신 수단을 구비한 믹싱 데이터 배신 서버로서,
상기 동기 정보에는 상기 음성 데이터의 녹음 시에 연주하고 있었던 노래방 악곡에 있어서의 템포 및 볼륨 정보가 기재되어 있고,
상기 음성 데이터 생성 수단은 믹싱 밸런스의 변경 지시를 수신한 경우에, 상기 변경 지시에 따라 상기 음성 데이터에 기초하는 음성과 상기 자동 연주에 의한 악음의 믹싱 밸런스를 변경하고,
상기 배신 수단은 믹싱 밸런스가 변경된 후의 믹싱 데이터를, 상기 변경 지시를 행한 장치에 대해 배신하는, 믹싱 데이터 배신 서버.
삭제
제1항에 있어서, 상기 음성 데이터는 복수의 음성 데이터로 이루어지며,
상기 동기 정보에는 상기 복수의 음성 데이터 각각의 재생 타이밍을 나타내는 정보가 포함되는 믹싱 데이터 배신 서버.
제1항에 있어서, 상기 기억 수단은 상기 음성 데이터 생성 수단이 생성한 믹싱 데이터를 더 기억하고,
상기 배신 수단은 상기 기억 수단으로부터 상기 믹싱 데이터를 판독해서 배신하는 믹싱 데이터 배신 서버.
제1항에 있어서, 상기 동기 정보에는 이펙트 파라미터가 포함되어 있으며,
상기 음성 데이터 생성 수단이 상기 자동 연주에 의한 악음의 믹싱을 행할 때에, 상기 이펙트 파라미터의 설정을 반영시키는 믹싱 데이터 배신 서버.