KR20120128142A - Mixing data delivery server - Google Patents

Mixing data delivery server Download PDF

Info

Publication number
KR20120128142A
KR20120128142A KR1020127024457A KR20127024457A KR20120128142A KR 20120128142 A KR20120128142 A KR 20120128142A KR 1020127024457 A KR1020127024457 A KR 1020127024457A KR 20127024457 A KR20127024457 A KR 20127024457A KR 20120128142 A KR20120128142 A KR 20120128142A
Authority
KR
South Korea
Prior art keywords
data
song
sound
mixing
karaoke
Prior art date
Application number
KR1020127024457A
Other languages
Korean (ko)
Other versions
KR101453177B1 (en
Inventor
슈이치 마츠모토
Original Assignee
야마하 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 야마하 가부시키가이샤 filed Critical 야마하 가부시키가이샤
Publication of KR20120128142A publication Critical patent/KR20120128142A/en
Application granted granted Critical
Publication of KR101453177B1 publication Critical patent/KR101453177B1/en

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/365Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems the accompaniment information being stored on a host computer and transmitted to a reproducing terminal by means of a network, e.g. public telephone lines
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00Acoustics not otherwise provided for
    • G10K15/02Synthesis of acoustic waves
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00Acoustics not otherwise provided for
    • G10K15/04Sound-producing devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

본 발명은 통신 시간을 증대시키지 않고 음성과 악음을 각각 축적할 수 있는 서버를 제공한다. 가창자의 가창음만, 노래방 연주의 동기 정보와 함께 음성 데이터(가창 파일)로서 센터에 업로드한다. 동기 정보에는 적어도 음성 데이터의 녹음 시에 연주하고 있었던 노래방 악곡에 있어서의 템포 및 볼륨 정보가 기재되어 있다. 센터는 가창 파일을 재생해서 가창 음성 신호를 생성함과 함께, 동기 정보에 기재되어 있는 템포, 볼륨으로 노래방 연주를 행하여 악음 신호를 생성한다. 생성한 가창 음성 신호 및 악음 신호를 믹싱함으로써, 새로운 음성 데이터(믹싱 데이터)를 생성한다.The present invention provides a server capable of accumulating voices and musical sounds, respectively, without increasing communication time. Only the singer's singing sound is uploaded to the center as voice data (song file) together with the synchronous information of karaoke performance. The synchronization information describes at least the tempo and volume information of the karaoke music played at the time of recording the audio data. The center reproduces the song file to generate the song voice signal, and performs a karaoke at the tempo and volume described in the synchronization information to generate the music signal. New voice data (mixing data) is generated by mixing the generated singing voice signal and the sound signal.

Description

믹싱 데이터 배신 서버{MIXING DATA DELIVERY SERVER}Mixing data distribution server {MIXING DATA DELIVERY SERVER}

본 발명은 음성과 악음을 믹싱한 음성 데이터를 배신하는 서버에 관한 것이다.The present invention relates to a server for distributing voice data obtained by mixing voice and musical sounds.

종래, 노래방 장치로 녹음한 가창음 및 악음으로 이루어지는 음성 데이터를 서버에 업로드하고, 서버가 음성 데이터를 각 유저에게 배신하는 시스템이 제안되어 있다(특허문헌 1을 참조). 특허문헌 1에는 각 유저가 배신된 음성 데이터의 가창음 및 악음을 청취하여 채점을 행함으로써, 노래방 콩쿠르를 실시하는 것이 기재되어 있다.DESCRIPTION OF RELATED ART Conventionally, the system which uploads the voice data which consists of a song sound and a music sound recorded with the karaoke apparatus to a server, and distributes voice data to each user is proposed (refer patent document 1). Patent Literature 1 describes that the karaoke contest is performed by scoring by listening to the singing and musical sounds of the distributed voice data.

일본 특허 공개 2007-121550호 공보Japanese Patent Publication No. 2007-121550

특허문헌 1의 시스템에서는 가창음 및 악음이 이미 믹싱된 1개의 음성 데이터로서 서버에 축적된다. 따라서, 나중에 가창음과 악음의 믹싱 밸런스를 조정할 수 없다. 나중에 가창음과 악음의 믹싱 밸런스를 조정하기 위해서는, 가창음과 악음을 각각의 음성 데이터로서 업로드하는 것도 생각할 수 있지만, 가창음과 악음을 각각 업로드하면, 종래의 2배 이상의 통신 시간이 걸린다고 하는 문제가 발생한다.In the system of patent document 1, a song sound and a music sound are accumulate | stored in the server as 1 audio data which was mixed previously. Therefore, it is not possible to later adjust the mixing balance of the song sound and the musical sound. In order to adjust the mixing balance between the song sound and the music later, it is conceivable to upload the song sound and the music as separate voice data. Occurs.

이에, 본 발명은 통신 시간을 증대시키지 않고 음성과 악음을 각각 축적할 수 있는 서버를 제공하는 것을 목적으로 한다.Accordingly, an object of the present invention is to provide a server capable of accumulating voices and musical sounds, respectively, without increasing communication time.

본 발명의 믹싱 데이터 배신 서버는 수신 수단, 기억 수단, 음성 데이터 생성 수단 및 배신 수단을 구비하고 있다. 수신 수단은 가창자의 음성 데이터 및 상기 가창자의 음성 데이터의 노래방 연주와의 동기 정보를 수신한다. 기억 수단은 수신한 가창자의 음성 데이터 및 동기 정보를 기억한다. 또한, 기억 수단은 노래방 연주를 행하기 위한 악곡 데이터도 기억하고 있다.The mixing data distribution server of the present invention includes a receiving means, a storage means, a voice data generating means, and a distribution means. The receiving means receives the voice data of the singer and the synchronization information with the karaoke performance of the singer's voice data. The storage means stores the received voice data and the synchronization information of the singer. The storage means also stores music data for performing karaoke.

음성 데이터 생성 수단은 기억 수단으로부터 판독한 음성 데이터를 재생함과 함께, 동기 정보에 기초하여 악곡 데이터를 판독하여 자동 연주를 행한다. 그리고, 음성 데이터 생성 수단은 재생한 음성 데이터에 기초하는 음성 및 자동 연주에 의한 악음을 믹싱해서 믹싱 데이터를 생성한다. 생성된 믹싱 데이터가 각 단말기에 배신되어, 유저가 청취 가능한 상태로 된다.The audio data generating means reproduces the audio data read from the storage means, reads the music data based on the synchronization information, and performs the automatic performance. Then, the voice data generating means mixes the voice based on the reproduced voice data and the musical sound by the automatic performance to generate the mixing data. The generated mixing data is distributed to each terminal, and the user can listen.

이와 같이, 가창자의 가창음을 노래방 연주음의 동기 정보와 함께 음성 데이터로서 서버에 업로드하고, 악음에 대해서는 서버측에서 동기 정보에 기초하여 악곡 데이터를 자동 연주함으로써 생성하고, 음성 데이터의 재생음과 믹싱해서 믹싱 데이터(가창음과 악음으로 이루어지는 완전 데이터)를 생성한다. 따라서, 가창음의 음성 데이터를 업로드하는 것 만으로, 음성과 악음을 각각 서버측에 축적하게 되어, 업로드에 필요한 시간은 종래와 변함이 없다.In this manner, the singer's singing sound is uploaded to the server as the voice data together with the synchronization information of the karaoke performance sound, and the musical sound is generated by automatically playing the music data based on the synchronization information on the server side, and mixing with the reproduction sound of the voice data To generate mixing data (complete data consisting of singing and musical sounds). Therefore, by simply uploading the voice data of the song sound, the voice and the music sound are accumulated on the server side, respectively, and the time required for uploading is the same as before.

또한, 동기 정보에는 음성 데이터의 녹음 시에 연주하고 있었던 노래방 악곡에 있어서의 템포 및 볼륨 정보가 기재되어 있는 형태이어도 좋다. 이에 의해, 나중에 가창음의 음성 데이터를 재생했을 때, 이 가창음에 동기한 노래방 연주가 행하여진다.The synchronization information may be in a form in which the tempo and volume information of the karaoke music played at the time of recording the audio data are described. Thereby, when the audio data of a song sound is reproduced later, the karaoke performance synchronized with this song sound is performed.

또한, 음성 데이터는 복수의 음성 데이터로 이루어지며, 동기 정보는 상기 복수의 음성 데이터 각각의 재생 타이밍을 나타내는 정보가 포함되는 형태이어도 좋다. 예를 들어, 듀엣곡이면 가창자는 듀엣 파트의 가창을 행하고, 1곡 안에서 가창을 행하는 시간대가 정해져 있기 때문에, 가창 파일을 복수로 분할하는 것도 가능하다. 이 경우, 동기 정보에 연주 개시로부터의 시간 경과를 나타내는 정보 혹은 델타 타임을 기재해 두고, 재생 시에 이 정보를 참조하여 각 가창 파일을 재생하는 것으로도 가창음에 동기한 노래방 연주를 행할 수 있다.The audio data may be composed of a plurality of audio data, and the synchronization information may include information indicating the reproduction timing of each of the plurality of audio data. For example, in the case of a duet song, the singer sings duet parts, and since the time period for singing in one song is determined, the song file can be divided into a plurality of songs. In this case, information indicating the elapsed time from the start of the performance or delta time is described in the synchronization information, and the karaoke performance synchronized with the song sound can also be performed by reproducing each song file with reference to this information at the time of reproduction. .

또한, 생성한 믹싱 데이터는 기억 수단에 유지해 두어도 좋다. 이 경우, 동시 다수에 배신 리퀘스트가 있었던 경우에도, 바로 배신 가능하게 된다. 이 경우에 있어서도, 가창음의 음성 데이터는 기억 수단에 유지되어 있기 때문에, 나중에 믹싱 밸런스를 변경할 수 있다.In addition, the generated mixing data may be stored in the storage means. In this case, even if there are delivery requests at the same time, delivery is possible immediately. Also in this case, since the audio data of the song sound is held in the storage means, the mixing balance can be changed later.

또한, 동기 정보에는 이펙트 파라미터가 포함되어 있으며, 음성 데이터 생성 수단이 자동 연주에 의한 악음의 믹싱을 행할 때에, 그 이펙트 파라미터의 설정을 반영시키는 형태이어도 좋다. 이에 의해, 가창음의 녹음 시에 설정하고 있었던 이펙트를 노래방 연주에 반영시킬 수 있어, 믹싱 데이터의 배신을 받는 유저는 보다 현장감이 있는 연주를 즐기는 것이 가능하다.In addition, the synchronization information includes an effect parameter, and may be a form in which the setting of the effect parameter is reflected when the voice data generating means mixes the musical sound by automatic performance. Thereby, the effect set at the time of recording a song sound can be reflected to a karaoke performance, and the user receiving distribution data of mixing can enjoy a more realistic performance.

본 발명에 의하면, 통신 시간을 증대시키지 않고 음성과 악음을 각각 서버에 축적할 수 있다.According to the present invention, voices and musical sounds can be accumulated in the server, respectively, without increasing the communication time.

도 1은 노래방 시스템의 구성을 나타내는 블록도이다.
도 2는 노래방 장치의 구성을 나타내는 블록도이다.
도 3은 각종 데이터의 구조를 나타내는 도면이다.
도 4는 센터의 구성을 나타내는 블록도이다.
도 5는 WEB 상에 표시되는 가창 파일의 일람의 예를 나타낸 도면이다.
도 6은 유저 PC의 구성을 나타내는 블록도이다.
도 7은 가창 파일 등록 시의 동작을 설명하는 흐름도이다.
도 8은 듀엣 배신 시의 동작을 설명하는 흐름도이다.
1 is a block diagram showing the configuration of a karaoke system.
2 is a block diagram showing the configuration of a karaoke apparatus.
3 is a diagram illustrating a structure of various data.
4 is a block diagram showing the configuration of a center.
5 is a diagram illustrating an example of a list of song files displayed on the WEB.
6 is a block diagram showing the configuration of a user PC.
7 is a flowchart illustrating an operation when registering a song file.
8 is a flowchart illustrating an operation during duet distribution.

도 1은 믹싱 데이터 배신 시스템의 구성을 나타내는 도면이다. 믹싱 데이터 배신 시스템은 인터넷 등으로 이루어지는 네트워크(2)를 통해서 접속되는 센터(서버, 믹싱 데이터 배신 서버)(1)와, 복수의 노래방 점포(3)와, 복수의 유저 PC(4)로 이루어진다. 각 노래방 점포(3)에는 네트워크(2)에 접속되는 라우터 등의 중계기(5)와, 중계기(5)를 통해서 네트워크(2)에 접속되는 복수의 노래방 장치(7)가 설치되어 있다. 중계기(5)는 노래방 점포의 관리실 내 등에 설치되어 있다. 복수대의 노래방 장치(7)는 각각의 룸(방)에 1대씩 설치되어 있다. 유저 PC(4)는 일반적인 가정용 퍼스널 컴퓨터이다.1 is a diagram illustrating a configuration of a mixing data distribution system. The mixing data distribution system comprises a center (server, mixing data distribution server) 1 connected through a network 2 made of the Internet, a plurality of karaoke stores 3, and a plurality of user PCs 4. Each karaoke store 3 is provided with a repeater 5 such as a router connected to the network 2 and a plurality of karaoke devices 7 connected to the network 2 via the repeater 5. The repeater 5 is installed in the management room of a karaoke store, or the like. A plurality of karaoke apparatuses 7 are provided in each room (room) one by one. The user PC 4 is a general home personal computer.

본 실시 형태의 믹싱 데이터 배신 시스템이란, 미리 어떤 가창자가 노래방 장치(7)로 가창한 음성을 녹음해서 가창 파일(압축 음성 데이터)로서 센터(1)에 업로드해 두는 것이다. 그리고, 센터(1)가 각 유저 PC(4)의 리퀘스트에 따라서 가창 파일을 재생하고, 재생하는 가창 파일에 동기해서 노래방 연주를 행하고, 가창음과 악음을 믹싱한 믹싱 데이터(압축 음성 데이터)를 생성해서 유저 PC(4)에게 배신하는 것이다. 이하, 이 믹싱 데이터 배신 시스템을 실현하기 위한 각 구성 및 동작에 대해서 설명한다.In the mixing data distribution system of the present embodiment, a voice of a singer in advance is recorded by the karaoke apparatus 7 and uploaded to the center 1 as a song file (compressed voice data). Then, the center 1 plays the song file in response to the request of each user PC 4, performs karaoke performance in synchronization with the song file to be reproduced, and mixes the mixed data (compressed voice data) in which the song sound and the music sound are mixed. It generates and distributes to the user PC 4. Hereinafter, each structure and operation for implementing this mixing data distribution system are demonstrated.

도 2는 노래방 장치의 구성을 나타내는 블록도이다. 노래방 장치(7)는 장치 전체의 동작을 제어하는 CPU(11) 및 CPU(11)에 접속되는 각종 구성부로 이루어진다. CPU(11)에는 RAM(12), HDD(13), 네트워크 인터페이스(I/F)(14), 조작부(15), A/D 컨버터(17), 음원(18), 믹서(이펙터)(19), MPEG 등의 디코더(22) 및 표시 처리부(23)가 접속되어 있다.2 is a block diagram showing the configuration of a karaoke apparatus. The karaoke apparatus 7 consists of the CPU 11 which controls the operation | movement of the whole apparatus, and the various components connected to CPU11. The CPU 11 includes a RAM 12, an HDD 13, a network interface (I / F) 14, an operation unit 15, an A / D converter 17, a sound source 18, a mixer (effector) 19 And a decoder 22 such as MPEG, and a display processor 23 are connected.

HDD(13)는 노래방 곡을 연주하기 위한 악곡 데이터나 모니터(24)에 배경 영상을 표시하기 위한 영상 데이터 등을 기억하고 있다. 영상 데이터는 동화상, 정지 화상의 양쪽을 기억하고 있다.The HDD 13 stores music data for playing karaoke, video data for displaying a background image on the monitor 24, and the like. The video data stores both a moving picture and a still picture.

워크 메모리인 RAM(12)에는 CPU(11)의 동작용 프로그램을 실행하기 위해서 판독하는 에리어나 노래방 곡을 연주하기 위해서 악곡 데이터를 판독하는 에리어 등이 설정된다.In the RAM 12 which is the work memory, an area to be read for executing the operation program of the CPU 11, an area for reading music data to play karaoke, and the like are set.

CPU(11)는 기능적으로 시퀀서를 내장하고 있다. 시퀀서는 HDD(13)에 기억되어 있는 악곡 데이터를 판독하여 노래방 연주를 실행하는 프로그램이다. 도 3의 (A)에 나타내는 바와 같이, 악곡 데이터는 곡 번호 등이 기입되어 있는 헤더, 연주용 MIDI 데이터가 기입되어 있는 악음 트랙, 가이드 멜로디용 MIDI 데이터가 기입되어 있는 가이드 멜로디 트랙, 가사용 MIDI 데이터가 기입되어 있는 가사 트랙, 백 코러스 재생 타이밍 및 재생해야 하는 음성 데이터가 기입되어 있는 코러스 트랙 등으로 이루어져 있다. 시퀀서는 악음 트랙이나 가이드 멜로디 트랙의 데이터에 기초하여 음원(18)을 제어하여 노래방 곡의 악음을 발생시킨다. 또한, 시퀀서는 코러스 트랙이 지정하는 타이밍에서 백 코러스의 음성 데이터(악곡 데이터에 부수되어 있는 MP3 등의 압축 음성 데이터)를 재생한다. 또한, 시퀀서는 가사 트랙에 기초하여 곡의 진행에 동기해서 가사의 문자 패턴을 합성하고, 이 문자 패턴을 영상 신호로 변환해서 표시 처리부(23)에 입력한다.The CPU 11 has a built-in sequencer functionally. The sequencer is a program that reads music data stored in the HDD 13 and executes karaoke performance. As shown in Fig. 3A, the music data includes a header in which a song number and the like are written, a music track in which MIDI data for performance is written, a guide melody track in which MIDI data for guide melody is written, and MIDI data for use. And a chorus track in which back chorus reproduction timing and audio data to be reproduced are written. The sequencer controls the sound source 18 based on the data of the music track or the guide melody track to generate the music of karaoke music. The sequencer also reproduces back chorus speech data (compressed speech data such as MP3 accompanying music data) at a timing specified by the chorus track. The sequencer synthesizes the character pattern of the lyrics in synchronism with the progress of the song based on the lyrics track, converts the character pattern into a video signal, and inputs it to the display processor 23.

음원(18)은 시퀀서의 처리에 의해 CPU(11)로부터 입력된 데이터(노트 이벤트 데이터)에 따라서 악음 신호(디지털 음성 신호)를 형성한다. 형성된 악음 신호는 믹서(19)에 입력된다.The sound source 18 forms a sound signal (digital voice signal) in accordance with data (note event data) input from the CPU 11 by processing of the sequencer. The formed sound signal is input to the mixer 19.

믹서(19)는 음원(18)이 형성한 악음 신호, 코러스음 및 마이크(16)로부터 A/D 컨버터(17)를 통해서 입력된 가창자의 가창 음성 신호에 대하여 에코 등의 효과를 부여함과 함께, 이들 신호를 믹싱한다.The mixer 19 gives an effect such as echo to the voice signal generated by the sound source 18, the chorus sound, and the singer's voice signal input from the microphone 16 through the A / D converter 17, and the like. , Mix these signals.

믹싱된 각 디지털 음성 신호는 사운드 시스템(SS)(20)에 입력된다. 사운드 시스템(20)은 D/A 컨버터 및 파워 증폭기를 내장하고 있어, 입력된 디지털 신호를 아날로그 신호로 변환해서 증폭하여 스피커(21)로부터 방음한다. 믹서(19)가 각 음성 신호에 부여하는 효과 및 믹싱의 밸런스는 CPU(11)에 의해 제어된다.Each mixed digital voice signal is input to a sound system (SS) 20. The sound system 20 incorporates a D / A converter and a power amplifier. The sound system 20 converts the input digital signal into an analog signal, amplifies it, and sounds the sound from the speaker 21. The balance of the effects and mixing that the mixer 19 imparts to each audio signal is controlled by the CPU 11.

CPU(11)는 상기 시퀀서에 의한 악음의 발생, 가사 텔롭의 생성과 동기하여, HDD(13)에 기억되어 있는 영상 데이터를 판독해서 배경 영상 등을 재생한다. 동화상의 영상 데이터는 MPEG 형식으로 인코드되어 있다. CPU(11)는 판독한 영상 데이터를 MPEG 디코더(22)에 입력한다. MPEG 디코더(22)는 입력된 MPEG 데이터를 영상 신호로 변환해서 표시 처리부(23)에 입력한다. 표시 처리부(23)에는 배경 영상의 영상 신호 이외에 상기 가사 텔롭의 문자 패턴 등이 입력된다. 표시 처리부(23)는 배경 영상의 영상 신호 상에 가사 텔롭 등을 OSD(On Screen Display)로 합성해서 모니터(24)에 출력한다. 모니터(24)는 표시 처리부(23)로부터 입력된 영상 신호를 표시한다.The CPU 11 reads the video data stored in the HDD 13 and reproduces the background video or the like in synchronization with the generation of the musical tones by the sequencer and the generation of the gossip line. The video data of a moving picture is encoded in the MPEG format. The CPU 11 inputs the read video data to the MPEG decoder 22. The MPEG decoder 22 converts the input MPEG data into a video signal and inputs it to the display processor 23. In addition to the video signal of the background image, the display processor 23 inputs a character pattern of the lyrics telop. The display processing unit 23 synthesizes lyrics, etc., on an image signal of a background image into an OSD (On Screen Display) and outputs the same to the monitor 24. The monitor 24 displays the video signal input from the display processor 23. [

조작부(15)는 노래방 장치(7)의 조작 패널면에 설치된 각종 키 스위치나 적외선 통신 등을 통해서 접속되는 리모콘 등으로 이루어지며, 유저의 각종 조작을 접수하여, 조작 형태에 따른 조작 정보를 CPU(11)에 입력한다. 조작부(15)는 곡의 리퀘스트나 가창음의 녹음(등록 조작) 등을 접수한다.The operation unit 15 is composed of various key switches installed on the operation panel surface of the karaoke apparatus 7, a remote control unit connected through infrared communication, or the like, and accepts various operations of the user, and receives operation information according to the operation type from the CPU ( 11). The operation unit 15 receives a request for a song, recording of a song sound (registration operation), and the like.

CPU(11)는 가창음을 공개하고 싶은 가창자가 조작부(15)로 가창음의 등록 조작 및 곡의 지정을 행했을 때, 지정된 곡의 노래방 연주를 행함과 함께, 마이크(16)로부터 A/D 컨버터(17)를 통해서 입력된 가창자의 가창 음성 신호에 기초하여 가창 파일을 생성하고, 네트워크 I/F(14)를 통해서 센터(1)에 업로드를 행한다. 가창 파일은 MP3 등의 압축 음성 데이터로서 생성된다. 이 때, CPU(11)는 연주를 행한 노래방 곡과 가창 파일의 대응 짓기를 나타내는 동기 정보를 생성하여 가창 파일과 함께 업로드한다.The CPU 11 performs the karaoke performance of the specified song when the singer who wants to release the song sound performs the registration operation of the song sound and designation of the song to the operation unit 15, and the A / D from the microphone 16 is performed. A song file is generated based on the song voice signal of the singer input through the converter 17, and uploaded to the center 1 via the network I / F 14. The song file is generated as compressed voice data such as MP3. At this time, the CPU 11 generates synchronizing information indicating the correspondence between the karaoke music performed and the song file, and uploads it together with the song file.

도 3의 (B)는 동기 정보의 일례를 나타내는 도면이다. 도 3의 (C)는 가창 파일의 일례를 나타내는 도면이다. 도 3의 (B)에 나타내는 바와 같이, 동기 정보는 헤더, 템포 정보, 볼륨 정보(Vol.), 타이밍 정보(템포 변화량)로 이루어진다. 헤더는 곡 번호나 곡명, 대응 지어지는 가창 파일의 파일명 등이 기재되어 있다. 곡 번호는 각 노래방 곡의 악곡 데이터에 부여되어 있는 곡 번호와 공통 형식의 데이터(영숫자를 나타내는 정보)이며, 가창자가 등록 조작 시에 지정한 곡 번호가 옮겨 기재된다. 템포 정보는 가창자가 등록 조작 시에 지정한 곡의 연주 템포를 나타내는 정보이며, 시퀀서의 진행 속도를 지정하는 것이다. 등록 조작 시에 가창자가 템포의 지정, 변경을 행하지 않으면 악곡 데이터의 표준 템포가 그대로 옮겨 기재된다. 볼륨 정보는 가창자가 등록 조작 시에 지정한 곡의 음량(악음 트랙의 음량)을 나타내는 정보이다. 타이밍 정보는 가창자가 가창 중에 템포를 변화시킨 경우, 그 템포 변화의 타이밍(연주 개시로부터의 시간 경과)을 나타내는 정보이다. 이 템포 변화를 나타내는 타이밍 정보가 참조됨으로써, 나중의 재생 시에도 곡의 도중에 연주 템포가 변화된다.3B is a diagram illustrating an example of synchronization information. 3C is a diagram illustrating an example of a song file. As shown in FIG. 3B, the synchronization information includes a header, tempo information, volume information (Vol.), And timing information (tempo change amount). The header describes a song number, a song name, a file name of a song file to be associated, and the like. The song number is data (information representing alphanumeric characters) in common format with the song number assigned to the music data of each karaoke song, and the song number designated by the singer at the time of registration operation is transferred. The tempo information is information representing the performance tempo of the song designated by the singer at the time of the registration operation, and designates the progress speed of the sequencer. If the singer does not specify or change the tempo during the registration operation, the standard tempo of the music data is transferred as it is. The volume information is information indicating the volume of the song (the volume of the music track) designated by the singer during the registration operation. The timing information is information indicating the timing (time elapsed from the start of the performance) of the tempo change when the singer changes the tempo during the song. By referring to the timing information indicating this tempo change, the performance tempo changes in the middle of the song even during later playback.

가창 파일은 도 3의 (C)에 나타내는 바와 같이, 헤더와 가창 음성 데이터로 이루어진다. 헤더에는 적어도 파일명이 기재되고 있으며, 동기 정보의 헤더와 대응지어져 있다. 인코드 형식이 MP3이면 헤더는 ID3 태그로서 기록되는 형태이어도 좋다.The song file consists of a header and song audio data, as shown in FIG. At least the file name is described in the header and is associated with the header of the synchronization information. If the encoding format is MP3, the header may be recorded as an ID3 tag.

이상과 같은 동기 정보 및 가창 파일이 센터(1)에 업로드되어 센터(1)에 축적된다. 또한, 가창자는 조작부(15)를 사용해서 자신의 프로필이나 메시지 등을 입력하여, 가창자 정보로서 업로드하는 것도 가능하다.The above synchronization information and song file are uploaded to the center 1 and accumulated in the center 1. Furthermore, the singer can input his or her profile, a message, etc. using the operation part 15, and upload it as singer information.

센터(1)에서는 축적한 각 가창 파일을 재생할 때, 각 가창 파일의 동기 정보를 참조하여 지정된 곡 번호의 악곡 데이터를 판독하여, 동기 정보에 기재된 템포, 볼륨으로 노래방 연주를 행한다. 템포 변화를 나타내는 타이밍 정보가 기재되어 있는 경우에는, 이 타이밍 정보에 따라서 곡의 도중에 연주 템포를 변화시킨다. 이에 의해, 녹음 시의 노래방 연주를 재현할 수 있으며, 재생된 가창 음성 신호 및 연주에 의해 생성된 악음 신호를 믹싱한 믹싱 데이터(가창음과 악음으로 이루어지는 완전 데이터)를 생성한다. 따라서, 가창음의 음성 데이터를 업로드하는 것 만으로도, 가창음과 악음을 서버측에 축적하게 되어, 업로드에 필요한 시간을 증대시키지 않고, 가창음과 악음을 각각 축적해 둘 수 있다.In the center 1, when the accumulated song files are reproduced, the music data of the designated song number is read with reference to the synchronization information of each song file, and karaoke is performed at the tempo and volume described in the synchronization information. When timing information indicating a tempo change is described, the performance tempo is changed in the middle of the song in accordance with the timing information. Thereby, the karaoke performance at the time of recording can be reproduced, and the mixing data (complete data which consists of a song sound and a music sound) which mixed the reproduced singing voice signal and the musical sound signal produced by the performance is produced | generated. Therefore, only by uploading the voice data of the song sound, the song sound and the music sound are accumulated on the server side, and the song sound and the music sound can be accumulated without increasing the time required for upload.

또한, 도 3의 (C)에 나타내는 가창 파일은 노래방 곡의 연주 개시 시로부터 연주 종료 시까지의 모든 음성(마이크(16)로 수음한 음성)을 기록한 것이다. 이 경우, 노래방 연주의 개시와 함께, 가창 파일에 기초하는 음성 신호를 출력하면 동기 재생을 행할 수 있지만, 예를 들어 도 3의 (E)에 나타내는 바와 같이, 1곡 중의 가창 파일을 복수의 가창 파일로 분할하는 것도 가능하다. 이 경우, 도 3의 (D)에 나타내는 바와 같이, 동기 정보에 각 가창 파일의 재생 타이밍을 나타내는 정보로서, 연주 개시로부터의 시간 경과를 나타내는 정보, 혹은 가창 파일간의 델타 타임(선두의 가창 파일은 연주 개시로부터의 시간)을 기재해 두고, 재생 시에는 동기 정보의 타이밍 정보를 참조하여 각 가창 파일을 재생하도록 해도 좋다. 이 때, 동기 정보는 악곡 데이터와의 임플리멘테이션(implementation)의 통일을 취하기 위해서, MIDI 데이터(악곡 데이터의 확장 트랙)로서 구성해 두고, 시퀀서에 판독 가능한 형식으로 해도 좋다. 이 경우, 가창을 행하고 있지 않은 시간대는 가창음이 녹음되지 않기 때문에, 가창 파일의 데이터 용량을 삭감할 수 있어 업로드 시간을 더 단축할 수 있다. 1곡 중에서 가창을 행하는 시간대가 한정되어 있는 경우(예를 들어 듀엣곡으로, 가창자가 1개의 듀엣 파트만 가창하는 경우)에 특히 유용하다.The song file shown in FIG. 3C records all voices (voices picked up by the microphone 16) from the start of the karaoke tune to the end of the performance. In this case, if the audio signal based on the song file is output together with the start of karaoke performance, synchronous reproduction can be performed. However, as shown in FIG. 3E, for example, as shown in FIG. Splitting into files is also possible. In this case, as shown in Fig. 3D, the synchronization information is information indicating the timing of reproduction of each song file, and information indicating the passage of time from the start of the performance, or the delta time between the song files (the leading song file is Time from the start of the performance) may be described, and each song file may be reproduced with reference to the timing information of the synchronization information during reproduction. In this case, the synchronization information may be configured as MIDI data (an extended track of music data) in order to achieve unification of the music data and implemented in a format that can be read by the sequencer. In this case, since the song sound is not recorded during the time period when the song is not performed, the data capacity of the song file can be reduced, and the upload time can be further shortened. It is especially useful when the time zone in which a song is performed is limited among one song (for example, a duet song and a singer sings only one duet part).

이어서, 도 4는 센터(1)의 구성을 나타내는 블록도이다. 센터(1)는 센터 전체의 동작을 제어하는 CPU(31) 및 CPU(31)에 접속되는 각종 구성으로 이루어진다. CPU(31)에는 RAM(32), HDD(33), 네트워크 인터페이스(I/F)(34), 음원(38) 및 믹서(이펙터)(39)가 접속되어 있다.Next, FIG. 4 is a block diagram which shows the structure of the center 1. As shown in FIG. The center 1 consists of various structures connected to the CPU 31 and CPU 31 which control the operation | movement of the center as a whole. The CPU 31 is connected with a RAM 32, an HDD 33, a network interface (I / F) 34, a sound source 38, and a mixer (effector) 39.

HDD(33)는 각 노래방 장치(7)로부터 업로드된 가창 파일, 동기 정보 및 가창자 정보 외에, 노래방 장치(7)와 동일한 수의 악곡 데이터를 기억하고 있다. 또한, 과거에 생성한 믹싱 데이터도 기억하고 있다. 또한, HDD(33)에는 CPU(31)의 동작용 프로그램이 기록되고 있으며, CPU(31)는 이 동작용 프로그램을 RAM(32)에 전개해서 다양한 처리를 행한다.The HDD 33 stores the same number of pieces of music data as the karaoke apparatus 7 in addition to the song file, synchronization information, and singer information uploaded from each karaoke apparatus 7. In addition, the mixing data generated in the past is also stored. In addition, an operating program of the CPU 31 is recorded in the HDD 33, and the CPU 31 expands this operating program into the RAM 32 and performs various processes.

예를 들어, CPU(31)는 네트워크 I/F(34)를 통해서 각 노래방 장치(7)로부터 수신한 가창 파일, 동기 정보 및 가창자 정보를 HDD(33)에 기록하는 수신 데이터 처리를 행한다. 또한, CPU(31)는 기능적으로 시퀀서를 내장하고 있어, 노래방 장치(7)와 마찬가지로, HDD(33)로부터 악곡 데이터를 판독해서 노래방 연주를 행하고, 음원(38)을 제어함으로써, 악음 신호를 생성할 수 있다. 또한, CPU(31)는 각 가창자 정보를 편집해서 일람 표시를 행하는 HTML 파일(도시하지 않음)을 생성하여, 유저 PC(4)에 WEB 페이지로서 표시시키는 WEB 표시 처리를 행한다.For example, the CPU 31 performs reception data processing for recording the song file, synchronization information, and singer information received from each karaoke apparatus 7 through the network I / F 34 on the HDD 33. In addition, the CPU 31 has a built-in sequencer functionally, similarly to the karaoke apparatus 7, reads music data from the HDD 33, performs karaoke performance, and controls the sound source 38 to generate a sound signal. can do. In addition, the CPU 31 generates an HTML file (not shown) that edits and displays each singer information, and performs a WEB display process for causing the user PC 4 to display it as a WEB page.

도 5는 WEB 페이지로서 표시되는 가창 파일의 일람의 예를 나타낸 도면이다. 도 5에 나타내는 바와 같이, WEB 페이지에는 각 가창 파일이 파일명(또는 곡 번호), 곡명, 가창자가 등록 조작 시에 입력한 프로필, 메시지 등의 항목으로 일람 표시된다. 또한, 각 가창 파일의 인기도(다운로드 횟수) 등도 표시된다. 각 가창 파일의 다운로드 횟수는 HDD(33)에 기록되어 있으며, 각 노래방 장치(7)에 가창 파일을 다운로드시켰을 때에 카운트 업된다. 유저 PC(4)는 WEB 페이지에 액세스함으로써, 이 일람을 참조할 수 있어 청취하고 싶은 가창자의 가창 파일을 선택할 수 있다. 또한, 유저 PC(4)를 조작해서 각 항목을 선택하면, 일람표의 오름차순, 내림차순의 소트를 행할 수도 있다.5 is a diagram illustrating an example of a list of song files displayed as a WEB page. As shown in Fig. 5, each song file is displayed on the WEB page as a list of items such as a file name (or song number), a song name, a profile input by the singer at the time of registration operation, and a message. In addition, the popularity (number of downloads) and the like of each song file are also displayed. The number of downloads of each song file is recorded on the HDD 33, and is counted up when the song file is downloaded to each karaoke apparatus 7. The user PC 4 can refer to this list by accessing a WEB page, and can select the song file of the singer who wants to listen. In addition, when each item is selected by operating the user PC 4, the ascending and descending order of the list can also be sorted.

도 6은 유저 PC(4)의 구성을 나타내는 블록도이다. 유저 PC(4)는 일반적인 가정용 퍼스널 컴퓨터이며, 전체의 동작을 제어하는 CPU(41)와, CPU(41)에 접속되는 각종 구성으로 이루어진다. CPU(41)에는 RAM(42), HDD(43), 네트워크 I/F(44), 조작부(45), 사운드 시스템(SS)(46) 및 표시 처리부(48)가 접속되어 있다. CPU(41)는 HDD(43)에 기록된 동작용 프로그램을 RAM(42)에 전개하여 다양한 처리를 행한다. 유저가 조작부(45)를 사용하여, 가창 파일의 표시 리퀘스트를 행하면, CPU(41)는 표시 리퀘스트를 센터(1)로 송신한다. 표시 리퀘스트를 수신한 센터(1)의 CPU(31)는 HTML 파일을 유저 PC(4)로 전송한다(URL을 통지하여 유저 PC(4)가 액세스함). 유저 PC(4)에서는 센터(1)로부터 전송된 HTML 파일에 기초하는 WEB 페이지가 표시 처리부(48)를 거쳐서 모니터(49)에 표시된다. 이와 같이 하여, 도 5에 나타낸 가창 파일의 일람이 표시된다.6 is a block diagram showing the configuration of the user PC 4. The user PC 4 is a general home personal computer, and has a CPU 41 for controlling the overall operation and various configurations connected to the CPU 41. The CPU 41 is connected with a RAM 42, an HDD 43, a network I / F 44, an operation unit 45, a sound system (SS) 46, and a display processing unit 48. The CPU 41 expands the operation program recorded on the HDD 43 in the RAM 42 and performs various processes. When the user makes a display request for the song file using the operation unit 45, the CPU 41 transmits the display request to the center 1. The CPU 31 of the center 1 that has received the display request transmits the HTML file to the user PC 4 (the user PC 4 accesses by notifying the URL). In the user PC 4, the WEB page based on the HTML file transmitted from the center 1 is displayed on the monitor 49 via the display processing part 48. FIG. In this way, a list of the song files shown in FIG. 5 is displayed.

유저가 조작부(45)를 사용해서 WEB 페이지 상에 표시되어 있는 가창 파일을 선택하면, CPU(41)는 믹싱 데이터 배신의 리퀘스트를 행한다. 리퀘스트는 예를 들어 가창 파일명을 나타내는 정보가 센터(1)로 송신됨으로써 실행된다. 센터(1)의 CPU(31)는 수신한 가창 파일명을 HDD(33)로부터 검색하여, 해당하는 가창 파일 및 동기 정보를 판독한다.When the user selects the song file displayed on the WEB page using the operation unit 45, the CPU 41 makes a request for mixing data distribution. The request is executed by, for example, transmitting information to the center 1 indicating the song file name. The CPU 31 of the center 1 retrieves the received song file name from the HDD 33, and reads out the corresponding song file and synchronization information.

CPU(41)는 판독한 가창 파일을 재생해서 가창 음성 신호를 생성함과 함께, 동기 정보에 기재되어 있는 곡 번호의 악곡 데이터를 판독하여, 동기 정보에 기재되어 있는 템포 및 볼륨 정보에 따라서 시퀀서로 노래방 곡의 연주를 실행한다. 이에 의해 악음 신호를 생성한다.The CPU 41 reproduces the read song file to generate a song voice signal, reads the music data of the song number described in the synchronization information, and sends it to the sequencer in accordance with the tempo and volume information described in the synchronization information. Play a karaoke song. This generates a sound signal.

생성한 악음 신호와 가창 음성 신호는 믹서(39)에 출력되어서 믹싱된다. 이 믹싱된 음성 신호가 다시 CPU(41)에 입력되어, 1개의 압축 음성 데이터(믹싱 데이터)로서 생성된다. CPU(41)는 생성한 믹싱 데이터를 리퀘스트가 이루어진 유저 PC(4)에게 배신한다. 그리고, 배신된 믹싱 데이터는 유저 PC(4)의 CPU(41)에서 재생되고, SS46에서 아날로그 음성 신호로 변환되어서 스피커(47)로부터 방음된다.The generated sound signal and the singing voice signal are output to the mixer 39 and mixed. This mixed audio signal is input to the CPU 41 again, and generated as one compressed audio data (mixing data). The CPU 41 distributes the generated mixing data to the user PC 4 on which the request is made. The distributed mixing data is reproduced by the CPU 41 of the user PC 4, converted into an analog audio signal in SS46, and soundproofed from the speaker 47.

또한, 센터(1)는 소정의 과금 시스템과 연동하여, 과금 처리를 행하여도 좋다. 배신 리퀘스트를 행한 유저에게 소정의 금액을 과금한 후, 유저 PC(4)에 믹싱 데이터를 다운로드시킨다. 이 경우, 가창자는 가창 파일이 다운로드될 때마다 보수를 수취할 수 있기 때문에, 과금 시스템과의 연동에 의해, 가창자에게 인센티브를 부여할 수 있다.In addition, the center 1 may perform a billing process in cooperation with a predetermined billing system. After charging a predetermined amount of money to the user who has made the delivery request, the mixing data is downloaded to the user PC 4. In this case, since the singer can receive a reward every time the song file is downloaded, incentives can be given to the singer by linking with the charging system.

이와 같이 하여, 유저는 각 가창자의 가창음 및 악음을 청취할 수 있다. 본 실시 형태의 배신 시스템에 의하면, 예를 들어 각 유저가 청취한 가창음의 채점을 행함으로써, 노래방 콩쿠르를 실현하는 것이 가능하다.In this way, the user can listen to the singing and musical sounds of each singer. According to the delivery system of the present embodiment, it is possible to realize a karaoke contest, for example, by scoring a song sound heard by each user.

또한, 본 실시 형태에 나타낸 배신 시스템에 의하면, 센터(1)에는 가창 파일을 업로드하는 것만으로 좋기 때문에, 업로드 시간을 증대시키지 않고, 가창음과 악음을 각각 서버에 축적할 수 있다. 가창음의 데이터(가창 파일)는 악음의 데이터(악곡 데이터)와는 별도로 센터(1)의 HDD(33)에 기억되어 있기 때문에, 나중에 믹싱 밸런스를 변경하거나, 각각 이펙트를 변경하는 것도 용이하게 실현 가능하다.Moreover, according to the delivery system shown in this embodiment, since it is only necessary to upload a song file to the center 1, a song sound and a music sound can be accumulated in a server, respectively, without increasing an upload time. Since the data of the song sound (song file) is stored in the HDD 33 of the center 1 separately from the data of the music sound (music file data), it is also possible to easily change the mixing balance or to change the effects later. Do.

또한, 본 실시 형태의 배신 시스템에 의하면, 복수의 가창자의 가창음(혹은 동일한 가창자의 가창음)을 나중에 합성하는 다중 녹음을 행하는 것도 가능하다. 종래의 시스템에서는 가창음 및 악음이 이미 믹싱된 1개의 음성 데이터로서 서버에 축적되는 형태이었기 때문에, 나중에 다른 가창음을 추가하는 경우, 일단 음성 데이터를 디코드해서 음성 신호로 변환하고, 다른 가창음의 음성 신호를 믹싱한 후에 인코드를 행하기 때문에, 음질 열화가 발생하고 있었다. 그러나, 본 실시 형태에서는 가창음과 악음을 다른 데이터로서 유지해 두기 때문에, 재생 시에 다중화하고 싶은 가창 파일을 디코드해서 합성하면 된다. 그로 인해, 다중 녹음에 의한 음질 열화는 발생하지 않는다.Moreover, according to the delivery system of this embodiment, it is also possible to perform multiple recording which synthesize | combines the singing sound of several singers (or the singing sound of the same singer) later. In the conventional system, since a song sound and a music sound are accumulated in the server as one voice data which is already mixed, when another song sound is added later, the voice data is decoded and converted into a voice signal once, Since encoding is performed after mixing audio signals, sound quality deterioration has occurred. However, in the present embodiment, since the song sound and the music sound are kept as different data, the song file to be multiplexed during playback can be decoded and synthesized. Therefore, sound quality deterioration by multiple recording does not occur.

이어서, 본 실시 형태의 배신 시스템의 동작을 흐름도를 이용해서 설명한다. 도 7은 등록 조작 시의 동작을 나타내는 흐름도이다. 도 8은 믹싱 데이터 배신 시의 동작을 나타내는 흐름도이다.Next, operation | movement of the delivery system of this embodiment is demonstrated using a flowchart. 7 is a flowchart showing an operation during a registration operation. 8 is a flowchart illustrating an operation when distributing mixing data.

우선, 도 7에 나타내는 바와 같이, 가창음을 공개하고 싶은 가창자가 노래방 장치(7)의 조작부(15)로 가창음의 등록 조작 및 곡의 지정을 행하면, CPU(11)가 등록 조작을 접수한다(s11). 이 때, CPU(11)는 조작부(15)로부터 가창자의 프로필이나 메시지 등의 입력도 접수한다.First, as shown in FIG. 7, when the singer who wants to release a song sound performs the registration operation of a song sound and designation of a song by the operation part 15 of the karaoke apparatus 7, CPU11 receives a registration operation. (s11). At this time, the CPU 11 also accepts input of a singer's profile or a message from the operation unit 15.

CPU(11)는 등록 조작을 접수하면, 지정된 악곡 데이터를 판독해서 노래방 연주를 행함과 함께(s12), 마이크(16)로부터 A/D 컨버터(17)를 통해서 입력된 가창자의 가창 음성 신호에 기초하여 가창 파일을 생성한다(s13). 또한, 연주한 곡의 곡 번호, 템포, 볼륨 등에 기초하여, 동기 정보를 생성한다(s14). CPU(11)는 곡의 연주가 종료하면, 생성한 가창 파일 및 동기 정보를 센터(1)에 업로드한다(s15). 센터(1)는 업로드된 가창 파일 및 동기 정보를 HDD(33)에 기록한다(s16). 이와 같이 하여 가창자의 가창 파일이 센터(1)에 등록된다. 센터(1)의 CPU(31)는 업로드된 가창 파일의 각 가창자 정보를 이용해서 HTML 파일을 갱신하고, 유저 PC(4)가 액세스하는 WEB 페이지를 갱신한다(s17).Upon receiving the registration operation, the CPU 11 reads the specified piece of music data and performs karaoke (s12), and is based on the singer's voice signal input from the microphone 16 through the A / D converter 17. To generate a song file (s13). Furthermore, synchronization information is generated based on the song number, tempo, volume, etc. of the played music (s14). When the performance of the song is finished, the CPU 11 uploads the generated song file and the synchronization information to the center 1 (s15). The center 1 records the uploaded song file and the synchronization information on the HDD 33 (s16). In this manner, the song file of the singer is registered in the center 1. The CPU 31 of the center 1 updates the HTML file using the singer information of the uploaded song file, and updates the WEB page accessed by the user PC 4 (s17).

이어서, 도 8에 나타내는 바와 같이, 믹싱 데이터 배신을 리퀘스트하는 유저(유저 PC(4)의 유저)는 가창자의 일람을 참조하기 위해서, 가창 파일의 표시 리퀘스트를 행한다(s21). 이 표시 리퀘스트는 센터(1)로 송신되고, 센터(1)는 WEB 표시 리퀘스트의 접수를 행한다(s22). 센터(1)의 CPU(31)는 HTML 파일을 유저 PC(4)로 전송하는 WEB 표시 처리를 행한다(s23). 유저 PC(4)의 모니터(49)에는 센터(1)로부터 전송된 HTML 파일에 기초하는 WEB 페이지가 표시된다(s24). 이와 같이 하여, 도 5에 나타낸 가창 파일의 일람이 모니터(49)에 표시된다.Next, as shown in FIG. 8, the user (the user of the user PC 4) which requests distribution data distribution requests a display of a song file in order to refer to the list of singers (s21). This display request is transmitted to the center 1, and the center 1 accepts the WEB display request (s22). The CPU 31 of the center 1 performs a WEB display process of transferring the HTML file to the user PC 4 (s23). The monitor 49 of the user PC 4 displays a WEB page based on the HTML file transmitted from the center 1 (s24). In this way, the list of the song files shown in FIG. 5 is displayed on the monitor 49.

유저는 모니터(49)에 표시되어 있는 가창 파일의 일람을 참조함으로써, 청취하고 싶은 가창자를 선택하여 믹싱 데이터의 배신 리퀘스트를 행한다(s25). CPU(41)는 유저가 선택한 가창 파일의 파일명을 HTML 파일로부터 추출하여 센터(1)에 통지한다. 이에 의해, 배신 리퀘스트가 접수된다(s26).By referring to the list of song files displayed on the monitor 49, the user selects the singer he wants to listen to and performs a distribution request for mixing data (s25). The CPU 41 extracts the file name of the song file selected by the user from the HTML file and notifies the center 1 of the file. As a result, the delivery request is accepted (s26).

그리고, 센터(1)(또는 과금 서버 등) 및 유저 PC(4)에 있어서 과금 처리가 행하여지고(s27, s28), 과금 처리가 종료하면 센터(1)의 CPU(11)는 HDD(33)로부터 대응하는 가창 파일 및 동기 정보를 판독하여 가창 파일의 디코드를 행하고, 가창 파일에 기초하는 가창음 음성 신호를 생성한다. 또한, 과금 처리는 필수가 아니며, s27 및 s28의 처리는 생략해도 좋다. 그리고, 동기 정보에 기재되어 있는 곡 번호의 악곡 데이터를 HDD(33)로부터 판독하고, 동기 정보에 기재되어 있는 템포 및 볼륨에 따라서 악곡 데이터를 시퀀스하여 음원(38)을 제어한다. 이에 의해, 가창음의 녹음 시와 동일한 템포, 볼륨으로 노래방 연주를 재현하고, 동시에 가창자의 가창음을 출력함으로써 동기 재생을 행한다(s29). 단, 이미 과거에 동일한 가창 파일을 재생하여, 믹싱 데이터로서 HDD(33)에 유지하고 있는 경우, HDD(33)로부터 믹싱 데이터를 판독하면, 재차 동기 재생을 행할 필요는 없다. 또한, 센터(1)의 처리의 빈 시간을 이용하여, 미리 각 믹싱 데이터를 생성해 두어도 좋다. 이 경우, 동시 다수로 배신 리퀘스트가 있었던 경우에도, 바로 믹싱 데이터의 배신이 가능하게 된다. 물론, 이 경우에도 가창 파일은 HDD(33)에 유지되어 있기 때문에, 나중에 믹싱 밸런스를 변경할 수 있다.Then, the billing process is performed in the center 1 (or billing server, etc.) and the user PC 4 (s27, s28). When the billing process ends, the CPU 11 of the center 1 is the HDD 33. The song file and the synchronization information are read from the song file to decode the song file, and a song sound audio signal based on the song file is generated. Note that the charging process is not essential, and the processes of s27 and s28 may be omitted. The music data of the song number described in the synchronization information is read from the HDD 33, and the music source 38 is controlled by sequencing the music data in accordance with the tempo and volume described in the synchronization information. Thereby, the karaoke performance is reproduced at the same tempo and volume as the recording of the song sound, and at the same time, synchronous reproduction is performed by outputting the song sound of the singer (s29). However, if the same song file has already been reproduced in the past and held on the HDD 33 as the mixing data, it is not necessary to perform synchronous reproduction again when the mixing data is read from the HDD 33. Moreover, you may generate each mixing data beforehand using the free time of the process of the center 1. As shown in FIG. In this case, even if there are simultaneous delivery requests, the mixing data can be delivered immediately. Of course, in this case as well, since the song file is held on the HDD 33, the mixing balance can be changed later.

그 후, 동기 재생한 가창 음성 신호 및 노래방 곡의 악음 신호를 믹싱해서 믹싱 데이터를 생성하여(s30) 유저 PC(4)에 다운로드시킨다(s31). 이 때, 센터(1)의 CPU(31)는 다운로드시킨 가창 파일의 다운로드 횟수를 카운트 업한다(s32).Thereafter, the vocal voice signal synchronously reproduced and the music signal of the karaoke song are mixed to generate mixing data (s30) and downloaded to the user PC 4 (s31). At this time, the CPU 31 of the center 1 counts up the number of times of the downloaded song file (s32).

유저 PC(4)의 CPU(41)는 센터(1)로부터 믹싱 데이터를 다운로드하여(s33) HDD(43)(또는 RAM(42))에 유지한다. 그리고, CPU(41)는 믹싱 데이터의 디코드를 행하여 가창음 및 악음의 재생을 행한다(s34).The CPU 41 of the user PC 4 downloads the mixing data from the center 1 (s33) and holds it in the HDD 43 (or RAM 42). Then, the CPU 41 decodes the mixing data to reproduce the song sound and the musical sound (s34).

믹싱 데이터의 생성 및 배신은 1곡 분량을 묶어서 행하여도 좋고, 순차 스트리밍 데이터로서 다운로드시켜도 좋다. 또한, 저비트 레이트로 배신하는 경우에는 무료로, 고비트 레이트(녹음 시의 비트 레이트)로 배신하는 경우에는 유료로 해도 좋다.The generation and distribution of the mixing data may be performed by combining one song or may be downloaded as sequential streaming data. In addition, when delivering at a low bit rate, it may be free. When delivering at a high bit rate (bit rate at the time of recording), you may pay a fee.

또한, 도 3의 (C) 및 도 3의 (D)에 나타낸 바와 같이, 동기 정보에 각 가창 파일의 재생 타이밍을 나타내는 정보로서 연주 개시로부터의 시간 경과를 나타내는 정보, 혹은 가창 파일간의 델타 타임(선두의 가창 파일은 연주 개시로부터의 시간)이 기재되어 있는 경우, 센터(1)의 CPU(31)에서는 악곡 데이터의 시퀀스에 따라서, 각 가창 파일에 기초하는 음성 신호를 출력한다. 동기 정보가 MIDI 데이터(악곡 데이터의 확장 트랙)로서 구성되어 있는 경우에는, 시퀀서가 이 동기 정보의 MIDI 데이터를 판독함으로써 각 가창 파일에 기초하는 음성 신호를 출력할 수 있다.As shown in Figs. 3C and 3D, the information indicating the timing of playback of each song file in the synchronization information is information indicating the passage of time from the start of the performance, or the delta time between the song files ( When the head song file is the time from the start of the performance), the CPU 31 of the center 1 outputs an audio signal based on each song file in accordance with the sequence of music data. When the synchronization information is configured as MIDI data (an extended track of music data), the sequencer can output audio signals based on each song file by reading the MIDI data of the synchronization information.

여기에서, 유저가 조작부(45)를 조작하여 믹싱 밸런스의 변경 지시를 행한 경우(s35), CPU(41)는 센터(1)에 변경 리퀘스트를 행한다(s36). 변경 리퀘스트에는 가창음과 악음의 믹싱 밸런스를 지시하는 정보가 포함되어 있다. 센터(1)의 CPU(31)는 변경 리퀘스트를 접수하면(s37), 상기 변경 리퀘스트에 포함되어 있는 믹싱 밸런스를 나타내는 정보에 따라서 믹서(39)의 믹싱 밸런스를 변경하여 믹싱 데이터를 다시 생성한다(s38). 그리고, CPU(31)는 재생성 후의 믹싱 데이터를 변경 리퀘스트가 행하여진 유저 PC(4)에게 배신한다(s39). 유저 PC(4)에서는 재배신된 믹싱 데이터를 재생하고(s40), 이상의 처리를 재생이 종료될 때까지 반복한다(s41).Here, when the user operates the operation unit 45 to give an instruction to change the mixing balance (s35), the CPU 41 makes a change request to the center 1 (s36). The change request includes information indicating the mixing balance of the song sound and the music sound. When the CPU 31 of the center 1 receives the change request (s37), the mixing balance of the mixer 39 is changed according to the information indicating the mixing balance included in the change request to generate the mixing data again ( s38). The CPU 31 then delivers the mixed data after regeneration to the user PC 4 on which the change request has been made (s39). The user PC 4 reproduces the remixed mixing data (s40), and repeats the above process until the reproduction ends (s41).

또한, 재배신하는 믹싱 데이터는 변경 리퀘스트가 행하여진 곡의 도중부터 재배신하도록 해도 좋고, 곡의 처음부터 변경 후의 믹싱 밸런스로 재배신하도록 해도 좋다.The mixing data to be redistributed may be redistributed from the middle of the song on which the change request is made, or may be redistributed to the mixing balance after the change from the beginning of the music.

이와 같이, 본 실시 형태에서는 가창음과 악음이 각각의 소스로부터 구성되기 때문에, 독립해서 음량을 제어하는 것이 가능하며, 용이하게 믹싱 밸런스를 변경하는 것이 가능하다.Thus, in this embodiment, since a song sound and a music sound are comprised from each source, it is possible to control volume independently and it is possible to change a mixing balance easily.

또한, 유저는 상기 믹싱 밸런스의 변경 지시에 있어서, 이펙트의 변경 지시나 템포 변경의 지시를 행하는 것도 가능하다. 템포 변경의 지시를 행한 경우, 센터(1)의 CPU(31)는 변경된 템포로 악곡 데이터의 시퀀스를 행함과 함께, 가창 파일의 재생 속도의 변경도 행한다. 이 경우, CPU(31)(또는 도시하지 않은 DSP)는 가창음의 음정을 유지하면서 시간축에 음성 신호를 신축(伸縮)하는 처리를 행한다. 가창음의 음정을 유지하면서 시간축에 음성 신호를 신축하는 처리는, 예를 들어 이하와 같이 해서 행한다.The user can also instruct the effect change or the tempo change in the mixing balance change instruction. When the tempo change instruction is given, the CPU 31 of the center 1 performs the music data sequence at the changed tempo, and also changes the reproduction speed of the song file. In this case, the CPU 31 (or DSP, not shown) performs processing to expand and contract the audio signal on the time axis while maintaining the pitch of the song sound. A process of stretching and contracting an audio signal on the time axis while maintaining the pitch of the song sound is performed as follows, for example.

즉, CPU(31)는 가창 파일에 기초하는 가창음의 음성 신호를 샘플링 주기마다의 시간축 파형으로 나누고, 복수의 시간축 파형을 합성한 새로운 시간축 파형(중간 파형)을 생성한다. 중간 파형은 전후의 시간축 파형을 크로스페이드 해서 합성함으로써 생성한다. 그리고, 원래의 시간축 파형의 사이에 중간 파형을 삽입하면, 가창음의 음정을 유지하면서 시간축으로 신장하는 것이 가능하다. 음성 데이터를 압축하는 경우에는, 중간 파형을 원래의 시간축 파형으로 치환하는 처리를 행한다. 예를 들어, 1 샘플링씩 건너뛰어 삽입 처리를 행하면 2배로 신장(재생 속도 1/2)하는 것이 가능하며, 치환하는 처리를 행하면 압축(재생 속도를 2배)할 수 있다. 2 샘플링씩 건너뛰어 삽입 처리를 행하면 1.5배로 신장하는 것이 가능하며, 3 샘플링씩 건너뛰어 삽입 처리를 행하면 1.33배로 신장하는 것이 가능하다.That is, the CPU 31 divides the audio signal of the song sound based on the song file into time axis waveforms for each sampling period, and generates a new time axis waveform (middle waveform) obtained by combining a plurality of time axis waveforms. The intermediate waveform is generated by crossfading and synthesizing the front and rear time axis waveforms. If an intermediate waveform is inserted between the original time axis waveforms, it is possible to extend along the time axis while maintaining the pitch of the song sound. When the audio data is compressed, a process of replacing the intermediate waveform with the original time axis waveform is performed. For example, when the insertion process is performed by skipping by one sampling, it can be doubled (reproduction speed 1/2), and when the substitution process is performed, the compression (double playback speed) can be achieved. When the insertion process is performed skipping by two samplings, it is possible to increase the size by 1.5 times. When the insertion process is performed by skipping the three sampling steps, it is possible to increase the size by 1.33 times.

또한, CPU(31)는 유저가 키 변경을 지시한 경우, 악곡 데이터의 키 변경(노트 넘버의 시프트)을 행함과 함께, 가창 음성 신호의 피치 변경을 행한다. 피치 변경은 음성 신호의 리샘플링을 행함으로써 실현 가능하다. 또한, 음성 신호의 주파수 특성의 변경을 행하여도 좋다.In addition, when the user instructs a key change, the CPU 31 performs key change (shift of note number) of the music data and pitch change of the song audio signal. Pitch change can be realized by resampling an audio signal. In addition, the frequency characteristic of the audio signal may be changed.

또한, 본 실시 형태에서는 노래방 장치(7)를 사용해서 가창자가 가창 파일을 등록하는 조작을 행하는 예를 나타냈지만, 센터(1)에 마이크나 녹음의 기능을 부가하고, 센터(1)를 사용해서 가창 파일을 등록하도록 구성하는 것도 가능하다. 보다 간이적으로는 노래방 장치(7)의 기능을 실현한 유저 PC(4)를 사용해서 실현하는 것도 가능하다. 이 경우, 유저 PC(4)의 소프트웨어가 시퀀서나 음원 등의 구성을 실현하여 노래방 연주 단말기를 구성한다.In addition, in this embodiment, although the singer performed the operation which registers a song file using the karaoke apparatus 7, the microphone 1 or the recording function was added to the center 1, and the center 1 was used, It is also possible to configure the song file to be registered. More simply, it is also possible to realize using the user PC 4 which realized the function of the karaoke apparatus 7. In this case, the software of the user PC 4 implements a sequencer, a sound source, or the like to constitute a karaoke performance terminal.

또한, 가창 파일의 청취는 일반적인 가정용 퍼스널 컴퓨터를 사용하는 예를 나타냈지만, 물론 노래방 장치(7)를 사용해서 청취하는 것도 가능하다.In addition, although listening to the song file showed the example using a general home personal computer, it is also possible to listen using the karaoke apparatus 7, of course.

본 실시 형태에서는 도 3의 (B)에 나타내는 바와 같이, 동기 정보는 헤더, 템포 정보, 볼륨 정보(Vol.), 타이밍 정보(템포 변화량)로 이루어지는 예를 설명하고 있다. 그러나, 동기 정보는 이들 정보 이외에, 마이크 에코나 리바브, 컴프레서, 보이스 체인지 등의 이펙트 파라미터를 포함하고 있어도 좋다. 이 경우, 가창음의 등록 조작 시에 있어서, 이펙트 파라미터를 포함하는 동기 정보를 등록해 둔다. 구체적으로는, 예를 들어 도 7의 s14의 동기 정보 생성의 처리의 타이밍에서, 그 때에 노래방 장치(7)에서 설정되어 있었던 이펙트 파라미터를 동기 정보에 반영시킨다. 노래방 연주 시에는, 이 이펙트 파라미터를 이용하여, 마이크 에코 등을 음성 신호에 반영시킨다. 이에 의해, 가창음의 녹음 시에 설정하고 있었던 이펙트를 노래방 연주에 반영시킬 수 있어, 믹싱 데이터의 배신을 받는 유저는 보다 현장감이 있는 연주를 즐기는 것이 가능하다.In the present embodiment, as shown in FIG. 3B, an example in which the synchronization information includes a header, tempo information, volume information (Vol.), And timing information (tempo change amount) is described. However, the synchronization information may include effect parameters such as microphone echo, reverb, compressor, voice change, etc. in addition to these information. In this case, at the time of the registration operation of the song sound, the synchronization information including the effect parameter is registered. Specifically, for example, at the timing of the process of generating the synchronization information of s14 in FIG. 7, the effect parameter set at that time in the karaoke apparatus 7 is reflected in the synchronization information. When playing karaoke, this effect parameter is used to reflect the microphone echo and the like into the audio signal. Thereby, the effect set at the time of recording a song sound can be reflected to a karaoke performance, and the user receiving distribution data of mixing can enjoy a more realistic performance.

본 실시 형태에서는 믹싱 데이터의 송신 시에 과금 처리를 행하고 있었지만, 가창자가 가창 파일을 업로드할 때에 과금 처리를 행하여도 좋다. 즉, 도 7의 s11에 있어서의 등록 조작 시나 s15에 있어서의 가창 파일 및 동기 정보의 업로드 시에 가창자에게 과금시키도록 한다. 이에 의해, 예를 들어 가창자가 돈을 지불하여 참가할 수 있는 노래방 콘테스트를 실시할 때에, 자신의 가창 파일을 업로드할 때에 각 가창자로부터 참가비로써 돈을 징수하는 시스템을 실현할 수 있다.In the present embodiment, the billing process is performed at the time of transmitting the mixing data, but the billing process may be performed when the singer uploads the song file. That is, the singer is charged at the time of the registration operation in s11 of FIG. 7 or the upload of the song file and the synchronization information in s15. Thereby, for example, when performing a karaoke contest in which the singer can participate by paying money, a system for collecting money from each singer as an entry fee when uploading his or her song file can be realized.

1 센터
2 네트워크
3 노래방 점포
4 유저 PC
5 중계기
7 노래방 장치
1 center
2 networks
3 karaoke stores
4 user PC
5 repeater
7 Karaoke Device

Claims (5)

가창자의 음성 데이터 및 상기 가창자의 음성 데이터의 노래방 연주와의 동기 정보를 수신하는 수신 수단과,
상기 가창자의 음성 데이터, 동기 정보 및 노래방 연주를 행하기 위한 악곡 데이터를 기억하는 기억 수단과,
상기 음성 데이터를 재생함과 함께, 상기 동기 정보에 기초하여 상기 악곡 데이터를 판독하여 자동 연주를 행하고,
상기 재생한 음성 데이터에 기초하는 음성 및 상기 자동 연주에 의한 악음을 믹싱해서 믹싱 데이터를 생성하는 음성 데이터 생성 수단과,
상기 음성 데이터 생성 수단이 생성한 믹싱 데이터를 배신하는 배신 수단을 구비한 믹싱 데이터 배신 서버.
Receiving means for receiving synchronization information between the voice data of the singer and the karaoke performance of the voice data of the singer;
Storage means for storing voice data of the singer, synchronization information, and music data for performing karaoke;
Playing the audio data, reading the music data based on the synchronization information, and performing automatic performance;
Voice data generation means for mixing the voice based on the reproduced voice data and the musical sound by the automatic performance to generate mixing data;
And a distribution data distribution server for delivering the mixing data generated by the sound data generation means.
제1항에 있어서, 상기 동기 정보에는 상기 음성 데이터의 녹음 시에 연주하고 있었던 노래방 악곡에 있어서의 템포 및 볼륨 정보가 기재되어 있는 믹싱 데이터 배신 서버.The mixing data distribution server according to claim 1, wherein the synchronization information describes the tempo and volume information of the karaoke music played during the recording of the voice data. 제1항 또는 제2항에 있어서, 상기 음성 데이터는 복수의 음성 데이터로 이루어지며,
상기 동기 정보에는 상기 복수의 음성 데이터 각각의 재생 타이밍을 나타내는 정보가 포함되는 믹싱 데이터 배신 서버.
According to claim 1 or 2, wherein the voice data is composed of a plurality of voice data,
And the synchronization information includes information indicating a reproduction timing of each of the plurality of audio data.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 기억 수단은 상기 음성 데이터 생성 수단이 생성한 믹싱 데이터를 더 기억하고,
상기 배신 수단은 상기 기억 수단으로부터 상기 믹싱 데이터를 판독해서 배신하는 믹싱 데이터 배신 서버.
The storage device according to any one of claims 1 to 3, wherein the storage means further stores mixing data generated by the voice data generating means,
And said distribution means reads out said mixing data from said storage means and delivers it.
제1항 내지 제4항 중 어느 한 항에 있어서, 상기 동기 정보에는 이펙트 파라미터가 포함되어 있으며,
상기 음성 데이터 생성 수단이 상기 자동 연주에 의한 악음의 믹싱을 행할 때에, 상기 이펙트 파라미터의 설정을 반영시키는 믹싱 데이터 배신 서버.
The method according to any one of claims 1 to 4, wherein the synchronization information includes an effect parameter.
And a mixed data distribution server for reflecting the setting of the effect parameter when the sound data generating means mixes the musical sound by the automatic performance.
KR1020127024457A 2010-03-19 2011-03-17 Mixing data delivery server KR101453177B1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010063427A JP5544961B2 (en) 2010-03-19 2010-03-19 server
JPJP-P-2010-063427 2010-03-19
PCT/JP2011/056395 WO2011115210A1 (en) 2010-03-19 2011-03-17 Mixing data delivery server

Publications (2)

Publication Number Publication Date
KR20120128142A true KR20120128142A (en) 2012-11-26
KR101453177B1 KR101453177B1 (en) 2014-10-22

Family

ID=44649293

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127024457A KR101453177B1 (en) 2010-03-19 2011-03-17 Mixing data delivery server

Country Status (4)

Country Link
JP (1) JP5544961B2 (en)
KR (1) KR101453177B1 (en)
CN (1) CN102822887B (en)
WO (1) WO2011115210A1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013231944A (en) * 2012-04-02 2013-11-14 Yamaha Corp Singing support device
JP6413828B2 (en) * 2015-02-20 2018-10-31 ブラザー工業株式会社 Information processing method, information processing apparatus, and program
CN105095461A (en) * 2015-07-29 2015-11-25 张阳 Family karaoke ordering method and system
CN105791937A (en) * 2016-03-04 2016-07-20 华为技术有限公司 Audio/video processing method and related equipment

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0129964B1 (en) * 1994-07-26 1998-04-18 김광호 Musical instrument selectable karaoke
JPH1152966A (en) * 1997-08-01 1999-02-26 Ricoh Co Ltd Music playing system
JP4188013B2 (en) * 2002-07-17 2008-11-26 株式会社第一興商 A communication karaoke system and a karaoke performance device capable of collecting and singing a singing track recording file entrusted to a file storage server to the karaoke performance device.
JP4042601B2 (en) * 2003-03-25 2008-02-06 ブラザー工業株式会社 Recording / playback device
JP2005352330A (en) * 2004-06-14 2005-12-22 Heartful Wing:Kk Speech division recording device
JP2006184684A (en) * 2004-12-28 2006-07-13 Xing Inc Music reproducing device
JP2006215460A (en) * 2005-02-07 2006-08-17 Faith Inc Karaoke sound transmitting and receiving system and method therefor
JP2007225934A (en) * 2006-02-23 2007-09-06 Xing Inc Karaoke system and host device for the same

Also Published As

Publication number Publication date
CN102822887A (en) 2012-12-12
JP5544961B2 (en) 2014-07-09
CN102822887B (en) 2015-09-16
JP2011197344A (en) 2011-10-06
WO2011115210A1 (en) 2011-09-22
KR101453177B1 (en) 2014-10-22

Similar Documents

Publication Publication Date Title
JP5331494B2 (en) Karaoke service system, terminal device
KR0152677B1 (en) Karaoke apparatus having automatic effector control
JP4423790B2 (en) Demonstration system, demonstration method via network
JP2004538496A (en) Network-based music performance / song accompaniment service system and method
JP5380109B2 (en) Karaoke service system, distribution server, terminal device
JP5544961B2 (en) server
JP4103364B2 (en) Karaoke system, karaoke device, and server device for karaoke system
KR100819775B1 (en) Network based music playing/song accompanying service apparatus, system method and computer recordable medium
WO2011111825A1 (en) Karaoke system and karaoke performance terminal
JP2004233698A (en) Device, server and method to support music, and program
KR20150137117A (en) Music session management method and music session management device
JP2008089849A (en) Remote music performance system
JP5109496B2 (en) Data distribution apparatus, data distribution method and program
JP2008304821A (en) Musical piece concert release system
JP5454530B2 (en) Karaoke equipment
JP2008033344A (en) Karaoke apparatus
JP2006154777A (en) Music generation system
JP7468111B2 (en) Playback control method, control system, and program
JP4169034B2 (en) Karaoke device and terminal device
JP2008026674A (en) Karaoke on demand distribution system
JP2022114309A (en) Online session server device
JP6783065B2 (en) Communication terminal equipment, server equipment and programs
JP3551441B2 (en) Karaoke equipment
JP2014048471A (en) Server, and music reproduction system
JP5273402B2 (en) Karaoke equipment

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee