JP5240840B2 - Karaoke equipment - Google Patents

Karaoke equipment Download PDF

Info

Publication number
JP5240840B2
JP5240840B2 JP2008223596A JP2008223596A JP5240840B2 JP 5240840 B2 JP5240840 B2 JP 5240840B2 JP 2008223596 A JP2008223596 A JP 2008223596A JP 2008223596 A JP2008223596 A JP 2008223596A JP 5240840 B2 JP5240840 B2 JP 5240840B2
Authority
JP
Japan
Prior art keywords
recording
information
music
pitch
recorded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008223596A
Other languages
Japanese (ja)
Other versions
JP2010060633A (en
Inventor
尚弥 田口
昌志 上野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xing Inc
Original Assignee
Xing Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xing Inc filed Critical Xing Inc
Priority to JP2008223596A priority Critical patent/JP5240840B2/en
Publication of JP2010060633A publication Critical patent/JP2010060633A/en
Application granted granted Critical
Publication of JP5240840B2 publication Critical patent/JP5240840B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Reverberation, Karaoke And Other Acoustics (AREA)

Description

本発明は、指定された楽曲を再生すると共に、録音した歌唱音声を再生するカラオケ装置に関するものである。   The present invention relates to a karaoke apparatus that reproduces a designated song and reproduces a recorded singing voice.

従来、カラオケボックスや飲食店等において、演奏に合わせて歌唱を楽しむカラオケ装置では、自宅での練習、あるいは他人に聞かせることを目的として歌唱した楽曲を録音して持ち帰るサービスが提供されている。また、音声のみならず歌唱している様子をビデオカメラにより録画して持ち帰るサービスもみられる。   2. Description of the Related Art Conventionally, in a karaoke apparatus that enjoys singing along with a performance in a karaoke box, a restaurant, or the like, a service for recording and taking back a song sung for the purpose of practicing at home or letting others hear is provided. In addition, there are services that record not only audio but singing with a video camera and take it home.

このような録音、録画サービスを提供するカラオケ装置には、例えば、特許文献1〜特許文献4にみられるようなものが知られている。特許文献1には、録音装置を接続して録音を行う際、曲毎に録音可否が書き込まれた録音可否テーブルを参照し、録音可能な場合には録音可能表示をして録音予約を受付け、録音不可なら録音不可を表示して録音予約を受け付けないカラオケ再生装置が記載されている。また、録音装置では、録音したコンパクトディスクに添付するためのラベルに、曲名、作詞者名などの録音曲情報を印刷することも記載されている。   As karaoke apparatuses that provide such recording and recording services, for example, those shown in Patent Documents 1 to 4 are known. In Patent Document 1, when recording is performed by connecting a recording device, a recording availability table in which recording availability is written for each song is referred to. A karaoke playback apparatus is described in which recording is not possible and recording reservation is not accepted if recording is not possible. The recording apparatus also describes that recorded song information such as a song title and a songwriter name is printed on a label attached to a recorded compact disc.

また、特許文献2には、マイクロフォンからの歌唱音響信号が1曲分の楽曲演奏を通じて実質的に有ったか無かったかを、音声レベル検出手段の出力に基づいて判断し、歌唱音響信号があった場合は、可搬型記録媒体への書き込みを許可し、無かった場合には書き込みを禁止するカラオケ録音装置が記載されている。このカラオケ装置によれば、カラオケ伴奏音楽が不正に複製されることを防止することができ、そして、歌唱音声音声の有無にて録音料金を変更することができる。   Further, in Patent Document 2, it was determined whether or not the singing sound signal from the microphone was substantially present through the performance of one song based on the output of the sound level detecting means, and there was a singing sound signal. Describes a karaoke recording apparatus that permits writing to a portable recording medium, and prohibits writing if there is none. According to this karaoke apparatus, the karaoke accompaniment music can be prevented from being illegally copied, and the recording fee can be changed depending on the presence or absence of the singing voice sound.

また、特許文献3には、録音入力インタフェース14が受信する音響信号を録音して一時記憶装置に楽曲単位の録音ファイルを作成し、保存する録音ファイルの数が規定数に達した際、利用者にダンプ指令の発行を促す旨を表示させ、ダンプ指令を受け付けた際、保存する録音ファイルをデータ書込装置3に転送して過般型記録媒体4に書き込ませることが記載されている。   Further, in Patent Document 3, a sound signal received by the recording input interface 14 is recorded to create a recording file for each song in a temporary storage device, and when the number of recording files to be stored reaches a specified number, Is displayed to prompt the issuance of the dump command, and when the dump command is received, the recording file to be stored is transferred to the data writing device 3 and written to the general-purpose recording medium 4.

また、特許文献4には、録音して作成した歌曲録音作品を作品管理サーバーにて管理する通信カラオケシステムにおいて、カラオケサーバーが歌曲録音作品を受信した際、作品管理サーバは作品番号をカラオケ装置に発行し、カラオケサーバーが作品番号を受信した際、歌曲録音作品をカラオケ装置に返信することが記載されている。
特開平7−36470号公報 特許第3515069号公報 特許第3522215号公報 特開2007−256803号公報
Further, in Patent Document 4, in a communication karaoke system in which a song recording work recorded and created is managed by a work management server, when the karaoke server receives the song recording work, the work management server sends the work number to the karaoke device. It is described that when a karaoke server receives a work number, a song recording work is returned to the karaoke device.
JP 7-36470 A Japanese Patent No. 3515069 Japanese Patent No. 3522215 JP 2007-256803 A

特許文献1〜特許文献4の従来技術は、いずれも歌唱音声と演奏音とを一緒に録音を行うカラオケ装置である。演奏音はステレオ信号で扱われるため、歌唱音声と演奏音を一緒に録音する場合にはステレオ信号で録音する必要がある。一方、録音に必要となる記憶手段の容量削減を考慮し、モノラル音声で扱われる歌唱音声のみを録音することが考えられる。このように歌唱音声のみを録音した場合には、録音した歌唱音声と演奏音とを同期し
て再生することで歌唱を再現することができる。
The prior arts of Patent Documents 1 to 4 are all karaoke apparatuses that record singing voices and performance sounds together. Since the performance sound is handled as a stereo signal, it is necessary to record the singing voice and the performance sound as a stereo signal. On the other hand, in consideration of the capacity reduction of the storage means required for recording, it is conceivable to record only the singing voice treated as monaural voice. In this way, when only the singing voice is recorded, the singing can be reproduced by synchronizing and reproducing the recorded singing voice and the performance sound.

カラオケ装置には、音程変更や速度変更など、歌唱者にあわせて設定できる各種設定機能が備えられている。録音時、あるいは、録音途中にこの各種設定機能を用いて演奏音を設定することもできるが、歌唱音声のみを録音した場合には、演奏音をそのまま再生するだけでは、歌唱時の歌唱を再現することができない。   The karaoke apparatus is provided with various setting functions that can be set in accordance with the singer, such as pitch change and speed change. You can also set the performance sound during recording or during recording using this setting function. However, if you record only the singing voice, just replay the performance sound to reproduce the singing voice. Can not do it.

本発明は、録音した歌唱音声と演奏音と同期を取って再生するカラオケ装置において、録音時、音程設定などの各種設定を演奏音に対して行った場合においても、録音時の歌唱を再現することができるカラオケ装置を提供するものである。   The present invention reproduces a singing sound even when various settings such as recording and pitch setting are performed on the performance sound in a karaoke apparatus that reproduces the recorded singing voice and the performance sound in synchronization. The present invention provides a karaoke apparatus capable of performing the above.

請求項1に係るカラオケ装置は、記憶手段と、再生手段と、指定手段と、制御手段とを備えるカラオケ装置であって、記憶手段は、楽曲IDに対応付けられた演奏情報を記憶し、再生手段は、演奏情報による演奏音の再生、並びに、録音音声情報による録音音声の再生を可能とし、録音音声情報は、マイクロフォンから入力される歌唱音声信号を録音した情報であると共に、楽曲IDと、音程または速度を示す録音時設定情報と、再生経過に対応して音程または速度の変更を示す録音時変更情報を含み、指定手段は、録音IDの指定を可能とし、制御手段は、指定された録音IDに対応する録音音声情報を再生手段に再生させると共に、当該録音音声情報が含む楽曲IDに対応する演奏情報を、当該録音音声情報が含む録音時設定情報と録音時変更情報に基づいて再生手段に再生させる再生処理を可能とすることを特徴とするものである。 The karaoke apparatus according to claim 1 is a karaoke apparatus comprising storage means, reproduction means, designation means, and control means, wherein the storage means stores and reproduces performance information associated with the music ID. The means enables reproduction of the performance sound based on the performance information and reproduction of the recorded sound based on the recorded sound information. The recorded sound information is information obtained by recording the singing sound signal input from the microphone, and the music ID, Including recording setting information indicating the pitch or speed and recording change information indicating the change of the pitch or speed corresponding to the playback process. The specifying means can specify the recording ID, and the control means is specified. The recorded voice information corresponding to the recording ID is played back by the reproducing means, and the performance information corresponding to the music ID included in the recorded voice information is recorded in the recording setting information and the recording included in the recorded voice information. It is characterized in that to enable the reproduction process for reproducing the reproducing means based on the change information.

さらに、請求項に係るカラオケ装置は、請求項に記載のカラオケ装置において、指定手段は、楽曲IDの指定に対応付けた音程または速度の指定、並びに、再生中における音程または速度の変更指定を可能とし、制御手段は、指定された楽曲IDに対応する演奏情報を、指定された音程または速度にて再生手段に再生させると共に、音程または速度の変更が指定された際、指定された音程または速度に変更して再生させ、マイクロフォンから入力される歌唱音声信号を録音し、録音IDと、指定された音程または速度を示す録音時設定情報と、変更した時点を示す再生経過に対応して音程または速度の変更を示す録音時変更情報を付与して録音音声情報を作成する録音処理を可能とすることを特徴とするものである。 Further, the karaoke apparatus according to claim 2 is the karaoke apparatus according to claim 1 , wherein the designation means designates the pitch or speed associated with the designation of the music ID, and designates change of the pitch or speed during reproduction. The control means causes the reproduction means to reproduce the performance information corresponding to the designated music ID at the designated pitch or speed, and when the pitch or speed change is designated, the designated pitch Or, change the speed to play, record the singing voice signal input from the microphone, corresponding to the recording ID, recording setting information indicating the specified pitch or speed, and the playback progress indicating the time of change It is characterized in that recording processing for creating recording voice information by adding change information at the time of recording indicating a change in pitch or speed is possible.

さらに、請求項に係るカラオケ装置は、請求項1または請求項2に記載のカラオケ装置において、記憶手段は、録音音声情報を記憶することを特徴とするものである。 Furthermore, the karaoke apparatus according to claim 3 is the karaoke apparatus according to claim 1 or 2 , wherein the storage means stores the recorded voice information.

さらに、請求項に係るカラオケ装置は、請求項1乃至請求項のいずれか1つに記載のカラオケ装置において、外部装置と通信可能な通信手段を更に備え、録音音声情報は、通信手段を介して外部装置から配信されることを特徴とするものである。
Further, a karaoke apparatus according to claim 4 further comprises a communication means capable of communicating with an external device in the karaoke apparatus according to any one of claims 1 to 3 , wherein the recorded voice information is a communication means. Via an external device.

本発明によれば、演奏音と録音した歌唱音声を同期を取って再生するカラオケ装置において、録音時、演奏音に対して音程設定などの各種設定を行った場合においても、録音時の歌唱を再現することができる   According to the present invention, in a karaoke apparatus that synchronizes and reproduces a performance sound and a recorded singing voice, even when various settings such as a pitch setting are performed on the performance sound during recording, the singing at the time of recording is performed. Can be reproduced

以下、本発明の実施形態を図面を参照しながら説明を行う。図1は、本発明の実施形態に係るカラオケシステムの実施形態を示した図であって、1つの店舗に複数のコマンダが設置されたカラオケボックスとしての営業形態を示している。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a diagram showing an embodiment of a karaoke system according to an embodiment of the present invention, and shows a sales form as a karaoke box in which a plurality of commanders are installed in one store.

図1において、50は通信網、60はルータ、70は無線アクセスポイント、100はホスト装置、200はリモコン装置、300はコマンダをそれぞれ示している。本実施形態において、各コマンダ300はroom1〜room4毎に1台ずつ配置され、リモコン装置200から指示された楽曲を演奏する。例えば、コマンダ1が設置されるroom1では1台のリモコン装置1が配置され、コマンダ1はリモコン装置1からの楽曲指示を受け付ける。また、コマンダ4が設置されるroom4では2台のリモコン装置4−1、4−2が配置され、コマンダ4は、リモコン装置4−1、4−2のどちらからも楽曲リクエストを受け付ける。なお、楽曲の指示は、リモコン装置200のみならず、各コマンダ300のフロントパネルに設けられた入力部からも可能となっている。   In FIG. 1, 50 is a communication network, 60 is a router, 70 is a wireless access point, 100 is a host device, 200 is a remote control device, and 300 is a commander. In the present embodiment, each commander 300 is arranged for each of room 1 to room 4 and plays the music instructed from the remote control device 200. For example, in the room 1 where the commander 1 is installed, one remote control device 1 is arranged, and the commander 1 receives a music instruction from the remote control device 1. In the room 4 where the commander 4 is installed, two remote control devices 4-1 and 4-2 are arranged, and the commander 4 receives music requests from both the remote control devices 4-1 and 4-2. Note that music instructions can be given not only from the remote control device 200 but also from an input unit provided on the front panel of each commander 300.

各コマンダ300は、LANを介してルータ60と接続されており、ルータ60はインターネット回線などの通信網50を介してホスト装置100に通信接続される。このような通信接続により、各コマンダ300は、ホスト装置100から楽曲情報や、プログラムなどの各種配信を受けることができると共に、ホスト装置100では各コマンダ300の利用履歴管理や各利用者の会員サービス管理を行うことが可能となっている。   Each commander 300 is connected to a router 60 via a LAN, and the router 60 is connected to the host apparatus 100 via a communication network 50 such as an Internet line. With such a communication connection, each commander 300 can receive various distributions of music information, programs, and the like from the host device 100. In the host device 100, the usage history management of each commander 300 and the membership service of each user are provided. Management is possible.

LAN上には、無線アクセスポイント70が接続されており、各リモコン装置200と無線通信可能に設定されている。このように設定することで、各リモコン装置200は予め対応付けられたコマンダ300と通信可能となる。また、各リモコン装置200は、コマンダ300のみならず、通信網50を介してホスト装置100との通信も可能となる。ホスト装置100は、ユーザがログインしているリモコン装置200に対して会員サービスを提供することができる。   A wireless access point 70 is connected on the LAN, and is set to be able to perform wireless communication with each remote control device 200. With this setting, each remote control device 200 can communicate with the commander 300 associated in advance. In addition, each remote control device 200 can communicate with not only the commander 300 but also the host device 100 via the communication network 50. The host device 100 can provide a member service to the remote control device 200 to which the user is logged in.

会員サービスは、各会員の個人設定情報をホスト装置100で管理することで、利用者がどのリモコン装置200からログインしても、各利用者に対して各種サービスを提供することができるサービスである。この各種サービスとしては、例えば、個人設定情報にユーザの予約履歴を記録しておくことで、再来店した場合に自分の予約履歴を参照可能としたり、ユーザが気に入った歌手を個人設定情報に登録しておくことでその歌手の持ち歌を参照可能としたり、登録しておいた十八番を参照可能としたり、採点履歴に基づいて他の利用者と得点を競ったりすることなどが考えられる。   The member service is a service that can provide various services to each user regardless of which remote controller 200 the user logs in by managing the personal setting information of each member with the host device 100. . As these various services, for example, by recording the user's reservation history in the personal setting information, the user's reservation history can be referred to when visiting the store again, or the user's favorite singer is registered in the personal setting information It is possible to refer to the song held by the singer, to be able to refer to the registered eighteenth, and to compete for scores with other users based on the scoring history.

本実施形態では、LANを介して接続された複数のコマンダ300による、いわゆるカ
ラオケボックスとしての営業形態を説明したが、スナックなどのナイト店では、1台のコマンダ300に対して、1台乃至複数台のリモコン装置200が設置される構成が採用される営業形態となる。
In the present embodiment, a business form as a so-called karaoke box using a plurality of commanders 300 connected via a LAN has been described. However, in a night shop such as a snack, one or more units are provided for one commander 300. A configuration in which a remote control device 200 is installed is employed.

次に、カラオケ装置の一構成となるコマンダ300についてより詳しく説明する。図2は本発明の実施の形態に係るコマンダ300及びその周辺のブロック構成を示す図である。301は制御部、302は通信部、303はフロントパネル表示部、304は表示制御部、305は記憶部、306は入力部、307は音源部、308はミキシング部、309はAD変換部、401はアンプ、402はスピーカー、403はマイクロフォン、404はディスプレイをそれぞれ示している。   Next, the commander 300 as one configuration of the karaoke apparatus will be described in more detail. FIG. 2 is a diagram showing a block configuration of the commander 300 and its surroundings according to the embodiment of the present invention. 301 is a control unit, 302 is a communication unit, 303 is a front panel display unit, 304 is a display control unit, 305 is a storage unit, 306 is an input unit, 307 is a sound source unit, 308 is a mixing unit, 309 is an AD conversion unit, 401 Denotes an amplifier, 402 denotes a speaker, 403 denotes a microphone, and 404 denotes a display.

コマンダ300には、CRTやTFT等の映像表示装置としてのディスプレイ404、音声増幅装置としてのアンプ401、音声入力手段としてのマイクロフォン403が接続されている。コマンダ300におけるカラオケ楽曲の演奏信号は、アンプ401へ送出されスピーカー402から演奏音が得られる。一方、楽曲の再生に同期した歌詞映像は、背景映像と重畳され、出力映像信号としてディスプレイ404に出力される。ユーザは、演奏音と歌詞映像に合わせてマイクロフォン403を用いて歌唱を行う。   Connected to the commander 300 are a display 404 as an image display device such as a CRT or TFT, an amplifier 401 as an audio amplifying device, and a microphone 403 as an audio input means. The performance signal of the karaoke musical piece in the commander 300 is sent to the amplifier 401, and a performance sound is obtained from the speaker 402. On the other hand, the lyrics video synchronized with the reproduction of the music is superimposed on the background video and output to the display 404 as an output video signal. The user sings using the microphone 403 in accordance with the performance sound and the lyrics video.

制御部301は、CPU、RAMなどの一時記憶部を含んで構成され、コマンダ300におけるシステム全体の制御を司る。ハードディスクなどの記憶部305には、演奏情報と歌詞情報で構成された楽曲情報、映像情報、各種プログラムなどが記憶されている。通信部302は、周知規格の有線LANなどが用いられ、リモコン装置200との間で各種制御命令の送受信を可能としている。また、ホスト装置100との間で楽曲情報や個人設定情報など各種情報の送受信を可能としている。   The control unit 301 includes a temporary storage unit such as a CPU and a RAM, and controls the entire system in the commander 300. A storage unit 305 such as a hard disk stores music information, video information, various programs, etc. composed of performance information and lyrics information. The communication unit 302 uses a well-known standard wired LAN or the like, and can transmit and receive various control commands to and from the remote control device 200. In addition, various information such as music information and personal setting information can be transmitted to and received from the host device 100.

入力部306は、フロントパネルなどに設けられた各種スイッチ群であり、予約選曲、音程コントロールなど各種機能を手動設定可能としている。表示制御部304は、制御部301と連携し、記憶部305に記憶されている楽曲情報中の歌詞情報に基づいて歌詞映像を作成する。そして、映像情報に基づいて背景映像を作成し、背景映像に歌詞映像を重畳した出力映像信号をディスプレイ404に出力する表示制御を行う。その他、表示制御部304は、各種コンテンツ、広告情報などをディスプレイ404にて表示するための表示制御を行う。   The input unit 306 is a group of various switches provided on the front panel or the like, and can manually set various functions such as reserved music selection and pitch control. The display control unit 304 cooperates with the control unit 301 to create a lyric video based on the lyrics information in the music information stored in the storage unit 305. Then, display control is performed so that a background video is created based on the video information and an output video signal in which lyrics video is superimposed on the background video is output to the display 404. In addition, the display control unit 304 performs display control for displaying various contents, advertisement information, and the like on the display 404.

音源部307は、MIDI、PCM、MPEGなど各種規格に基づいた演奏情報に基づいて楽音信号を形成する再生手段として機能する。この音源部307では単一規格で構成された演奏情報のみならず、異なる複数規格で構成された演奏情報を扱うことも可能である。例えば、MIDIにて伴奏を再生すると同時に、PCM、あるいは、MPEGにて模範歌唱、バックコーラス、あるいは、録音音声情報を再生することができる。ミキシング部308は、音源部307で形成した楽音信号と、マイクロフォン403から入力される歌唱者の歌唱音声信号を適宜なバランスで混合する。混合された信号はアンプ401に出力されてスピーカー402から放音出力される。   The sound source unit 307 functions as a reproducing unit that forms a musical tone signal based on performance information based on various standards such as MIDI, PCM, and MPEG. The sound source unit 307 can handle not only performance information composed of a single standard but also performance information composed of different standards. For example, the accompaniment can be played back by MIDI, and at the same time, the model song, back chorus, or recorded voice information can be played back by PCM or MPEG. The mixing unit 308 mixes the musical sound signal formed by the sound source unit 307 and the singing voice signal of the singer input from the microphone 403 with an appropriate balance. The mixed signal is output to the amplifier 401 and output from the speaker 402.

また、歌唱を録音するため、歌唱音声信号はAD変換部309にも入力される。デジタル信号に変換された歌唱音声信号は、制御部301によるエンコード処理で録音音声に音声圧縮されて記憶部305に格納される。歌唱音声信号のみを録音する場合には、音源部307での再生時、録音時に使用した演奏情報と同期を取って再生することで歌唱を再現できる。   In addition, in order to record a song, the song voice signal is also input to the AD conversion unit 309. The singing voice signal converted into the digital signal is voice-compressed into a recorded voice by the encoding process by the control unit 301 and stored in the storage unit 305. When recording only the singing voice signal, the singing can be reproduced by reproducing in synchronization with the performance information used at the time of recording at the time of reproduction by the sound source unit 307.

以上、コマンダ300の主要構成について説明したが、IR信号を送受信可能とする通信部をさらに設け、IR信号を利用する従来のリモコン装置からの制御命令に対応できる
構成を採用してもよい。
The main configuration of the commander 300 has been described above. However, a configuration may be adopted in which a communication unit that can transmit and receive IR signals is further provided to respond to control commands from a conventional remote control device that uses IR signals.

次に、本発明の指定手段としての一実施形態であるリモコン装置200について説明する。図3は、リモコン装置200の外観(正面図)を示したものであり、筐体中央にはタッチパネル207が配置され、ユーザに対して各種表示を行うと共に、スタイラス405あるいは指を接触させることによるユーザ入力を受け付ける。本実施形態では、このタッチパネル207のみを利用したものとなっているが、この実施形態に限るものではなく、例えば、表示部と各種キーにてユーザ入力を受け付ける形態などが採用できる。   Next, the remote controller 200 which is an embodiment as the specifying means of the present invention will be described. FIG. 3 shows an external appearance (front view) of the remote control device 200. A touch panel 207 is arranged at the center of the casing, and various displays are made to the user and the stylus 405 or a finger is brought into contact with the remote control device 200. Accept user input. In the present embodiment, only the touch panel 207 is used. However, the present invention is not limited to this embodiment. For example, a form in which a user input is received using a display unit and various keys can be employed.

タッチパネル207の右上には認証手段としての指紋読取部203が設けられる。この指紋読取部203上にユーザが指をスライドさせることで指紋が読み取られる。読み取られた指紋は適宜アルゴリズムで特徴が抽出され指紋情報に変換される。認証手段はこの形態に限るものではなく、各種生体認証や、IDとパスワードによる各種のものが採用可能である。   A fingerprint reading unit 203 as an authentication unit is provided on the upper right of the touch panel 207. A fingerprint is read by the user sliding his / her finger on the fingerprint reading unit 203. Features of the read fingerprint are extracted as appropriate by an algorithm and converted into fingerprint information. The authentication means is not limited to this form, and various biometric authentications and various types using IDs and passwords can be employed.

図4は、リモコン装置のブロック構成を示した図であって、201はリモコン制御部、202はリモコン通信部、203は指紋読取部、204はリモコン記憶部、205はリモコン表示部、206はタッチ式センサを示している。タッチ式センサ206は透明であってリモコン表示部205の表面に配置され、両者にてタッチパネル207を構成する。   FIG. 4 is a diagram showing a block configuration of the remote control device, in which 201 is a remote control control unit, 202 is a remote control communication unit, 203 is a fingerprint reading unit, 204 is a remote control storage unit, 205 is a remote control display unit, and 206 is a touch 1 shows a type sensor. The touch sensor 206 is transparent and is disposed on the surface of the remote control display unit 205, and configures the touch panel 207 together.

リモコン制御部201はリモコン装置200全体の制御を司る。リモコン記憶部204には、RAMなど各種メモリやハードディスクが用いられ、楽曲選択のための楽曲リストやサービス処理を行う際に必要となる個人設定情報などが格納される。   The remote control control unit 201 controls the entire remote control device 200. The remote control storage unit 204 uses various memories such as a RAM and a hard disk, and stores a music list for music selection, personal setting information necessary for performing service processing, and the like.

タッチ式センサ206は、利用者の指やスタイラスなどの接触による入力操作を可能としている。タッチ式センサ206による入力を可能とするため、リモコン表示部205は、タッチ式センサ206に対する制御と連動した表示画像が表示されるようにプログラム制御される。なお、入力手段としては、タッチ式センサ206に限定されるものではなく、例えば、キーボード、カーソルキーなどの機械的な入力手段を採用してもよい。   The touch sensor 206 enables an input operation by contact with a user's finger or stylus. In order to enable input by the touch sensor 206, the remote control display unit 205 is program-controlled so that a display image linked to the control with respect to the touch sensor 206 is displayed. Note that the input means is not limited to the touch sensor 206, and mechanical input means such as a keyboard and cursor keys may be employed.

リモコン通信部202は、無線アクセスポイント70との間で、例えば、無線LAN規格(IEEE802.11a/b/gなど)による無線通信を行う。このリモコン通信部202にて、リ
モコン装置200は、コマンダ300やホスト装置100との通信を行う。なお、このリモコン通信部202は、例えば、Bluetooth規格(登録商標)により実現することもでき
る。その場合、受け手側のコマンダ300側に設けられた同規格の通信部により、リモコン装置200とコマンダ300は無線通信を行う。更に、リモコン装置200はコマンダ300を経由してホスト装置100との通信を行うこととなる。
The remote control communication unit 202 performs wireless communication with the wireless access point 70 in accordance with, for example, a wireless LAN standard (IEEE802.11a / b / g). In this remote control communication unit 202, the remote control device 200 communicates with the commander 300 and the host device 100. The remote control communication unit 202 can also be realized by, for example, the Bluetooth standard (registered trademark). In that case, the remote control device 200 and the commander 300 perform wireless communication by the communication unit of the same standard provided on the commander 300 side on the receiver side. Furthermore, the remote control device 200 communicates with the host device 100 via the commander 300.

リモコン装置200からコマンダ300に対する楽曲指定などの各種コマンドは、この通信部202を介して送信される。すなわち、リモコン装置200は、LAN上に配置された無線アクセスポイント70と無線通信を行うこととなるが、コマンダ300とリモコン装置200が予め対応付けられているため、コマンダ300は自分に対する各種コマンドを判別することができる。   Various commands such as music designation from the remote control device 200 to the commander 300 are transmitted via the communication unit 202. That is, the remote control device 200 performs wireless communication with the wireless access point 70 arranged on the LAN. However, since the commander 300 and the remote control device 200 are associated in advance, the commander 300 sends various commands to itself. Can be determined.

指紋読取部203は、ユーザがその表面を指で押圧、もしくは、スライドさせることで指紋を読み取る機能を備えている。読み取られた指紋はホスト装置100との間で認証処理が行われ、認証に成功したユーザはログインユーザとして各種サービスの提供を受けることが可能となる。なお、ユーザによってはログインのための認証方法として、指紋認証を好まない場合がある。そこで、本実施形態におけるカラオケシステムでは、この指紋読取部203を利用した認証と、タッチパネル207からのユーザIDと、パスワードを入
力することによる認証を選択できるようになっている。
The fingerprint reading unit 203 has a function of reading a fingerprint by the user pressing or sliding the surface with a finger. The read fingerprint is subjected to an authentication process with the host device 100, and a user who has succeeded in authentication can receive various services as a login user. Some users do not like fingerprint authentication as an authentication method for login. Therefore, in the karaoke system according to the present embodiment, authentication using the fingerprint reading unit 203, authentication by inputting a user ID from the touch panel 207, and a password can be selected.

以上、本カラオケ装置におけるハードウェア構成を説明したが、次に、これらハードウェア構成を利用した録音機能について図面を参照しつつ説明を行う。まず、録音予約する際の楽曲予約処理について図5〜図9を用いて説明を行う。   The hardware configuration of the karaoke apparatus has been described above. Next, a recording function using these hardware configurations will be described with reference to the drawings. First, a music reservation process when making a recording reservation will be described with reference to FIGS.

図5は楽曲予約処理のフロー図を示したものであり、予約する際、録音指定を行うことができることを特徴としている。図6は楽曲リストを示した図である。図7は選曲画面を示した図である。図8は楽曲詳細画面を示した図を示している。   FIG. 5 shows a flowchart of the music reservation process, which is characterized in that a recording can be designated when making a reservation. FIG. 6 shows a music list. FIG. 7 shows a music selection screen. FIG. 8 shows a diagram showing the music detail screen.

では、図5の楽曲予約処理のフロー図を中心に楽曲予約処理について説明する。リモコン装置200において楽曲予約処理が開始されると(S100)、ユーザ指示による各種モードに応じた選曲画面が表示される(S101)。この選曲画面はリモコン記憶部204に記憶される楽曲リストに基づいて作成される。本実施形態において、この選曲リストは図6に示すように、各楽曲毎に楽曲ID、楽曲名、歌手名、唄い出し、録音可否情報、原曲キーを含んで構成される。録音可否情報は、著作権などの関係により録音できない楽曲を示した情報である。原曲キーは、オリジナルの楽曲と異なる音程に設定されることが多いカラオケにおいて、オリジナルの楽曲で歌唱したい歌唱者を考慮したものであって、カラオケの演奏情報とオリジナルの楽曲との差分音程を記述した情報である。   Now, the music reservation process will be described focusing on the flowchart of the music reservation process in FIG. When the music reservation process is started in the remote controller 200 (S100), a music selection screen corresponding to various modes according to a user instruction is displayed (S101). This music selection screen is created based on the music list stored in the remote control storage unit 204. In the present embodiment, as shown in FIG. 6, the music selection list is configured to include a music ID, a music title, a singer name, a song name, recording availability information, and an original music key for each music piece. The recording availability information is information indicating a music that cannot be recorded due to a copyright or the like. In the karaoke, where the original music key is often set to a different pitch from the original music, the original music key takes into account the singer who wants to sing with the original music, and the difference between the karaoke performance information and the original music is calculated. This information is described.

この楽曲リストに基づいて作成された選曲画面の一実施形態を図7に示す。501は検索ワード入力欄、502は検索スイッチ、503は検索モードスイッチ、504は楽曲表示欄、505は移動スイッチ、506は前画面スイッチを示している。   An embodiment of a music selection screen created based on this music list is shown in FIG. Reference numeral 501 indicates a search word input field, 502 indicates a search switch, 503 indicates a search mode switch, 504 indicates a music display field, 505 indicates a movement switch, and 506 indicates a previous screen switch.

ユーザは、図示しないソフトキーボードなどで、検索ワード入力欄501に検索ワードを入力した後、検索スイッチ502を選択することで楽曲を検索することができる。検索モードスイッチ503は、楽曲名順と歌手名順の2つのスイッチで構成され排他的に選択可能となっている。楽曲名順のスイッチを選択すると、検索モードスイッチ503の下に表示されているあいうえお順のタブは楽曲名に対応し、歌手名順を選択すれば歌手名に対応したものとなる。ユーザはあいうえお順のタブを選択すると共に、移動スイッチ505でページを切り換えることで楽曲表示欄504を参照し楽曲を検索する。   The user can search for music by inputting a search word in the search word input field 501 using a soft keyboard (not shown) and then selecting the search switch 502. The search mode switch 503 is composed of two switches, ie, music name order and singer name order, and can be selected exclusively. When a switch in order of song names is selected, the tab in the order of songs displayed under the search mode switch 503 corresponds to the song name, and if the order of singer name is selected, it corresponds to the name of the singer. The user selects a tab in order, and switches the page with the movement switch 505 to search for the music by referring to the music display column 504.

図7の選曲画面で所望の楽曲表示欄504を選択すると、図8の楽曲詳細画面にて、選選択した楽曲の詳細情報が楽曲リストに基づいて表示される。ユーザはこの画面で楽曲を確認し、音程、録音の指定を行って演奏予約を行うこととなる。この楽曲詳細画面には、歌手名、楽曲名、唄い出しなど楽曲に関する各種情報が表示される。一方、認証手段でログインし、ホスト装置100から個人設定情報を読み出したログインユーザに対しては、「マイアーティスト追加」、「マイソング追加」のスイッチの利用が可能となる。これらスイッチを選択することで当該歌手、あるいは、当該楽曲を個人設定情報に登録することができる。ユーザは自分の個人設定情報に登録した楽曲、あるいは、歌手に基づいて検索可能となる。   When the desired music display field 504 is selected on the music selection screen in FIG. 7, detailed information on the selected music is displayed on the music detail screen in FIG. 8 based on the music list. The user confirms the music on this screen, designates the pitch and recording, and reserves the performance. On this music detail screen, various information related to the music such as the singer name, the music name, and the start of the song are displayed. On the other hand, for the logged-in user who has logged in by the authentication means and has read the personal setting information from the host device 100, the switches “Add My Artist” and “Add My Song” can be used. By selecting these switches, the singer or the music can be registered in the personal setting information. The user can search based on music or singer registered in his / her personal setting information.

音程指定スイッチ欄507には、音程を設定予約するための各種スイッチが表示される。♯スイッチ、♭スイッチを選択することで音程を上下することができる。音程上下の様子は、♯スイッチ、♭スイッチの間に位置するインジケータに表示される。このインジケータには原曲の音程を示す位置も表示されており、ユーザが音程を指定する目安となる。また、スイッチ欄507内の右側には、原曲キー予約スイッチが表示されており、これを選択することで♯、♭スイッチを選択することなく原曲の音程を指定することができる。本実施形態では音程指定のみとしたが、この他、演奏情報再生の速度(テンポ)、マイクロフォン403の歌唱音声信号に付与するエコーなどの各種音響効果、演奏音に付与する
各種音響効果を指定できるようにしてもよい。
In the pitch designation switch field 507, various switches for setting and reserving a pitch are displayed. The pitch can be raised or lowered by selecting the # switch or ♭ switch. The state above and below the pitch is displayed on an indicator located between the # switch and the ♭ switch. This indicator also displays the position indicating the pitch of the original music, which is a guide for the user to specify the pitch. An original music key reservation switch is displayed on the right side in the switch column 507, and by selecting this, the pitch of the original music can be designated without selecting the # and ♭ switches. In this embodiment, only the pitch is specified, but in addition to this, the performance information playback speed (tempo), various acoustic effects such as echo to be given to the singing voice signal of the microphone 403, and various acoustic effects to be given to the performance sound can be designated. You may do it.

録音指定スイッチ欄508には、録音するかしないかを指定する2つのスイッチが表示される。ユーザは、このスイッチで当該楽曲の録音指定を行う。本実施形態では録音詳細画面に常時、この録音指定スイッチ欄508を表示するようにしているが、楽曲リストに含まれる録音可否情報を参照し、録音できない楽曲に対してはこの録音指定スイッチ欄を表示しない構成としてもよい。   In the recording designation switch column 508, two switches for designating whether or not to record are displayed. The user designates recording of the music piece with this switch. In the present embodiment, the recording designation switch field 508 is always displayed on the recording detail screen. However, the recording designation switch field is referred to the music that cannot be recorded with reference to the recording availability information included in the music list. It is good also as a structure which does not display.

楽曲詳細画面にて歌唱する楽曲を決定したユーザは、予約スイッチ509を選択し楽曲の予約を行う。予約スイッチ509が選択されると(S104)、S105では録音指定スイッチ欄508での録音指定がされているか否かを判断し(S105)、録音指定がある場合には、楽曲リストの録音可非情報を参照して当該楽曲が録音可能であるか否かを判断し、録音可能な楽曲であれば予約コマンドに録音フラグに“1”を設定する。一方、録音できない楽曲であれば、録音できない楽曲であることを表示する(S108)。   The user who has determined the song to be sung on the song detail screen selects the reservation switch 509 and reserves the song. When the reservation switch 509 is selected (S104), in S105, it is determined whether or not recording is designated in the recording designation switch field 508 (S105). It is determined whether or not the music can be recorded by referring to the information. If the music is recordable, “1” is set in the recording flag in the reservation command. On the other hand, if the music cannot be recorded, it is displayed that the music cannot be recorded (S108).

S109では音程指定スイッチ欄507での音程指定があるか否かを判断し、音程指定があれば予約コマンドに設定音程を含める。本実施形態では録音指定のみとしたが、演奏情報再生の速度や各種音響効果などが指定されている場合にはこれらの指定についても予約コマンドに含めることになる。   In S109, it is determined whether or not there is a pitch designation in the pitch designation switch field 507. If there is a pitch designation, the set pitch is included in the reservation command. In this embodiment, only the recording designation is made. However, when the performance information reproduction speed and various sound effects are designated, these designations are also included in the reservation command.

S111では指定された楽曲の楽曲IDを予約コマンドに含めてコマンダ300に送信し楽曲予約処理を終了する(S112)。なお、ログインユーザによる予約の場合には、予約コマンドにユーザIDを含めてユーザ別の管理ができるようにしてもよい。   In S111, the music ID of the designated music is included in the reservation command and transmitted to the commander 300, and the music reservation process is terminated (S112). In the case of reservation by a logged-in user, the user ID may be included in the reservation command so that management by user can be performed.

楽曲予約処理で作成された予約コマンドを受信したコマンダ300は、予約リストのエントリーに予約コマンドを追加して演奏情報を再生管理する。図9は予約リストを示した図であり、各予約番号に、予約日時、楽曲ID、録音フラグ、設定音程、ユーザIDが対応付けられたエントリーが掲載されている。コマンダ300はこの予約リスト上で再生ポインタを順次進め、楽曲IDに対応する演奏情報の再生を行う。   Receiving the reservation command created by the music reservation process, the commander 300 adds the reservation command to the entry of the reservation list and reproduces and manages the performance information. FIG. 9 is a diagram showing a reservation list. Each reservation number includes an entry associated with a reservation date, music ID, recording flag, set pitch, and user ID. The commander 300 sequentially advances the playback pointer on the reservation list, and plays back the performance information corresponding to the music ID.

では、次にこの予約リストに基づいて実行されるコマンダ300での再生処理について図10を用いて説明する。電源投入により立ち上がったコマンダ300は再生処理を開始する(S201)。予約リストを参照し(S202)、まだ再生されていない待ち楽曲の有無を監視する(S203)。待ち楽曲があれば、S204にて当該待ち楽曲が演奏情報を指定する楽曲IDであるのか、録音音声情報を指定する録音IDであるのかを判断する。録音音声情報、録音IDについては後ほど説明することとなるが、本実施形態によれば、予約リストで楽曲IDのみならず、録音IDを管理することで、録音音声情報についても予約再生を行うことができる。   Next, the reproduction process performed by the commander 300 based on the reservation list will be described with reference to FIG. The commander 300 that is started up by turning on the power starts the reproduction process (S201). The reservation list is referred to (S202), and the presence / absence of waiting music that has not been played back is monitored (S203). If there is a waiting song, it is determined in S204 whether the waiting song is a song ID specifying performance information or a recording ID specifying recording sound information. Recording voice information and recording ID will be described later, but according to the present embodiment, reserved playback is also performed for recorded voice information by managing the recording ID as well as the music ID in the reservation list. Can do.

楽曲IDであった場合にはS205〜S209の処理を行った後、再生ポインタを1つ進め(S212)、予約リストの待ち楽曲の監視に戻る。一方、録音IDであった場合にはS210、S211にて録音音声情報を再生した後、同様に予約リストの待ち楽曲の監視に戻る。ここでは、まず、S205〜S209の処理について説明を行う。S205では予約リストにて設定音程が設定されているか否かを判定する。設定されている場合には、これから再生する演奏情報を設定音程にて再生するよう音程変更を行う(S206)。S207では予約リストにて録音フラグの有無を確認し、録音フラグが“0”である場合には、演奏情報の再生を開始し(S208)、再生が終了すると(S209)再生ポインタを1つ進めて予約リストの待ち楽曲の監視へと戻る。   If it is a song ID, after performing the processes of S205 to S209, the playback pointer is advanced by one (S212), and the process returns to monitoring of the waiting music in the reservation list. On the other hand, if it is a recording ID, after recording voice information is reproduced in S210 and S211, the process returns to monitoring of the waiting music in the reservation list in the same manner. Here, first, the processing of S205 to S209 will be described. In S205, it is determined whether or not a set pitch is set in the reservation list. If it is set, the pitch is changed so that the performance information to be played is played at the set pitch (S206). In S207, it is confirmed whether or not the recording flag exists in the reservation list. If the recording flag is “0”, the performance information starts to be reproduced (S208), and when the reproduction is completed (S209), the reproduction pointer is advanced by one. To return to monitoring the waiting list in the reservation list.

一方、録音フラグが“1”である場合にはS300の録音処理に進む。図11はこの録
音処理のフローを示した図である。録音処理が開始される(S301)と、S302ではS208と同様、演奏情報の再生を開始する。また、再生開始と同時にマイクロフォン403から入力される歌唱音声信号の録音を開始する。本実施形態はマイクロフォン403からの歌唱音声信号のみを録音する形態であって、歌唱音声信号は、AD変換部309にてデジタル信号に変換されMPEG規格などの歌唱音声に変換されて記憶部305に記憶される。歌唱音声信号は、中央に定位する音声信号であるためモノラルにて録音すればよく、演奏音を含めてステレオで録音するよりも容量を節約することができる。このような形態では録音された歌唱音声と、演奏情報を同期して再生することで歌唱を再現できる。また、演奏情報の再生と同時に歌唱音声信号の録音を開始するため、歌唱再現の場合には、演奏情報と録音音声を同時に再生開始するだけで簡単に同期を取ることができる。
On the other hand, if the recording flag is “1”, the process proceeds to the recording process of S300. FIG. 11 is a flowchart showing the recording process. When the recording process is started (S301), playback of performance information is started in S302, similar to S208. Simultaneously with the start of reproduction, recording of the singing voice signal input from the microphone 403 is started. In the present embodiment, only the singing voice signal from the microphone 403 is recorded. The singing voice signal is converted into a digital signal by the AD conversion unit 309 and converted into a singing voice of MPEG standard or the like in the storage unit 305. Remembered. Since the singing voice signal is a voice signal localized in the center, it may be recorded in monaural, and the capacity can be saved as compared to recording in stereo including the performance sound. In such a form, the singing can be reproduced by synchronizing and reproducing the recorded singing voice and the performance information. Further, since the recording of the singing voice signal is started simultaneously with the reproduction of the performance information, in the case of singing reproduction, it is possible to easily synchronize by simply starting the reproduction of the performance information and the recorded voice simultaneously.

演奏情報の再生中、S303ではリモコン200などの入力手段から、ユーザによる音程の変更変更指定について監視を行う。音程変更指定があればS304にて音源部307に演奏情報の音程を変更して再生させる。また、この音程変更指定は、再生時間や、MIDIクロックなど、演奏情報の再生経過を示す情報と一緒に録音時変更情報として、制御部301の一時記憶部に格納される(S305)。この音程変更のみならず、楽曲再生途中における演奏情報再生の速度(テンポ)、マイクロフォン403の歌唱音声信号に付与するエコーなどの各種音響効果、演奏音に付与する各種音響効果の変更についてもこの録音時変更情報として格納してもよい。本実施形態ではこの録音時変更情報は、録音音声の再生時に用いられることとなる。   During the reproduction of the performance information, in step S303, the user changes the pitch change / change designation by the user from the input means such as the remote controller 200. If there is a pitch change designation, in S304, the sound source unit 307 changes the pitch of the performance information and reproduces it. Further, the pitch change designation is stored in the temporary storage unit of the control unit 301 as recording change information together with information indicating the playback progress of the performance information such as the playback time and MIDI clock (S305). This recording not only changes the pitch, but also changes the speed (tempo) of performance information playback during music playback, various acoustic effects such as echo applied to the singing voice signal of the microphone 403, and various acoustic effects applied to the performance sound. It may be stored as time change information. In the present embodiment, the recording change information is used when the recorded sound is reproduced.

演奏情報の再生が終了する(S306)と、歌唱音声の録音も同時に終了する(S307)。S308では、歌唱したユーザがログインユーザか否か予約リストを参照して判断する。ログインユーザでないゲストユーザの場合にはS312にて録音音声を破棄して録音処理を終了する。一方、ログインユーザの場合にはS309〜S311の処理へと移行する。このように本実施形態ではゲストユーザについては録音音声の保存を禁止しており、録音音声を管理することが困難なカラオケボックスのような営業形態に好適である。なお、ゲストユーザについても録音音声の保存をできるようにしてもよい。常連客が集うナイト店などのようにオーナーが録音音声を管理することができる場合にはこの形態が好適である。   When the reproduction of the performance information is finished (S306), the recording of the singing voice is also finished at the same time (S307). In S308, it is determined with reference to the reservation list whether or not the user who sang is a login user. If the guest user is not a login user, the recorded voice is discarded in S312, and the recording process is terminated. On the other hand, in the case of a logged-in user, the process proceeds to S309 to S311. As described above, in the present embodiment, the guest user is prohibited from storing the recorded voice and is suitable for a business form such as a karaoke box in which it is difficult to manage the recorded voice. The guest user may be allowed to save the recorded voice. This form is suitable when the owner can manage the recorded voice, such as in a night shop where regular customers gather.

本実施形態において、ログインユーザである場合には、ディスプレイ404またはタッチパネル207にて録音音声を保存するか否かをユーザに問う(S309)。ユーザが保存しないことを選択した場合には、S312にて録音音声を破棄して録音処理を終了する。一方、保存することを選択した場合には、録音音声に基づいて録音音声情報を作成(S310)した後、記憶部305に保存し(S311)、録音処理を終了する(S313)。   In the present embodiment, if the user is a logged-in user, the user is asked whether to save the recorded voice on the display 404 or the touch panel 207 (S309). If the user selects not to save, the recorded voice is discarded in S312, and the recording process is terminated. On the other hand, if it is selected to save, recorded voice information is created based on the recorded voice (S310), and then saved in the storage unit 305 (S311), and the recording process is terminated (S313).

図12は、録音音声に基づいて作成された録音音声情報を模式的に示した図であり、録音音声に、録音IDと関連情報を付与して作成される。この関連情報は、録音日時、録音時設定情報、録音時変更情報、楽曲関連情報、ユーザ関連情報、採点関連情報、コメントなどを含んで構成される。録音IDは録音音声情報を識別するための識別子であり、例えば録音を行う毎にカウントアップされるシリアル番号で構成される。また、録音音声情報を複数のカラオケ装置にて利用することを考えて、例えばコマンダのIDにシリアル番号を付与するなどコマンダ間で重複しない構成としてもよい。通信網や可搬記録媒体などを介して録音音声情報を配信する場合においても録音音声情報を識別可能となる。   FIG. 12 is a diagram schematically showing the recorded voice information created based on the recorded voice, and is created by adding a recording ID and related information to the recorded voice. This related information includes recording date and time, recording setting information, recording change information, music related information, user related information, scoring related information, comments, and the like. The recording ID is an identifier for identifying recorded voice information, and is composed of, for example, a serial number that is counted up every time recording is performed. In consideration of using the recorded voice information in a plurality of karaoke apparatuses, for example, a serial number may be assigned to the commander ID so that the commanders do not overlap each other. The recorded voice information can be identified even when the recorded voice information is distributed via a communication network or a portable recording medium.

録音日時は録音を行った日時(日付のみでもよい)を示す関連情報であり、ユーザは録音日時を参照して録音音声情報を検索することができる。録音時設定情報は、予約する際、設定された音程であり、予約リスト内の設定音程が使用される。本実施形態では、予約
時に音程のみ設定可能な構成としたが、演奏情報再生の速度(テンポ)、マイクロフォン403の歌唱音声信号に付与するエコーなどの各種音響効果、演奏音に付与する各種音響効果を指定する場合には、これらについても録音時設定情報に含めればよい。録音時変更情報は、録音の際、図11のS305にて一時記憶部に格納した情報であり、本実施形態では音程変更指定と再生経過情報の組で構成される。この録音時変更情報についても、録音時設定情報と同様、音程のみならず各種の変更について採用することができる。
The recording date and time is related information indicating the date and time of recording (only the date may be used), and the user can search the recorded voice information with reference to the recording date and time. The recording setting information is a pitch set at the time of reservation, and the set pitch in the reservation list is used. In the present embodiment, only the pitch can be set at the time of reservation. However, the performance information playback speed (tempo), various acoustic effects such as an echo imparted to the singing voice signal of the microphone 403, and various acoustic effects imparted to the performance sound. May be included in the recording setting information. The recording change information is information stored in the temporary storage unit in S305 of FIG. 11 at the time of recording. In the present embodiment, the change information is composed of a combination of pitch change designation and reproduction progress information. As with the recording setting information, this recording change information can be used not only for the pitch but also for various changes.

楽曲関連情報は、楽曲リストに基づいて付与される情報であり、楽曲ID、歌手名、楽曲名などを含んで構成される。本実施形態において録音音声を再生する場合、この楽曲関連情報に含まれる楽曲IDを参照して対応する演奏情報が読み出される。ユーザ関連情報は、ユーザがログインに成功したときにホスト装置100から取得する個人設定情報に基づいて付与される。図13はこのユーザ関連情報の一部を示したものであるが、ユーザID、ニックネーム、性別、生年月日、ユーザを撮影した画像情報などを含んで構成される。画像情報はユーザの分身を示すキャラクターであるアバターを特定するための情報としてもよい。なお、個人設定情報を利用してユーザ関連情報を付与する場合、ゲストユーザについてはこのユーザ関連情報を付与することができないが、予約時、録音時、あるいは、録音音声情報作成後などの適宜タイミングで、ユーザ入力に基づいて付与できるようにしてもよい。   The music related information is information given based on the music list, and includes a music ID, a singer name, a music name, and the like. When the recorded sound is reproduced in the present embodiment, the corresponding performance information is read with reference to the music ID included in the music related information. The user related information is given based on personal setting information acquired from the host device 100 when the user has successfully logged in. FIG. 13 shows a part of the user-related information, and includes a user ID, a nickname, a gender, a date of birth, image information obtained by photographing the user, and the like. The image information may be information for specifying an avatar that is a character indicating the user's alternation. When user-related information is given using personal setting information, this user-related information cannot be given to guest users, but at appropriate timings such as at the time of reservation, at the time of recording, or after the creation of recorded audio information Thus, it may be provided based on user input.

採点関連情報は、録音時に採点処理が行われた際に記録される情報であり、採点に関する情報、採点モードや、得点などを含んで構成される。採点処理はカラオケにおいて行われる採点ゲームなどで行われる広く一般的に知られた処理であり、演奏情報の再生中、演奏情報に含まれるメロディ情報と歌唱音声信号の比較に基づいて得点を算出する処理である。ここでは、この算出された得点を関連情報に含めることとするが、採点結果の見せ方、又は、採点アルゴリズムの異なる複数種類の採点ゲームを行うことができる場合には、使用した採点ゲームの種別を示す採点モードを一緒に記録してもよい。なお、この採点処理はユーザが採点ゲームを行った場合に限らず、録音処理を行った際、必ず実行するようにして採点関連情報を付与するようにしてもよい。   The scoring related information is information recorded when scoring processing is performed during recording, and includes information related to scoring, scoring mode, scoring, and the like. The scoring process is a widely known process performed in a scoring game performed in karaoke, and the score is calculated based on a comparison between the melody information included in the performance information and the singing voice signal during the reproduction of the performance information. It is processing. Here, the calculated score is included in the related information. However, when a plurality of types of scoring games with different scoring algorithms can be performed, the scoring game type used A scoring mode indicating may be recorded together. Note that this scoring process is not limited to the case where the user plays a scoring game, and when the recording process is performed, the scoring related information may be given by being executed without fail.

コメントは、入力手段からのユーザの入力によって付与され、予約時、録音時、あるいは、録音音声情報作成後など適宜タイミングで付与される。ユーザは自分の歌唱をアピールするメッセージなどをコメントとして付与できる。   The comment is given by the user input from the input means, and is given at an appropriate timing such as at the time of reservation, at the time of recording, or after the creation of recorded voice information. A user can give a message or the like appealing his / her song as a comment.

以上、S310にて作成する録音音声情報について説明したが、録音音声に録音IDと関連情報を付与することで、ユーザは関連情報に基づく選曲画面を参照しながら録音音声を選択することができる。また、楽曲ID、録音時設定情報を録音音声情報を付与することで、音程指定など演奏情報に対して各種設定を行って録音した場合であっても、録音時の設定にて演奏情報を開始し録音した歌唱を再現することができる。さらに、録音時変更情報を採用することで、録音中に各種設定を変更した場合においても、歌唱を再現することができる。   As described above, the recorded voice information created in S310 has been described. However, by adding a recording ID and related information to the recorded voice, the user can select the recorded voice while referring to the music selection screen based on the related information. Also, by adding the recording ID information to the song ID and recording setting information, the performance information is started with the recording settings even when recording is performed with various settings for performance information such as pitch designation. The recorded song can be reproduced. Furthermore, by adopting the recording change information, it is possible to reproduce the singing even when various settings are changed during recording.

では、この関連情報を参照した録音音声の選曲、再生について図14〜図17を用いて説明を行う。図14は録音リストを示した図であり、図15は録音音声選択画面を示した図であり、図16は録音音声の予約を含んだ予約リストを示した図であり、図17は録音音声の再生中、ディスプレイ404に表示される録音音声再生画面の様子を示した図である。   Now, the selection and reproduction of the recorded sound with reference to the related information will be described with reference to FIGS. 14 is a diagram showing a recording list, FIG. 15 is a diagram showing a recording voice selection screen, FIG. 16 is a diagram showing a reservation list including recording voice reservation, and FIG. 17 is a recording voice. FIG. 6 is a diagram showing a state of a recorded voice playback screen displayed on the display 404 during playback of

図14に示す録音リストは、コマンダ300内に記憶している録音音声情報の関連情報に基づいて作成されるリストであって、リモコン装置200は、コマンダ300から受信した録音リストに基づいて録音音声選択画面を表示してユーザに選択させる。本実施形態
において、この録音リストは、録音IDに対応付けられた、楽曲ID、ユーザID、得点、録音日時、画像情報などの関連情報で構成される。関連情報はこの実施形態に限らず、図12にて説明したものの中から適宜なものを採用することができる。
The recording list shown in FIG. 14 is a list created based on the related information of the recorded voice information stored in the commander 300, and the remote control device 200 records the recorded voice based on the recorded list received from the commander 300. Display the selection screen and let the user select. In this embodiment, this recording list is composed of related information such as music ID, user ID, score, recording date and time, and image information associated with the recording ID. The relevant information is not limited to this embodiment, and appropriate information can be adopted from those described with reference to FIG.

また、録音音声情報はコマンダ300内の記憶部305内のものに限ることはない。例えば、作成された録音音声情報をホスト装置100にアップロードして管理する場合には、ホスト装置100は、記憶する録音音声情報に基づいて録音リストを作成し、リモコン装置200に送信する。リモコン装置200ではこの録音リストに基づいて選曲し、ホスト装置100から録音音声情報をダウンロード配信、あるいは、ストリーミング配信してもらうことで再生を行う。また、図1に示す複数台のコマンダがLANで接続されるカラオケシステムにあっては、LAN上に設けたネットワーク接続ストレージ(NAS)にて録音音声情報を記憶管理するようにしてもよい。   The recorded voice information is not limited to that stored in the storage unit 305 in the commander 300. For example, when uploading and managing the created recorded voice information to the host device 100, the host device 100 creates a recording list based on the recorded voice information stored and transmits the recorded list to the remote control device 200. The remote control device 200 selects music based on this recording list, and plays back the recorded audio information from the host device 100 by download distribution or streaming distribution. In the karaoke system in which a plurality of commanders shown in FIG. 1 are connected via a LAN, the recorded voice information may be stored and managed by a network connection storage (NAS) provided on the LAN.

録音リストに基づく録音音声選択画面の一実施形態を図15に示す。この録音音声選択画面はリモコン200のタッチパネル207に表示され、ユーザはこの画面にて録音音声を選択する。録音音声リスト欄513には、録音リストに基づいて各種情報が表示される。本実施形態では録音リスト中に楽曲名、歌手名は含まれていないが、これらについては楽曲リストを参照して表示している。各項目の右側には並べ替えスイッチ511が設けられており、その項目に関して昇順、あるいは、降順に並べ替えることができる。図は録音日時の並べ替えスイッチ511が選択された状態を示している。また、スクロールバー512を操作することで、録音音声リスト欄513全体をスクロール表示させ、所望の録音音声を検索することができる。所望の録音音声を見つけたユーザは、録音音声を選択して関連情報を反転表示させ、予約スイッチ514を選択して録音音声を指定する。指定された録音音声の録音IDは予約コマンドとしてコマンダ300に送信される。   FIG. 15 shows an embodiment of a recording voice selection screen based on the recording list. This recorded voice selection screen is displayed on the touch panel 207 of the remote controller 200, and the user selects the recorded voice on this screen. Various information is displayed in the recording voice list column 513 based on the recording list. In this embodiment, the music list and singer name are not included in the recording list, but these are displayed with reference to the music list. A rearrangement switch 511 is provided on the right side of each item, and the items can be rearranged in ascending order or descending order. The figure shows a state in which the recording date / time sorting switch 511 is selected. Further, by operating the scroll bar 512, the entire recorded voice list field 513 can be scroll-displayed to search for a desired recorded voice. The user who finds the desired recorded voice selects the recorded voice, highlights the related information, selects the reservation switch 514, and designates the recorded voice. The recording ID of the designated recording voice is transmitted to the commander 300 as a reservation command.

一方、録音音声の予約コマンドを受信したコマンダ300は、受信した予約コマンドを予約リストのエントリーに追加して演奏情報に対する予約と一緒に管理する。図16は録音音声の予約コマンドが追加された予約リストを示している。“&&&&”は、録音IDを示しており予約番号53、55、56には録音音声が予約されていることを示している。この予約リスト上で再生ポインタを順次進め、録音音声情報を再生していく。具体的には図10に示した再生処理のS204にて待ち楽曲が録音音声と判断した場合には、S210にて録音音声情報の再生を行う。なお、録音音声については更なる録音や、音程設定を行う必要がないため、予約リスト上での録音フラグ、録音音程の項目については空欄となる。   On the other hand, the commander 300 that has received the reservation command for the recorded voice adds the received reservation command to the reservation list entry and manages it together with the reservation for the performance information. FIG. 16 shows a reservation list to which a recording voice reservation command is added. “&&&&” indicates a recording ID, and the reservation numbers 53, 55, and 56 indicate that the recorded sound is reserved. The playback pointer is sequentially advanced on the reservation list to reproduce the recorded voice information. Specifically, if it is determined in S204 of the reproduction process shown in FIG. 10 that the waiting music is a recorded voice, the recorded voice information is reproduced in S210. Since there is no need to perform further recording or pitch setting for the recorded voice, the recording flag and recording pitch items on the reservation list are blank.

録音音声情報は録音の際に使用された演奏情報と同期を取って再生される。具体的には、再生する録音音声情報の関連情報に含まれる楽曲IDに基づいて演奏情報を読み出し、録音音声情報と同時に再生を開始する。また、録音音声情報に録音時設定情報があれば、この録音時設定情報に基づいて演奏情報の音程などを変更して再生を開始する。ここで、関連情報に録音時変更情報が含まれる場合には、録音時変更情報中の再生経過情報のタイミングにて、音程などを設定変更しながら再生する。このように再生することで録音時の歌唱を再現することができる。   The recorded voice information is reproduced in synchronization with the performance information used at the time of recording. Specifically, the performance information is read based on the music ID included in the related information of the recorded audio information to be reproduced, and reproduction is started simultaneously with the recorded audio information. If the recording sound information includes setting information at the time of recording, reproduction is started by changing the pitch of the performance information based on the setting information at the time of recording. Here, when the related information includes change information at the time of recording, playback is performed while changing the setting of the pitch or the like at the timing of the playback progress information in the change information at the time of recording. By playing in this way, the singing at the time of recording can be reproduced.

図17は録音音声情報の再生時においてディスプレイ404上に表示される録音音声再生画面を示した図であって、画面中には、歌詞516が表示されると共に、録音音声情報中の関連情報に基づいて、ユーザの写真やアバターなどによるユーザ関連画像517、ニックネーム、録音日時、得点などの録音音声説明518、519が表示される。録音音声情報再生中には、その場に歌唱者がいない場合も考慮してこのような表示を行うことが好ましい。   FIG. 17 is a diagram showing a recorded voice playback screen displayed on the display 404 at the time of playback of recorded voice information. In the screen, lyrics 516 are displayed and related information in the recorded voice information is displayed. Based on the user's picture or avatar, the user related image 517, the nickname, the recording date and time, and the recorded voice explanations 518 and 519 such as the score are displayed. It is preferable to perform such display during reproduction of recorded audio information in consideration of the case where there is no singer on the spot.

本発明の実施形態に係るカラオケシステムを示した図。The figure which showed the karaoke system which concerns on embodiment of this invention. 本発明の実施形態に係るコマンダを示した図。The figure which showed the commander which concerns on embodiment of this invention. 本発明の実施形態に係るリモコン装置の外観を示した図。The figure which showed the external appearance of the remote control device which concerns on embodiment of this invention. 本発明の実施形態に係るリモコン装置の内部構成を示した図。The figure which showed the internal structure of the remote control apparatus which concerns on embodiment of this invention. 本発明の実施形態に係る楽曲予約処理を示したフロー図。The flowchart which showed the music reservation process which concerns on embodiment of this invention. 本発明の実施形態に係る楽曲リストを示した図。The figure which showed the music list which concerns on embodiment of this invention. 本発明の実施形態に係る選曲画面を示した図。The figure which showed the music selection screen which concerns on embodiment of this invention. 本発明の実施形態に係る楽曲詳細画面を示した図。The figure which showed the music detail screen which concerns on embodiment of this invention. 本発明の実施形態に係る予約リストを示した図。The figure which showed the reservation list which concerns on embodiment of this invention. 本発明の実施形態に係る再生処理を示したフロー図。The flowchart which showed the reproduction | regeneration processing based on embodiment of this invention. 本発明の実施形態に係る録音処理を示したフロー図。The flowchart which showed the recording process which concerns on embodiment of this invention. 本発明の実施形態に係る録音音声情報を示した図。The figure which showed the audio recording information which concerns on embodiment of this invention. 本発明の実施形態に係る個人設定情報の一部を示した図。The figure which showed a part of personal setting information which concerns on embodiment of this invention. 本発明の実施形態に係る録音リストを示した図。The figure which showed the recording list which concerns on embodiment of this invention. 本発明の実施形態に係る録音音声選択画面を示した図。The figure which showed the recording audio | voice selection screen which concerns on embodiment of this invention. 本発明の実施形態に係る予約リストを示した図。The figure which showed the reservation list which concerns on embodiment of this invention. 本発明の実施形態に係る録音音声再生画面を示した図。The figure which showed the sound recording audio | voice reproduction | regeneration screen concerning embodiment of this invention.

符号の説明Explanation of symbols

50…通信網、60…ルータ、70…無線アクセスポイント、100…ホスト装置、200…リモコン装置、201…リモコン制御部、202…リモコン通信部、203…指紋読取部、204…リモコン記憶部、205…リモコン表示部、206…タッチ式センサ、207…タッチパネル、300…コマンダ、301…制御部、302…通信部、303…フロントパネル表示部、304…表示制御部、305…記憶部、306…入力部、307…音源部、308…ミキシング部、309…AD変換部、401…アンプ、402…スピーカ、403…マイクロフォン、404…ディスプレイ、405…スタイラス、501…検索ワード入力欄、502…検索スイッチ、503…検索モードスイッチ、504…楽曲表示欄、505…移動スイッチ、506…前画面スイッチ、507…音程指定スイッチ欄、508…録音指定スイッチ欄、509…予約スイッチ、510…前画面スイッチ、511…並べ替えスイッチ、512…スクロールバー、513…録音音リスト欄、514…予約スイッチ、515…前画面スイッチ、516…歌詞、517…ユーザ関連画像、518、519…録音音声説明   DESCRIPTION OF SYMBOLS 50 ... Communication network, 60 ... Router, 70 ... Wireless access point, 100 ... Host device, 200 ... Remote control device, 201 ... Remote control unit, 202 ... Remote control communication unit, 203 ... Fingerprint reading unit, 204 ... Remote control storage unit, 205 ... Remote control display unit, 206 ... Touch sensor, 207 ... Touch panel, 300 ... Commander, 301 ... Control unit, 302 ... Communication unit, 303 ... Front panel display unit, 304 ... Display control unit, 305 ... Storage unit, 306 ... Input 307 ... sound source unit, 308 ... mixing unit, 309 ... AD converter, 401 ... amplifier, 402 ... speaker, 403 ... microphone, 404 ... display, 405 ... stylus, 501 ... search word input field, 502 ... search switch, 503 ... Search mode switch, 504 ... Music display column, 505 ... Move switch 506 ... Previous screen switch, 507 ... Pitch designation switch field, 508 ... Recording designation switch field, 509 ... Reservation switch, 510 ... Previous screen switch, 511 ... Sort switch, 512 ... Scroll bar, 513 ... Recording sound list field, 514 ... Reservation switch, 515 ... Previous screen switch, 516 ... Lyrics, 517 ... User related images, 518, 519 ... Recorded voice explanation

Claims (4)

記憶手段と、再生手段と、指定手段と、制御手段とを備えるカラオケ装置であって、
記憶手段は、楽曲IDに対応付けられた演奏情報を記憶し、
再生手段は、演奏情報による演奏音の再生、並びに、録音音声情報による録音音声の再生を可能とし、
録音音声情報は、マイクロフォンから入力される歌唱音声信号を録音した情報であると共に、楽曲IDと、音程または速度を示す録音時設定情報と、再生経過に対応して音程または速度の変更を示す録音時変更情報を含み、
指定手段は、録音IDの指定を可能とし、
制御手段は、指定された録音IDに対応する録音音声情報を再生手段に再生させると共に、当該録音音声情報が含む楽曲IDに対応する演奏情報を、当該録音音声情報が含む録音時設定情報と録音時変更情報に基づいて再生手段に再生させる再生処理を可能とする
カラオケ装置。
A karaoke apparatus comprising storage means, reproduction means, designation means, and control means,
The storage means stores performance information associated with the music ID,
The reproduction means enables reproduction of the performance sound based on the performance information, and reproduction of the recorded sound based on the recorded audio information,
The recorded voice information is information obtained by recording a singing voice signal input from a microphone, recording setting information indicating a music ID, a pitch or a speed, and a recording indicating a change in the pitch or speed corresponding to the playback progress. Including time change information,
The designation means can specify the recording ID,
The control means causes the reproduction means to reproduce the recorded voice information corresponding to the designated recording ID, and the performance information corresponding to the music ID included in the recorded voice information includes the recording setting information and the recording information included in the recorded voice information. A karaoke apparatus that enables a reproduction process to be reproduced by reproduction means based on time change information.
指定手段は、楽曲IDの指定に対応付けた音程または速度の指定、並びに、再生中における音程または速度の変更指定を可能とし、
制御手段は、指定された楽曲IDに対応する演奏情報を、指定された音程または速度にて再生手段に再生させると共に、音程または速度の変更が指定された際、指定された音程または速度に変更して再生させ、
マイクロフォンから入力される歌唱音声信号を録音し、録音IDと、指定された音程または速度を示す録音時設定情報と、変更した時点を示す再生経過に対応して音程または速度の変更を示す録音時変更情報を付与して録音音声情報を作成する録音処理を可能とする
請求項に記載のカラオケ装置。
The designation means enables the designation of the pitch or speed associated with the designation of the music ID, and the designation of changing the pitch or speed during playback.
The control means causes the playback means to reproduce the performance information corresponding to the designated music ID at the designated pitch or speed, and changes to the designated pitch or speed when the pitch or speed change is designated. To play,
When recording a singing voice signal input from a microphone, recording ID, recording setting information indicating the specified pitch or speed, and recording or pitch change corresponding to the playback progress The karaoke apparatus according to claim 1 , wherein recording processing for creating recording voice information by adding change information is enabled.
記憶手段は、録音音声情報を記憶する
請求項1または請求項2に記載のカラオケ装置。
Storage means, karaoke apparatus according to claim 1 or claim 2 for storing recorded sound information.
外部装置と通信可能な通信手段を更に備え、
録音音声情報は、通信手段を介して外部装置から配信される
請求項1乃至請求項のいずれか1つに記載のカラオケ装置。
A communication means capable of communicating with an external device;
The karaoke apparatus according to any one of claims 1 to 3 , wherein the recorded voice information is distributed from an external device via a communication unit.
JP2008223596A 2008-09-01 2008-09-01 Karaoke equipment Active JP5240840B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008223596A JP5240840B2 (en) 2008-09-01 2008-09-01 Karaoke equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008223596A JP5240840B2 (en) 2008-09-01 2008-09-01 Karaoke equipment

Publications (2)

Publication Number Publication Date
JP2010060633A JP2010060633A (en) 2010-03-18
JP5240840B2 true JP5240840B2 (en) 2013-07-17

Family

ID=42187532

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008223596A Active JP5240840B2 (en) 2008-09-01 2008-09-01 Karaoke equipment

Country Status (1)

Country Link
JP (1) JP5240840B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101859268B1 (en) * 2016-04-20 2018-05-18 김혜정 System for providing music synchronized with syllable of english words

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4188013B2 (en) * 2002-07-17 2008-11-26 株式会社第一興商 A communication karaoke system and a karaoke performance device capable of collecting and singing a singing track recording file entrusted to a file storage server to the karaoke performance device.
JP2005189535A (en) * 2003-12-25 2005-07-14 Victor Co Of Japan Ltd Voice recording and reproducing device

Also Published As

Publication number Publication date
JP2010060633A (en) 2010-03-18

Similar Documents

Publication Publication Date Title
KR101442606B1 (en) Game service method for providing online game using UCC and game server therefor
JP4860513B2 (en) Music video playback device that specifies the music for viewing the continuation of the video work
JP3956411B2 (en) Karaoke equipment
JP4926756B2 (en) Karaoke sound effect output system
JP2014130187A (en) Karaoke device
JP4431507B2 (en) Karaoke system
JP6763334B2 (en) Music selection device, karaoke system, and music selection program
JP5622679B2 (en) Karaoke equipment
JP2010060635A (en) Karaoke device
JP4516944B2 (en) Karaoke singing assistance system
JP2010060844A (en) Karaoke device
JP2008076766A (en) Electronic chart book device
JP5240840B2 (en) Karaoke equipment
JP4182950B2 (en) Request device and program
JP5963200B2 (en) Playlist generating apparatus and playlist generating program
JP5224517B2 (en) Karaoke equipment
JP2010060634A (en) Karaoke device
JP4423212B2 (en) Karaoke system
JP5943390B2 (en) Music distribution system
JP5823313B2 (en) Karaoke equipment
JP5046862B2 (en) Karaoke system with automatic selection function
JP2006337702A (en) Karaoke service method and karaoke system
JP4223277B2 (en) A music selection device and a music selection program capable of selecting a desired song while continuously playing a part of a plurality of songs narrowed down to a predetermined number or less by keyword search
JP5246447B2 (en) Karaoke song selection device and karaoke song selection program
JP5665131B2 (en) Karaoke device and karaoke program

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20100728

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110331

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121128

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130328

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160412

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5240840

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150