JP5071439B2 - カラオケシステム、サーバ - Google Patents

カラオケシステム、サーバ Download PDF

Info

Publication number
JP5071439B2
JP5071439B2 JP2009128030A JP2009128030A JP5071439B2 JP 5071439 B2 JP5071439 B2 JP 5071439B2 JP 2009128030 A JP2009128030 A JP 2009128030A JP 2009128030 A JP2009128030 A JP 2009128030A JP 5071439 B2 JP5071439 B2 JP 5071439B2
Authority
JP
Japan
Prior art keywords
sound data
data
singing
singing sound
karaoke
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009128030A
Other languages
English (en)
Other versions
JP2010276794A (ja
Inventor
晃弘 上村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2009128030A priority Critical patent/JP5071439B2/ja
Publication of JP2010276794A publication Critical patent/JP2010276794A/ja
Application granted granted Critical
Publication of JP5071439B2 publication Critical patent/JP5071439B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、カラオケに関するものであり、特に、重唱や合唱のための歌唱音声を出力するためのカラオケシステム、サーバ等に関するものである。
従来、歌唱者のパート以外のパートの歌唱音声をカラオケ楽曲の演奏の際に出力することにより、重唱や合唱(以下、「重唱」という。)を可能としたカラオケ装置が提案されている。このようなカラオケ装置では、歌唱者が主旋律パートを歌唱するときはハーモニーパートの歌唱音声を出力し、歌唱者がハーモニーパートを歌唱するときは主旋律パートの歌唱信号を出力する。この技術に関連する下記特許文献1には、歌唱者の歌唱信号から音域を判定し、判定結果に応じた歌唱信号を出力するカラオケ装置が記載されている。
特開平9−44171号公報
通信技術及び記録技術の進歩に伴い、歌唱音データを投稿(サーバにアップロードして、サーバで記録)することができるカラオケシステムが提案されている。そして、このようなカラオケシステムと、重唱可能なカラオケ装置とを技術的に融合させることにより、カラオケを楽しむ歌唱者の興趣を高めることができると考えられる。
ここで、投稿された歌唱音データ(投稿歌唱音データ)をユーザに提供するシステムを構築する場合、提供可能な投稿歌唱音データの数をできるだけ増やすことが望ましいので、より多くのユーザが歌唱音データを投稿するような環境を提供する必要がある。
本発明は、上記問題点を解決することができるカラオケシステム、サーバ等を提供することを目的とする。
上記目的を達成するために、請求項1に係る発明は、サーバと当該サーバと通信可能なカラオケ装置とから構成されるカラオケシステムであって、前記サーバは、前記カラオケ装置で歌唱された投稿歌唱音データを記録するデータベースを有し、前記カラオケ装置は、カラオケ楽曲の1回目の演奏を行い、当該演奏の歌唱音データを、前記サーバに送信し、前記サーバは、受信した歌唱音データを、新たな投稿歌唱音データとして前記データベースに記録し、前記サーバは、前記歌唱音データのパートを判定し、前記サーバは、前記歌唱音データのパートを判定すると、当該歌唱音データを用いて、前記データベースから投稿歌唱音データを選択し、前記サーバは、前記選択した投稿歌唱音データまたは当該投稿歌唱音データから生成した歌唱音データを重唱用歌唱音データとして前記カラオケ装置に送信し、前記カラオケ装置は、前記カラオケ楽曲の2回目の演奏を行う際に、前記受信した重唱用歌唱音データを用いて歌唱音声を出力することを特徴とする。
また、請求項2に係る発明は、請求項1のカラオケシステムであって、前記カラオケ装置は、前記カラオケ楽曲を最後まで演奏したときに、前記歌唱音データを、前記サーバに送信することを特徴とする。
また、請求項3に係る発明は、カラオケ装置と通信可能なサーバであって、前記カラオケ装置で歌唱された投稿歌唱音データを記録するデータベースを有し、前記カラオケ装置から送信された歌唱音データを受信し、前記受信した歌唱音データを、新たな投稿歌唱音データとして前記データベースに記録し、前記歌唱音データのパートを判定し、前記歌唱音データのパートを判定すると、当該歌唱音データを用いて、前記データベースから前記投稿歌唱音データを選択し、前記選択した投稿歌唱音データまたは当該投稿歌唱音データから生成した歌唱音データを重唱用歌唱音データとして前記カラオケ装置に送信することを特徴とする。
請求項1に係る発明によれば、カラオケ装置において歌唱された歌唱音データを新たな投稿歌唱音データとしてデータベースに記録したあとで、重唱用歌唱音データをカラオケ装置に送信する。これにより、ユーザが重唱用歌唱音データを利用して歌唱を行う場合には、当該重唱用歌唱音データの選択に用いられた歌唱音データ(1回目の演奏の歌唱音データ)が、新たな投稿歌唱音データとしてデータベースに記録されるので、データベースに記録される投稿歌唱音データの数を確実に増やすことができる。また、投稿された歌唱音データを、重唱時に効率的に利用することができる。
また、請求項2に係る発明によれば、カラオケ楽曲を最後まで演奏したときに、当該演奏の歌唱音データがサーバに送信される。これにより、途中で演奏終了されたカラオケ楽曲の歌唱音データについてはサーバに送信されることがないため、ネットワーク資源等を有効に活用することができる。
なお、「後奏の再生時にカラオケ楽曲の演奏を終了した」場合についても「カラオケ楽曲を最後まで演奏した」ものとすることができる。すなわち、カラオケ楽曲の全ての歌唱区間における歌唱音データを取得できた場合のみに、当該演奏の歌唱音データがサーバに送信される。
また、請求項3に係る発明によれば、カラオケ装置において歌唱された歌唱音データを新たな投稿歌唱音データとしてデータベースに記録したあとで、重唱用歌唱音データをカラオケ装置に送信する。これにより、ユーザが重唱用歌唱音データを利用した歌唱を行う場合には、当該重唱用歌唱音データの選択に用いられた歌唱音データが(1回目の演奏の歌唱音データ)、新たな投稿歌唱音データとしてデータベースに記録されるので、データベースに記録される投稿歌唱音データの数を確実に増やすことができる。また、投稿された歌唱音データを、重唱するときに効率的に利用することができる。
カラオケシステムの構成の一例を示した図である。 投稿歌唱音データベースのデータ構造の一例を示した図である。 カラオケシステムにおける情報の流れの一例を示した説明図である。 カラオケ側処理のフローチャートである。 サーバ側処理及び重唱音データ送信処理のフローチャートである。 パート判定処理のフローチャートである。 重唱音データ決定処理のフローチャートである。 主旋律パートのデータをハモリパートのデータに変換する様子を示した説明図である。 ハモリパートのデータを主旋律パートのデータに変換する様子を示した説明図である。 提供データ選択処理のフローチャートである。
以下、本発明の実施形態に係るカラオケシステムについて説明する。
[カラオケシステムの概要]
本実施形態に係るカラオケシステムでは、重唱に適切な重唱音データを決定し、当該重唱音データに基いた重唱音声をカラオケ楽曲の楽音と共に出力することができる。
歌唱者は1回目の歌唱を行い、カラオケ装置はその歌唱音声を判定用歌唱音データとして取得し、当該判定用歌唱音データを含む判定データをサーバに送信する。サーバは、受信した判定データに含まれる判定用歌唱音データ等をデータベースに記録し、当該判定用歌唱音データに基いて重唱音データを決定し、カラオケ装置に送信する。カラオケ装置は、受信した重唱音データに基いた重唱音声をカラオケ楽曲の楽音と共に出力する。これにより歌唱者は、2回目の歌唱において、当該歌唱者の1回目の歌唱に基いて決定された重唱音声を用いて重唱を行うことができる。一方サーバは、判定用歌唱音データを受信するごとに、当該判定用歌唱音データを新たな投稿歌唱音データとしてデータベースに記録(新規登録)するので、当該データベースに記録される投稿歌唱音データ、すなわちユーザに提供可能な投稿歌唱音データの数を確実に増加させることができる。
[カラオケステムの構成]
カラオケシステムは、図1に示すように、各地のカラオケ店舗の客室に設置されたカラオケ装置100と各種情報の配信・管理を行うサーバ200とから構成され、各カラオケ装置100とサーバ200とは通信網を介して接続されている。図1ではカラオケ装置100は1つであるが、実際は多数のカラオケ装置100がサーバ200に接続される構成となっている。
[サーバ200の構成]
サーバ200は、図1に示すように、制御部201とカラオケ楽曲データベース202と投稿歌唱音データベース203と一時記録部204とから構成される。制御部201は、CPUとRAMとROM等から構成され、CPUがROMに記録された各種プログラムを読み出して実行することにより、サーバ200全体を統括制御する。また、上述したとおり、多数のカラオケ装置100がサーバ200に接続されるので、サーバ200に複数のカラオケ装置100が同時にアクセスされることがある。また、サーバ200は自己の負荷を監視することができる。
カラオケ楽曲データベース202には、カラオケ楽曲の演奏等に用いられる楽曲データが記録されている。また、後述の判定用歌唱音データと比較するための主旋律基準データ及びハモリ基準データが記録されている。さらに、通常のカラオケ楽曲の演奏時に用いられる歌唱音データ(予め作成されているもの)が記録されている。歌唱音データは、いわゆるガイドメロディであり、MIDI形式や生音形式で記録されている。なお、カラオケ楽曲データベース202のデータ構造等は公知のものを採用でき、本発明の理解に直接関係のない部分であるので詳細な説明を省略する。
投稿歌唱音データベース203には、カラオケ装置100から送信された「判定データ」や「投稿データ」が記録される。
また、図2に示すように、投稿歌唱音データベース203には、「識別コード」をキーとして、「投稿歌唱音データ」、「楽曲コード」、「パート」、「投稿者コード」、「投稿日」等が記録されている。
「識別コード」は、各投稿歌唱音データを識別するためのユニークな識別符号である。
「楽曲コード」は、投稿歌唱音データの楽曲名を示す識別符号であり、カラオケ楽曲データベース202と同じ楽曲コードが用いられる。
「パート」は、当該投稿歌唱音データのパートを示す識別符号であり、主旋律のメロディが歌唱された場合は「主旋律」となり、ハモリのメロディが歌唱された場合は「ハモリ」となる。
「投稿者コード」は、投稿歌唱音データを投稿した歌唱者を識別するための識別符号である。
「投稿日」は、投稿歌唱音データが投稿された日時を示している。
一時記録部204には、カラオケ装置100から送信された判定用歌唱音データが一時的に記録され、記録された判定用歌唱音データは後述するパート判定処理や重唱音データ決定処理において用いられる。また、後述の提供データ選択処理で用いられる「基準データ」及び「候補データ」が一時的に記録される。
[カラオケ装置100の構成]
図1に示すように、カラオケ装置100は、リモコン110とコマンダ120とから構成される。なお、複数のリモコン110が、コマンダ120と通信可能となるように構成してもよい。
リモコン110は制御部111を有し、制御部111は、CPUとRAMとROM等から構成され、CPUがROMに記録された各種プログラムを読み出して実行することにより、リモコン110全体を統括制御する。
コマンダ120は制御部121を有し、制御部121は、CPUとRAMとROM等から構成され、CPUがROMに記録された各種プログラムを読み出して実行することにより、コマンダ120全体を統括制御する。また、コマンダ120には、マイク130が接続されており、歌唱者の歌唱音声を歌唱音データとして取得し、RAM等に一時的に記録する。また、コマンダ120には、スピーカ140が接続されており、カラオケ楽曲の楽音や重唱用歌唱音声が出力される。
なお、リモコン110及びコマンダ120の構成のうち、本発明の理解に直接関係のない部分については詳細な説明を省略する。
[カラオケシステムで送受信される情報]
次に、カラオケシステムで送受信される情報の一例について、図3を参照しつつ説明する。
リモコン110は、歌唱する楽曲のリクエスト操作を歌唱者から受け付ける(1)。なお、このリクエスト操作には、重唱音データを用いた重唱を行いたい旨を指示する操作が含まれるものとする。
リモコン110は、コマンダ120にリクエスト信号を送信する(2)。
コマンダ120は、リクエスト信号に基いてカラオケ楽曲の1回目の演奏を行いつつ、歌唱者の歌唱音声を判定用歌唱音データとして取得してRAM等に一時的に記録する(3)。
コマンダ120は、楽曲の再生が終了すると、判定用歌唱音データが含まれる判定データを作成する(4)。
コマンダ120は、判定データをサーバ200に送信する(5)。
サーバ200は、受信した判定データに含まれる判定用歌唱音データに基いてパート判定処理を行い、当該歌唱音データのパートを判定する(6)。
サーバ200は、受信した判定データに含まれる判定用歌唱音データを、新たな投稿歌唱音データとして、上記判定したパートの情報等と共に投稿歌唱音データベース203(図2参照)に新規登録する(7)。
また、この処理は、歌唱者の意思に関係なく行われる。すなわち、歌唱者が自身の判定用歌唱音データを投稿歌唱音データベース203に登録したくない場合であっても、当該歌唱音データが投稿歌唱音データベース203に記録される。
そのため、上記(3)のあとに、上記歌唱音データを送信するか否かを確認するための処理を行うように構成してもよい。また、このように構成した場合、上記歌唱音データを送信しない旨が指示されると、上記送信に係る処理は行われないが、後述の重唱音データを受信することができないので、重唱音データを用いた重唱ができないことになる。
次に、サーバ200は、受信した判定データに含まれる歌唱音データに基いて重唱音データ決定処理を行い、歌唱者の歌唱の際に用いられる重唱音データを決定する(8)。
サーバ200は、決定した重唱音データをコマンダ120に送信する(9)。また、重唱音データの送信においては、当該重唱音データがどの判定データに対応するものであるかを示す識別情報や当該重唱音データのパートを示す情報等を付随させる。この付随した情報は、後述する投稿データの送信時に用いられる。
コマンダ120は、前記リクエスト信号に基いてカラオケ楽曲の2回目の演奏を行いつつ、歌唱者の歌唱音声を投稿用歌唱音データとして取得してRAM等に一時的に記録する(10)。
コマンダ120は、投稿用歌唱音データが含まれる投稿データを作成する(11)。
コマンダ120は、投稿データをサーバ200に送信する(12)。
サーバ200は、受信した投稿データに含まれる投稿用歌唱音データを、新たな投稿歌唱音データとして投稿歌唱音データベース203(図2参照)に新規登録する(13)。
なお、上記(11)以降の処理(すなわち、2回目の歌唱の歌唱音データを投稿歌唱音データベース203に投稿するための処理)を行うか否かは、歌唱者が任意に決定することができる。すなわち、1回目の歌唱の歌唱音データの投稿は、重唱音データを取得するためには必ず行う必要があるものの、2回目の歌唱の歌唱音データは投稿(投稿歌唱音データベース203に新規登録)しないように指示することができる。
以上の処理により、歌唱者が重唱音データを用いたカラオケ歌唱を行う場合には、必ず1回目の歌唱の歌唱音データ(判定用歌唱音データ)を投稿歌唱音データベース203に登録することになるため、本実施形態に係るカラオケシステムは、より多くのユーザが歌唱音データを投稿するような環境を提供することができる。また、上記(6)のパート判定処理で判定した歌唱音データのパートを投稿歌唱音データベース203に登録するようにしたので、歌唱者は、1回目の歌唱の際にどのパート歌唱したかを示す情報を入力する必要がなく、本実施形態に係るカラオケシステムを用いるユーザの操作性を向上させることができる。
[カラオケ装置側の処理]
次に、カラオケ装置100側で実行されるカラオケ側処理について図4のフローチャートを用いて具体的に説明する。カラオケ側処理のプログラムは、リモコン110の制御部111及びコマンダ120の制御部121内のROMに記録されており、制御部111内のCPU及び制御部121内のCPUにより実行される。
S11において、リモコン110の制御部111は、歌唱する楽曲のリクエスト操作を歌唱者から受け付ける。また、リクエスト操作を受け付けると、制御部111は、コマンダ120にリクエスト信号を送信する。
S12において、コマンダ120の制御部121は、リクエスト信号に基いてカラオケ楽曲の演奏を開始する。また、歌唱者は、カラオケ楽曲の演奏に伴って歌唱を行う。
S13において、コマンダ120の制御部121は、カラオケ楽曲の1回目の演奏を行いつつ、歌唱者の歌唱音声を判定用歌唱音データとしてRAM等に一時的に記録する。
S14において、コマンダ120の制御部121は、カラオケ楽曲を最後まで演奏して当該カラオケ楽曲の再生を終了する。なお、「後奏の再生時にカラオケ楽曲の演奏を終了した」場合についても「カラオケ楽曲を最後まで演奏」したものとする。なお、カラオケ楽曲の演奏途中で演奏停止指示がなされた場合、制御部121は、カラオケ側処理を終了する。これにより、後述の判定データはサーバ200に送信されないので、本実施形態に係るカラオケシステムのネットワーク資源等を有効に活用することができる。
S15において、コマンダ120の制御部121は、判定データを作成する。判定データには、歌唱音データと楽曲コードと投稿者コードが含まれる。ただし、歌唱したパートを示す情報は、当該判定データには含まれていない。当該パートを示す情報は、サーバ200で実行される後述のパート判定処理によってサーバ200側で取得される。このように構成することにより、歌唱者はどのパートを歌唱したかを示す情報を入力する必要がなく、操作性が向上する。なお、楽曲コードは上記リクエスト操作の際に入力されており、また、投稿者コードはリモコン110にログインする際のユーザIDを用いることができる。
S16において、制御部121は、判定データをサーバ200に送信する。
S17において、重唱音データ及び付随したデータを受信する。ここで、付随したデータは、サーバ側で実行される後述の重唱音データ送信処理のS44において生成されたものである。
S18において、制御部121は、カラオケ楽曲の2回目の演奏を開始する。なお、S18では、カラオケ楽曲の最初から演奏が開始される。また、カラオケ楽曲の演奏中、歌唱者の歌唱音声は、投稿用歌唱音データとして記録される。
S19において、制御部121は、カラオケ楽曲の演奏を終了する。
S20において、制御部121は、投稿データを作成する。投稿データには、投稿用歌唱音データと楽曲コードと投稿者コードとパートを示す情報が含まれる。なお、制御部121は、上記S17で受信した重唱音データに付随したデータに基いてパートを示す情報を取得することができる。より具体的には、当該付随したデータが受信した重唱音データのパートを示す情報であり、かつ当該情報が「主旋律」を示していれば、「ハモリ」が投稿用歌唱音データのパートを示す情報となる。また、付随したデータが受信した重唱音データのパートを示す情報であり、かつ当該情報が「パート」を示していれば、「主旋律」が投稿用歌唱音データのパートを示す情報となる。また、付随したデータに判定用歌唱音データのパートを示す情報(サーバ側で実行される後述のパート判定処理の結果)が含まれていれば、当該情報がそのまま投稿用歌唱音データのパートを示す情報となる。
S21において、制御部121は、投稿データをサーバ200に送信する。
[サーバ側の処理]
次に、サーバ200で実行されるサーバ側処理について図5等のフローチャートを用いて具体的に説明する。サーバ側処理のプログラムは、サーバ200の制御部201内のROMに記録されており、制御部201内のCPUにより繰り返し実行される。
S31において、制御部201は、コマンダ120から判定データを受信したか否かを判断する。この処理において、判定データを受信したと判断した場合は(S31:YES)、制御部201は、受信した判定データをRAM等に一時的に記録し、処理をS32に移行させる。
S32において、制御部201は、重唱音データ送信処理を実行する。重唱音データ送信処理では、判定用歌唱音データの投稿歌唱音データベース203への登録と重唱音データの送信とが行われる。重唱音データ送信処理の詳細については後述する。
一方、S31において、判定データを受信していないと判断した場合は(S31:NO)、制御部201は、処理をS33に移行させる。
S33において、制御部201は、コマンダ120から投稿データを受信したか否かを判断する。この処理において、投稿データを受信していないと判断した場合は(S33:NO)、制御部201は、サーバ側処理を終了する。
一方、S33において、投稿データを受信したと判断した場合は(S33:YES)、制御部は、処理をS34に移行させる。
S34において、制御部201は、受信した投稿データを用いて、投稿歌唱音データ等を投稿歌唱音データベース203に新規登録する。より具体的には、図2の投稿歌唱音データベース203に示すデータ構造に適応するように、
(1)図2に示す「識別コード」を新たに生成し、
(2)受信した投稿データに含まれる投稿用歌唱音データを、図2に示す「投稿歌唱音データ」とし、
(3)受信した投稿データに含まれる楽曲コードを、図2に示す「楽曲コード」とし、
(4)受信した投稿データに含まれるパートを示す情報を、図2に示す「パート」とし、
(5)受信した投稿データに含まれる投稿者コードを、図2に示す「投稿者コード」とし、
(6)サーバ200が具備する不図示のタイマを参照して、図2に示す「投稿日」を生成する。
なお、本実施形態に係るカラオケシステムにおいては、カラオケ装置100側に不図示のタイマを具備するように構成し、投稿データに上記「投稿日」を示す情報を含ませるようにしてもよい。
[重唱音データ送信処理]
次に、サーバ側処理のS32で実行される重唱音データ送信処理について、図5のフローチャートを用いて説明する。
S41において、パート判定処理を実行する。パート判定処理では、受信した判定データに含まれる判定用歌唱音データのパートが判定される。パート判定処理の詳細については後述する。
S42において、制御部201は、受信した判定データを用いて、判定用歌唱音データ等を投稿歌唱音データベース203に新規登録する。より具体的には、図2の投稿歌唱音データベース203に示すデータ構造に適用するように、
(1)図2に示す「識別コード」を新たに生成し、
(2)受信した判定データに含まれる判定用歌唱音データを、図2に示す「投稿歌唱音データ」とし、
(3)受信した判定データに含まれる楽曲コードを、図2に示す「楽曲コード」とし、
(4)S41のパート判定処理によって判定されたパートを、図2に示す「パート」とし、
(5)受信した判定データに含まれる投稿者コードを、図2に示す「投稿者コード」とし、
(6)サーバ200が具備する不図示のタイマを参照して、図2に示す「投稿日」を生成する。
なお、本実施形態に係るカラオケシステムにおいては、カラオケ装置100側に不図示のタイマを具備するように構成し、投稿データに上記「投稿日」を示す情報を含ませるようにしてもよい。
S43において、制御部201は、重唱音データ決定処理を実行する。重唱音データ決定処理では、受信した判定データに含まれる判定用歌唱音データに基いて、コマンダ120に送信する重唱音データが決定される。重唱音データ決定処理の詳細については後述する。
S44において、制御部201は、コマンダ120に対しS43で決定した重唱音データを送信する。また、重唱音データの送信においては、当該重唱音データがどの判定データに対応するものであるかを示す識別情報や当該重唱音データのパートを示す情報等を付随させる。この情報は、S41で実行されるパート判定処理の結果に基く。より具体的には、RAMに確保されている「提供フラグ」(詳細は、後述のパート判定処理で説明する)の内容を参照することにより、付随させる情報を生成する。また、パート判定処理の結果(すなわち、投稿用歌唱音データのパートを示す情報)を上記重唱音データに付随させて送信するように構成してもよい。
[パート判定処理]
次に、重唱音データ送信処理のS41で実行されるパート判定処理について、図6のフローチャートを用いて説明する。
S51において、制御部201は、一時記録部204から判定用歌唱音データを所定区間分読み込む。例えば、S51が実行されるごとに歌唱区間の最初から順に読み出す。すなわち、S51が最初に実行されるときは歌唱区間の最初から所定区間までを読み出し、次に実行されるときは前回までに読み出された区間の次から所定区間までを読み出すようにする。
また、歌唱区間の最初からではなく、主旋律基準データやハモリ基準データとの比較に効果的な区間から優先的に読み出すようにしてもよい。
S52において、制御部201は、判定用歌唱音データと同じ楽曲の主旋律基準データをカラオケ楽曲データベース202から読み出し、公知の技術を用いて判定用歌唱音データと比較する。なお、S51が複数回実行されて複数の所定区間の判定用歌唱音データが読み出されている場合は、当該複数区間の主旋律基準データを用いた比較処理が行われる。
S53において、制御部201は、判定用歌唱音データと同じ楽曲のハモリ基準データをカラオケ楽曲データベース202から読み出し、公知の技術を用いて判定用歌唱音データと比較する。なお、S51が複数回実行されて複数の所定区間の判定用歌唱音データが読み出されている場合は、当該複数区間のハモリ基準データを用いた比較処理が行われる。
S54において、制御部201は、S52及びS53の比較結果に基いて、判定用歌唱音データのパート判定ができたか否かを判断する。この処理において、パート判定ができなかったと判断した場合は(S54:NO)、制御部201は、処理をS55に移行させる。なお、S54では、判定用歌唱音データが、主旋律基準データまたはハモリ基準データのいずれか一方のみと高い類似性を有すると判断された場合、パート判定ができたと判断し、類似性の種別に応じて、パート判定結果は「主旋律」または「ハモリ」となる。
S55において、制御部201は、パート判定処理の開始から所定時間が経過したか否かを判断する。この処理において、所定時間が経過していないと判断した場合は(S55:NO)、制御部201は、処理をS51に戻す。
一方、この処理において、所定時間が経過したと判断した場合は(S55:YES)、制御部201は、処理をS56に移行させる。
S56において、制御部201は、エラー処理を実行する。エラー処理では、制御部201は、所定時間内にパート判定ができなかったことを示す表示データを作成し、カラオケ装置100に送信する。また、カラオケ装置100では、歌唱したパートを歌唱者に選択させるための処理を行うことができ、これにより制御部201は、判定用歌唱音データのパートを認識することができる。また、制御部201は、エラー処理を終了すると、重唱音データ送信処理を終了する。
また、S56において、カラオケ装置100に表示データが送信された場合、カラオケ装置100側では、前述したカラオケ側処理のS16とS17の間のタイミングにおいて当該表示データが受信される。ここでは、カラオケ装置100は、受信した表示データに基いてコマンダ120やリモコン110が有するディスプレイに、「パート判定処理ができなかった」旨のメッセージ等を表示し、また、判定用歌唱音データのパート情報を入力させるための処理を行う。そして、パート情報の入力を受け付けると、カラオケ装置100は、当該情報を、サーバ200に送信する。これにより、サーバ200の制御部201は、判定用歌唱音データのパートを認識することができる。
一方、S54において、パート判定ができたと判断し、かつ、そのパートが主旋律パートであると判断した場合は、制御部201は、処理をS57に移行させる。
S57において、制御部201は、制御部201内のRAMに確保されている「提供フラグ」にハモリパートの重唱音データを提供することを示す「ハモリ」値を設定する。
また、S54において、パート判定できたと判断し、かつ、そのパートがハモリパートであると判断した場合は、制御部201は、処理をS58に移行させる。
S58において、制御部201は、「提供フラグ」に主旋律パートの重唱音データを提供することを示す「主旋律」値を設定する。
[重唱音データ決定処理]
次に、重唱音データ送信処理のS43において実行される重唱音データ決定処理について、図7のフローチャートを用いて説明する。
S71において、制御部201は、提供フラグが「ハモリ」となっているか(すなわち、ハモリパートの重唱音データを提供するべきか)否かを判断する。この判断において、提供フラグが「ハモリ」となっていると判断した場合は(S71:YES)、制御部201は、処理をS72に移行させる。
S72において、制御部201は、判定用歌唱音データと同じ楽曲のハモリパートの投稿歌唱音データ(以下、「ハモリ曲データ」という)が投稿歌唱音データベース203に投稿されているか否かを判断する。この処理において、同じ楽曲のハモリ曲データが投稿されていると判断した場合は(S72:YES)、制御部201は、処理をS73に移行させる。
S73において、制御部201は、同じ楽曲のハモリ曲データを投稿歌唱音データベース203から抽出し、「候補データ」として一時記録部204に記録する。なお、S73において、複数のハモリ曲データが抽出されたものとする。
S74において、制御部201は、判定用歌唱音データ(主旋律パート)を、ハモリパートに変換し、「基準データ」として一時記録部204に記録する。すなわち、基準データを作成する。図8に示すように、カラオケ楽曲データベース202に記録されているハモリ基準データと主旋律基準データとの差分値を、主旋律パートのデータ(判定用歌唱音データ)に加算することによりハモリパートのデータを生成することができる。なお、他の公知の方法によって主旋律パートのデータからハモリパートのデータを生成してもよい。
S75において、制御部201は、提供データ選択処理を実行する。提供データ選択処理により、S73の「候補データ」(ハモリ曲データ)のうち、ハモリパートに変換された判定用歌唱音データに最も似ている「候補データ」が選択されることになる。そして、当該選択された「候補データ」が、カラオケ装置100に送信される「重唱音データ」となる。なお、提供データ選択処理の詳細については後述する。また、S73において、1つのハモリ曲データのみが抽出された場合は、S74及びS75の処理は実行されず、当該1つのハモリ曲データが、カラオケ装置100に送信される「重唱音データ」となる。
なお、以下では、S74及びS75の一連の処理を「第1の処理」ということがある。
また、「重唱音データ」は、以下の処理によっても決定することができる(以下の処理を「第2の処理」ということがある。)
(1)S73で抽出したハモリ曲データを、主旋律パートの投稿歌唱音データ(以下、「主旋律曲データ」という)に変換し、変換した主旋律曲データを「候補データ」とする。「候補データ」は、判定用歌唱音データ(主旋律パート)との比較に用いられる。図9に示すように、カラオケ楽曲データベース202に記録されているハモリ基準データと主旋律基準データとの差分値を、ハモリ曲データに加算することにより主旋律曲データを生成することができる。なお、ハモリ曲データから主旋律曲データの変換を、他の公知の方法によって行ってもよい。
(2)判定用歌唱音データを「基準データ」として、提供データ選択処理を実行する。これにより、複数の候補データの中から1つのデータが決定され、決定された候補データ(主旋律曲データ)に対応するハモリ曲データが、カラオケ装置100に送信される「重唱音データ」となる。
ここで、第1の処理を用いる場合は、判定用歌唱音データのみに対してパート変換の処理(主旋律パート→ハモリパート)が行われるため、処理量が少なくサーバ200の負荷を軽くすることができる。
一方、第2の処理を用いる場合は、複数の投稿歌唱音データに対してパート変換の処理(ハモリパート→主旋律パート)が行われるため処理量が多くなるが、提供データの選択の基準となる「基準データ」として判定用歌唱音データをそのまま用いる(すなわち、判定用歌唱音データに処理を施さない)ので、精度が高い提供データ選択処理を行うことができる。
また、第1の処理及び第2の処理の両方を実行可能となるように構成し、サーバ200の負荷に応じて、処理を切替えるようにしてもよい。すなわち、サーバ200の負荷が高い場合には第1の処理を実行し、そうではない場合には第2の処理を実行するように構成してもよい。
一方、S72において、同じ楽曲のハモリ曲データが投稿されていないと判断した場合は(S72:NO)、制御部201は、処理をS76に移行させる。
S76において、判定用歌唱音データと同じ楽曲の主旋律曲データが投稿歌唱音データベース203に投稿されているか否かを判断する。この処理において、同じ楽曲の主旋律曲データが投稿されていると判断した場合は(S76:YES)、制御部201は、処理をS77に移行させる。
S77において、制御部201は、同じ楽曲の主旋律曲データを投稿歌唱音データベース203から抽出する。なお、S77において、複数の主旋律データが抽出されたものとする。また、抽出した主旋律データを「候補データ」とする。
S78において、制御部201は、提供データ選択処理を実行する。提供データ選択処理により、複数の候補データの中から1つのデータ(主旋律曲データ)が決定される。
S79において、制御部201は、S78で決定した主旋律曲データを、ハモリ曲データに変換する。図9に示すように、カラオケ楽曲データベース202に記録されている主旋律基準データとハモリ基準データとの差分値を、主旋律曲データに加算することによりハモリ曲データを生成することができる。なお、主旋律曲データからハモリ曲データの変換を、他の公知の方法によって行ってもよい。
また、変換したハモリ曲データが、カラオケ装置100に送信される「重唱音データ」となる。
一方、S76において、判定用歌唱音データと同じ楽曲の主旋律曲データが投稿されていないと判断した場合は(S76:NO)、制御部201は、処理をS80に移行させる。
S80において、制御部201は、カラオケ楽曲データベース202から同じ楽曲の歌唱音データを抽出する。抽出した歌唱音データが、カラオケ装置100に送信される「重唱音データ」となる。
一方、S71において、提供フラグが「ハモリ」となっていない(すなわち、「主旋律」となっている)と判断した場合は(S71:NO)、制御部201は、処理をS81に移行させる。
S81において、制御部201は、判定用歌唱音データと同じ楽曲の主旋律曲データが投稿歌唱音データベース203に投稿されているか否かを判断する。この処理において、同じ楽曲の主旋律曲データが投稿されていると判断した場合は(S81:YES)、制御部201は、処理をS82に移行させる。
S82において、制御部201は、同じ楽曲の主旋律曲データを投稿歌唱音データベース203から抽出し、「候補データ」として一時記録部204に記録する。なお、S82において、複数の主旋律曲データが抽出されたものとする。
S83において、制御部201は、判定用歌唱音データ(ハモリパート)を、主旋律パートに変換し、「基準データ」として一時記録部204に記録する。すなわち、基準データを作成する。
S84において、制御部201は、提供データ選択処理を実行する。提供データ選択処理により、S82の「候補データ」(主旋律曲データ)のうち、主旋律パートに変換された判定用歌唱音データに最も似ている「候補データ」が選択されることになる。そして、当該選択された「候補データ」が、カラオケ装置100に送信される「合唱音データ」となる。また、S81において、1つの主旋律曲データのみが抽出された場合は、S83及びS84の処理は実行されず、当該1つの主旋律曲データが、カラオケ装置100に送信される「重唱音データ」となる。
なお、以下では、S83及びS84の一連の処理を「第3の処理」ということがある。
また、「重唱音データ」は、以下の処理によっても決定することができる(以下の処理を「第4の処理」ということがある。)
(1)S82で抽出した主旋律曲データを、ハモリ曲データに変換し、変換したハモリ曲データを「候補データ」とする。「候補データ」は、判定用歌唱音データ(ハモリパート)との比較に用いられる。
(2)判定用歌唱音データを「基準データ」として、提供データ選択処理を実行する。これにより、複数の候補データの中から1つのデータが決定され、決定された候補データ(ハモリ曲データ)に対応する主旋律曲データが、カラオケ装置100に送信される「重唱音データ」となる。
ここで、第3の処理を用いる場合は、判定用歌唱音データのみに対してパート変換の処理(ハモリパート→主旋律パート)が行われるため、処理量が少なくサーバ200の負荷を軽くすることができる。
一方、第4の処理を用いる場合は、複数の投稿歌唱音データに対してパート変換の処理(主旋律パート→ハモリパート)が行われるため処理量が多くなるが、提供データの選択の基準となる「基準データ」として判定用歌唱音データをそのまま用いる(すなわち、判定用歌唱音データに処理を施さない)ので、精度が高い提供データ選択処理を行うことができる。
また、第3の処理及び第4の処理の両方を実行可能となるように構成し、サーバ200の負荷に応じて、処理を切替えるようにしてもよい。すなわち、サーバ200の負荷が高い場合には第1の処理を実行し、そうではない場合には第2の処理を実行するように構成してもよい。
一方、S81において、同じ楽曲の主旋律曲データが投稿されていないと判断した場合は(S81:NO)、制御部201は、処理をS85に移行させる。
S85において、判定用歌唱音データと同じ楽曲のハモリ曲データが投稿歌唱音データベース203に投稿されているか否かを判断する。この処理において、同じ楽曲のハモリ曲データが投稿されていると判断した場合は(S85:YES)、制御部201は、処理をS86に移行させる。
S86において、制御部201は、同じ楽曲のハモリ曲データを投稿歌唱音データベース203から抽出する。なお、S86において、複数の主旋律データが抽出されたものとする。また、抽出したハモリ曲データを「候補データ」とする。
S87において、制御部201は、提供データ選択処理を実行する。提供データ選択処理により、複数の候補データの中から1つのデータ(ハモリ曲データ)が決定される。
S88において、制御部201は、S87で決定したハモリ曲データを、主旋律曲データに変換する。また、変換した主旋律曲データが、カラオケ装置100に送信される「重唱音データ」となる。
一方、S85において、判定用歌唱音データと同じ楽曲のハモリ曲データが投稿されていないと判断した場合は(S85:NO)、制御部201は、処理をS89に移行させる。
S89において、制御部201は、カラオケ楽曲データベース202から同じ楽曲の歌唱音データを抽出する。抽出した歌唱音データが、カラオケ装置100に送信される「重唱音データ」となる。
[提供データ選択処理]
次に、重唱音データ決定処理のS75、S78、S84、S87において実行される提供データ選択処理について、図10のフローチャートを用いつつ説明する。
S91において、制御部201は、一時記録部204から判定用歌唱音データを所定区間分取得する。
S92において、制御部201は、判定用歌唱音データを各候補データと比較する。
S93において、制御部201は、各候補データのうち提供データを決定することができたか否かを判断する。この判断は、判定用歌唱音データに最も近い候補データを1つ特定できたか否かに基いて行われる。例えば、一般的なカラオケ採点処理を行い、複数の時間区間において、1つの候補データが安定して最高順位となっていれば、「最も近い候補データを1つ特定できた」と判断することができる。この処理において、提供データを決定することができたと判断した場合は(S93:YES)、制御部201は、提供データ選択処理を終了する。一方、提供データを決定することができないと判断した場合は(S93:NO)、制御部201は、処理をS94に移行させる。
S94において、一時記録部204から判定用歌唱音データを所定時間分取得する。この処理において取得される判定用歌唱音データは、上記S91で取得される判定用歌唱音データとは異なるものであり、また、この処理が複数回実行される場合は、それぞれの判定用歌唱音データは互いに異なるものである。
S95において、制御部201は、判定用歌唱音データ(S91及びS94で取得されたもの)を各候補データと比較する。
S96において、制御部201は、各候補データのうち提供データを決定することができたか否かを判断する。この処理において、提供データを決定することができたと判断した場合は(S96:YES)、制御部201は、提供データ選択処理を終了する。一方、提供データを決定することができないと判断した場合は(S96:NO)、制御部201は、処理をS94に戻す。これにより、提供データを決定するまでの間、一時記録部204に新たに記録された判定用歌唱音データに基いて、候補データとの比較が行われる。
以上説明したとおり、本実施形態によれば、歌唱者は1回目の歌唱を行い、カラオケ装置100はその歌唱音声を判定用歌唱音データとして取得し、当該判定用歌唱音データを含む判定データをサーバ200に送信する。サーバ200は、受信した判定用歌唱音データ等を投稿歌唱音データベース203に記録し、当該判定用歌唱音データに基いて重唱音データを決定し、カラオケ装置100に送信する。カラオケ装置100は、受信した重唱音データに基いた重唱音声をカラオケ楽曲の楽音と共に出力する。これにより歌唱者は、2回目の歌唱において、当該歌唱者の1回目の歌唱に基いて決定された重唱音声を用いて重唱を行うことができる。一方サーバ200は、判定用歌唱音データを受信するごとに、当該判定用歌唱音データを新たな投稿歌唱音データとしてデータベースに記録(新規登録)するので、投稿歌唱音データベース203に記録される投稿歌唱音データ、すなわちユーザに提供可能な投稿歌唱音データの数を確実に増加させることができる。これにより、より多くのユーザが歌唱音データを投稿するような環境を提供することができる。
そして、提供可能な投稿歌唱音データが増えることにより、ユーザにとって魅力的なカラオケシステムを構築することができる。さらに、本実施形態に係るカラオケシステムをUGC(User-Generated Content)に適用すれば、豊富なコンテンツを有するUGCシステムの構築に貢献でき、当該UGCシステムを活性化させることができる。
また、判定用歌唱音データが主旋律パート(ハーモニーパート)と判定されると、重唱に適切なハーモニーパート(主旋律パート)の投稿歌唱音データが記録されている場合には、当該投稿歌唱音データに基いた歌唱音声を、カラオケ楽曲の演奏時に出力する。さらに、重唱に適切なハーモニーパート(主旋律パート)の投稿歌唱音データがない場合には、主旋律パート(ハーモニーパート)の投稿歌唱音データを選択し、当該歌唱音データから生成したハーモニーパート(歌唱パート)の歌唱音データに基いた歌唱音声を、カラオケ楽曲の演奏時に出力する。これにより、投稿された歌唱音データを、重唱するときに効果的に利用することができる。さらに、判定用歌唱音データを比較の基準として候補データとの比較を行うことにより、歌唱の仕方に応じて送信される重唱音データが変化するので、歌唱者の興趣を高めることができる。
本発明は上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることはいうまでもない。
また、上述した各フローチャートは単なる一例であり、該各フローチャートの処理と同等の結果を得ることができるものであれば、他のフローチャートによって処理を実現してもよい。
また、上述したリモコン、コマンダ、サーバに係る各方法、当該方法をコンピュータに実行させるためのプログラム、当該プログラムを記録した記録媒体等としても本発明は実現可能である。
100…カラオケ装置
110…リモコン、111…制御部、
120…コマンダ、121…制御部、130…マイク、140…スピーカ
200…サーバ、201…制御部、
202…カラオケ楽曲データベース、203…投稿歌唱音データベース

Claims (3)

  1. サーバと当該サーバと通信可能なカラオケ装置とから構成されるカラオケシステムであって、
    前記サーバは、前記カラオケ装置で歌唱された投稿歌唱音データを記録するデータベースを有し、
    前記カラオケ装置は、カラオケ楽曲の1回目の演奏を行い、当該演奏の歌唱音データを、前記サーバに送信し、
    前記サーバは、受信した歌唱音データを、新たな投稿歌唱音データとして前記データベースに記録し、
    前記サーバは、前記歌唱音データのパートを判定し、
    前記サーバは、前記歌唱音データのパートを判定すると、当該歌唱音データを用いて、前記データベースから投稿歌唱音データを選択し、
    前記サーバは、前記選択した投稿歌唱音データまたは当該投稿歌唱音データから生成した歌唱音データを重唱用歌唱音データとして前記カラオケ装置に送信し、
    前記カラオケ装置は、前記カラオケ楽曲の2回目の演奏を行う際に、前記受信した重唱用歌唱音データを用いて歌唱音声を出力する、
    ことを特徴とするカラオケシステム。
  2. 前記カラオケ装置は、前記カラオケ楽曲を最後まで演奏したときに、前記歌唱音データを、前記サーバに送信する、
    ことを特徴とする請求項1のカラオケシステム。
  3. カラオケ装置と通信可能なサーバであって、
    前記カラオケ装置で歌唱された投稿歌唱音データを記録するデータベースを有し、
    前記カラオケ装置から送信された歌唱音データを受信し、
    前記受信した歌唱音データを、新たな投稿歌唱音データとして前記データベースに記録し、
    前記歌唱音データのパートを判定し、
    前記歌唱音データのパートを判定すると、当該歌唱音データを用いて、前記データベースから前記投稿歌唱音データを選択し、
    前記選択した投稿歌唱音データまたは当該投稿歌唱音データから生成した歌唱音データを重唱用歌唱音データとして前記カラオケ装置に送信する、
    ことを特徴とするサーバ。
JP2009128030A 2009-05-27 2009-05-27 カラオケシステム、サーバ Active JP5071439B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009128030A JP5071439B2 (ja) 2009-05-27 2009-05-27 カラオケシステム、サーバ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009128030A JP5071439B2 (ja) 2009-05-27 2009-05-27 カラオケシステム、サーバ

Publications (2)

Publication Number Publication Date
JP2010276794A JP2010276794A (ja) 2010-12-09
JP5071439B2 true JP5071439B2 (ja) 2012-11-14

Family

ID=43423825

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009128030A Active JP5071439B2 (ja) 2009-05-27 2009-05-27 カラオケシステム、サーバ

Country Status (1)

Country Link
JP (1) JP5071439B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5630447B2 (ja) * 2012-01-31 2014-11-26 ブラザー工業株式会社 カラオケシステム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2951502B2 (ja) * 1993-05-26 1999-09-20 パイオニア株式会社 カラオケ装置
JP3598598B2 (ja) * 1995-07-31 2004-12-08 ヤマハ株式会社 カラオケ装置
JP3903492B2 (ja) * 1996-02-27 2007-04-11 ヤマハ株式会社 カラオケ装置
JP3871382B2 (ja) * 1996-09-11 2007-01-24 ブラザー工業株式会社 楽音再生装置
JP4188013B2 (ja) * 2002-07-17 2008-11-26 株式会社第一興商 ファイル保管サーバに預託した歌唱トラック録音ファイルをカラオケ演奏装置に取り寄せて合唱することができる通信カラオケシステム、カラオケ演奏装置
JP4096734B2 (ja) * 2002-12-27 2008-06-04 カシオ計算機株式会社 音楽活動支援システム、及びプログラム
JP2005241848A (ja) * 2004-02-25 2005-09-08 Daiichikosho Co Ltd 通信カラオケシステムにおける投稿作品編集式の模範ボーカル提供装置
JP2006184684A (ja) * 2004-12-28 2006-07-13 Xing Inc 音楽再生装置
JP4382786B2 (ja) * 2006-08-22 2009-12-16 株式会社タイトー 音声ミックスダウン装置、音声ミックスダウンプログラム

Also Published As

Publication number Publication date
JP2010276794A (ja) 2010-12-09

Similar Documents

Publication Publication Date Title
EP1878007A1 (en) Operating method of music composing device
WO2021216115A1 (en) System, method, and non-transitory computer-readable storage medium for collaborating on a musical composition over a communication network
JP2009210790A (ja) 選曲歌手分析推薦装置、その方法及びプログラム
JP2016070999A (ja) カラオケ効果音設定システム
JP2008209640A (ja) カラオケ効果音出力システム
JP6514874B2 (ja) リファレンスの音高差と歌唱音声の音高差を比較して採点を行うカラオケ採点装置
JP6065703B2 (ja) 基準データ作成システム、及び演奏端末装置
JP5311069B2 (ja) 歌唱評価装置及び歌唱評価プログラム
JP5071439B2 (ja) カラオケシステム、サーバ
JP4983835B2 (ja) カラオケシステム、サーバ
JP6070952B2 (ja) カラオケ装置及びカラオケ用プログラム
JP6219750B2 (ja) 歌唱対戦カラオケシステム
JP5969421B2 (ja) 楽器音出力装置及び楽器音出力プログラム
JP5847048B2 (ja) ピアノロール型譜表示装置、ピアノロール型譜表示プログラム、及びピアノロール型譜表示方法
JP5787279B2 (ja) 楽音演奏装置
JP6083400B2 (ja) 楽曲選択装置、及び楽曲選択用プログラム
JP2007188175A (ja) サーバ装置、端末装置およびプログラム
JP6380305B2 (ja) データ生成装置、カラオケシステム、及びプログラム
JP5825533B2 (ja) 楽曲検索装置、楽曲検索システム、及び楽曲検索プログラム
JP6144593B2 (ja) 歌唱採点システム
JP2013231881A (ja) カラオケ採点システム
JP2014066740A (ja) カラオケ装置
JP6611633B2 (ja) カラオケシステム用サーバ
JP6589400B2 (ja) ネットワークカラオケシステム、カラオケ装置、サーバ、ネットワークカラオケシステムの制御方法、カラオケ装置の制御方法、及びサーバの制御方法
JP6638429B2 (ja) カラオケ装置及びカラオケ用プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120724

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120806

R150 Certificate of patent or registration of utility model

Ref document number: 5071439

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3