JP3875203B2 - カラオケ装置、歌唱力採点方法、ならびに、プログラム - Google Patents

カラオケ装置、歌唱力採点方法、ならびに、プログラム Download PDF

Info

Publication number
JP3875203B2
JP3875203B2 JP2003089980A JP2003089980A JP3875203B2 JP 3875203 B2 JP3875203 B2 JP 3875203B2 JP 2003089980 A JP2003089980 A JP 2003089980A JP 2003089980 A JP2003089980 A JP 2003089980A JP 3875203 B2 JP3875203 B2 JP 3875203B2
Authority
JP
Japan
Prior art keywords
voice
singing
unit
music
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003089980A
Other languages
English (en)
Other versions
JP2004294967A (ja
Inventor
英之 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konami Digital Entertainment Co Ltd
Original Assignee
Konami Digital Entertainment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konami Digital Entertainment Co Ltd filed Critical Konami Digital Entertainment Co Ltd
Priority to JP2003089980A priority Critical patent/JP3875203B2/ja
Publication of JP2004294967A publication Critical patent/JP2004294967A/ja
Application granted granted Critical
Publication of JP3875203B2 publication Critical patent/JP3875203B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Reverberation, Karaoke And Other Acoustics (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、カラオケ装置、歌唱力採点方法、ならびに、プログラムに関する。
【0002】
【従来の技術】
従来より、業務用や家庭用のカラオケ装置が広く普及している。また、パーソナルコンピュータやゲーム装置等でも、カラオケ演奏ソフトウェア等を実行させることにより、カラオケ装置として機能させることが可能となっている。
ユーザは、これらのカラオケ装置を使うことにより、お店や家庭でカラオケを楽しむことができる。
【0003】
このようなカラオケ装置を使用して、ユーザが1人ずつ、好みの楽曲(カラオケ曲)を歌うだけでなく、2人のユーザがデュエット曲を歌う場合もある。この場合、たとえば、カラオケ装置のモニタには、歌詞情報がそれぞれの歌唱パートに応じて色分けされて表示され、この歌詞情報を参照して、男性ユーザが男性パートを歌い、女性ユーザが女性パートを歌うことになる。
【0004】
最近では、2人のユーザがデュエット曲を歌う場合であっても、各ユーザの歌唱力をそれぞれ採点できるカラオケ装置も知られている。このカラオケ装置は、2つのマイクからそれぞれ入力した各ユーザの歌唱音声を、模範となる基準音声とそれぞれ比較し、各ユーザの歌唱力を採点する。
この場合、各ユーザが別々に楽曲を歌うことなく、一度にそれぞれの歌唱力の採点を行うことができるため、効率良く、歌唱力の優劣(勝敗)を判定することができる。
【0005】
【発明が解決しようとする課題】
しかしながら、複数のユーザの歌唱力をそれぞれ採点できる従来のカラオケ装置では、各ユーザの歌唱力を適切に採点できない場合が多かった。
たとえば、図6(直上から見た図)に示すように、2人のユーザu1,u2がそれぞれ、マイクm1,m2を持って歌を歌う場合に、マイクm1には、ユーザu1の歌唱音声だけでなく、ユーザu2の歌唱音声Svが入力されてしまう。
そのため、マイクm1には、ユーザu2の歌唱音声Svがノイズ成分として入力され、ユーザu1の歌唱音声を適切に採点できないこととなる。
また、マイクm2にもユーザu1の歌唱音声が入力されるため、同様に、ノイズ成分となる。
つまり、各マイクm1,m2には、他のユーザの歌唱音声がノイズ成分となって入力されるため、各ユーザu1,u2の歌唱音声が適切に採点できないという問題があった。
【0006】
一方、このようなノイズ成分(他のユーザの歌唱音声)を、他のユーザの歌唱音声(他のマイクから入力されたもの)を利用して、排除することも考えられる。たとえば、図6のマイクm1に入力されたユーザu2の歌唱音声Svを、マイクm2に入力されたユーザu2の歌唱音声を利用して、排除するような手法が考えられる。
しかしながら、現実には、ユーザ間の距離dが不定であり、また、一定ではないため、マイクm2に入力されたユーザu2の歌唱音声を利用しても、単純には、マイクm1に入力されたユーザu2の歌唱音声Svを排除できないのが実状であった。
【0007】
本発明は、このような課題を解決するためになされたもので、他のユーザの歌唱音声を効果的に排除することにより、ユーザの歌唱音声を適切に採点することのできるカラオケ装置、歌唱力採点方法、ならびに、これらをコンピュータによって実現するプログラムを提供することを目的とする。
【0008】
【課題を解決するための手段】
以上の目的を達成するため、本発明の原理にしたがって、下記の発明を開示する。
【0009】
本発明の第1の観点に係るカラオケ装置は、楽曲記憶部と、伴奏音再生部と、音声入力受付部と、逆位相生成部と、歌唱力採点部と、を備え、以下のように構成する。
【0010】
まず、楽曲記憶部は、楽曲の伴奏音を規定する伴奏情報と、模範とすべき楽曲の音声情報を規定する模範音声情報と、を含んだ楽曲情報を記憶する。一方、伴奏音再生部は、当該伴奏情報に基づいて楽曲の伴奏音を再生する。そして、音声入力受付部は、再生される当該伴奏音に合わせて、複数のユーザが歌う歌唱音声の入力を受け付ける。
【0011】
逆位相生成部は、当該各ユーザ間の距離に基づいて、当該各歌唱音声にそれぞれ対応した逆位相の音声信号を生成する。そして、歌唱力採点部は、当該各ユーザを基準として、受け付けられた当該歌唱音声と、生成された当該各音声信号における異なるユーザの音声信号と、をそれぞれ合成し、合成した当該各信号と当該模範音声情報とを順次比較して、当該各歌唱音声の歌唱力を逐次採点する。
【0012】
たとえば、ユーザAの歌唱音声に、ユーザBの歌唱音声がノイズ成分として含まれており、また、ユーザBの歌唱音声にユーザAの歌唱音声がノイズ成分として含まれている場合、逆位相生成部は、ユーザA,B間の距離に基づいて、ユーザA,B(歌唱音声)の逆位相の音声信号を生成する。
そして、歌唱力採点部は、ユーザAの歌唱音声とユーザBの逆位相の音声信号とを合成し、また、ユーザBの歌唱音声とユーザAの逆位相の音声信号とを合成する。これによって、ユーザAの歌唱音声からノイズ成分(ユーザBの歌唱音声)が排除され、また、ユーザBの歌唱音声からノイズ成分(ユーザAの歌唱音声)が排除されることになる。
このように、ユーザ間の距離を使用して、他のユーザの歌唱音声が効果的に排除されるため、ユーザの歌唱音声を適切に採点することができる。
【0013】
本発明の第2の観点に係るカラオケ装置は、楽曲記憶部と、伴奏音再生部と、音声入力受付部と、距離算出部と、逆位相生成部と、信号合成部と、歌唱力採点部と、を備え、以下のように構成する。
【0014】
まず、楽曲記憶部は、楽曲の伴奏音を規定する伴奏情報と、模範とすべき楽曲の音声情報を規定する模範音声情報と、を含んだ楽曲情報を記憶する。一方、伴奏音再生部は、当該伴奏情報に基づいて楽曲の伴奏音を再生する。そして、音声入力受付部は、再生される当該伴奏音の入力、および、複数のユーザが歌う歌唱音声の入力を受け付ける。
【0015】
距離算出部は、受け付けられた当該伴奏音に基づいて、当該各ユーザ間の概略距離を算出する。たとえば、スピーカ間の距離、および2本のマイクにて受け付けた伴奏音のずれ(遅延)等からマイク間の距離(ユーザ間の概略距離)を算出する。そして、逆位相生成部は、受け付けられた当該各歌唱音声に対応して、逆位相となる音声信号を、算出された概略距離に基づいてそれぞれ生成する。
【0016】
信号合成部は、当該各ユーザを基準として、受け付けられた当該歌唱音声と、生成された当該各音声信号における異なるユーザの音声信号と、をそれぞれ合成する。そして、歌唱力採点部は、合成された当該各信号と当該模範音声情報とを順次比較して、当該各歌唱音声の歌唱力を逐次採点する。
【0017】
たとえば、ユーザAの歌唱音声に、ユーザBの歌唱音声がノイズ成分として含まれており、また、ユーザBの歌唱音声にユーザAの歌唱音声がノイズ成分として含まれている場合、距離算出部は、受け付けられた伴奏音に基づいて、ユーザA,B間の概略距離を算出する。また、逆位相生成部は、この概算距離に基づいて、ユーザA,Bの逆位相の音声信号を生成する。
そして、信号合成部は、ユーザAの歌唱音声とユーザBの逆位相の音声信号とを合成し、また、ユーザBの歌唱音声とユーザAの逆位相の音声信号とを合成する。これにより、ユーザAの歌唱音声からノイズ成分が排除され、また、ユーザBの歌唱音声からノイズ成分が排除される。
このように、算出されたユーザ間の概略距離を使用して、他のユーザの歌唱音声が効果的に排除されるため、ユーザの歌唱音声を適切に採点することができる。
【0018】
また、伴奏音再生部は、再生した伴奏音を、所定距離を隔てて配置された複数のスピーカを介して出力し、音声入力受付部は、出力される当該伴奏音の入力、および、複数のユーザが歌う歌唱音声の入力を、複数のマイクを介して順次受け付け、距離算出部は、当該各スピーカ間の距離、および受け付けられた当該伴奏音に基づいて、当該各マイク間の距離を算出し、逆位相生成部は、当該各歌唱音声に対応した逆位相の信号を、算出された当該各マイク間の距離に基づいて、それぞれ生成してもよい。
これにより、スピーカ間の距離等からマイク間の距離が求まり、この距離に基づいて、各歌唱音声に対応した逆位相の信号がそれぞれ生成される。そして、ユーザの歌唱音声と他のユーザの逆位相の信号とが合成されて、他のユーザの歌唱音声が効果的に排除されるため、ユーザの歌唱音声を適切に採点することができる。
【0019】
本発明の第3の観点に係る歌唱力採点方法は、楽曲記憶部(楽曲の伴奏音を規定する伴奏情報と、模範とすべき楽曲の音声情報を規定する模範音声情報と、を含んだ楽曲情報を記憶する)を用いる歌唱力採点方法であって、伴奏音再生工程と、音声入力受付工程と、逆位相生成工程と、歌唱力採点工程と、を備え、以下のように構成する。
【0020】
まず、伴奏音再生工程では、当該伴奏情報に基づいて楽曲の伴奏音を再生する。そして、音声入力受付工程では、再生される当該伴奏音に合わせて、複数のユーザが歌う歌唱音声の入力を受け付ける。
【0021】
逆位相生成工程では、当該各ユーザ間の距離に基づいて、当該各歌唱音声にそれぞれ対応した逆位相の音声信号を生成する。そして、歌唱力採点工程では、当該各ユーザを基準として、受け付けられた当該歌唱音声と、生成された当該各音声信号における異なるユーザの音声信号と、をそれぞれ合成し、合成した当該各信号と当該模範音声情報とを順次比較して、当該各歌唱音声の歌唱力を逐次採点する。
【0022】
本発明を適用することにより、ユーザ間の距離を使用して、他のユーザの歌唱音声が効果的に排除されるため、ユーザの歌唱音声を適切に採点することができる。
【0023】
本発明の第4の観点に係る歌唱力採点方法は、楽曲記憶部(楽曲の伴奏音を規定する伴奏情報と、模範とすべき楽曲の音声情報を規定する模範音声情報と、を含んだ楽曲情報を記憶する)を用いる歌唱力採点方法であって、伴奏音再生工程と、音声入力受付工程と、距離算出工程と、逆位相生成工程と、信号合成工程と、歌唱力採点工程と、を備え、以下のように構成する。
【0024】
まず、伴奏音再生工程では、当該伴奏情報に基づいて楽曲の伴奏音を再生する。そして、音声入力受付工程では、再生される当該伴奏音の入力、および、複数のユーザが歌う歌唱音声の入力を受け付ける。
【0025】
距離算出工程では、受け付けられた当該伴奏音に基づいて、当該各ユーザ間の概略距離を算出する。そして、逆位相生成工程では、受け付けられた当該各歌唱音声に対応して、逆位相となる音声信号を、算出された概略距離に基づいてそれぞれ生成する。
【0026】
信号合成工程では、当該各ユーザを基準として、受け付けられた当該歌唱音声と、生成された当該各音声信号における異なるユーザの音声信号と、をそれぞれ合成する。そして、歌唱力採点工程では、合成された当該各信号と当該模範音声情報とを順次比較して、当該各歌唱音声の歌唱力を逐次採点する。
【0027】
本発明を適用することにより、算出されたユーザ間の概略距離を使用して、他のユーザの歌唱音声が効果的に排除されるため、ユーザの歌唱音声を適切に採点することができる。
【0028】
本発明の第5の観点に係るプログラムは、コンピュータ(ゲーム装置を含む。)を、上記のカラオケ装置として機能させるように構成する。
【0029】
このプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読取可能な情報記録媒体に記録することができる。
【0030】
上記プログラムは、当該プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配布・販売することができる。また、上記情報記録媒体は、当該コンピュータとは独立して配布・販売することができる。
【0031】
【発明の実施の形態】
以下に本発明の実施形態を説明する。以下では、理解を容易にするため、ゲーム装置に本発明が適用される実施形態を説明するが、各種のコンピュータ、PDA、携帯電話などの情報処理装置、および専用のカラオケ装置においても同様に本発明を適用することができる。すなわち、以下に説明する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素もしくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。
【0032】
(実施の形態)
図1は、本発明の実施の形態に係るカラオケ装置が実現される典型的なゲーム装置の概要構成を示す模式図である。以下、本図を参照して説明する。
【0033】
ゲーム装置100は、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103と、インターフェース104と、マイク105と、コントローラ106と、外部メモリ107と、DVD(Digital Versatile Disk)−ROMドライブ108と、画像処理部109と、音声処理部110と、NIC(Network Interface Card)111と、を備える。
【0034】
なお、ゲーム用のプログラムおよびデータを記憶したDVD−ROMをDVD−ROMドライブ108に装着して、ゲーム装置100の電源を投入することにより、当該プログラムが実行され、本実施形態のカラオケ装置が実現される。
【0035】
CPU 101は、ゲーム装置100全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。
【0036】
ROM 102には、電源投入直後に実行されるIPL(Initial Program Loader)が記録され、これが実行されることにより、DVD−ROMに記録されたプログラムをRAM 103に読み出してCPU 101による実行が開始される。また、ROM 102には、ゲーム装置100全体の動作制御に必要なオペレーティングシステムのプログラムや各種のデータが記録される。
【0037】
RAM 103は、データやプログラムを一時的に記憶するためのもので、DVD−ROMから読み出したプログラムやデータ、その他ゲームの進行やチャット通信に必要なデータが保持される。
【0038】
インターフェース104を介して接続されたマイク105には、音声処理部110によりスピーカから出力された伴奏音、および、ユーザが発する音声(歌唱音声等)が、音声信号に変換されて入力される。なお、2つのスピーカから伴奏音が出力され、また、2本のマイク105が2人のユーザにより使用された場合に、各マイク105には、それぞれのスピーカから出力された伴奏音、および、それぞれのユーザから発せられた歌唱音声が入力される。
【0039】
インターフェース104を介して接続されたコントローラ106は、ユーザがゲーム実行の際に行う操作入力を受け付ける。
【0040】
インターフェース104を介して着脱自在に接続された外部メモリ107には、ゲームの進行状態を示すデータ、チャット通信のログ(記録)のデータなどが書き換え可能に記憶される。ユーザは、コントローラ106を介して指示入力を行うことにより、これらのデータを適宜外部メモリ107に記録することができる。
【0041】
DVD−ROMドライブ108に装着されるDVD−ROMには、ゲームを実現するためのプログラムとゲームに付随する画像データや音声データが記録される。CPU 101の制御によって、DVD−ROMドライブ108は、これに装着されたDVD−ROMに対する読み出し処理を行って、必要なプログラムやデータを読み出し、これらはRAM 103等に一時的に記憶される。
【0042】
画像処理部109は、DVD−ROMから読み出されたデータをCPU 101や画像処理部109が備える画像演算プロセッサ(図示せず)によって加工処理した後、これを画像処理部109が備えるフレームメモリ(図示せず)に記録する。フレームメモリに記録された画像情報は、所定の同期タイミングでビデオ信号に変換され画像処理部109に接続されるモニタ(図示せず)へ出力される。これにより、各種の画像表示が可能となる。
【0043】
なお、画像演算プロセッサは、2次元の画像の重ね合わせ演算やαブレンディング等の透過演算、各種の飽和演算を高速に実行できる。
また、仮想3次元空間に配置され、各種のテクスチャ情報が付加されたポリゴン情報を、Zバッファ法によりレンダリングして、所定の視点位置から仮想3次元空間に配置されたポリゴンを俯瞰したレンダリング画像を得る演算の高速実行も可能である。
【0044】
音声処理部110は、DVD−ROMから読み出した音声データをアナログ音声信号に変換し、これに接続されたスピーカ(図示せず)から出力させる。また、CPU 101の制御の下、ゲームの進行の中で発生させるべき効果音や楽曲データを生成し、これに対応した音声をスピーカから出力させる。
【0045】
さらに、音声処理部110は、シンセサイザ等の音源を有しており、たとえば、MIDI(Musical Instrument Digital Interface)データにしたがって、電子音(伴奏音)を順次合成し、伴奏音をたとえば、2つのスピーカから出力させる。
【0046】
NIC 111は、ゲーム装置100をインターネット等のコンピュータ通信網(図示せず)に接続するためのものであり、LAN(Local Area Network)を構成する際に用いられる10BASE−T/100BASE−T規格にしたがうものや、電話回線を用いてインターネットに接続するためのアナログモデム、ISDN(Integraged Services Digital Network)モデム、ADSL(Asymmetric Digital Subscriber Line Modem)モデム、ケーブルテレビジョン回線を用いてインターネットに接続するためのケーブルモデム等と、これらとCPU 101との仲立ちを行うインターフェース(図示せず)により構成される。
【0047】
このほか、ゲーム装置100は、ハードディスク等の大容量外部記憶装置を用いて、ROM 102、RAM 103、外部メモリ107、DVD−ROMドライブ108に装着されるDVD−ROM等と同じ機能を果たすように構成してもよい。
また、ユーザからの文字列の編集入力を受け付けるためのキーボードや、各種の位置の指定および選択入力を受け付けるためのマウスなどを接続する形態も採用することができる。また、本実施形態のゲーム装置100にかえて、汎用のパーソナルコンピュータを利用することもできる。
【0048】
(カラオケ装置の概要構成)
図2は、本実施形態に係るカラオケ装置の概要構成を示す模式図である。以下、本図を参照して説明する。
【0049】
カラオケ装置200は、楽曲記憶部201と、伴奏再生部202と、画像生成部203と、音声入力受付部204と、距離算出部205と、逆位相生成部206と、信号合成部207と、歌唱力採点部208とを備える。
【0050】
まず、楽曲記憶部201は、複数の楽曲(デュエット曲を含むカラオケ楽曲)のMIDIデータ、および模範音声情報をあらかじめ記憶している。MIDIデータは、楽曲の伴奏音の情報であり、また、模範音声情報は、模範とすべき基準音声(音程、音量、およびリズム等)を規定する情報である。
また、このようなMIDIデータ、および模範音声情報の他に、楽曲記憶部201は、楽曲に応じた歌詞情報、および静止画情報等を記憶している。
そして、DVD−ROMドライブ108に装着されたDVD−ROM、外部メモリ107が、このような楽曲記憶部201として機能しうる。
【0051】
伴奏再生部202は、楽曲記憶部201から再生対象となるMIDIデータを読み出し、楽曲の伴奏音を再生する。たとえば、伴奏再生部202は、音源を有しており、読み出したMIDIデータにしたがって、ステレオの電子音(楽曲の伴奏音)を順次合成し、生成した伴奏音を、任意に設置された2つのスピーカから出力させる。なお、2つのスピーカ間の距離は、予め計測されているものとする。
そして、DVD−ROMドライブ108、音声処理部110が、このような伴奏再生部202として機能しうる。
【0052】
画像生成部203は、楽曲記憶部201から再生対象となる楽曲に応じた歌詞情報、および静止画情報を読み出し、楽曲の進行に対応させた表示画像を適宜生成してモニタに表示させる。
また、歌唱力採点部208から供給される採点情報を表示データに加工して、モニタに表示させる。
そして、DVD−ROMドライブ108、画像処理部109が、このような画像生成部203として機能しうる。
【0053】
音声入力受付部204は、伴奏再生部202により再生される伴奏音の入力、および、ユーザが歌う歌唱音声の入力を受け付ける。
たとえば、伴奏再生部202によりデュエット曲の伴奏音が2つのスピーカから出力され、2本のマイクが2人のユーザにより使用された場合では、音声入力受付部204は、各マイクから入力した伴奏音、および歌唱音声をそれぞれ受け付ける。そして、各マイクから入力された伴奏音をそれぞれサンプリングし、サンプリングした各伴奏信号を距離算出部205に供給する。また、音声入力受付部204は、各マイクから入力された歌唱音声をそれぞれサンプリングし、サンプリングした各音声信号を、逆位相生成部206、および信号合成部207に供給する。
そして、マイク105(たとえば、2本のマイク105)、音声処理部110が、このような音声入力受付部204として機能しうる。
【0054】
距離算出部205は、音声入力受付部204から供給された各伴奏信号に基づいて、2人のユーザ間の概略距離を逐次算出する。たとえば、距離算出部205は、伴奏再生部202により伴奏音が出力される2つのスピーカ間の距離、および供給された各伴奏信号に基づいて、2本のマイク間の距離をリアルタイムに算出する。
具体的に図3を参照して説明すると、2つのスピーカs1,s2の距離Lが計測されていると、2本のマイクm1,m2にて受け付けた各スピーカs1,s2が出力した伴奏音のずれ(遅延)等により、距離算出部205は、各マイク間の距離dを算出可能となる。なお、スピーカs1,s2は、一般に固定して設置され、距離Lは、あらかじめ、設定されている。
つまり、距離算出部205は、設定された距離L(固定値)、および、マイクm1,m2にて受け付けた伴奏音のずれ(遅延)から距離L1〜L4を逐次算出し、この距離L1〜L4に基づいてマイク間の距離dを逐次算出する。このため、マイクm1,m2が移動しても(ユーザu1,u2が動いても)、リアルタイムに、マイクm1,m2間の距離が求まることになる。
そして、距離算出部205は、算出した距離dを2人のユーザ間の概略距離として、逆位相生成部206に逐次供給する。
なお、CPU 101がこのような距離算出部205として機能しうる。
【0055】
逆位相生成部206は、距離算出部205により算出されたユーザ間の概略距離に基づいて、各歌唱音声にそれぞれ対応した逆位相の音声信号を生成する。
すなわち、逆位相生成部206は、音声入力受付部204から供給された各音声信号に対応して、逆位相となる音声信号(逆位相信号)を、算出された概略距離に基づいてそれぞれ生成する。つまり、生成される各逆位相信号は、それぞれ、ユーザ間の概算距離(マイク間の距離)による遅延を考慮した信号となる。
そして、逆位相生成部206は、生成した各逆位相信号を信号合成部207に供給する。
なお、CPU 101、音声処理部110がこのような逆位相生成部206として機能しうる。
【0056】
信号合成部207は、供給された各音声信号と、生成された各逆位相信号とを各ユーザを入れ替えて合成する。
つまり、信号合成部207は、音声入力受付部204から供給された各音声信号に含まれるノイズ成分(他のユーザの歌唱音声)を排除するために、各音声信号と相手側の逆位相信号とをそれぞれ合成する。
そして、合成によりそれぞれ生成した合成音声信号を歌唱力採点部208に供給する。
なお、音声処理部110がこのような信号合成部207として機能しうる。
【0057】
歌唱力採点部208は、信号合成部207から供給された各合成音声信号について、音程、音量、および、リズム等を解析する。そして、楽曲記憶部201に記憶される模範音声情報にしたがって、供給される各合成音声信号に対応する歌唱力を逐次採点する。
たとえば、歌唱力採点部208は、合成音声信号の音程、音量、および、リズムと、模範音声情報号の音程、音量、および、リズムとをそれぞれ比較し、減点手法により、各合成音声信号の歌唱力を採点する。つまり、ノイズ成分(他のユーザの歌唱音声)が排除された合成音声信号を使用して、ユーザの歌唱力を採点する。
このようにして各合成音声信号に対応する歌唱力を採点すると、歌唱力採点部208は、各音声信号(各マイク105)に対応付けた採点結果情報を生成し、画像生成部203に供給する。
そして、CPU 101がこのような歌唱力採点部208として機能しうる。
【0058】
図4は、カラオケ装置200において実行される歌唱力採点処理の流れを示すフローチャートである。以下、本図を参照して説明する。なお、一例として、伴奏再生部202が伴奏音を出力させる2つのスピーカ間の距離が、予め計測されており、コントローラ106等からその距離の値が入力されているものとする。そして、この歌唱力採点処理は、たとえば、再生対象の楽曲として、楽曲記憶部201からデュエット曲が選択された後に開始される。また、2人のユーザが、任意に2本のマイク105をそれぞれ使用して、デュエット曲を歌う場合を一例として説明するが、各ユーザ間の距離(マイク105間の距離)は、不明な状態であるものとする。
【0059】
まず、伴奏再生部202が伴奏音の再生を開始する(ステップS301)。つまり、伴奏再生部202は、MIDIデータにしたがって、電子音を順次合成し、楽曲の伴奏音(ステレオ音)を2つのスピーカから出力させる。また、画像生成部203は、楽曲の進行に対応させた表示画像を適宜生成してモニタに表示させる。
【0060】
音声入力受付部204は、2本のマイクから入力される伴奏音をそれぞれ受け付ける(ステップS302)。そして、各マイクから入力された伴奏音をそれぞれサンプリングし、サンプリングした各伴奏信号を距離算出部205に供給する。
【0061】
距離算出部205は、音声入力受付部204から供給された各伴奏信号に基づいて、2本のマイク間の距離を算出する(ステップS303)。つまり、距離算出部205は、予め入力されている2つのスピーカ間の距離、および供給された各伴奏信号に基づいて、図3を参照して上述したように、各マイク間の距離を算出する。
【0062】
そして、カラオケ装置200は、音声入力受付部204において、ユーザの音声(2人のユーザの歌唱音声)が入力されているか否かを判別する(ステップS304)。ユーザの音声が入力されていないと判別した場合(ステップS304;No)、カラオケ装置200は、後述するステップS308に処理を進める。
【0063】
一方、ユーザの音声が入力されていると判別した場合(ステップS304;Yes)、音声入力受付部204から各音声信号が供給された逆位相生成部206は、ステップS303にて算出されている現在のマイク間の距離(ユーザ間の概算距離)に基づいて、各歌唱音声にそれぞれ対応した逆位相の音声信号を生成する。
つまり、逆位相生成部206は、音声入力受付部204から供給された各音声信号に対応して、逆位相となる音声信号(逆位相信号)を、算出された距離に基づいてそれぞれ生成する。
そして、逆位相生成部206は、生成した各逆位相信号を信号合成部207に供給する。
【0064】
信号合成部207は、供給された各音声信号と、供給された各逆位相信号とを各ユーザを入れ替えて合成する(ステップS306)。
つまり、信号合成部207は、音声入力受付部204から供給された各音声信号に含まれるノイズ成分(他のユーザの歌唱音声)を排除するために、各音声信号と相手側の逆位相信号とをそれぞれ合成する。
そして、合成によりそれぞれ生成した合成音声信号を歌唱力採点部208に供給する。
【0065】
歌唱力採点部208は、信号合成部207から供給された各合成音声信号について、音程、音量、および、リズム等を解析する。そして、楽曲記憶部201に記憶される模範音声情報にしたがって、供給される各合成音声信号に対応する歌唱力を逐次採点する(ステップS307)。つまり、ノイズ成分(他のユーザの歌唱音声)が排除された合成音声信号を使用して、ユーザの歌唱力を採点する。なお、歌唱力採点部208は、所定のタイミング(楽曲の途中や、楽曲の再生終了後等)に、採点結果情報を生成して画像生成部203に供給する。
【0066】
カラオケ装置200は、楽曲の再生が終了したか否かを判別し(ステップS308)、再生が終了していない場合(ステップS308;No)、ステップS302に処理を戻して、上述のステップS302〜S308の処理を繰り返し実行する。一方、再生が終了した場合(ステップS308;Yes)、カラオケ装置200は、歌唱力採点処理を終了する。
【0067】
本実施形態では、逐次、ユーザ間の概略距離(マイク間の距離)が求められ、この距離に応じた(遅延を考慮した)逆位相の音声信号を生成される。そして、各音声信号と相手側の逆位相信号とがそれぞれ合成され、各音声信号に含まれるノイズ成分(他のユーザの歌唱音声)が排除される。
この結果、入力された歌唱音声から、他のユーザの歌唱音声が効果的に排除されるため、ユーザの歌唱音声を適切に採点することができる。
【0068】
(その他の実施形態)
上記実施形態では、音声入力受付部204が、伴奏再生部202により再生される伴奏音を入力し、距離算出部205が、各伴奏信号に基づいて、マイク間の距離を算出する場合について説明した。
しかしながら、伴奏音(伴奏信号)以外の音を使用して、距離算出部205が、各伴奏信号に基づいて、マイク間の距離を算出するようにしてもよい。
たとえば、伴奏再生部202が伴奏音の他に、可聴範囲外の周波数となる検査音を2つのスピーカから出力させ、音声入力受付部204が、これらの検査音を入力し、距離算出部205が、各検査音信号に基づいて、マイク間の距離を算出してもよい。
【0069】
また、上記実施形態では、2つのスピーカの距離を予め計測されている場合について説明したが、2つのスピーカの距離を種々の手法により求めてもよい。
たとえば、スピーカの間にマイク105を配置し、各スピーカから出力した音声の入力時間差等により、2つのスピーカの距離を求めてもよい。
【0070】
また、スピーカに距離センサ等を配置して、2つのスピーカの距離を求めてもよい。
たとえば、一方のスピーカ(スピーカA)に赤外線を送受信する送受信素子を設置し、他方のスピーカ(スピーカB)に赤外線を反射する反射素子を設置する。なお、送受信素子と反射素子とは、対向する位置に配置されるものとする。
具体的には、スピーカAからスピーカBに向けて赤外線を送信し、スピーカBにて反射された赤外線をスピーカAにて受信する。そして、この間に要した時間等から、2つのスピーカの距離を求める。
さらに、マイク105に距離センサ等を配置して、上記と同様に、マイク105間の距離を直接求めてもよい。この場合も、リアルタイムにマイク105間の距離を求めてもよい。
【0071】
また、上記実施形態では、2人のユーザが2本のマイク105を使用して、デュエット曲を歌う場合について説明したが、ユーザの数(マイク105の数)は、2人(2本)に限られず、3人(3本)以上であってもよい。
一例として、3人のユーザが3本のマイク105を使用して曲を歌う場合について、図5を参照して説明する。なお、この場合も、2つのスピーカs1,s2の距離Lは、あらかじめ設定されているものとする。
【0072】
この場合、距離算出部205は、設定された距離L(固定値)、および、マイクm1,m2、m3にて受け付けた伴奏音のずれ(遅延)から距離L1〜L6を算出し、この距離L1〜L6に基づいて各マイク間の距離d1〜d3を算出する。
【0073】
また、逆位相生成部206は、算出されたユーザ間の概略距離(距離d1〜d3)に基づいて、各歌唱音声にそれぞれ対応した逆位相の音声信号を生成する。つまり、ユーザu1の歌唱音声からは、距離d1に基づいた逆位相の音声信号、および距離d3に基づいた逆位相の音声信号が生成される。また、ユーザu2の歌唱音声からは、距離d1に基づいた逆位相の音声信号、および距離d2に基づいた逆位相の音声信号が生成される。そして、ユーザu3の歌唱音声からは、距離d2に基づいた逆位相の音声信号、および距離d3に基づいた逆位相の音声信号が生成される。
【0074】
そして、信号合成部207は、各ユーザを基準として、受け付けられた歌唱音声と、生成された各音声信号における異なるユーザの音声信号と、をそれぞれ合成する。
つまり、ユーザu1の歌唱音声は、ユーザu2の音声信号(距離d1に基づいた逆位相の音声信号)およびユーザu3の音声信号(距離d3に基づいた逆位相の音声信号)と合成される。また、ユーザu2の歌唱音声は、ユーザu1の音声信号(距離d1に基づいた逆位相の音声信号)およびユーザu3の音声信号(距離d2に基づいた逆位相の音声信号)と合成される。そして、ユーザu3の歌唱音声は、ユーザu2の音声信号(距離d2に基づいた逆位相の音声信号)およびユーザu1の音声信号(距離d3に基づいた逆位相の音声信号)と合成される。これにより、各ユーザの歌唱音声から、ノイズ成分(他のユーザの歌唱音声)が効果的に排除される。
この場合も、他のユーザの歌唱音声を効果的に排除することにより、ユーザの歌唱音声を適切に採点することができる。
【0075】
【発明の効果】
以上説明したように、本発明によれば、他のユーザの歌唱音声を効果的に排除することにより、ユーザの歌唱音声を適切に採点することができるカラオケ装置、歌唱力採点方法、ならびに、これらをコンピュータによって実現するプログラムを提供することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態に係るカラオケ装置が実現される典型的なゲーム装置の概要構成を示す模式図である。
【図2】本実施形態に係るカラオケ装置の概要構成を示す模式図である。
【図3】スピーカ間の距離からマイク間の距離を求める様子を説明するための模式図である。
【図4】当該カラオケ装置において実行される歌唱力採点処理の制御の流れを示すフローチャートである。
【図5】3人のユーザ(3本のマイク)に、本発明が適用される場合についての模式図である。
【図6】一方のユーザのマイクに、他のユーザの歌唱音声が入力されてしまう様子を説明するための模式図である。
【符号の説明】
100 ゲーム装置
101 CPU
102 ROM
103 RAM
104 インターフェース
105 マイク
106 コントローラ
107 外部メモリ
108 DVD−ROMドライブ
109 画像処理部
110 音声処理部
111 NIC
200 カラオケ装置
201 楽曲記憶部
202 伴奏再生部
203 画像生成部
204 音声入力受付部
205 距離算出部
206 逆位相生成部
207 信号合成部
208 歌唱力採点部

Claims (7)

  1. 楽曲記憶部と、伴奏音再生部と、音声入力受付部と、逆位相生成部と、歌唱力採点部と、を備えるカラオケ装置であって、
    前記楽曲記憶部は、楽曲の伴奏音を規定する伴奏情報と、模範とすべき楽曲の音声情報を規定する模範音声情報と、を含んだ楽曲情報を記憶し、
    前記伴奏音再生部は、当該伴奏情報に基づいて楽曲の伴奏音を再生し、
    前記音声入力受付部は、再生される当該伴奏音に合わせて、複数のユーザが歌う歌唱音声の入力を受け付け、
    前記逆位相生成部は、当該各歌唱音声に対応した逆位相の音声信号を、当該各ユーザ間の距離を音波が伝播するのに要する時間だけ遅延させてそれぞれ生成し、
    前記歌唱力採点部は、当該各ユーザを基準として、受け付けられた当該歌唱音声と、生成された当該各音声信号における異なるユーザの音声信号と、をそれぞれ合成し、合成した当該各信号と当該模範音声情報とを順次比較して、当該各歌唱音声の歌唱力を逐次採点する ことを特徴とするもの。
  2. 楽曲記憶部と、伴奏音再生部と、音声入力受付部と、距離算出部と、逆位相生成部と、信号合成部と、歌唱力採点部と、を備えるカラオケ装置であって、
    前記楽曲記憶部は、楽曲の伴奏音を規定する伴奏情報と、模範とすべき楽曲の音声情報を規定する模範音声情報と、を含んだ楽曲情報を記憶し、
    前記伴奏音再生部は、当該伴奏情報に基づいて楽曲の伴奏音を再生し、
    前記音声入力受付部は、再生される当該伴奏音の入力、および、複数のユーザが歌う歌唱音声の入力を受け付け、
    前記距離算出部は、受け付けられた当該伴奏音に基づいて、当該各ユーザ間の概略距離を算出し、
    前記逆位相生成部は、受け付けられた当該各歌唱音声に対応して、逆位相となる音声信号を、算出された概略距離が大きい場合に長く、当該概略距離が小さい場合に短く遅延させてそれぞれ生成し、
    前記信号合成部は、当該各ユーザを基準として、受け付けられた当該歌唱音声と、生成された当該各音声信号における異なるユーザの音声信号と、をそれぞれ合成し、
    前記歌唱力採点部は、合成された当該各信号と当該模範音声情報とを順次比較して、当該各歌唱音声の歌唱力を逐次採点する ことを特徴とするもの。
  3. 請求項2に記載のカラオケ装置であって、
    前記伴奏音再生部は、再生した伴奏音を、所定距離を隔てて配置された複数のスピーカを介して出力し、
    前記音声入力受付部は、出力される当該伴奏音の入力、および、複数のユーザが歌う歌唱音声の入力を、複数のマイクを介して順次受け付け、
    前記距離算出部は、当該各スピーカ間の距離、および受け付けられた当該伴奏音に基づいて、当該各マイク間の距離を算出し、
    前記逆位相生成部は、当該各歌唱音声に対応した逆位相の信号を、算出された当該各マイク間の距離を音波が伝播するのに要する時間だけ遅延させてそれぞれ生成する ことを特徴とするもの。
  4. 楽曲記憶部を用いる歌唱力採点方法であって、前記楽曲記憶部は、楽曲の伴奏音を規定する伴奏情報と、模範とすべき楽曲の音声情報を規定する模範音声情報と、を含んだ楽曲情報を記憶し、
    伴奏音再生工程と、音声入力受付工程と、逆位相生成工程と、歌唱力採点工程と、を備え、
    前記伴奏音再生工程では、当該伴奏情報に基づいて楽曲の伴奏音を再生し、
    前記音声入力受付工程では、再生される当該伴奏音に合わせて、複数のユーザが歌う歌唱音声の入力を受け付け、
    前記逆位相生成工程では、当該各歌唱音声に対応した逆位相の音声信号を、当該各ユーザ間の距離を音波が伝播するのに要する時間だけ遅延させてそれぞれ生成し、
    前記歌唱力採点工程では、当該各ユーザを基準として、受け付けられた当該歌唱音声と、生成された当該各音声信号における異なるユーザの音声信号と、をそれぞれ合成し、合成した当該各信号と当該模範音声情報とを順次比較して、当該各歌唱音声の歌唱力を逐次採点する ことを特徴とする方法。
  5. 楽曲記憶部を用いる歌唱力採点方法であって、前記楽曲記憶部は、楽曲の伴奏音を規定する伴奏情報と、模範とすべき楽曲の音声情報を規定する模範音声情報と、を含んだ楽曲情報を記憶し、
    伴奏音再生工程と、音声入力受付工程と、距離算出工程と、逆位相生成工程と、信号合成工程と、歌唱力採点工程と、を備え、
    前記伴奏音再生工程では、当該伴奏情報に基づいて楽曲の伴奏音を再生し、
    前記音声入力受付工程では、再生される当該伴奏音の入力、および、複数のユーザが歌う歌唱音声の入力を受け付け、
    前記距離算出工程では、受け付けられた当該伴奏音に基づいて、当該各ユーザ間の概略距離を算出し、
    前記逆位相生成工程では、受け付けられた当該各歌唱音声に対応して、逆位相となる音声信号を、算出された概略距離が大きい場合に長く、当該概略距離が小さい場合に短く遅延させてそれぞれ生成し、
    前記信号合成工程では、当該各ユーザを基準として、受け付けられた当該歌唱音声と、生成された当該各音声信号における異なるユーザの音声信号と、をそれぞれ合成し、
    前記歌唱力採点工程では、合成された当該各信号と当該模範音声情報とを順次比較して、当該各歌唱音声の歌唱力を逐次採点する
    ことを特徴とする方法。
  6. コンピュータを、楽曲記憶部、伴奏音再生部、音声入力受付部、逆位相生成部および歌唱力採点部、として機能させるプログラムであって、
    前記楽曲記憶部は、楽曲の伴奏音を規定する伴奏情報と、模範とすべき楽曲の音声情報を規定する模範音声情報と、を含んだ楽曲情報を記憶し、
    前記伴奏音再生部は、当該伴奏情報に基づいて楽曲の伴奏音を再生し、
    前記音声入力受付部は、再生される当該伴奏音に合わせて、複数のユーザが歌う歌唱音声の入力を受け付け、
    前記逆位相生成部は、当該各歌唱音声に対応した逆位相の音声信号を、当該各ユーザ間の距離を音波が伝播するのに要する時間だけ遅延させてそれぞれ生成し、
    前記歌唱力採点部は、当該各ユーザを基準として、受け付けられた当該歌唱音声と、生成された当該各音声信号における異なるユーザの音声信号と、をそれぞれ合成し、合成した当該各信号と当該模範音声情報とを順次比較して、当該各歌唱音声の歌唱力を逐次採点する ことを特徴とするもの。
  7. コンピュータを、楽曲記憶部、伴奏音再生部、音声入力受付部、距離算出部、逆位相生成部、信号合成部および歌唱力採点部、として機能させるプログラムであって、
    前記楽曲記憶部は、楽曲の伴奏音を規定する伴奏情報と、模範とすべき楽曲の音声情報を規定する模範音声情報と、を含んだ楽曲情報を記憶し、
    前記伴奏音再生部は、当該伴奏情報に基づいて楽曲の伴奏音を再生し、
    前記音声入力受付部は、再生される当該伴奏音の入力、および、複数のユーザが歌う歌唱音声の入力を受け付け、
    前記距離算出部は、受け付けられた当該伴奏音に基づいて、当該各ユーザ間の概略距離を算出し、
    前記逆位相生成部は、受け付けられた当該各歌唱音声に対応して、逆位相となる音声信号を、算出された概略距離が大きい場合に長く、当該概略距離が小さい場合に短く遅延させてそれぞれ生成し、
    前記信号合成部は、当該各ユーザを基準として、受け付けられた当該歌唱音声と、生成された当該各音声信号における異なるユーザの音声信号と、をそれぞれ合成し、
    前記歌唱力採点部は、合成された当該各信号と当該模範音声情報とを順次比較して、当該各歌唱音声の歌唱力を逐次採点する
    ことを特徴とするもの。
JP2003089980A 2003-03-28 2003-03-28 カラオケ装置、歌唱力採点方法、ならびに、プログラム Expired - Fee Related JP3875203B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003089980A JP3875203B2 (ja) 2003-03-28 2003-03-28 カラオケ装置、歌唱力採点方法、ならびに、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003089980A JP3875203B2 (ja) 2003-03-28 2003-03-28 カラオケ装置、歌唱力採点方法、ならびに、プログラム

Publications (2)

Publication Number Publication Date
JP2004294967A JP2004294967A (ja) 2004-10-21
JP3875203B2 true JP3875203B2 (ja) 2007-01-31

Family

ID=33403719

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003089980A Expired - Fee Related JP3875203B2 (ja) 2003-03-28 2003-03-28 カラオケ装置、歌唱力採点方法、ならびに、プログラム

Country Status (1)

Country Link
JP (1) JP3875203B2 (ja)

Also Published As

Publication number Publication date
JP2004294967A (ja) 2004-10-21

Similar Documents

Publication Publication Date Title
JP5306702B2 (ja) 年齢層推定装置、年齢層推定方法、ならびに、プログラム
JPH06274188A (ja) カラオケ装置
JPH07140991A (ja) カラオケ装置
JP3734801B2 (ja) カラオケ装置、音程判定方法、ならびに、プログラム
JP2006189471A (ja) プログラム、歌唱力判定方法、ならびに、判定装置
JP4939515B2 (ja) ゲーム装置、ゲーム処理方法、ならびに、プログラム
JP3751596B2 (ja) カラオケ装置、出力音量制御方法、ならびに、プログラム
JP3875203B2 (ja) カラオケ装置、歌唱力採点方法、ならびに、プログラム
WO2010084830A1 (ja) 音声処理装置、チャットシステム、音声処理方法、情報記憶媒体、ならびに、プログラム
JP3908719B2 (ja) カラオケ装置、歌唱力判定方法、ならびに、プログラム
JP2004240065A (ja) カラオケ装置、音声出力制御方法、ならびに、プログラム
JP2011215292A (ja) 歌唱判定装置およびカラオケ装置
JP3878180B2 (ja) カラオケ装置、カラオケ方法、ならびに、プログラム
JP3892433B2 (ja) カラオケ装置、カラオケ方法、ならびに、プログラム
JP4216312B2 (ja) カラオケ装置、歌唱力判定方法、ならびに、プログラム
JP2005148599A (ja) カラオケ装置、カラオケ方法、および、プログラム
JP3867633B2 (ja) カラオケ装置
JP4714230B2 (ja) 音声処理装置、音声処理方法、ならびに、プログラム
JP5357805B2 (ja) 音声処理装置、音声処理方法、ならびに、プログラム
JP4437993B2 (ja) 音声処理装置、音声処理方法、ならびに、プログラム
JP3854263B2 (ja) カラオケ装置、カラオケ方法、ならびに、プログラム
JP4071130B2 (ja) 制御装置、キャラクタ制御方法、ならびに、プログラム
JP3610732B2 (ja) 反響音発生装置
JP3551000B2 (ja) 自動演奏装置、自動演奏方法及びプログラムを記録した媒体
JP4229064B2 (ja) 音声合成装置および音声合成プログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20060427

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061025

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3875203

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091102

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091102

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101102

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101102

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111102

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121102

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131102

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees