JPH1049183A - カラオケ採点装置 - Google Patents

カラオケ採点装置

Info

Publication number
JPH1049183A
JPH1049183A JP8223068A JP22306896A JPH1049183A JP H1049183 A JPH1049183 A JP H1049183A JP 8223068 A JP8223068 A JP 8223068A JP 22306896 A JP22306896 A JP 22306896A JP H1049183 A JPH1049183 A JP H1049183A
Authority
JP
Japan
Prior art keywords
data
pitch
level
singer
note
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8223068A
Other languages
English (en)
Other versions
JP3299890B2 (ja
Inventor
Takahiro Tanaka
孝浩 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP22306896A priority Critical patent/JP3299890B2/ja
Priority to US08/900,199 priority patent/US5889224A/en
Priority to CNB971163030A priority patent/CN1135524C/zh
Publication of JPH1049183A publication Critical patent/JPH1049183A/ja
Priority to JP2000034795A priority patent/JP3369138B2/ja
Application granted granted Critical
Publication of JP3299890B2 publication Critical patent/JP3299890B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/046File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
    • G10H2240/056MIDI or other note-oriented file format

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

(57)【要約】 【課題】 MIDIメッセージで与えられた本来の歌唱
メロディ情報と、歌唱者の歌のピッチ、レベル、タイミ
ング情報の差を取り出すことで、メロディ情報に対する
歌唱者の歌い方を評価するためのデータを検出できるよ
うにする。 【解決手段】第1の検出手段が歌唱者の音声に基づいて
そのピッチデータ及びレベルデータを検出し、第2の検
出手段がMIDIメッセージの中の歌唱者の発音すべき
歌唱メロディに対応するノートオン/オフデータ、ピッ
チデータ及びレベルデータを検出する。そして、それぞ
れ検出されたピッチデータ及びレベルデータを個々にピ
ッチ比較手段及びレベル比較手段で比較し、その比較結
果とノートオン/オフデータとに基づいて、歌唱法の評
価のためのデータを作成する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、カラオケ演奏に
従って発音される歌唱者の音声に基づいてその歌唱法の
評価を行うカラオケ採点装置に係り、特にMIDI音源
によって生成された演奏曲や歌唱音声などのカラオケ演
奏に従って発音された歌唱者の音声とオリジナル歌唱メ
ロディとを比較して採点するのに必要なデータを検出す
るカラオケ採点装置に関する。
【0002】
【従来の技術】楽音制御装置としてのカラオケ装置は、
楽曲をアナログ信号として記録したテープを再生するこ
とによってその楽曲を再生するものであったが、電子技
術の発達に伴って、テープがCD(Compact D
isk)やLD(LaserDisk)に代わり、記録
される信号もアナログ信号からディジタル信号に代わ
り、それらに記録されるデータも楽曲データだけでなく
映像データや歌詞データなどの種々の情報が付加される
ようになってきた。そして、最近では、CDやLDに代
えて、通信回線(一般の電話回線やISDN回線)を介
して楽曲データなどを取り込み、それを音源とシーケン
サを用いて演奏する通信型のカラオケ装置が急速に普及
してきた。この通信型のカラオケ装置には、再生する楽
曲データをその都度通信回線を介して取り込んで再生す
る非蓄積型のものと、取り込んだ楽曲データを内蔵の記
憶装置(ハードディスクなど)に蓄積しておき、必要な
時に読み出して再生する蓄積型とがある。現在では通信
コストの点から、蓄積型のカラオケ装置が主流になって
いる。
【0003】このようなカラオケ装置には、カラオケ演
奏に従って発音される歌唱者の音声に基づいてその歌唱
法の評価を行うカラオケ採点装置を内蔵したものがあ
る。この従来のカラオケ採点装置は、歌唱者の音声に対
してピッチやレベルを検出し、その安定度や持続度で歌
唱法を評価し、採点している。
【0004】
【発明が解決しようとする課題】従来のカラオケ採点装
置の評価及び採点方法は、曲情報すなわち楽曲データの
中のメロディ情報に依存しない、相関性のない評価方法
であり、カラオケ演奏の演奏タイミングに応じて歌唱さ
れるべきメロディ情報とは全く無関係に行われ、歌唱者
自身の歌い方の評価を行っているに過ぎなかった。従っ
て、従来のカラオケ採点装置は、カラオケ演奏に依存し
て上手に歌った場合と、カラオケ演奏とは無関係に歌っ
た場合でも、その歌唱者の歌い方だけを評価するだけで
あって、その歌唱者の歌がカラオケ演奏の中のメロディ
情報に依存して、相対的な関係を持って評価することは
できなかった。この発明は上述の点に鑑みてなされたも
のであり、MIDIメッセージで与えられた本来の歌唱
メロディ情報に対する歌唱者の歌い方を評価するための
データを検出することのできるカラオケ採点装置を提供
することを目的とする。
【0005】
【課題を解決するための手段】第1の発明に係るカラオ
ケ採点装置は、MIDIメッセージに基づいて生成され
た演奏曲や歌唱音声などのカラオケ演奏に従って発音さ
れる歌唱者の音声に基づいてその歌唱法の評価を行うカ
ラオケ採点装置において、前記歌唱者の音声に基づいて
そのレベルデータを検出する第1の検出手段と、前記M
IDIメッセージの中から前記歌唱者の発音すべき歌唱
メロディに対応するノートオン/オフデータ及びレベル
データを検出する第2の検出手段と、前記第1及び第2
の検出手段によって検出された前記レベルデータ同志を
比較し、そのレベル比較データを出力するレベル比較手
段と、前記レベル比較手段からのレベル比較データと前
記第2の検出手段によって検出された前記ノートオン/
オフデータとに基づいて、前記歌唱法の評価のためのデ
ータを作成するデータ作成手段とからなるものである。
第2の発明に係るカラオケ採点装置は、MIDIメッセ
ージに基づいて生成された演奏曲や歌唱音声などのカラ
オケ演奏に従って発音される歌唱者の音声に基づいてそ
の歌唱法の評価を行うカラオケ採点装置において、前記
歌唱者の音声に基づいてそのピッチデータを検出する第
1の検出手段と、前記MIDIメッセージの中から前記
歌唱者の発音すべき歌唱メロディに対応するノートオン
/オフデータ及びピッチデータを検出する第2の検出手
段と、前記第1及び第2の検出手段によって検出された
前記ピッチデータ同志を比較し、そのピッチ比較データ
を出力するピッチ比較手段と、前記ピッチ比較手段から
のピッチ比較データと前記第2の検出手段によって検出
された前記ノートオン/オフデータとに基づいて、前記
歌唱法の評価のためのデータを作成するデータ作成手段
とからなるものである。第3の発明に係るカラオケ採点
装置は、MIDIメッセージに基づいて生成された演奏
曲や歌唱音声などのカラオケ演奏に従って発音される歌
唱者の音声に基づいてその歌唱法の評価を行うカラオケ
採点装置において、前記歌唱者の音声に基づいてそのピ
ッチデータ及びレベルデータを検出する第1の検出手段
と、前記MIDIメッセージの中から前記歌唱者の発音
すべき歌唱メロディに対応するノートオン/オフデー
タ、ピッチデータ及びレベルデータを検出する第2の検
出手段と、前記第1及び第2の検出手段によって検出さ
れた前記ピッチデータ同志を比較し、そのピッチ比較デ
ータを出力するピッチ比較手段と、前記第1及び第2の
検出手段によって検出された前記レベルデータ同志を比
較し、そのレベル比較データを出力するレベル比較手段
と、前記ピッチ比較手段からのピッチ比較データと前記
レベル比較手段からのレベル比較データと前記第2の検
出手段によって検出された前記ノートオン/オフデータ
とに基づいて、前記歌唱法の評価のためのデータを作成
するデータ作成手段とからなるものである。
【0006】この発明では、歌唱者の音声に基づいてそ
のピッチデータ及びレベルデータを検出し、MIDIメ
ッセージの中の歌唱者の発音すべき歌唱メロディに対応
するノートオン/オフデータ、ピッチデータ及びレベル
データを検出する。そして、それぞれ検出されたピッチ
データ及び/又はレベルデータを個々にピッチ比較手段
及び/又はレベル比較手段で比較し、その比較結果とノ
ートオン/オフデータとに基づいて、歌唱法の評価のた
めのデータを作成している。従来のカラオケ採点装置
は、歌唱メロディ情報に依存しない、相関性のない評価
方法を行っていたが、この発明によって、本来の歌唱メ
ロディ情報に対する歌唱者の歌い方を評価するためのデ
ータを検出することができるようになり、その結果、カ
ラオケ採点装置はこのデータに基づいて歌唱者の歌い方
を歌唱メロディ情報に基づいて正確に判定することがで
きるという効果がある。
【0007】
【発明の実施の形態】以下、添付図面を参照して、この
発明の一実施の形態を詳細に説明する。図1はこの発明
に係るカラオケ採点装置の一実施の形態の全体構成を示
す概略ブロック図である。この実施の形態ではMIDI
入力手段(MIDI IN)11はオリジナルの楽曲デ
ータの中に含まれる基準歌唱音のMIDIメッセージを
構成するレベルデータ(Level)をレベル差検出手
段(Level DifferenceDetecto
r)13に、ピッチデータ(Pitch)をピッチ差検
出手段(Pitch Difference Dete
ctor)14に、ノートオン/オフステータスデータ
(Note On/Off)をMIDI出力手段(MI
DI OUT)のノートオン/オフステータス端子(N
ote On/Off Status)にそれぞれ出力
する。
【0008】レベル及びピッチ検出手段12は、マイク
10によって変換された歌唱者の音声信号を取り込み、
それに基づいてレベルデータ及びピッチデータを分析す
る。レベル及びピッチ検出手段12は、分析の結果得ら
れたレベルデータ(Level)をレベル差検出手段1
3に、ピッチデータをピッチ差検出手段14にそれぞれ
出力する。レベル差検出手段13は、MIDI入力手段
11からのレベルデータと、レベル及びピッチ検出手段
12によって分析されたレベルデータとを比較し、その
レベル差データをMIDI出力手段(MIDI OU
T)15のレベル差端子(Level Diff.)に
出力する。
【0009】図2は、基準歌唱音のMIDIメッセージ
の中のレベルデータの一例と、歌唱者の実際の歌に対応
したレベル変動波形の一例を示す図である。図2には、
MIDI入力手段11からレベル差検出手段13に出力
されるレベルデータとして、レベルデータLB1の2分
音符と、レベルデータLB2の4分音符と、レベルデー
タLB3の4分音符とが連続するMIDIメッセージに
対応した音符列が示されている。そして、この音符列の
下側には、歌唱者の実際の歌に対応したレベルデータL
D1〜LD3、すなわちレベル及びピッチ検出手段12
によって分析されたレベルデータLD1〜LD3の一例
が示されている。
【0010】レベル差検出手段13は、各音符のレベル
データLB1〜LB3と、実際の歌に対応したレベルデ
ータLD1〜LD3とを比較し、レベルデータLD1〜
LD3がレベルデータLB1〜LB3を基準としたどの
範囲に属するかを検出する。例えば、レベルデータLB
1〜LB3を基準にその上下方向に3段階のレベルL1
〜L3を設定し、レベルデータLD1〜LD3がその3
段階のレベルで規定されるどの範囲に属するかを所定周
期で検出する。この所定周期として、テンポ速度が4分
音符で125回発生する場合だと、16分音符は120
msec相当となる。この16分音符の発音持続時間を
約半分とすると60msecとなる。従って、十分な評
価値を得るためには、最低でもこの60msecの間に
2ポイント分の測定が必要なので、レベル差検出手段1
4は、約50msecの周期すなわち分解能に応じたポ
イントで、レベルデータLD1〜LD3が3段階レベル
のどこに属するかの評価を行う。
【0011】例えば、レベル差検出手段13は、そのポ
イントにおいて、レベルデータLD1がレベルデータL
B1よりも小さい場合にはレベルディファレンスサイン
(Level difference sign)とし
て『0』を、大きい場合には『1』をMIDI出力手段
15のレベル差端子に出力すると共に、レベルデータL
D1が3段階のどのレベルL1〜L3の範囲に属するか
を示すディファレンスレベルデータをMIDI出力手段
15のレベル差端子に出力する。このディファレンスレ
ベルデータは『00』、『01』、『10』及び『1
1』の4種類であり、『00』はレベルデータLD1が
レベルL1よりも小さい範囲にあることを示し、『0
1』はレベルL1とレベルL2との範囲内にあることを
示し、『10』はレベルL2とレベルL3との範囲内に
あることを示し、『11』はレベルL3よりも大きい範
囲にあることをそれぞれ示す。
【0012】ピッチ差検出手段14は、MIDI入力手
段11からのピッチデータPB1〜PB3と、レベル及
びピッチ検出手段12によって分析されたピッチデータ
PD1〜PD3とを比較し、そのピッチ差データをMI
DI出力手段(MIDI OUT)15のピッチ差端子
(Pitch Diff.)に出力する。図3は、基準
歌唱音のMIDIメッセージの中のピッチレベルの一例
と、歌唱者の実際の歌に対応したピッチ変動波形を示す
図である。図3には、MIDI入力手段11からのピッ
チデータとして、ピッチデータPB1の2分音符と、ピ
ッチデータPB2の4分音符と、ピッチデータLB3の
4分音符とが連続している場合のMIDIメッセージ列
に対応した音符列が示されている。そして、この下側に
は、歌唱者の実際の歌に対応したピッチデータPD1〜
PD3、すなわちレベル及びピッチ検出手段12によっ
て分析されたピッチデータPD1〜PD3の一例が示さ
れている。ピッチ差検出手段14は、各音符のピッチデ
ータPB1〜PB3と、実際の歌に対応したピッチデー
タPD1〜PD3とを比較し、ピッチデータPD1〜P
D3がピッチデータPB1〜PB3を基準としたどの範
囲に属するかを検出する。例えば、ピッチデータPB1
〜PB3を基準にその上下方向に3段階のピッチP1〜
P3を設定し、ピッチデータPD1〜PD3がその3段
階のレベルで規定されるどの範囲に属するかを所定周期
毎に検出する。この所定周期としては、テンポ速度が4
分音符で125回発生する場合だと、16分音符は12
0msec相当となる。この16分音符の発音持続時間
を約半分とすると60msecとなる。従って、十分な
評価値を得るためには、最低でもこの60msecの間
に2ポイント分の測定が必要なので、ピッチ差検出手段
14は、約50msecの周期すなわち分解能に応じた
ポイントで、ピッチデータPD1〜PD3が3段階レベ
ルのどこに属するかの評価を行う。
【0013】例えば、ピッチ差検出手段14は、そのポ
イントにおいて、ピッチデータPD1がピッチデータP
B1よりも小さい場合にはピッチディファレンスサイン
(pitch difference sign)とし
て『0』を、大きい場合には『1』をMIDI出力手段
15のピッチ差端子に出力すると共に、ピッチデータL
D1が3段階のどのピッチP1〜P3の範囲に属するか
を示すディファレンスピッチデータをMIDI出力手段
15のピッチ差端子に出力する。このディファレンスピ
ッチデータは『00』、『01』、『10』及び『1
1』の4種類であり、『00』はピッチデータPD1が
ピッチL1よりも小さい範囲にあることを示し、『0
1』はピッチP1とピッチP2との範囲内にあることを
示し、『10』はピッチP2とピッチP3との範囲内に
あることを示し、『11』はピッチP3よりも大きい範
囲にあることをそれぞれ示す。このとき、MIDI出力
手段15には時刻t1Sで最初の2分音符(レベルデー
タLB1,ピッチデータPB1)のノートオンが入力
し、時刻t1Eでその音符のノートオフが入力する。時
刻t2Sで2番目の4分音符(レベルデータLB2,ピ
ッチデータPB2)のノートオンが入力し、時刻t2E
でその音符のノートオフが入力する。時刻t3Sで3番
目の4分音符(レベルデータLB3,ピッチデータPB
3)のノートオンが入力し、時刻t3Eでその音符のノ
ートオフが入力する。
【0014】MIDI出力手段(MIDI OUT)1
5は、レベル差端子、ピッチ差端子及びノートオン/オ
フステータス端子に入力される各データに基づいて、図
4に示すようなMIDIメッセージを作成し、それを採
点制御装置16に出力する。図4は、MIDI出力手段
15が作成するMIDIメッセージすなわちコントロー
ルチェンジメッセージの一例を示す図である。図4から
明らかなように、コントロールチェンジメッセージは最
上位ビット(判別ビット)が『1』のステータスバイト
71と、最上位ビット(判別ビット)が『0』の2つの
データバイト72,73とで構成される。ステータスバ
イトは従来と同じであり、下位4ビット『nnnn』で
MIDIチャンネルを示し、上位4ビットでボイスメッ
セージの種類を示す。すなわち、図7のステータスバイ
ト71は、ボイスメッセージのコントロールチェンジを
示す『BnH』となる。このコントロールチェンジは、
最初のデータバイト72でそのMIDIコントロールチ
ェンジナンバを示す。例えば、この実施の形態では、デ
ータバイト72の下位7ビット『mmmmmmm』で、
ガイドメロディすなわち基準歌唱音に対して歌唱者の実
際の歌がどのように変化したかを示すようになってい
る。すなわち、この実施の形態では、未使用のコントロ
ールナンバを使用する。例えば、データバイト72の
『0mmmmmmm』が『01100110』すなわち
『66H』の場合には第1の基準歌唱音に対して、『0
1100111』すなわち『67H』の場合には第2の
基準歌唱音に対して、それぞれ歌唱者の実際の歌がどの
ように変化したかを示すコントロールチェンジメッセー
ジとなる。ここで、第1及び第2の基準歌唱音は、デュ
エット曲などの場合に対応する。データバイト73は、
下位7ビット『stuuxyy』で、データバイト72
で指定される基準歌唱音に対する歌唱者の実際の歌のピ
ッチ及びレベルの変化の割合を示す。第7ビットの
『s』は、ノートオンステータスを示すビットである。
『0』がノートオフを、『1』がノートオンを示す。例
えば、図2及び図3の場合には、時刻t1sから時刻t
1Eまで、時刻t2Sから時刻t2Eまで、並びに時刻
t3Sからt3Eまでの間はこの第7ビットの『s』は
『1』となり、それ以外は『0』となる。第6ビット
『t』は、レベルディファレンスサインを示すビットで
あり、『0』はソングレベルデータLD1がメロディレ
ベルデータLB1よりも小さい場合を示し、『1』はそ
の逆の大きい場合を示す。第5ビット及び第4ビット
『uu』は、ソングレベルデータLD1が3段階のどの
レベルL1〜L3のどの範囲に属するかを示すデータで
あり、『00』はレベルデータLD1がレベルL1より
も小さい範囲にあることを示し、『01』はレベルL1
とレベルL2との範囲内にあることを示し、『10』は
レベルL2とレベルL3との範囲内にあることを示し、
『11』はレベルL3よりも大きいことを示す。第3ビ
ット『x』は、ピッチディファレンスサインを示すビッ
トであり、『0』はソングピッチデータPD1がメロデ
ィピッチデータPB1よりも小さい場合を示し、『1』
はその逆の大きい場合を示す。第2ビット及び第1ビッ
ト『yy』は、ソングピッチデータPD1が3段階のど
のピッチP1〜P3のどの範囲に属するかを示すビット
であり、『00』はピッチデータPD1がピッチP1よ
りも小さい範囲にあることを示し、『01』はピッチP
1とピッチP2との範囲内にあることを示し、『10』
はピッチP2とピッチP3との範囲内にあることを示
し、『11』はピッチP3よりも大きいことを示す。
【0015】図5は、図1のMIDI出力手段15から
採点制御手段16に出力される複数のコントロールチェ
ンジメッセージ列の一例を示す図であり、横軸に時間
を、縦軸ソングレベルデータの値、すなわち、図4のデ
ータバイト73の第6ビット『t』のレベルディファレ
ンスサインと、第5ビット及び第4ビット『uu』のソ
ングレベルデータLD1とに応じた評価レベルL1〜L
3に対応する位置を示す。MIDI入力手段11は、第
1のメロディノート(Melody note1)と第
2のメロディノート(Melody note 2)を
連続的に出力する。このとき、MIDI出力手段15
は、コントロールチェンジメッセージを30msec周
期で求めて出力する。図5のコントロールチェンジメッ
セージを第7ビットの『s』、第6ビット『t』、第5
ビット及び第4ビット『uu』の値で示すと、次のよう
になる。以下、データバイト73の第7ビットから第4
ビットまでの『stuu』の値を示す。なお、第3ビッ
トから第1ビットの『xyy』については省略する。 1:『0100』−2:『0111』−3:『0111』−4:『1100』− 5:『1100』−6:『1100』−7:『1100』−8:『1100』− 9:『1000』−10:『1001』−11:『1010』−12:『1011』− 13:『1011』−14:『0100』−15:『0100』−16:『0100』− 17:『1011』−18:『1011』−19:『1100』−20:『1100』− 21:『1000』−22:『1000』−23:『1000』−24:『1000』− 25:『1000』−26:『0111』−27:『0111』−28:『0110』− 29:『0100』−30:『0100』−31:『0100』−32:『0100』 これらの各データ列の先頭の数値は図5の黒丸の出現順
番を示すものである。図5において、第2及び第3番目
のコントロールチェンジメッセージに対応するAの部分
は、2:『0111』−3:『0111』であり、第1
のメロディノートのノートオン前に歌唱者がレベル範囲
L3以上の大きな声で発音したという状態を示す。すな
わち、この場合は、第1のメロディノートのノートオン
前、100msecから歌唱者が発音動作を始めたとい
うことを意味する。第11、第12及び第13番目のコ
ントロールチェンジメッセージに対応するBの部分は、
11:『1010』−12:『1011』−13:『101
1』であり、第1のメロディノートのノートオン持続時
間すなわち発音時間中であるにも係わらず歌唱者が発音
を止めたという状態を示す。すなわち、この場合は、歌
唱者が発音を止めた時間は通常のキーオフタイムよりも
100msec早く発音が停止したことを意味する。第
17及び第18番目のコントロールチェンジメッセージ
に対応するCの部分は、17:『1011』−18:『10
11』であり、第2のメロディノートのノートオン開始
時間以降すなわち発音時間中にも係わらず歌唱者が発音
しなかったという状態を示す。すなわち、この場合は、
歌唱者が発音を止めた時間が通常のキーオフタイムより
も100msec早いことを意味する。第26、第27
及び第28番目のコントロールチェンジメッセージに対
応するBの部分は、26:『0111』−27:『011
1』−28:『0110』であり、第2のメロディノート
がノートオフすなわち発音中止にも係わらず歌唱者が発
音し続けているという状態を示す。すなわち、この場合
は、歌唱者がキーオフ後約150msecほど発音を持
続していたことを意味する。採点制御装置16はこのよ
うな一連のコントロールチェンジメッセージを入力し、
それに基づいて上述のような状態に基づいて適当な評価
を行う。
【0016】なお、上述の実施の形態では、ピッチとレ
ベルの両方を比較判定する場合について説明したが、い
ずれか一方だけを比較判定し、その結果をコントロール
チェンジメッセージとして出力するようにしてもよい。
【0017】
【発明の効果】この発明によれば、MIDIメッセージ
で与えられた本来の歌唱メロディ情報に対する歌唱者の
歌い方を評価するためのデータを検出することができる
という効果を奏する。
【図面の簡単な説明】
【図1】 この発明に係るカラオケ採点装置の一実施の
形態の全体構成を示す概略ブロック図である。
【図2】 基準歌唱音のMIDIメッセージの中のレベ
ルデータの一例と、歌唱者の実際の歌に対応したレベル
変動波形の一例を示す図である。
【図3】 基準歌唱音のMIDIメッセージの中のピッ
チレベルの一例と、歌唱者の実際の歌に対応したピッチ
変動波形の一例を示す図である。
【図4】 MIDI出力手段が作成するMIDIメッセ
ージ(コントロールチェンジメッセージ)の一例を示す
図である。
【図5】 図1のMIDI出力手段から採点制御手段に
出力される複数のコントロールチェンジメッセージ列の
一例を示す図である。
【符号の説明】
10…マイク、11…MIDI入力手段、12…レベル
及びピッチ検出手段、13…レベル差検出手段、14…
ピッチ差検出手段、15…MIDI出力手段、16…採
点制御装置

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 MIDIメッセージに基づいて生成され
    た演奏曲や歌唱音声などのカラオケ演奏に従って発音さ
    れる歌唱者の音声に基づいてその歌唱法の評価を行うカ
    ラオケ採点装置において、 前記歌唱者の音声に基づいてそのレベルデータを検出す
    る第1の検出手段と、 前記MIDIメッセージの中から前記歌唱者の発音すべ
    き歌唱メロディに対応するノートオン/オフデータ及び
    レベルデータを検出する第2の検出手段と、 前記第1及び第2の検出手段によって検出された前記レ
    ベルデータ同志を比較し、そのレベル比較データを出力
    するレベル比較手段と、 前記レベル比較手段からのレベル比較データと前記第2
    の検出手段によって検出された前記ノートオン/オフデ
    ータとに基づいて、前記歌唱法の評価のためのデータを
    作成するデータ作成手段とを備えたことを特徴とするカ
    ラオケ採点装置。
  2. 【請求項2】 MIDIメッセージに基づいて生成され
    た演奏曲や歌唱音声などのカラオケ演奏に従って発音さ
    れる歌唱者の音声に基づいてその歌唱法の評価を行うカ
    ラオケ採点装置において、 前記歌唱者の音声に基づいてそのピッチデータを検出す
    る第1の検出手段と、 前記MIDIメッセージの中から前記歌唱者の発音すべ
    き歌唱メロディに対応するノートオン/オフデータ及び
    ピッチデータを検出する第2の検出手段と、 前記第1及び第2の検出手段によって検出された前記ピ
    ッチデータ同志を比較し、そのピッチ比較データを出力
    するピッチ比較手段と、 前記ピッチ比較手段からのピッチ比較データと前記第2
    の検出手段によって検出された前記ノートオン/オフデ
    ータとに基づいて、前記歌唱法の評価のためのデータを
    作成するデータ作成手段とを備えたことを特徴とするカ
    ラオケ採点装置。
  3. 【請求項3】 MIDIメッセージに基づいて生成され
    た演奏曲や歌唱音声などのカラオケ演奏に従って発音さ
    れる歌唱者の音声に基づいてその歌唱法の評価を行うカ
    ラオケ採点装置において、 前記歌唱者の音声に基づいてそのピッチデータ及びレベ
    ルデータを検出する第1の検出手段と、 前記MIDIメッセージの中から前記歌唱者の発音すべ
    き歌唱メロディに対応するノートオン/オフデータ、ピ
    ッチデータ及びレベルデータを検出する第2の検出手段
    と、 前記第1及び第2の検出手段によって検出された前記ピ
    ッチデータ同志を比較し、そのピッチ比較データを出力
    するピッチ比較手段と、 前記第1及び第2の検出手段によって検出された前記レ
    ベルデータ同志を比較し、そのレベル比較データを出力
    するレベル比較手段と、 前記ピッチ比較手段からのピッチ比較データと前記レベ
    ル比較手段からのレベル比較データと前記第2の検出手
    段によって検出された前記ノートオン/オフデータとに
    基づいて、前記歌唱法の評価のためのデータを作成する
    データ作成手段とを備えたことを特徴とするカラオケ採
    点装置。
JP22306896A 1996-08-06 1996-08-06 カラオケ採点装置 Expired - Lifetime JP3299890B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP22306896A JP3299890B2 (ja) 1996-08-06 1996-08-06 カラオケ採点装置
US08/900,199 US5889224A (en) 1996-08-06 1997-07-25 Karaoke scoring apparatus analyzing singing voice relative to melody data
CNB971163030A CN1135524C (zh) 1996-08-06 1997-08-06 分析相对于旋律数据的演唱声的卡拉ok评分装置及方法
JP2000034795A JP3369138B2 (ja) 1996-08-06 2000-02-14 カラオケ採点装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22306896A JP3299890B2 (ja) 1996-08-06 1996-08-06 カラオケ採点装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2000034795A Division JP3369138B2 (ja) 1996-08-06 2000-02-14 カラオケ採点装置

Publications (2)

Publication Number Publication Date
JPH1049183A true JPH1049183A (ja) 1998-02-20
JP3299890B2 JP3299890B2 (ja) 2002-07-08

Family

ID=16792334

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22306896A Expired - Lifetime JP3299890B2 (ja) 1996-08-06 1996-08-06 カラオケ採点装置

Country Status (3)

Country Link
US (1) US5889224A (ja)
JP (1) JP3299890B2 (ja)
CN (1) CN1135524C (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106098058A (zh) * 2016-06-23 2016-11-09 腾讯科技(深圳)有限公司 音调线生成方法和装置
US10453435B2 (en) 2015-10-22 2019-10-22 Yamaha Corporation Musical sound evaluation device, evaluation criteria generating device, method for evaluating the musical sound and method for generating the evaluation criteria

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1216353C (zh) * 1996-10-18 2005-08-24 雅马哈株式会社 音乐教学系统和教学方法
JP3799761B2 (ja) * 1997-08-11 2006-07-19 ヤマハ株式会社 演奏装置、カラオケ装置および記録媒体
WO2002101687A1 (en) * 2001-06-12 2002-12-19 Douglas Wedel Music teaching device and method
US7295982B1 (en) 2001-11-19 2007-11-13 At&T Corp. System and method for automatic verification of the understandability of speech
BR0202561A (pt) * 2002-07-04 2004-05-18 Genius Inst De Tecnologia Dispositivo e método de avaliação de desempenho de canto
US7044857B1 (en) 2002-10-15 2006-05-16 Klitsner Industrial Design, Llc Hand-held musical game
US20040194610A1 (en) * 2003-03-21 2004-10-07 Monte Davis Vocal pitch-training device
GB2403662B (en) * 2003-07-09 2008-01-16 Sony Comp Entertainment Europe Game processing
CN100359586C (zh) * 2003-10-20 2008-01-02 乐金电子(惠州)有限公司 卡拉ok光盘的播放控制装置及其方法
TWI282970B (en) * 2003-11-28 2007-06-21 Mediatek Inc Method and apparatus for karaoke scoring
KR100580783B1 (ko) * 2004-05-03 2006-05-16 삼성전자주식회사 측정 모드에 따른 음질 평가 장치 및 방법
US7164076B2 (en) * 2004-05-14 2007-01-16 Konami Digital Entertainment System and method for synchronizing a live musical performance with a reference performance
US20060009979A1 (en) * 2004-05-14 2006-01-12 Mchale Mike Vocal training system and method with flexible performance evaluation criteria
US7806759B2 (en) * 2004-05-14 2010-10-05 Konami Digital Entertainment, Inc. In-game interface with performance feedback
JP4487632B2 (ja) * 2004-05-21 2010-06-23 ヤマハ株式会社 演奏練習装置および演奏練習用コンピュータプログラム
US7271329B2 (en) * 2004-05-28 2007-09-18 Electronic Learning Products, Inc. Computer-aided learning system employing a pitch tracking line
WO2006028417A2 (en) * 2004-09-06 2006-03-16 Pintas Pte Ltd Singing evaluation system and method for testing the singing ability
CN1763840B (zh) * 2004-10-19 2010-06-02 凌阳科技股份有限公司 歌唱评分方法与系统
US20060112812A1 (en) * 2004-11-30 2006-06-01 Anand Venkataraman Method and apparatus for adapting original musical tracks for karaoke use
DE102005046708A1 (de) * 2005-09-29 2007-04-05 9Live Fernsehen Ag & Co. Kg System zur Erfassung von gesungenen Beiträgen von Fernsehzuschauern
TWI312501B (en) * 2006-03-13 2009-07-21 Asustek Comp Inc Audio processing system capable of comparing audio signals of different sources and method thereof
US7459624B2 (en) 2006-03-29 2008-12-02 Harmonix Music Systems, Inc. Game controller simulating a musical instrument
US20080134866A1 (en) * 2006-12-12 2008-06-12 Brown Arnold E Filter for dynamic creation and use of instrumental musical tracks
US7579541B2 (en) * 2006-12-28 2009-08-25 Texas Instruments Incorporated Automatic page sequencing and other feedback action based on analysis of audio performance data
US8678896B2 (en) 2007-06-14 2014-03-25 Harmonix Music Systems, Inc. Systems and methods for asynchronous band interaction in a rhythm action game
US8690670B2 (en) 2007-06-14 2014-04-08 Harmonix Music Systems, Inc. Systems and methods for simulating a rock band experience
US7563976B2 (en) * 2007-07-18 2009-07-21 Creative Technology Ltd Apparatus and method for processing at least one MIDI signal
CN101364407B (zh) * 2008-09-17 2011-12-28 清华大学 保持主观一致性的卡拉ok演唱评分方法
US8148621B2 (en) 2009-02-05 2012-04-03 Brian Bright Scoring of free-form vocals for video game
WO2010115298A1 (zh) * 2009-04-07 2010-10-14 Lin Wen Hsin 卡拉ok歌曲伴唱自动评分方法
CN101859560B (zh) * 2009-04-07 2014-06-04 林文信 卡拉ok歌曲伴唱自动评分方法
US8449360B2 (en) 2009-05-29 2013-05-28 Harmonix Music Systems, Inc. Displaying song lyrics and vocal cues
US8026435B2 (en) * 2009-05-29 2011-09-27 Harmonix Music Systems, Inc. Selectively displaying song lyrics
US8076564B2 (en) * 2009-05-29 2011-12-13 Harmonix Music Systems, Inc. Scoring a musical performance after a period of ambiguity
US20100304811A1 (en) * 2009-05-29 2010-12-02 Harmonix Music Systems, Inc. Scoring a Musical Performance Involving Multiple Parts
US7923620B2 (en) * 2009-05-29 2011-04-12 Harmonix Music Systems, Inc. Practice mode for multiple musical parts
US8080722B2 (en) * 2009-05-29 2011-12-20 Harmonix Music Systems, Inc. Preventing an unintentional deploy of a bonus in a video game
US7982114B2 (en) * 2009-05-29 2011-07-19 Harmonix Music Systems, Inc. Displaying an input at multiple octaves
US20100304810A1 (en) * 2009-05-29 2010-12-02 Harmonix Music Systems, Inc. Displaying A Harmonically Relevant Pitch Guide
US8017854B2 (en) * 2009-05-29 2011-09-13 Harmonix Music Systems, Inc. Dynamic musical part determination
US8465366B2 (en) 2009-05-29 2013-06-18 Harmonix Music Systems, Inc. Biasing a musical performance input to a part
US7935880B2 (en) 2009-05-29 2011-05-03 Harmonix Music Systems, Inc. Dynamically displaying a pitch range
WO2010139002A1 (en) * 2009-06-01 2010-12-09 Starplayit Pty Ltd Music game improvements
US8575465B2 (en) 2009-06-02 2013-11-05 Indian Institute Of Technology, Bombay System and method for scoring a singing voice
US7893337B2 (en) * 2009-06-10 2011-02-22 Evan Lenz System and method for learning music in a computer game
JP5471858B2 (ja) * 2009-07-02 2014-04-16 ヤマハ株式会社 歌唱合成用データベース生成装置、およびピッチカーブ生成装置
US10357714B2 (en) 2009-10-27 2019-07-23 Harmonix Music Systems, Inc. Gesture-based user interface for navigating a menu
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
CN102110435A (zh) * 2009-12-23 2011-06-29 康佳集团股份有限公司 卡拉ok评分方法及系统
US8550908B2 (en) 2010-03-16 2013-10-08 Harmonix Music Systems, Inc. Simulating musical instruments
US8338684B2 (en) 2010-04-23 2012-12-25 Apple Inc. Musical instruction and assessment systems
CN102959544B (zh) * 2010-05-04 2016-06-08 沙扎姆娱乐有限公司 用于同步媒体的方法和系统
US9358456B1 (en) 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
US8562403B2 (en) 2010-06-11 2013-10-22 Harmonix Music Systems, Inc. Prompting a player of a dance game
US20110306397A1 (en) 2010-06-11 2011-12-15 Harmonix Music Systems, Inc. Audio and animation blending
CN101894552B (zh) * 2010-07-16 2012-09-26 安徽科大讯飞信息科技股份有限公司 基于语谱切分的唱歌评测系统
US9024166B2 (en) 2010-09-09 2015-05-05 Harmonix Music Systems, Inc. Preventing subtractive track separation
US9601118B2 (en) * 2010-10-20 2017-03-21 Megachips Corporation Amusement system
CN102497468A (zh) * 2011-11-18 2012-06-13 上海华勤通讯技术有限公司 手机及演唱自评方法
GB201202515D0 (en) * 2012-02-14 2012-03-28 Spectral Efficiency Ltd Method for giving feedback on a musical performance
JP5958041B2 (ja) * 2012-04-18 2016-07-27 ヤマハ株式会社 表情演奏リファレンスデータ生成装置、演奏評価装置、カラオケ装置及び装置
US8697972B2 (en) * 2012-07-31 2014-04-15 Makemusic, Inc. Method and apparatus for computer-mediated timed sight reading with assessment
CN104254887A (zh) * 2012-09-24 2014-12-31 希特兰布公司 用于评估卡拉ok用户的方法和系统
US20140260901A1 (en) * 2013-03-14 2014-09-18 Zachary Lasko Learning System and Method
US20140260903A1 (en) * 2013-03-15 2014-09-18 Livetune Ltd. System, platform and method for digital music tutoring
JP6171711B2 (ja) * 2013-08-09 2017-08-02 ヤマハ株式会社 音声解析装置および音声解析方法
KR101459324B1 (ko) * 2013-08-28 2014-11-07 이성호 음원 평가방법 및 이를 이용한 음원의 평가장치
CN103686538B (zh) * 2013-12-16 2017-07-11 福建海媚数码科技有限公司 唱评人声采集器
US9064484B1 (en) * 2014-03-17 2015-06-23 Singon Oy Method of providing feedback on performance of karaoke song
US9595203B2 (en) * 2015-05-29 2017-03-14 David Michael OSEMLAK Systems and methods of sound recognition
CN105070298B (zh) * 2015-07-20 2019-07-30 科大讯飞股份有限公司 复调乐器的评分方法和装置
CN105118492A (zh) * 2015-07-30 2015-12-02 张阳 唱k评分方法及系统
CN108028040B (zh) * 2015-09-07 2022-06-07 雅马哈株式会社 音乐演奏辅助装置和方法
JP6759545B2 (ja) * 2015-09-15 2020-09-23 ヤマハ株式会社 評価装置およびプログラム
JP6631199B2 (ja) * 2015-11-27 2020-01-15 ヤマハ株式会社 技法判定装置
CN107103915A (zh) * 2016-02-18 2017-08-29 广州酷狗计算机科技有限公司 一种音频数据处理方法以及装置
US10008193B1 (en) * 2016-08-19 2018-06-26 Oben, Inc. Method and system for speech-to-singing voice conversion
US10134374B2 (en) * 2016-11-02 2018-11-20 Yamaha Corporation Signal processing method and signal processing apparatus
CN107507628B (zh) * 2017-08-31 2021-01-15 广州酷狗计算机科技有限公司 唱歌评分方法、装置及终端
CN107680614B (zh) * 2017-09-30 2021-02-12 广州酷狗计算机科技有限公司 音频信号处理方法、装置和存储介质
CN109686376B (zh) * 2019-01-08 2020-06-30 北京雷石天地电子技术有限公司 一种歌曲演唱评价方法及系统
CN110267081B (zh) * 2019-04-02 2021-01-22 北京达佳互联信息技术有限公司 直播流处理方法、装置、系统、电子设备及存储介质
CN110246472B (zh) * 2019-05-09 2024-05-24 平安科技(深圳)有限公司 一种音乐风格的转换方法、装置及终端设备
TWI755805B (zh) * 2020-08-04 2022-02-21 驊訊電子企業股份有限公司 多媒體評分系統及方法
US11972693B2 (en) * 2020-12-02 2024-04-30 Joytunes Ltd. Method, device, system and apparatus for creating and/or selecting exercises for learning playing a music instrument
US11900825B2 (en) 2020-12-02 2024-02-13 Joytunes Ltd. Method and apparatus for an adaptive and interactive teaching of playing a musical instrument
US11670188B2 (en) 2020-12-02 2023-06-06 Joytunes Ltd. Method and apparatus for an adaptive and interactive teaching of playing a musical instrument
US11893898B2 (en) 2020-12-02 2024-02-06 Joytunes Ltd. Method and apparatus for an adaptive and interactive teaching of playing a musical instrument
CN113593506A (zh) * 2021-08-03 2021-11-02 深圳媲客科技有限公司 一种基于唱歌打分的歌声评价系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0127218Y1 (ko) * 1992-08-13 1998-10-15 강진구 전자노래반주기의 점수평가표시장치
GB2276972B (en) * 1993-04-09 1996-12-11 Matsushita Electric Ind Co Ltd Training apparatus for singing
GB2279172B (en) * 1993-06-17 1996-12-18 Matsushita Electric Ind Co Ltd A karaoke sound processor
KR0144223B1 (ko) * 1995-03-31 1998-08-17 배순훈 가라오케의 채점 방법
US5719344A (en) * 1995-04-18 1998-02-17 Texas Instruments Incorporated Method and system for karaoke scoring
US5693903A (en) * 1996-04-04 1997-12-02 Coda Music Technology, Inc. Apparatus and method for analyzing vocal audio data to provide accompaniment to a vocalist

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10453435B2 (en) 2015-10-22 2019-10-22 Yamaha Corporation Musical sound evaluation device, evaluation criteria generating device, method for evaluating the musical sound and method for generating the evaluation criteria
CN106098058A (zh) * 2016-06-23 2016-11-09 腾讯科技(深圳)有限公司 音调线生成方法和装置
CN106098058B (zh) * 2016-06-23 2018-09-07 腾讯科技(深圳)有限公司 音调线生成方法和装置

Also Published As

Publication number Publication date
CN1173008A (zh) 1998-02-11
JP3299890B2 (ja) 2002-07-08
US5889224A (en) 1999-03-30
CN1135524C (zh) 2004-01-21

Similar Documents

Publication Publication Date Title
JP3299890B2 (ja) カラオケ採点装置
US6316710B1 (en) Musical synthesizer capable of expressive phrasing
JP3293745B2 (ja) カラオケ装置
US5939654A (en) Harmony generating apparatus and method of use for karaoke
JP3996565B2 (ja) カラオケ装置
JP2005107333A (ja) カラオケ装置
JP4204941B2 (ja) カラオケ装置
JP3369138B2 (ja) カラオケ採点装置
JP3760833B2 (ja) カラオケ装置
JP2004102146A (ja) ビブラート採点機能を有するカラオケ採点装置
KR100278825B1 (ko) 음악적 오락 시스템
JPH08286689A (ja) 音声信号処理装置
US7381882B2 (en) Performance control apparatus and storage medium
JP3430814B2 (ja) カラオケ装置
JP3645364B2 (ja) 周波数検出装置
JP3430811B2 (ja) カラオケ装置
JP3261990B2 (ja) カラオケ装置
JP4048249B2 (ja) カラオケ装置
JP2005215493A (ja) カラオケ装置及びプログラム
JPH05108075A (ja) 電子楽器
JPH08227296A (ja) 音声信号処理装置
JPH065455B2 (ja) 歌唱指導装置
JPH10143177A (ja) カラオケ装置
JPH0527752A (ja) 自動演奏装置
JP2929498B2 (ja) 電子楽器

Legal Events

Date Code Title Description
S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090419

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090419

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100419

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110419

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120419

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130419

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140419

Year of fee payment: 12

EXPY Cancellation because of completion of term