JPH08129393A - カラオケ装置 - Google Patents

カラオケ装置

Info

Publication number
JPH08129393A
JPH08129393A JP6267259A JP26725994A JPH08129393A JP H08129393 A JPH08129393 A JP H08129393A JP 6267259 A JP6267259 A JP 6267259A JP 26725994 A JP26725994 A JP 26725994A JP H08129393 A JPH08129393 A JP H08129393A
Authority
JP
Japan
Prior art keywords
data
music
music selection
input
selection data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6267259A
Other languages
English (en)
Other versions
JP2897659B2 (ja
Inventor
Masashi Tashiro
正志 田代
Hirokazu Kato
博万 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP6267259A priority Critical patent/JP2897659B2/ja
Priority to SG1995001659A priority patent/SG33567A1/en
Priority to KR1019950037629A priority patent/KR100267663B1/ko
Priority to GB9522262A priority patent/GB2294574B/en
Priority to US08/550,826 priority patent/US5703308A/en
Publication of JPH08129393A publication Critical patent/JPH08129393A/ja
Priority to HK98109150A priority patent/HK1008367A1/xx
Application granted granted Critical
Publication of JP2897659B2 publication Critical patent/JP2897659B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B31/00Arrangements for the associated working of recording or reproducing apparatus with related apparatus
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/02Analogue recording or reproducing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H5/00Instruments in which the tones are generated by means of electronic generators
    • G10H5/005Voice controlled instruments
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/002Programmed access in sequence to a plurality of record carriers or indexed parts, e.g. tracks, thereof, e.g. for editing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/046Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for differentiation between music and non-music signals, based on the identification of musical parameters, e.g. based on tempo detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
    • G10H2240/141Library retrieval matching, i.e. any of the steps of matching an inputted segment or phrase with musical database contents, e.g. query by humming, singing or playing; the steps may include, e.g. musical analysis of the input, musical feature extraction, query formulation, or details of the retrieval process
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/201Physical layer or hardware aspects of transmission to or from an electrophonic musical instrument, e.g. voltage levels, bit streams, code words or symbols over a physical link connecting network nodes or instruments
    • G10H2240/241Telephone transmission, i.e. using twisted pair telephone lines or any type of telephone network
    • G10H2240/245ISDN [Integrated Services Digital Network]
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/541Details of musical waveform synthesis, i.e. audio waveshape processing from individual wavetable samples, independently of their origin or of the sound they represent
    • G10H2250/571Waveform compression, adapted for music synthesisers, sound banks or wavetables
    • G10H2250/591DPCM [delta pulse code modulation]
    • G10H2250/595ADPCM [adaptive differential pulse code modulation]
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 【目的】選曲をコマンダの操作をなくし、且つ、曲名等
を知らなくても選曲できるようにして選曲操作を容易に
したカラオケ装置を提供する。 【構成】HDD17に複数の楽曲データを記憶するとと
もに各楽曲データについて割り出された複数種類の選曲
データを記憶する選曲データテーブルを設ける。利用者
がマイクロホン27から音声信号を入力すると、A/D
コンバータ29がこの音声信号をディジタルデータに変
換する。CPU10はこのディジタルデータから曲名や
メロディなどの入力選曲データを抽出し、この入力選曲
データで前記選曲データテーブルを検索して利用者が選
択した曲を割り出す。候補曲が複数ある場合には、複数
の入力選曲データを用いてクロスサーチを掛けることが
できる。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、音声入力で選曲等の
操作を行うことができるカラオケ装置に関する。
【0002】
【従来の技術】従来のカラオケ装置に対して曲を指定す
る方式は、以下のようなものであった。内部記憶してい
るカラオケ曲または演奏可能なカラオケ曲のリストを冊
子として備えておき、カラオケ装置にコマンドを入力す
るためのコマンダを赤外線リモコンとして備えておく。
そして、歌唱者はカラオケ曲のリストから曲名等を頼り
に曲を選び、その曲名に対応して記憶されている曲コー
ドをコマンダに入力してカラオケ装置に送信するように
していた。
【0003】
【発明が解決しようとする課題】しかし、曲コードは、
数字およびアルファベットからなる6〜8桁程度のコー
ドであり、また、このコードの入力時には、その他に種
々の制御キーを操作する必要があって相当面倒なもので
あった。また、前記冊子は、通常は曲名と曲コードを対
応したリストしかないため、曲名が分からない曲を選択
することができない欠点があった。
【0004】この発明は、選曲をコマンダの操作をなく
し、且つ、曲名等を知らなくても選曲できるようにして
選曲操作を容易にしたカラオケ装置を提供することを目
的とする。
【0005】
【課題を解決するための手段】この発明は、複数の楽曲
データを記憶する楽曲データ記憶手段と、各楽曲データ
につき複数種類の選曲データを記憶する選曲データ記憶
手段と、歌唱用のマイクロホンと、該マイクロホンから
音声データを入力する音声データ入力手段と、入力され
た音声データから入力選曲データを抽出する入力選曲デ
ータ抽出手段と、該入力選曲データで前記選曲データ記
憶手段を検索しこの入力選曲データで指定される楽曲デ
ータを割り出す検索手段と、検索手段で割り出された楽
曲データを演奏する演奏手段とを備えたことを特徴とす
る。
【0006】
【作用】この発明のカラオケ装置は、楽曲データ記憶手
段に複数の楽曲データを記憶するとともに選曲データ記
憶手段に各楽曲データについて複数種類の選曲データを
記憶する。利用者が入力した入力選曲データでこの選曲
データ記憶手段を検索して曲を選択するが、選曲操作は
歌唱用マイクロホンから音声データで入力する。歌唱用
マイクロホンから音声データが入力されたとき、この音
声データから入力選曲データを抽出し(入力選曲データ
抽出手段)、この入力選曲データで前記選曲データ記憶
手段を検索してこの入力選曲データで指定される楽曲デ
ータを割り出す。この割り出された楽曲データを演奏す
ることにより、利用者の意図どおりの曲が演奏される。
【0007】
【実施例】図1はこの発明の実施例であるカラオケ装置
のブロック図である。このカラオケ装置は、いわゆる通
信型の音源カラオケ装置である。音源カラオケ装置と
は、音源装置を駆動する楽音データや音声データなどか
らなる楽曲データを記憶し、この楽曲データを読み出し
て音源装置やD/Aコンバータを駆動することによりカ
ラオケ演奏音を発生する装置である。また、通信型カラ
オケ装置とは、通信回線(この実施例ではISDN回
線)を介してホストステーションと接続され、上記楽音
データを含む楽曲データをホストステーションからダウ
ンロードする装置である。カラオケ装置に内蔵されてい
るハードディスク装置17は楽曲データを数百〜数千曲
分記憶することができ、ダウンロードされた楽曲データ
はここに記憶される。
【0008】また、このカラオケ装置は、選曲のための
データを赤外線リモコンであるコマンダに加えて、歌唱
用のマイクロホンから音声信号として入力することもで
きる。たとえば、入力モード時にマイクに向かって曲名
を言えば、カラオケ装置がその発音を認識し、その曲名
のカラオケ曲を演奏する。
【0009】装置全体の動作を制御するCPU10に
は、バスを介してROM11,RAM12,ハードディ
スク記憶装置(HDD)17,ISDNコントローラ1
6,リモコン受信機13,表示パネル14,パネルスイ
ッチ15,音源装置19,D/Aコンバータ20,DS
P21,文字表示部23,LDチェンジャ24,表示制
御部25およびA/Dコンバータ29が接続されてい
る。
【0010】ROM11には、システムプログラム,ア
プリケーションプログラム,ローダおよびフォントデー
タが記憶されている。システムプログラムは、この装置
の基本動作や周辺機器とのデータ送受を制御するプログ
ラムである。アプリケーションプログラムはシーケンス
プログラム,音声認識プログラムなどである。シーケン
スプログラムは、メインシーケンスプログラム,楽音シ
ーケンスプログラム,文字シーケンスプログラム,音声
シーケンスプログラムおよびDSPシーケンスプログラ
ムなどからなっている。カラオケ演奏時には各シーケン
スプログラムがCPU10によって並列処理され、楽曲
データに基づいた楽音の発生,映像の再生が行われる。
ローダは、ホストステーションから楽曲データをダウン
ロードするためのプログラムである。音声認識プログラ
ムは、A/Dコンバータ29から入力されるディジタル
化された音声信号から音程や発音を分析して、そのメロ
ディや言葉の内容を割り出すためのプログラムである。
フォントデータは、歌詞や曲名などを表示するためのも
のであり、明朝体や丸ゴジック体などの複数種類の文字
種のフォントが記憶されている。また、RAM12に
は、ワークエリアが設定される。HDD17には数百〜
数千の楽曲データを記憶する楽曲データファイルおよび
これらの楽曲データを選択するためのデータである選曲
データを記憶する選曲データテーブルが設定される。
【0011】ISDNコントローラ16は、ISDN回
線を介してホストステーションと交信するためのコント
ローラである。ホストステーションからは楽曲データな
どがダウンロードされる。ISDNコントローラ16は
DMA回路を内蔵しており、ダウンロードされた楽曲デ
ータやアプリケーションプログラムをCPU10を介さ
ずに直接HDD17に書き込む。
【0012】リモコン受信機13はリモコン30から送
られてくる赤外線信号を受信してデータを復元する。リ
モコン30は、選曲などのためのデータを送信するため
の装置であり、このカラオケ装置ではマイクロホン27
による音声データ入力と併用される。リモコン30は選
曲スイッチなどのコマンドスイッチやテンキースイッチ
などを備えており、利用者がこれらのスイッチを操作す
るとその操作に応じた曲コードなどのデータを赤外線信
号を送信する。表示パネル14はこのカラオケ装置の前
面に設けられており、現在演奏中の曲コードや予約曲数
などを表示するものである。パネルスイッチ15はカラ
オケ装置の前面操作部に設けられており、曲コード入力
スイッチやキーチェンジスイッチなどを含んでいる。
【0013】音源装置19は、楽曲データに含まれる楽
音データを入力して楽音信号を形成する。D/Aコンバ
ータ20は、楽曲データに含まれる音声データを入力し
て音声信号に変換する。音声データは、ADPCMデー
タからなっており、バックコーラスなどの音声信号から
なる。また、DSP21にはマイク27が接続され、歌
唱者の歌唱信号が入力される。DSP21は、音源装置
19,D/Aコンバータ20およびマイク27から入力
される楽音信号,音声信号に対してリバーブ,エコーな
どの効果を付与する。DSP21が付与する効果の種類
や程度は、楽曲データに含まれるDSPコントロールデ
ータに基づいて制御される。効果が付与された楽音信
号,音声信号はミキシングされたのちアンプ・スピーカ
22に出力される。アンプ・スピーカ22はこの信号を
増幅したのち放音する。
【0014】また、マイク27はA/Dコンバータ29
に接続されている。A/Dコンバータ29は選曲モード
時に動作し、マイク29から入力される音声信号をディ
ジタル変換してCPU10に入力する。CPU10は音
声認識プログラムを起動してこの音声信号の内容を分析
・認識する。
【0015】また、文字表示部23は,CPU10から
入力される文字データに基づいて文字パターンを生成す
る。CPU10が文字表示部23に入力する文字データ
は、曲名や歌詞などの演奏中のカラオケ曲に関するもの
のほか、歌唱者によって選択された曲名やその候補名な
ども入力される。また、LDチェンジャ24はCPU1
0から入力された映像選択データ(チャプタナンバ)に
基づき、対応するLDの背景映像を再生する。映像選択
データは当該カラオケ曲のジャンルデータなどに基づい
て決定される。LDチェンジャ24には、5枚(120
シーン)程度のレーザディスクが内蔵されており120
シーンの背景映像を再生することができる。映像選択デ
ータによってこのなかから1つの背景映像が選択され、
映像データとして出力される。文字パターン,映像デー
タは表示制御部25に入力される。表示制御部25では
これらのデータをスーパーインポーズで合成してモニタ
26に表示する。
【0016】図2は、RAM12およびHDD17の一
部構成を示す図である。RAM12には同図(A)に示
すように、入力選曲データ数レジスタDN,一致レベル
レジスタAL,クロス階層レジスタCL,入力選曲デー
タバッファが設定される。入力選曲データ数とは、選曲
モード時にマイクロホン27から入力されている選曲デ
ータの数を示す値である。一致レベルとは、入力選曲デ
ータを用いて検索を行うとき、どの程度一致すれば該当
データとするかを示す指標である。この実施例では、1
〜3の値をとり、レベル1:完全一致、レベル2:1文
字相違以外の一致、レベル3:前方一致の程度を示す。
クロス階層レジスタCLは、幾つの入力選曲データでク
ロスサーチをかけているかを示す値である。また、入力
選曲データバッファは、FIFOのバッファであり、マ
イクロホン27から入力された入力選曲データを先頭か
ら順にCPU10が読み出す。
【0017】また、HDD17には、同図(B)に示す
ように、楽曲データファイル,選曲データテーブル,ク
ロスサーチテーブルが設定される。楽曲データファイル
には、数百〜数千の楽曲データが記憶される。選曲デー
タテーブルは、図3に示すように上記数百〜数千の楽曲
データを選択するための選曲データを記憶している。ま
た、クロスサーチテーブルは、選曲モード時に検索動作
の進行に応じて作成されるものである。1つの入力選曲
データで検索を行った結果、複数の曲が選択された場
合、選択された曲に関する選曲データのみを抽出して新
たにこのクロスサーチテーブルを作成し、次の入力選曲
データによる検索をこのクロスサーチテーブルについて
行う。
【0018】図3は、前記HDD17に設定される選曲
データテーブルを示す図である。選曲データテーブルは
同図中下段に示す表音コードテーブル,音高コードテー
ブルおよび曲コードテーブルで構成されている。これら
のテーブルに各楽曲データを選択するための選曲データ
として、曲コード,曲名,曲種類,歌手名,(歌い出
し)歌詞,(歌い出し)メロディのデータが記憶されて
いる。
【0019】曲コードは、各楽曲データに対して1対1
で対応するコードであり、リモコン30で選曲するとき
に入力するコード、すなわち、カラオケ装置に付随して
備えつけられている目次本(曲名リスト)に記載されて
いるコードと同一のものである。曲種類は、ポップス,
演歌などの曲のジャンルやデュエット,ソロなどの歌唱
者の数などのデータである。歌手名はその曲を本来歌唱
している歌手の名である。
【0020】このうち、表音コードテーブルには、全楽
曲データの曲コード,曲名,曲種類,歌手名,歌詞を表
音コード化した選曲データと曲コードとが対応して記憶
されている。表音コードとは、曲名や曲コードなどの発
音を表現する記号(たとえば、仮名,アルファベット発
音記号など)で表したものである。一方、これに対応し
て記憶されている曲コードは通常の数字,アルファベッ
ト等からなるコードデータである。このテーブルにおい
ては、データの種別(曲コード,曲名等)によって階層
化せずに全ての選曲データをその発音順(たとえばアル
ファベット順や五十音順)に記憶している。すなわち、
マイクロホン27から入力された音声信号は、A/D変
換・音声認識によって発音が割り出され表音コードとし
てデータ化されるため、それだけそのデータの種別を判
断することができない。したがって、全ての表音データ
をテーブル化して一律に検索し、該当するデータとその
データ種別を同時に割り出すようにしている。
【0021】また、音高コードテーブルには、全ての楽
曲データのメロディを音高コード化した選曲データと曲
コードが対応して記憶されている。音高コードは、その
曲の歌い出しのメロディをC3を64とし半音毎に1増
減する値で表現したものである。また、曲コードテーブ
ルには、曲コードと文字コードデータからなる表示用の
曲名データおよび楽曲データの記憶アドレスが対応して
記憶されている。このテーブルはリモコン30やパネル
スイッチ15の操作によって曲コードが入力されたと
き、および、表音コードテーブルや音高コードテーブル
によって曲コードが割り出されたとき、その曲コードに
対応する曲名を表示したりその楽曲データの記憶エリア
を割り出すときに使用される。
【0022】選曲モード時にマイクロホン27から音声
信号が入力されると、A/Dコンバータ29がその信号
をディジタル化する。このときCPU10は音声認識プ
ログラムを実行しており、前記ディジタル化された音声
信号を入力し、この中から言語と認められる発音があれ
ばそれを表音コード(入力選曲データ)化するととも
に、その音声信号中にメロディと認められるの周波数変
位があればそれを音高コード(入力選曲データ)化す
る。音声信号の入力は連続して複数行うことができ、複
数の選曲データが入力されたときには、これらのデータ
で多重検索(クロスサーチ)を行う。
【0023】検索は、完全一致検索を第1段階とし、該
当するものが発見できない場合には、一致の程度を緩和
して複数段階行う。この実施例では、1つの入力選曲デ
ータについて、第1段階:完全一致、第2段階:1文字
程度の不一致を除く一致、第3段階:前方一致、の3段
階の検索を行うようにしている。該当するものが割り出
された場合には、それ以下の段階の検索は行わない。た
とえば、入力選曲データと完全一致(第1段階)する曲
(選曲データ)が割り出された場合には、第2段階の検
索は実行しない。これら3段階の検索を行っても該当す
るものが割り出されなかった場合には、その入力選曲デ
ータは不適当なものであったとしてそのデータをキャン
セルする。検索の結果、該当する曲が複数割り出された
場合には、それらの曲に関する全ての選曲データを抽出
して新たな選曲テーブル(クロスサーチテーブル)を構
成する。そして、次の入力選曲データによる検索は、こ
のクロスサーチテーブル内のデータについて行い、1つ
の選曲データが抽出されるまでこの動作を繰り返す。
【0024】なお、検索の結果割り出された曲が10以
下であった場合には、モニタ26にその曲名リストが通
し番号(1,2,3,‥),曲コードとともに表示され
る。利用者はこの表示を見て、通し番号や曲コードを音
声入力することによりこれを選択することもできる。
【0025】図4〜図6は同カラオケ装置の選曲モード
動作を示すフローチャートである。選曲モードの設定
は、マイクロホン27から音声で「選曲」などの文言を
入力したときに設定されるようにしてもよく、また、マ
イクロホン27の手元スイッチ27aを3段階のスイッ
チにしておき、OFF位置とON位置との間に選曲モー
ド位置を設けてもよい。選曲モード位置では、マイクロ
ホン27は電気的にオンしているが音声信号はA/Dコ
ンバータ29に入力され、CPU10は図4〜図6の選
曲モード動作を実行する。この場合には、手元スイッチ
27aが選曲モード位置から他の位置に切り換えられた
とき選曲モードが終了する。
【0026】なお、この選曲モード動作は上述したシー
ケンスプログラムと並行処理が可能であり、カラオケ演
奏中に歌唱に用いられていないマイクロホンから選曲デ
ータの入力を可能にするようにしておいてもよい。
【0027】図4は選曲モード設定動作を示すフローチ
ャートである。選曲モードが設定された場合には、まず
クロス階層レジスタCLを1にセットし(n1)、選曲
データ数レジスタDNを0にセットする(n2)。
【0028】図5は音声認識動作を示すフローチャート
である。利用者はマイクロホン27を用いて選曲のため
の音声を入力する。この音声は曲名や歌詞の発音やメロ
ディを口ずさんだ音声である。マイクロホン27から入
力された音声信号はA/Dコンバータ29でディジタル
信号に変換される。このディジタル信号はCPU10に
取り込まれる(n5)。CPU10は、まず、このディ
ジタル音声信号の発音を分析する(n6)。発音のなか
に言語として認識可能なものがあるか否かを判断して
(n7)、ある場合にはこの言語を表音コード化し(n
8)、これを入力選曲データとして入力選曲データバッ
ファに書き込むとともに(n9)、選曲データ数レジス
タDNに1を加算する(n10)。次に、入力されたデ
ィジタル音声信号の周波数変化を分析してメロディが入
力されたものであるか否かを判断する(n11)。メロ
ディが入力されたか否かは12半音の変化に量子化し得
る程度の周波数変化があるか否か、一定のテンポにした
がった周波数変化であるかなどを分析して判定する。メ
ロディが入力されたと判断した場合には(n12)、こ
のメロディを音高コード化して(n13)、入力選曲デ
ータバッファに登録する(n14)。音高コードとはM
IDIに準拠したC3を64とするコードである。ま
た、この入力選曲データバッファはFIFOバッファで
ある。そして選曲データ数レジスタDNに1を加算する
(n15)。
【0029】図6は検索動作を示すフローチャートであ
る。この動作は、前記音声認識動作と並行して処理され
る。まず入力選曲データバッファに登録されている先頭
のデータを読み出し(n20)、入力選曲データ数レジ
スタDNから1を減算する(n21)。一致レベルレジ
スタALに1、すなわち、完全一致を設定する(n2
2)。設定された一致レベルで入力選曲データと一致す
るデータが選曲データテーブル内にあるか否かを検索す
る(n23)。このとき選択される選曲データテーブル
は、入力選曲データが表音コードの場合には表音データ
テーブルであり、入力選曲データが音高コードの場合に
は音高コードテーブルである。この一致検索ののちn2
4で一致数を判断する。一致数が0であれば、この一致
レベルで一致するデータが無かったということであるた
め、n26で一致レベルを1つ下げて、すなわち、AL
に1を加算して(n26)、n23の一致検索動作を再
度実行する(n23)。このとき、すでに一致レベルA
Lが3であれば、これ以下のレベルで検索しても利用者
が真に選択した曲が抽出されるとは考えられないため、
この選曲データによる検索はキャンセルする(n2
5)。この場合に、他に入力選曲データがあれば(DN
>0)、n20にもどって次の入力選曲データで検索を
やりなおす。他に選曲データが入力されていない場合
(DN=0)には次の入力選曲データの入力を待つ。
【0030】一方、n23の一致検索の結果、一致した
データ数が1個だった場合には、その選曲データに対応
する曲名およびこの検索に用いた入力選曲データを表示
する(n28)。この表示に対して利用者がOKの旨の
入力を行えば(n28)、その曲が選曲されたとして、
その曲を演奏する旨の選曲登録動作(n30)を実行し
てリターンする。OK入力がない場合には、そのままで
動作を終える。
【0031】また、n23の一致検索の結果、割り出さ
れた曲(選曲データ)の数が2以上の場合には、選曲デ
ータテーブルからその曲の選曲データを抽出して次の一
致検索に用いるクロスサーチテーブルを作成するととも
に(n31)、クロス階層レジスタCLに1を加算する
(n32)。そしてDN=0でなければn20からの動
作を繰り返す(n33)。DN=0であれば、抽出され
た選曲データ数が10以下の場合のみ(n34)そのリ
ストを表示する(n35)。リストは、抽出された選曲
データに対応する楽曲データの曲名,曲コード,抽出順
の通し番号およびこの抽出に用いられた選曲データから
なる。抽出された選曲データ数が10を超えた場合に
は、抽出に用いた選曲データのみを表示して(n3
6)。次の入力選曲データの入力を待つ。この場合にお
いて、次に入力される入力選曲データは、「1番」など
の通し番号でもよい。
【0032】以上の動作により、選曲モードを設定しマ
イクロホン27から音声信号を入力することによって、
選曲を行うことができる。
【0033】なお、この実施例において、複数の入力選
曲データを受け付ける場合、そのデータ種別を考慮して
いないが、同一の種別のデータで2度以上の検索をしな
いようにすることもできる。この場合には、レベル1
(完全一致)の候補が抽出されたデータ種別は以後同一
種別の入力選曲データを受け付けないようにし、レベル
2,3の候補が抽出されたものについては同一種別の入
力選曲データを以後も受け付けるようにすればよい。
【0034】上記実施例には、本願特許請求の範囲に係
る発明以外にも以下のような発明が記載されている。 (1) 検索手段で割り出された楽曲データが複数あったと
き、その楽曲データの曲名を含む曲情報を表示する候補
表示手段と、再度音声データ入力手段、入力選曲データ
抽出手段、および、検索手段の動作を実行する再検出手
段とを備えたことを特徴とするカラオケ装置。
【0035】(2) 入力選曲データ抽出手段を入力された
音声データから複数の入力選曲データを抽出する手段と
し、検索手段を複数の入力選曲データの全てに該当する
楽曲データを割り出す手段としたことを特徴とするカラ
オケ装置。
【0036】1つの入力選曲データのみでは楽曲データ
を1曲に絞り込めない場合があるが(1)の発明を適用す
ると、この場合に、その割り出された複数の楽曲データ
の曲情報を候補として表示し、再度音声データ入力手
段、入力選曲データ抽出手段、および、検索手段の動作
を実行する。これによって、1つの入力選曲データで1
曲に絞り込めない場合でも複数のデータによって確実に
1曲に絞り込むことができる。
【0037】また (2)の発明では、入力選曲データ抽出
手段を入力された音声データから複数の入力選曲データ
を抽出する手段として利用者が同時に複数の入力選曲デ
ータを入力できるようにし、これら複数の入力選曲デー
タを用いて選曲データ記憶手段を検索し、全てに該当す
る楽曲データを割り出すようにした。これにより、速や
かに確実な選曲が可能になる。
【0038】
【発明の効果】以上のようにこの発明によれば、マイク
ロホンから入力選曲データを入力することにより、複数
種類の選曲データを検索して楽曲データを割り出すこと
ができるため、簡略且つ確実な選曲が可能になる。ま
た、複数の入力選曲データを入力してクロスサーチをか
けることができるため、多数の楽曲データが記憶されて
おり、1つ入力選曲データでは複数の候補が抽出される
場合でも確実に1曲を選択することができる。
【図面の簡単な説明】
【図1】この発明の実施例であるカラオケ装置のブロッ
ク図
【図2】同カラオケ装置のRAM,HDDの一部構成図
【図3】同カラオケ装置の選曲データテーブルの構成を
示す図
【図4】同カラオケ装置の動作を示すフローチャート
【図5】同カラオケ装置の動作を示すフローチャート
【図6】同カラオケ装置の動作を示すフローチャート
【符号の説明】
27−マイクロホン、29−A/Dコンバータ

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 複数の楽曲データを記憶する楽曲データ
    記憶手段と、各楽曲データにつき複数種類の選曲データ
    を記憶する選曲データ記憶手段と、歌唱用のマイクロホ
    ンと、該マイクロホンから音声データを入力する音声デ
    ータ入力手段と、入力された音声データから入力選曲デ
    ータを抽出する入力選曲データ抽出手段と、該入力選曲
    データで前記選曲データ記憶手段を検索しこの入力選曲
    データで指定される楽曲データを割り出す検索手段と、
    検索手段で割り出された楽曲データを演奏する演奏手段
    とを備えたことを特徴とするカラオケ装置。
JP6267259A 1994-10-31 1994-10-31 カラオケ装置 Expired - Lifetime JP2897659B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP6267259A JP2897659B2 (ja) 1994-10-31 1994-10-31 カラオケ装置
SG1995001659A SG33567A1 (en) 1994-10-31 1995-10-27 Karaoke apparatus responsive to oral request of entry songs
KR1019950037629A KR100267663B1 (ko) 1994-10-31 1995-10-27 가라오께장치
GB9522262A GB2294574B (en) 1994-10-31 1995-10-31 Karaoke apparatus responsive to oral request of entry songs
US08/550,826 US5703308A (en) 1994-10-31 1995-10-31 Karaoke apparatus responsive to oral request of entry songs
HK98109150A HK1008367A1 (en) 1994-10-31 1998-07-14 Karaoke apparatus responsive to oral request of entry songs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6267259A JP2897659B2 (ja) 1994-10-31 1994-10-31 カラオケ装置

Publications (2)

Publication Number Publication Date
JPH08129393A true JPH08129393A (ja) 1996-05-21
JP2897659B2 JP2897659B2 (ja) 1999-05-31

Family

ID=17442363

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6267259A Expired - Lifetime JP2897659B2 (ja) 1994-10-31 1994-10-31 カラオケ装置

Country Status (5)

Country Link
US (1) US5703308A (ja)
JP (1) JP2897659B2 (ja)
KR (1) KR100267663B1 (ja)
GB (1) GB2294574B (ja)
HK (1) HK1008367A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6504089B1 (en) 1997-12-24 2003-01-07 Canon Kabushiki Kaisha System for and method of searching music data, and recording medium for use therewith
WO2017056982A1 (ja) * 2015-09-30 2017-04-06 ヤマハ株式会社 楽曲検索方法および楽曲検索装置

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09198071A (ja) * 1996-01-24 1997-07-31 Sony Corp 遠隔操作装置
US20050169121A1 (en) * 1997-07-09 2005-08-04 Keller Peter J. Optical storage device
JP2001516112A (ja) * 1997-07-09 2001-09-25 アドバンスト・オーディオ・デバイセス,エルエルシー 光記録装置
US20060020614A1 (en) * 1997-08-08 2006-01-26 Kolawa Adam K Method and apparatus for automated selection, organization, and recommendation of items based on user preference topography
US5986200A (en) * 1997-12-15 1999-11-16 Lucent Technologies Inc. Solid state interactive music playback device
US6907189B2 (en) * 1998-03-06 2005-06-14 Samsung Electronics Co., Ltd. Apparatus for recording and/or playing back catalog information
KR100389853B1 (ko) 1998-03-06 2003-08-19 삼성전자주식회사 카타로그정보의기록및재생방법
US6687455B1 (en) 1998-03-06 2004-02-03 Samsung Electronics Co., Ltd Storage medium storing catalog information and apparatus and method for recording and/or playing back catalog information
EP0944033B1 (en) * 1998-03-19 2003-05-28 Tomonari Sonoda Melody retrieval system and method
CN1116737C (zh) * 1998-04-14 2003-07-30 听觉增强有限公司 用户可调节的适应听力的音量控制
US7415120B1 (en) 1998-04-14 2008-08-19 Akiba Electronics Institute Llc User adjustable volume control that accommodates hearing
US6311155B1 (en) * 2000-02-04 2001-10-30 Hearing Enhancement Company Llc Use of voice-to-remaining audio (VRA) in consumer applications
FR2786600B1 (fr) * 1998-11-16 2001-04-20 France Telecom Procede de recherche par le contenu de documents textuels utilisant la reconnaissance vocale
US6442278B1 (en) 1999-06-15 2002-08-27 Hearing Enhancement Company, Llc Voice-to-remaining audio (VRA) interactive center channel downmix
US6985594B1 (en) 1999-06-15 2006-01-10 Hearing Enhancement Co., Llc. Voice-to-remaining audio (VRA) interactive hearing aid and auxiliary equipment
US7013301B2 (en) * 2003-09-23 2006-03-14 Predixis Corporation Audio fingerprinting system and method
US20050038819A1 (en) * 2000-04-21 2005-02-17 Hicken Wendell T. Music Recommendation system and method
JP3983436B2 (ja) * 1999-11-15 2007-09-26 パイオニア株式会社 Av情報処理装置及びav情報処理用プログラムが記録されたコンピュータで読取り可能な情報記録媒体
DE60044179D1 (de) 1999-12-28 2010-05-27 Sony Corp System und Verfahren für den kommerziellen Verkehr von Bildern
FR2803422B1 (fr) * 1999-12-30 2002-04-26 Jean Marc Fallot Appareil a libre-service pour le karaoke
US7444353B1 (en) 2000-01-31 2008-10-28 Chen Alexander C Apparatus for delivering music and information
US20020073098A1 (en) * 2000-02-28 2002-06-13 Lei Zhang Methodology and system for searching music over computer network and the internet based on melody and rhythm input
US6351733B1 (en) 2000-03-02 2002-02-26 Hearing Enhancement Company, Llc Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process
US7266501B2 (en) 2000-03-02 2007-09-04 Akiba Electronics Institute Llc Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process
JP2001285759A (ja) * 2000-03-28 2001-10-12 Pioneer Electronic Corp Av情報処理装置及びav情報処理用プログラムがコンピュータで読取り可能に記録された情報記録媒体
JP2001282803A (ja) * 2000-03-28 2001-10-12 Pioneer Electronic Corp Av情報処理装置及びav情報処理用プログラムがコンピュータで読取り可能に記録された情報記録媒体
US6633845B1 (en) * 2000-04-07 2003-10-14 Hewlett-Packard Development Company, L.P. Music summarization system and method
US20060217828A1 (en) * 2002-10-23 2006-09-28 Hicken Wendell T Music searching system and method
US20040096065A1 (en) * 2000-05-26 2004-05-20 Vaudrey Michael A. Voice-to-remaining audio (VRA) interactive center channel downmix
JP2002045567A (ja) * 2000-08-02 2002-02-12 Konami Co Ltd 携帯端末装置、ゲーム実行支援装置および記録媒体
US6531973B2 (en) * 2000-09-11 2003-03-11 Broadcom Corporation Sigma-delta digital-to-analog converter
FI20002161A (fi) * 2000-09-29 2002-03-30 Nokia Mobile Phones Ltd Menetelmä ja järjestelmä melodian tunnistamiseksi
DE10058811A1 (de) * 2000-11-27 2002-06-13 Philips Corp Intellectual Pty Verfahren zur Identifizierung von Musikstücken
JP3879402B2 (ja) * 2000-12-28 2007-02-14 ヤマハ株式会社 歌唱合成方法と装置及び記録媒体
JP2002288217A (ja) * 2001-03-27 2002-10-04 Mitsubishi Electric Corp 情報提供サーバ、情報提供方法、情報を提供するためのプログラム
US20030072463A1 (en) * 2001-10-17 2003-04-17 E-Lead Electronic Co., Ltd. Sound-activated song selection broadcasting apparatus
JP2003316395A (ja) * 2002-04-26 2003-11-07 Toshiba Corp 情報再生装置とその信号処理モジュール及び信号処理プログラム
JP2004163590A (ja) * 2002-11-12 2004-06-10 Denso Corp 再生装置及びプログラム
EP1579343A1 (en) * 2002-12-20 2005-09-28 Koninklijke Philips Electronics N.V. Query by indefinite expressions
CA2539442C (en) 2003-09-17 2013-08-20 Nielsen Media Research, Inc. Methods and apparatus to operate an audience metering device with voice commands
US20050123886A1 (en) * 2003-11-26 2005-06-09 Xian-Sheng Hua Systems and methods for personalized karaoke
US20060212149A1 (en) * 2004-08-13 2006-09-21 Hicken Wendell T Distributed system and method for intelligent data analysis
JP2008532200A (ja) * 2005-03-04 2008-08-14 ミュージックアイピー コーポレイション 再生リストを作成するためのスキャンシャッフル
US7613736B2 (en) 2005-05-23 2009-11-03 Resonance Media Services, Inc. Sharing music essence in a recommendation system
US7870142B2 (en) * 2006-04-04 2011-01-11 Johnson Controls Technology Company Text to grammar enhancements for media files
US9092435B2 (en) 2006-04-04 2015-07-28 Johnson Controls Technology Company System and method for extraction of meta data from a digital media storage device for media selection in a vehicle
US20080026355A1 (en) * 2006-07-27 2008-01-31 Sony Ericsson Mobile Communications Ab Song lyrics download for karaoke applications
CN201048042Y (zh) * 2007-04-11 2008-04-16 广州矽金塔电子有限公司 便携式影像歌曲伴奏装置
US9124769B2 (en) 2008-10-31 2015-09-01 The Nielsen Company (Us), Llc Methods and apparatus to verify presentation of media content
FR3064794B1 (fr) * 2017-03-28 2019-11-01 Continental Automotive France Systeme et procede de transmission d’un message oral dans un vehicule

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6049599U (ja) * 1983-09-13 1985-04-08 日本電気株式会社 音声認識機能を備えたカラオケ装置
JPH02177186A (ja) * 1988-12-28 1990-07-10 Nec Home Electron Ltd 演奏・表示システム
JPH0312889A (ja) * 1989-06-09 1991-01-21 Matsushita Electric Ind Co Ltd 選曲機

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2646745B2 (ja) * 1989-04-24 1997-08-27 株式会社富士通ゼネラル カラオケ装置
JPH0312890A (ja) * 1989-06-09 1991-01-21 Matsushita Electric Ind Co Ltd 選曲機
JPH0535287A (ja) * 1991-07-31 1993-02-12 Ricos:Kk カラオケ音楽選択装置
JPH0689096A (ja) * 1992-09-08 1994-03-29 Clarion Co Ltd 音声制御機能付カラオケ装置
JPH06161482A (ja) * 1992-11-19 1994-06-07 Chuo Musen Kk カラオケ装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6049599U (ja) * 1983-09-13 1985-04-08 日本電気株式会社 音声認識機能を備えたカラオケ装置
JPH02177186A (ja) * 1988-12-28 1990-07-10 Nec Home Electron Ltd 演奏・表示システム
JPH0312889A (ja) * 1989-06-09 1991-01-21 Matsushita Electric Ind Co Ltd 選曲機

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6504089B1 (en) 1997-12-24 2003-01-07 Canon Kabushiki Kaisha System for and method of searching music data, and recording medium for use therewith
WO2017056982A1 (ja) * 2015-09-30 2017-04-06 ヤマハ株式会社 楽曲検索方法および楽曲検索装置
JPWO2017056982A1 (ja) * 2015-09-30 2018-07-19 ヤマハ株式会社 楽曲検索方法および楽曲検索装置

Also Published As

Publication number Publication date
KR960015522A (ko) 1996-05-22
US5703308A (en) 1997-12-30
KR100267663B1 (ko) 2000-10-16
GB2294574A (en) 1996-05-01
GB9522262D0 (en) 1996-01-03
GB2294574B (en) 1998-10-28
JP2897659B2 (ja) 1999-05-31
HK1008367A1 (en) 1999-05-07

Similar Documents

Publication Publication Date Title
JP2897659B2 (ja) カラオケ装置
US7368652B2 (en) Music search system and music search apparatus
US7605322B2 (en) Apparatus for automatically starting add-on progression to run with inputted music, and computer program therefor
JP2001265326A (ja) 演奏位置検出方法および楽譜表示装置
JPH0535287A (ja) カラオケ音楽選択装置
JP2003519845A (ja) 音楽検索エンジン
CN113160780B (zh) 电子乐器、方法及存储介质
CN113874932A (zh) 电子乐器、电子乐器的控制方法及存储介质
JPH09258729A (ja) 選曲装置
JP2000231381A (ja) メロディ生成装置及びリズム生成装置と記録媒体
JPH0830284A (ja) カラオケ装置
JPH11344979A (ja) メロディ生成装置と記録媒体
US5517892A (en) Electonic musical instrument having memory for storing tone waveform and its file name
JP7041534B2 (ja) カラオケ装置
US20220044662A1 (en) Audio Information Playback Method, Audio Information Playback Device, Audio Information Generation Method and Audio Information Generation Device
JP4491743B2 (ja) カラオケ装置
JP4171680B2 (ja) 音楽再生装置の情報設定装置、情報設定方法、及び情報設定プログラム
JPH08160975A (ja) カラオケ選曲装置
JP4498221B2 (ja) カラオケ装置、およびプログラム
JP2000214849A (ja) カラオケ装置
JP3317127B2 (ja) カラオケ装置
JP2658780B2 (ja) 音色選択装置
JP4534966B2 (ja) 音色設定装置及びプログラム
JPH09212180A (ja) カラオケ装置
JP4760348B2 (ja) 楽曲選択装置および楽曲選択用コンピュータプログラム

Legal Events

Date Code Title Description
S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090312

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090312

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100312

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110312

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110312

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120312

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140312

Year of fee payment: 15

EXPY Cancellation because of completion of term