JP4399961B2 - 楽譜画面表示装置及び演奏装置 - Google Patents
楽譜画面表示装置及び演奏装置 Download PDFInfo
- Publication number
- JP4399961B2 JP4399961B2 JP2000186920A JP2000186920A JP4399961B2 JP 4399961 B2 JP4399961 B2 JP 4399961B2 JP 2000186920 A JP2000186920 A JP 2000186920A JP 2000186920 A JP2000186920 A JP 2000186920A JP 4399961 B2 JP4399961 B2 JP 4399961B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- performance
- voice
- lyrics
- score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
- G10G1/00—Means for the representation of music
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S84/00—Music
- Y10S84/06—Cathode-ray tube
Description
【０００１】
【発明の属する技術分野】
本発明は、楽譜画面表示装置及び演奏装置に関する。
【０００２】
【従来の技術】
近年、自動ピアノ等の楽器においては、液晶パネル等により構成された表示パネルに楽譜を表示する機能を備えたものが普及している。
【０００３】
【発明が解決しようとする課題】
図１２は、自動ピアノの表示パネルに電子楽譜を表示した例を示す図である。
従来、自動ピアノを利用する演奏者は、表示パネルに表示されたコントロールボタンを操作し、楽譜画面の切り換え（次ページの楽譜をディスプレイに表示する等）を行っていた。
このため、両手を使用してピアノ演奏を行う演奏者は、画面を切り換える際、いったん演奏を中断するか、または演奏を中断しないにしても素早く楽譜画面の切り換えを行う必要があった。このような楽譜画面の切り換え作業を行う必要があったため、演奏者は演奏に集中できないといった問題があった。
また、楽譜画面の切り換えを行う場合のみならず、音量や演奏テンポの設定・変更等を行う場合にも、コントロールボタンを操作する必要があり、このような場合にも、上述した場合と同様の問題が発生していた。
本発明は、以上説明した事情を鑑みてなされたものであり、音声によって表示制御等が可能な楽譜画面表示装置及び演奏装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
請求項１に記載の楽譜画面表示装置は、楽譜データに基づき楽譜画面を表示する楽譜画面表示装置であって、音声を入力する音声入力手段と、前記音声入力手段によって入力された音声を認識し、音声認識情報を出力する音声認識手段と、楽曲の歌詞を所定の単語毎に分割した歌詞単語データと、各歌詞単語データの楽譜における位置を示す楽譜箇所データとを対応付けて記憶する記憶手段と、前記音声認識手段から出力される音声認識情報が前記歌詞単語データのいずれかと一致するか否かを比較し、一致する前記歌詞単語データがある場合には、当該一致した歌詞単語データに対応付けて記憶された楽譜箇所データに示される楽譜位置を歌詞位置情報として出力する歌詞位置検出部と、前記歌詞位置検出部から出力される歌詞位置情報に示される楽譜位置を含む楽譜画面を前記楽譜データに基づいて表示する制御手段とを具備することを特徴とする。
【０００８】
また、請求項２に記載の演奏装置は、楽曲データに基づき演奏を実行する演奏装置であって、音声を入力する音声入力手段と、前記音声入力手段によって入力された音声を認識し、音声認識情報を出力する音声認識手段と、楽曲の歌詞を所定の単語毎に分割した歌詞単語データと、各歌詞単語データの楽譜における演奏位置を示す演奏箇所データとを対応付けて記憶する記憶手段と、前記音声認識手段から出力される音声認識情報が前記歌詞単語データのいずれかと一致するか否かを比較し、一致する前記歌詞単語データがある場合には、当該一致した歌詞単語データに対応付けて記憶された演奏箇所データに示される演奏位置を歌詞位置情報として出力する歌詞位置検出部と、前記歌詞位置検出部から出力される歌詞位置情報に示される演奏位置を含む演奏を前記楽曲データに基づき実行する制御手段とを具備することを特徴とする。
【００１１】
また、請求項３に記載の演奏装置は、楽曲データに基づき演奏を実行する演奏装置であって、音声を入力する音声入力手段と、前記音声入力手段によって入力された音声を認識し、音声認識情報を出力する音声認識手段と、所定のキーワードに対応した音声認識情報が音声認識手段から出力された場合に、所定のキーワードの入力に要した時間を検出し、検出結果を出力する時間検出手段と、前記時間検出手段から出力される検出結果に基づき、前記楽曲データの演奏テンポを決定し、演奏テンポ情報を出力するテンポ決定手段と、前記楽曲データに基づく演奏を、前記テンポ決定手段から出力される演奏テンポ情報に基づいて実行する制御手段とを具備することを特徴とする。
【００１２】
【発明の実施の形態】
以下、本発明をさらに理解しやすくするため、実施の形態について説明する。かかる実施の形態は、本発明の一態様を示すものであり、この発明を限定するものではなく、本発明の範囲で任意に変更可能である。
【００１３】
Ａ．第１の実施形態
Ａ−１；実施形態の構成
図１は、自動ピアノ２００の外観を示す斜視図であり、図２は、自動ピアノ２００の構成を説明するための図である。
【００１４】
Ａ−１−１；自動ピアノ２００の機械的構成
図２に示すように、自動ピアノ２００は鍵１の運動をハンマ２に伝達するアクション機構３と、ハンマ２によって打撃される弦４と、鍵１を駆動するソレノイド５と、弦４の振動を止めるダンパ６と、ハンマ２の移動を規制するストッパ８（図中矢印方向に移動可能）からなる消音機構とを備えている。そのほかにも、この自動ピアノ２００は従来のピアノに搭載される機構（例えば、ハンマ２の暴れを防止するバックチェック７等）と同様のものを備えるが、発明の趣旨とは関係がないため、説明を省略する。
【００１５】
Ａ−１−２；自動ピアノ２００の電気的構成
この自動ピアノ２００は、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成され、自動ピアノ２００全体の制御を司る制御部２４０と、制御部２４０から供給される制御信号に基づいてサーボ機構の制御を行うサーボコントローラ２１２と、後述するキーセンサ２２１から出力される制御信号に基づいて電子的な楽音を発生する電子楽音発生部２２２と、電子楽譜画面等を表示する液晶パネル等からなる表示パネル２５０と、電子楽譜データ及び演奏データ等を格納する記憶部２１１とを有している。
制御部２４０は、記憶部２１１から供給される演奏データに基づいて、各時刻で各鍵の位置を制御するための制御信号をサーボコントローラ２１２へと供給する。
サーボコントローラ２１２は、制御部２４０から供給される制御信号に基づいて、各鍵１に対応する各ソレノイド５に対して各鍵１の位置に対応する励磁電流を流すと共に、各鍵１に対応して設けられている各ソレノイド５から入力されるフィードバック信号Ｖｙを用いて各ソレノイド５に流す励滋電流のフィードバック制御を行う。また制御部２４０は、図示せぬ駆動機構をオン・オフ駆動することによってストッパ８の位置制御も行っている。
制御部２４０は、上述したようにして記憶部２１１等から供給される演奏データに基づいて、サーボコントローラ２１２を介して各鍵１に対応して設けられている各ソレノイド５の位置制御を行い、打弦による機械的な楽音発生制御を行う。
【００１６】
また、自動ピアノ２００には、各鍵１の動作を検出する複数のキーセンサ２２１が設けられている。
キーセンサ２２１は、各鍵１の下面に対応する位置に設けられており、鍵１の状態変化（押鍵、離鍵等）に応じた信号を制御部２４０に出力する。
制御部２４０は、キーセンサ２２１から供給される信号に基づいて、電子楽音発生部２２２に制御信号を供給し、電子的な楽音の発生等を制御する。また、制御部２４０は、鍵１の動作に応じて電子的に楽音を発生させる際、ストッパ８の位置制御を行うことによりハンマ２による弦４の打撃を阻止し、打弦による発音を抑止する制御も行う。このように、自動ピアノ２００は、打弦による機械的な楽音発生制御を行う機能に加え、音源やスピーカから構成される電子楽音発生部２２２に制御信号を供給し、演奏データに応じた電子的な楽音発生制御を行う機能をも備えている。
【００１７】
また、本実施形態に係る自動ピアノ２００は、マイクロホン２２０及びＡ／Ｄ変換器２３０を備えている。
マイクロホン２２０は、所定の指向性を有するマイクロホンであり、ユーザが発する音声を拾いやすい向きに取り付けられている（図１参照）。また、Ａ／Ｄ変換器２３０は、マイクロホン２２０を介して入力されるアナログ信号をデジタル信号に変換し、制御部２４０出力する。
制御部２４０は、マイクロホン２２０及びＡ／Ｄ変換器２３０を介して入力されるユーザの音声コマンドを認識し、認識結果に基づき楽譜画面の切り換え制御等を行う。このように、制御部２４０は上述した演奏制御機能の他、楽譜画面の切り換え制御を行う機能をも備えている。
以下、本発明の特徴部分である制御部２４０の表示内容制御機能の構成について、図３を参照して説明する。
【００１８】
＜制御部２４０の機能構成＞
図３は、制御部２４０の機能構成を示すブロック図である。
制御部２４０は、信号処理部２４１と、音声認識部２４２と、コマンド解釈部２４３と、コマンドデータベース部２４４と、表示制御部２４５とを有している。
信号処理部２４１は、Ａ／Ｄ変換器２３０から出力されるデジタル信号に対して信号処理を施し、これを音声データとして音声認識部２４２に供給する。信号処理部２４１が行う信号処理の内容は、音声認識部２４２から供給される信号処理指示信号等に応じて変更される。
【００１９】
音声認識部２４２は、まず信号処理部２４１から入力された音声データを所定のフレーム単位のデータに分割し、予め登録してある各音素モデルをモデル化した音響モデルを比較対照として、波形比較を行い両者がマッチしている確率の高い音素を決定する音素解析を行う。次に、音声認識部２４２は、音素解析処理によって暫定的に決定された音素の並びと、単語辞書２４２ａとを比較し、単語として成立する可能性が高い単語を決定する。そして、それらの単語に対して言語モデルを用いて構文解析を行い、例えば日本語として成立する文を決定し、決定した文を認識データとしてコマンド解釈部２４３へ供給する。なお、この単語辞書２４２ａには、予め自動ピアノ２００の制御において用いられるコマンドに関する単語（例えば、制御の開始及び停止を指示する「スタート」、「ストップ」等の単語）の他、電子楽譜画面の切り換えコマンドに関連する単語（例えば、次ページ及び前ページの電子楽譜の表示を指示する「ツギ」、「マエ」等の単語）が登録されている。
【００２０】
コマンド解釈部２４３は、音声認識部２４２から供給される認識データとコマンドデータベース部２４４に予め登録されているコマンドに対応するデータとを比較することによって、認識データがどのようなコマンドに関する指示を行うものなのかを決定する。そして、最も確率の高い音声入力コマンドと、それに続くいくつかの他のコマンドの候補とをあわせて、表示制御部２４５で一意に解釈できる形態のデータ形式に変換し、コマンドデータとして表示制御部２４５へ送出する。
【００２１】
コマンドデータベース部２４４は、電子楽譜画面の切り換えコマンドに関連する単語と、コマンドデータとを対応付けて管理している。具体的には、図３に示すように、次ページの電子楽譜表示を指示する単語「ツギ」と、次ページの電子楽譜を表示するためのコマンド「ＮＥＸＴ」とが対応付けられ、・・・、前ページの電子楽譜表示を指示する単語「マエ」と、前ページの電子楽譜を表示するためのコマンド「ＢＡＣＫ」とが対応付けられている。
表示制御部２４５は、コマンド解釈部２４３から供給されるコマンドデータに基づき、表示パネル２５０に表示される電子楽譜画面の切り換え等の表示内容に関する制御を行う。
次に、ユーザが演奏を行う際の自動ピアノ２００の動作について説明する。
【００２２】
Ａ−２；実施形態の動作
まず、ユーザは自動ピアノ２００の図示せぬ操作部を操作し、演奏曲の選択を行う。ユーザによって演奏曲の選択が行われると、表示制御部２４５は、この演奏曲に対応した電子楽譜表示用のデータ（以下、単に電子楽譜データという）を記録装置２１１から読み出す。そして表示制御部２４５は、第１ページ目の電子楽譜を表示するのに必要な電子楽譜データを生成し、これを表示パネル２５０に出力する。これにより、表示パネル２５０には、第１ページ目の電子楽譜が表示される。
【００２３】
図４は、表示パネル２５０に表示された第１ページ目の電子楽譜を例示した図である。
同図に示す楽譜ａは、音高及び音の長さを示す音符等により構成された演奏情報であり、ユーザは、この楽譜ａを参照しながらピアノの演奏を行う。
テンポｂは、楽譜を演奏する目安としてのテンポ情報である。図に示す例は、１分間に４分音符を６０個演奏する演奏テンポであることを示しているが、この演奏テンポは、ユーザが操作部を操作することにより、設定・変更可能となっている。表示制御部２４５は、ユーザによって演奏テンポの設定等が行われると、この設定されたテンポｂに応じてユーザが演奏すべき音符を順次点滅させていく。
タイトルｃは、曲のタイトルや、作曲者等のタイトル情報である。また、このタイトルｃには、曲のどの部分を演奏しているのか（例えば、曲の頭から数えて第何小節目を演奏しているのか）等といった情報も含まれている。
【００２４】
このように第１ページ目の電子楽譜が表示パネルに表示されている状態において、マイクロホン２２０及びＡ／Ｄ変換器２３０を介して「ツギ」という言葉が自動ピアノ２００に入力されると、制御部２４０は、音声認識処理等を開始する。具体的には、マイクロホン２２０及びＡ／Ｄ変換器２３０を介して自動ピアノ２００に入力された音声は、信号処理部２４１を介し音声データとして音声認識部２４２に入力される。音声認識部２４２は、入力された音声データの音素解析を行い、これによって暫定的に決定された音素の並びと単語辞書２４２ａとを比較し、単語として成立する可能性が高い単語を決定する。ここで、音声認識部２４２の単語辞書２４２ａには電子楽譜のページ送りを意味する「ツギ」という単語が登録されている。従って、音声認識部２４２は音素解析結果に基づき決定した「ツギ」という単語の認識データをコマンド解釈部２４３に出力する。コマンド解釈部２４３は、音声認識部２４２から認識データを受け取ると、コマンドデータベース部２４４を参照することにより、認識データがどの様なコマンドを意味するものであるのかを決定する。前述したように、コマンドデータベース部２４４には、電子楽譜のページ送りを意味する「ツギ」という単語と、この電子楽譜のページ送りコマンド「ＮＥＸＴ」とが対応付けて格納されている。従って、コマンド解釈部２４３は、音声認識部２４２から送られてくる認識データに対応するコマンド「ＮＥＸＴ」をコマンドデータベース部２４４から読み出し、これを表示制御部２４５に送出する。
【００２５】
表示制御部２４５は、コマンド解釈部２４３から電子楽譜のページ送りコマンド「ＮＥＸＴ」を受け取ると、図５に示すフローを実行する。すなわち、表示制御部２４５は、電子楽譜のページ送りコマンド「ＮＥＸＴ」が入力されたことを検出すると（ステップＳ１）、電子楽譜の表示ページが曲の最後のページであるか否かを判断する（ステップＳ２）。表示制御部２４５は、電子楽譜の表示ページが最後のページであると判断した場合には（ステップＳ２；ＹＥＳ）、処理を終了する。一方、表示制御部２４５は、ステップＳ２において、電子楽譜の表示ページが曲の最後のページでないと判断すると（ステップＳ２；ＮＯ）、ステップＳ３に進む。表示制御部２４５は、ステップＳ３においてＲＡＭ（図示略）から次ページの電子楽譜データを読み出し、読み出した電子楽譜データを表示パネルに供給する。これにより、表示パネルには、次ページの電子楽譜が表示されることとなる。
なお、ここでは、次ページの電子楽譜表示を指示する単語「ツギ」が自動ピアノ２００に入力された場合を例に説明を行ったが、前ページの電子楽譜表示を指示する単語「マエ」が自動ピアノ２００に入力された場合も、同様の処理が行われる。
【００２６】
以上の説明から明らかなように、本実施形態に係る自動ピアノ２００によれば、ユーザはマイクロホン２２０にむかって、所定のキーワードを発声することにより、表示パネル２５０に表示される電子楽譜画面を切り換えることができる。従って、ユーザは両手を使ってピアノを演奏している場合であっても、演奏を中断することなく表示画面を切り換えることができる。このため、ユーザはピアノ演奏に集中することができる。
また、表示パネル２５０には、電子楽譜のみを表示すればよく、従来のように電子楽譜とあわせて手動操作用のコントロールボタンを表示する必要がない。従って、従来と同じ表示面積を有する表示パネルを使用したとしても、電子楽譜を表示するためのスペースを広くすることができる。
【００２７】
Ａ−３；変形例
＜変形例１＞
本実施形態では、表示パネルに表示される電子楽譜画面を音声によって切り換える場合の説明を行ったが、例えば表示パネルに表示される電子楽譜の大きさ等を音声によって切り換えるようにしても良い。具体的には、電子楽譜の拡大表示（例えば、１〜１０倍等）を指示する単語「ズーム」や、電子楽譜の分割表示（例えば、上下方向に２分割して電子楽譜を表示する等）を指示する単語「ブンカツ」等を音声認識部２４２の単語辞書２４２ａ及びデータベース部２４４に登録しておく。また、データベース部２４４には、電子楽譜の拡大表示を指示する単語「ズーム」に対応するコマンド「ＥＸＰＡＮＤ」及び電子楽譜の分割表示を指示する単語「ブンカツ」に対応するコマンド「ＤＩＶＩＤＥ」等を登録しておく。これにより、ユーザは表示パネル２５０に表示される電子楽譜の大きさ等を音声によって自由に切り換えることができる。
【００２８】
＜変形例２＞
また、本実施形態における電子楽譜は、楽譜ａ、テンポｂ、タイトルｃとにより構成されていたが（図４参照）、例えば図６に示すように、楽譜ａの任意の箇所に練習マークｄを設けるようにしても良い。
具体的には、制御部２４０に練習マーク書き込み手段を設け、ユーザが図示せぬ操作部を操作することにより、楽譜ａの任意の箇所に練習マークｄを付加できる構成とする（図６に示す、練習マークＡ参照）。もちろん、この練習マークは１つに限定することを趣旨とするものではなく、複数（例えば、練習マークＡ、練習マークＢ等）設けることも可能であり、また任意に練習マークｄの追加及び削除も可能である。
また、これに合わせて音声認識部２４２の単語辞書２４２ａ及びデータベース部２４４には、練習マークＡを含む電子楽譜画面の表示を指示する単語「マークＡ」及びデータベース部２４４にはさらに、対応するコマンド「ＪＵＭＰ Ａ」を登録する。
制御部２４０をこのように構成することで、ユーザはいつでも練習マークＡの付加された箇所を含む楽譜を表示パネル２５０に表示させることができる。具体的には、次の通りである。
【００２９】
例えば、練習マークＡの付加された電子楽譜のページ（第２ページ）とは異なるページ（第１０ページ）の電子楽譜が表示パネル２５０に表示されていたとする。
ここで、ユーザが練習マークＡの付加された部分を練習しようとした場合、ユーザはマイクロホンに向かって「マークＡ」と発声する。これにより、コマンド解釈部２４３はコマンドデータベース部２４４に登録された「マークＡ」に対応するコマンド「ＪＵＭＰ Ａ」を読み出し、読み出したコマンドデータ「ＪＵＭＰ Ａ」を表示制御部２４５に供給する。表示制御部２４５は、コマンド解釈部２４３からのコマンドデータ「ＪＵＭＰ Ａ」に基づき、マークＡの付加された第２ページ目の電子楽譜データを表示パネル２５０に供給する。これにより、表示パネル２５０に表示される電子楽譜は、第１０ページから第２ページへと切り換わる。
制御部２４０をこのように構成することで、ユーザは簡単な操作により練習マークの付加された電子楽譜を表示パネル２５０に表示させることができる。
【００３０】
＜変形例３＞
また、以上説明した変形例２では、ユーザが操作部を操作して練習マークを付加する場合を例に説明を行ったが、例えばユーザが音声で練習マークの位置を指定する場合にも適用可能である。例えば、自動演奏モード等から練習マーク書き込みモードへの切り換えを指示する単語「カキコミモード」を単語辞書２４２ａ及びデータベース部２４４に登録し、データベース部２４４にはさらに、コマンド「ＭＯＤＥ ＷＲＩＴＥ」を登録する。
ユーザは音声によって練習マークの位置を指定する際、マイクロホンに向かって「カキコミモード」と発声する。これにより、自動ピアノは練習マーク書き込みモードに設定される。そして、ユーザは、練習マークの位置を指定すべく、マイクロホンに向かって「ショウセツバンゴウ １１」、「マーク Ａ」と発声する。ここで、「ショウセツバンゴウ」に続く「１１」は、小節番号を指定する数であり、「マーク」に続く「Ａ」は、複数の練習マーク（例えば、練習マークＡ、練習マークＢ、・・・等）のうち、いずれの練習マークであるかを指定するアルファベットである。なお、これらの単語及び対応するコマンドは、すべて単語辞書２４２ａ及びコマンドデータベース部２４４に登録されている。このようにして、ユーザがマイクロホンに向かって「ショウセツバンゴウ １１」、「マークＡ」と発声することにより、小節番号１１の位置に練習マークＡを書き込むべきコマンドが制御部に入力され、これにより楽譜ａの小節番号１１の位置に練習マークＡが書き込まれる。
【００３１】
このように、音声によって練習マークの位置を指定することができれば、ユーザは両手がふさがっているような場合（例えば、演奏中である場合等）においても、所望する位置に練習マークを付加することができる。
なお、練習マークはユーザが音声等により位置を指定することも可能であるが、予め楽譜ａの所定箇所に練習マークが付加されているデータを用いることによっても、音声による楽譜画面の切り換えが可能である。
例えば、練習マークＡが予め小節番号３３（第３ページ目）に付加されていたとする。ここで、ユーザがマイクロホンに向かって「マーク Ａ」と発声すると、上述した場合と同様に、練習マークＡの付加された第３ページ目の楽譜が表示パネルに表示される。ここで、練習マークＡの付加された楽譜画面を表示パネルに表示する際には、練習マークＡが付加された位置をユーザに教示すべく、練習マークＡの付加された小節番号、表示ページ等をタイトルｃに表示するようにしても良い。
【００３２】
＜変形例４＞
また、上述した自動ピアノは、練習マーク、小節番号等から表示すべき電子楽譜ページを特定し、当該電子楽譜ページを表示パネルに表示する構成であったが、もちろんページ番号を直接音声入力するように構成しても良い。
【００３３】
＜変形例５＞
なお、変形例２及び変形例３は、練習マークを用いて電子楽譜の表示ページを切り換えることを想定しているが、これに限定する趣旨ではなく、例えばユーザが小節番号（曲の頭から数えて第何小節目であるかを示す番号）を指定することにより、電子楽譜の表示ページを切り換えるようにしても良い。前述したように、電子楽譜のタイトルｃ部分には、曲の頭から数えて第何小節目を演奏しているのかといった情報が表示される。従って、ユーザは、何回練習しても間違えてしまう部分の小節番号（例えば、１１）を覚えておき、電子楽譜の表示ページを切り換える際には小節番号を指定することにより、練習マークの付加された電子楽譜を表示パネル２５０に表示させることができる。なお、小節番号を指定して電子楽譜画面の切り換えを行う場合の制御部の構成は、変形例１と同様であるため、これ以上の説明は省略する。
【００３４】
＜変形例６＞
また、以上説明した本実施形態及び変形例では、単に電子楽譜の表示ページを音声によって切り換える場合を説明したが、これに限定する意味ではなく、例えば自動演奏機能等を利用して演奏を再生しているような場合には、この表示ページの切り換えに応じて演奏の再生位置を切り換えるようにしても良い。具体的には、コマンド解釈部２４３の後段に、再生位置制御部を設ける。この再生位置制御部は、コマンド解釈部からのコマンドデータに基づき、楽譜に対応する演奏データのどの部分を再生すべきか判断する。そして、再生位置制御部は、この判断結果に応じた制御データを電子楽音発生部２２２等に出力し、再生位置の切り換えを行う。電子楽音発生部２２２等は、この制御データに基づき楽音を発生し、これにより電子楽譜の表示ページに応じた演奏が再現されることとなる。なお、電子楽譜の表示ページに応じて自動演奏させる場合には、制御対象をサーボコントローラ２１２に置き換えることによって同様に実施することができるため、これ以上の説明を省略する。
【００３５】
Ｂ．第２の実施形態
Ｂ−１；実施形態の構成
上述した第１の実施形態に係る制御部２４０は、ユーザが発声したコマンドに基づき電子楽譜の表示制御を行っていた。これに対し、本実施形態に係る制御部２４０ａは、ユーザが発声する歌詞により、電子楽譜の表示制御を行う構成となっている。なお、自動ピアノのハードウェア構成については、前掲図２と同様であるため説明を省略する。
【００３６】
図７は、本実施形態に係る制御部２４０ａの機能構成を示す図である。
本実施形態に係る制御部２４０ａには、前掲図３に示すコマンド解釈部２４３及びコマンドデータベース部２４４に換えて歌詞位置検出部２４６が設けられている。
この歌詞位置検出部２４６は、記憶部２１１から転送される電子楽譜データに基づき、ユーザが発声する歌詞単語が電子楽譜のどの部分の歌詞に対応するかを検索し、検索結果を表示制御部２４５に出力する。歌詞位置検出部２４６がこのような検索を行う際に用いる電子楽譜データの構成について、図８を参照して説明する。
【００３７】
図８は、電子楽譜データの主要構成を示す図である。
電子楽譜データは、音程データと、リズムデータと、歌詞データと、ページデータとを有している。その他にも、曲の題名、作曲者名、作詞者名等を示すデータを含んでいるが、本願発明の趣旨とは関係がないため、その説明を省略する。
音程データは、ド（Ｃ）〜シ（Ｂ）までの音を数字で表現しており、ド（「０」）を基準に半音の幅を１として各音を表現している。例えば、同図に示す「１」は、ドよりも半音高いド♯であることを意味し、「２」は、ドよりも１音高い（すなわち、ド♯よりも半音高い）レであることを意味している。また、基準の音よりも１オクターブ高い同名音には、数字の左方に＋符号を、基準の音よりも１オクターブ低い同名音には、数字の右方に−符号を付している。例えば、「＋１」は、基準のドよりも１オクターブ高いド♯であることを意味している。
【００３８】
リズムデータは、４分音符を音の長さの基準とし、この４分音符を「１」で表現している。例えば、同図に示す「０．５」は、４分音符の半分の８分音符であり、「４」は、４分音符４つ分の全音符であることを意味している。
歌詞データは、テキスト形式で作成されており、各音程、リズムデータに対応した位置に歌詞が記載されている。
ページデータは、各音程、リズム、歌詞データが何ページ目の電子楽譜に対応するものであるかを表現している。
なお、電子楽譜データのフォーマットは、ここで例示したものに限定するものではなく、例えば音程データに代えて音高データとしても良い。
【００３９】
本実施形態に係る自動ピアノの主要構成は、以上説明した通りである。
次に、本実施形態の動作について説明する。なお、以下の説明は、自動演奏に合わせて電子楽譜画面が切り換わっていくなかで、ユーザがマイクロホン２２０に向かって歌詞を発声することにより、電子楽譜画面の切り換えを指示した場合を想定している。
【００４０】
Ｂ−２；実施形態の動作
ユーザがマイクロホン２２０に向かって歌詞を発声すると、自動ピアノの制御部２４０は、音声認識処理等を開始する。
ここで、ユーザがマイクロホン２２０に向かって発声した歌詞は、「トナカイ」であったとする。
マイクロホン２２０及びＡ／Ｄ変換器２３０を介して自動ピアノに入力されたユーザの音声は、信号処理部２４１を介し音声データとして音声認識部２４２に入力される。音声認識部２４２は、入力された音声データの音素解析を行い、これによって暫定的に決定された音素の並びと単語辞書２４２ａとを比較し、単語として成立する可能性が高い単語を決定する。ここで、本実施形態に係る音声認識部２４２の単語辞書２４２ａには自動ピアノの制御に関連する単語のみならず、歌詞等にも用いられる様々な単語も登録されている。従って、音声認識部２４２は音素解析結果に基づき決定した「トナカイ」という単語の認識データを歌詞位置検出部２４６に出力する。
【００４１】
歌詞位置検出部２４６は、音声認識部２４２から認識データを受け取ると、記憶部２１１から転送された電子楽譜データを参照することにより、ユーザが発声した歌詞「トナカイ」が電子楽譜のどの部分に対応する歌詞であるのか検索を行う。前述したように、電子楽譜データには、各音程、リズム、歌詞データが何ページ目の電子楽譜に対応するものであるかを示すページデータが含まれている。従って、歌詞位置検出部２４６は、当該歌詞が電子楽譜の第何ページに表示される歌詞であるかを判断することができる。歌詞位置検出部２４６は、検出結果から歌詞「トナカイ」が電子楽譜の何ページ目に表示される歌詞であるかを認識すると、この認識結果をページ情報として表示制御部２４５に出力する。ここで、歌詞位置検出部２４６は、歌詞「トナカイ」が電子楽譜の２ページ目に表示される歌詞であると認識し、表示制御部２４５に対して２ページ目の電子楽譜を表示すべき旨のページ情報を出力したとする。
表示制御部２４５は、歌詞位置検出部２４６からのページ情報に基づき、第２ページ目の電子楽譜データをＲＡＭから読み出し、読み出した電子楽譜データを表示パネル２５０に供給する。この結果、表示パネル２５０には、歌詞「トナカイ」が表示された第２ページ目の電子楽譜が表示される。
【００４２】
以上説明したように、本実施形態に係る自動ピアノは、ユーザが発声する歌詞単語により表示位置を指定することができる。もちろん、単に電子楽譜の表示ページを歌詞によって切り換えることもできるが、前述した第１の実施形態における変形例６と同様、自動演奏機能等を利用して演奏を再生しているような場合には、この表示ページの切り換えに応じて演奏の再生位置を切り換えるようにしても良い。具体的には、歌詞位置検出部２４６の後段に、再生位置制御部を設ける。この再生位置制御部は、歌詞位置検出部からのページ情報に基づき、電子楽譜のどの部分を再生すべきか判断する。そして、再生位置制御部は、この判断結果に応じた制御データを電子楽音発生部２２２等に出力し、再生位置の切り換えを行う。電子楽音発生部２２２等は、この制御データに基づき楽音を発生し、これにより電子楽譜の表示ページに応じた演奏が再現されることとなる。なお、電子楽譜の表示ページに応じて自動演奏させる場合には、制御対象をサーボコントローラ２１２に置き換えることによって同様に実施することができるため、これ以上の説明を省略する。
【００４３】
Ｂ−３；変形例
以上説明した本実施形態に係る自動ピアノは、ユーザが発声する歌詞に基づき電子楽譜の表示内容を制御する構成であったが、これに限定する趣旨ではなく、例えばユーザがハミングあるいは歌唱等を行い、このハミング等から音の高さ（ピッチ）を検出し、これに基づき電子楽譜の表示内容を制御するようにしても良い。
図９は、変形例に係る制御部２４０ｂの機能構成を示す図である。
制御部２４０ｂは、ピッチ検出部２４７と、音符列比較部２４８と、表示制御部２４５とを有している。
ピッチ検出部２４７は、マイクロホン２２０及びＡ／Ｄ変換器２３０を介して入力されるハミング等からピッチを抽出して音高列を生成する。
そして、ピッチ検出部２４７は生成した音高列を音高列比較部２４８が一意に解釈できる形態のデータ形式（例えば、電子楽譜データと同様のデータ形式等）に変換し、音高列データとして音符列比較部２４８に送出する。
音高列比較部２４８は、記憶部２１１から転送される電子楽譜データ（具体的には、音程データ）に基づき、ピッチ検出部２４７から送られてくる音高列データが電子楽譜のどの部分の音高列に対応するか、そしてその音高列が表示される電子楽譜は第何ページ目であるのかを検索し、検索結果をページ情報として表示制御部２４５に出力する。
制御部２４０ｂをこのように構成することで、マイクロホン２２０及びＡ／Ｄ変換器２３０を介して自動ピアノに入力されるハミング等からピッチを検出し、この音高列と一致する音高列を電子楽譜データから検出することにより電子楽譜の表示ページを切り換えることができる。なお、ハミング等からピッチを検出する際の具体的動作については、本実施形態と同様に説明することができるため、説明を省略する。また、変形例においても、本実施形態と同様、表示ページの切り換えに応じて演奏の再生位置を切り換えるようにしても良い。
【００４４】
Ｃ．第３の実施形態
Ｃ−１；実施形態の構成
上述した第２の実施形態に係る自動ピアノは、ユーザが発声する歌詞及びハミング等に基づき、電子楽譜の表示及び演奏の再生等を制御する構成であった。これに対し、本実施形態に係る自動ピアノは、音声によるカウント（例えば、「ワン、ツー、スリー、ハイ！」等）で、テンポ設定等を行う構成となっている。なお、以下の説明では、「ワン、ツー、スリー、ハイ！」等テンポ設定を行うための音声をカウント音声という。
【００４５】
図１０は、本実施形態に係る制御部２４０ｃの機能構成を示す図である。
本実施形態に係る制御部２４０ｃには、テンポ検出部２４９が設けられている。
このテンポ検出部２４９は、音声認識部２４２からカウント音声に対応した認識データを受け取り、この認識データの受け取りタイミングからテンポを算出する。そして、テンポ検出部２４９は、算出結果をテンポデータとして表示制御部２４５に出力する。
ここで、音声認識部２４２には、マイクロホン２２０及びＡ／Ｄ変換器２３０を介してカウント音声以外の音声（例えば、演奏の開始を指示する「スタート」等）も入力される。音声認識部２４２は、入力される音声がカウント音声であるのか（すなわち、入力される音声が「ワン」、「ツー」、「スリー」、「ハイ！」であるのか）あるいはカウント音声以外の音声であるのかを判断する音声種判断機能を備えている。音声認識部２４２は、マイクロホン２２０及びＡ／Ｄ変換器２３０を介して入力された音声がカウント音声であると判断した場合には、認識データをテンポ検出部２４９に出力し、一方入力された音声がカウント音声以外の音声であると判断した場合には、認識データをコマンド解釈部２４３に出力する。
次に、本実施形態に係る自動ピアノにコマンド音声が入力された場合の動作について、図１１を参照して説明する。
【００４６】
Ｃ−２；実施形態の動作
図１１は、自動ピアノにコマンド音声が入力された場合を説明するための図である。
まず、ユーザは演奏テンポを設定すべく、マイクロホン２２０に向かって「ワン」、「ツー」、「スリー」、「ハイ！」と順番に発声していく。マイクロホン２２０及びＡ／Ｄ変換器２３０を介して自動ピアノに入力された各音声は、信号処理部２４１において音声データに変換され、変換された音声データが順次音声認識部２４２に入力される。ここで、音声認識部２４２は、信号処理部２４１を介して順次入力される音声データがカウント音声であるのか、あるいはカウント音声以外の音声であるのかを判断する。
音声認識部２４２は、音声種判断機能を利用して入力された音声がカウント音声であると判断すると、各音声に対応する認識データをテンポ検出部２４９に出力する。
【００４７】
テンポ検出部２４９は、まず第１番目の認識データ（すなわち、音声「ワン」に対応する認識データ）を受け取ると、図示せぬタイマを参照することにより、認識データを受け取った時刻（Ｔ＝ｔ０）を読み出し、読み出した計時データを図示せぬ記憶部の所定領域に格納する。その後、第２番目の認識データ（すなわち、音声「ツー」に対応する認識データ）及び第３番目の認識データ（すなわち、音声「スリー」に対応する認識データ）がテンポ検出部２４９に入力されると、テンポ検出部２４９はタイマの計時時刻をそれぞれ読み出し（Ｔ＝ｔ１、ｔ２）、この計時データを記憶部の所定領域にそれぞれ格納する。また、テンポ検出部２４９は、第３番目の認識データ（すなわち、音声「スリー」に対応する認識データ）を受け取ると、演奏テンポＴ（ｔｅｍｐ）の算出を行う。演奏テンポＴ（ｔｅｍｐ）については、例えば下記に示す演算を行うことにより決定する。
Δｔ１＝ｔ１−ｔ０
Δｔ２＝ｔ２−ｔ１
Δｔ（ａｖｅ）＝（Δｔ１＋Δｔ２）／２
Ｔ（ｔｅｍｐ）＝６０／Δｔ（ａｖｅ）
テンポ検出部２４９は、テンポ設定用に予め定められたキーワード「ワン」、「ツー」、「スリー」の入力に要した時間に基づき演算を行い、演算結果から得られた演奏テンポＴ（ｔｅｍｐ）をテンポデータとして表示制御部２４５に出力する。表示制御部２４５は、テンポデータを受け取ると、このテンポデータに基づき生成した電子楽譜データを表示パネル２５０に供給する。これにより、電子楽譜のテンポｂ（図４参照）には、ユーザのカウント音声により設定されたテンポ（例えば、１分間に４分音符を１２０個演奏する演奏テンポ等）が表示される。そして、表示制御部２４５は、第４番目の認識データ（すなわち、音声「ハイ！」に対応する認識データ）を受け取ると、この設定されたテンポｂに応じてユーザが演奏すべき音符の点滅を開始する。
【００４８】
以上説明したように、本実施形態に係る自動ピアノは、ユーザのカウント音声を発するスピードに応じて、電子楽譜画面上のテンポｂ（図４参照）を切り換えることができる。もちろん、本実施形態においても、上述した第２の実施形態と同様、自動演奏機能等を利用して演奏を再生しているような場合には、電子楽譜画面の表示切り換えに応じて演奏の再生テンポを切り換えることも可能である。具体的には、テンポ検出部２４９の後段に、再生制御部を設ける。この再生制御部は、テンポ検出部からのテンポデータに基づき、演奏の再生速度を制御する役割を担っている。電子楽音発生部等は、再生制御部による制御の下、楽音を生成する。これにより、ユーザのカウント音声に応じたテンポで演奏が再生されることとなる。
【００４９】
なお、このように自動演奏機能を利用して再生しているような場合に適用できるのは勿論であるが、ユーザが自動演奏機能を利用して曲の頭から再生する場合にも適用可能である。
例えば、ユーザが図示せぬ操作部を操作し、再生曲の選択を行った後、演奏テンポを設定すべく、マイクロホンに向かって「ワン」、「ツー」、「スリー」、「ハイ！」と発声したとする。この場合には、第４番目の単語「ハイ！」が再生開始のトリガとなり、ユーザのカウント音声に応じた演奏テンポで自動的に演奏が開始される。すなわち、ユーザは演奏を開始すべき音声コマンド（例えば、「スタート」等）をマイクロホン２２０に向かって発声することなく、演奏を開始させることができるのである。
また、本実施形態に係る自動ピアノは、カウント音声に基づき演奏テンポを決定する構成であったが、これに限定する趣旨ではなく、例えばカウント音声から再生音等の音量を決定するようにしても良い。具体的には、音声認識部２４２の後段に音量検出部を設ける。音量検出部は、入力されるカウント音声の音量レベルが例えばレベル１〜レベル２０のいずれの音量レベルに相当するかを判断し、判断結果を音量データとして再生制御部に出力する。ここで、再生制御部は、テンポ検出部２４９からのテンポデータに基づき、演奏の再生速度を制御すると共に、音量検出部からの音量データに基づき、再生音の音量を制御する役割を担っている。電子楽音発生部２２２等は、再生制御部による制御の下、楽音を生成する。これにより、ユーザのカウント音声に応じた演奏テンポ及び音量で演奏が再現されることとなる。なお、自動演奏させる場合には、制御対象をサーボコントローラ２１２に置き換えることによって同様に実施することができるため、これ以上の説明を省略する。
また、本願発明は、自動ピアノに適用することを趣旨とするものではなく、ヴァイオリン等の楽器は勿論のこと、パーソナルコンピュータ等楽器以外の電子機器等にも適用可能である。
【００５０】
【発明の効果】
以上説明したように、本発明によれば、両手を使って演奏する必要がある楽器においても、演奏を中断させることなく表示制御及び楽音制御を行うことができるという効果がある。
【図面の簡単な説明】
【図１】 第１の実施形態における自動ピアノ２００の外観を示す斜視図である。
【図２】 同実施形態における自動ピアノ２００の構成を示す図である。
【図３】 同実施形態における制御部２４０の機能構成を示す図である。
【図４】 同実施形態における電子楽譜の表示例を示す図である。
【図５】 同実施形態における表示制御部２４５の動作を示すフローチャートである。
【図６】 同実施形態における電子楽譜の表示例を示す図である。
【図７】 第２の実施形態における制御部２４０ａの機能構成を示す図である。
【図８】 電子楽譜データの構成を説明するための図である。
【図９】 同実施形態の変形例における制御部２４０ｂの機能構成を示す図である。
【図１０】 第３の実施形態における制御部２４０ｃの機能構成を示す図である。
【図１１】 同実施形態における自動ピアノにコマンド音声が入力された場合を説明するための図である。
【図１２】 従来の電子楽譜の表示例を示す図である。
【符号の説明】
２４０・・・制御部、２５０・・・表示パネル、２４２・・・音声認識部、２４３・・・コマンド解釈部、２４４・・・コマンドデータベース部、２４５・・・表示制御部、２４６・・・歌詞位置検出部、２４７・・・ピッチ検出部、２４８・・・音符列比較部、２４９・・・テンポ制御部。
【発明の属する技術分野】
本発明は、楽譜画面表示装置及び演奏装置に関する。
【０００２】
【従来の技術】
近年、自動ピアノ等の楽器においては、液晶パネル等により構成された表示パネルに楽譜を表示する機能を備えたものが普及している。
【０００３】
【発明が解決しようとする課題】
図１２は、自動ピアノの表示パネルに電子楽譜を表示した例を示す図である。
従来、自動ピアノを利用する演奏者は、表示パネルに表示されたコントロールボタンを操作し、楽譜画面の切り換え（次ページの楽譜をディスプレイに表示する等）を行っていた。
このため、両手を使用してピアノ演奏を行う演奏者は、画面を切り換える際、いったん演奏を中断するか、または演奏を中断しないにしても素早く楽譜画面の切り換えを行う必要があった。このような楽譜画面の切り換え作業を行う必要があったため、演奏者は演奏に集中できないといった問題があった。
また、楽譜画面の切り換えを行う場合のみならず、音量や演奏テンポの設定・変更等を行う場合にも、コントロールボタンを操作する必要があり、このような場合にも、上述した場合と同様の問題が発生していた。
本発明は、以上説明した事情を鑑みてなされたものであり、音声によって表示制御等が可能な楽譜画面表示装置及び演奏装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
請求項１に記載の楽譜画面表示装置は、楽譜データに基づき楽譜画面を表示する楽譜画面表示装置であって、音声を入力する音声入力手段と、前記音声入力手段によって入力された音声を認識し、音声認識情報を出力する音声認識手段と、楽曲の歌詞を所定の単語毎に分割した歌詞単語データと、各歌詞単語データの楽譜における位置を示す楽譜箇所データとを対応付けて記憶する記憶手段と、前記音声認識手段から出力される音声認識情報が前記歌詞単語データのいずれかと一致するか否かを比較し、一致する前記歌詞単語データがある場合には、当該一致した歌詞単語データに対応付けて記憶された楽譜箇所データに示される楽譜位置を歌詞位置情報として出力する歌詞位置検出部と、前記歌詞位置検出部から出力される歌詞位置情報に示される楽譜位置を含む楽譜画面を前記楽譜データに基づいて表示する制御手段とを具備することを特徴とする。
【０００８】
また、請求項２に記載の演奏装置は、楽曲データに基づき演奏を実行する演奏装置であって、音声を入力する音声入力手段と、前記音声入力手段によって入力された音声を認識し、音声認識情報を出力する音声認識手段と、楽曲の歌詞を所定の単語毎に分割した歌詞単語データと、各歌詞単語データの楽譜における演奏位置を示す演奏箇所データとを対応付けて記憶する記憶手段と、前記音声認識手段から出力される音声認識情報が前記歌詞単語データのいずれかと一致するか否かを比較し、一致する前記歌詞単語データがある場合には、当該一致した歌詞単語データに対応付けて記憶された演奏箇所データに示される演奏位置を歌詞位置情報として出力する歌詞位置検出部と、前記歌詞位置検出部から出力される歌詞位置情報に示される演奏位置を含む演奏を前記楽曲データに基づき実行する制御手段とを具備することを特徴とする。
【００１１】
また、請求項３に記載の演奏装置は、楽曲データに基づき演奏を実行する演奏装置であって、音声を入力する音声入力手段と、前記音声入力手段によって入力された音声を認識し、音声認識情報を出力する音声認識手段と、所定のキーワードに対応した音声認識情報が音声認識手段から出力された場合に、所定のキーワードの入力に要した時間を検出し、検出結果を出力する時間検出手段と、前記時間検出手段から出力される検出結果に基づき、前記楽曲データの演奏テンポを決定し、演奏テンポ情報を出力するテンポ決定手段と、前記楽曲データに基づく演奏を、前記テンポ決定手段から出力される演奏テンポ情報に基づいて実行する制御手段とを具備することを特徴とする。
【００１２】
【発明の実施の形態】
以下、本発明をさらに理解しやすくするため、実施の形態について説明する。かかる実施の形態は、本発明の一態様を示すものであり、この発明を限定するものではなく、本発明の範囲で任意に変更可能である。
【００１３】
Ａ．第１の実施形態
Ａ−１；実施形態の構成
図１は、自動ピアノ２００の外観を示す斜視図であり、図２は、自動ピアノ２００の構成を説明するための図である。
【００１４】
Ａ−１−１；自動ピアノ２００の機械的構成
図２に示すように、自動ピアノ２００は鍵１の運動をハンマ２に伝達するアクション機構３と、ハンマ２によって打撃される弦４と、鍵１を駆動するソレノイド５と、弦４の振動を止めるダンパ６と、ハンマ２の移動を規制するストッパ８（図中矢印方向に移動可能）からなる消音機構とを備えている。そのほかにも、この自動ピアノ２００は従来のピアノに搭載される機構（例えば、ハンマ２の暴れを防止するバックチェック７等）と同様のものを備えるが、発明の趣旨とは関係がないため、説明を省略する。
【００１５】
Ａ−１−２；自動ピアノ２００の電気的構成
この自動ピアノ２００は、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成され、自動ピアノ２００全体の制御を司る制御部２４０と、制御部２４０から供給される制御信号に基づいてサーボ機構の制御を行うサーボコントローラ２１２と、後述するキーセンサ２２１から出力される制御信号に基づいて電子的な楽音を発生する電子楽音発生部２２２と、電子楽譜画面等を表示する液晶パネル等からなる表示パネル２５０と、電子楽譜データ及び演奏データ等を格納する記憶部２１１とを有している。
制御部２４０は、記憶部２１１から供給される演奏データに基づいて、各時刻で各鍵の位置を制御するための制御信号をサーボコントローラ２１２へと供給する。
サーボコントローラ２１２は、制御部２４０から供給される制御信号に基づいて、各鍵１に対応する各ソレノイド５に対して各鍵１の位置に対応する励磁電流を流すと共に、各鍵１に対応して設けられている各ソレノイド５から入力されるフィードバック信号Ｖｙを用いて各ソレノイド５に流す励滋電流のフィードバック制御を行う。また制御部２４０は、図示せぬ駆動機構をオン・オフ駆動することによってストッパ８の位置制御も行っている。
制御部２４０は、上述したようにして記憶部２１１等から供給される演奏データに基づいて、サーボコントローラ２１２を介して各鍵１に対応して設けられている各ソレノイド５の位置制御を行い、打弦による機械的な楽音発生制御を行う。
【００１６】
また、自動ピアノ２００には、各鍵１の動作を検出する複数のキーセンサ２２１が設けられている。
キーセンサ２２１は、各鍵１の下面に対応する位置に設けられており、鍵１の状態変化（押鍵、離鍵等）に応じた信号を制御部２４０に出力する。
制御部２４０は、キーセンサ２２１から供給される信号に基づいて、電子楽音発生部２２２に制御信号を供給し、電子的な楽音の発生等を制御する。また、制御部２４０は、鍵１の動作に応じて電子的に楽音を発生させる際、ストッパ８の位置制御を行うことによりハンマ２による弦４の打撃を阻止し、打弦による発音を抑止する制御も行う。このように、自動ピアノ２００は、打弦による機械的な楽音発生制御を行う機能に加え、音源やスピーカから構成される電子楽音発生部２２２に制御信号を供給し、演奏データに応じた電子的な楽音発生制御を行う機能をも備えている。
【００１７】
また、本実施形態に係る自動ピアノ２００は、マイクロホン２２０及びＡ／Ｄ変換器２３０を備えている。
マイクロホン２２０は、所定の指向性を有するマイクロホンであり、ユーザが発する音声を拾いやすい向きに取り付けられている（図１参照）。また、Ａ／Ｄ変換器２３０は、マイクロホン２２０を介して入力されるアナログ信号をデジタル信号に変換し、制御部２４０出力する。
制御部２４０は、マイクロホン２２０及びＡ／Ｄ変換器２３０を介して入力されるユーザの音声コマンドを認識し、認識結果に基づき楽譜画面の切り換え制御等を行う。このように、制御部２４０は上述した演奏制御機能の他、楽譜画面の切り換え制御を行う機能をも備えている。
以下、本発明の特徴部分である制御部２４０の表示内容制御機能の構成について、図３を参照して説明する。
【００１８】
＜制御部２４０の機能構成＞
図３は、制御部２４０の機能構成を示すブロック図である。
制御部２４０は、信号処理部２４１と、音声認識部２４２と、コマンド解釈部２４３と、コマンドデータベース部２４４と、表示制御部２４５とを有している。
信号処理部２４１は、Ａ／Ｄ変換器２３０から出力されるデジタル信号に対して信号処理を施し、これを音声データとして音声認識部２４２に供給する。信号処理部２４１が行う信号処理の内容は、音声認識部２４２から供給される信号処理指示信号等に応じて変更される。
【００１９】
音声認識部２４２は、まず信号処理部２４１から入力された音声データを所定のフレーム単位のデータに分割し、予め登録してある各音素モデルをモデル化した音響モデルを比較対照として、波形比較を行い両者がマッチしている確率の高い音素を決定する音素解析を行う。次に、音声認識部２４２は、音素解析処理によって暫定的に決定された音素の並びと、単語辞書２４２ａとを比較し、単語として成立する可能性が高い単語を決定する。そして、それらの単語に対して言語モデルを用いて構文解析を行い、例えば日本語として成立する文を決定し、決定した文を認識データとしてコマンド解釈部２４３へ供給する。なお、この単語辞書２４２ａには、予め自動ピアノ２００の制御において用いられるコマンドに関する単語（例えば、制御の開始及び停止を指示する「スタート」、「ストップ」等の単語）の他、電子楽譜画面の切り換えコマンドに関連する単語（例えば、次ページ及び前ページの電子楽譜の表示を指示する「ツギ」、「マエ」等の単語）が登録されている。
【００２０】
コマンド解釈部２４３は、音声認識部２４２から供給される認識データとコマンドデータベース部２４４に予め登録されているコマンドに対応するデータとを比較することによって、認識データがどのようなコマンドに関する指示を行うものなのかを決定する。そして、最も確率の高い音声入力コマンドと、それに続くいくつかの他のコマンドの候補とをあわせて、表示制御部２４５で一意に解釈できる形態のデータ形式に変換し、コマンドデータとして表示制御部２４５へ送出する。
【００２１】
コマンドデータベース部２４４は、電子楽譜画面の切り換えコマンドに関連する単語と、コマンドデータとを対応付けて管理している。具体的には、図３に示すように、次ページの電子楽譜表示を指示する単語「ツギ」と、次ページの電子楽譜を表示するためのコマンド「ＮＥＸＴ」とが対応付けられ、・・・、前ページの電子楽譜表示を指示する単語「マエ」と、前ページの電子楽譜を表示するためのコマンド「ＢＡＣＫ」とが対応付けられている。
表示制御部２４５は、コマンド解釈部２４３から供給されるコマンドデータに基づき、表示パネル２５０に表示される電子楽譜画面の切り換え等の表示内容に関する制御を行う。
次に、ユーザが演奏を行う際の自動ピアノ２００の動作について説明する。
【００２２】
Ａ−２；実施形態の動作
まず、ユーザは自動ピアノ２００の図示せぬ操作部を操作し、演奏曲の選択を行う。ユーザによって演奏曲の選択が行われると、表示制御部２４５は、この演奏曲に対応した電子楽譜表示用のデータ（以下、単に電子楽譜データという）を記録装置２１１から読み出す。そして表示制御部２４５は、第１ページ目の電子楽譜を表示するのに必要な電子楽譜データを生成し、これを表示パネル２５０に出力する。これにより、表示パネル２５０には、第１ページ目の電子楽譜が表示される。
【００２３】
図４は、表示パネル２５０に表示された第１ページ目の電子楽譜を例示した図である。
同図に示す楽譜ａは、音高及び音の長さを示す音符等により構成された演奏情報であり、ユーザは、この楽譜ａを参照しながらピアノの演奏を行う。
テンポｂは、楽譜を演奏する目安としてのテンポ情報である。図に示す例は、１分間に４分音符を６０個演奏する演奏テンポであることを示しているが、この演奏テンポは、ユーザが操作部を操作することにより、設定・変更可能となっている。表示制御部２４５は、ユーザによって演奏テンポの設定等が行われると、この設定されたテンポｂに応じてユーザが演奏すべき音符を順次点滅させていく。
タイトルｃは、曲のタイトルや、作曲者等のタイトル情報である。また、このタイトルｃには、曲のどの部分を演奏しているのか（例えば、曲の頭から数えて第何小節目を演奏しているのか）等といった情報も含まれている。
【００２４】
このように第１ページ目の電子楽譜が表示パネルに表示されている状態において、マイクロホン２２０及びＡ／Ｄ変換器２３０を介して「ツギ」という言葉が自動ピアノ２００に入力されると、制御部２４０は、音声認識処理等を開始する。具体的には、マイクロホン２２０及びＡ／Ｄ変換器２３０を介して自動ピアノ２００に入力された音声は、信号処理部２４１を介し音声データとして音声認識部２４２に入力される。音声認識部２４２は、入力された音声データの音素解析を行い、これによって暫定的に決定された音素の並びと単語辞書２４２ａとを比較し、単語として成立する可能性が高い単語を決定する。ここで、音声認識部２４２の単語辞書２４２ａには電子楽譜のページ送りを意味する「ツギ」という単語が登録されている。従って、音声認識部２４２は音素解析結果に基づき決定した「ツギ」という単語の認識データをコマンド解釈部２４３に出力する。コマンド解釈部２４３は、音声認識部２４２から認識データを受け取ると、コマンドデータベース部２４４を参照することにより、認識データがどの様なコマンドを意味するものであるのかを決定する。前述したように、コマンドデータベース部２４４には、電子楽譜のページ送りを意味する「ツギ」という単語と、この電子楽譜のページ送りコマンド「ＮＥＸＴ」とが対応付けて格納されている。従って、コマンド解釈部２４３は、音声認識部２４２から送られてくる認識データに対応するコマンド「ＮＥＸＴ」をコマンドデータベース部２４４から読み出し、これを表示制御部２４５に送出する。
【００２５】
表示制御部２４５は、コマンド解釈部２４３から電子楽譜のページ送りコマンド「ＮＥＸＴ」を受け取ると、図５に示すフローを実行する。すなわち、表示制御部２４５は、電子楽譜のページ送りコマンド「ＮＥＸＴ」が入力されたことを検出すると（ステップＳ１）、電子楽譜の表示ページが曲の最後のページであるか否かを判断する（ステップＳ２）。表示制御部２４５は、電子楽譜の表示ページが最後のページであると判断した場合には（ステップＳ２；ＹＥＳ）、処理を終了する。一方、表示制御部２４５は、ステップＳ２において、電子楽譜の表示ページが曲の最後のページでないと判断すると（ステップＳ２；ＮＯ）、ステップＳ３に進む。表示制御部２４５は、ステップＳ３においてＲＡＭ（図示略）から次ページの電子楽譜データを読み出し、読み出した電子楽譜データを表示パネルに供給する。これにより、表示パネルには、次ページの電子楽譜が表示されることとなる。
なお、ここでは、次ページの電子楽譜表示を指示する単語「ツギ」が自動ピアノ２００に入力された場合を例に説明を行ったが、前ページの電子楽譜表示を指示する単語「マエ」が自動ピアノ２００に入力された場合も、同様の処理が行われる。
【００２６】
以上の説明から明らかなように、本実施形態に係る自動ピアノ２００によれば、ユーザはマイクロホン２２０にむかって、所定のキーワードを発声することにより、表示パネル２５０に表示される電子楽譜画面を切り換えることができる。従って、ユーザは両手を使ってピアノを演奏している場合であっても、演奏を中断することなく表示画面を切り換えることができる。このため、ユーザはピアノ演奏に集中することができる。
また、表示パネル２５０には、電子楽譜のみを表示すればよく、従来のように電子楽譜とあわせて手動操作用のコントロールボタンを表示する必要がない。従って、従来と同じ表示面積を有する表示パネルを使用したとしても、電子楽譜を表示するためのスペースを広くすることができる。
【００２７】
Ａ−３；変形例
＜変形例１＞
本実施形態では、表示パネルに表示される電子楽譜画面を音声によって切り換える場合の説明を行ったが、例えば表示パネルに表示される電子楽譜の大きさ等を音声によって切り換えるようにしても良い。具体的には、電子楽譜の拡大表示（例えば、１〜１０倍等）を指示する単語「ズーム」や、電子楽譜の分割表示（例えば、上下方向に２分割して電子楽譜を表示する等）を指示する単語「ブンカツ」等を音声認識部２４２の単語辞書２４２ａ及びデータベース部２４４に登録しておく。また、データベース部２４４には、電子楽譜の拡大表示を指示する単語「ズーム」に対応するコマンド「ＥＸＰＡＮＤ」及び電子楽譜の分割表示を指示する単語「ブンカツ」に対応するコマンド「ＤＩＶＩＤＥ」等を登録しておく。これにより、ユーザは表示パネル２５０に表示される電子楽譜の大きさ等を音声によって自由に切り換えることができる。
【００２８】
＜変形例２＞
また、本実施形態における電子楽譜は、楽譜ａ、テンポｂ、タイトルｃとにより構成されていたが（図４参照）、例えば図６に示すように、楽譜ａの任意の箇所に練習マークｄを設けるようにしても良い。
具体的には、制御部２４０に練習マーク書き込み手段を設け、ユーザが図示せぬ操作部を操作することにより、楽譜ａの任意の箇所に練習マークｄを付加できる構成とする（図６に示す、練習マークＡ参照）。もちろん、この練習マークは１つに限定することを趣旨とするものではなく、複数（例えば、練習マークＡ、練習マークＢ等）設けることも可能であり、また任意に練習マークｄの追加及び削除も可能である。
また、これに合わせて音声認識部２４２の単語辞書２４２ａ及びデータベース部２４４には、練習マークＡを含む電子楽譜画面の表示を指示する単語「マークＡ」及びデータベース部２４４にはさらに、対応するコマンド「ＪＵＭＰ Ａ」を登録する。
制御部２４０をこのように構成することで、ユーザはいつでも練習マークＡの付加された箇所を含む楽譜を表示パネル２５０に表示させることができる。具体的には、次の通りである。
【００２９】
例えば、練習マークＡの付加された電子楽譜のページ（第２ページ）とは異なるページ（第１０ページ）の電子楽譜が表示パネル２５０に表示されていたとする。
ここで、ユーザが練習マークＡの付加された部分を練習しようとした場合、ユーザはマイクロホンに向かって「マークＡ」と発声する。これにより、コマンド解釈部２４３はコマンドデータベース部２４４に登録された「マークＡ」に対応するコマンド「ＪＵＭＰ Ａ」を読み出し、読み出したコマンドデータ「ＪＵＭＰ Ａ」を表示制御部２４５に供給する。表示制御部２４５は、コマンド解釈部２４３からのコマンドデータ「ＪＵＭＰ Ａ」に基づき、マークＡの付加された第２ページ目の電子楽譜データを表示パネル２５０に供給する。これにより、表示パネル２５０に表示される電子楽譜は、第１０ページから第２ページへと切り換わる。
制御部２４０をこのように構成することで、ユーザは簡単な操作により練習マークの付加された電子楽譜を表示パネル２５０に表示させることができる。
【００３０】
＜変形例３＞
また、以上説明した変形例２では、ユーザが操作部を操作して練習マークを付加する場合を例に説明を行ったが、例えばユーザが音声で練習マークの位置を指定する場合にも適用可能である。例えば、自動演奏モード等から練習マーク書き込みモードへの切り換えを指示する単語「カキコミモード」を単語辞書２４２ａ及びデータベース部２４４に登録し、データベース部２４４にはさらに、コマンド「ＭＯＤＥ ＷＲＩＴＥ」を登録する。
ユーザは音声によって練習マークの位置を指定する際、マイクロホンに向かって「カキコミモード」と発声する。これにより、自動ピアノは練習マーク書き込みモードに設定される。そして、ユーザは、練習マークの位置を指定すべく、マイクロホンに向かって「ショウセツバンゴウ １１」、「マーク Ａ」と発声する。ここで、「ショウセツバンゴウ」に続く「１１」は、小節番号を指定する数であり、「マーク」に続く「Ａ」は、複数の練習マーク（例えば、練習マークＡ、練習マークＢ、・・・等）のうち、いずれの練習マークであるかを指定するアルファベットである。なお、これらの単語及び対応するコマンドは、すべて単語辞書２４２ａ及びコマンドデータベース部２４４に登録されている。このようにして、ユーザがマイクロホンに向かって「ショウセツバンゴウ １１」、「マークＡ」と発声することにより、小節番号１１の位置に練習マークＡを書き込むべきコマンドが制御部に入力され、これにより楽譜ａの小節番号１１の位置に練習マークＡが書き込まれる。
【００３１】
このように、音声によって練習マークの位置を指定することができれば、ユーザは両手がふさがっているような場合（例えば、演奏中である場合等）においても、所望する位置に練習マークを付加することができる。
なお、練習マークはユーザが音声等により位置を指定することも可能であるが、予め楽譜ａの所定箇所に練習マークが付加されているデータを用いることによっても、音声による楽譜画面の切り換えが可能である。
例えば、練習マークＡが予め小節番号３３（第３ページ目）に付加されていたとする。ここで、ユーザがマイクロホンに向かって「マーク Ａ」と発声すると、上述した場合と同様に、練習マークＡの付加された第３ページ目の楽譜が表示パネルに表示される。ここで、練習マークＡの付加された楽譜画面を表示パネルに表示する際には、練習マークＡが付加された位置をユーザに教示すべく、練習マークＡの付加された小節番号、表示ページ等をタイトルｃに表示するようにしても良い。
【００３２】
＜変形例４＞
また、上述した自動ピアノは、練習マーク、小節番号等から表示すべき電子楽譜ページを特定し、当該電子楽譜ページを表示パネルに表示する構成であったが、もちろんページ番号を直接音声入力するように構成しても良い。
【００３３】
＜変形例５＞
なお、変形例２及び変形例３は、練習マークを用いて電子楽譜の表示ページを切り換えることを想定しているが、これに限定する趣旨ではなく、例えばユーザが小節番号（曲の頭から数えて第何小節目であるかを示す番号）を指定することにより、電子楽譜の表示ページを切り換えるようにしても良い。前述したように、電子楽譜のタイトルｃ部分には、曲の頭から数えて第何小節目を演奏しているのかといった情報が表示される。従って、ユーザは、何回練習しても間違えてしまう部分の小節番号（例えば、１１）を覚えておき、電子楽譜の表示ページを切り換える際には小節番号を指定することにより、練習マークの付加された電子楽譜を表示パネル２５０に表示させることができる。なお、小節番号を指定して電子楽譜画面の切り換えを行う場合の制御部の構成は、変形例１と同様であるため、これ以上の説明は省略する。
【００３４】
＜変形例６＞
また、以上説明した本実施形態及び変形例では、単に電子楽譜の表示ページを音声によって切り換える場合を説明したが、これに限定する意味ではなく、例えば自動演奏機能等を利用して演奏を再生しているような場合には、この表示ページの切り換えに応じて演奏の再生位置を切り換えるようにしても良い。具体的には、コマンド解釈部２４３の後段に、再生位置制御部を設ける。この再生位置制御部は、コマンド解釈部からのコマンドデータに基づき、楽譜に対応する演奏データのどの部分を再生すべきか判断する。そして、再生位置制御部は、この判断結果に応じた制御データを電子楽音発生部２２２等に出力し、再生位置の切り換えを行う。電子楽音発生部２２２等は、この制御データに基づき楽音を発生し、これにより電子楽譜の表示ページに応じた演奏が再現されることとなる。なお、電子楽譜の表示ページに応じて自動演奏させる場合には、制御対象をサーボコントローラ２１２に置き換えることによって同様に実施することができるため、これ以上の説明を省略する。
【００３５】
Ｂ．第２の実施形態
Ｂ−１；実施形態の構成
上述した第１の実施形態に係る制御部２４０は、ユーザが発声したコマンドに基づき電子楽譜の表示制御を行っていた。これに対し、本実施形態に係る制御部２４０ａは、ユーザが発声する歌詞により、電子楽譜の表示制御を行う構成となっている。なお、自動ピアノのハードウェア構成については、前掲図２と同様であるため説明を省略する。
【００３６】
図７は、本実施形態に係る制御部２４０ａの機能構成を示す図である。
本実施形態に係る制御部２４０ａには、前掲図３に示すコマンド解釈部２４３及びコマンドデータベース部２４４に換えて歌詞位置検出部２４６が設けられている。
この歌詞位置検出部２４６は、記憶部２１１から転送される電子楽譜データに基づき、ユーザが発声する歌詞単語が電子楽譜のどの部分の歌詞に対応するかを検索し、検索結果を表示制御部２４５に出力する。歌詞位置検出部２４６がこのような検索を行う際に用いる電子楽譜データの構成について、図８を参照して説明する。
【００３７】
図８は、電子楽譜データの主要構成を示す図である。
電子楽譜データは、音程データと、リズムデータと、歌詞データと、ページデータとを有している。その他にも、曲の題名、作曲者名、作詞者名等を示すデータを含んでいるが、本願発明の趣旨とは関係がないため、その説明を省略する。
音程データは、ド（Ｃ）〜シ（Ｂ）までの音を数字で表現しており、ド（「０」）を基準に半音の幅を１として各音を表現している。例えば、同図に示す「１」は、ドよりも半音高いド♯であることを意味し、「２」は、ドよりも１音高い（すなわち、ド♯よりも半音高い）レであることを意味している。また、基準の音よりも１オクターブ高い同名音には、数字の左方に＋符号を、基準の音よりも１オクターブ低い同名音には、数字の右方に−符号を付している。例えば、「＋１」は、基準のドよりも１オクターブ高いド♯であることを意味している。
【００３８】
リズムデータは、４分音符を音の長さの基準とし、この４分音符を「１」で表現している。例えば、同図に示す「０．５」は、４分音符の半分の８分音符であり、「４」は、４分音符４つ分の全音符であることを意味している。
歌詞データは、テキスト形式で作成されており、各音程、リズムデータに対応した位置に歌詞が記載されている。
ページデータは、各音程、リズム、歌詞データが何ページ目の電子楽譜に対応するものであるかを表現している。
なお、電子楽譜データのフォーマットは、ここで例示したものに限定するものではなく、例えば音程データに代えて音高データとしても良い。
【００３９】
本実施形態に係る自動ピアノの主要構成は、以上説明した通りである。
次に、本実施形態の動作について説明する。なお、以下の説明は、自動演奏に合わせて電子楽譜画面が切り換わっていくなかで、ユーザがマイクロホン２２０に向かって歌詞を発声することにより、電子楽譜画面の切り換えを指示した場合を想定している。
【００４０】
Ｂ−２；実施形態の動作
ユーザがマイクロホン２２０に向かって歌詞を発声すると、自動ピアノの制御部２４０は、音声認識処理等を開始する。
ここで、ユーザがマイクロホン２２０に向かって発声した歌詞は、「トナカイ」であったとする。
マイクロホン２２０及びＡ／Ｄ変換器２３０を介して自動ピアノに入力されたユーザの音声は、信号処理部２４１を介し音声データとして音声認識部２４２に入力される。音声認識部２４２は、入力された音声データの音素解析を行い、これによって暫定的に決定された音素の並びと単語辞書２４２ａとを比較し、単語として成立する可能性が高い単語を決定する。ここで、本実施形態に係る音声認識部２４２の単語辞書２４２ａには自動ピアノの制御に関連する単語のみならず、歌詞等にも用いられる様々な単語も登録されている。従って、音声認識部２４２は音素解析結果に基づき決定した「トナカイ」という単語の認識データを歌詞位置検出部２４６に出力する。
【００４１】
歌詞位置検出部２４６は、音声認識部２４２から認識データを受け取ると、記憶部２１１から転送された電子楽譜データを参照することにより、ユーザが発声した歌詞「トナカイ」が電子楽譜のどの部分に対応する歌詞であるのか検索を行う。前述したように、電子楽譜データには、各音程、リズム、歌詞データが何ページ目の電子楽譜に対応するものであるかを示すページデータが含まれている。従って、歌詞位置検出部２４６は、当該歌詞が電子楽譜の第何ページに表示される歌詞であるかを判断することができる。歌詞位置検出部２４６は、検出結果から歌詞「トナカイ」が電子楽譜の何ページ目に表示される歌詞であるかを認識すると、この認識結果をページ情報として表示制御部２４５に出力する。ここで、歌詞位置検出部２４６は、歌詞「トナカイ」が電子楽譜の２ページ目に表示される歌詞であると認識し、表示制御部２４５に対して２ページ目の電子楽譜を表示すべき旨のページ情報を出力したとする。
表示制御部２４５は、歌詞位置検出部２４６からのページ情報に基づき、第２ページ目の電子楽譜データをＲＡＭから読み出し、読み出した電子楽譜データを表示パネル２５０に供給する。この結果、表示パネル２５０には、歌詞「トナカイ」が表示された第２ページ目の電子楽譜が表示される。
【００４２】
以上説明したように、本実施形態に係る自動ピアノは、ユーザが発声する歌詞単語により表示位置を指定することができる。もちろん、単に電子楽譜の表示ページを歌詞によって切り換えることもできるが、前述した第１の実施形態における変形例６と同様、自動演奏機能等を利用して演奏を再生しているような場合には、この表示ページの切り換えに応じて演奏の再生位置を切り換えるようにしても良い。具体的には、歌詞位置検出部２４６の後段に、再生位置制御部を設ける。この再生位置制御部は、歌詞位置検出部からのページ情報に基づき、電子楽譜のどの部分を再生すべきか判断する。そして、再生位置制御部は、この判断結果に応じた制御データを電子楽音発生部２２２等に出力し、再生位置の切り換えを行う。電子楽音発生部２２２等は、この制御データに基づき楽音を発生し、これにより電子楽譜の表示ページに応じた演奏が再現されることとなる。なお、電子楽譜の表示ページに応じて自動演奏させる場合には、制御対象をサーボコントローラ２１２に置き換えることによって同様に実施することができるため、これ以上の説明を省略する。
【００４３】
Ｂ−３；変形例
以上説明した本実施形態に係る自動ピアノは、ユーザが発声する歌詞に基づき電子楽譜の表示内容を制御する構成であったが、これに限定する趣旨ではなく、例えばユーザがハミングあるいは歌唱等を行い、このハミング等から音の高さ（ピッチ）を検出し、これに基づき電子楽譜の表示内容を制御するようにしても良い。
図９は、変形例に係る制御部２４０ｂの機能構成を示す図である。
制御部２４０ｂは、ピッチ検出部２４７と、音符列比較部２４８と、表示制御部２４５とを有している。
ピッチ検出部２４７は、マイクロホン２２０及びＡ／Ｄ変換器２３０を介して入力されるハミング等からピッチを抽出して音高列を生成する。
そして、ピッチ検出部２４７は生成した音高列を音高列比較部２４８が一意に解釈できる形態のデータ形式（例えば、電子楽譜データと同様のデータ形式等）に変換し、音高列データとして音符列比較部２４８に送出する。
音高列比較部２４８は、記憶部２１１から転送される電子楽譜データ（具体的には、音程データ）に基づき、ピッチ検出部２４７から送られてくる音高列データが電子楽譜のどの部分の音高列に対応するか、そしてその音高列が表示される電子楽譜は第何ページ目であるのかを検索し、検索結果をページ情報として表示制御部２４５に出力する。
制御部２４０ｂをこのように構成することで、マイクロホン２２０及びＡ／Ｄ変換器２３０を介して自動ピアノに入力されるハミング等からピッチを検出し、この音高列と一致する音高列を電子楽譜データから検出することにより電子楽譜の表示ページを切り換えることができる。なお、ハミング等からピッチを検出する際の具体的動作については、本実施形態と同様に説明することができるため、説明を省略する。また、変形例においても、本実施形態と同様、表示ページの切り換えに応じて演奏の再生位置を切り換えるようにしても良い。
【００４４】
Ｃ．第３の実施形態
Ｃ−１；実施形態の構成
上述した第２の実施形態に係る自動ピアノは、ユーザが発声する歌詞及びハミング等に基づき、電子楽譜の表示及び演奏の再生等を制御する構成であった。これに対し、本実施形態に係る自動ピアノは、音声によるカウント（例えば、「ワン、ツー、スリー、ハイ！」等）で、テンポ設定等を行う構成となっている。なお、以下の説明では、「ワン、ツー、スリー、ハイ！」等テンポ設定を行うための音声をカウント音声という。
【００４５】
図１０は、本実施形態に係る制御部２４０ｃの機能構成を示す図である。
本実施形態に係る制御部２４０ｃには、テンポ検出部２４９が設けられている。
このテンポ検出部２４９は、音声認識部２４２からカウント音声に対応した認識データを受け取り、この認識データの受け取りタイミングからテンポを算出する。そして、テンポ検出部２４９は、算出結果をテンポデータとして表示制御部２４５に出力する。
ここで、音声認識部２４２には、マイクロホン２２０及びＡ／Ｄ変換器２３０を介してカウント音声以外の音声（例えば、演奏の開始を指示する「スタート」等）も入力される。音声認識部２４２は、入力される音声がカウント音声であるのか（すなわち、入力される音声が「ワン」、「ツー」、「スリー」、「ハイ！」であるのか）あるいはカウント音声以外の音声であるのかを判断する音声種判断機能を備えている。音声認識部２４２は、マイクロホン２２０及びＡ／Ｄ変換器２３０を介して入力された音声がカウント音声であると判断した場合には、認識データをテンポ検出部２４９に出力し、一方入力された音声がカウント音声以外の音声であると判断した場合には、認識データをコマンド解釈部２４３に出力する。
次に、本実施形態に係る自動ピアノにコマンド音声が入力された場合の動作について、図１１を参照して説明する。
【００４６】
Ｃ−２；実施形態の動作
図１１は、自動ピアノにコマンド音声が入力された場合を説明するための図である。
まず、ユーザは演奏テンポを設定すべく、マイクロホン２２０に向かって「ワン」、「ツー」、「スリー」、「ハイ！」と順番に発声していく。マイクロホン２２０及びＡ／Ｄ変換器２３０を介して自動ピアノに入力された各音声は、信号処理部２４１において音声データに変換され、変換された音声データが順次音声認識部２４２に入力される。ここで、音声認識部２４２は、信号処理部２４１を介して順次入力される音声データがカウント音声であるのか、あるいはカウント音声以外の音声であるのかを判断する。
音声認識部２４２は、音声種判断機能を利用して入力された音声がカウント音声であると判断すると、各音声に対応する認識データをテンポ検出部２４９に出力する。
【００４７】
テンポ検出部２４９は、まず第１番目の認識データ（すなわち、音声「ワン」に対応する認識データ）を受け取ると、図示せぬタイマを参照することにより、認識データを受け取った時刻（Ｔ＝ｔ０）を読み出し、読み出した計時データを図示せぬ記憶部の所定領域に格納する。その後、第２番目の認識データ（すなわち、音声「ツー」に対応する認識データ）及び第３番目の認識データ（すなわち、音声「スリー」に対応する認識データ）がテンポ検出部２４９に入力されると、テンポ検出部２４９はタイマの計時時刻をそれぞれ読み出し（Ｔ＝ｔ１、ｔ２）、この計時データを記憶部の所定領域にそれぞれ格納する。また、テンポ検出部２４９は、第３番目の認識データ（すなわち、音声「スリー」に対応する認識データ）を受け取ると、演奏テンポＴ（ｔｅｍｐ）の算出を行う。演奏テンポＴ（ｔｅｍｐ）については、例えば下記に示す演算を行うことにより決定する。
Δｔ１＝ｔ１−ｔ０
Δｔ２＝ｔ２−ｔ１
Δｔ（ａｖｅ）＝（Δｔ１＋Δｔ２）／２
Ｔ（ｔｅｍｐ）＝６０／Δｔ（ａｖｅ）
テンポ検出部２４９は、テンポ設定用に予め定められたキーワード「ワン」、「ツー」、「スリー」の入力に要した時間に基づき演算を行い、演算結果から得られた演奏テンポＴ（ｔｅｍｐ）をテンポデータとして表示制御部２４５に出力する。表示制御部２４５は、テンポデータを受け取ると、このテンポデータに基づき生成した電子楽譜データを表示パネル２５０に供給する。これにより、電子楽譜のテンポｂ（図４参照）には、ユーザのカウント音声により設定されたテンポ（例えば、１分間に４分音符を１２０個演奏する演奏テンポ等）が表示される。そして、表示制御部２４５は、第４番目の認識データ（すなわち、音声「ハイ！」に対応する認識データ）を受け取ると、この設定されたテンポｂに応じてユーザが演奏すべき音符の点滅を開始する。
【００４８】
以上説明したように、本実施形態に係る自動ピアノは、ユーザのカウント音声を発するスピードに応じて、電子楽譜画面上のテンポｂ（図４参照）を切り換えることができる。もちろん、本実施形態においても、上述した第２の実施形態と同様、自動演奏機能等を利用して演奏を再生しているような場合には、電子楽譜画面の表示切り換えに応じて演奏の再生テンポを切り換えることも可能である。具体的には、テンポ検出部２４９の後段に、再生制御部を設ける。この再生制御部は、テンポ検出部からのテンポデータに基づき、演奏の再生速度を制御する役割を担っている。電子楽音発生部等は、再生制御部による制御の下、楽音を生成する。これにより、ユーザのカウント音声に応じたテンポで演奏が再生されることとなる。
【００４９】
なお、このように自動演奏機能を利用して再生しているような場合に適用できるのは勿論であるが、ユーザが自動演奏機能を利用して曲の頭から再生する場合にも適用可能である。
例えば、ユーザが図示せぬ操作部を操作し、再生曲の選択を行った後、演奏テンポを設定すべく、マイクロホンに向かって「ワン」、「ツー」、「スリー」、「ハイ！」と発声したとする。この場合には、第４番目の単語「ハイ！」が再生開始のトリガとなり、ユーザのカウント音声に応じた演奏テンポで自動的に演奏が開始される。すなわち、ユーザは演奏を開始すべき音声コマンド（例えば、「スタート」等）をマイクロホン２２０に向かって発声することなく、演奏を開始させることができるのである。
また、本実施形態に係る自動ピアノは、カウント音声に基づき演奏テンポを決定する構成であったが、これに限定する趣旨ではなく、例えばカウント音声から再生音等の音量を決定するようにしても良い。具体的には、音声認識部２４２の後段に音量検出部を設ける。音量検出部は、入力されるカウント音声の音量レベルが例えばレベル１〜レベル２０のいずれの音量レベルに相当するかを判断し、判断結果を音量データとして再生制御部に出力する。ここで、再生制御部は、テンポ検出部２４９からのテンポデータに基づき、演奏の再生速度を制御すると共に、音量検出部からの音量データに基づき、再生音の音量を制御する役割を担っている。電子楽音発生部２２２等は、再生制御部による制御の下、楽音を生成する。これにより、ユーザのカウント音声に応じた演奏テンポ及び音量で演奏が再現されることとなる。なお、自動演奏させる場合には、制御対象をサーボコントローラ２１２に置き換えることによって同様に実施することができるため、これ以上の説明を省略する。
また、本願発明は、自動ピアノに適用することを趣旨とするものではなく、ヴァイオリン等の楽器は勿論のこと、パーソナルコンピュータ等楽器以外の電子機器等にも適用可能である。
【００５０】
【発明の効果】
以上説明したように、本発明によれば、両手を使って演奏する必要がある楽器においても、演奏を中断させることなく表示制御及び楽音制御を行うことができるという効果がある。
【図面の簡単な説明】
【図１】 第１の実施形態における自動ピアノ２００の外観を示す斜視図である。
【図２】 同実施形態における自動ピアノ２００の構成を示す図である。
【図３】 同実施形態における制御部２４０の機能構成を示す図である。
【図４】 同実施形態における電子楽譜の表示例を示す図である。
【図５】 同実施形態における表示制御部２４５の動作を示すフローチャートである。
【図６】 同実施形態における電子楽譜の表示例を示す図である。
【図７】 第２の実施形態における制御部２４０ａの機能構成を示す図である。
【図８】 電子楽譜データの構成を説明するための図である。
【図９】 同実施形態の変形例における制御部２４０ｂの機能構成を示す図である。
【図１０】 第３の実施形態における制御部２４０ｃの機能構成を示す図である。
【図１１】 同実施形態における自動ピアノにコマンド音声が入力された場合を説明するための図である。
【図１２】 従来の電子楽譜の表示例を示す図である。
【符号の説明】
２４０・・・制御部、２５０・・・表示パネル、２４２・・・音声認識部、２４３・・・コマンド解釈部、２４４・・・コマンドデータベース部、２４５・・・表示制御部、２４６・・・歌詞位置検出部、２４７・・・ピッチ検出部、２４８・・・音符列比較部、２４９・・・テンポ制御部。
Claims (3)
- 楽譜データに基づき楽譜画面を表示する楽譜画面表示装置であって、
音声を入力する音声入力手段と、
前記音声入力手段によって入力された音声を認識し、音声認識情報を出力する音声認識手段と、
楽曲の歌詞を所定の単語毎に分割した歌詞単語データと、各歌詞単語データの楽譜における位置を示す楽譜箇所データとを対応付けて記憶する記憶手段と、
前記音声認識手段から出力される音声認識情報が前記歌詞単語データのいずれかと一致するか否かを比較し、一致する前記歌詞単語データがある場合には、当該一致した歌詞単語データに対応付けて記憶された楽譜箇所データに示される楽譜位置を歌詞位置情報として出力する歌詞位置検出部と、
前記歌詞位置検出部から出力される歌詞位置情報に示される楽譜位置を含む楽譜画面を前記楽譜データに基づいて表示する制御手段と
を具備することを特徴とする楽譜画面表示装置。 - 楽曲データに基づき演奏を実行する演奏装置であって、
音声を入力する音声入力手段と、
前記音声入力手段によって入力された音声を認識し、音声認識情報を出力する音声認識手段と、
楽曲の歌詞を所定の単語毎に分割した歌詞単語データと、各歌詞単語データの楽譜における演奏位置を示す演奏箇所データとを対応付けて記憶する記憶手段と、
前記音声認識手段から出力される音声認識情報が前記歌詞単語データのいずれかと一致するか否かを比較し、一致する前記歌詞単語データがある場合には、当該一致した歌詞単語データに対応付けて記憶された演奏箇所データに示される演奏位置を歌詞位置情報として出力する歌詞位置検出部と、
前記歌詞位置検出部から出力される歌詞位置情報に示される演奏位置を含む演奏を前記楽曲データに基づき実行する制御手段と
を具備することを特徴とする演奏装置。 - 楽曲データに基づき演奏を実行する演奏装置であって、
音声を入力する音声入力手段と、
前記音声入力手段によって入力された音声を認識し、音声認識情報を出力する音声認識手段と、
所定のキーワードに対応した音声認識情報が音声認識手段から出力された場合に、所定のキーワードの入力に要した時間を検出し、検出結果を出力する時間検出手段と、
前記時間検出手段から出力される検出結果に基づき、前記楽曲データの演奏テンポを決定し、演奏テンポ情報を出力するテンポ決定手段と、
前記楽曲データに基づく演奏を、前記テンポ決定手段から出力される演奏テンポ情報に基づいて実行する制御手段と
を具備することを特徴とする演奏装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000186920A JP4399961B2 (ja) | 2000-06-21 | 2000-06-21 | 楽譜画面表示装置及び演奏装置 |
| US09/886,758 US6392132B2 (en) | 2000-06-21 | 2001-06-20 | Musical score display for musical performance apparatus |
| DE10130087A DE10130087B4 (de) | 2000-06-21 | 2001-06-21 | Musiknotenanzeige für eine Musikspielvorrichtung |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000186920A JP4399961B2 (ja) | 2000-06-21 | 2000-06-21 | 楽譜画面表示装置及び演奏装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002006836A JP2002006836A (ja) | 2002-01-11 |
| JP4399961B2 true JP4399961B2 (ja) | 2010-01-20 |
Family
ID=18686998
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000186920A Expired - Fee Related JP4399961B2 (ja) | 2000-06-21 | 2000-06-21 | 楽譜画面表示装置及び演奏装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6392132B2 (ja) |
| JP (1) | JP4399961B2 (ja) |
| DE (1) | DE10130087B4 (ja) |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6727418B2 (en) * | 2001-07-03 | 2004-04-27 | Yamaha Corporation | Musical score display apparatus and method |
| US7027983B2 (en) * | 2001-12-31 | 2006-04-11 | Nellymoser, Inc. | System and method for generating an identification signal for electronic devices |
| CN1703734A (zh) * | 2002-10-11 | 2005-11-30 | 松下电器产业株式会社 | 从声音确定音符的方法和装置 |
| US7119266B1 (en) * | 2003-05-21 | 2006-10-10 | Bittner Martin C | Electronic music display appliance and method for displaying music scores |
| TWI229845B (en) * | 2003-10-15 | 2005-03-21 | Sunplus Technology Co Ltd | Electronic musical score apparatus |
| GB2428505B (en) * | 2004-03-24 | 2009-01-07 | Robert Harvey Rines | Electronic & accoustic reading of printed material |
| JP4211672B2 (ja) * | 2004-04-28 | 2009-01-21 | ヤマハ株式会社 | 演奏データ作成装置及びプログラム |
| US7598447B2 (en) * | 2004-10-29 | 2009-10-06 | Zenph Studios, Inc. | Methods, systems and computer program products for detecting musical notes in an audio signal |
| KR100735444B1 (ko) * | 2005-07-18 | 2007-07-04 | 삼성전자주식회사 | 오디오데이터 및 악보이미지 추출방법 |
| US7342165B2 (en) * | 2005-09-02 | 2008-03-11 | Gotfried Bradley L | System, device and method for displaying a conductor and music composition |
| US7579541B2 (en) * | 2006-12-28 | 2009-08-25 | Texas Instruments Incorporated | Automatic page sequencing and other feedback action based on analysis of audio performance data |
| US7825312B2 (en) * | 2008-02-27 | 2010-11-02 | Steinway Musical Instruments, Inc. | Pianos playable in acoustic and silent modes |
| US7482529B1 (en) | 2008-04-09 | 2009-01-27 | International Business Machines Corporation | Self-adjusting music scrolling system |
| US8541673B2 (en) | 2009-04-24 | 2013-09-24 | Steinway Musical Instruments, Inc. | Hammer stoppers for pianos having acoustic and silent modes |
| US8148620B2 (en) * | 2009-04-24 | 2012-04-03 | Steinway Musical Instruments, Inc. | Hammer stoppers and use thereof in pianos playable in acoustic and silent modes |
| US8445766B2 (en) * | 2010-02-25 | 2013-05-21 | Qualcomm Incorporated | Electronic display of sheet music |
| US8440898B2 (en) | 2010-05-12 | 2013-05-14 | Knowledgerocks Limited | Automatic positioning of music notation |
| JP5583479B2 (ja) * | 2010-05-27 | 2014-09-03 | 京セラ株式会社 | 携帯電子機器及び画像投影ユニット |
| JP5422056B2 (ja) * | 2010-09-13 | 2014-02-19 | パイオニア株式会社 | 楽曲情報処理装置及び方法、コンピュータプログラム並びに記録媒体 |
| US8680383B1 (en) * | 2012-08-22 | 2014-03-25 | Henry P. Taylor | Electronic hymnal system |
| JP2015132696A (ja) * | 2014-01-10 | 2015-07-23 | ヤマハ株式会社 | 音声認識方法 |
| US9424822B2 (en) * | 2014-05-27 | 2016-08-23 | Terrence Bisnauth | Musical score display device and accessory therefor |
| US9280960B1 (en) * | 2014-12-15 | 2016-03-08 | Amazon Technologies, Inc. | Navigating music using an index including musical symbols |
| WO2017121049A1 (en) | 2016-01-15 | 2017-07-20 | Findpiano Information Technology (Shanghai) Co., Ltd. | Piano system and operating method thereof |
| US11030983B2 (en) | 2017-06-26 | 2021-06-08 | Adio, Llc | Enhanced system, method, and devices for communicating inaudible tones associated with audio files |
| US10460709B2 (en) | 2017-06-26 | 2019-10-29 | The Intellectual Property Network, Inc. | Enhanced system, method, and devices for utilizing inaudible tones with music |
| JP6891969B2 (ja) * | 2017-10-25 | 2021-06-18 | ヤマハ株式会社 | テンポ設定装置及びその制御方法、プログラム |
| US10908873B2 (en) | 2018-05-07 | 2021-02-02 | Spotify Ab | Command confirmation for a media playback device |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3839361A1 (de) * | 1988-11-22 | 1990-05-23 | Rainer Schenck | Flachbildschirm-notengeber |
| JPH03196098A (ja) * | 1989-12-25 | 1991-08-27 | Casio Comput Co Ltd | オーディオ再生装置内蔵型電子楽器 |
| US5563358A (en) * | 1991-12-06 | 1996-10-08 | Zimmerman; Thomas G. | Music training apparatus |
| FR2697661B1 (fr) * | 1992-11-05 | 1995-01-13 | Euro Musi Conseil | Pupitre informatique interactif, notamment pupitre musical. |
| US5693903A (en) * | 1996-04-04 | 1997-12-02 | Coda Music Technology, Inc. | Apparatus and method for analyzing vocal audio data to provide accompaniment to a vocalist |
| US5728960A (en) * | 1996-07-10 | 1998-03-17 | Sitrick; David H. | Multi-dimensional transformation systems and display communication architecture for musical compositions |
| KR100242337B1 (ko) * | 1997-05-13 | 2000-02-01 | 윤종용 | 기록매체를 이용한 어학 학습 장치 및 재생방법 |
| US5913259A (en) * | 1997-09-23 | 1999-06-15 | Carnegie Mellon University | System and method for stochastic score following |
| DE19801746A1 (de) * | 1998-01-20 | 1999-07-22 | T Angewandte System Technik Ma | Vorrichtung zur Steuerung oder Betätigung von Sensoren, Schaltern oder Geräten |
-
2000
- 2000-06-21 JP JP2000186920A patent/JP4399961B2/ja not_active Expired - Fee Related
-
2001
- 2001-06-20 US US09/886,758 patent/US6392132B2/en not_active Expired - Lifetime
- 2001-06-21 DE DE10130087A patent/DE10130087B4/de not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20020011143A1 (en) | 2002-01-31 |
| DE10130087B4 (de) | 2007-02-22 |
| US6392132B2 (en) | 2002-05-21 |
| DE10130087A1 (de) | 2002-01-17 |
| JP2002006836A (ja) | 2002-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4399961B2 (ja) | 楽譜画面表示装置及び演奏装置 | |
| JP5169328B2 (ja) | 演奏処理装置及び演奏処理プログラム | |
| JP5821824B2 (ja) | 音声合成装置 | |
| KR100949872B1 (ko) | 악곡 연습 지원 장치, 악곡 연습 지원 장치의 제어 방법, 악곡 연습 지원 장치를 제어하는 제어 방법을 컴퓨터로 실행시키는 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체 | |
| US20070119292A1 (en) | Apparatus for automatically starting add-on progression to run with inputted music, and computer program therefor | |
| WO2015194423A1 (ja) | 文字に基づく音声生成のためのコントローラ及びシステム | |
| JP2008026622A (ja) | 評価装置 | |
| CN110310615B (zh) | 唱歌练习装置、唱歌练习方法及存储介质 | |
| JP4448378B2 (ja) | 電子管楽器 | |
| JP4748568B2 (ja) | 歌唱練習システムおよび歌唱練習システム用プログラム | |
| JP4433065B2 (ja) | 楽器 | |
| JP4666591B2 (ja) | リズム練習システムおよびリズム練習システム用プログラム | |
| JP4038836B2 (ja) | カラオケ装置 | |
| JP2021043261A (ja) | 電子吹奏楽器 | |
| JP3599686B2 (ja) | カラオケ歌唱時に声域の限界ピッチを検出するカラオケ装置 | |
| EP1975920B1 (en) | Musical performance processing apparatus and storage medium therefor | |
| JPH1039739A (ja) | 演奏再現装置 | |
| JP4501874B2 (ja) | 楽曲練習装置 | |
| JP7158331B2 (ja) | カラオケ装置 | |
| JP5076597B2 (ja) | 楽音発生装置及びプログラム | |
| WO2022190502A1 (ja) | 音生成装置およびその制御方法、プログラム、電子楽器 | |
| JP5164401B2 (ja) | 自動演奏装置および自動演奏プログラム | |
| JPH065455B2 (ja) | 歌唱指導装置 | |
| JP7425558B2 (ja) | コード検出装置及びコード検出プログラム | |
| JP5742592B2 (ja) | 楽音生成装置、楽音生成プログラム及び電子楽器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070424 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090513 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090519 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090721 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090811 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090902 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091006 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091019 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121106 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121106 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131106 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |