JP4228494B2

JP4228494B2 - Control apparatus and control method

Info

Publication number: JP4228494B2
Application number: JP2000003953A
Authority: JP
Inventors: 信也小関; 春喜上原
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2000-01-12
Filing date: 2000-01-12
Publication date: 2009-02-25
Anticipated expiration: 2020-01-12
Also published as: JP2001195065A

Description

【０００１】
【発明の属する技術分野】
本発明は、外部から入力される信号に応じて楽器の演奏や演奏支援、または他装置を制御する制御装置および制御方法に関する。
【０００２】
【従来の技術】
従来より、電子鍵盤楽器においては、演奏者の演奏速度に応じて伴奏の進行を自動的に制御するものがあり、この伴奏進行では、キューノートといわれる特定の区切りのノートが演奏者によって押鍵されるまで伴奏の進行を停止するといった制御を行うものがある。これは、予め記憶された演奏データの所定の区切り毎の音高に対してキューフラグを付加しておき、演奏者によってこの音高に対応する鍵が押下された場合に、そのタイミング以降の演奏データによる伴奏の進行を行うものである。従って、演奏者によってキューフラグが付加された音高に対する押鍵がなされない場合には、伴奏の進行が停止し、演奏者によってその音高に対応する押鍵がなされるまで待機する。一方、この音高に対する押鍵がなされた場合には、それ以降の伴奏が再開されることになる。初心者が演奏する場合など、本来演奏されるべき速度に演奏が追従できないことがあるが、上記のようなキューノートを用いた進行制御を行うことにより、初心者の演奏速度に合わせた伴奏を実現することができる。
【０００３】
【発明が解決しようとする課題】
しかし、上述した従来のキューノートを用いた進行制御では、その電子鍵盤楽器の押鍵に応じて伴奏の進行具合が制御されるため、外部の楽器で行われる演奏に対して、この電子鍵盤楽器による伴奏の進行を制御するといったことはできなかった。
【０００４】
本発明は、上記の事情を考慮してなされたものであり、外部から入力される信号に応じて演奏、演奏支援または他装置の制御などを実行することが可能な制御装置および制御方法を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記課題を解決するため、本発明の請求項１に記載の発明は、主演奏データおよび伴奏演奏データのいずれか一方である第１のデータと、当該主演奏データおよび伴奏演奏データの他方である第２のデータとを少なくとも含む演奏データを記憶した記憶手段と、前記第１のデータに基づいて演奏操作子を駆動する駆動手段と、前記第２のデータに基づいて楽音を発生する楽音発生手段と、外部から入力される信号を受信し、該受信した信号に基づいて音高情報を出力する受信手段と、前記受信手段から出力された音高情報と前記第１のデータとを比較し、該比較結果に応じて前記楽音発生手段による楽音発生の進行および前記駆動手段による駆動を制御し、または、演奏操作子の操作により発生された操作データに応じて前記楽音発生手段による楽音発生の進行を制御する制御手段と、前記制御手段の制御モードとして、前記受信手段が受信した信号に応じた制御を行う第１のモードまたは演奏操作子の操作により発生された操作データに応じた制御を行う第２のモードを選択する選択手段とを具備し、前記制御手段は、前記第１のモードが選択された場合、予め前記演奏データに記述された所定の区切りにおいては、該区切りの演奏データに対応する音高情報が前記受信手段から出力されるまで前記楽音発生手段による楽音発生および前記駆動手段による駆動の進行を遅延または停止し、前記区切りの演奏データに対応する音高情報が前記受信手段から出力された場合に前記楽音発生および前記駆動の進行の遅延または停止を解除し、前記第２のモードが選択された場合、予め前記演奏データに記述された所定の区切りにおいては、該区切りの演奏データに対応する操作データが発生するまで前記楽音発生手段による楽音発生の進行を停止し、前記区切りの演奏データに対応する操作データが発生した場合に前記楽音発生の進行停止を解除することを特徴とする。
【０００７】
また、請求項２に記載の発明は、請求項１に記載の発明において、前記記憶手段に記憶される演奏データは、制御データをさらに含み、前記制御データに基づいて他装置を制御する他装置制御手段をさらに具備し、前記制御手段は、前記受信手段から出力された音高情報と前記第１のデータとを比較し、該比較結果に応じて前記他装置制御手段による他装置の制御の進行を制御し、または、演奏操作子の操作により発生された操作データに応じて前記他装置制御手段による他装置の制御の進行を制御するものであることを特徴とする。
【０００８】
また、請求項３に記載の発明は、請求項１に記載の発明において、前記記憶手段に記憶される演奏データは、少なくとも主演奏データおよび制御データからなり、前記制御データに基づいて他装置を制御する他装置制御手段をさらに具備し、前記制御手段は、前記受信手段から出力された音高情報と前記演奏データとを比較し、該比較結果に応じて前記他装置制御手段による他装置の制御の進行を制御するものであることを特徴とする。
【０００９】
また、請求項４に記載の発明は、請求項１に記載の発明において、前記受信手段は、外部から入力される音高情報を受信して、該音高情報を出力するものであることを特徴とする。
【００１３】
また、請求項５に記載の発明は、主演奏データおよび伴奏演奏データのいずれか一方である第１のデータと、当該主演奏データおよび伴奏演奏データの他方である第２のデータとを少なくとも含む演奏データに基づいて楽音発生を行う楽音発生装置の楽音発生および演奏操作子の駆動の進行を制御する方法であって、記憶された演奏データを読み出す読出ステップと、外部から入力される信号を受信し、該受信した信号に基づいて音高情報を出力する受信ステップと、出力された音高情報と読み出した演奏データとを比較し、該比較結果に応じて前記楽音発生装置による楽音発生の進行および演奏操作子の駆動を制御し、または、演奏操作子の操作により発生された操作データに応じて楽音発生の進行を制御する制御ステップと、前記制御ステップにおける制御モードとして、前記受信ステップにおいて受信された信号に応じた制御を行う第１のモードまたは演奏操作子の操作により発生された操作データに応じた制御を行う第２のモードを選択する選択ステップとを具備し、前記制御ステップは、前記第１のモードが選択された場合、予め前記演奏データに記述された所定の区切りにおいては、該区切りの演奏データに対応する音高情報が出力されるまで前記楽音発生および前記駆動の進行を遅延または停止し、前記区切りの演奏データに対応する音高情報が出力された場合に前記楽音発生および前記駆動の進行の遅延または停止を解除し、前記第２のモードが選択された場合、予め前記演奏データに記述された所定の区切りにおいては、該区切りの演奏データに対応する操作データが発生するまで楽音発生の進行を停止し、前記区切りの演奏データに対応する操作データが発生した場合に前記楽音発生の進行停止を解除するものであることを特徴とする。
【００１５】
また、請求項６に記載の発明は、請求項５に記載の発明において、記憶された前記演奏データは、制御データをさらに含み、前記制御データに基づいて他装置を制御する他装置制御ステップをさらに具備し、前記制御ステップは、前記受信ステップで出力された音高情報と前記第１のデータとを比較し、該比較結果に応じて前記他装置制御ステップによる他装置の制御の進行を制御し、または、演奏操作子の操作により発生された操作データに応じて前記他装置制御手段による他装置の制御の進行を制御するものであることを特徴とする。
【００１６】
また、請求項７に記載の発明は、請求項５に記載の発明において、前記受信ステップは、マイクロホンあるいはオーディオ機器から入力されるオーディオ信号を受信して当該オーディオ信号の音高を検出し、該検出された音高を示す音高情報を出力するものであることを特徴とする。
【００１７】
また、請求項８に記載の発明は、請求項５に記載の発明において、前記受信ステップは、外部から入力される音高情報を受信して、該音高情報を出力するものであることを特徴とする。
【００２１】
【発明の実施の形態】
[１．実施形態の構成]
[１−１．全体構成]
図１に実施形態の全体構成を示す。本実施形態では、演奏を行うためのピアノ１００、ピアノ１００とＭＩＤＩ（Musical Instrument Digital Interface）ケーブル１１１で接続された制御装置２００、制御装置２００の制御に基づいて演奏に各種効果を付与する効果装置３００、およびピアノ１００とＭＩＤＩケーブル１１１で接続されたＭＩＤＩデータ供給装置２８を備えて構成されている。
ピアノ１００は、後に詳しく説明するようにＭＩＤＩ信号を出力することができるように構成されており、制御装置２００は、ピアノ１００における演奏に同期して送信されるＭＩＤＩ信号に基づいて制御装置３００を制御できるように構成されている。また、ＭＩＤＩデータ供給装置２８は、後に詳しく説明するようにＭＩＤＩ信号を生成して出力することができるように構成されており、ＭＩＤＩデータ供給装置２８の生成したＭＩＤＩデータをＭＩＤＩケーブル１１１を介してピアノ１００に供給することができるようになっている。
本実施形態では、効果装置３００としては、照明装置３０１、ディスプレイ３０２、およびサウンドシステム３０３が制御装置２００に接続されており、制御装置２００は、照明装置３０１のオン／オフや移動、ディスプレイ３０２への静止画や動画の表示、サウンドシステム３０３への効果音（例えば、ＣＤに記録されたオーディオ音）の出力などを制御する。
【００２２】
[１−２．ピアノの構成]
図２は、ピアノ１００の外観構成を示す図であり、図３は、ピアノ１００の主要部内部の構成を示す図である。
ピアノ１００は、鍵１の運動をハンマ２に伝達するアクションメカニズム３と、ハンマ２によって打撃される弦４と、鍵１を駆動するソレノイド５と、弦４の振動を止めるためのダンパ６とを備えており、これらの構成は一般的な自動ピアノと同様である。また、このピアノ１００には、通常のアコースティックピアノと同様にバックチェック７が設けられており、打弦後のハンマ２がハンマーアクション機構に戻ったときのハンマ２の暴れを防止する。他にも、このピアノ１００は、通常のアコースティックピアノに搭載される機構と同様のものを備えている。さらに、このピアノ１００には、ハンマ２の打弦を阻止する不図示のストッパが設けられており、このストッパは、演奏者の指示あるいは操作に応じて、打弦を阻止する位置と打弦を許容する位置との間で電気的あるいは機械的に移動可能になされている。
【００２３】
また、このピアノ１００は、コントローラ１１、サーボコントローラ１２、電子楽音発生部２５、キーセンサ２６、ＭＩＤＩインターフェイス１１０、ディスクドライブ１２０、およびディスプレイ１３０を備えている。
コントローラ１１は、ＣＰＵ（中央処理装置）、ＲＯＭ（リードオンリーメモリ）およびＲＡＭ（ランダムアクセスメモリ）などを有しており、ピアノ１００の各部を制御するものである。
サーボコントローラ１２は、速度指示値Ｖrに応じた励磁電流をソレノイド５に供給するとともに、ソレノイド５から供給されるフィードバック信号としての出力速度Ｖｙと速度指示値Ｖrを比較し、両者が一致するようにサーボ制御を行うものであり、速度指示値Ｖrは、各時刻における鍵１の位置に対応した速度を示す値としてコントローラ１１から適宜出力される。
電子楽音発生部２５は、コントローラ１１の制御に基づいて電子的な楽音を発生するものであり、音源やスピーカ等から構成されている。
キーセンサ２６は、各鍵１の下面側に設けられ、対応する鍵１の動作を検出するセンサであり、各鍵１の状態を示す信号を検出してコントローラ１１に出力する。コントローラ１１は、これらのキーセンサ２６から供給される信号に基づいて電子楽音発生部２５に制御信号を供給する。これにより、鍵１の動作に応じた楽音を電子的に発生させることができるようになっている。また、コントローラ１１は、ＭＩＤＩデータ供給装置２８から供給されるＭＩＤＩデータに基づいて、後に詳しく説明するように制御装置２００に対して各種効果制御を指示するＭＩＤＩ信号を送信するとともに、ソレノイド５や電子楽音発生部２５を制御して楽音発生制御を行う。なお、ＭＩＤＩインターフェース１１０は、ＭＩＤＩデータ供給装置２８や制御装置２００以外の外部電子楽器との間でＭＩＤＩデータを送受信することが可能である。
【００２４】
ディスクドライブ１２０は、例えばＤＶＤ−ＲＯＭやＣＤ−ＲＯＭなどの外部記録媒体に記録されたデータを読み出す装置であり、本実施形態では、演奏データをコントローラ１１に供給するために用いられる。
ディスプレイ１３０は、タッチパネル付きの液晶ディスプレイであって、譜面立ての横に上下左右に回動可能に支持されており、コントローラ１１は、表示内容の制御やパネル状態の検出を行うことができるように構成されている。本実施形態では、ディスプレイ１３０は、ピアノ１００の演奏状態などを表示したり、各種設定を行うためのパネルとして用いられる。
【００２５】
[１−３．制御装置の構成]
図４は制御装置２００の構成を示す図である。この図に示すように制御装置２００は、各部を制御する制御部２０１、ＭＩＤＩインターフェイス２０２、設定テーブル２０３、照明データベース２１１、画像データベース２１２、音響データベース２１３、照明装置制御部２２１、ディスプレイ制御部２２２、サウンドシステム制御部２２３を備えている。
設定テーブル２０３には、後に例を図示するように、ＭＩＤＩ信号の内容と効果装置３００の制御内容との対応が記憶されている。本実施形態では、制御内容は制御装置３００の種類毎に詳細な制御内容を記述したファイルをデータベースとして記憶しており、照明データベース２１１は照明装置３０１の制御内容を記憶したものであり、画像データベース２１２はディスプレイ３０２に表示する静止画や動画の制御内容を記憶したものであり、音響データベース２１３はサウンドシステム３０３におけるオーディオ出力の制御内容を記憶したものである。
また、照明装置制御部２２１、ディスプレイ制御部２２２、およびサウンドシステム制御部２２３は、受信したＭＩＤＩ信号の内容に基づいて特定されたファイルの記述内容に従って、各々接続された効果装置を制御するものである。
【００２６】
[１−４．ＭＩＤＩデータ供給装置の構成]
次に、コントローラ１１のＭＩＤＩインターフェイス１１０にＭＩＤＩデータを供給するＭＩＤＩデータ供給装置２８について説明する。ＭＩＤＩデータ供給装置２８は、逐次ＭＩＤＩデータを生成し、コントローラ１１に送出する。このようなＭＩＤＩデータ供給装置２８としては、演奏者等による演奏操作子の操作状態に応じてＭＩＤＩデータを生成する各種のＭＩＤＩ楽器を用いることができる。
【００２７】
また、図５に示すように、人の声や動物の鳴き声などの音声からＭＩＤＩデータを生成するものであってもよい。同図に示すように、この装置は、マイクロホンにより生成された音声に対応するオーディオ信号やオーディオ機器から入力されるオーディオ信号をＡ／Ｄ変換するＡ／Ｄ変換部４１と、Ａ／Ｄ変換部４１によってデジタル化された音声データのピッチを検出するピッチ検出部４３と、ピッチ検出部４３によって検出されたピッチに基づいてＭＩＤＩデータを生成するＭＩＤＩデータ生成部４２とを備えている。この構成の下、人の歌声などに応じたオーディオ信号が入力されると、その歌声に応じて逐次ＭＩＤＩデータが生成される。また、この装置を用いることにより、アコースティック楽器の発生する楽音に対応するオーディオ信号をマイクロホンで入力してＭＩＤＩデータを生成し、このＭＩＤＩデータをコントローラ１１に供給するといったことも可能である。
【００２８】
[１−５．データの構成]
次に、同期制御を行うためのデータ構成について説明する。本実施形態では、演奏の進行を記述した演奏データに基づいて同期制御を行うものとし、演奏データはＭＩＤＩフォーマットで記述されている。
図６は演奏データの一部を示した図である。ＭＩＤＩデータは、イベントデータと、これらの時間間隔を示すタイミングデータと、エンドデータとからなるシーケンスデータで構成され、ディスクドライブ１２０から供給される。
【００２９】
イベントデータは、ノートオンイベントやノートオフイベント、ノートナンバ、およびベロシティを示すデータを有している。なお、ノートオンおよびノートオフ以外のイベントについては、本実施形態では説明を省略する。
また、ＭＩＤＩデータでは最大１６系統の楽器をコントロールすることができるようになっており、このためノートイベントデータとして最大１６系統のデータを記述することができる。本実施形態では、各系統毎にシーケンスデータが作成されており、各シーケンスはＴｒ０〜Ｔｒ１５までのトラック名で特定されるようになっている。
【００３０】
所定の１系統のイベントデータのノートオンイベントのベロシティを示す部分には、キューフラグという識別子が記述されるようになっている（図６に示した「Ｃｆ」参照）。つまり、コントローラ１１は、ＭＩＤＩデータの所定の系統のノートオンイベントのベロシティを示す部分を参照することにより、このノート（音高）がキューフラグに特定されるものであるか否かを判別することができるようになっている。なお、キューフラグであることを記述するための情報は、上記のようにベロシティの部分に書き込む以外にも、他の部分に書き込むようにしてもよい。
【００３１】
本実施形態では、このキューフラグを用いて、ピアノ１００における演奏と制御装置２００において行う効果装置３００の制御を同期させる。より具体的には、上述した各系統に、演奏のメロディラインを示す主演奏トラックと、演奏の伴奏音高列等を示す伴奏トラックと、ピアノ１００の外部に接続されている機器の制御内容を示す外部制御トラックとを割り当て、主演奏トラックに含まれるノートオンイベントに一定の区切り毎にキューフラグを付しておく。
そして、キューフラグが付された主演奏トラックのノートオンイベントの実行タイミングを、ＭＩＤＩデータ供給装置２８から供給されるＭＩＤＩデータに基づいて制御することによって、あわせて外部制御トラックのイベントデータの実行タイミングも制御するとともに、伴奏トラックのイベントデータに基づく電子楽音発生部２５による伴奏の電子的な演奏を制御する。
これにより、予め他の楽器の演奏や歌唱者の歌声等の進行にあわせて制御内容を記述しておくことができるので、制御スイッチを操作する手間が省ける。
【００３２】
ところで、本実施形態では、図７に例示するように、コントローラ１１が行う制御内容を各トラック毎に割り当てたテーブルが、コントローラ１１内のＲＡＭに記憶させる。この内容は、例えば演奏データに含まれている。
コントローラ１１は、所定のタイミングにおいて実行すべきイベントデータが含まれるトラック番号に基づいて異なる制御を行えるようになっており、図７に示す例では、トラックＴｒ０には主演奏のイベントデータが記述されており、このイベントデータに基づいてソレノイド５を制御するように設定されている。また、トラックＴｒ１には伴奏演奏のイベントデータが記述されており、このイベントデータに基づいて電子楽音発生部２５を制御するように設定されている。さらに、トラックＴｒ２のイベントデータに基づいて外部の装置を制御するように設定されている。ここでのソレノイド５の駆動は、ハンマ２が弦４を打撃しない程度に鍵１を駆動する、いわゆる鍵１を半押し状態とすることにより、演奏者に対して押下すべき鍵を報知するものとする。なお、鍵１を半押し状態とする演奏ガイドは行わないようにしてもよいし、各鍵毎に設けたＬＥＤによる点灯表示などによって演奏ガイドを行うようにしてもよい。
これにより、トラックＴｒ０のデータに基づいて主演奏部分の演奏指示を行い、トラックＴｒ１のデータに基づいて伴奏の電子楽音による演奏を行い、トラックＴｒ１のデータに基づいて外部に接続した効果装置３００を用いた効果付与を行うことができるようになる。
【００３３】
図８は、ピアノ１００から送信されるＭＩＤＩ信号の内容と、制御装置２００における制御内容との対応を例示した図であり、この内容は、先に説明したように、制御装置２００の設定テーブルに記憶されている。
本実施形態では、外部装置に対する制御内容を示すＭＩＤＩデータにはノートオンイベントを用いるものとしている。制御装置２００は、ノートオンデータに含まれるノートナンバに基づいて制御内容を選択すればよい。
また、先にも説明したように、各制御装置３００の詳細な制御内容を記述したファイルはデータベースとして記憶されており、各ファイルには、図８に例示するようにそれぞれファイル名が付されて特定できるようになっている。
設定テーブルは、ノートナンバとファイル名とを１対１に対応させたデータ構成となっている。
なお、図８においては、ノートナンバ０〜１２７を照明、画像、音響の３種類の制御内容に対応させているが、照明、画像、音響のイベントデータを各種類毎に異なるトラックに割り当てるようにすれば、各種類のイベントデータを分別できるため、１２８個のノートナンバを各種類の制御に各々用いることができ、制御を多様化できる。
【００３４】
[２．実施形態の動作]
次に、上述した構成を備える本実施形態の動作について、同期制御動作の概要説明した後、ピアノ１００および制御装置２００の詳細な動作についてそれぞれ説明する。
【００３５】
[２−１．概要動作]
図９は、上述した主演奏トラックおよび外部制御トラックのデータの内容例を楽譜として表示した図である。
以下の説明においては、タイミングの特定について、「イベント時刻」および「ポインタ時刻」２種類の時刻を用いる。「イベント時刻」とは、上述したタイミングデータの累積によって特定される時刻であり、演奏データに含まれる各イベントデータを実行すべき時刻を示す。例えば、図９に示す具体例では、コントローラ１１の分解能＝２（１／８分音符を基本単位）とした場合の各音符の演奏時刻を「イベント時刻」の時系列に示している。この例によれば、キューフラグの付されたノートオンイベントは、イベント時刻ｔ８およびｔ１６において演奏されることになる。このイベント時刻によって示されるタイミングは、演奏データに含まれる１６のトラックＴｒ０〜Ｔｒ１５共通の時刻であり、これにより、各トラックに含まれるイベントデータの同期をとることができるようになっている。
【００３６】
一方、「ポインタ時刻」とは、イベントデータを実行している時刻、すなわち現在演奏中の時刻を示しているものである。キューフラグを用いない通常のＭＩＤＩデータに基づく演奏であれば、ポインタ時刻はテンポによって規定される一定の時間間隔で進行していくが、本実施形態のようにキューフラグを用いて演奏進行の待ち受けを行う場合には、必ずしも一定の時間間隔で進行するとは限らない。
なお、以下の説明においては、イベント時刻およびポインタ時刻の他に、「キューフラグ時刻」を用いる場合があるが、これはイベント時刻のうちの、特にキューフラグが付されたノートオンイベントを実行すべき時刻を示すものである。また、図９中の「経過時間」は、キューフラグに対応する受信イベントの待ち受け状態になってからの経過時間を示してる。なお、本実施形態における「キューフラグに対応する受信イベント」とは、キューフラグが付されたノートイオンイベントに含まれるノートナンバに対応したノートオンイベントデータをＭＩＤＩデータ供給装置２８から受信した場合をいう。
【００３７】
本実施形態では、受信イベントの待ち受け状態は、キューフラグ時刻を前後する所定時間継続するものとしている。これは、ＭＩＤＩデータ供給装置２８から歌唱者の歌声や他の楽器の演奏音等に基づいたＭＩＤＩデータが供給される場合を考慮したものであり、演奏データが示すキューフラグ時刻よりも、早くあるいは遅くＭＩＤＩデータ供給装置２８からキューフラグに示される音高のノートオンイベントを受信しても、効果付与タイミングおよび伴奏進行タイミングを歌唱者の歌声や他の楽器の演奏に同期させるためである。
より具体的には、キューフラグに対応する受信の待ち受け時間（図９中の「経過時間」）においては、ポインタ時刻の進行をいったん停止し、キューフラグに対応した受信イベントがあったときにキューフラグ時刻からポインタ時刻の進行を開始する。なお、受信イベントの待ち受け状態が開始してから所定時間が経過しても受信イベントがなかった場合には、誤動作等の理由で受信イベントが検出されなかった場合や、他の楽器の演奏者や歌唱者が効果付与を行わないことを意図した場合であって、演奏者の演奏動作自体は進行している場合があるので、待ち受け状態は解除して、未実行のイベントデータに対応するイベント時刻からポインタ時刻の進行を開始する。
【００３８】
本実施形態では、上述したような処理を行うために、コントローラ１１において実行する処理において必要なデータを一時的に記憶しておくバッファ（受信バッファ、イベントバッファ、キューフラグバッファ）がピアノ１００のコントローラ１１のＲＡＭに設けられる。
図１０は、各種バッファの内容例を示す図であり、（１）は受信バッファの内容例を示し、（２）はイベントバッファの内容例を示し、（３）はキューフラグバッファの内容例を示している。
【００３９】
受信バッファは、ＭＩＤＩデータ供給装置２８から供給されるノートオンイベントを記憶するバッファである。コントローラ１１には、ＭＩＤＩデータ供給装置２８からノートオンイベントデータを受信した場合、この受信バッファにそのノートナンバを書き込むようになっている。
イベントバッファは、次に実行すべきイベントデータを予めディスクドライブにセットされたディスクから読み出して記憶するバッファであり、図１０（２）に示すように、当該イベントデータのトラック番号、イベント、ノートナンバ、およびイベント時刻を対応付けて記憶するようになっている。
キューフラグバッファは、キューフラグの内容を記憶するバッファであり、図１０（３）に示すように、キューフラグが付されたノートオンイベントのノートナンバ、キュー実行待ち状態になってからの経過時間、およびキューフラグ時刻を対応付けて記憶するようになっている。
これらのバッファを用いた詳細な処理について、次にフローチャートを参照しながら説明する。
【００４０】
[２−２．ピアノ１００の詳細動作]
[２−２−１．メインルーチン]
図１１に示したフローチャートは、ピアノ１００のコントローラ１１が、内部のメモリに記憶されたプログラムに従って実行する処理のメインルーチンである。この図に示す処理は、例えば上述したディスプレイ１３０のタッチパネルの操作などによって演奏開始が指示された時に開始する。
コントローラ１１は、この図に示す処理を開始すると、まず各種設定などの初期化処理を行う（Ｓ１００）。ここでは、例えば上述した各種バッファの初期化や、ポインタ時刻の初期化などを行う。
初期化が終了すると、コントローラ１１は、後にそれぞれ詳しく説明する受信処理（Ｓ２００）、演奏データ読出処理（Ｓ３００）、およびイベント実行処理（Ｓ４００）を演奏終了まで循環させる。なお、循環は、イベント時刻系列における基本単位の時間毎に１循環するものとする。
【００４１】
[２−２−２．受信処理]
図１２に示すフローチャートは、受信処理（図１１：Ｓ２００）のサブルーチンを示したものである。受信処理は、ＭＩＤＩデータ供給装置２８から供給されるＭＩＤＩデータを受信するルーチンであり、コントローラ１１は、まずＭＩＤＩインターフェイス１１０から供給されるＭＩＤＩデータをＭＩＤＩインターフェイス１１０から受信する（Ｓ２０１）。
そして、受信したＭＩＤＩデータがノートオンイベントであるか否かを判定し（Ｓ２０２）、ノートオンイベントであると判定した場合には（Ｓ２０２；ＹＥＳ）、図１０（１）に示すように、このノートオンイベントに示されるノートナンバを受信バッファに書き込んで（Ｓ２０３）、処理をメインルーチンに戻す。
【００４２】
一方、ステップＳ２０２の判定において、ノートオンイベントではないと判定した場合には（Ｓ２０２；ＮＯ）、次にノートオフイベントであるか否かを判定し（Ｓ２０４）、ノートオフイベントであると判定した場合には（Ｓ２０４；ＹＥＳ）、そのノートオフイベントに示されるノートナンバを受信バッファから消去して（Ｓ２０５）、処理をメインルーチンに戻す。
ステップＳ２０４の判定において、ノートオフイベントではないと判定した場合には（Ｓ２０４；ＮＯ）、ノートオンおよびノートオフ以外のＭＩＤＩデータが受信された場合であり、そのまま処理をメインルーチンに戻す。
この処理を繰り返し行うことによって、コントローラ１１は、外部のＭＩＤＩデータ供給装置２８から供給されるノートオンイベント、例えばＭＩＤＩデータ供給装置２８が歌唱者の歌声や他の楽器の演奏音をＭＩＤＩデータに変換している場合にはその歌声や演奏の音高を受信バッファに記憶されたデータによって認識することができる。
【００４３】
[２−２−３．演奏データ読出処理]
図１３に示すフローチャートは、演奏データ読出処理（図１１：Ｓ３００）のサブルーチンを示したものである。演奏データ読出処理は、演奏データ中のＭＩＤＩシーケンスから次に実行すべきイベントデータを予め読み出して、図９（２）に示したイベントバッファに記憶しておく処理である。なお、イベントデータを読み出すための読出タイマは、各トラック毎に設けられている。
【００４４】
コントローラ１１は、まず最初のトラックＴｒ０から読み出しを開始する（Ｓ３０１）。読み出しを開始すると、読出タイマが示す値が０であるか否か、すなわち、このトラックのイベントデータの読み出しタイミングであるか否かを判定する（Ｓ３０２）。なお、読出タイマにセットされる値は、後に説明するように、次のイベントデータを読み出すまでの時間を示しており、ルーチンが１循環する毎に１づつデクリメントされることによって、時間の経過を示すものである。ステップＳ３０２の判定において、イベントデータの読み出しタイミングであると判定した場合は（Ｓ３０２；ＹＥＳ）、次に実行すべきイベントデータを読み出して（Ｓ３０３）、そのイベントデータを実行すべきイベント時刻をタイミングデータに基づいて算出する（Ｓ３０４）。そして、図１０（２）に示すように、トラック番号、イベントの種類、ノートナンバ、およびイベント時刻をイベントバッファに書き込んで（Ｓ３０５）、次にイベントデータを読み出すまでの時間を読出タイマにセットする（Ｓ３０６）。ここでセットする時間は、イベント時刻よりも所定時間前になるような時間にしておく。これによって、予めイベントデータを読み出しておくことができるようになり、キューフラグに対応する受信イベントの待ち受けもキューフラグ時刻よりも前から開始することが可能となる。
【００４５】
コントローラ１１は、今回読み出したイベントデータにキューフラグが付されているか否かを判定し（Ｓ３０７）、キューフラグがふされていると判定した場合には（Ｓ３０７；ＹＥＳ）、図１０（３）に示すように、キューフラグの付されたノートオンイベントのノートナンバをキューフラグバッファに書き込む（Ｓ３０８）。このとき、あわあせてステップＳ３０４で算出したイベント時刻をキューフラグ時刻としてセットする。なお、この時点ではキューフラグを書き込んでから時間の経過がないので、経過時間は０とする。
【００４６】
キューフラグへの書込（Ｓ３０８）が終了した後、あるいはステップＳ３０７の判定において、キューフラグが付されていないと判定した場合は（Ｓ３０７；ＮＯ）、全トラックのＭＩＤＩデータについて読出処理を実行したか否かを判定し（Ｓ３０９；ＮＯ）、まだ読出処理を行っていないトラックが残っていると判定した場合は（Ｓ３０９；ＮＯ）、処理対象を次のトラックに変更して（Ｓ３１０）、ステップＳ３０２の読出タイマ値の判定に移行させる。
ところで、このステップＳ３０２の判定において、読出タイマ値が０ではない、すなわちイベントデータを読み出すタイミングではないと判定した場合は（Ｓ３０２；ＮＯ）、読出タイマ値を１デクリメントした後（Ｓ３１１）、全トラックについて処理を終了したか否かの判定を行う（Ｓ３０９）。
そして、ステップＳ３０９の判定において全トラックについて処理を終了したと判定すると（Ｓ３０９；ＹＥＳ）、演奏データ読出処理を終了してメインルーチンに戻る。
【００４７】
[２−２−４．イベント実行処理]
図１４に示すフローチャートは、イベント実行処理（図１１：Ｓ４００）のサブルーチンを示したものである。イベント実行処理は、イベントバッファに記憶されたイベントデータを実行するための処理であり、キューフラグに対応した受信イベントの待ち受けも、このルーチンで行うものである。
コントローラ１１は、キューフラグバッファにデータが記憶されているか否かをまず判定し（Ｓ４０１）、キューフラグバッファにデータが記憶されている、すなわち、キューフラグに対応した受信イベントの待ち受け状態であると判定した場合は（Ｓ４０１；ＹＥＳ）、キューフラグバッファに記憶されているノートナンバと受信バッファに記憶されているノートナンバが一致するか否かを判定する（Ｓ４０２）。ここで、両者が一致すると判定した場合は（Ｓ４０２；ＹＥＳ）、キューフラグの付されたノートオンイベントと同じノートナンバのノートオンイベントデータをＭＩＤＩデータ供給装置２８から受信したと判断できるので、先に説明したように、待ち受け状態を解除すべく、ポインタ時刻をキューフラグ時刻にセットする（Ｓ４０３）。
【００４８】
一方、ステップＳ４０２の判定において、キューフラグバッファに記憶されているノートナンバと受信バッファに記憶されているノートナンバが一致しないと判定した場合は（Ｓ４０２；ＮＯ）、キューフラグの付されたノートオンイベントと同じノートナンバのノートオンイベントデータがＭＩＤＩデータ供給装置２８から供給されていないと判断できるので、キューフラグバッファ中の経過時間（図１０（３）参照）を１インクリメントする（Ｓ４０４）。
そして、経過時間値が、待ち受け許容時間としての所定値以上になったか否かを判定し（Ｓ４０５）、所定値未満、すなわち、経過時間がいまだ許容時間内であると判定した場合には（Ｓ４０５；ＮＯ）、キューフラグに対応した受信イベントの待ち受け状態を継続すべく、イベント実行処理を終了してメインルーチンに戻る。
一方、経過時間値が所定値以上になったと判定した場合には（Ｓ４０５；ＹＥＳ）、待ち受け状態を解除すべく、次に実行すべきイベントデータのイベント時刻をポインタ時刻にセットする（Ｓ４０６）。
ステップＳ４０３あるいはステップＳ４０６において、待ち受け状態を解除するポイント時刻のセットを行った後、キューフラグバッファのデータを削除する（Ｓ４０７）。
【００４９】
ところで、ステップＳ４０１の判定において、キューフラグバッファにはデータが記憶されていないと判定した場合は（Ｓ４０１；ＮＯ）、受信イベントの待ち受け状態ではないので、通常の演奏としてポインタ時刻を進行させるべく、ポインタ時刻を１インクリメントする（Ｓ４１０）。
【００５０】
ステップＳ４０３、Ｓ４０６、あるいはＳ４１０において今回処理すべきポインタ時刻をセットすると、コントローラ１１は、イベントバッファを参照してこのポインタ時刻に対応したイベントを実行する（Ｓ４０８）。先に図７を参照しながら説明したように、実行すべきイベントデータが含まれていたトラック番号毎にコントローラ１１が行う制御内容が対応付けられている。図７に示す例では、実行すべきイベントデータがトラックＴｒ０のデータであればこのノートナンバに対応した鍵１のソレノイド５を制御して主演奏の演奏指示を行い、トラックＴｒ１のデータであればこのノートナンバに対応した音高の楽音を電子楽音発生装置２５に発生させ伴奏演奏を行い、トラックＴｒ３のデータであればこのノートナンバを含むノートオンメッセージをＭＩＤＩ信号として制御装置２００に送信する。
このような、各トラックに対応したイベントデータに基づく制御を実行した後（Ｓ４０８）、コントローラ１１は、実行したイベントデータをイベントバッファから削除して（Ｓ４０９）、イベント実行処理を終了する。
【００５１】
[２−３．制御装置２００の詳細動作]
次に、制御装置２００の詳細動作について、図１５に示すフローチャートを参照しながら説明する。
制御装置２００の制御部２０１は、例えば、パネル操作やピアノ１００から送信されるデータなどに基づいて図１５に示す処理を開始すると、初期化処理を行った後（Ｓｂ１）、ピアノ１００からのＭＩＤＩ信号受信待ち状態とする（Ｓｂ２）。
ステップＳｂ２においてＭＩＤＩ信号を受信したと判定した場合は（Ｓｂ２；ＹＥＳ）、図８に例示したような設定テーブル２０３を参照して、受信したノートナンバに対応する制御データをデータベースから検索する（Ｓｂ３）。そして、検索された制御データに基づいて効果装置３００を制御して（Ｓｂ４）、ピアノ２００における演奏が終了したか否かを判定する（Ｓｂ５）。
ステップＳｂ５の判定において、演奏が終了していないと判定した場合は（Ｓｂ５；ＮＯ）、処理をステップＳｂ２のＭＩＤＩ信号受信待ちに戻し、演奏が終了したと判定した場合は（Ｓｂ５；ＹＥＳ）、処理を終了する。
【００５２】
[３．まとめ]
このように、本実施形態では、演奏者に対する演奏支援や伴奏の自動演奏などの音楽データの時間進行にあわせて、演奏に付与する各種効果の内容を予め演奏データに記述しておくことができるので、演奏者は複数の効果付与制御操作を演奏動作とは別に行う必要がなくなる。
また、演奏データにはキューフラグが付されており、キューフラグに対応するイベントがＭＩＤＩデータ供給装置２８から供給されるまで演奏データに基づいた処理の実行を停止することができる。このため、例えば、ＭＩＤＩデータ供給装置２８が入力される歌唱者の歌声や他の楽器の演奏音をＭＩＤＩデータに変換するものであれば、歌唱者の歌や他の楽器の演奏が演奏データに記述されたタイミングよりも前後した場合であっても、上記歌や演奏にあわせて行うべき伴奏の自動演奏や主演奏の演奏指示、さらには付与すべき効果の制御も一時停止状態になっているので、他の楽器の演奏動作もしくは歌唱者の歌などと本ピアノ１００による伴奏や主演奏の演奏指示や他の各種装置による効果制御が同期するようになる。
【００５３】
[４．変形例]
本発明は、上述した実施形態に限らず、以下に示すような各種の変形が可能である。
【００５４】
上記実施形態では、楽器以外の他装置として、効果装置である照明装置、ディスプレイ、サウンドシステムなどを例としてあげたが、これらに限らず、例えば、空調装置、送風装置や、香り発生装置など、ピアノ１００が楽器として備える通常の機能以外のもので制御可能なものであればどのような装置でもかまわない。
また、各効果装置で付与する効果についても、予め記憶したデータによる制御が行えればどのようなものでもよく、記憶しておくデータの形式もどのようなものでもかまわない。例えば、動画であればＭＰＥＧ（Moving Picture Experts Group）などをもちいればよいし、オーディオであればＡＤＰＣＭ（Adaptive Differential Pulse Code Modulation）形式のデータでもよいし、ＭＩＤＩデータに基づいて音源で楽音を生成するようにしてもかまわない。
なお、本発明は、上記実施形態のようなピアノを制御する装置にかぎらず、キーボードやオルガンのような他の鍵楽器を制御するものであってもよいし、演奏データに基づいて楽音を発生する装置を有するものであればよい。
【００５５】
また、上記実施形態では、複数の効果装置を一つの制御装置で制御しているが、各効果装置毎に制御装置を設けて、楽器側でＭＩＤＩ信号の送信先を制御するようにしてもかまわない。あるいは、制御装置を楽器側に設ける構成にしてもよい。
上記実施形態では、キューフラグをノートオンイベントに含めたデータ構成としているが、これに限らず、外部から入力される音高を示す情報と対応付けることができればどのような記述のしたかでもよく、例えばキューフラグのみを記述したトラックを設けてもよい。
なお、演奏データに記述された所定の区切りを示すデータとして、上記実施形態ではキューフラグを用いているが、これに限らず他の識別子を用いるようにしてもかまわない。例えば小節線を示すデータを含めた場合は小節線データを用いてもよいし、カラオケデータのようにさび区間の開始を示すマークなどを記述しているような場合には、このようなマークを用いてもかまわない。あるいは、識別子を用いずに、所定の時間条件や何音符毎などといった他の情報を演奏データのヘッダなどに記述しておいてもかまわない。
【００５６】
上記実施形態では、キューフラグがバッファに記憶されている場合には、該キューフラグのノートナンバに対応する受信イベントを検出するまでポインタ時刻の進行を停止することによって、ＭＩＤＩデータ供給装置２８から供給されるＭＩＤＩデータと主演奏データとを比較し、該比較結果に応じて主演奏データ、伴奏データおよび制御データの進行を制御しているが、進行の停止に限らず、例えば、進行速度を徐々に遅くするようにしてもよい。
また、上記実施形態では、楽器の演奏動作と主演奏データとを比較する際には、主演奏データの進行と制御データの進行とを同一のポインタ時刻を用いて一致させているが、主演奏データの進行のみを停止し、伴奏データや制御データの進行は少し先まで進ませてから停止するようにしてもよいし、伴奏データや制御データの進行速度を徐々に遅くするようにしてもよい。
なお、上記実施形態では、キューフラグに対応する受信イベントの待ち受け状態になってから所定時間が経過した場合は、待ち受け状態を解除するものとして説明しているが、受信イベントを検出するまで待ち続けるようにしてもかまわない。
また、上記実施形態では、キューフラグ時刻よりも早いタイミングから受信イベントの待ち受けを行うものとし、キューフラグ時刻よりも前に受信イベントを検出した場合には効果付与タイミングや伴奏演奏タイミングも前倒しとなる例を用いて説明しているが、これに限らず、効果付与タイミングを前倒ししないようにしてもよい。このような場合は、ポイント時刻がキューフラグ時刻と一致した時点で、所定時間前以内に受信イベントを検出していた場合には、そのままポインタ時刻を進行させ、受信イベントを検出していなかった場合は、受信イベントを検出するまで待ち続けるようにすればよい。
【００５７】
効果付与を制御するイベントデータについて、上記実施形態ではノートオンイベントを用いて、そのイベントに含まれるノートナンバと制御内容とを対応付けているが、例えばエクスクルーシブなどの他のメッセージを用いてもよいし、ベロシティなど他のパラメータと制御内容を対応付けるようにしてもかまわない。なお、演奏データを記述するデータ形式および、楽器から制御装置への制御信号の送信形式についても、上記実施形態のようなＭＩＤＩに限らず、他の形式のものをもちいてもかまわないのはもちろんである。
また、上記実施形態では、各種制御を行うためのプログラムは予めコントローラ１１および制御部２０１に記憶されているものとして説明したが、例えば、ディスクドライブ１２０にセットされたディスクから読み出したり、インストールできるようにしてもよい。
プログラムや演奏データをコントローラ１１や制御部２０１に供給する手段についても、ディスクからの読み込みに限らず、通信インターフェイスを設けて、通信回線によって供給できるようにしてもかまわない。
【００５８】
また、上述した実施形態では、ピアノ１００の楽音発生等を制御する演奏データとして、主演奏トラックに加え、伴奏トラックを有するＭＩＤＩデータを用いて主演奏の演奏指示および伴奏の電子楽音による演奏を行っていたが、主演奏トラックのみが記述されたＭＩＤＩデータを用いるようにしてもよい。この場合にも、上記実施形態と同様に主演奏トラックにキューフラグを記述しておき、キューフラグが付された音高と同じ音高のＭＩＤＩデータをＭＩＤＩデータ供給装置２８から受信した場合にのみ、その主演奏トラックに記述されたＭＩＤＩデータに応じた電子楽音による主演奏を行うようにし、同じ音高のＭＩＤＩデータを受信しない場合には主演奏トラックに基づく演奏を停止するようにしてもよい。この構成の下、ＭＩＤＩデータ供給装置２８が歌唱者の歌をＭＩＤＩデータに変換するものである場合には、歌唱されるメロディーの進行に追従したメロディー音の発生が可能となる。
【００５９】
また、上述した実施形態では、主演奏トラックの記述内容に基づいてソレノイド５によって鍵１を半押し状態とすることにより、演奏支援を行うようにしていたが、ソレノイド５によって鍵１を動作させて打弦による機械的発音を行うようにしてもよい。また、主演奏トラックは伴奏トラックの進行タイミングを制御するためだけに用いるようにし、上記実施形態のように主演奏トラックのイベントデータに応じたソレノイド５の制御を行わないようにしてもよい。
また、上述した実施形態では、伴奏トラックに基づく演奏を電子楽音発生部２５が行うようにしていたが、伴奏トラックに基づく演奏をソレノイド５による機械的発音によって行うようにしてもよい。この際、主演奏トラックに基づく演奏を電子楽音発生部２５が行うようにしてもよい。
また、上述した実施形態では、主演奏トラックにキューフラグを記述するようにしていたが、伴奏トラックにキューフラグを記述するようにしてもよい。この場合、例えば他の楽器による伴奏演奏音をＭＩＤＩデータ供給装置２８でＭＩＤＩデータに変換してピアノ１００に供給するようにすればよい。
【００６０】
また、上述した実施形態では、外部からＭＩＤＩデータを供給することにより、コントローラ１１に音高を示す情報をコントローラ１１が受信するようになっていたが、外部から供給する信号は、コントローラ１１が音高を示す情報を取得することができる信号であればよく、オーディオ信号などであってもよい。例えばＣＤプレーヤやＤＶＤプレーヤなどのオーディオ機器からオーディオ信号を受信し、このオーディオ信号から音高を検出する（例えば、図５に示すＭＩＤＩデータ供給装置２８の構成をピアノ１００内部に設ける）ようにしてもよい。この場合、ピアノ１００にマイクロホンもしくはオーディオ信号入力端子を設けるようにすればよい。
また、上述した実施形態では、外部から入力される信号に応じて、演奏、演奏支援または他の装置の制御などを実行したが、このような制御モードに加え、鍵１の演奏操作により発生されたＭＩＤＩデータに応じて演奏、演奏支援または他装置の制御などを実行する制御モードを設け、演奏者がこれらのモードを任意に選択できるようにしてもよい。これにより、外部から入力される信号による制御と、自機の演奏による制御とを共通の構成で実現できるため、簡易な構成で多彩な制御が可能となる。なお、後者の制御モードの場合には、キーセンサ２６から供給される信号に基づいて、図１２に示す処理と同様の処理を行うようにすればよい。
【００６１】
【発明の効果】
以上説明したように、本発明によれば、外部から入力される信号に応じて演奏、演奏支援または他装置の制御などを実行することが可能となる。
【図面の簡単な説明】
【図１】実施形態の全体構成を示す図である。
【図２】ピアノの外観構成を示す図である。
【図３】ピアノの主要部の構成を示す図である。
【図４】制御装置の構成を示すブロック図である。
【図５】ＭＩＤＩデータ供給装置の構成を示すブロック図である。
【図６】ＭＩＤＩデータの構成を示す図である。
【図７】ＭＩＤＩデータと制御内容の対応を示す図である。
【図８】ＭＩＤＩデータに含まれるパラメータと制御内容の対応を示す図である。
【図９】ＭＩＤＩデータの内容を音符で示した図である。
【図１０】各種バッファの内容を例示した図である。
【図１１】ピアノの動作を説明するフローチャートである（メインルーチン）。
【図１２】ピアノの動作を説明するフローチャートである（押鍵処理）。
【図１３】ピアノの動作を説明するフローチャートである（演奏データ読出処理）。
【図１４】ピアノの動作を説明するフローチャートである（イベント実行処理）。
【図１５】制御装置の動作を説明するフローチャートである。
【符号の説明】
１００……ピアノ、１……鍵、２……ハンマ、３……アクションメカニズム、４……弦、５……ソレノイド、６……ダンパ６、１１……コントローラ、１２……サーボコントローラ、２５……電子楽音発生装置、２６……キーセンサ、２８……ＭＩＤＩデータ供給装置、１１０……ＭＩＤＩインターフェイス、１１１……ＭＩＤＩケーブル、１２０……ディスクドライブ、１３０……ディスプレイ、２００……制御装置、３００……効果装置。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a control device and a control method for controlling performance of a musical instrument, performance support, or other devices in accordance with an externally input signal.
[0002]
[Prior art]
Conventionally, some electronic keyboard instruments automatically control the progression of accompaniment according to the performance speed of the performer. In this accompaniment progression, a specific break note called a cue note is pressed by the performer. There is a control that stops the accompaniment progression until it is played. This is because a cue flag is added to the pitches at predetermined intervals of the performance data stored in advance, and when the player presses the key corresponding to this pitch, the performance after that timing is played. The accompaniment progresses by data. Therefore, if the player does not press the key corresponding to the pitch to which the cue flag is added, the accompaniment stops, and the player waits until the player presses the key corresponding to the pitch. On the other hand, when a key is pressed for this pitch, the subsequent accompaniment is resumed. When the beginner plays, the performance may not be able to follow the speed that should be played, but by performing the progress control using the cue note as described above, accompaniment that matches the performance speed of the beginner is realized. be able to.
[0003]
[Problems to be solved by the invention]
However, in the progress control using the conventional cue note described above, the progress of the accompaniment is controlled according to the key depression of the electronic keyboard instrument. It was not possible to control the progression of accompaniment.
[0004]
The present invention has been made in view of the above circumstances, and provides a control device and a control method capable of performing performance, performance support, or control of other devices in accordance with an externally input signal. The purpose is to do.
[0005]
[Means for Solving the Problems]
In order to solve the above problems, the invention described in claim 1 of the present invention is the first data which is one of the main performance data and the accompaniment performance data, and the other of the main performance data and the accompaniment performance data. Storage means for storing performance data including at least second data, driving means for driving a performance operator based on the first data, and musical sound generation means for generating a musical sound based on the second data And receiving means for receiving a signal input from the outside and outputting pitch information based on the received signal, comparing the pitch information output from the receiving means with the first data, According to the comparison result, the progress of the musical tone generation by the musical tone generating means and the driving by the driving means are controlled, or the musical tone generating means is controlled according to the operation data generated by the operation of the performance operator. Control means for controlling the progress of the musical tone generation, and the control mode of the control means includes a first mode in which control is performed in accordance with the signal received by the receiving means or operation data generated by operation of the performance operator. Selecting means for selecting a second mode for performing the corresponding control, and the control means, when the first mode is selected, at a predetermined break previously described in the performance data, Musical tone generation by the musical tone generating means until pitch information corresponding to the segmented performance data is output from the receiving means And driving by the driving means Progress Delay or The musical tone is generated when pitch information corresponding to the segmented performance data is output from the receiving means. And said drive Progression Delay or When the stop mode is released and the second mode is selected, the musical tone generated by the musical tone generating means until the operation data corresponding to the performance data of the segment is generated in the predetermined segment previously described in the performance data. The progress of the generation is stopped, and when the operation data corresponding to the segmented performance data is generated, the stop of the generation of the musical sound is canceled.
[0007]
Claims 2 In the invention described in claim 1, in the invention described in claim 1, the performance data stored in the storage means is control data. Further includes , Further comprising other device control means for controlling another device based on the control data, the control means comprising the pitch information output from the receiving means and the pitch information First Compare the data and control the progress of the control of the other device by the other device control means according to the comparison result Or the progress of the control of the other device by the other device control means is controlled according to the operation data generated by the operation of the performance operator. It is a thing to do.
[0008]
Claims 3 In the invention described in claim 1, in the invention described in claim 1, the performance data stored in the storage means includes at least main performance data and control data, and controls other devices based on the control data. Means for comparing the pitch information output from the receiving means with the performance data, and controlling the progress of the control of the other apparatus by the other apparatus control means according to the comparison result. It is a thing to do.
[0009]
Claims 4 The invention according to claim 1 is characterized in that, in the invention according to claim 1, the receiving means receives pitch information input from the outside and outputs the pitch information.
[0013]
The invention according to claim 5 includes at least first data which is one of main performance data and accompaniment performance data, and second data which is the other of the main performance data and accompaniment performance data. A method for controlling the generation of musical sounds and the progression of driving of a musical performance controller for generating musical sounds based on performance data, wherein a reading step for reading stored performance data and a signal input from outside are received. Then, the reception step of outputting the pitch information based on the received signal is compared with the output pitch information and the read performance data, and the progress of the tone generation by the tone generator according to the comparison result And a control step for controlling the driving of the performance operator or for controlling the progress of the musical tone generation in accordance with operation data generated by the operation of the performance operator, and the control step. As the control mode, the first mode for performing control according to the signal received in the reception step or the second mode for performing control according to operation data generated by the operation of the performance operator is selected. A selection step, and when the first mode is selected, the control step outputs pitch information corresponding to the performance data at the predetermined interval described in the performance data in advance. Until Above Musical sound generation And said drive Progress Delay or The musical tone is generated when pitch information corresponding to the performance data of the break is output And said drive Progression Delay or When the stop mode is released and the second mode is selected, the progress of musical tone generation is stopped until operation data corresponding to the performance data of the segment is generated in a predetermined segment previously described in the performance data. When the operation data corresponding to the segmented performance data is generated, the progress stop of the musical sound generation is canceled.
[0015]
Claims 6 The invention described in claim 5 In the invention described in claim 1, the stored performance data is control data. Further includes , Further comprising another device control step for controlling another device based on the control data, wherein the control step includes the pitch information output in the reception step and the pitch information First Compare the data and control the progress of the control of the other device in the other device control step according to the comparison result Or the progress of the control of the other device by the other device control means is controlled according to the operation data generated by the operation of the performance operator. It is a thing to do.
[0016]
Claims 7 The invention described in claim 5 In the invention described in claim 1, the receiving step receives an audio signal input from a microphone or an audio device, detects a pitch of the audio signal, and outputs pitch information indicating the detected pitch. It is characterized by being.
[0017]
Claims 8 The invention described in claim 5 The receiving step is characterized in that the receiving step receives pitch information input from the outside and outputs the pitch information.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
[1. Configuration of Embodiment]
[1-1. overall structure]
FIG. 1 shows the overall configuration of the embodiment. In the present embodiment, a piano 100 for performing a performance, a control device 200 connected to the piano 100 with a MIDI (Musical Instrument Digital Interface) cable 111, and an effect device that imparts various effects to the performance based on the control of the control device 200. 300 and a MIDI data supply device 28 connected to the piano 100 by a MIDI cable 111.
The piano 100 is configured to output a MIDI signal as will be described in detail later, and the control device 200 controls the control device 300 based on the MIDI signal transmitted in synchronization with the performance of the piano 100. It is configured to be controllable. The MIDI data supply device 28 is configured to generate and output a MIDI signal, as will be described in detail later. The MIDI data generated by the MIDI data supply device 28 is transmitted via the MIDI cable 111. It can be supplied to the piano 100.
In the present embodiment, as the effect device 300, a lighting device 301, a display 302, and a sound system 303 are connected to the control device 200, and the control device 200 turns the lighting device 301 on / off, moves, and moves to the display 302. Display of still images and moving images, output of sound effects (for example, audio sounds recorded on a CD) to the sound system 303, and the like.
[0022]
[1-2. Piano composition]
FIG. 2 is a diagram illustrating an external configuration of the piano 100, and FIG. 3 is a diagram illustrating an internal configuration of a main part of the piano 100.
The piano 100 includes an action mechanism 3 that transmits the movement of the key 1 to the hammer 2, a string 4 that is hit by the hammer 2, a solenoid 5 that drives the key 1, and a damper 6 that stops vibration of the string 4. These configurations are the same as those of a general automatic piano. The piano 100 is also provided with a back check 7 as in a normal acoustic piano, and prevents the hammer 2 from rampaging when the hammer 2 after striking returns to the hammer action mechanism. In addition, the piano 100 has the same mechanism as that mounted on a normal acoustic piano. Further, the piano 100 is provided with a stopper (not shown) that prevents the hammer 2 from hitting the string. It can be moved electrically or mechanically between the permissible positions.
[0023]
The piano 100 also includes a controller 11, a servo controller 12, an electronic musical tone generator 25, a key sensor 26, a MIDI interface 110, a disk drive 120, and a display 130.
The controller 11 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like, and controls each part of the piano 100.
The servo controller 12 supplies an excitation current corresponding to the speed instruction value Vr to the solenoid 5 and compares the output speed Vy as a feedback signal supplied from the solenoid 5 with the speed instruction value Vr so that they match. Servo control is performed, and the speed instruction value Vr is appropriately output from the controller 11 as a value indicating the speed corresponding to the position of the key 1 at each time.
The electronic musical sound generating unit 25 generates electronic musical sounds based on the control of the controller 11 and includes a sound source, a speaker, and the like.
The key sensor 26 is a sensor that is provided on the lower surface side of each key 1 and detects the operation of the corresponding key 1. The key sensor 26 detects a signal indicating the state of each key 1 and outputs the signal to the controller 11. The controller 11 supplies a control signal to the electronic musical tone generator 25 based on signals supplied from these key sensors 26. Thereby, a musical sound corresponding to the operation of the key 1 can be generated electronically. Further, the controller 11 transmits a MIDI signal for instructing various effect control to the control device 200 based on the MIDI data supplied from the MIDI data supply device 28 as well as the solenoid 5 and the electronic device. The tone generator 25 is controlled to control tone generation. The MIDI interface 110 can send and receive MIDI data to and from an external electronic musical instrument other than the MIDI data supply device 28 and the control device 200.
[0024]
The disk drive 120 is a device that reads data recorded on an external recording medium such as a DVD-ROM or CD-ROM, and is used to supply performance data to the controller 11 in this embodiment.
The display 130 is a liquid crystal display with a touch panel, and is supported by the music stand so that it can be rotated up, down, left, and right, so that the controller 11 can control display contents and detect a panel state. It is configured. In the present embodiment, the display 130 is used as a panel for displaying the performance state of the piano 100 and performing various settings.
[0025]
[1-3. Configuration of control device]
FIG. 4 is a diagram illustrating a configuration of the control device 200. As shown in this figure, the control device 200 includes a control unit 201 that controls each unit, a MIDI interface 202, a setting table 203, an illumination database 211, an image database 212, an acoustic database 213, an illumination device control unit 221, a display control unit 222, A sound system control unit 223 is provided.
The setting table 203 stores the correspondence between the content of the MIDI signal and the control content of the effect device 300, as illustrated later. In this embodiment, the control content stores a file describing detailed control content for each type of the control device 300 as a database, and the illumination database 211 stores the control content of the illumination device 301. Reference numeral 212 stores control contents of still images and moving images to be displayed on the display 302, and an acoustic database 213 stores control contents of audio output in the sound system 303.
The lighting device control unit 221, the display control unit 222, and the sound system control unit 223 control each connected effect device in accordance with the description content of the file specified based on the content of the received MIDI signal. is there.
[0026]
[1-4. Configuration of MIDI data supply apparatus]
Next, the MIDI data supply device 28 that supplies MIDI data to the MIDI interface 110 of the controller 11 will be described. The MIDI data supply device 28 sequentially generates MIDI data and sends it to the controller 11. As such a MIDI data supply device 28, various MIDI musical instruments that generate MIDI data in accordance with the operation state of a performance operator by a performer or the like can be used.
[0027]
Further, as shown in FIG. 5, MIDI data may be generated from a voice such as a human voice or an animal call. As shown in the figure, this apparatus includes an A / D converter 41 for A / D converting an audio signal corresponding to sound generated by a microphone and an audio signal input from an audio device, and an A / D converter. A pitch detection unit 43 that detects the pitch of the audio data digitized by the input unit 41; and a MIDI data generation unit 42 that generates MIDI data based on the pitch detected by the pitch detection unit 43. Under this configuration, when an audio signal corresponding to a person's singing voice is input, MIDI data is sequentially generated according to the singing voice. Further, by using this apparatus, it is possible to generate an MIDI signal by inputting an audio signal corresponding to a musical sound generated by an acoustic instrument with a microphone, and supply the MIDI data to the controller 11.
[0028]
[1-5. Data structure]
Next, a data configuration for performing synchronization control will be described. In this embodiment, the synchronization control is performed based on performance data describing the progress of performance, and the performance data is described in the MIDI format.
FIG. 6 shows a part of the performance data. The MIDI data is composed of sequence data including event data, timing data indicating these time intervals, and end data, and is supplied from the disk drive 120.
[0029]
The event data includes data indicating a note-on event, a note-off event, a note number, and velocity. In the present embodiment, descriptions of events other than note-on and note-off are omitted.
Further, MIDI data can control up to 16 instruments, and therefore, up to 16 instruments can be described as note event data. In this embodiment, sequence data is created for each system, and each sequence is specified by a track name from Tr0 to Tr15.
[0030]
An identifier called a cue flag is described in a portion indicating the velocity of a note-on event of predetermined one system of event data (see “Cf” shown in FIG. 6). That is, the controller 11 determines whether or not the note (pitch) is specified by the cue flag by referring to a portion indicating the velocity of the note-on event of a predetermined system in the MIDI data. Can be done. Note that the information for describing the cue flag may be written in another portion in addition to the velocity portion as described above.
[0031]
In the present embodiment, this cue flag is used to synchronize the performance on the piano 100 and the control of the effect device 300 performed in the control device 200. More specifically, in each system described above, the main performance track indicating the melody line of the performance, the accompaniment track indicating the accompaniment pitch of the performance, and the control contents of the devices connected to the outside of the piano 100 are provided. The external control track shown is assigned, and a cue flag is attached to the note-on event included in the main performance track at every predetermined interval.
Then, by controlling the execution timing of the note-on event of the main performance track with the cue flag based on the MIDI data supplied from the MIDI data supply device 28, the execution timing of the event data of the external control track is also obtained. And the electronic performance of the accompaniment by the electronic musical tone generator 25 based on the event data of the accompaniment track.
As a result, the contents of control can be described in advance in accordance with the progress of performance of other musical instruments or the singing voice of the singer, so that the trouble of operating the control switch can be saved.
[0032]
By the way, in this embodiment, as illustrated in FIG. 7, a table in which the control content performed by the controller 11 is assigned to each track is stored in the RAM in the controller 11. This content is included in performance data, for example.
The controller 11 can perform different control based on the track number including event data to be executed at a predetermined timing. In the example shown in FIG. 7, the event data of the main performance is described in the track Tr0. The solenoid 5 is set to be controlled based on the event data. In addition, event data of accompaniment performance is described in the track Tr1, and the electronic musical tone generator 25 is set to be controlled based on this event data. Furthermore, it is set to control an external device based on the event data of the track Tr2. In this case, the solenoid 5 is driven by driving the key 1 to such an extent that the hammer 2 does not hit the string 4, so that the key to be pressed is notified to the performer by setting the so-called key 1 halfway. And It should be noted that the performance guide in which the key 1 is half-pressed may not be performed, or the performance guide may be performed by a lighting display by an LED provided for each key.
As a result, the performance instruction of the main performance portion is instructed based on the data of the track Tr0, the performance by the electronic musical sound of the accompaniment is performed based on the data of the track Tr1, and the effect device 300 connected to the outside based on the data of the track Tr1 The used effect can be given.
[0033]
FIG. 8 is a diagram illustrating the correspondence between the content of the MIDI signal transmitted from the piano 100 and the control content in the control device 200. This content is stored in the setting table of the control device 200 as described above. It is remembered.
In the present embodiment, note-on events are used for MIDI data indicating control contents for external devices. The control device 200 may select the control content based on the note number included in the note-on data.
As described above, the files describing the detailed control contents of each control device 300 are stored as a database, and each file is given a file name as illustrated in FIG. It can be specified.
The setting table has a data structure in which note numbers and file names are associated with each other on a one-to-one basis.
In FIG. 8, note numbers 0 to 127 correspond to three types of control contents of illumination, image, and sound. However, the event data of illumination, image, and sound are assigned to different tracks for each type. Then, since each type of event data can be sorted, 128 note numbers can be used for each type of control, and the control can be diversified.
[0034]
[2. Operation of the embodiment]
Next, the operation of the present embodiment having the above-described configuration will be described in detail, and then the detailed operations of the piano 100 and the control device 200 will be described.
[0035]
[2-1. Overview operation]
FIG. 9 is a diagram showing an example of data contents of the main performance track and the external control track described above as a score.
In the following description, two types of time “event time” and “pointer time” are used for specifying the timing. The “event time” is a time specified by the accumulation of the timing data described above, and indicates a time at which each event data included in the performance data is to be executed. For example, in the specific example shown in FIG. 9, the performance time of each note when the resolution of the controller 11 = 2 (1/8 note is the basic unit) is shown in the time series of “event time”. According to this example, the note-on event with the cue flag is played at the event times t8 and t16. The timing indicated by the event time is a time common to the 16 tracks Tr0 to Tr15 included in the performance data, so that the event data included in each track can be synchronized.
[0036]
On the other hand, the “pointer time” indicates the time when the event data is executed, that is, the time during the current performance. If the performance is based on normal MIDI data that does not use the cue flag, the pointer time advances at a constant time interval defined by the tempo. However, as in this embodiment, the performance of the performance is awaited using the cue flag. When performing, it does not necessarily advance at a fixed time interval.
In the following description, in addition to the event time and the pointer time, “cue flag time” may be used. This is the event time, in particular, a note-on event with a cue flag is executed. Indicates the power time. In addition, “elapsed time” in FIG. 9 indicates the elapsed time since the reception event corresponding to the queue flag has been set. The “reception event corresponding to the cue flag” in the present embodiment refers to the case where the note-on event data corresponding to the note number included in the note ion event with the cue flag is received from the MIDI data supply device 28. Say.
[0037]
In the present embodiment, the standby state of the reception event is assumed to continue for a predetermined time before and after the queue flag time. This is in consideration of the case where MIDI data based on the singer's singing voice or the performance sound of another musical instrument is supplied from the MIDI data supply device 28, or earlier than the cue flag time indicated by the performance data. This is because, even when a note-on event having a pitch indicated by the cue flag is received from the MIDI data supply device 28 later, the effect applying timing and the accompaniment progression timing are synchronized with the singing voice of the singer and the performance of other instruments.
More specifically, in the reception standby time corresponding to the queue flag (“elapsed time” in FIG. 9), the progress of the pointer time is temporarily stopped, and the queue is generated when there is a reception event corresponding to the queue flag. The progress of the pointer time starts from the flag time. Note that if there is no reception event even after a predetermined time has elapsed since the standby state of the reception event has started, the reception event is not detected due to a malfunction or the like, the player of another instrument, If the singer intends not to give an effect and the performer's performance may be in progress, the standby state is canceled and the event time corresponding to the unexecuted event data The pointer time starts from the beginning.
[0038]
In the present embodiment, in order to perform the processing as described above, a buffer (reception buffer, event buffer, cue flag buffer) that temporarily stores data necessary for processing executed in the controller 11 is a controller of the piano 100. 11 RAM.
10A and 10B are diagrams showing examples of contents of various buffers. (1) shows examples of contents of reception buffers, (2) shows examples of contents of event buffers, and (3) shows examples of contents of queue flag buffers. Show.
[0039]
The reception buffer is a buffer for storing note-on events supplied from the MIDI data supply device 28. When the note-on event data is received from the MIDI data supply device 28, the controller 11 writes the note number in this reception buffer.
The event buffer is a buffer for reading and storing event data to be executed next from a disk set in advance in the disk drive, and as shown in FIG. 10 (2), the track number, event, and note number of the event data. And the event time are stored in association with each other.
The queue flag buffer is a buffer for storing the contents of the queue flag. As shown in FIG. 10 (3), the note number of the note-on event to which the queue flag is attached, the elapsed time since the queue execution wait state is entered. , And the queue flag time are stored in association with each other.
Detailed processing using these buffers will be described next with reference to a flowchart.
[0040]
[2-2. Detailed operation of the piano 100]
[2-2-1. Main routine]
The flowchart shown in FIG. 11 is a main routine of processing executed by the controller 11 of the piano 100 according to a program stored in an internal memory. The processing shown in this figure is started when a performance start is instructed, for example, by operating the touch panel of the display 130 described above.
When the controller 11 starts the processing shown in this figure, first, initialization processing such as various settings is performed (S100). Here, for example, the above-described various buffers are initialized and the pointer time is initialized.
When the initialization is completed, the controller 11 circulates reception processing (S200), performance data reading processing (S300), and event execution processing (S400), which will be described in detail later, until the performance ends. It is assumed that the circulation is performed once per basic unit time in the event time series.
[0041]
[2-2-2. Receive processing]
The flowchart shown in FIG. 12 shows a subroutine of the reception process (FIG. 11: S200). The reception process is a routine for receiving the MIDI data supplied from the MIDI data supply device 28, and the controller 11 first receives the MIDI data supplied from the MIDI interface 110 from the MIDI interface 110 (S201).
Then, it is determined whether or not the received MIDI data is a note-on event (S202). If it is determined that the received MIDI data is a note-on event (S202; YES), as shown in FIG. The note number indicated in the note-on event is written to the reception buffer (S203), and the process returns to the main routine.
[0042]
On the other hand, if it is determined in step S202 that it is not a note-on event (S202; NO), it is then determined whether it is a note-off event (S204), and it is determined that it is a note-off event. In this case (S204; YES), the note number indicated by the note-off event is erased from the reception buffer (S205), and the process returns to the main routine.
If it is determined in step S204 that the event is not a note-off event (S204; NO), MIDI data other than note-on and note-off is received, and the process returns to the main routine as it is.
By repeating this process, the controller 11 converts the note-on event supplied from the external MIDI data supply device 28, for example, the MIDI data supply device 28 into the singing voice of the singer or the performance sound of other instruments into MIDI data. If it is, the singing voice or performance pitch can be recognized by the data stored in the reception buffer.
[0043]
[2-2-3. Performance data read processing]
The flowchart shown in FIG. 13 shows a subroutine of the performance data reading process (FIG. 11: S300). The performance data reading process is a process of previously reading event data to be executed next from the MIDI sequence in the performance data and storing it in the event buffer shown in FIG. A read timer for reading event data is provided for each track.
[0044]
The controller 11 first starts reading from the first track Tr0 (S301). When reading is started, it is determined whether or not the value indicated by the reading timer is 0, that is, whether or not it is the reading timing of the event data of this track (S302). Note that the value set in the read timer indicates the time until the next event data is read, as will be described later, and is decremented by 1 every time the routine circulates. It is shown. If it is determined in step S302 that it is the event data read timing (S302; YES), the event data to be executed next is read (S303), and the event time at which the event data is to be executed is set to the timing data. (S304). Then, as shown in FIG. 10 (2), the track number, event type, note number, and event time are written in the event buffer (S305), and the time until the next event data is read is set in the read timer. (S306). The set time is set to be a predetermined time before the event time. As a result, the event data can be read in advance, and the reception of the reception event corresponding to the queue flag can be started before the queue flag time.
[0045]
The controller 11 determines whether or not a queue flag is attached to the event data read this time (S307), and if it is determined that the queue flag is set (S307; YES), FIG. 10 (3) As shown in FIG. 6, the note number of the note-on event with the cue flag is written into the cue flag buffer (S308). At this time, the event time calculated in step S304 is set as the cue flag time. At this time, since no time has elapsed since the queue flag was written, the elapsed time is set to zero.
[0046]
After writing to the cue flag (S308) or when it is determined in step S307 that the cue flag is not attached (S307; NO), read processing is performed on the MIDI data of all tracks. (S309; NO), and if it is determined that there is still a track that has not been read (S309; NO), the processing target is changed to the next track (S310), and step The process proceeds to the determination of the read timer value in S302.
By the way, if it is determined in step S302 that the read timer value is not 0, that is, it is not the timing for reading event data (S302; NO), after the read timer value is decremented by 1 (S311), all tracks It is determined whether or not the process has been completed (S309).
If it is determined in step S309 that the process has been completed for all tracks (S309; YES), the performance data reading process is terminated and the process returns to the main routine.
[0047]
[2-2-4. Event execution processing]
The flowchart shown in FIG. 14 shows a subroutine of event execution processing (FIG. 11: S400). The event execution process is a process for executing the event data stored in the event buffer, and this routine also waits for a reception event corresponding to the queue flag.
The controller 11 first determines whether or not data is stored in the queue flag buffer (S401), and the data is stored in the queue flag buffer, that is, the reception event corresponding to the queue flag is waiting. If it is determined (S401; YES), it is determined whether or not the note number stored in the queue flag buffer matches the note number stored in the reception buffer (S402). If it is determined that the two match (S402; YES), it can be determined that the note-on event data having the same note number as the note-on event with the cue flag is received from the MIDI data supply device 28. As described above, in order to cancel the standby state, the pointer time is set to the queue flag time (S403).
[0048]
On the other hand, if it is determined in step S402 that the note number stored in the cue flag buffer and the note number stored in the reception buffer do not match (S402; NO), the note-on with the cue flag added. Since it can be determined that note-on event data having the same note number as the event is not supplied from the MIDI data supply device 28, the elapsed time in the queue flag buffer (see FIG. 10 (3)) is incremented by 1 (S404).
Then, it is determined whether or not the elapsed time value is equal to or greater than a predetermined value as the standby allowable time (S405). When it is determined that the elapsed time is less than the predetermined value, that is, the elapsed time is still within the allowable time (S405). NO), the event execution process is terminated to return to the main routine in order to continue the standby state of the reception event corresponding to the queue flag.
On the other hand, if it is determined that the elapsed time value is equal to or greater than the predetermined value (S405; YES), the event time of event data to be executed next is set to the pointer time to release the standby state (S406).
In step S403 or step S406, after setting the point time for canceling the standby state, the queue flag buffer data is deleted (S407).
[0049]
By the way, if it is determined in step S401 that no data is stored in the cue flag buffer (S401; NO), since the reception event is not waiting, the pointer time is advanced as a normal performance. The pointer time is incremented by 1 (S410).
[0050]
When the pointer time to be processed this time is set in step S403, S406, or S410, the controller 11 refers to the event buffer and executes an event corresponding to the pointer time (S408). As described above with reference to FIG. 7, the control contents performed by the controller 11 are associated with each track number in which event data to be executed is included. In the example shown in FIG. 7, if the event data to be executed is data of the track Tr0, the performance of the main performance is instructed by controlling the solenoid 5 of the key 1 corresponding to this note number. A musical tone having a pitch corresponding to the note number is generated in the electronic musical tone generating device 25 to perform accompaniment performance. If the data is the track Tr3, a note-on message including the note number is transmitted to the control device 200 as a MIDI signal.
After executing such control based on event data corresponding to each track (S408), the controller 11 deletes the executed event data from the event buffer (S409), and ends the event execution processing.
[0051]
[2-3. Detailed Operation of Control Device 200]
Next, the detailed operation of the control device 200 will be described with reference to the flowchart shown in FIG.
For example, when the processing shown in FIG. 15 is started based on panel operation, data transmitted from the piano 100, or the like, the control unit 201 of the control device 200 performs initialization processing (Sb1), and then receives MIDI from the piano 100. A signal reception wait state is set (Sb2).
If it is determined in step Sb2 that the MIDI signal has been received (Sb2; YES), the control data corresponding to the received note number is retrieved from the database with reference to the setting table 203 illustrated in FIG. 8 (Sb3 ). Then, the effect device 300 is controlled based on the retrieved control data (Sb4), and it is determined whether or not the performance on the piano 200 has ended (Sb5).
If it is determined in step Sb5 that the performance has not ended (Sb5; NO), the process returns to the MIDI signal reception waiting in step Sb2, and if it is determined that the performance has ended (Sb5; YES), End the process.
[0052]
[3. Summary]
As described above, in the present embodiment, the contents of various effects to be added to the performance can be described in advance in the performance data in accordance with the time progress of the music data such as performance support for the performer and automatic performance of accompaniment. Therefore, the performer does not need to perform a plurality of effect imparting control operations separately from the performance operation.
Further, the performance data is provided with a cue flag, and execution of processing based on the performance data can be stopped until an event corresponding to the cue flag is supplied from the MIDI data supply device 28. For this reason, for example, if the singing voice of the singer or the performance sound of another musical instrument input to the MIDI data supply device 28 is converted into MIDI data, the performance of the singer's song or the performance of the other musical instrument is included in the performance data. Even if the timing is before or after the described timing, the automatic performance of the accompaniment to be performed in accordance with the above-mentioned song or performance, the performance instruction of the main performance, and the control of the effect to be applied are also paused. Therefore, the performance operation of other musical instruments or the singer's song is synchronized with the accompaniment by the piano 100, the performance instruction of the main performance, and the effect control by other various devices.
[0053]
[4. Modified example]
The present invention is not limited to the above-described embodiment, and various modifications as shown below are possible.
[0054]
In the above embodiment, as an apparatus other than a musical instrument, an illuminating device that is an effect device, a display, a sound system, and the like are given as examples, but not limited thereto, for example, an air conditioner, a blower, a scent generator, etc. Any device can be used as long as the piano 100 can be controlled with a function other than a normal function provided as a musical instrument.
Also, the effect imparted by each effect device may be any as long as it can be controlled by previously stored data, and the format of the data stored may be any. For example, MPEG (Moving Picture Experts Group) can be used for moving images, ADPCM (Adaptive Differential Pulse Code Modulation) format data can be used for audio, and musical sound can be generated with sound sources based on MIDI data. It doesn't matter if you do.
Note that the present invention is not limited to the device for controlling the piano as in the above embodiment, and may control other key instruments such as a keyboard and an organ, and generate musical sounds based on performance data. What is necessary is just to have an apparatus which performs.
[0055]
In the above embodiment, a plurality of effect devices are controlled by a single control device. However, a control device may be provided for each effect device so that the MIDI signal transmission destination is controlled on the musical instrument side. Absent. Alternatively, the control device may be provided on the musical instrument side.
In the above-described embodiment, the cue flag is included in the note-on event, but the present invention is not limited to this, and any description may be used as long as it can be associated with information indicating the pitch input from the outside. For example, a track describing only the cue flag may be provided.
In the above embodiment, the cue flag is used as data indicating a predetermined break described in the performance data. However, the present invention is not limited to this, and other identifiers may be used. For example, when data indicating bar lines is included, bar line data may be used, and when a mark indicating the start of a rust section is described as in karaoke data, such a mark is used. You can use it. Alternatively, without using the identifier, other information such as a predetermined time condition or every note number may be described in the header of the performance data.
[0056]
In the above embodiment, when the queue flag is stored in the buffer, the pointer data is supplied from the MIDI data supply device 28 by stopping the progress of the pointer time until the reception event corresponding to the note number of the queue flag is detected. MIDI data and main performance data are compared and the progress of main performance data, accompaniment data and control data is controlled in accordance with the comparison result. You may make it late.
In the above embodiment, when comparing the performance performance of the musical instrument and the main performance data, the progress of the main performance data and the progress of the control data are matched using the same pointer time. Only the progress of data may be stopped, and the progress of accompaniment data and control data may be stopped after a little progress, or the progress speed of accompaniment data and control data may be gradually slowed down. .
In the above embodiment, it is described that the standby state is canceled when a predetermined time has elapsed since the reception event standby state corresponding to the queue flag has been entered, but the process continues to wait until a reception event is detected. It doesn't matter if you do.
In the above embodiment, the reception event is waited for at a timing earlier than the cue flag time. When the reception event is detected before the cue flag time, the effect applying timing and the accompaniment performance timing are also advanced. Although an example is used for explanation, the present invention is not limited to this, and the effect applying timing may not be advanced. In such a case, if the received event was detected within a predetermined time before the point time coincided with the cue flag time, the pointer time was advanced as it was, and the received event was not detected May wait until a reception event is detected.
[0057]
As for event data for controlling effect provision, in the above embodiment, a note-on event is used to associate the note number included in the event with the control content, but other messages such as exclusive may be used, for example. However, the control content may be associated with other parameters such as velocity. The data format for describing the performance data and the transmission format of the control signal from the musical instrument to the control device are not limited to MIDI as in the above embodiment, but may be of other formats. It is.
In the above-described embodiment, the program for performing various controls has been described as being stored in the controller 11 and the control unit 201 in advance. However, for example, the program can be read from a disk set in the disk drive 120 or installed. It may be.
The means for supplying the program and performance data to the controller 11 and the control unit 201 is not limited to reading from the disc, and a communication interface may be provided so that the program and performance data can be supplied via a communication line.
[0058]
In the above-described embodiment, the performance data for controlling the musical sound generation of the piano 100 is performed using MIDI data having an accompaniment track in addition to the main performance track, and performing the performance instruction of the main performance and the electronic musical sound of the accompaniment. However, MIDI data describing only the main performance track may be used. Also in this case, only when the cue flag is described in the main performance track and MIDI data having the same pitch as the pitch to which the cue flag is attached is received from the MIDI data supply device 28 as in the above embodiment. The main performance by electronic musical sound corresponding to the MIDI data described in the main performance track may be performed, and the performance based on the main performance track may be stopped when MIDI data having the same pitch is not received. . Under this configuration, when the MIDI data supply device 28 converts a singer's song into MIDI data, it is possible to generate a melody sound that follows the progress of the sung melody.
[0059]
In the above-described embodiment, performance support is performed by pressing the key 1 halfway by the solenoid 5 based on the description content of the main performance track. However, the key 1 is operated by the solenoid 5. You may make it perform the mechanical sound by a string striking. The main performance track may be used only for controlling the progress timing of the accompaniment track, and the solenoid 5 may not be controlled according to the event data of the main performance track as in the above embodiment.
In the above-described embodiment, the electronic musical sound generating unit 25 performs the performance based on the accompaniment track. However, the performance based on the accompaniment track may be performed by mechanical sound generation by the solenoid 5. At this time, the electronic musical tone generator 25 may perform a performance based on the main performance track.
In the above-described embodiment, the cue flag is described in the main performance track. However, the cue flag may be described in the accompaniment track. In this case, for example, an accompaniment performance sound by another musical instrument may be converted to MIDI data by the MIDI data supply device 28 and supplied to the piano 100.
[0060]
In the above-described embodiment, the controller 11 receives information indicating the pitch to the controller 11 by supplying MIDI data from the outside. Any signal can be used as long as it can acquire information indicating high, and an audio signal or the like may be used. For example, an audio signal is received from an audio device such as a CD player or a DVD player, and a pitch is detected from the audio signal (for example, the configuration of the MIDI data supply device 28 shown in FIG. 5 is provided in the piano 100). Also good. In this case, the piano 100 may be provided with a microphone or an audio signal input terminal.
In the above-described embodiment, performance, performance support, or control of another device is executed in accordance with an externally input signal. However, in addition to such a control mode, the key 1 is generated by a performance operation. Depending on the MIDI data, a control mode for performing performance, performance support or control of other devices may be provided so that the player can arbitrarily select these modes. As a result, the control by the signal input from the outside and the control by the performance of the own machine can be realized with a common configuration, and thus various controls can be performed with a simple configuration. In the latter control mode, processing similar to the processing shown in FIG. 12 may be performed based on the signal supplied from the key sensor 26.
[0061]
【The invention's effect】
As described above, according to the present invention, it is possible to perform performance, performance support, control of other devices, or the like in accordance with an externally input signal.
[Brief description of the drawings]
FIG. 1 is a diagram showing an overall configuration of an embodiment.
FIG. 2 is a diagram showing an external configuration of a piano.
FIG. 3 is a diagram showing a configuration of a main part of the piano.
FIG. 4 is a block diagram illustrating a configuration of a control device.
FIG. 5 is a block diagram showing a configuration of a MIDI data supply apparatus.
FIG. 6 is a diagram showing a structure of MIDI data.
FIG. 7 is a diagram showing the correspondence between MIDI data and control content.
FIG. 8 is a diagram showing a correspondence between parameters included in MIDI data and control contents;
FIG. 9 is a diagram showing the contents of MIDI data in musical notes.
FIG. 10 is a diagram illustrating contents of various buffers.
FIG. 11 is a flowchart for explaining the operation of the piano (main routine).
FIG. 12 is a flowchart for explaining the operation of the piano (key pressing process).
FIG. 13 is a flowchart for explaining the operation of the piano (performance data reading process).
FIG. 14 is a flowchart for explaining the operation of the piano (event execution processing).
FIG. 15 is a flowchart illustrating the operation of the control device.
[Explanation of symbols]
100 ... Piano, 1 ... Key, 2 ... Hammer, 3 ... Action mechanism, 4 ... String, 5 ... Solenoid, 6 ... Damper 6, 11 ... Controller, 12 ... Servo controller, 25 ... ... Electronic musical tone generator 26 ... Key sensor 28 ... MIDI data supply device 110 ... MIDI interface 111 ... MIDI cable 120 ... Disk drive 130 ... Display 200 ... Control device 300 ... ... effect device.

Claims

Storage means for storing performance data including at least first data that is one of main performance data and accompaniment performance data and second data that is the other of the main performance data and accompaniment performance data;
Driving means for driving a performance operator based on the first data;
A musical sound generating means for generating a musical sound based on the second data;
Receiving means for receiving an externally input signal and outputting pitch information based on the received signal;
The pitch information output from the receiving means is compared with the first data, and the progress of the tone generation by the tone generating means and the driving by the driving means are controlled according to the comparison result, or the performance operation Control means for controlling the progress of the musical sound generation by the musical sound generating means according to operation data generated by the operation of the child;
As a control mode of the control means, a first mode for performing control according to a signal received by the receiving means or a second mode for performing control according to operation data generated by operation of a performance operator is selected. A selection means, and
The control means includes
When the first mode is selected, the musical tone generating means at a predetermined break previously described in the performance data until the pitch information corresponding to the performance data of the break is output from the receiving means. Delaying or stopping the generation of musical sounds and driving by the driving means, and delaying or stopping the generation of musical sounds and the progress of driving when pitch information corresponding to the segmented performance data is output from the receiving means. Cancel,
When the second mode is selected, at a predetermined break previously described in the performance data, the progress of the musical tone generation by the musical tone generating means is stopped until operation data corresponding to the performance data at the break is generated. Then, when the operation data corresponding to the segmented performance data is generated, the progress stop of the musical sound generation is canceled.

The performance data stored in the storage means further includes control data,
Further comprising other device control means for controlling another device based on the control data,
The control means includes
The pitch information output from the receiving means is compared with the first data, and the progress of the control of the other device by the other device control means is controlled according to the comparison result, or the performance operator is operated. The control device according to claim 1, wherein the control of the other device by the other device control means is controlled in accordance with the operation data generated by the control device.

The receiving means is configured to receive an audio signal input from a microphone or an audio device, detect a pitch of the audio signal, and output pitch information indicating the detected pitch. The control device according to claim 1.

The control device according to claim 1, wherein the receiving unit receives pitch information input from an external musical instrument and outputs the pitch information.

Generation of musical sound for generating musical sound based on performance data including at least first data which is one of main performance data and accompaniment performance data and second data which is the other of the main performance data and accompaniment performance data A method for controlling the musical sound generation of a device and the progress of driving of a performance operator,
A reading step of reading the stored performance data;
A reception step of receiving an externally input signal and outputting pitch information based on the received signal;
Comparing the output pitch information with the read performance data, and controlling the progress of the musical tone generation and the driving of the performance operator according to the comparison result, or generated by the operation of the performance operator A control step for controlling the progress of the musical sound generation according to the operation data received,
As the control mode in the control step, the first mode for performing control according to the signal received in the reception step or the second mode for performing control according to operation data generated by operation of the performance operator is selected. And a selection step to
The control step includes
When the first mode is selected, in advance the performance data specific segmentation described in the progression of the musical tone generation and the driving up pitch information corresponding to the performance data of the compartment cutting is output When the pitch information corresponding to the performance data of the break is output , the delay or stop of the musical sound generation and the progress of the drive is canceled when the delay or stop is output,
When the second mode is selected, in a predetermined segment previously described in the performance data, the progress of the musical tone generation is stopped until operation data corresponding to the segment performance data is generated. The control method according to claim 1, wherein when the operation data corresponding to the performance data is generated, the progress stop of the musical sound generation is canceled.

The stored performance data further includes control data,
Further comprising another device control step of controlling another device based on the control data,
The control step compares the pitch information output in the reception step with the first data, and controls the progress of control of the other device by the other device control step according to the comparison result, or The control method according to claim 5, wherein the progress of control of the other device by the other device control step is controlled according to operation data generated by operation of the performance operator.

The receiving step is to receive an audio signal input from a microphone or an audio device, detect a pitch of the audio signal, and output pitch information indicating the detected pitch. The control method according to claim 5.

The control method according to claim 5, wherein the receiving step receives pitch information input from the outside and outputs the pitch information.