JP5282562B2 - 電子楽器およびその制御方法を実現するためのプログラム - Google Patents

Description

本発明は、少なくともオーディオデータを含む音楽コンテンツを再生しながら、これに合わせて演奏できる電子楽器およびその制御方法を実現するためのプログラムに関する。

オーディオデータを再生しながら、これに合わせて演奏できる電子楽器は、従来から知られている（たとえば、特許文献１参照）。
特開２００５−２７４８５１号公報

ところで、オーディオデータの音量レベルは楽曲毎に異なるのが一般的である。したがって、オーディオデータを再生しながら、これに合わせて電子楽器を演奏した場合、オーディオデータを再生したときの音量レベルは再生対象のオーディオデータが替わる度に変わるので、オーディオデータを再生したときの音量レベルと電子楽器を演奏したときの音量レベルとが合わないことが多い。

この問題に上記従来の電子楽器を用いて対処しようとすると、ユーザは、オーディオデータの再生用の音量レベルおよび電子楽器の演奏用の音量レベルのうち、少なくとも一方を手動で調整しなければならず、面倒であった。

本発明は、この点に着目してなされたものであり、少なくともオーディオデータを含む音楽コンテンツを再生しながら、これに合わせて演奏する際の音量レベルの調整を自動的に行うことが可能となる電子楽器およびその制御方法を実現するためのプログラムを提供することを目的とする。

上記目的を達成するため、請求項１に記載の電子楽器は、少なくともオーディオデータを含む音楽コンテンツを供給する供給手段と、該供給手段によって供給された音楽コンテンツをバッファリングするバッファと、該バッファに音楽コンテンツが所定量バッファリングされたときに、当該バッファリングされた音楽コンテンツからその音量レベルを検出する検出手段と、該検出手段によって検出された音量レベルに応じて演奏用音量レベルを決定する決定手段と、該決定手段によって演奏用音量レベルが決定されてから、前記バッファリングされた音楽コンテンツを再生する再生手段と、演奏情報を入力する入力手段と、該入力手段によって入力された演奏情報に基づいて演奏音信号を出力する出力手段と、前記決定手段によって決定された演奏用音量レベルで演奏できるように、前記出力手段から出力される演奏音信号の音量レベルを制御する制御手段とを有することを特徴とする。

上記目的を達成するため、請求項２に記載の電子楽器は、少なくともオーディオデータを含む音楽コンテンツを供給する供給手段と、該供給手段によって供給された音楽コンテンツをバッファリングするバッファと、該バッファに音楽コンテンツが所定量バッファリングされたときに、当該バッファリングされた音楽コンテンツからその音量レベルを検出する検出手段と、演奏用音量レベルを設定する設定手段と、前記検出手段によって検出された音量レベルおよび前記設定手段によって設定された演奏用音量レベルに応じて、前記バッファリングされた音楽コンテンツを再生する際の再生用音量レベルを決定する決定手段と、該決定手段によって決定された再生用音量レベルで、前記バッファリングされた音楽コンテンツを再生する再生手段と、演奏情報を入力する入力手段と、該入力手段によって入力された演奏情報に基づいて演奏音信号を出力する出力手段と、前記設定された演奏用音量レベルで演奏できるように、前記出力手段から出力される演奏音信号の音量レベルを制御する制御手段とを有することを特徴とする。

上記目的を達成するため、請求項３に記載のプログラムは、請求項１と同様の技術的思想によって実現できる。

上記目的を達成するため、請求項４に記載のプログラムは、請求項２と同様の技術的思想によって実現できる。

請求項１または３に記載の発明によれば、供給手段によって供給された、少なくともオーディオデータを含む音楽コンテンツがバッファに所定量バッファリングされると、当該バッファリングされた音楽コンテンツからその音量レベルが検出され、該検出された音量レベルに応じて演奏用音量レベルが決定され、前記バッファリングされた音楽コンテンツが再生されるとともに前記決定された演奏用音量レベルで演奏がなされるので、少なくともオーディオデータを含む音楽コンテンツの再生開始時に、当該音楽コンテンツの再生に合わせて演奏する際の演奏用音量レベルの調整を自動的に行うことが可能となる。

請求項２または４に記載の発明によれば、供給手段によって供給された、少なくともオーディオデータを含む音楽コンテンツがバッファに所定量バッファリングされると、当該バッファリングされた音楽コンテンツからその音量レベルが検出され、該検出された音量レベルおよび設定された演奏用音量レベルに応じて再生用音量レベルが決定され、該決定された再生用音量レベルで前記供給された音楽コンテンツが再生されるとともに前記設定された演奏用音量レベルで演奏がなされるので、少なくともオーディオデータを含む音楽コンテンツの再生開始時に、再生する際の再生用音量レベルの調整を自動的に行うことが可能となる。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。

図１は、本発明の一実施の形態に係る電子楽器を適用した電子鍵盤楽器１００の概略構成を示すブロック図である。

同図に示すように、電子鍵盤楽器１００は、音高情報を含む演奏情報を入力するための鍵盤を含む演奏操作子１と、各種情報を入力するための複数のスイッチやダイアル、ホイールを含む設定操作子２と、演奏操作子１の操作状態を検出する検出回路３と、設定操作子２の操作状態を検出する検出回路４と、装置全体の制御を司るＣＰＵ５と、該ＣＰＵ５が実行する制御プログラムや各種テーブルデータ等を記憶するＲＯＭ６と、演奏情報、各種入力情報および演算結果等を一時的に記憶するＲＡＭ７と、各種情報等を表示する、たとえば液晶ディスプレイ（ＬＣＤ）および発光ダイオード（ＬＥＤ）等を備えた表示装置８と、前記制御プログラムを含む各種アプリケーションプログラムや各種楽曲データ、各種データ等を記憶する記憶装置９と、通信ネットワーク３００を介して、ストリーミング配信サーバ２００とデータの送受信を行う通信インターフェース（Ｉ／Ｆ）１０と、演奏操作子１から入力された演奏情報や、前記記憶装置９に記憶されたいずれかの楽曲データを再生して得られた演奏情報等を楽音信号に変換するとともに、その楽音信号に各種効果を付与するための音源・効果回路１１と、該音源・効果回路１１からの楽音信号を音響に変換する、たとえば、ＤＡＣ（digital-to-analog converter）やアンプ、スピーカ等のサウンドシステム１２とにより構成されている。

上記構成要素３〜１１は、バス１３を介して相互に接続され、通信Ｉ／Ｆ１０には通信ネットワーク３００が接続され、音源・効果回路１１にはサウンドシステム１２が接続されている。

ストリーミング配信サーバ２００は、電子鍵盤楽器１００からの配信要求に応じてオーディオ／（または）ビデオデータをストリーミング配信する。これに応じて電子鍵盤楽器１００は、受信したオーディオ／ビデオデータをストリーミング再生する。ストリーミング配信サーバ２００からオーディオデータが配信されたときには、電子鍵盤楽器１００は、そのオーディオデータをストリーミング再生し、再生したオーディオデータを音源・効果回路１１に供給する。オーディオデータは通常、圧縮化されており、その上暗号化されているものもあるので、音源・効果回路１１には、圧縮化されたオーディオデータを伸長するとともに暗号化されたオーディオデータを解読するデコード回路（図示せず）が含まれている。音源・効果回路１１に供給されたオーディオデータが、圧縮化されたものであればデコード回路によって伸長され、暗号化されたものであればデコード回路によって解読された後、後段のサウンドシステム１２に供給される。一方、ストリーミング配信サーバ２００からビデオデータが配信されたときには、電子鍵盤楽器１００は、そのビデオデータをストリーミング再生する。ビデオデータには通常、映像データと音声データ（＝オーディオデータ）が含まれているので、ビデオデータの再生によって得られた映像データおよび音声データはそれぞれ表示装置８および音源・効果回路１１に供給される。表示装置８は、映像データのデコード回路（図示せず）を含み、供給された映像データをこのデコード回路でデコードして前記ＬＣＤに供給する。ＬＣＤは、供給された映像データを表示する。これによりＬＣＤ上には、動画像が表示される。音源・効果回路１１は、供給された音声データを前記オーディオデータと同様に処理する。

記憶装置９は、たとえば、フレキシブルディスク（ＦＤ）、ハードディスク（ＨＤ）、ＣＤ−ＲＯＭ、ＤＶＤ（digital versatile disc）、光磁気ディスク（ＭＯ）および半導体メモリなどの記憶媒体とその駆動装置である。記憶媒体は、駆動装置から着脱可能であってもよいし、記憶装置９自体が、電子鍵盤楽器１００から着脱可能であってもよい。あるいは、記憶媒体も記憶装置９も着脱不可能であってもよい。なお、記憶装置９（の記憶媒体）には、前述のように、ＣＰＵ５が実行する制御プログラムも記憶でき、ＲＯＭ６に制御プログラムが記憶されていない場合には、この記憶装置９に制御プログラムを記憶させておき、それをＲＡＭ７に読み込むことにより、ＲＯＭ６に制御プログラムを記憶している場合と同様の動作をＣＰＵ５にさせることができる。このようにすると、制御プログラムの追加やバージョンアップ等が容易に行える。

通信Ｉ／Ｆ１０は、前述のように、たとえばＬＡＮ（local area network）やインターネット、電話回線等の通信ネットワーク３００に接続されており、該通信ネットワーク３００を介して、ストリーミング配信サーバ２００に接続される。このように本実施の形態では、通信Ｉ／Ｆ１０として、汎用ネットワークＩ／Ｆを採用しているが、これに他の種類のＩ／Ｆ、具体的には、ＭＩＤＩ（musical instrument digital interface）信号などの音楽信号を専用に送受信する音楽専用有線Ｉ／Ｆ、ＵＳＢ（universal serial bus）やＩＥＥＥ１３９４（アイトリプルイー１３９４）などの汎用近距離有線Ｉ／Ｆ、無線ＬＡＮ（local area network）やＢｌｕｅｔｏｏｔｈ（登録商標）などの汎用近距離無線Ｉ／Ｆを加えるようにしてもよい。

なお本実施の形態では、電子楽器の形態として、鍵盤楽器の形態を採用したが、これに限らず、弦楽器タイプ、管楽器タイプ、打楽器タイプ等の形態でもよい。

ストリーミング配信サーバ２００は、電子鍵盤楽器１００の上記構成から、演奏操作子１、設定操作子２、検出回路３，４、表示装置８、音源・効果回路１１およびサウンドシステム１２を除き、その代わりに、キーボード、マウスおよび大型ディスプレイを加えた、通常のサーバ用コンピュータ上に構築される。なおストリーミング配信サーバ２００は、本実施の形態では１台によって構成されているが、これに限らず、複数台によって構成されていてもよい。

図２は、ネットワーク構成の一例を示す図である。同図に示すように、インターネット等の通信ネットワーク３００には、電子鍵盤楽器１００と同様に構成された２台の電子鍵盤楽器１００ａおよび１００ｂと、１台のストリーミング配信サーバ２００が接続されている。このように本実施の形態では、１台のストリーミング配信サーバ２００が、複数の電子鍵盤楽器のそれぞれに異なったオーディオ／ビデオデータをストリーミング配信できるようになっている。ここで、オーディオデータのストリーミング配信とは、動画像データを含まない音声データのみ（ただし、静止画像データは含まれることがある）をストリーミング配信することを意味し、ビデオデータのストリーミング配信とは、動画像データとともに音声データもストリーミング配信することを意味する。

ストリーミング配信する方法には主として、ＲＴＰ（real-time transport protocol）やＲＴＳＰ（real time streaming protocol）によるものと、ＨＴＴＰ（hypertext transfer protocol）による擬似的なものとがある。本実施の形態では便宜上、ＲＴＳＰを採用するが、ＲＴＳＰを採用しなければならない理由は特にないので、他のプロトコルを採用してもよい。また、本発明の特徴はストリーミング配信する方法にある訳ではなく、さらに上記プロトコルはいずれもよく知られているので、各プロトコルやそれに基づいたストリーミング配信方法についての説明は省略する。

図３は、ストリーミング配信サーバ２００（の記憶装置）内に記憶されるストリーミング配信用ファイルのフォーマットの一例を示す図であり、同図に示すようにストリーミング配信用ファイルには、タグデータとオーディオ／ビデオデータが含まれている。

タグデータには、当該オーディオ／ビデオデータの音楽ジャンルや総再生時間を含む、当該オーディオ／ビデオデータに関する各種情報が記載されている。

オーディオ／ビデオデータは、コンサート会場でのライブ演奏を録音／録画したライブ音楽／映像、あるいはプロモーション映像などの音楽コンテンツであり、この音楽や映像を再生しながら、これに合わせてユーザが鍵盤などで演奏を楽しむことを想定したものである。オーディオデータは、アナログオーディオ信号をサンプリングしたデジタル波形データであって、非圧縮のもの、あるいは所定のアルゴリズムで圧縮されたものである。ビデオデータは、オーディオデータに加え、非圧縮、あるいは所定のアルゴリズムで圧縮された動画像データを含むものである。なお、オーディオデータまたはビデオデータ中のオーディオデータは、音楽コンテンツ毎にまちまちの音量レベルで記録されているものとする。

以上のように構成された電子鍵盤楽器１００が実行する制御処理を、まずその概要を図２〜図４を参照して説明し、次に図５〜図７を参照して詳細に説明する。

まず電子鍵盤楽器１００（図２では、通信ネットワーク３００に２台の電子鍵盤楽器１００ａおよび１００ｂが接続されているが、そのうちのいずれか１台に相当する）は、ストリーミング配信サーバ２００に対して、ストリーミング配信サーバ２００がストリーミング配信可能なオーディオ／ビデオデータの、たとえば名称一覧の配信要求を送信する。これに応じてストリーミング配信サーバ２００がオーディオ／ビデオデータの名称一覧を配信すると、電子鍵盤楽器１００は、このオーディオ／ビデオデータの名称一覧を受信して、前記表示装置８のＬＣＤ上に表示する。ユーザが、ＬＣＤ上に表示されたオーディオ／ビデオデータの名称一覧からいずれかの名称を選択し、その名称のオーディオ／ビデオデータのストリーミング配信を指示すると、電子鍵盤楽器１００は、ストリーミング配信サーバ２００に対して当該オーディオ／ビデオデータの配信要求を送信する。これに応じてストリーミング配信サーバ２００は、電子鍵盤楽器１００に対して当該オーディオ／ビデオデータを含むストリーミング配信用ファイルを配信する。

ストリーミング配信サーバ２００は、自身の記憶装置に記憶されている複数のストリーミング配信用ファイルから、配信要求されたオーディオ／ビデオデータを含むストリーミング配信用ファイルを読み出し、そのストリーミング配信用ファイルに含まれる２種類のデータのうち、まずタグデータを配信し、次にオーディオ／ビデオデータのストリーミング配信を開始する。なお、タグデータは、たとえばＴＣＰを用いたダウンロード配信によって配信されるのに対して、オーディオ／ビデオデータは、前述のようにＲＴＳＰを用いたストリーミング配信によって配信されるというように、両者の配信方法は実際には異なるが、タグデータのデータ容量はオーディオ／ビデオデータのデータ容量と比較して無視できるほど小さいので、タグデータはオーディオ／ビデオデータの、たとえば先頭部分に含まれて、オーディオ／ビデオデータの一部としてストリーミング配信されるものとする。

ストリーミング配信サーバ２００は、タグデータの含まれたオーディオ／ビデオデータを少量ずつパケットデータで配信し、電子鍵盤楽器１００は、各パケットデータを、たとえば前記通信Ｉ／Ｆ１０内に設けられた１つの受信バッファ（図示せず）で受信する。そして、受信バッファに所定量のオーディオ／ビデオデータ（のパケット）が溜まると、電子鍵盤楽器１００は、この所定量のオーディオ／ビデオデータ（再生開始時のバッファリング部分Ｔｂ（図４参照））からその音量レベルを検出し、検出した音量レベルに基づいて演奏用音量レベルの初期値を決定し、決定した演奏用音量レベルを、前記音源・効果回路１１内に設けられている、演奏用音量レベルが格納されるレジスタ（図示せず）に設定する。

図４は、オーディオ／ビデオデータの再生が開始してから終了するまでの演奏用音量レベルの推移を示す図であり、図中、破線が演奏用音量レベルの推移を示し、実線がオーディオ／ビデオデータが再生されたときの音量レベルの推移を示している。そして図４（ａ）は、上述のようにして音源・効果回路１１に設定された演奏用音量レベルの初期値が当該オーディオ／ビデオデータの再生中に変更されない場合の演奏用音量レベルの推移を示している。

なお上記例では、演奏用音量レベルの初期値がオーディオ／ビデオデータの音量レベルに基づいて決定されて設定されるが、逆に現在設定されている演奏用音量レベルに基づいてオーディオデータの再生用音量レベルの初期値を決定し、決定した再生用音量レベルを音源・効果回路１１内に設けられている、再生用音量レベルが格納されるレジスタ（図示せず）に設定するようにしてもよい。図４（ｄ）は、このようにして音源・効果回路１１に設定された再生用音量レベルの初期値が当該オーディオ／ビデオデータの再生中に変更されない場合の再生用音量レベルの推移を示している。同図（ｄ）中、一点鎖線が変更後の再生用音量レベルでオーディオ／ビデオデータが再生されたときの音量レベルを示し、実線が変更前の再生用音量レベルでオーディオ／ビデオデータが再生されたときの音量レベルを示し、破線が演奏用音量レベルを示している。

このように、オーディオ／ビデオデータの再生を開始する際（開始する直前）のバッファリング部分で演奏用音量レベルあるいは再生用音量レベルが決定されて設定されるので、オーディオ／ビデオデータの再生を開始する時点から設定された音量レベルで演奏あるいは再生を行うことができる。

演奏用音量レベルが設定されると、電子鍵盤楽器１００は、オーディオ／ビデオデータの再生を開始する。そして再生が進み、演奏用音量レベルの設定値とオーディオ／ビデオデータの音量レベルの現在値との乖離幅が大きくなって来ると、電子鍵盤楽器１００は、演奏用音量レベルを新たに決定し、演奏用音量レベルの現在の設定値を新たに決定した演奏用音量レベルに徐々に移行させる。図４（ｂ）は、演奏用音量レベルが当該オーディオ／ビデオデータの再生中に変更される場合の演奏用音量レベルの推移を示している。

さらに再生が進み、再生終了の所定時間Ｔｆ前に至ると、電子鍵盤楽器１００は、その後再生が終了するまで、オーディオ／ビデオデータの音量レベルが低下傾向にあるかどうかを常時チェックし、オーディオ／ビデオデータの音量レベルが低下傾向にあれば「オーディオ／ビデオデータがフェードアウトしている」と判定し、演奏用音量レベルを当該オーディオ／ビデオデータの末尾に向かってフェードアウトさせる。図４（ｃ）は、演奏用音量レベルが当該オーディオ／ビデオデータの末尾付近でフェードアウトされる場合の演奏用音量レベルの推移を示している。

このように本実施の形態では、オーディオデータを再生しながら、これに合わせて演奏する際の音量レベルの調整を自動的に行うことが可能となる。

次に、この制御処理を詳細に説明する。

ユーザが前記設定操作子２に含まれるモード切替スイッチ（図示せず）を操作することにより、動作モードを他のモードからストリーミング再生モードに切り替えた後、前述のようにストリーミング配信サーバ２００に対して、ストリーミング配信可能なオーディオ／ビデオデータの名称一覧の配信を要求すると、ストリーミング配信サーバ２００から電子鍵盤楽器１００にその名称一覧が送信されて、電子鍵盤楽器１００の表示装置８上に表示される。この中からユーザがいずれかの名称を選択して、その名称のオーディオ／ビデオデータのストリーミング配信を指示すると、前記ＣＰＵ５は、ファイル要求＆（および）受信処理を起動する。

図５は、このファイル要求＆受信処理の手順を示すフローチャートであり、同図には、この処理に応じてストリーミング配信サーバ２００が実行するストリーミング配信処理の手順を示すフローチャートも記載されている。

本ファイル要求＆受信処理が起動されると、まずＣＰＵ５は、ユーザによってストリーミング配信が指示されたオーディオ／ビデオデータを含むファイルの配信要求をストリーミング配信サーバ２００に送信する（ステップＳ１）。これに応じてストリーミング配信サーバ２００は、配信要求されたファイルをストリーミング配信する（ステップＳ１０１）。ストリーミング配信サーバ２００は、ストリーミング配信要求されたオーディオ／ビデオデータを含むストリーミング配信用ファイルから、まずタグデータを読み出して配信し、次にオーディオ／ビデオデータを読み出してストリーミング配信する。

ストリーミング配信サーバ２００から電子鍵盤楽器１００に配信されて来たデータ（パケットデータ）は、前述のようにそのデータの種類に拘わらず前記受信バッファに蓄積される（ステップＳ２）。そして受信バッファへのデータの蓄積は、ストリーミング配信サーバ２００からのデータの配信が完了するまでなされる（ステップＳ３）。ただし受信バッファにデータが所定量溜まると、その溜まったデータは、前記ＲＡＭ７内に保存されて受信バッファから消去されるか、あるいはストリーミング再生されて再生された分だけ受信バッファから消去されるので、受信したデータが受信バッファから溢れてしまうことはない。

図６は、電子鍵盤楽器１００、特にＣＰＵ５が実行するストリーミング再生制御処理の手順を示すフローチャートである。本ストリーミング再生制御処理は、前記ファイル要求＆受信処理が起動されたときに起動される。

本ストリーミング再生制御処理は主として、
（１）演奏用音量レベルの初期値を決定して設定する演奏用音量レベルの初期値設定処理（ステップＳ１２）
（２）オーディオ／ビデオデータ再生処理の開始時処理（ステップＳ１３）
によって構成されている。

本ストリーミング再生制御処理が起動されると、まずＣＰＵ５は、受信バッファに所定量のデータ、つまりタグデータを含むオーディオ／ビデオデータが溜まっているかどうかをチェックし（ステップＳ１１）、受信バッファに所定量のデータが溜まっていなければ溜まるまで待ち、溜まっていれば、処理を前記（１）の演奏用音量レベルの初期値設定処理に進める。なお、この（１）演奏用音量レベルの初期値設定処理に進む前にＣＰＵ５は、受信バッファ内のタグデータを読み出してＲＡＭ８の所定位置に確保されたタグデータ保存用バッファ（図示せず）に保存し、そのタグデータを受信バッファから消去しておく。

この（１）演奏用音量レベルの初期値設定処理では、まずＣＰＵ５は、受信バッファ内のオーディオ／ビデオデータに基づいてその音量レベルを検出する。なお本発明の特徴は、オーディオ／ビデオデータの複数サンプルからその音量レベルを検出する方法にある訳ではなく、しかもこのような音量レベルの検出は一般に行われており、本発明においてもその周知の検出方法を用いればよいので、音量レベルの検出方法についての説明は省略する。次にＣＰＵ５は、たとえば次式により、演奏用音量レベルを決定する。

演奏用音量レベル＝検出オーディオ音量レベル／基準オーディオ音量レベル×基準演奏用音量レベル
ただし、基準演奏用音量レベルは、基準オーディオ音量レベルに所定の係数Ｋ（“１”前後の実数値）を掛けたものとする。したがってこの場合、上記演奏用音量レベルは、次のように変形される。

演奏用音量レベル＝Ｋ×検出オーディオ音量レベル
そしてＣＰＵ５は、このようにして決定された（算出された）演奏用音量レベルを音源・効果回路１１に設定する。具体的には、ＣＰＵ５は、演奏パート（本実施の形態では、ピアノパート）に対するコントロールチェンジメッセージ（ＭＩＤＩチャンネルメッセージの１つ）「ボリューム」または「エクスプレッション」のパラメータ値を決定された演奏用音量レベルとし、このコントロールチェンジメッセージを音源・効果回路１１に供給する。これに応じて音源・効果回路１１は、供給されたコントロールチェンジメッセージに含まれる演奏用音量レベルを自身の対応するレジスタに格納する。なお音源・効果回路１１が、コントロールチェンジメッセージを介さずに直接レジスタに値を書き込むように構成されている場合には、ＣＰＵ５は、決定した演奏用音量レベルを音源・効果回路１１の対応するレジスタに直接書き込むようにすればよい。つまり、音源・効果回路１１の構造によって演奏用音量レベルの設定方法も異なる。

次にＣＰＵ５は、処理を前記（２）のオーディオ／ビデオデータ再生処理の開始時処理に進める。この（２）オーディオ／ビデオデータ再生処理の開始時処理では、ＣＰＵ５は、オーディオ／ビデオデータ再生処理を開始させる。オーディオ／ビデオデータの再生は、図７を用いて後述するように、所定時間（本実施の形態では、１０ｍｓｅｃ）毎に発生するタイマ割込み信号に応じて起動されるオーディオ／ビデオデータ再生処理によってなされるので、上記「オーディオ／ビデオデータ再生処理を開始させる」とは、タイマ割込み信号の発生を許可することを意味する。

本ストリーミング再生制御処理が終了後、演奏用音量レベルが再設定などにより変更されない場合には、演奏用音量レベルの初期値は、前記図４（ａ）中の破線で示すように当該オーディオ／ビデオデータの再生中、一定のレベルに維持される。

なお前記（１）演奏用音量レベルの初期値設定処理では、演奏用音量レベルの初期値を決定して設定するようにしたが、これに代えて、（１′）再生用音量レベルの初期値を決定して設定する再生用音量レベルの初期値設定処理を設けるようにしてもよい。この（１′）再生用音量レベルの初期値設定処理では、ＣＰＵ５は、たとえば次式により、再生用音量レベルを決定する。

再生用音量レベル＝基準オーディオ音量レベル／検出オーディオ音量レベル×設定演奏用音量レベル／基準演奏用音量レベル
ただし、設定演奏用音量レベルは、現在設定されている演奏用音量レベルを示し、検出オーディオ音量レベルおよび基準演奏用音量レベルはそれぞれ、前記（１）演奏用音量レベルの初期値設定処理における検出オーディオ音量レベルおよび基準演奏用音量レベルと同様である。したがってこの場合、上記再生用音量レベルは、次のように変形される。

再生用音量レベル＝検出オーディオ音量レベル×設定演奏用音量レベル／Ｋ
そしてＣＰＵ５は、このようにして決定された（算出された）再生用音量レベルを音源・効果回路１１の対応するレジスタに設定する（書き込む）。

（１）演奏用音量レベルの初期値設定処理に代えて（１′）再生用音量レベルの初期値設定処理を採用したストリーミング再生制御処理が終了後、再生用音量レベルが再設定などにより変更されない場合には、オーディオ／ビデオデータが再生されたときの音量レベルは、前記図４（ｄ）中の一点鎖線で示すように、再生用音量レベルが変更される前にオーディオ／ビデオデータが再生されたときの音量レベルに対して一定のレベルだけプラス方向に増大されて維持されている。なおこの「一定のレベル」は、常にプラス方向に増大されて維持される訳ではなく、マイナス方向に減少されて維持される場合もあることは言うまでもない。

図７は、オーディオ／ビデオデータ再生処理の手順を示すフローチャートであり、本オーディオ／ビデオデータ再生処理は、前述のように１０ｍｓｅｃ毎に発生するタイマ割込みに応じて起動され、実行される。ここでタイマ割込みの周期として１０ｍｓｅｃを用いたのは、オーディオ／ビデオデータの再生に適当な時間と考えられるからである。したがって、オーディオ／ビデオデータの再生を適正に行うことができれば、１０ｍｓｅｃに限らない。

本オーディオ／ビデオデータ再生処理は主として、
（１１）オーディオ／ビデオデータ再生処理（ステップＳ２１）
（１２）演奏用音量レベルを更新する演奏用音量レベル更新処理（ステップＳ２２）
（１３）演奏用音量レベルをフェードアウトする演奏用音量レベルフェードアウト処理（ステップＳ２４）
（１４）オーディオ／ビデオデータ再生処理の終了時処理（ステップＳ２６）
によって構成されている。

本オーディオ／ビデオデータ再生処理が起動されると、まずＣＰＵ６は、処理を前記（１１）のオーディオ／ビデオデータ再生処理に進める。この（１１）オーディオ／ビデオデータ再生処理では、ＣＰＵ５は、前記受信バッファからオーディオ／ビデオデータを読み出して再生する（ステップＳ２１）。このとき、読み出したオーディオ／ビデオデータが暗号化されていればそれを解読し、圧縮化されていればそれを伸長した上で、再生する。なお、読み出したオーディオ／ビデオデータが暗号化されたものであるか圧縮化されたものであるかの情報は、当該データパケットのヘッダに記載されているので、それを利用すればよい。また、この（１１）オーディオ／ビデオデータ再生処理に移行すれば常に、オーディオ／ビデオデータが読み出されて再生される訳ではなく、オーディオ／ビデオデータを読み出すタイミングになったときに当該オーディオ／ビデオデータが読み出されて再生される。したがってＣＰＵ５は、オーディオ／ビデオデータを読み出すタイミングになったときに、処理を（１１）オーディオ／ビデオデータ再生処理に進め、それ以外は（１１）オーディオ／ビデオデータ再生処理を迂回するようにしてもよい。

次にＣＰＵ５は、処理を前記（１２）の演奏用音量レベル更新処理に進める。この（１２）演奏用音量レベル更新処理では、まずＣＰＵ５は、オーディオ／ビデオデータの音量レベルを検出する。ここでの音量レベルの検出も、前記（１）演奏用音量レベルの初期値設定処理での音量レベルの検出と同様に、音量レベルを検出する際に受信バッファに溜まっているオーディオ／ビデオデータに基づいて行えばよい。ただし受信バッファに溜まっているオーディオ／ビデオデータは、既に再生されたものではなく、これから再生されるものであるので、既に再生されたオーディオ／ビデオデータに基づいて音量レベルを検出したい場合には、現在再生中のオーディオ／ビデオデータのサンプルから所定のサンプル数だけ過去のサンプルまで常に更新させながら保存するようにし、それに基づいて音量レベルの検出を行うようにすればよい。次にＣＰＵ５は、検出した音量レベルと現在設定されている演奏用音量レベルを比較し、両音量レベルの乖離幅が所定値より大きいときには、新たな演奏用音量レベルを決定し、その新たな演奏用音量レベルを音源・効果回路１１に再設定する。ここで、演奏用音量レベルの決定方法と音源・効果回路１１への設定方法は、前記（１）演奏用音量レベルの初期値設定処理で用いた各方法をそのまま用いればよいので、その説明は省略する。なお演奏用音量レベルが頻繁に変わると、ユーザに違和感を生じさせる虞があるので、演奏用音量レベルを変更する際の閾値、つまり前記乖離幅と比較される所定値を適当な値に採り、演奏用音量レベルが頻繁に変わらないようにしておく必要がある。そしてこの場合、演奏用音量レベルが急に大きくあるいは小さく変更されることがあり、これによってもユーザに違和感を生じさせる虞があるので、現在の演奏用音量レベルから徐々に新たな演奏用音量レベルに移行させるようにする。

なお図７において、ステップＳ２２の処理の枠が破線で描かれているが、これは、ユーザによって選択的に設定できる処理であることを示している。前記図４（ｂ）は、このステップＳ２２の処理、つまり（１２）演奏用音量レベル更新処理が選択されたときの演奏用音量レベルの推移を示す図である。同図（ｂ）に示すように、演奏用音量レベルの初期値が、当該オーディオ／ビデオデータの再生中に時刻ｔ１，ｔ２およびｔ３で見直され、新たに決定された演奏用音量レベルに徐々に移行している。

次にＣＰＵ５は、処理をステップＳ２３進め、オーディオ／ビデオデータの現在の再生位置がファイル末尾付近にあり、かつそのときのオーディオ／ビデオデータの音量レベルが下がっているかどうかを判別する。ここで、ファイル末尾付近とは、当該オーディオ／ビデオデータの末尾から、たとえば２０ｓｅｃ程度である。前述のようにタグデータには、当該オーディオ／ビデオデータの総再生時間が記載されているので、当該オーディオ／ビデオデータの再生が終了する時刻から２０ｓｅｃ前の時刻は直ぐに算出できる。ステップＳ２３の判別の結果、現在の再生位置がファイル末尾付近にあり、かつそのときのオーディオ／ビデオデータの音量レベルが下がっている場合には、ＣＰＵ５は、処理を前記（１３）の演奏用音量レベルフェードアウト処理に進める。この（１３）演奏用音量レベルフェードアウト処理では、ＣＰＵ５は、演奏用音量レベルをフェードアウト状態に設定する。具体的には、オーディオ／ビデオデータの再生が当該オーディオ／ビデオデータの末尾に進むに従って、演奏用音量レベルが徐々に“０”レベルに近づくように演奏用音量レベルを決定して設定する。

なお図７において、ステップＳ２３およびＳ２４の各処理の枠が一点鎖線で描かれているが、これは、ユーザによって選択的に設定できる処理であることを示している。前記図４（ｃ）は、このステップＳ２４の処理、つまり（１３）演奏用音量レベルフェードアウト処理が選択されたときの演奏用音量レベルの推移を示す図である。同図（ｃ）に示すように、オーディオ／ビデオデータの再生位置が末尾から時間Ｔｂに至ったときを起点にして、演奏用音量レベルの設定値はフェードアウトされている。

次にＣＰＵ５は、現在の再生位置が当該オーディオ／ビデオデータの末尾に到達したかどうかを判別し（ステップＳ２５）、末尾に到達したときには、処理を前記（１４）のオーディオ／ビデオデータ再生処理の終了時処理に進める。この（１４）オーディオ／ビデオデータ再生処理の終了時処理では、ＣＰＵ５は、タイマ割込み信号の発生を不許可にすることで、本オーディオ／ビデオデータ再生処理を終了させる。

図８は、電子鍵盤楽器１００、特にＣＰＵ５が実行する演奏処理の手順を示すフローチャートである。

同図に示すようにＣＰＵ５は、検出回路３からキーオン／オフが出力されたかどうかを常時チェックし（ステップＳ３１）、キーオンが出力されたとき、つまり鍵盤に対する押鍵があったときには、音源・効果回路１１にそのキーオンに応じた音高の楽音が発生するように発音を指示し、キーオフが出力されたとき、つまり鍵盤に対する離鍵があったときには、音源・効果回路１１にそのキーオフに応じた音高の楽音が消音するように消音を指示する（ステップＳ３２）。一方、検出回路３からキーオン／オフが出力されないときには、ＣＰＵ５は何もせず直ちに、本演奏処理を終了する。

なお本実施の形態では、前記（１２）演奏用音量レベル更新処理と前記（１３）演奏用音量レベルフェードアウト処理をユーザが任意に選択して実行できるようにしたが、両処理を同時に選択した場合の処理結果については、図４には示されていなかった。両処理を同時に選択した場合、その処理結果は、図４（ｂ）の処理結果と図４（ｃ）の処理結果を加えた結果、つまり、演奏用音量レベルの初期値が、当該オーディオ／ビデオデータの再生途中に見直され、新たに決定された演奏用音量レベルに徐々に移行し、さらに再生位置が末尾付近に至ったときに、徐々にフェードアウトして行くという結果になる。また、前記（１′）再生用音量レベルの初期値設定処理と（１３）演奏用音量レベルフェードアウト処理を組み合わせた場合、その処理結果は、図４（ｄ）の処理結果と図４（ｃ）の処理結果を加えた結果、つまり、基本的には演奏用音量レベルの設定値に合わせて再生用音量レベルを変更するが、オーディオ／ビデオデータの末尾付近のフェードアウト部分では、演奏用音量レベルを変更するという結果になる。

また、オーディオ／ビデオデータの先頭部分で徐々に音量レベルが挙がっていることを検出した場合には、フェードインと判別し、演奏用音量レベルを徐々に増大させるようにしてもよい。

なお本実施の形態では、係数Ｋは固定値としたが、演奏パートの種類に応じて変更するようにしてもよい。たとえば、メロディパートやドラムパートをユーザが演奏する場合には係数Ｋの値を大きくし、その他の伴奏パートを演奏する場合には係数Ｋの値を小さくするというようにである。あるいは、演奏する際の音色や、オーディオ／ビデオデータの音楽ジャンル（前述のようにタグデータ内に記載されている）に応じて係数Ｋの値を変更するようにしてもよい。また、ユーザが係数Ｋの値を任意に設定可能にしてもよい。

また、本実施の形態の中で用いた演奏用音量レベルあるいは再生用音量レベルを算出するための計算式は、あくまでも例示に過ぎず、他の計算式を用いてもよい。

なお本実施の形態では、ビデオデータがストリーミング配信され、これをストリーミング再生する場合に、その映像（動画像）を電子鍵盤楽器１００に設けた表示装置８（のＬＣＤ）に表示するようにしたが、これに限らず、電子鍵盤楽器１００にディスプレイを外部接続し、このディスプレイ上に映像を表示するようにしてもよい。

また本実施の形態では、オーディオ／ビデオデータのストリーミング再生も鍵盤の演奏も電子鍵盤楽器１００内で行うようにしたが、これに限らず、本発明をＰＣ（パーソナルコンピュータ）とそれにＭＩＤＩ接続した鍵盤によって構成し、ＰＣ側でオーディオ／ビデオデータのストリーミング再生を行わせ、演奏は外部の鍵盤を用いて行うようにしてもよい。この場合、音源・効果回路１１も外部接続されたものを用いるようにしてもよい。さらに、オーディオデータのストリーミング再生を行う場合には、ＰＣに代えて通信ネットワークに接続可能なオーディオ機器を採用してもよいし、ビデオデータのストリーミング再生を行う場合には、ＰＣに代えて通信ネットワークに接続可能なＴＶ装置を採用してもよい。

また本実施の形態では、オーディオ／ビデオデータは、ストリーミング配信サーバからストリーミング配信されたものを用いたが、これに限らず、ダウンロード配信されたものでもよいし、着脱可能な記憶媒体から読み取ったものでもよいし、近距離有線Ｉ／Ｆ経由で他の装置から受信したものでもよい。あるいは、デモンストレーション用に、元々電子鍵盤楽器１００内に記憶されていたものでもよい。ストリーミング配信以外によって取得したオーディオ／ビデオデータの場合には、バッファリングされた部分の音量レベルの検出に代えて、オーディオ／ビデオデータの任意の一部または全体に基づいてその音量レベルを検出するようにすればよい。

なお、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードおよび該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、たとえば、フレキシブルディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、通信ネットワークを介してサーバコンピュータからプログラムコードが供給されるようにしてもよい。

また、コンピュータが読出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。

本発明の一実施の形態に係る電子楽器を適用した電子鍵盤楽器の概略構成を示すブロック図である。 ネットワーク構成の一例を示す図である。 図１中のストリーミング配信サーバがストリーミング配信可能な複数種類のデータのフォーマットを示す図である。 オーディオ／ビデオデータの再生が開始してから終了するまでの演奏用音量レベルの推移を示す図である。 図１の電子鍵盤楽器、特にＣＰＵが実行するファイル要求＆受信処理の手順を示すフローチャートである。 図１の電子鍵盤楽器、特にＣＰＵが実行するストリーミング再生制御処理の手順を示すフローチャートである。 図１の電子鍵盤楽器、特にＣＰＵが実行するオーディオ／ビデオデータ再生処理の手順を示すフローチャートである。 図１の電子鍵盤楽器、特にＣＰＵが実行する演奏処理の手順を示すフローチャートである。

符号の説明

１…演奏操作子（入力手段），３…検出回路（入力手段），５…ＣＰＵ（検出手段、決定手段、再生手段、出力手段、制御手段、設定手段），１０…通信Ｉ／Ｆ（供給手段、バッファ、入力手段），１１…音源・効果回路（出力手段）

Claims (4)

1. 少なくともオーディオデータを含む音楽コンテンツを供給する供給手段と、
   該供給手段によって供給された音楽コンテンツをバッファリングするバッファと、
   該バッファに音楽コンテンツが所定量バッファリングされたときに、当該バッファリングされた音楽コンテンツからその音量レベルを検出する検出手段と、
   該検出手段によって検出された音量レベルに応じて演奏用音量レベルを決定する決定手段と、
   該決定手段によって演奏用音量レベルが決定されてから、前記バッファリングされた音楽コンテンツを再生する再生手段と、
   演奏情報を入力する入力手段と、
   該入力手段によって入力された演奏情報に基づいて演奏音信号を出力する出力手段と、
   前記決定手段によって決定された演奏用音量レベルで演奏できるように、前記出力手段から出力される演奏音信号の音量レベルを制御する制御手段と
   を有することを特徴とする電子楽器。
2. 少なくともオーディオデータを含む音楽コンテンツを供給する供給手段と、
   該供給手段によって供給された音楽コンテンツをバッファリングするバッファと、
   該バッファに音楽コンテンツが所定量バッファリングされたときに、当該バッファリングされた音楽コンテンツからその音量レベルを検出する検出手段と、
   演奏用音量レベルを設定する設定手段と、
   前記検出手段によって検出された音量レベルおよび前記設定手段によって設定された演奏用音量レベルに応じて、前記バッファリングされた音楽コンテンツを再生する際の再生用音量レベルを決定する決定手段と、
   該決定手段によって決定された再生用音量レベルで、前記バッファリングされた音楽コンテンツを再生する再生手段と、
   演奏情報を入力する入力手段と、
   該入力手段によって入力された演奏情報に基づいて演奏音信号を出力する出力手段と、
   前記設定された演奏用音量レベルで演奏できるように、前記出力手段から出力される演奏音信号の音量レベルを制御する制御手段と
   を有することを特徴とする電子楽器。
3. 少なくともオーディオデータを含む音楽コンテンツを供給する供給手段と、該供給手段によって供給された音楽コンテンツをバッファリングするバッファとを備えた電子楽器を制御する制御方法をコンピュータに実行させるプログラムであって、
   前記制御方法は、
   前記バッファに音楽コンテンツが所定量バッファリングされたときに、当該バッファリングされた音楽コンテンツからその音楽コンテンツの音量レベルを検出する検出ステップと、
   該検出ステップによって検出された音量レベルに応じて演奏用音量レベルを決定する決定ステップと、
   該決定ステップによって演奏用音量レベルが決定されてから、前記バッファリングされた音楽コンテンツを再生する再生ステップと、
   演奏情報を入力する入力手段によって入力された演奏情報に基づいて演奏音信号を出力する出力ステップと、
   前記決定ステップによって決定された演奏用音量レベルで演奏できるように、前記出力ステップによって出力される演奏音信号の音量レベルを制御する制御ステップと
   を有することを特徴とするプログラム。
4. 少なくともオーディオデータを含む音楽コンテンツを供給する供給手段と、該供給手段によって供給された音楽コンテンツをバッファリングするバッファとを備えた電子楽器を制御する制御方法をコンピュータに実行させるプログラムであって、
   前記制御方法は、
   前記バッファに音楽コンテンツが所定量バッファリングされたときに、当該バッファリングされた音楽コンテンツからその音量レベルを検出する検出ステップと、
   演奏用音量レベルを設定する設定ステップと、
   前記検出ステップによって検出された音量レベルおよび前記設定ステップによって設定された演奏用音量レベルに応じて、前記バッファリングされた音楽コンテンツを再生する際の再生用音量レベルを決定する決定ステップと、
   該決定ステップによって決定された再生用音量レベルで、前記バッファリングされた音楽コンテンツを再生する再生ステップと、
   演奏情報を入力する入力手段によって入力された演奏情報に基づいて演奏音信号を出力する出力ステップと、
   前記設定された演奏用音量レベルで演奏できるように、前記出力ステップによって出力される演奏音信号の音量レベルを制御する制御ステップと
   を有することを特徴とするプログラム。

Images