JP5458541B2 - 電子音楽装置およびその制御方法を実現するためのプログラム - Google Patents

Description

本発明は、ユーザの演奏風景などの演奏に関する情景を撮影して得られた動画像データ（画像データストリーム）を記録することができる電子音楽装置およびその制御方法を実現するためのプログラムに関する。

ユーザの演奏風景などの演奏に関する情景を撮影して得られた動画像データを記録することができるシステムは、従来から知られている。

このようなシステムとして、ビデオカメラの操作部を介して入力される指示に従って、ユーザの演奏風景や種々の演奏音等を当該ビデオカメラに装着したビデオテープに記録するようにしたものがある（たとえば、特許文献１参照）。

ところで、上記従来のシステムの記録機能を従来の電子音楽装置に適用した場合、いわゆる当業者であれば、内蔵あるいは外部接続したカメラから供給される、ユーザの演奏風景を含む動画像データや、ユーザが演奏操作子を操作することで発生された楽音信号などを内蔵あるいは外付けの記憶装置に記録するような電子音楽装置を構成することは容易に想到される。
特開２００３−２０８１６４号公報

しかし、上記従来のシステムの記録機能を適用した電子音楽装置では、電子音楽装置という特殊事情から、筐体を取り扱い易いサイズに留めておくとともに、製造コストを低減させる必要があるために、筐体上に設置する表示器としては、表示画面が小型で、解像度の低いものを採用せざるを得なかった。また、製造コストをさらに低減させなければならない場合には、動画像は言うに及ばず、静止画像も表示できない表示器を採用しなければならない。

このように、電子音楽装置に設置される表示器では、記録中の動画像データをそのままの品質で表示させることはもちろん、いかなる品質でも表示できずに、ユーザは、記録中の動画像データをモニタできないこともある。

本発明は、この点に着目してなされたものであり、表示能力の低い表示器が設置されていたとしても、記録中の動画像データをその品質に近い品質でモニタすることが可能となる電子音楽装置およびその制御方法を実現するためのプログラムを提供することを目的とする。

上記目的を達成するため、請求項１に記載の電子音楽装置は、演奏に関する情景を撮影して得られた画像データストリームを供給する第１の供給手段と、演奏情報を供給する第２の供給手段と、該第２の供給手段によって供給された演奏情報に基づいて楽音信号を生成する生成手段と、前記第１の供給手段によって供給された画像データストリームのレートおよび／または解像度を、当該レートおよび／または解像度より低い第１乃至第３のレートおよび／または解像度であって、前記第２のレートおよび／または解像度は、前記第１のレートおよび／または解像度より低く設定され、前記第３のレートおよび／または解像度は、前記第２のレートおよび／または解像度と同等か、あるいはより低く設定されたものに変換する変換手段と、該変換手段によって前記第１のレートおよび／または解像度に変換された画像データストリームを記録するとともに、前記生成手段によって生成された楽音信号および／または前記供給された演奏情報を記録する記録手段と、外部のコンピュータ装置と接続し、当該コンピュータ装置とデータの送受信を行う接続手段と、前記記録手段による記録と並行して、前記変換手段によって前記第２のレートおよび／または解像度に変換された画像データストリームを汎用の画像データストリームとして、前記接続手段を介して接続されたコンピュータ装置に出力する第１の出力手段と、前記記録手段に記録された、前記第１のレートおよび／または解像度に変換された画像データストリーム、および前記生成された楽音信号および／または前記供給された演奏情報を前記コンピュータ装置に出力する第２の出力手段と、前記変換手段によって前記第３のレートおよび／または解像度に変換された画像データストリームを表示する表示手段とを有することを特徴とする。

上記目的を達成するため、請求項２に記載のプログラムは、請求項１と同様の技術的思想によって実現できる。

請求項１または２に記載の発明によれば、演奏に関する情景を撮影して得られた画像データストリームのレートおよび／または解像度が、当該レートおよび／または解像度より低い第１のレートおよび／または解像度に変換された画像データストリームと、供給された演奏情報に基づいて生成された楽音信号および／または前記供給された演奏情報との記録と並行して、前記画像データストリームのレートおよび／または解像度が、前記第１のレートおよび／または解像度より低い第２のレートおよび／または解像度に変換された画像データストリームが汎用の画像データストリームとして、接続手段を介して接続されたコンピュータ装置に出力され、この画像データストリームは、当該コンピュータ装置に通常備わっている、表示能力の高い大型ディスプレイ上に高解像度で表示されるので、当該電子音楽装置に表示能力の低い表示器が設置されていたとしても、ユーザは、記録中の動画像データをその品質に近い品質でモニタすることが可能となる。

請求項１または２に記載の発明によれば、前記供給された画像データストリームを記録する際の当該画像データストリームと前記供給された画像データストリームを汎用の画像データストリームとして前記コンピュータ装置に出力する際の当該画像データストリームのレートおよび／または解像度が、当該レートおよび／または解像度より低い、他のそれぞれ異なる第１および第２のレートおよび／または解像度に変換されるので、当該電子音楽装置と前記コンピュータ装置と間の通信速度が低いとしても、変換後の汎用画像データストリームを当該コンピュータ装置の大型ディスプレイ上に表示させることができる。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。

図１は、本発明の一実施の形態に係る電子音楽装置を適用した電子楽器１００の概略構成を示すブロック図である。

同図に示すように、電子楽器１００は、音高情報を含む演奏情報を入力するための鍵盤を含む演奏操作子１と、各種情報を入力するための複数のスイッチやホイール、ジョイスティックを含む設定操作子２と、演奏操作子１の操作状態を検出する検出回路３と、設定操作子２の操作状態を検出する検出回路４と、装置全体の制御を司るＣＰＵ５と、該ＣＰＵ５が実行する制御プログラムや各種テーブルデータ等を記憶するＲＯＭ６と、演奏情報、各種入力情報および演算結果等を一時的に記憶するＲＡＭ７と、タイマ割込み処理における割込み時間や各種時間を計時するタイマ８と、各種情報等を表示する小型の液晶ディスプレイ（ＬＣＤ）９と、前記制御プログラムを含む各種アプリケーションプログラムや各種楽曲データ、各種データ等を記憶する外部記憶装置１０と、ＵＳＢホスト・コントローラ１１と、ＵＳＢターゲット・コントローラ１２と、外部からのＭＩＤＩ（musical instrument digital interface）メッセージを入力したり、ＭＩＤＩメッセージを外部に出力したりするＭＩＤＩインターフェース（Ｉ／Ｆ）１３と、通信ネットワーク５１０を介して、たとえばサーバコンピュータ（以下、「サーバ」と略して言う）５００とデータの送受信を行う通信インターフェース（Ｉ／Ｆ）１４と、演奏操作子１から入力された演奏情報や、前記外部記憶装置１０に記憶されたいずれかの楽曲データを再生して得られた演奏情報等を楽音信号に変換する音源回路１５と、該音源回路１５からの楽音信号に各種効果を付与するための効果回路１６と、該効果回路１６からの楽音信号を音響に変換する、たとえば、ＤＡＣ（digital-to-analog converter）やアンプ、スピーカ等のサウンドシステム１７とにより構成されている。

上記構成要素３〜１６は、バス１８を介して相互に接続され、ＣＰＵ５にはタイマ８が接続され、ＵＳＢホスト・コントローラ１１には撮像装置３００が接続され、ＵＳＢターゲット・コントローラ１２にはＰＣ（パーソナルコンピュータ）２００が接続され、ＭＩＤＩＩ／Ｆ１３には外部ＭＩＤＩ機器４００が接続され、通信Ｉ／Ｆ１４には通信ネットワーク５１０が接続され、音源回路１５には効果回路１６が接続され、効果回路１６にはサウンドシステム１７が接続されている。ここで、通信Ｉ／Ｆ１４および通信ネットワーク５１０は、有線方式のものに限らず、無線方式のものであってもよい。また、両方式のものを備えていてもよい。

小型ＬＣＤ９のブロックは、図１では破線で描かれている。これは、小型ＬＣＤ９は電子楽器１００の必須の構成ではないことを意味する。ただし、設定操作子２のオン／オフ状態を表示可能な、たとえば発光ダイオード（ＬＥＤ）等の簡易な表示器（図示せず）は備えていた方が好ましい。同様に、通信Ｉ／Ｆ１４も電子楽器１００の必須の構成ではない。

外部記憶装置１０としては、たとえば、フレキシブルディスクドライブ（ＦＤＤ）、ハードディスクドライブ（ＨＤＤ）、ＣＤ−ＲＯＭドライブおよび光磁気ディスク（ＭＯ）ドライブ等を挙げることができる。そして、外部記憶装置１０には、前述のように、ＣＰＵ５が実行する制御プログラムも記憶でき、ＲＯＭ６に制御プログラムが記憶されていない場合には、この外部記憶装置１０に制御プログラムを記憶させておき、それをＲＡＭ７に読み込むことにより、ＲＯＭ６に制御プログラムを記憶している場合と同様の動作をＣＰＵ５にさせることができる。このようにすると、制御プログラムの追加やバージョンアップ等が容易に行える。なお、前記各楽曲データは、ファイル形式で外部記憶装置１０に記憶される。

通信Ｉ／Ｆ１４（電子楽器１００に備わっていれば）は、上述のように、たとえばＬＡＮ（local area network）やインターネット、電話回線等の通信ネットワーク５１０に接続されており、該通信ネットワーク５１０を介して、サーバ５００に接続される。外部記憶装置１０に上記各プログラムや各種パラメータが記憶されていない場合には、通信Ｉ／Ｆ１４は、サーバ５００からプログラムやパラメータをダウンロードするために用いられる。クライアントとなる電子楽器１００は、通信Ｉ／Ｆ１４および通信ネットワーク５１０を介してサーバ５００へとプログラムやパラメータのダウンロードを要求するコマンドを送信する。サーバ５００は、このコマンドを受け、要求されたプログラムやパラメータを、通信ネットワーク５１０を介して電子楽器１００へと配信し、電子楽器１００が通信Ｉ／Ｆ１４を介して、これらプログラムやパラメータを受信して外部記憶装置１０に蓄積することにより、ダウンロードが完了する。

撮像装置３００は、たとえばＵＳＢビデオ・クラス（USB video class）に対応したＷｅｂカメラやデジタルビデオカメラなどのカメラであり、撮影して得られた動画像データをMotion-JPEG、DV（digital video）、MPEG-2またはMPEG-4などの圧縮データに変換して、あるいは非圧縮データのまま出力する。ＲＯＭ６には、ＵＳＢビデオ・クラス・ドライバが組み込まれており（もちろん、ホスト・コントローラ・ドライバやターゲット・コントローラ・ドライバなどの他のドライバも組み込まれている）、ＵＳＢホスト・コントローラ１１は、撮像装置３００が出力した上記各種形式の動画像データをＵＳＢの通信プロトコルに従って受信する。なお、ＵＳＢホスト・コントローラ１１としては、上記各種形式すべての動画像データを受信可能なものに限らず、そのうちの少なくとも１つの形式の動画像データを受信可能なものであればよい。また、動画像データの通信プロトコルは、ＵＳＢビデオ・クラスに規定されているものに限られる訳ではない。ＵＳＢビデオ・クラスに規定されている通信プロトコル以外の通信プロトコルを採用した場合には、この通信プロトコルに従って通信する動画像データは上記各種形式に限られない。本実施の形態では説明の都合上、動画像データは、撮像装置３００内でMotion-JPEG形式のデータに変換されてからＵＳＢホスト・コントローラ１１に供給されるものとする。また本実施の形態では、撮像装置３００として、ＵＳＢホスト・コントローラ１１を介して外部接続したものを採用したが、これに限らず、電子楽器１００内に組み込んだものを採用してもよい。

なお、電子楽器１００は、上述の構成から分かるように、電子鍵盤楽器上に構築されたものであるが、鍵盤楽器の実施形態に限らず、弦楽器タイプ、管楽器タイプ、打楽器タイプ等の他の実施形態でもよい。また、楽器の実施形態に限らず、動画像データを記録可能な携帯音楽端末上に本発明を構築するようにしてもよい。

ＰＣ２００のハードウェアは、本実施の形態では、汎用ＰＣと同様に構成されている。より具体的には、ＰＣ２００は、電子楽器１００の上記構成から、演奏操作子１、設定操作子２、検出回路３，４、小型ＬＣＤ９、ＵＳＢターゲット・コントローラ１２、ＭＩＤＩＩ／Ｆ１３、音源回路１５、効果回路１６およびサウンドシステム１７を除き、その代わりに、文字数字入力用キーボード、マウスおよび大型ディスプレイを加えたものによって構成されている。なお、汎用ＰＣは通常、通信ネットワークを介して外部のサーバと接続する機能を備えているので、ＰＣ２００も、電子楽器１００とは異なり、通信Ｉ／Ｆを必須の構成要素としている。

図２は、電子楽器１００の機能構成を示すブロック図である。

同図において、演奏情報供給部２１は、演奏操作子２１ａおよび自動演奏部２１ｂによって構成され、演奏情報（本実施の形態では、ＭＩＤＩイベント）を楽音生成部２２および動画・オーディオ記録部２５に供給する。

演奏操作子２１ａは、主として前記演奏操作子１および検出回路３に相当し、ユーザによる演奏操作に応じた演奏情報を生成して出力する。

自動演奏部２１ｂは、主としてＣＰＵ５およびＲＡＭ７に相当し、ＣＰＵ５が所定の制御プログラムを実行することで実現される。自動演奏部２１ｂは、ＲＡＭ７の一部領域に設けた自動演奏データ記憶領域（図示せず）を備え、この自動演奏データ記憶領域に記憶した自動演奏データを用いて自動演奏を行う。自動演奏データは、ファイル記憶部２６（前記外部記憶装置１０に相当する）に複数種類記憶されており、自動演奏データ記憶領域には、その中からユーザによって選択された１つが記憶される。ここで、自動演奏データは、ユーザが演奏操作子１を用いてある楽曲を演奏する際のバック演奏を行わせるためのものであり、具体的には、１曲の楽曲を表す楽曲データ（ソングデータ）や、伴奏スタイルデータ、コード進行データなどである。自動演奏データのフォーマットとしては、どのようなものを採用しても構わないが、本実施の形態では、通常の電子楽器でよく用いられているＳＭＦ（standard MIDI file）形式を採用することにする。

楽音生成部２２は、主として前記音源回路１５および効果回路１６に相当し、ユーザによって設定された楽音生成環境（音色、音量および効果など）で、演奏情報供給部２１から供給された演奏情報に基づいて楽音信号（オーディオデータ）を生成し、適宜効果を付与した後、動画・オーディオ記録部２５に出力する。

撮像部２３は、主として前記撮像装置３００、ＵＳＢホスト・コントローラ１１およびＣＰＵ５に相当し、撮像装置３００を用いて撮影され、ＵＳＢホスト・コントローラ１１を介して電子楽器１００内に供給された動画像データ（画像データストリーム）を、ＣＰＵ５を介して第１レート・品質変換部２４、第２レート・品質変換部２７および第３レート・品質変換部３１に供給する。

第１レート・品質変換部２４は、主としてＣＰＵ５およびＲＡＭ７に相当し、ＣＰＵ５が所定の制御プログラムを実行することで実現される。第１レート・品質変換部２４は、撮像部２３から供給される動画像データのレートおよび品質を第１のレートおよび品質に変換し、変換後の動画像データを動画・オーディオ記録部２５に供給する。ここで、レートとは、１秒間に供給される（静止）画像データのフレーム数を言い、品質とは、解像度を言う。なお、品質は、圧縮率に応じた品質でもよいが、本実施の形態では、解像度としている。また、第１レート・品質変換部２４は、本実施の形態では、動画像データのレートおよび品質のいずれも変換するようにしたが、これに限らず、動画像データのレートまたは品質のいずれかを変換するようにしてもよい。さらに、変換の程度は、固定であっても、可変であってもよい。可変の場合には、ユーザが変更の程度を選択できるようにしてもよい。なお「品質」は、表示画像の見栄えの善し悪しの意味でも使われ、その場合には、「品質」は「解像度」だけを意味しない。この事情は、第２レート・品質変換部２７および第３レート・品質変換部３１についても同様である。

第１レート・品質変換部２４は、撮像部２３からの動画像データのレートおよび品質を、それより若干低い第１のレートおよび品質に変換する。具体的には、撮像部２３から、たとえば３０フレーム／秒で１２８０×１０２４ピクセルの動画像データが供給されているとすると、第１レート・品質変換部２４は、この動画像データを、たとえば２０フレーム／秒で８００×６００ピクセルの動画像データに変換する。Motion-JPEG形式の動画像データは、フレーム内圧縮されているので、単にコマ落としする（間引く）だけで簡単に、目的のレートに変換することができる。動画像データとして、圧縮されていないものが供給された場合にも、Motion-JPEG形式の動画像データと同様に、コマ落としによってレート変換することができるが、MPEGなどのフレーム間圧縮されているものが供給された場合には、圧縮されていないフレーム間に存在する、すべての圧縮されているフレームをコマ落としすることで、レート変換しなければならない。

このように、第１レート・品質変換部２４によって、撮像部２３からの動画像データのレートおよび品質を落とすようにしたのは、動画像データのデータ容量を低減させることで、それを記憶する外部記憶装置１０として、記憶容量の低い、つまり安価なものを採用したいからである。したがって、このような制約のない場合には、第１レート・品質変換部２４を省略し、撮像部２３からの動画像データをそのまま動画・オーディオ記録部２５に供給するようにすればよい。

第２レート・品質変換部２７も、主としてＣＰＵ５およびＲＡＭ７に相当し、ＣＰＵ５が所定の制御プログラムを実行することで実現される。第２レート・品質変換部２７は、撮像部２３から供給される動画像データのレートおよび品質を第２のレートおよび品質に変換し、変換後の動画像データを出力部２８に供給する。出力部２８は、主としてＣＰＵ５およびＵＳＢターゲット・コントローラ１２に相当し、第２レート・品質変換部２７からの動画像データをＵＳＢの通信プロトコルに従って、ＵＳＢターゲット・コントローラ１２に接続されているＰＣ２００に出力する。ここで、第２のレートおよび品質は、前記第１のレートおよび品質よりさらに若干低く設定されている。具体的には、撮像部２３から、たとえば３０フレーム／秒で１２８０×１０２４ピクセルの動画像データが供給されているとすると、第２レート・品質変換部２７は、この動画像データを、たとえば１０フレーム／秒で６４０×４８０ピクセルの動画像データに変換する。変換後の動画像データは、ＰＣ２００の前記大型ディスプレイ上に表示されるので、ＰＣ２００の表示能力からすれば、撮像部２３からの動画像データそのままのレートおよび品質でも問題はない。それにも拘わらず、第２のレートおよび品質を第１のレートおよび品質よりさらに低く設定したのは、電子楽器１００の通信能力を考慮したからである。つまり、電子楽器１００は、本実施の形態では、廉価なものを想定しているために、ＣＰＵ５も安価な、演算能力の低いものを用いなければならず、その結果、ＵＳＢターゲット・コントローラ１２の通信速度が遅くなるので、これを介して送信される動画像データのデータ容量も低減させる必要がある。

第３レート・品質変換部３１も、主としてＣＰＵ５およびＲＡＭ７に相当し、ＣＰＵ５が所定の制御プログラムを実行することで実現される。第３レート・品質変換部３１は、撮像部２３から供給される動画像データのレートおよび品質を第３のレートおよび品質に変換し、変換後の動画像データを表示部３２に供給する。表示部３２は、主として前記小型ＬＣＤ９に相当し、変換後の動画像データを表示する。ここで、第３のレートおよび品質は、レートについては、前記第２のレートとほぼ同等、品質については、前記第２の品質よりさらに低く、たとえば１６０×１２０ピクセルに設定されている。これは、表示部３２の解像度がＰＣ２００の大型ディスプレイのそれよりも低いからである。なお、第３レート・品質変換部３１には、映像再生部３０が出力した動画像データも供給され、この動画像データも、第３レート・品質変換部３１によってそのレートおよび品質が変換された後、表示部３２によって表示される。

映像再生部３０は、主としてＣＰＵ５およびＲＡＭ７に相当し、ＣＰＵ５が所定の制御プログラムを実行することで実現される。映像再生部３０は、ファイル記憶部２６に記憶された動画ファイル（図３参照）を再生することで、動画像データを生成して出力する。

なお、小型ＬＣＤ９は、前述のように、電子楽器１００に備えられないことがあり、この場合には、表示部３２、第３レート・品質変換部３１および映像再生部３０も、電子楽器１００には備えられない。このことを示すために、表示部３２、第３レート・品質変換部３１および映像再生部３０の各ブロックは破線で描かれている。

動画・オーディオ記録部２５は、主としてＣＰＵ５およびＲＡＭ７に相当し、ＣＰＵ５が所定の制御プログラムを実行することで実現される。動画・オーディオ記録部２５は、演奏情報供給部２１から供給されたＭＩＤＩイベントをＳＭＦ形式で記録し、楽音生成部２２から供給された楽音信号（オーディオデータ）を時間の経過に従って記録し、第１レート・品質変換部２４から供給された動画像データを時間の経過に従って記録する。ここで、オーディオデータの記録フォーマットは、どのようなものを採用してもよく、非圧縮のものでも、圧縮したものでもよい。また、動画像データを記録する際のデータフォーマットも、どのようなものを採用してもよいので、第１レート・品質変換部２４から供給される動画像データのフォーマットと同じフォーマットで記録してもよいし、他のフォーマットに変換した後記録するようにしてもよい。

動画・オーディオ記録部２５は、図３に示すように、記録された動画像データ、オーディオデータおよびＳＭＦ形式のＭＩＤＩデータをそれぞれ別のチャンクデータとして、１つのファイル内に収めた動画ファイルを作成し、ファイル記憶部２６に供給する。なお、動画ファイルのデータ構造は、これに限られず、複数種類のデータのそれぞれについて個別にファイルを作成し、その個々のファイルを関連付けて、同時に再生可能に構成してもよい。

ファイル記憶部２６は、動画・オーディオ記録部２５から供給された動画ファイルを記憶する。なお、ファイル記憶部２６には、この動画ファイルとは別に、前述のように、複数種類の自動演奏データも記憶される。なお、記憶された動画ファイルは、前記ＵＳＢターゲット・コントローラ１２あるいは着脱可能な記憶媒体経由で外部の装置に供給可能であり、たとえば動画投稿サイトのサーバや、ブログサイトのサーバなどにアップロードすることができる。

以上のように構成された電子楽器１００が実行する制御処理を、まず図１および図２を参照してその概要を説明し、次に図４〜図９を参照して詳細に説明する。

電子楽器１００には、ＵＳＢホスト・コントローラ１１を介して外部接続された撮像装置３００から動画像データ（画像データストリーム）が供給される。ユーザは、撮像装置３００を用いて、自身の演奏風景などの演奏に関する情景を撮影する。このような撮影によって撮像部２３から電子楽器１００内に画像データストリームが供給されると、その画像データストリームのレートおよび品質は、第１レート・品質変換部２４によって第１のレートおよび品質に変換された後、動画・オーディオ記録部２５に供給されるとともに、第２レート・品質変換部２７によって第２のレートおよび品質に変換された後、出力部２８に供給される。ここで、第２のレートおよび品質は、第１のレートおよび品質と比較して、同等か、あるいは若干低く設定されている。若干低く設定される場合があるのは、出力部２８の通信速度を考慮してのものである。

動画・オーディオ記録部２５には、演奏情報供給部２１から演奏情報（ＭＩＤＩイベント）がそのまま供給されるとともに、楽音生成部２２から当該演奏情報に基づいて生成された楽音信号（オーディオデータ）も供給される。動画・オーディオ記録部２５は、供給された画像データストリーム、オーディオデータおよびＭＩＤＩイベントを時間の経過に従って同時に記録して行く。

動画・オーディオ記録部２５における記録と並行して、第２のレートおよび品質に変換された画像データストリームが、汎用通信プロトコル（本実施の形態では、ＵＳＢで規定されている通信プロトコル）に従って、出力部２８からＰＣ２００へ出力される。これにより、ユーザは、画像データストリームの現在の記録状況を、ＰＣ２００に備えられた大型ディスプレイ上でモニタすることができる。

さらに、撮像部２３から供給された画像データストリームは、第３レート・品質変換部３１によって第３のレートおよび品質に変換された後、表示部３２に供給される。ここで、第３のレートおよび品質は、第２のレートおよび品質と比較して、かなり低く設定されている。これは、電子楽器１００全体の製造コストを低減させるために、表示部３２として、表示能力の低いものを採用せざるを得ないからである。なお、電子楽器１００をさらに低廉にするために、動画像は言うに及ばず、静止画像も表示できない表示器を採用することもあり、その場合には、その表示器には画像データストリームを供給しない（できない）ので、第３レート・品質変換部３１は必要ない。

このように、本実施の形態では、撮像部２３から供給される画像データストリームを記録しながら、外部接続されたＰＣ２００の大型ディスプレイ上でモニタできるようにしたので、電子楽器１００に備えられた表示器の画面サイズが小さかったり、解像度が低かったりして、その表示器上で、撮像装置３００を用いて撮像されている映像を高解像度でモニタできないとしても、ＰＣ２００をＵＳＢターゲット・コントローラ１２に接続するだけで簡単に、高解像度の映像をＰＣ２００の大型ディスプレイ上でモニタすることができる。

また、電子楽器１００に設けられた表示器に、高解像度の画像データストリームを表示することができたとしても、ＣＰＵ５の演算処理能力が低いために、画像データストリームの記録と同時に、その映像を表示器上に表示できないことがあるが、この場合でも、本実施の形態では、高解像度の映像をＰＣ２００の大型ディスプレイ上でモニタすることができる。

また、電子楽器１００をさらに低廉にするために、動画像は言うに及ばず、静止画像も表示できない表示器を用いるようにした場合、どのような解像度の画像データストリームも表示器上に表示することができないが、この場合でも、本実施の形態では、高解像度の映像をＰＣ２００の大型ディスプレイ上でモニタすることができる。

さらに、本実施の形態では、電子楽器１００をＵＳＢビデオ・クラスに準拠させるようにしたので、外部接続するＰＣとして、ＵＳＢビデオ・クラスに準拠しているものを用いれば、ＰＣ側に、画像データストリームを受信するための専用ドライバが不要となる。

次に、この制御処理を詳細に説明する。

図４は、電子楽器１００、特にＣＰＵ５が実行するメインルーチンの手順を示すフローチャートである。

本メインルーチンでは、ＣＰＵ５は、主として、
（１）初期設定処理（ステップＳ１）
（２）演奏処理（ステップＳ２）
（３）記録処理（ステップＳ３）
（４）表示処理（ステップＳ４）
（５）画像出力処理（ステップＳ５）
（６）動画ファイル転送処理（ステップＳ６）
の各処理を行う。本メインルーチンは、前記設定操作子２に含まれる電源スイッチ（図示せず）によって電源がオンされたときに起動される。起動後、前記（１）の初期設定処理が１回実行され、これに続いて、前記（２）〜（６）の各処理が順次実行される。そして（６）の処理が終了すると、（２）の処理に戻って、（２）〜（６）の処理が、電源スイッチによって電源がオフされるまで、繰り返し実行される。

前記（１）の初期設定処理では、ＣＰＵ５は、ＲＡＭ７をクリアしたり、各種パラメータの値をデフォルト値に設定したり、タイマ８の計時を開始させたりする等の初期設定を行う。

図５は、前記（２）の演奏処理の詳細な手順を示すフローチャートである。

この（２）演奏処理では、まずＣＰＵ５は、ユーザが設定操作子２に含まれる自動演奏のスタート／ストップスイッチ（図示せず）を押下したかどうかを常時チェックする。このスタート／ストップスイッチは、たとえばトグルスイッチで、自動演奏がなされていない状態でスタート／ストップスイッチが押下されると、自動演奏の開始が指示され、自動演奏がなされている状態でスタート／ストップスイッチが押下されると、自動演奏の終了が指示される。ＣＰＵ５は、スタート／ストップスイッチが押下されたことを検知すると、現在の自動演奏の状態（自動演奏中かどうか）に基づいて、自動演奏の開始が指示されたか、あるいは自動演奏の終了が指示されたかを判別し、自動演奏の開始が指示されたときには、自動演奏部２１ｂに対して自動演奏の開始を指示する一方、自動演奏の終了が指示されたときには、自動演奏部２１ｂに対して自動演奏の終了を指示する（ステップＳ１１）。これに応じて、自動演奏部２１ｂは、指示された方の動作を行う。なお、現在の自動演奏の状態は、たとえば、ＲＡＭ７の一部領域に設けた自動演奏中フラグ（図示せず）がセット（“１”）状態のときに「自動演奏中」と判別し、リセット（“０”）状態のときに「非自動演奏中」と判別するようにすればよい。そしてＣＰＵ５は、自動演奏部２１ｂに自動演奏の開始を指示するときに一緒に、自動演奏中フラグをセットし、自動演奏部２１ｂに自動演奏の終了を指示するときに一緒に、自動演奏中フラグをリセットする。ただし、自動演奏中フラグの初期状態はリセット状態であるため、前記（１）の初期設定処理で、自動演奏中フラグをリセットしておく必要がある。

次にＣＰＵ５は、演奏情報供給部２１からＭＩＤＩイベントが供給されたかどうかを常時チェックする（ステップＳ１２）。演奏情報供給部２１からＭＩＤＩイベントが供給される場合は、ユーザが演奏操作子１を用いて演奏を行った場合と、自動演奏部２１ｂが自動演奏を行っている場合である。さらに、図２には示されていないが、電子楽器１００には外部ＭＩＤＩ機器４００が接続されている（図１参照）ので、ＭＩＤＩイベントは、外部ＭＩＤＩ機器４００から供給される場合もある。そして、ＭＩＤＩイベントの供給を検知すると、ＣＰＵ５は、このＭＩＤＩイベントに応じた楽音信号の生成を前記楽音生成部２２に指示し（ステップＳ１３）、前記タイマ８から現在時刻を取得し（ステップＳ１４）、取得した現在時刻とこのＭＩＤＩイベントを関連付けて、前記ＲＡＭ７の一部領域に設けたＭＩＤＩバッファ（図示せず）に一時的に記憶する（ステップＳ１５）。

前記ステップＳ１３の指示に応じて、楽音生成部２２は、当該楽音信号（オーディオデータ）を生成し、そのオーディオデータを、ＲＡＭ７の一部領域に設けたオーディオバッファ（図示せず）に一時的に記憶するとともに、前記サウンドシステム１７に供給する。これに応じて、サウンドシステム１７からは、当該楽音信号に応じた楽音が放音される（前記ステップＳ１３内のカッコ書き）。

図６は、前記（３）の記録処理の詳細な手順を示すフローチャートである。

この（３）記録処理では、まずＣＰＵ５は、現在の処理タイミングが第１レートの処理タイミングであるかどうかを常時チェックする（ステップＳ２１）。その結果、現在の処理タイミングが第１レートの処理タイミングでないときには、本記録処理を終了する（ステップＳ２１→リターン）一方、現在の処理タイミングが第１レートの処理タイミングであるときには、前記撮像部２３から供給される１フレーム分の画像データを取得する（ステップＳ２１→Ｓ２２）。ここで、第１レートとは、前記第１レート・品質変換部２４が動画像データのレートを変換するときに目標とするレートである。前述のように、第１レートを２０フレーム／秒とし、撮像部２３から供給される動画像データのレートを３０フレーム／秒とすると、撮像部２３からは、１フレーム分の画像データが１／３０（秒）毎に供給されるが、前記ステップＳ２２の処理では、その中から、１／２０（秒）の倍数に相当する時間に供給される１フレーム分の画像データを取得することになる。

次にＣＰＵ５は、取得した１フレーム分の画像データの解像度を所定の解像度に変換する（ステップＳ２３）。ここで、撮像部２３から供給された動画像データの解像度を、記録時にどの程度まで落とす必要があるかであるが、その程度は、主としてＣＰＵ５の演算処理能力、外部記憶装置１０の記憶容量および記録された動画ファイルの使用目的によって決定される。したがって、これらの事情によっては、レート変換は行うものの、解像度変換は行わない場合、これとは逆に、解像度変換は行うものの、レート変換は行わない場合、さらに、レート変換も解像度変換も行わない場合もあり得る。

次にＣＰＵ５は、前記オーディオバッファから、そこに記憶されているオーディオデータを読み出して取得する（ステップＳ２４）とともに、前記ＭＩＤＩバッファから、そこに記憶されているＭＩＤＩデータを読み出して取得し（ステップＳ２５）、レート変換および解像度変換された１フレーム分の画像データ、上記取得されたオーディオデータおよび上記取得されたＭＩＤＩデータを、記録中の動画ファイルに追記する（ステップＳ２６）。ＭＩＤＩバッファ内には前述のように、ＭＩＤＩイベントがその時刻と関連付けて記録されているので（前記ステップＳ１５参照）、ここではＳＭＦ形式になるように、デルタタイム（先行するイベントとの時間差）とＭＩＤＩイベントとに変換して追記する。ただし、これらのデータを初めて動画ファイルに記録する場合には、新規に（空の）動画ファイルを取得した上で、そのファイルに記録する。

なお、この（３）記録処理は、ユーザが記録の開始を指示したときに開始され、ユーザが記録の終了を指示したときに終了する。そして本実施の形態では、記録の開始／終了と自動演奏の開始／終了を同期させているので、この（３）記録処理も、自動演奏中フラグがセット状態のときにのみ実行される。

図７は、前記（４）の表示処理の詳細な手順を示すフローチャートである。

この（４）表示処理では、まずＣＰＵ５は、現在の処理タイミングが第３レートの処理タイミングであるかどうかを常時チェックする（ステップＳ３１）。その結果、現在の処理タイミングが第３レートの処理タイミングでないときには、本表示処理を終了する（ステップＳ３１→リターン）一方、現在の処理タイミングが第３レートの処理タイミングであるときには、撮像部２３から供給される１フレーム分の画像データを取得する（ステップＳ３１→Ｓ３２）。なお、ステップＳ３１の処理は、前記ステップＳ２１の処理と、レート変換の程度が異なるのみであり、ステップＳ３１の処理は、ステップＳ２１の処理から簡単に類推できるので、ステップＳ３１の処理についてのこれ以上の説明は省略する。

次にＣＰＵ５は、取得した１フレーム分の画像データの解像度を所定の解像度に変換する（ステップＳ３３）。ここで、撮像部２３から供給された動画像データの解像度を、表示時にどの程度まで落とす必要があるかであるが、その程度は、専ら小型ＬＣＤ９の解像度に依存する。

そしてＣＰＵ５は、変換後の画像データを前記表示部３２に供給する（ステップＳ３４）。

なお、小型ＬＣＤ９が電子楽器１００に備えられていないときには、この（４）表示処理は当然ながら、本メインルーチンに含まれない。

図８は、前記（５）の画像出力処理の詳細な手順を示すフローチャートである。なお、図８には、ＰＣ２００側の画像表示処理も記載されている。

この（５）画像出力処理では、まずＣＰＵ５は、現在の処理タイミングが第２レートの処理タイミングであるかどうかを常時チェックする（ステップＳ４１）。その結果、現在の処理タイミングが第２レートの処理タイミングでないときには、ステップＳ４５に進む一方、現在の処理タイミングが第２レートの処理タイミングであるときには、撮像部２３から供給される１フレーム分の画像データを取得する（ステップＳ４１→Ｓ４２）。なお、ステップＳ４１の処理は、前記ステップＳ２１の処理と、レート変換の程度が異なるのみであり、ステップＳ４１の処理は、ステップＳ２１の処理から簡単に類推できるので、ステップＳ４１の処理についてのこれ以上の説明は省略する。

次にＣＰＵ５は、取得した１フレーム分の画像データの解像度を所定の解像度に変換する（ステップＳ４３）。ここで、撮像部２３から供給された動画像データの解像度を、画像出力時にどの程度まで落とす必要があるかであるが、その程度は、専らＣＰＵ５の演算処理能力に依存する。したがって、ＣＰＵ５の演算処理能力によっては、レート変換は行うものの、解像度変換は行わない場合、これとは逆に、解像度変換は行うものの、レート変換は行わない場合、さらに、レート変換も解像度変換も行わない場合もあり得る。

そしてＣＰＵ５は、変換後の画像データを、ＲＡＭ７の一部領域に設けた出力バッファ（図示せず）に蓄積する（ステップＳ４４）。

一方、ＰＣ２００は、自身の画像表示処理により、所定周期（たとえば、１００ｍｓ）毎に、電子楽器１００に対して画像データの取得要求を行う（ステップＳ１０１→Ｓ１０２）。これに応じて、ＣＰＵ５は、出力バッファをチェックし（ステップＳ４５→Ｓ４６）、出力バッファ内に画像データが蓄積されているときには、その画像データを、前記出力部２８を介してＰＣ２００に出力する（ステップＳ４７）。

ＰＣ２００は、電子楽器１００が出力した画像データを受信すると、その画像データを自身の大型ディスプレイに供給する（ステップＳ１０３→Ｓ１０４）。これにより、その画像データに応じた画像が、大型ディスプレイ上に表示される。

図９は、前記（６）の動画ファイル転送処理の詳細な手順を示すフローチャートである。

この（６）動画ファイル転送処理では、まずＣＰＵ５は、ＰＣ２００から動画ファイルの転送要求がなされたかどうかを常時チェックし（ステップＳ５１）、転送要求がなされたときには、転送要求された動画ファイルを、前記ファイル記憶部２６からセクタ単位で読み出す（ステップＳ５２）。

次にＣＰＵ５は、読み出したセクタを、出力部２８を介してＰＣ２００に転送する（ステップＳ５３）。

なお、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードおよび該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、たとえば、フレキシブルディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、通信ネットワークを介してサーバコンピュータからプログラムコードが供給されるようにしてもよい。

また、コンピュータが読出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。

本発明の一実施の形態に係る電子音楽装置を適用した電子楽器の概略構成を示すブロック図である。 図１の電子楽器の機能構成を示すブロック図である。 動画ファイルのデータ構造の一例を示す図である。 図１の電子楽器、特にＣＰＵが実行するメインルーチンの手順を示すフローチャートである。 図４中の演奏処理の詳細な手順を示すフローチャートである。 図４中の記録処理の詳細な手順を示すフローチャートである。 図４中の表示処理の詳細な手順を示すフローチャートである。 図４中の画像出力処理の詳細な手順を示すフローチャートである。 図４中の動画ファイル転送処理の詳細な手順を示すフローチャートである。

符号の説明

１…演奏操作子（第２の供給手段），３…検出回路（第２の供給手段），５…ＣＰＵ（第１の供給手段、第２の供給手段、記録手段、第１の出力手段、第２の出力手段、変換手段），７…ＲＡＭ（記録手段），１０…外部記憶装置（記録手段），１１…ＵＳＢホスト・コントローラ（第１の供給手段），１２…ＵＳＢターゲット・コントローラ（接続手段、第１の出力手段、第２の出力手段），２００…ＰＣ（外部のコンピュータ装置）

Claims (2)

1. 演奏に関する情景を撮影して得られた画像データストリームを供給する第１の供給手段と、
   演奏情報を供給する第２の供給手段と、
   該第２の供給手段によって供給された演奏情報に基づいて楽音信号を生成する生成手段と、
   前記第１の供給手段によって供給された画像データストリームのレートおよび／または解像度を、当該レートおよび／または解像度より低い第１乃至第３のレートおよび／または解像度であって、前記第２のレートおよび／または解像度は、前記第１のレートおよび／または解像度より低く設定され、前記第３のレートおよび／または解像度は、前記第２のレートおよび／または解像度と同等か、あるいはより低く設定されたものに変換する変換手段と、
   該変換手段によって前記第１のレートおよび／または解像度に変換された画像データストリームを記録するとともに、前記生成手段によって生成された楽音信号および／または前記供給された演奏情報を記録する記録手段と、
   外部のコンピュータ装置と接続し、当該コンピュータ装置とデータの送受信を行う接続手段と、
   前記記録手段による記録と並行して、前記変換手段によって前記第２のレートおよび／または解像度に変換された画像データストリームを汎用の画像データストリームとして、前記接続手段を介して接続されたコンピュータ装置に出力する第１の出力手段と、
   前記記録手段に記録された、前記第１のレートおよび／または解像度に変換された画像データストリーム、および前記生成された楽音信号および／または前記供給された演奏情報を前記コンピュータ装置に出力する第２の出力手段と、
   前記変換手段によって前記第３のレートおよび／または解像度に変換された画像データストリームを表示する表示手段と
   を有することを特徴とする電子音楽装置。
2. 演奏に関する情景を撮影して得られた画像データストリームを供給する第１の供給手順と、
   演奏情報を供給する第２の供給手順と、
   該第２の供給手順によって供給された演奏情報に基づいて楽音信号を生成する生成手順と、
   前記第１の供給手順によって供給された画像データストリームのレートおよび／または解像度を、当該レートおよび／または解像度より低い第１乃至第３のレートおよび／または解像度であって、前記第２のレートおよび／または解像度は、前記第１のレートおよび／または解像度より低く設定され、前記第３のレートおよび／または解像度は、前記第２のレートおよび／または解像度と同等か、あるいはより低く設定されたものに変換する変換手順と、
   該変換手順によって前記第１のレートおよび／または解像度に変換された画像データストリームを記憶手段に記録するとともに、前記生成手順によって生成された楽音信号および／または前記供給された演奏情報を前記記憶手段に記録する記録手順と、
   該記録手順による記録と並行して、前記変換手順によって前記第２のレートおよび／または解像度に変換された画像データストリームを汎用の画像データストリームとして、接続手段を介して接続されたコンピュータ装置に出力する第１の出力手順と、
   前記記憶手段に記録された、前記第１のレートおよび／または解像度に変換された画像データストリーム、および前記生成された楽音信号および／または前記供給された演奏情報を前記コンピュータ装置に出力する第２の出力手順と、
   前記変換手順によって前記第３のレートおよび／または解像度に変換された画像データストリームを表示手段上に表示させる表示手順と
   をコンピュータに実行させるためのプログラム。

Images