JP5870831B2 - 音楽画像表示方法を実現するためのプログラムおよび音楽画像表示装置 - Google Patents

Description

本発明は、映像効果を複数記憶し、この複数の映像効果の中から選択されたいずれかの映像効果に基づいて、入力された演奏指示に応じた画面表示を行う音楽画像表示方法を実現するためのプログラムおよび音楽画像表示装置に関する。

映像効果を複数記憶し、この複数の映像効果の中から選択されたいずれかの映像効果に基づいて、入力された演奏指示に応じた画面表示を行う音楽画像表示装置は、従来から知られている。

このような音楽画像表示装置として、次のように構成されたものがある（たとえば、特許文献１参照）。すなわち、
（Ａ）楽曲の各音楽的要素（メロディ、ハーモニーおよびリズム）にそれぞれ対応する複数の描画パターンを格納するメロディ用描画パターンデータベース、ハーモニー用描画パターンデータベースおよびリズム用描画パターンデータベースを記憶し、
（Ｂ）スタイル選択スイッチによって各音楽的要素についての各描画パターンを選択し、
（Ｃ）音楽イベント（演奏情報）を入力し、
（Ｄ）入力された音楽イベントを解析し、
（Ｅ）当該音楽イベントがメロディイベントであれば、メロディ用描画パターンデータベースを参照して、当該音楽イベントに対応する描画パターンの画像データを生成し、
（Ｆ）当該音楽イベントがハーモニーイベントであれば、ハーモニー用描画パターンデータベースを参照して、当該音楽イベントに対応する描画パターンの画像データを生成し、
（Ｇ）当該音楽イベントがリズムイベントであれば、リズム用描画パターンデータベースを参照して、当該音楽イベントに対応する描画パターンの画像データを生成し、
（Ｈ）メロディ表示スイッチ、ハーモニー表示スイッチおよびリズム表示スイッチのうちの２以上のスイッチがオン状態とされているときには、タイル表示スイッチ、重ね合わせスイッチあるいは時分割表示スイッチにより設定されている表示態様で、上記（Ｅ）〜（Ｇ）で生成した画像データのうち、上記オン状態とされている音楽的要素の画像データを表示する。

特開２０００−２７６１３７号公報

しかし、上記従来の音楽画像表示装置では、スタイル選択スイッチによって選択されるスタイルは、演奏あるいは再生対象の楽曲のスタイルであるため、当該楽曲が演奏あるいは再生されている間は、音楽的要素毎に同じ描画パターンの画像データが生成されて表示され、演奏あるいは再生の途中で、他の描画パターンに切り替え、この切り替え後の描画パターンの画像データを生成して表示することはできなかった。その結果、楽曲を再生あるいは演奏している最中に、複数の映像効果の変化を楽しみたいというユーザの要望や、当該変化をユーザに楽しませたいというメーカやクリエータの要望に応えることはできなかった。

本発明は、この点に着目してなされたものであり、ユーザ、メーカおよびクリエータの上記要望に応えることができる音楽画像表示方法を実現するためのプログラムおよび音楽画像表示装置を提供することを目的とする。

上記目的を達成するため、請求項１に記載のプログラムは、複数セクションからなる伴奏パートを含む複数パートについての演奏指示を受け取る受取手順と、記憶手段に記憶された複数の映像効果からなる映像効果組に含まれる映像効果のそれぞれと、前記複数セクションのそれぞれとを対応付ける対応付け手順と、前記受取手順によってセクション変更の指示を受け取ったときに、前記映像効果組から当該セクションに対応付けられた映像効果を選択する選択手順と、前記選択手順によって選択された映像効果の表示態様を、前記受取手順によって受け取った演奏指示に応じて変動させて、表示手段に表示させる表示手順とをコンピュータに実行させるためのものであることを特徴とする。

ここで「演奏指示」は、「演奏情報」に限らず、後述する図５のステップＳ７における「発音指示に応じたタッチ操作」も含む広い概念である。

請求項２に記載のプログラムは、請求項１のプログラムにおいて、前記映像効果は、単体の映像効果、あるいは、単体の映像効果を複数組み合わせたミキシング映像効果であり、前記表示手順では、前記選択手順によってミキシング映像効果が選択された場合、当該ミキシング映像効果に含まれる第１パートに対応する単体の映像効果の表示態様を、前記複数パートのうちの第１パートの演奏指示に応じて変動させて第１映像とするとともに、当該ミキシング映像効果に含まれる第２パートに対応する単体の映像効果の表示態様を、前記複数パートのうちの第２パートの演奏指示に応じて変動させて第２映像とし、前記第１映像と第２映像とをミキシングして表示することを特徴とする。

上記目的を達成するため、請求項３に記載の音楽画像表示装置は、請求項１と同様の技術的思想によって実現できる。

請求項１または３に記載の発明によれば、記憶手段に記憶された複数の映像効果からなる映像効果組に含まれる映像効果のそれぞれと、伴奏パートの複数セクションのそれぞれとが対応付けられ、セクション変更の指示を受け取ったときに、前記映像効果組から当該セクションに対応付けられた映像効果が選択され、選択された映像効果の表示態様が、受け取られた演奏指示に応じて変動されて、表示手段に表示されるので、つまり、セクション変更の指示は、楽曲の再生あるいは演奏とは独立して成立するので、楽曲を再生あるいは演奏している最中に、複数の映像効果の変化を楽しみたいというユーザの要望や、当該変化をユーザに楽しませたいというメーカやクリエータの要望に応えることができる。また、複数の映像効果からなる映像効果組を予め用意しておき、その組の中で各映像効果を切り替えるようにしたので、ユーザ、メーカおよびクリエータがその組を用意する際の意図、たとえば、楽曲に合うイメージの映像効果あるいは統一感のある映像効果を集めて組とし、その組の中で各映像効果を切り替えて、映像効果の変化を楽しみたいあるいは楽しませたいという意図を的確に反映させることができる。

本発明の一実施の形態に係る音楽画像表示装置を含む音楽システムのシステム構成の一例を示す図である。 図１中のスレートデバイスの概略構成を示すブロック図である。 図２中のメモリに記憶された各種データ間のつながりを説明するための図である。 図２中のタッチパネルに表示される映像効果の一例を示す図である。 図２のスレートデバイス、特にＣＰＵが実行する映像効果表示・編集処理の手順を示すフローチャートである。 図５中の発音指示に応じた制御処理の詳細な手順を示すフローチャートである。 図５中の演奏情報に応じた制御処理の詳細な手順を示すフローチャートである。 タイマ割込み処理の手順を示すフローチャートである。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。

図１は、本発明の一実施の形態に係る音楽画像表示装置を含む音楽システムのシステム構成の一例を示す図である。

同図に示すように、本実施の形態の音楽画像表示装置は、タッチパネル１１を備えた汎用のスレートデバイス（slate device）１（のＣＰＵ１０）が所定の制御プログラムおよびアプリケーションプログラム（図５を用いて後述する映像効果表示・編集処理のプログラムを含む）を実行することによって実現されている。スレートデバイス１は、アダプタ４を介して直接、電子鍵盤楽器２および外部ＬＣＤ（liquid crystal display）３と接続されている。

アダプタ４は、スレートデバイス１から入力された演奏情報を電子鍵盤楽器２に出力するとともに、電子鍵盤楽器２から入力された演奏情報をスレートデバイス１に出力する。またアダプタ４は、電子鍵盤楽器２から入力されたオーディオ信号をスレートデバイス１に出力する。さらにアダプタ４は、スレートデバイス１から入力された映像信号を外部ＬＣＤ３に出力する。演奏情報のフォーマットとして、本実施の形態では説明の都合上、ＭＩＤＩ（musical instrument digital interface）形式のデータを採用している。もちろん、ＭＩＤＩのフォーマットを採らない他のフォーマット、たとえばＯＳＣ（Open Sound Control）などの演奏情報であってもよい。

電子鍵盤楽器２は、図示例では、２４鍵からなる鍵盤２ａと、自動伴奏の各種セクション（“Ａ”〜“Ｄ”）を切替指定する複数（４つ）のセクション指定スイッチ２ｂと、各種設定を行うための複数（６つ）のスイッチ２ｃと、各種情報を表示する小型のＬＣＤ２ｄと、楽音を発生するスピーカ２ｅとを備えている。電子鍵盤楽器２は、自動伴奏機能を備え、この自動伴奏機能により、たとえば内蔵メモリ（図示せず）に記憶された自動伴奏データを再生することで伴奏音をスピーカ２ｅから発生させ、この伴奏音に従って演奏者（ユーザ）が鍵盤２ａを押鍵すると、その押鍵音もスピーカ２ｅから発生させる。そして電子鍵盤楽器２は、この伴奏音および押鍵音の発生とともに、この伴奏音および押鍵音に対応するＭＩＤＩデータ（主としてＭＩＤＩチャンネルメッセージであるが、ＳｙｓＥｘメッセージ（システム・エクスクルーシブ・メッセージ）の場合もある）およびオーディオ信号を生成して出力する。電子鍵盤楽器２から出力されたＭＩＤＩデータおよびオーディオ信号は、前述のようにアダプタ４を介してスレートデバイス１に送信される。また、ユーザがセクション指定スイッチ２ｂのいずれかを押すと、電子鍵盤楽器２は、押されたスイッチに割り当てられているセクション名（“Ａ”〜“Ｄ”のいずれか）を含むＭＩＤＩデータ（この場合は、ＳｙｓＥｘメッセージ）を生成して出力する。なお、楽音についての各種パラメータ、たとえば、音色、テンポ、ピッチベンド、モジュレーション、アフタータッチ、フットペダル（サスティンペダル、ソフテヌートペダルおよびソフトペダルなど）の操作状態、フィルタ係数（カットオフ・レゾナンスなど）などの値が変更されたときなどにも、電子鍵盤楽器２は、その変更後の値を知らせるために当該パラメータの種類と値を含むＭＩＤＩデータを生成して出力する。

スレートデバイス１は、タッチパネル１１上に１種類または複数種類（本実施の形態では、２種類）の映像効果を表示し、その表示態様を、電子鍵盤楽器２からの前記伴奏音および押鍵音に対応するＭＩＤＩデータの内容に応じて変動させて表示する。またこのとき、スレートデバイス１は、タッチパネル１１に対するユーザのタッチ操作を受け付け、そのタッチ操作に応じた楽音信号を生成して発音するとともに、タッチパネル１１上の映像効果の表示態様を当該タッチ操作に応じて変動させて表示するようにも構成されている。さらにスレートデバイス１は、タッチパネル１１上に表示される映像効果を外部ＬＣＤ３にも表示できるように、当該映像効果に対応する映像信号を生成して出力する。外部ＬＣＤ３は、この映像信号を、アダプタ４を介して入力し、表示する。これにより、スレートデバイス１のタッチパネル１１上に表示される映像効果と同様の映像効果が外部ＬＣＤ３上に表示される。

なお本実施の形態では、スレートデバイス１と電子鍵盤楽器２および外部ＬＣＤ３とは、アダプタ４を介して有線で接続されているが、これに限らず、無線で接続されていてもよい。また両者は、アダプタ４を介して直接１対１で接続される態様ではなく、ＬＡＮ（local area network）やインターネット、電話回線等のネットワーク５を経由して接続される態様であってもよい。

また本実施の形態では、スレートデバイス１に電子鍵盤楽器２を外部接続し、伴奏音の生成と押鍵音（演奏音）の生成を電子鍵盤楽器２に任せるようにしたが、これに限らず、電子鍵盤楽器２の当該機能をソフトウェアによってスレートデバイス１内に実現させ、スレートデバイス１が電子鍵盤楽器２と協働して行う機能を、スレートデバイス１単独で行うようにしてもよい。

図２は、スレートデバイス１の概略構成を示すブロック図である。

同図に示すように、スレートデバイス１は、デバイス全体の制御を司るＣＰＵ（central processing unit）１０を備えている。ＣＰＵ１０には、タッチパネル１１、操作子１２、各種センサ１３，メモリ１４、タイマ１５、アダプタインターフェース（Ｉ／Ｆ）１６、通信インターフェース（Ｉ／Ｆ）１７およびサウンドシステム１８が接続されている。

操作子１２は、タッチパネル１１上に表示されるソフトウェアボタンではなく、ハードウェアスイッチである。その典型例としては、電源スイッチ１２ａ（図１参照）やリセットスイッチ（図示せず）などを挙げることができる。

各種センサ１３には、マイクロフォン、地磁気センサ、ＧＰＳ（Global Positioning System）、重力加速度も検出可能な加速度センサ、超音波センサ、カメラ、赤外線または可視光を検出する光センサなどが含まれる。

メモリ１４には、ＣＰＵ１０によって実行される制御プログラムや各種アプリケーションプログラム、各プログラムによって画面表示に利用される画像データや発音に利用される音声データを含む各種データ等を記憶するＲＯＭ（read only memory）と、上記画像データや音声データを含む各種データ、各種入力情報および演算結果等を一時的に記憶するＲＡＭ（random access memory）が含まれている。上記制御プログラムや各種アプリケーションプログラム、各種データ等は、本実施の形態では適宜、追加、削除あるいはアップデートできるようにするために、ＲＯＭとして、書き換え可能な不揮発性のもの、具体的にはフラッシュメモリを採用している。

タイマ１５は、図８を用いて後述するタイマ割込み処理における割込み時間や各種時間を計時する。

アダプタＩ／Ｆ１６は、スレートデバイス１にアダプタ４を接続させ、アダプタ４に接続された外部機器との間で各種データの送受信を行う。

通信Ｉ／Ｆ１７は、スレートデバイス１を前記ネットワーク５（図１参照）に接続させ、ネットワーク５に接続された他の機器との間で各種データの送受信を行う。他の機器として、サーバコンピュータ（図示せず）が接続された場合、上記プログラム等の追加、削除あるいはアップデートは、サーバコンピュータを介して行うようにしてもよい。この場合、通信Ｉ／Ｆ１７は、サーバコンピュータから各種プログラムや各種データをダウンロードするために用いられる。クライアントとなるスレートデバイス１は、通信Ｉ／Ｆ１７およびネットワーク５を介してサーバコンピュータへとプログラムやデータのダウンロードを要求するコマンドを送信する。サーバコンピュータは、このコマンドを受け、要求されたプログラムやデータを、ネットワーク５を介してスレートデバイス１へと配信し、スレートデバイス１が通信Ｉ／Ｆ１７を介して、これらプログラムやデータを受信してフラッシュメモリに蓄積することにより、ダウンロードが完了する。

サウンドシステム１８は、たとえば、ＤＡＣ（digital-to-analog converter）やアンプ、スピーカ等によって構成される。サウンドシステム１８は、ＣＰＵ１０が前記制御プログラムや各種アプリケーションプログラムを実行しているときに生成した楽音信号を音響に変換する。楽音信号は、本実施の形態では、ＣＰＵ１０が音源プログラムを実行することによって生成する、いわゆるソフトウェア音源によって生成する。もちろん、ソフトウェア音源を用いて楽音信号を生成する態様に限らず、ハードウェア音源を用いてもよいし、一部をハードウェアで構成し、残りをソフトウェアで構成した音源を用いてもよい。

なお本実施の形態では、音楽画像表示装置としてスレートデバイス１を採用したが、これに限らず、ポインティングデバイス（マウスなど）とディスプレイ装置からなる通常のＰＣ（パーソナルコンピュータ）を採用してもよい。また、汎用的な装置に限らず、本発明を実施できる最小限要素のみから構成した専用装置上に本発明を構築してもよい。

図３は、メモリ１４に記憶された各種データ間のつながりを説明するための図である。

同図に示すように、メモリ１４のフラッシュメモリには、タッチパネル１１上に表示される映像効果の基礎となる単体の映像効果データＳＥｍ（ｍ＝１，２，３，…）が多数記憶されている。各単体の映像効果データＳＥｍは、たとえば、ＣＰＵ１０によって実行される実行コードと、実行コードが実行される際に利用される画像部品を表すデータとによって構成されている。この単体の映像効果データＳＥｍは、一般的には、前記サーバコンピュータからダウンロードされてフラッシュメモリに記憶されるが、一部は、スレートデバイス１が工場から出荷されるときに予めフラッシュメモリに記憶しておくようにし、それ以外は、ユーザが必要に応じて、サーバコンピュータからダウンロードして追加するようにしてもよい。

図４は、単体の映像効果データＳＥｍに基づいてタッチパネル１１上に表示した映像効果の一例を示す図である。同図（ａ）〜（ｄ）がそれぞれ、図３の映像効果データＳＥ１〜ＳＥ４に対応するものとする。

図３に戻り、フラッシュメモリには、複数（本実施の形態では、４つ）の映像効果を１組とする映像効果組＃ｎ（ｎ＝１，２，３，…）も多数記憶されている。各映像効果組＃ｎは、セクションＡ〜Ｄのそれぞれに対応付けられた４つのポインタによって構成されている。各ポインタは、映像効果を指し示すものであるが、ポインタによっては、単体の映像効果データＳＥｍではなく、ポインタ組を指し示すものもある。このポインタ組は、ミキシングされる映像効果ＭＥｋ（ｋ＝１，２，３，…）である。

映像効果組＃ｎおよび映像効果ＭＥｋは、単体の映像効果データＳＥｍと同様に、サーバコンピュータからダウンロードしてフラッシュメモリに記憶するようにしてもよいし、一部は工場出荷時に予め記憶され、その後、必要に応じて、サーバコンピュータからダウンロードして追加するようにしてもよい。また、映像効果組＃ｎおよび映像効果ＭＥｋは、図５を用いて後述する編集モードが選択されたときに、ユーザの編集操作に応じて作成または変更し、フラッシュメモリに保存することもできる。

ユーザがフラッシュメモリに記憶された映像効果組＃ｎの中から、いずれか１つの映像効果組を選択すると、選択された映像効果組、つまり現映像効果組を指し示すポインタ（以下「現映像効果組へのポインタ」という）が、フラッシュメモリから読み出されて、メモリ１４の前記ＲＡＭのワークエリアに記憶される。図示例では、映像効果組＃１が選択され、映像効果組＃１へのポインタが、現映像効果組へのポインタとしてＲＡＭに記憶されている。

いずれか１つの映像効果組＃ｎが選択され、現映像効果組へのポインタがＲＡＭに記憶されているときには、現映像効果組に属する４つの映像効果（へのポインタ）のうちのいずれか１つが常に選択されている。現映像効果組へのポインタがＲＡＭに記憶されていない状態から記憶されたり、他の映像効果組＃ｎが選択されて、現映像効果組へのポインタが変更されたりしたときに、現映像効果組に属する４つの映像効果（へのポインタ）のうち、どの１つが選択されるかであるが、デフォルトで決まっていてもよいし、ユーザの指示を待ってその指示されたものが選択されるようにしてもよい。この選択された映像効果を指し示すポインタを、以下「現映像効果へのポインタ」という。図示例では、現映像効果へのポインタは、現映像効果組へのポインタに属する４つの映像効果へのポインタのうち、セクションＢに対応付けられたものが選択されている。

このように図示例では、フラッシュメモリに記憶された映像効果組＃ｎのうち、映像効果組＃１が選択され、さらに映像効果組＃１からセクションＢに対応付けられた映像効果が選択されている。この選択により、現映像効果へのポインタと現映像効果組へのポインタがＲＡＭに記憶される。

メモリ１４内のこの記憶状態で、ユーザがタッチパネル１１上への映像効果の表示を指示すると、現映像効果へのポインタは、ミキシングされる映像効果ＭＥ１を指し示しているので、この映像効果ＭＥ１を構成する２つのポインタ、つまり第１パート（たとえば、メロディパート）および第２パート（たとえば、伴奏パート）にそれぞれ対応付けられた映像効果へのポインタが指し示す単体の映像効果データＳＥ２およびＳＥ４がフラッシュメモリから読み出される。読み出された映像効果データＳＥ２およびＳＥ４は、ＲＡＭのワークエリアに記憶される。そして、この映像効果データＳＥ２およびＳＥ４にそれぞれ含まれる前記実行コードがＣＰＵ１０によって実行され、第１パートおよび第２パートそれぞれのパートの映像効果を表示するための各画像データが生成される。生成された第１パートの画像データは、ＲＡＭのワークエリアに設けられた領域（以下「第１パートの表示レイヤ」という）に記憶され、生成された第２パートの画像データは、同ワークエリアに設けられた領域（以下「第２パートの表示レイヤ」という）に記憶される。

なお現映像効果へのポインタは、前述のように、１つの単体の映像効果データＳＥｋを指し示す場合もある。図示例では、映像効果組＃１のセクションＡに対応付けられた映像効果がこの場合に該当する。この場合に、ユーザがタッチパネル１１上への映像効果の表示を指示すると、単体の映像効果データＳＥ２がフラッシュメモリから読み出されて、ＲＡＭのワークエリアに記憶される。そして、この映像効果データＳＥ２に含まれる実行コードがＣＰＵ１０によって実行されて、第１パートの画像データが生成され、上記第１パートの表示レイヤに記憶される。

単体の映像効果データＳＥ２は、映像効果組＃１のセクションＡおよびセクションＢにそれぞれ対応付けられた２つの映像効果へのポインタによって指し示されている。つまり、単体の映像効果データＳＥｋによっては、複数のポインタによって重複して指し示されることもある。

以上のように構成されたスレートデバイス１が実行する制御処理を、まず図３および図４を参照してその概要を説明し、次に図５〜図８を参照して詳細に説明する。

前記図３のメモリ１４内の記憶状態で、ユーザが図５を用いて後述する映像効果表示・編集処理を開始する指示を行うと、第１パートの表示レイヤと第２パートの表示レイヤとが、現在のミキシング設定に従って演算されてミキシングされ、その演算結果であるミキシング結果がタッチパネル１１上に表示される。具体的には、図４（ｂ）の映像効果と図４（ｄ）の映像効果とが重ね合わされて、タッチパネル１１上に表示される。ただし、図４の映像効果例は、その表示態様が変動中の映像効果を示しているので、映像効果表示・編集処理が開始された直後に、タッチパネル１１上に表示される映像効果とは若干異なっている。

このタッチパネル１１の表示状態で、電子鍵盤楽器２からＭＩＤＩデータが供給されたり、ユーザがタッチパネル１１に対して発音のためのタッチ操作をしたりすると、それに応じて、タッチパネル１１上の映像効果の表示態様が変動されて表示される。

次にユーザが、セクション指定スイッチ２ｂのうち、たとえばセクションＡを指定するスイッチを押すと、当該スイッチに割り当てられたセクションの名称、つまり「セクションＡ」を含むＳｙｓＥｘメッセージが生成され、電子鍵盤楽器２からスレートデバイス１に送信される。スレートデバイス１は、現映像効果へのポインタを、現映像効果組へのポインタ内のセクションＡに対応付けられたポインタに変更し、前述のように、そのポインタが指し示す単体の映像効果データＳＥ２をフラッシュメモリから読み出して、ＲＡＭのワークエリアに記憶する。そしてスレートデバイス１は、映像効果データＳＥ２に含まれる実行コードを実行し、第１パートの映像効果を表示するための画像データを生成して、第１パートの表示レイヤに記憶する。これ以降は、タッチパネル１１上の映像効果は、第１パートの表示レイヤに記憶された画像データのみに基づいて表示されるので、図４（ｄ）に対応する映像効果は表示されなくなる。

さらにユーザが、他のセクション指定スイッチを押すと、当該セクション指定スイッチに割り当てられているセクションに対応付けられたポインタを介して、対応する１つまたは２つの単体の映像効果データＳＥｋが読み出され、それに基づいて映像効果が切り替えられて、タッチパネル１１上に表示される。

なお、現映像効果組内での現映像効果の切替選択方法は、上述のように、ユーザがセクション指定スイッチ２ｂのいずれかを押すことによって特定の１つに切替選択する方法に限らず、所定の時間が経過する毎に、所定の順序で切替選択する方法や、電子鍵盤楽器２から送信されて来るＭＩＤＩデータの内容に応じて切替選択する方法等があるが、その詳細は、制御処理の詳細で後述するので、ここではこれ以上説明しない。

このように本実施の形態では、楽曲を再生あるいは演奏している最中に、複数の映像効果の中から、所定の事象の発生をトリガとしていずれかの映像効果が選択されて切り替えられるので、複数の映像効果の変化を楽しみたいというユーザの要望や、当該変化をユーザに楽しませたいというメーカやクリエータの要望に応えることができる。また、複数の映像効果からなる映像効果組を予め用意しておき、その組の中で各映像効果を切り替えるようにしたので、ユーザ、メーカおよびクリエータがその組を用意する際の意図、たとえば、楽曲に合うイメージの映像効果あるいは統一感のある映像効果を集めて組とし、その組の中で各映像効果を切り替えて、映像効果の変化を楽しみたいあるいは楽しませたいという意図を的確に反映させることができる。

次に、この制御処理を詳細に説明する。

図５は、スレートデバイス１、特にＣＰＵ１０が実行する映像効果表示・編集処理の手順を示すフローチャートである。

本映像効果表示・編集処理は、フラッシュメモリに記憶されているアプリケーションプログラムの１つであり、ユーザが、たとえば、タッチパネル１１上に表示されたメニュー画像（後述する図８のステップＳ４４参照）内の対応するメニューをタッチ操作することにより、起動される。

本映像効果表示・編集処理が起動されると、まずＣＰＵ１０は、初期設定を行う（ステップＳ１）。初期設定では、主として
（１）ＲＡＭのワークエリアをクリア；
（２）現映像効果組へのポインタおよび現映像効果へのポインタをＲＡＭに記憶；
（３）上記（２）の処理によって記憶された現映像効果へのポインタによって指し示される１つあるいは２つの単体の映像効果データＳＥｍをフラッシュメモリから読み出してＲＡＭに記憶し、記憶した映像効果データＳＥｍに基づいて画像データを生成し、生成した画像データを表示レイヤに記憶；
（４）ミキシング設定、演奏情報とパートとの対応付け、および更新条件をＲＡＭに記憶；
の各処理がなされる。

後述するように、本映像効果表示・編集処理が終了するときに実行される終了処理（ステップＳ１６）により、現映像効果組へのポインタおよび現映像効果へのポインタは、フラッシュメモリの所定領域に保存されるので、上記（２）の処理では、ＣＰＵ１０は、その所定領域に保存された現映像効果組へのポインタおよび現映像効果へのポインタを読み出して、ＲＡＭに記憶する。ただし、本映像効果表示・編集処理が一度も起動されていない状態から初めて起動されたり、上記終了処理において現映像効果組へのポインタおよび現映像効果へのポインタが保存されなかったりした場合には、そもそも読み出すべき現映像効果組へのポインタおよび現映像効果へのポインタが存在しないので、その場合には、デフォルトの映像効果組およびその組の中のデフォルトのセクションに対応付けられた映像効果へのポインタを読み出して、現映像効果組へのポインタおよび現映像効果へのポインタとしてＲＡＭに記憶するようにすればよい。

上記（３）の処理における「表示レイヤ」には、本実施の形態では前述のように、第１パートの表示レイヤと第２パートの表示レイヤの２種類がある。そして、映像効果組＃ｎを構成するセクション毎の映像効果へのポインタは、前述のように、単体の映像効果データＳＥｍを差し示すものと、ミキシングされる映像効果ＭＥｋを差し示すものの２種類がある。前者のポインタは、１つの単体の映像効果データＳＥｍしか指し示さないので、この場合の「表示レイヤ」は、第１パートの表示レイヤまたは第２パートの表示レイヤのいずれか一方、本実施の形態では、第１パートの表示レイヤを意味する。したがって、当該１つの単体の映像効果データＳＥｍに基づいて生成した画像データは、第１パートの表示レイヤに記憶される。一方、後者のポインタは、ミキシングされる映像効果ＭＥｋを介して２つの単体の映像効果データＳＥｍを指し示すので、この場合の「表示レイヤ」は、第１パートの表示レイヤおよび第２パートの表示レイヤの両方を意味する。したがって、ミキシングされる映像効果ＭＥｋを構成する２つのポインタのうち、第１パートに対応付けられたポインタが指し示す１つの単体の映像効果データＳＥｍに基づいて生成した画像データは、第１パートの表示レイヤに記憶され、第２パートに対応付けられたポインタが指し示す１つの単体の映像効果データＳＥｍに基づいて生成した画像データは、第２パートの表示レイヤに記憶される。

上記（４）の処理における「ミキシング設定」は、前述のように、第１パートの表示レイヤと第２パートの表示レイヤを重ね合わせる際の演算に使用するものである。このミキシング設定の具体例としては、重ね方（第１パートの表示レイヤと第２パートの表示レイヤのどちらを上にするか）、上に重ねられる表示レイヤの透過率、演算方法（ＡＮＤ，ＯＲ，ＸＯＲなど）などを挙げることができる。

上記（４）の処理における「演奏情報とパートとの対応付け」は、後述する図７のステップＳ３１の「ＭＩＤＩチャンネルからパートに振り分け」処理で参照されるテーブルデータ（以下「演奏情報・パート対応テーブル」という）であり、第１パートおよび第２パートのそれぞれに対してＭＩＤＩチャンネルを重複なく対応付けたものである。ただし、すべてのＭＩＤＩチャンネルが常に、第１パートまたは第２パートのいずれかに対応付けられる必要はなく、いずれのパートにも対応付けられないＭＩＤＩチャンネルがあってもよい。

上記（４）の処理における「更新条件」は、現映像効果を現映像効果組の中の別の映像効果に変更する処理（後述するステップＳ６参照）をＣＰＵ１０に実行させる条件である。なお、更新条件の内容については後述するので、ここではこれ以上説明しない。

上記「ミキシング設定」、「演奏情報・パート対応テーブル」および「更新条件」はいずれも、上記（２）の処理における２つのポインタと同様に、終了処理によってフラッシュメモリの所定領域に保存されるので、上記（４）の処理では、ＣＰＵ１０は、その所定領域に保存された「ミキシング設定」、「演奏情報・パート対応テーブル」および「更新条件」を読み出して、ＲＡＭに記憶する。なお、「ミキシング設定」、「演奏情報・パート対応テーブル」および「更新条件」が保存されていないときには、デフォルトの「ミキシング設定」、「演奏情報・パート対応テーブル」および「更新条件」をＲＡＭに記憶するようにすればよい。

次に、ユーザが演奏情報とパートとの対応付け、つまり上記「演奏情報・パート対応テーブル」の内容を変更する操作を行ったときには、ＣＰＵ１０は、その操作に応じた内容に演奏情報・パート対応テーブルを変更する（ステップＳ２）。この変更操作の典型例は、ＭＩＤＩチャンネルを指定して、変更対象のパートに追加や削除を行う操作であるが、変更可能な演奏情報・パート対応テーブルの候補がいくつか用意されており、ユーザがその中からいずれかを選択指定すると、選択指定されたテーブルが前のものと置き換わるようにしてもよい。

また、ユーザがミキシング設定の内容を変更する操作を行ったときには、ＣＰＵ１０は、その操作に応じた内容にミキシング設定を変更する（ステップＳ３）。この変更操作は、上記ステップＳ２での変更操作と、変更対象が異なるだけで、操作方法は同様にすればよいので、これ以上説明しない。

さらに、ユーザが更新条件を変更する操作を行ったときには、ＣＰＵ１０は、その操作に応じた条件に更新条件を変更する（ステップＳ４）。この変更操作の典型例は、変更可能な更新条件の候補がいくつか（本実施の形態では、後述する２種類）用意されており、ユーザがその中からいずれかを選択指定する操作であるが、更新条件を変更できれば、この操作方法に限らない。

次にＣＰＵ１０は、更新条件に合致したかどうかを判定し（ステップＳ５）、更新条件に合致したときには、現映像効果を現映像効果組内の別の映像効果に変更した（ステップＳ６）後、ステップＳ７に進む。ここで、更新条件と映像効果の変更方法には、本実施の形態では、
（Ｃ１）セクション変更指示の受信：変更が指示されたセクションに対応付けられたポインタが指し示す映像効果に変更；
（Ｃ２）所定時間の経過：所定の順序で、次の映像効果に変更；
の２種類があり、ユーザは、そのいずれかを選択できるように構成されている（前記ステップＳ４参照）。

上記（Ｃ１）の更新条件における「セクション変更指示」は、前述のように、ＳｙｓＥｘメッセージ内にセクションＡ〜Ｄのいずれかを埋め込んだものを電子鍵盤楽器２がスレートデバイス１に送信することによって行われる。したがって、上記（Ｃ１）の更新条件が選択された場合には、ＣＰＵ１０は、入力されたＭＩＤＩデータがＳｙｓＥｘメッセージであるかどうか、ＳｙｓＥｘメッセージであれば、その中にセクションＡ〜Ｄのいずれかが埋め込まれているかどうかを判定することにより、更新条件に合致したかどうかを判定する。この判定の結果、更新条件に合致していれば、つまり、ＳｙｓＥｘメッセージにセクションＡ〜Ｄのいずれかが埋め込まれていれば、ＣＰＵ１０は、現映像効果へのポインタを、現映像効果組へのポインタ中、埋め込まれているセクションに対応付けられた映像効果へのポインタに変更する。そしてＣＰＵ１０は、変更後の現映像効果へのポインタによって指し示される１つまたは２つの単体の映像効果データＳＥｍをフラッシュメモリから読み出してＲＡＭに記憶し、記憶した映像効果データＳＥｍに基づいて画像データを生成し、生成した画像データを対応する表示レイヤに記憶させる。

また上記（Ｃ２）の更新条件における「所定時間」は、前記タイマ１５によって計時される。したがって、上記（Ｃ２）の更新条件が選択された場合には、ＣＰＵ１０は、タイマ１５に「所定時間」の計時を行わせる。「所定時間」として、たとえば１５秒が設定されているとすると、ＣＰＵ１０は、タイマ１５が１５秒を計時したかどうかを判定することにより、更新条件に合致したかどうかを判定する。この判定の結果、更新条件に合致すれば、つまり、タイマ１５が１５秒を計時すれば、ＣＰＵ１０は、現映像効果へのポインタを、現映像効果組へのポインタ中、次の映像効果へのポインタに変更する。ここで「次の」とは、「所定の順序」における「次の」である。「所定の順序」の例としては、
（Ｏ１）セクションＡ→Ｂ→Ｃ→Ｄ→Ａ；
（Ｏ２）セクションＤ→Ｃ→Ｂ→Ａ→Ｄ；
（Ｏ３）セクションＡ→Ｂ→Ｃ→Ｄ→Ｃ→Ｂ→Ａ；
（Ｏ４）ランダム；
などを挙げることができる。ただし上記例では、「セクション」によって「所定の順序」を説明しているに過ぎず、実際に上記順序の「セクション」が選択される訳ではなく、「セクション」に対応付けられた映像効果へのポインタが選択される。そしてＣＰＵ１０は、変更後の現映像効果へのポインタによって指し示される１つまたは２つの単体の映像効果データＳＥｍをフラッシュメモリから読み出してＲＡＭに記憶し、記憶した映像効果データＳＥｍに基づいて画像データを生成し、生成した画像データを、対応する表示レイヤに記憶させる。なお、上記（Ｃ２）の更新条件が選択されるときには、「所定時間」も「所定の順序」もユーザが自由に設定できるようにすればよい。もちろんこれに限らず、デフォルトの「所定時間」および「所定の順序」が自動的に設定されるようにしてもよい。

一方、ステップＳ５の判定で、更新条件に合致しないときには、ステップＳ６をスキップして、ステップＳ７に進む。

ステップＳ７では、ＣＰＵ１０は、発音指示のタッチ操作があったかどうかを判定する。本映像効果表示・編集処理の実行中に、動作モードが編集モードに移行していなければ、タッチパネル１１上には現映像効果が表示されている。このタッチパネル１１上の現映像効果に対して、ユーザがタッチ操作を行うと、ＣＰＵ１０は、そのタッチ操作を発音指示として検知する。ステップＳ７の判定は、この発音指示となるタッチ操作があったかどうかを判定する。

ステップＳ７の判定の結果、発音指示のタッチ操作があったときには、ＣＰＵ１０は、発音指示に応じた制御処理を実行した（ステップＳ８）後、ステップＳ９に進む一方、発音指示のタッチ操作がなかったときには、ＣＰＵ１０は、ステップＳ８をスキップしてステップＳ９に進む。

図６は、この発音指示に応じた制御処理の詳細な手順を示すフローチャートである。

同図において、ＣＰＵ１０は、タッチパネル１１上のタッチ位置から発音すべき楽音の音高を決定し、タッチ強度から当該楽音のベロシティを決定し、タッチの継続時間から当該楽音のデュレーションを決定し、決定された音高、ベロシティおよびデュレーションの楽音が発音されるように音源部に発音を指示する（ステップＳ２１）。ここで、ベロシティを決定する基になる「タッチ強度」は、たとえば、前記各種センサ１３に含まれる加速度センサからの出力、つまり、ユーザがタッチパネル１１をタッチしたときに発生する振動に応じて加速度センサが出力する信号に基づいて算出される。また音源部は、本実施の形態では前述のように、ソフトウェア音源によって構成されているので、ＣＰＵ１０は、決定された音高、ベロシティおよびデュレーションを音源部に受け渡す。これに応じて、音源部は発音指示された楽音信号を生成し、生成した楽音信号をサウンドシステム１８に出力する。

そしてＣＰＵ１０は、発音指示に応じて変動させるべき現映像効果の映像態様を決定し、決定された映像態様を第１パートの表示レイヤに反映させた（ステップＳ２２）後、本制御処理を終了する。このステップＳ２２における「現映像効果の映像態様を決定」は、ＲＡＭに記憶されている、第１パートの単体の映像効果データＳＥｍに含まれる実行コードを、ＣＰＵ１０がタッチパネル１１に対するユーザのタッチ操作に応じたタッチ情報（タッチ位置、タッチ強度およびタッチ継続時間など）に基づいて実行することによって行われる。現映像効果として、たとえば図４（ｃ）の映像効果がタッチパネル１１上に表示されているとする。ただし図４（ｃ）の映像効果は、映像態様が変動された状態のものであるので、現映像効果は、映像態様が変動されていないもの、つまり、３本の柱が突き出ていない、５×５個の穴だけが空いているものである。この現映像効果がタッチパネル１１上に表示された状態で、ユーザが、柱の位置の穴をタッチすると、タッチ強度に応じた長さの柱が穴から突き出てくる。図４（ｃ）の映像効果例では、この３本の柱が、変動された映像態様である。

図５に戻り、次にＣＰＵ１０は、演奏情報を受信したかどうかを判定する（ステップＳ９）。この演奏情報は、本実施の形態では、電子鍵盤楽器２が送信したＭＩＤＩデータ、特にＭＩＤＩチャンネルメッセージである。つまり、同じＭＩＤＩデータであっても、ＳｙｓＥｘメッセージを受信した場合には、ＣＰＵ１０は、演奏情報を受信したとは判定しない。

ステップＳ９の判定の結果、ＭＩＤＩチャンネルメッセージを受信したときには、ＣＰＵ１０は、演奏情報に応じた制御処理を実行した（ステップＳ１０）後、ステップＳ１１に進む一方、ＭＩＤＩチャンネルメッセージを受信しなかったときには、ＣＰＵ１０は、ステップＳ１０をスキップしてステップＳ１１に進む。

図７は、この演奏情報に応じた制御処理の詳細な手順を示すフローチャートである。

同図において、ＣＰＵ１０は、前記演奏情報・パート対応テーブルを参照し、受信したＭＩＤＩチャンネルメッセージのＭＩＤＩチャンネルが第１パートに対応付けられているか、第２パートに対応付けられているか、あるいはいずれのパートにも対応付けられていないかを判定し、判定結果に応じた処理に振り分ける（ステップＳ３１）。具体的には、当該ＭＩＤＩチャンネルメッセージが第１パートに対応付けられたものであれば、ＣＰＵ１０は、処理をステップＳ３２に進め、当該ＭＩＤＩチャンネルメッセージが第２パートに対応付けられたものであれば、ＣＰＵ１０は、処理をステップＳ３３に進め、当該ＭＩＤＩチャンネルメッセージがいずれのパートにも対応付けられたものでなければ、ＣＰＵ１０は、本制御処理を終了する。

ステップＳ３２では、ＣＰＵ１０は、当該ＭＩＤＩチャンネルメッセージから音高、ベロシティおよびデュレーションを抽出し、当該抽出された音高、ベロシティおよびデュレーションに応じて変動させるべき第１パートの現映像効果の映像態様を決定し、決定された映像態様を第１パートの表示レイヤに反映させる。

ステップＳ３３では、ＣＰＵ１０は、当該ＭＩＤＩチャンネルメッセージから音高、ベロシティおよびデュレーションを抽出し、当該抽出された音高、ベロシティおよびデュレーションに応じて変動させるべき第２パートの現映像効果の映像態様を決定し、決定された映像態様を第２パートの表示レイヤに反映させる。

上記ステップＳ３２およびＳ３３の各処理は、前記図６のステップＳ２２の処理とほぼ同様であるので、これ以上説明しない。

図５に戻り、次にＣＰＵ１０は、別の映像効果組＃ｎが選択指示されたどうかを判定する（ステップＳ１１）。現映像効果組ではない別の映像効果組＃ｎの選択指示は、ユーザがタッチパネル１１上に表示されたメニュー画像内の対応するメニューをタッチ操作することによって行うことができるので、ステップＳ１１の判定では、ＣＰＵ１０は、そのメニューに対するタッチ操作があったかどうかを判定する。

ステップＳ１１の判定の結果、別の映像効果組＃ｎが選択指示されたときには、ＣＰＵ１０は、選択指示された映像効果組＃ｎをフラッシュメモリから読み出して、現映像効果組としてＲＡＭに記憶することで、別の映像効果組＃ｎを選択する（ステップＳ１２）。またＣＰＵ１０は、この現映像効果組を構成する４つの映像効果へのポインタのうち、デフォルトのセクションに対応付けられたポインタを、現映像効果としてＲＡＭに記憶する。さらにＣＰＵ１０は、現映像効果組および現映像効果に基づいて、前記（３）の処理と同様の処理を実行することにより、１つあるいは２つの単体の映像効果データＳＥｍに基づいて画像データを生成し、対応する表示レイヤに記憶する。

一方、ステップＳ１１の判定の結果、別の映像効果組が選択指示されなかったときには、ＣＰＵ１０は、ステップＳ１２をスキップしてステップＳ１３に進む。

ステップＳ１３では、ＣＰＵ１０は、編集モードが指示されたかどうかを判定する。編集モードの指示は、ユーザがタッチパネル１１上に表示されたメニュー画像内の対応するメニューをタッチ操作することによって行うことができるので、ステップＳ１３の判定では、ＣＰＵ１０は、そのメニューに対するタッチ操作があったかどうかを判定する。

ステップＳ１３の判定の結果、編集モードが指示されたときには、ＣＰＵ１０は、ユーザ操作に従って、映像効果組を作成あるいは変更して保存する（ステップＳ１４）。なお、映像効果組を作成あるいは変更する際に、ミキシングされる映像効果を指定することもあるので、編集モードでは、ミキシングされる映像効果も作成あるいは変更して保存できるものとする。

一方、ステップＳ１３の判定の結果、編集モードが指示されなかったときには、ＣＰＵ１０は、ステップＳ１４をスキップしてステップＳ１５に進む。

ステップＳ１５では、ＣＰＵ１０は、終了が指示されたかどうかを判定する。終了の指示は、ユーザがタッチパネル１１上に表示されたメニュー画像内の対応するメニューをタッチ操作することによって行うことができるので、ステップＳ１５の判定では、ＣＰＵ１０は、そのメニューに対するタッチ操作があったかどうかを判定する。

ステップＳ１５の判定の結果、終了が指示されたときには、ＣＰＵ１０は、終了処理を実行した（ステップＳ１６）後、本映像効果表示・編集処理を終了する。終了処理では、ＣＰＵ１０は、現映像効果組へのポインタ、現映像効果へのポインタ、ミキシング設定、演奏情報・パート対応テーブルおよび更新条件などをフラッシュメモリの所定領域に保存する。

一方、ステップＳ１５の判定の結果、終了が指示されなかったときには、ＣＰＵ１０は、処理を前記ステップＳ２に戻して、ステップＳ２〜Ｓ１５の処理を繰り返す。

図８は、タイマ割込み処理の手順を示すフローチャートである。本タイマ割込み処理は、タイマ１５が、たとえば１／３０秒を計時する度に、起動される。

図８において、まずＣＰＵ１０は、現映像効果に応じて、第１パートの表示レイヤあるいは第２パートの表示レイヤの内容を加工する（ステップＳ４１）。「第１パートの表示レイヤあるいは第２パートの表示レイヤ」とは、加工すべき内容が第１パートを対象とするときは第１パートの表示レイヤの内容を加工し、加工すべき内容が第２パートを対象とするときは第２パートの表示レイヤの内容を加工することを意味し、たまたま両パートとも加工の対象としない場合もあれば、一方のパートしか加工の対象としない場合もあり、さらに両パートとも加工の対象とする場合もある。また、このステップＳ４１の処理は、時間の経過に従って表示態様が変化して行く映像効果を生成するためのものであるため、現映像効果の表示態様が時間的に変動しない場合には、このステップＳ４１の処理は実行されない。「現映像効果に応じて」とは、この意味である。図４（ａ）は、電子鍵盤楽器２から、第１パートに対応付けられたＭＩＤＩチャンネルメッセージが送信されて来たときに、タッチパネル１１上に表示された映像効果の一例を示している。図示例の映像効果では、たとえば、音名が“Ｅ”のＭＩＤＩチャンネルメッセージが届くと、そのベロシティに応じた半径の、中心に音名“Ｅ”が記載された円が表示され、その円は、時間の経過に従って落下して行く。上記ステップＳ４１の処理は、第１パートの表示レイヤの内容を加工することで、この「落下」の表示態様を生成する。他の例としては、図４（ｂ）の「波紋」を挙げることができる。もちろん、時間の経過に従って変動する表示態様であれば、上記例に限られない。

次にＣＰＵ１０は、ミキシング設定に応じて、第１パートの表示レイヤと第２パートの表示レイヤとで演算する（ステップＳ４２）。つまり、上記ステップＳ４１までの処理によって用意された第１パートの表示レイヤと第２パートの表示レイヤとの間で、現在のミキシング設定で定められている重ね方、透過率および演算方法（ＡＮＤ，ＯＲ，ＸＯＲなど）などに応じた演算が施される。

そしてＣＰＵ１０は、演算結果を外部ＬＣＤ３の表示用に出力し（ステップＳ４３）、演算結果にさらにメニュー画像を重ね合わせ、タッチパネル１１の表示用に出力する（ステップＳ４４）。

なお本実施の形態では、第１パートまたは第２パートへの振り分けは、ＭＩＤＩチャンネルに基づいて行うようにしたが、これに限らず、複数のＭＩＤＩポートのポートや、ポートとチャンネルの組み合わせに基づいて行うようにしてもよい。

また本実施の形態では、前記図５のステップＳ９における「演奏情報」を「ＭＩＤＩチャンネルメッセージ」に限定したが、これは説明を簡単化するためにそうしたに過ぎず、「ＳｙｓＥｘメッセージ」の中にも「演奏情報」と見なせるものがあるようにしてもよい。たとえば、ＳｙｓＥｘメッセージ内に、独自形式でチャンネル情報を持たせ、ＭＩＤＩチャンネルメッセージと同じように扱えるようにしたり、コモンメッセージやリアルタイムメッセージ（ＳｙｓＥｘメッセージに含まれる）も演奏時の操作に応じて通信するようにし、「演奏情報」と同様に扱うようにしたりしてもよい。さらにコモンメッセージやリアルタイムメッセージは、選択指示の情報として扱うようにしてもよい。

なお本実施の形態では、映像効果組＃ｎ内のポインタ数、ミキシングされる映像効果ＭＥｋ内のポインタ数、および同時に表示される映像効果のパート数は、それぞれ“４”，“２”および“２”としたが、複数であれば、これに限らないことは言うまでもない。

また本実施の形態では、電子鍵盤楽器２として、鍵盤２ａの鍵数が２４鍵のものを採用したが、鍵盤の鍵数はこれに限らず、４９，６１，７６，８８など、どのような鍵数でもよいし、各種鍵数の電子鍵盤楽器から任意に選択して接続できるようにしてもよい。後者の場合、たとえば４９鍵の電子鍵盤楽器が接続されているときには、タッチパネル１１の画面全体に映像効果が表示態様を変動しながら適正に表示されていたとしても、その接続が、他の鍵数、たとえば８８鍵の電子鍵盤楽器に変更されたときには、映像効果の変動された表示態様の一部がタッチパネル１１の画面上からはみ出てしまい、表示されないことがある。この問題に対処するために、接続された電子鍵盤楽器の鍵数に応じて、映像効果を調整（表示範囲の拡大や縮小など）するようにすればよい。このとき、スレートデバイス１は、接続された電子鍵盤楽器の鍵数を取得する必要があるが、その取得方法としては、ユーザに鍵数を入力させる方法や、スレートデバイス１がＭＩＤＩデータなどで電子鍵盤楽器に機種を問い合わせ、回答された機種から鍵数を判断する方法などがある。

さらに本実施の形態では、映像効果の表示態様は、電子鍵盤楽器２から送信されて来たＭＩＤＩチャンネルメッセージ（音高、ベロシティおよびデュレーションを含むもの）と、タッチパネル１１へのユーザの発音指示のタッチ操作とによって変動するが、これに加えて、他のＭＩＤＩチャンネルメッセージ、具体的には、前記楽音についての各種パラメータ（音色、テンポ、ピッチベンド、モジュレーション、アフタータッチ、フットペダル（サスティンペダル、ソフテヌートペダルおよびソフトペダルなど）の操作状態、フィルタ係数（カットオフ・レゾナンスなど）など）を含むＭＩＤＩチャンネルメッセージや、各種センサ１３からの各種センサ出力によって変動するようにしてもよい。

また本実施の形態では、更新条件と映像効果の変更方法として、前記（Ｃ１）および（Ｃ２）を挙げて説明したが、これに、
（Ｃ１１）各種センサ出力：セクションを決定し、決定したセクションに対応付けられたポインタが指し示す映像効果に変更；
（Ｃ１２）所定のＭＩＤＩデータを受信：セクションを決定し、決定したセクションに対応付けられたポインタが指し示す映像効果に変更；
（Ｃ２１）各種センサ出力：所定の順序で、次の映像効果に変更；
（Ｃ２２）所定のＭＩＤＩデータを受信：所定の順序で、次の映像効果に変更；
を加えるようにしてもよい。

上記（Ｃ１１）の具体例としては、
例１：センサ毎に閾値とセクションを決めておき、あるセンサが当該閾値を超えると、当該セクションに対応付けられたポインタが指し示す映像効果に変更する；
例２：カメラからの画像を画像し、人が所定のポーズや動作をしたときに、予め決められたセクションを決定し、このセクションに対応付けられたポインタが指し示す映像効果に変更する；
を挙げることができる。

上記（Ｃ１２）の具体例としては、
例１：音色切替や伴奏切替（セクション切替ではない）のＭＩＤＩデータを受信すると、切り替え後の「音色」や「伴奏」の属するカテゴリを割り出し、そのカテゴリに対応するセクションを決定し、このセクションに対応付けられたポインタが指し示す映像効果に変更する；
を挙げることができる。

上記（Ｃ２１）の具体例としては、
例１：センサ毎に閾値を決めておき、あるセンサが当該閾値を超えると、所定の順序で、次の映像効果に変更する；
例２：カメラからの画像を認識し、人が所定のポーズや動作をしたときに、所定の順序で、次の映像効果に変更する；
を挙げることができる。

上記（Ｃ２２）の具体例としては、
例１：音色切替や伴奏切替（セクション切替ではない）のＭＩＤＩデータを受信する度に、所定の順序で、次の映像効果に変更する；
を挙げることができる。

また、各種センサ出力とＭＩＤＩデータとの組み合わせによって更新条件を決めるようにしてもよいし、あるいは、電子鍵盤楽器２が出力した前記オーディオ信号によって更新条件を決めるようにしてもよい。そして、この更新条件が成立すると、セクションを決定し、決定したセクションに対応付けられたポインタが指し示す映像効果に変更したり、あるいは、所定の順序で、次の映像効果に変更したりすればよい。オーディオ信号によってセクションを決定する場合には、オーディオ信号内に、あるいはすかしで、セクションを指定する情報を埋め込んでおくようにすればよい。なお、スレートデバイス１に入力されたオーディオ信号は、タッチパネル１１上に表示される映像効果とともに動画として記録される。また、オーディオ信号の特性は、映像効果の表示態様の変動に用いるようにしてもよい。

なお、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードおよび該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、たとえば、フレキシブルディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、ネットワーク５を介してサーバコンピュータからプログラムコードが供給されるようにしてもよい。

また、コンピュータが読出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。

１０…ＣＰＵ（受取手段、対応付け手段、選択手段、制御手段），１１…タッチパネル（受取手段、表示手段），１４…メモリ（記憶手段、対応付け手段），１６…アダプタＩ／Ｆ（受取手段）

Claims (3)

1. 複数セクションからなる伴奏パートを含む複数パートについての演奏指示を受け取る受取手順と、
   記憶手段に記憶された複数の映像効果からなる映像効果組に含まれる映像効果のそれぞれと、前記複数セクションのそれぞれとを対応付ける対応付け手順と、
   前記受取手順によってセクション変更の指示を受け取ったときに、前記映像効果組から当該セクションに対応付けられた映像効果を選択する選択手順と、
   前記選択手順によって選択された映像効果の表示態様を、前記受取手順によって受け取った演奏指示に応じて変動させて、表示手段に表示させる表示手順と
   をコンピュータに実行させるためのプログラム。
2. 前記映像効果は、単体の映像効果、あるいは、単体の映像効果を複数組み合わせたミキシング映像効果であり、
   前記表示手順では、前記選択手順によってミキシング映像効果が選択された場合、当該ミキシング映像効果に含まれる第１パートに対応する単体の映像効果の表示態様を、前記複数パートのうちの第１パートの演奏指示に応じて変動させて第１映像とするとともに、当該ミキシング映像効果に含まれる第２パートに対応する単体の映像効果の表示態様を、前記複数パートのうちの第２パートの演奏指示に応じて変動させて第２映像とし、前記第１映像と第２映像とをミキシングして表示する
   ことを特徴とする請求項１に記載のプログラム。
3. 複数セクションからなる伴奏パートを含む複数パートについての演奏指示を受け取る受取手段と、
   複数の映像効果からなる映像効果組を記憶する記憶手段と、
   前記映像効果組に含まれる映像効果のそれぞれと、前記複数セクションのそれぞれとを対応付ける対応付け手段と、
   前記受取手段によってセクション変更の指示を受け取ったときに、前記映像効果組から当該セクションに対応付けられた映像効果を選択する選択手段と、
   前記選択手段によって選択された映像効果の表示態様を、前記受取手段によって受け取った演奏指示に応じて変動させて、表示手段に表示させるように制御する制御手段と
   を有することを特徴とする音楽画像表示装置。

Images