JP5135922B2 - 電子音楽装置及びプログラム - Google Patents

Description

この発明は、リモート制御した外部機器から取得する各種情報に基づいて楽音を制御しながら発生することができる、電子音楽装置及びプログラムに関する。特に、リモート制御に関連して連動表示される外部機器上の任意の画面を、電子音楽装置においても表示する技術に関する。

従来から、電子音楽装置をパーソナルコンピュータ等の外部機器に接続し、電子音楽装置から前記コンピュータ上で起動している音楽ソフトウェア等をリモート制御する技術が知られている。こうした技術に関連するものとしては、例えば下記に示す特許文献１に記載されている発明がその一例である。従来技術を用いた場合、演奏者は電子音楽装置とコンピュータ上で起動される任意の音楽ソフトウェアとを組み合わせ、電子音楽装置が有する楽音発生／制御機能に音楽ソフトウェアで実現可能な楽音発生／制御機能を加えることにより、演奏の幅を広げてリアルタイムに演奏を行うことができる。例えば、電子音楽装置が発生した楽音信号（オーディオデータ等）に対して音楽ソフトウェアにエフェクトをかけさせたり、電子音楽装置から演奏操作に応じて生成される演奏データ（MIDIデータ等）に基づき音楽ソフトウェアに楽音信号を発生させたりすることなどができる。電子音楽装置から外部機器をリモート制御できるようにする場合には、予め電子音楽装置に配置されているノブやフェーダーなどの任意のハードウェア構成の操作子のいくつかを（これを便宜的にハード操作子と呼ぶ）、音楽ソフトウェアを制御する操作子（これを便宜的に制御操作子と呼ぶ）に割り当てておく。こうすると、演奏者は電子音楽装置と外部機器の両方を制御しながら演奏を行うことを、ハード操作子や制御操作子いった演奏者の手元にある電子音楽装置側の操作子のみを適宜に操作するだけで実現することができ便利である。
特開2004−341050号公報

ところで、パーソナルコンピュータ等の外部機器は、音楽ソフトウェアが起動されると、ノブやフェーダーなどのハード操作子を模した操作子画像を多数含んでなる音楽ソフトウェア制御用の画面（ウィンドウ）をディスプレイに表示する。この画面内の各操作子画像は現在設定されている制御パラメータ値等を演奏者に対して提示するものであって、電子音楽装置によるリモート制御時において、演奏者による制御操作子の操作に応じて連動動作表示されるようになっている。したがって、演奏者は外部機器に対して正確に制御パラメータ等を設定して所望のリモート制御を行いたいような場合に、外部機器において表示された対応する画面内の各操作子画像の動きを確認しながら、電子音楽装置において該当の制御操作子を操作する必要がある。しかし、そもそもが別体の独立した機器である外部機器に表示されている画面を見ながら、電子音楽装置の制御操作子を的確に素早く操作するのは非常に難しく、また演奏者は演奏操作子を操作して演奏することになかなか集中できない、という問題点があった。この点、外部機器に表示された画面と同様の多数の操作子画像を含む画面を電子音楽装置にも表示しておき、制御操作子の操作に応じて対応する操作子画像を外部機器に表示された画面と同じように更新しながら表示することが考えられる。しかし、そうするには、多数ある各種の音楽ソフトウェアそれぞれが使用し得るハード操作子に対応した操作子画像を、予め電子音楽装置にも多数記憶しておく必要があり、またその中から必要な操作子画像のみを表示する専用の画像組み込みプログラムが音楽ソフトウェア毎に必要とされることから、特に記憶容量の少ない既存の電子音楽装置に対して、こうした多数の操作子画像や画像組み込みプログラムを予め記憶させておくことは現実的でない。さらに、電子音楽装置に備え付けられているディスプレイは、外部機器に備え付けられているディスプレイと比べると小さなサイズでその表示性能が非常に低いことから、特に表示すべき操作子画像が多い場合には、外部機器と同等の画面を表示することに向いていない。

本発明は上述の点に鑑みてなされたもので、リモート制御に関連して連動表示される外部機器上の任意の画面を表示することが簡単にできるようにした電子音楽装置及びプログラムを提供することを目的とする。

本発明に係る電子音楽装置は、リモート制御した外部機器から取得する楽音情報に従って楽音制御を行う電子音楽装置であって、表示器と、複数の操作子画像を含んでなる画面を表示する外部機器を接続する接続手段と、前記接続した外部機器をリモート制御する複数の操作子と、前記複数の操作子のうち、操作された操作子に応じた操作イベントを送出するイベント送出手段と、前記操作子からの制御指示に応じて、前記外部機器が前記操作イベントに基づいて実行する機能に関連して連動表示した操作子画像を含む前記画面の一部領域についての画像データを前記外部機器から取得する取得手段と、前記取得した画像データに基づいて、前記操作子の操作に応じて前記外部機器で連動表示される前記画面の一部領域を前記表示器に表示する表示制御手段とを具える。

この発明によると、複数の操作子画像を含んでなる画面を表示する外部機器をリモート制御する際に、複数の操作子からの制御指示に応じて前記外部機器が実行する機能に関連して連動表示した操作子画像を含む前記画面の一部領域についての画像データを前記外部機器から取得し、該取得した画像データに基づいて前記操作子の操作に応じて前記外部機器で連動表示される前記画面の一部領域を前記表示器に表示する。すなわち、電子音楽装置に接続された外部機器をリモート制御する場合に、電子音楽装置からはリモート制御用に割り当てられた操作子の操作に応じて操作イベントが外部機器に対して送出される一方で、外部機器では該操作イベントに基づき対応する機能を実行すると共に、画面に表示された複数の操作子画像のうち前記操作された操作子に対応する操作子画像を連動表示する。外部機器により該当の操作子画像が連動表示されることにあわせ、電子音楽装置では連動表示された操作子画像を含む前記画面の一部領域についての画像データを前記外部機器から取得して、これに基づき前記画面の一部領域のみを表示する。これにより、電子音楽装置に多数の操作子画像や画像組み込みプログラムを予め記憶させておかなくても、操作子の操作に応じて外部機器に表示されているのと同様の動作が行われる画面と同じ表示を行うことが簡単にできる。また、画面の一部領域のみを表示するようにしたことから、電子音楽装置に備え付けられている表示器が小型であって表示性能が低いものであっても、演奏者は視認が容易にできるようになる。

本発明は、装置の発明として構成し、実施することができるのみならず、方法の発明として構成し実施することができる。また、本発明は、コンピュータまたはＤＳＰ等のプロセッサのプログラムの形態で実施することができるし、そのようなプログラムを記憶した記憶媒体の形態で実施することもできる。

この発明によれば、電子音楽装置に接続された外部機器をリモート制御する際に、リモート制御用に割り当てられた操作子の操作に応じて、外部機器に表示された画面のうち外部機器が実行する機能に関連して連動表示される一部領域についての画像データを表示するようにしたことから、電子音楽装置に多数の操作子画像や画像組み込みプログラムを予め記憶させておかなくても、制御操作子の操作に応じて外部機器に表示された画面と同じ表示を行うことが簡単にできる、という効果を得る。
また、電子音楽装置の表示器が小型であってかつ表示性能が低いものであっても、演奏者は視認が容易にできるようになる。

以下、この発明の実施の形態を添付図面に従って詳細に説明する。

図１は、この発明に係る電子音楽装置を含んでなるリモート制御システムの全体構成の一実施例を示すシステムブロック図である。勿論、リモート制御システムとしては図１に示す以外のハードウェアを有する場合もあるが、ここでは必要最小限の資源を用いた場合について説明する。なお、この明細書では、電子音楽装置ＤＭが具備するディスプレイ７Ａ上に表示する音楽ソフトウェアリモート制御用の画面を「ディスプレイ表示」と呼び、外部機器Ｘが具備するディスプレイ７Ａ上に起動中の音楽ソフトウェア毎に表示する音楽ソフトウェア制御用の画面を「制御ウィンドウ」と呼んで便宜的に区別する。

この実施例に示すリモート制御システムは、電子音楽装置ＤＭと外部機器Ｘとに大きく分けることができる。電子音楽装置ＤＭは、例えば複数のチャンネルで楽音（例えばオーディオデータ）の同時発生が可能なシンセサイザや電子ピアノ等の電子楽器、あるいは複数チャンネルの楽音をミキシングするミキサや楽音に効果を付与するエフェクタ等の音響装置である。他方、上記電子音楽装置ＤＭと有線あるいは無線の通信ラインを介して接続される外部機器Ｘは、各種の音楽ソフトウェアプログラムを記憶してなり、該記憶した音楽ソフトウェアの動作に従って楽音信号や制御パラメータあるいは演奏データ等を発生可能な、例えばパーソナルコンピュータなどの装置である。音楽ソフトウェアとしては、例えばシンセサイザ機能を実現するもの（所謂ソフトウェア音源）、ミキサ機能やエフェクタ機能等を実現するもの、あるいはシーケンサー機能を実現するものなど、多種多様な機能を実現するものがある。以下では、説明を理解しやすくするために、電子音楽装置ＤＭとして内蔵音源を有するシンセサイザ、外部機器Ｘとしてシンセサイザ機能を実現する音楽ソフトウェアを有するパーソナルコンピュータを用いた場合を例に説明する。なお、外部機器Ｘはコンピュータに限らず、専用のハードウェアを用いて構成したものであってよい。

図１に示すように、上記電子音楽装置ＤＭにおいて、演奏操作取得手段Ｂは自機の演奏操作子が操作されることに応じて、該操作された演奏操作子に対応付けられた演奏操作イベント（例えば、MIDIのノートオン／オフイベント等）を取得し、該取得した演奏操作イベントを楽音処理手段Ａ（内蔵音源）に送る。楽音処理手段Ａは、取得した演奏操作イベントに基づきオーディオデータなどの楽音信号を生成し、該生成した楽音信号を元にアンプやスピーカなどを含むサウンドシステム（図示せず）から楽音を発音する。すなわち、本発明に係る電子音楽装置ＤＭは、ユーザによる例えば押鍵操作などの所定の演奏操作子の操作に応じて発生される演奏データ（例えばMIDIデータ等）に基づき楽音を発音する。また、楽音処理手段Ａは、生成した楽音信号をミキシング手段Ｍに送る。ミキシング手段Ｍは、楽音処理手段Ａから送られた楽音信号と、該電子音楽装置ＤＭと接続された外部機器Ｘから取得した楽音信号（オーディオデータ）とをミキシングし、該ミキシング後の楽音をサウンドシステムから発音することができるようにもなっている。

外部機器Ｘから楽音信号を取得して電子音楽装置ＤＭ側でこれを利用する場合（例えば上記ミキシング等）、演奏者は電子音楽装置ＤＭから外部機器Ｘ（詳しくは音楽ソフトウェア）をリモート制御して、所望の楽音信号を外部機器Ｘに出力させることができる。その場合、まず演奏者は電子音楽装置ＤＭにおいて、多数ある設定操作子のうちのいくつかを外部機器Ｘを制御する制御操作子に予め割り当てる。一方で、演奏者は外部機器Ｘにおいて、所望の楽音信号を生成し得るシンセサイザ機能を実現する音楽ソフトウェアＯを起動する。外部機器Ｘは音楽ソフトウェアＯが起動されると、該起動された音楽ソフトウェアＯ用の「制御ウィンドウ」（後述する図２参照）の表示制御を行うための「ウィンドウ情報」の更新指示を、当該外部機器Ｘ（コンピュータ）全体の動作を管理するＯＳ（オペレーティングシステム）内に含まれるウィンドウシステムＷに対して送る。このＯＳのウィンドウシステムＷは該外部機器Ｘが具備するディスプレイ上に表示する全てのウィンドウ（画面表示）に関する表示制御を行うソフトウェアプログラムであって、前記「ウィンドウ情報」の更新指示を受信した場合には、該起動された音楽ソフトウェアＯを制御するために使用される「制御ウィンドウ」の表示制御を行う。なお、複数の音楽ソフトウェアＯが起動された場合には（あるいは１の音楽ソフトウェアであっても異なる機能が起動された場合）、それに応じて複数の各機能に対応した「制御ウィンドウ」がディスプレイ上に表示されることは言うまでもない。

ここで、音楽ソフトウェアＯの起動に応じて外部機器Ｘのディスプレイ上に自動的に表示される、該起動された音楽ソフトウェアＯを制御するために使用される「制御ウィンドウ」の一表示例を図２に示す。図２は、「制御ウィンドウ」の一実施例を示す概念図である。

図２に示す「制御ウィンドウ」ＷＤは、シンセサイザ機能を実現する音楽ソフトウェアＯが起動されている場合に、該音楽ソフトウェアからの「ウィンドウ情報」の更新指示に従って表示される多種多様な「制御ウィンドウ」の中の一つであって、ここでは周波数帯域毎のゲイン制御を行うノブを模した多数の操作子画像Ｐ１〜Ｐ８を含んでなる画面を表示した例を示している。また、この例では、操作子画像Ｐ１〜Ｐ８の操作により制御される制御対象に関して、一例としてゲイン制御波形画像Ｙを同時に表示している。これらの操作子画像Ｐ１〜Ｐ８及びゲイン制御波形画像Ｙはそれぞれが予め用意された画像であって、音楽ソフトウェアが有する機能に対応した楽音制御を行うのに必要な画像が１乃至複数選択され、さらにこれらの画像が組み合わせられて１つの「制御ウィンドウ」ＷＤとして再構成されて表示されるようになっている。

演奏者は、制御ウィンドウＷＤ内の各操作子画像Ｐ１〜Ｐ８をマウス等により操作することで起動中の音楽ソフトウェアＯを制御できるが（この場合、各操作子画像Ｐ１〜Ｐ８は画面上で操作可能なソフト操作子となる）、そうした場合には従来と同様に、操作対象の操作子画像Ｐ１〜Ｐ８はマウス等の動きにあわせて連動動作表示される。また、演奏者は電子音楽装置ＤＭにおいて制御操作子を操作することで音楽ソフトウェアＯをリモート制御できるが、こうしたリモート制御時においても従来と同様に、演奏者による制御操作子の操作に応じて、図２に示す外部機器Ｘのディスプレイ上に表示された「制御ウィンドウ」ＷＤ内において、前記操作された制御操作子に対応する操作子画像Ｐ１〜Ｐ８が連動動作表示されるようになっている。さらに、上記した演奏者による操作にあわせてゲイン制御波形画像Ｙも連動表示される。なお、外部機器Ｘにおいて、上記したような「制御ウィンドウ」ＷＤに関する表示制御は、音楽ソフトウェアからの「ウィンドウ情報」の更新指示に従ってウィンドウシステムＷが都度行うのであるが、こうしたウィンドウシステムＷによるディスプレイ上におけるウィンドウ表示制御については公知であることから、ここではその詳細な説明を省略する。

図１の説明に戻って、電子音楽装置Ｏにおいて制御操作子が操作された場合、設定操作取得手段Ｃは制御操作子の操作に応じて発生された設定操作イベント（例えば、MIDIのシステムエクスクルーシブメッセージ）を取得し、該取得した設定操作イベントを外部機器Ｘで起動中の音楽ソフトウェアＯに対して送る。音楽ソフトウェアＯは設定操作イベントを受信した場合、該起動された音楽ソフトウェアＯで使用する「制御ウィンドウ」ＷＤ（図２参照）の表示を制御する「ウィンドウ情報」の更新指示を、ウィンドウシステムＷに対して送る。ウィンドウシステムＷは前記「ウィンドウ情報」の更新指示を受信した場合、「制御ウィンドウ」ＷＤ内において該当の操作子画像Ｐ１〜Ｐ８をマウス等の動きにあわせて連動動作表示するように、ディスプレイを制御して「制御ウィンドウ」ＷＤを適宜に更新する。

設定操作取得手段Ｃは、電子音楽装置ＤＭにおいて制御操作子が操作された場合に、制御操作子の操作に応じて発生された設定操作イベントを上述のように外部機器Ｘで起動中の音楽ソフトウェアＯに対して送るだけでなく、画像データ取得手段Ｇに対しても送る。画像データ取得手段Ｇは設定操作イベントを受信すると、外部機器Ｘに対して画像データを要求する。外部機器Ｘに対して要求する画像データは、外部機器Ｘにおいて表示中の「制御ウィンドウ」ＷＤ全体のデータでなく、「制御ウィンドウ」ＷＤ内に表示された操作子画像Ｐ１〜Ｐ８のうち、操作された制御操作子に対応する操作子画像Ｐ１〜Ｐ８を含む「制御ウィンドウ」ＷＤの一部領域に関するデータである。具体的には、「制御ウィンドウ」ＷＤの全体領域のうち、電子音楽装置ＤＭが具備してなるディスプレイの画面サイズに一致する所定の範囲に含まれる一部領域の画像データを少なくとも要求する。

前記画像データの要求は、演奏者による対応する制御操作子の操作に応じてディスプレイ表示中の操作子画像Ｐ１〜Ｐ８が連動動作表示されるように、１乃至複数回繰り返し行われる。また、前回操作された制御操作子と今回操作された制御操作子とが異なる場合には、今回操作された制御操作子に対応する操作子画像Ｐ１〜Ｐ８を含む「制御ウィンドウ」ＷＤの一部領域に関するデータのみを要求するだけでなく、表示中の前回操作された制御操作子に対応する操作子画像Ｐ１〜Ｐ８を含む一部領域から、今回操作された制御操作子に対応する操作子画像Ｐ１〜Ｐ８を含む一部領域に至るまでの、「制御ウィンドウ」ＷＤにおける途中の領域の異なる画像データを１乃至複数回繰り返し要求する。ただし、この場合に、前後して要求する画像データの一部が重複する画像を有するよう領域を決めるとよい。こうして連続的に複数の画像データを要求することで、演奏者による対応する制御操作子の操作に応じて対応する操作子画像Ｐ１〜Ｐ８が「ディスプレイ表示」されるだけでなく、該「ディスプレイ表示」が前回操作した制御操作子から今回操作した制御操作子へと遷移するように表示されることとなって、演奏者がハード操作子である制御操作子と「ディスプレイ表示」上の操作子画像との対応関係を的確に把握しやすくなる（詳しくは後述する図５参照）。

画像データ通信ソフトウェアＩは、電子音楽装置ＤＭと外部機器Ｘとの間における画像データに関する情報（画像データの要求指示や画像データそのもの）の送受信を制御するソフトウェアプログラムである。ウィンドウシステムＷは画像データ通信ソフトウェアＩを介して画像データの要求を受信すると、ディスプレイに表示中の該当する「制御ウィンドウ」ＷＤ全体をピクセルデータ化し、該ピクセルデータ化した「制御ウィンドウ」ＷＤ全体を小さな長方形に分ける。そして、これらの小さな長方形のうち要求された一部領域に対応する長方形に含まれるピクセルデータだけを、長方形毎に相対的な位置を特定した上で、画像データ通信ソフトウェアＩを介して電子音楽装置ＤＭに対して画像データとして返送する（図中、画像データ応答）。

電子音楽装置ＤＭの画像データ取得手段Ｇは、外部機器Ｘから応答された前記画像データを取得すると、該取得した画像データに基づき電子音楽装置ＤＭの「ディスプレイ表示」を更新するよう、画像データ表示手段Ｄに対して画像データの更新指示を行う。画像データ表示手段Ｄは該画像データの更新指示に応じて、ディスプレイを制御して画像（つまりディスプレイ表示）の更新を行う。

なお、外部機器Ｘがオーディオデータに基づいて楽音を発音するように、電子音楽装置ＤＭから外部機器Ｘをリモート制御することができるようにしてもよい。特に、電子音楽装置ＤＭが内蔵音源を有していない、例えばコントロールキーボードやブレスコントローラなどの場合に有効である。
なお、電子音楽装置ＤＭや外部機器Ｘは、予め用意（記憶）された所定のパターンデータ（例えば、自動伴奏パターンデータやアルペジオパターンデータ等）に従って演奏データを自動生成し、これに基づき楽音信号を発生することができてよい。
なお、電子音楽装置ＤＭは外部機器Ｘからオーディオデータを取得することに限らず、演奏データや制御パラメータなど適宜の楽音発生／制御に係るデータを取得し、これに従い楽音制御を行うようにしてもよい。

次に、図１に示した電子音楽装置ＤＭ、外部機器Ｘのハード構成の一実施例について説明する。ただし、上記各装置は同じようなハード構成を用いるものとして説明することができることから、ここでは代表として電子音楽装置ＤＭについてのブロック図を用いて説明する。図３は、この発明に係る電子音楽装置ＤＭの全体構成の一実施例を示したハード構成ブロック図である。

本実施例に示す電子音楽装置ＤＭは、マイクロプロセッサユニット（ＣＰＵ）１、リードオンリメモリ（ＲＯＭ）２、ランダムアクセスメモリ（ＲＡＭ）３からなるマイクロコンピュータによって制御される。ＣＰＵ１は、この電子音楽装置ＤＭ全体の動作を制御する。このＣＰＵ１に対して、通信バス１Ｄ（例えばデータ及びアドレスバス）を介してＲＯＭ２、ＲＡＭ３、外部記憶装置４、検出回路５，６、表示回路７、音源回路８、効果回路９、ミキシング回路１０、各種通信インタフェース（Ｉ／Ｆ）１１，１２，１３がそれぞれ接続されている。ＲＯＭ２は、ＣＰＵ１により実行あるいは参照される各種制御プログラムや各種データ等を格納する。ＲＡＭ３は、ＣＰＵ１が所定のプログラムを実行する際に発生する各種データなどを一時的に記憶するワーキングメモリとして、あるいは現在実行中のプログラムやそれに関連するデータを一時的に記憶するメモリ等として使用される。ＲＡＭ３の所定のアドレス領域がそれぞれの機能に割り当てられ、レジスタやフラグ、テーブル、メモリなどとして利用される。

外部記憶装置４は、各種データやＣＰＵ１が実行する各種制御プログラム等を記憶する。例えば、当該電子音楽装置ＤＭにおいて制御操作子に割り当てられた設定操作子６Ａの操作に応じて発生するパラメータ種類やパラメータ値等を、接続された外部機器Ｘを制御するためのパラメータ種類やパラメータ値に変換する変換データ（図示せず）などを記憶する。なお、上述したＲＯＭ２に制御プログラムが記憶されていない場合、この外部記憶装置４（例えばハードディスク）に制御プログラムを記憶させておき、それをＲＡＭ３に読み込むことにより、ＲＯＭ２に制御プログラムを記憶している場合と同様の動作をＣＰＵ１にさせることができる。このようにすると、制御プログラムの追加やバージョンアップ等が容易に行える。なお、外部記憶装置４はハードディスク（HD）に限られず、フレキシブルディスク（FD）、コンパクトディスク（CD‐ROM・CD‐RAM）、光磁気ディスク（MO）、あるいはDVD（Digital Versatile Disk）等の着脱自在な様々な形態の外部記憶媒体を利用する記憶装置であればどのようなものであってもよい。あるいは、フラッシュメモリなどの半導体メモリであってもよい。

演奏操作子５Ａは、楽音の音高を選択するための複数の鍵を備えた例えば鍵盤等のようなものであり、各鍵に対応してキースイッチを有しており、この演奏操作子５Ａ（鍵盤等）はユーザ自身の手弾きによるマニュアル演奏に使用することができるのは勿論のこと、音色や効果等を設定する手段などとして使用することもできる。検出回路５は、演奏操作子５Ａの各鍵の押圧及び離鍵を検出することによって検出出力を生じる。設定操作子（スイッチ等）６Ａはハード操作子であって、例えば電子音楽装置ＤＭにおいて音量（ゲイン）やテンポあるいはピッチベンド等を制御するノブやフェーダーなどの楽音制御用のコントローラ類、音色や効果等を設定するスイッチ等である。ただし、上述したように、演奏者はこの設定操作子６Ａのいくつかを、電子音楽装置ＤＭを制御するための操作子ではなく、外部機器Ｘ（音楽ソフトウェア）をリモート制御するための制御操作子に任意に割り当てることができる。なお、設定操作子６Ａは上記した以外にも、数値データ入力用のテンキーや文字データ入力用のキーボードなどの各種操作子を含んでいてもよい。検出回路６は、上記設定操作子６Ａの操作状態を検出し、その操作状態に応じたスイッチ情報等をデータ及びアドレスバス１Ｄを介してＣＰＵ１に出力する。

表示回路７は例えば液晶表示パネル（ＬＣＤ）やＣＲＴ等から構成されるディスプレイ７Ａに、各種通信インタフェース１１〜１３を介して接続された外部機器Ｘ（MIDI機器１１Ａ，パーソナルコンピュータ１２Ａ，サーバコンピュータ１３Ａ等）上に表示された「制御ウィンドウ」のうちの一部領域の表示（ディスプレイ表示）の他に、ＲＯＭ２に記憶されているデータの一覧表示、あるいはＣＰＵ１の制御状態などを表示する。演奏者はディスプレイ７Ａに表示されるこれらの各種画面を参照することで、所望の楽音を発生させるために、所望の楽音信号を出力するよう外部機器Ｘをリモート制御したり、制御パラメータ等の設定を容易に行うことができる。

通信インタフェース（Ｉ／Ｆ）１１〜１３は、外部機器Ｘとの間で各種データの送受信を行うためのインタフェース機器であって、外部機器Ｘとの間で送受信する信号の種類毎に異なるインタフェースが用意される。例えばMIDI形式の演奏データを送受信するMIDI入出力インタフェース１１、画像データや制御パラメータ等を送受信するLAN通信インタフェース１２などのデータ入出力インタフェースとしての機能を備えた、RS-232C、USB（ユニバーサル・シリアル・バス）、IEEE1394（アイトリプルイー1394）、無線ＬＡＮ、ブルートゥース（商標）、赤外線送受信器等のインタフェースである。さらに、WAN通信インタフェース１３は、LAN（Local Area Network）やインターネット、電話回線等の有線あるいは無線の通信ネットワークを介して、電子音楽装置ＤＭとネットワーク上の外部機器Ｘ（例えば、ソフトウェア音源を有するサーバコンピュータ１３Ａ）とを接続することができ、電子音楽装置ＤＭとサーバコンピュータ１３Ａとの間でMIDIデータや制御パラメータさらには各種情報等を送受信することができるネットワークインタフェースである。こうした各種の通信インタフェース１１〜１３は、有線あるいは無線のものいずれかでなく双方を具えていてよい。

なお、上述した電子音楽装置ＤＭにおいて、演奏操作子５Ａとしては鍵盤等の鍵盤楽器の形態に限らず、弦を備えたネック等の弦楽器の形態のもの、息を吹き込む管楽器の形態のものなど、音高を選択できる演奏操作子であればどのようなものであってもよい。また、電子音楽装置ＤＭは、演奏操作子５Ａ，設定操作子６Ａやディスプレイ７Ａなどを１つの本体に内蔵したものに限らず、それぞれが別々に構成され、MIDIインタフェースや各種ネットワーク等の通信手段を用いて各機器を接続するように構成されたものであってもよいことは言うまでもない。
なお、本発明に係る電子音楽装置ＤＭは内蔵音源を有する電子楽器の形態に限らず、内蔵音源を有していないコントロールキーボードやブレスコントローラ等の音源制御機器、音楽ソフトウェアを有するパーソナルコンピュータ、あるいはＰＤＡや携帯電話等の携帯型通信端末、さらにはカラオケ装置やゲーム装置など、どのような形態の装置・機器に適用してもよい。携帯型通信端末に適用した場合、端末のみで所定の機能が完結している場合に限らず、機能の一部をサーバ装置側に持たせ、端末とサーバ装置とからなるシステム全体として所定の機能を実現するようにしてもよい。

次に、外部機器Ｘのリモート制御時における「ディスプレイ表示」の制御について、図４及び図５を用いて説明する。図４は、図１に示したリモート制御システムを構成する電子音楽装置ＤＭ、外部機器Ｘの各々が実行する「表示制御処理」の一実施例を説明するためのフローチャートである。図４に示す各処理は、図１に示した電子音楽装置ＤＭ、外部機器Ｘのそれぞれにおいて各機器の電源オンに応じて起動されるソフトウェアプログラムであって、プログラム起動後は常に所定の待機状態にある。なお、実際には電子音楽装置ＤＭと外部機器Ｘとでは前記処理をそれぞれ独立に実行するものであるが、ここでは説明を理解しやすくするために、一連の処理の流れに沿って電子音楽装置ＤＭと外部機器Ｘの各々で実行される各処理について説明する。

電子音楽装置ＤＭは、起動させた音楽ソフトウェアの「制御ウィンドウ」ＷＤ内における各操作子画像の相対位置を取得する（ステップＳ１）。各操作子画像の相対位置の取得方法としては、ユーザが手動で設定する、メーカが予め用意したデータを読み出す、あるいは画像データ取得手段Ｇから外部機器Ｘの音楽ソフトウェアＯ，ウィンドウシステムＷ，画像データ通信ソフトウェアＩのいずれかに問い合わせて取得するなどがある。ステップＳ２は、定期的に音楽ソフトウェアの「制御ウィンドウ」ＷＤの表示位置を外部機器Ｘに問い合わせて取得する。具体的には、ウィンドウシステムＷ，画像データ通信ソフトウェアＩ，音楽ソフトウェアＯのいずれかに所定の時間間隔（例えば0.5秒間隔）毎に問い合わせを行う。こうすることにより、外部機器Ｘにおいて「制御ウィンドウ」ＷＤの表示位置が任意に変更された場合であっても、「制御ウィンドウ」ＷＤのディスプレイ上における現在表示位置を常に正しく特定することができる。

ステップＳ３は、設定操作子６Ａの操作に応じて発生される設定操作イベントが発生したか否かを判定する。設定操作イベントが発生していない場合には（ステップＳ３のｎｏ）、ステップＳ２の処理に戻る。この場合、電子音楽装置ＤＭ自体を制御する設定操作子６Ａ（ただし、制御操作子以外）及び外部機器Ｘをリモート制御する制御操作子のどちらも操作されていないことから、電子音楽装置ＷＤにおける楽音制御処理は勿論のこと外部機器Ｘのリモート制御も行われることがない。したがって、リモート制御に関連する「ディスプレイ表示」の更新を行わなくてよい。一方、設定操作イベントが発生している場合には（ステップＳ３のｙｅｓ）、発生した設定操作イベントに対応する電子音楽装置ＤＭの楽音制御処理があるか否かを判定する（ステップＳ４）。発生した設定操作イベントに対応する電子音楽装置ＤＭの楽音制御処理がある場合には（ステップＳ４のｙｅｓ）、電子音楽装置ＤＭ内で対応する楽音制御処理を行う。すなわち、設定操作子６Ａ（ただし、制御操作子以外）が操作された場合には、該イベントに基づき例えば音量、テンポ、ピッチベンド等の公知の楽音制御を電子音楽装置ＤＭが実行する。ステップＳ６は、発生した設定操作イベントに対応する外部機器Ｘで動作中の音楽ソフトウェアＯの処理があるか否かを判定する。発生した設定操作イベントに対応する音楽ソフトウェアＯの処理がある場合、つまり設定操作子６Ａのうち制御操作子が操作された場合には（ステップＳ６のｙｅｓ）、対応する音楽ソフトウェアを特定して設定操作イベントを送る（ステップＳ７：図１の設定操作イベント）。音楽ソフトウェアと該音楽ソフトウェアの制御の元に表示される「制御ウィンドウ」ＷＤとは対応関係が当然にあることから、音楽ソフトウェアを特定することで表示中の１乃至複数のウィンドウのうち該当する「制御ウィンドウ」ＷＤもおのずと特定されることになる。

外部機器Ｘの音楽ソフトウェアＯは、送られてきた設定操作イベントに基づき楽音制御処理を実行する。すなわち、設定操作イベントを受け取ったか否かを判定することにより（ステップＳ２１）、電子音楽装置ＤＭからの設定操作イベントの送付の有無を常時監視している。そして、設定操作イベントを受け取った場合には（ステップＳ２１のｙｅｓ）、楽音制御に関する内部設定（制御パラメータ値）を更新することで楽音制御処理を実行する（ステップＳ２２）とともに、操作子画像の表示設定を変更してウィンドウシステムＷに対して「制御ウィンドウ」ＷＤを更新するよう指示する（ステップＳ２３：図１のウィンドウ情報の更新）。これにより、操作子画像が制御操作子の操作に応じた分だけ連動動作するようにして、「制御ウィンドウ」ＷＤの表示が更新される。

電子音楽装置ＤＭの処理に戻って、ステップＳ８は、設定操作イベント，上記ステップＳ２で取得した「制御ウィンドウ」ＷＤの現在表示位置，上記ステップＳ１で取得した各操作子画像の相対位置から、設定操作イベントに応じて表示が変更（更新）されたであろう操作子画像を含む「制御ウィンドウ」ＷＤ上の一部領域をディスプレイの絶対表示位置により求める（図５参照）。ステップＳ９は、画像データ通信ソフトウェアＩに、上記求めた一部領域に相当する画像データを要求する（図１の画像データ要求）。外部機器Ｘの画像データ通信ソフトウェアＩは、該送られてきた画像データ要求に基づき画像データの生成を実行する。すなわち、画像データ要求を受け取ったか否かを判定することにより（ステップＳ３１）、電子音楽装置ＤＭからの画像データの要求指示の送付の有無を常時監視しており、画像データ要求を受け取った場合には（ステップＳ３１のｙｅｓ）、指定された一部領域に相当する画像データをウィンドウシステムＷから取得して（ステップＳ３２）、該取得した画像データを電子音楽装置ＤＭに対して返送する（ステップＳ３３：図１の画像データ応答）。電子音楽装置ＤＭは、外部機器Ｘから送られた画像データを受け取ると（ステップＳ１０）、該画像データをディスプレイに表示する（ステップＳ１１）。これにより、「ディスプレイ表示」が更新される。

ここで、リモート制御時における「ディスプレイ表示」の具体例を、図５に示す。図５は、「ディスプレイ表示」の一実施例を示す概念図である。ただし、この実施例では説明を理解しやすくするために、図５（ａ）に外部機器Ｘにおける「制御ウィンドウ」ＷＤの表示を示し、図５（ｂ）に電子音楽装置ＤＭにおける「ディスプレイ表示」を示している。この図５（ａ）に示した「制御ウィンドウ」ＷＤの表示内容については既に図２を用いて説明済みであることから、ここでは説明を省略する。なお、ここでは複数のウィンドウが重ねて表示されている。

従来知られているように、パーソナルコンピュータ（外部機器Ｘ）においてはディスプレイ７Ａの任意の位置に、音楽ソフトウェアの起動に応じて対応する「制御ウィンドウ」ＷＤを１乃至複数開くことができ、また演奏者はその表示位置や表示サイズなどを任意に設定して表示させることができるようになっている。一般的に外部機器Ｘが有するディスプレイは１４型以上のサイズをもつ高精度な画面が標準装備されていることから、演奏者は同時に多数の「制御ウィンドウ」ＷＤが開かれていたとしても、参照を必要とする「制御ウィンドウ」ＷＤについてその表示内容を視認しやすい。これに比較すると、従来知られている電子音楽装置ＤＭに備え付けられているディスプレイは大きくても８型程度のサイズのものであって、これは外部機器Ｘに標準装備されるディスプレイと比べると小さなサイズであり、またその表示性能も非常に低いものであることから、そうしたディスプレイに表示される「ディスプレイ表示」はどうしても小さく粗いものとなる。そのため、外部機器Ｘの「制御ウィンドウ」ＷＤと同様の表示内容を表示したとしても、表示すべき操作子画像が数多い場合には１つ１つの操作子画像が見難くなる。したがって、電子音楽装置ＤＭに備え付けられているディスプレイは、「制御ウィンドウ」ＷＤと同様の表示を行うことに向いていない。

そこで、本発明に係る電子音楽装置ＤＭにおいては、「制御ウィンドウ」ＷＤに含まれる多数の操作子画像のうち、実際に演奏者により操作された制御操作子に対応する操作子画像を含む一部領域のみを「ディスプレイ表示」としてディスプレイ全体に表示するようにしている。言い換えれば、外部機器Ｘから電子音楽装置ＤＭに備え付けられているディスプレイのサイズにあった表示を行う画像データを取得する。例えば「制御ウィンドウ」ＷＤの操作子画像Ｐ１に対応する制御操作子が操作された場合には、図５（ｂ）上段に示す「ディスプレイ表示」がなされる。この「ディスプレイ表示」は、操作された制御操作子に対応する操作子画像Ｐ１を含み、かつ「制御ウィンドウ」ＷＤにおいて電子音楽装置ＤＭに備え付けられているディスプレイの画面サイズとほぼ同一のサイズの一部領域（図中において点線の四角形で示す）の画像データに基づき表示されるものである。

また、上述したように、本発明に係る電子音楽装置ＤＭにおいては、演奏者による対応する制御操作子の操作に応じて対応する操作子画像Ｐ１〜Ｐ８が「ディスプレイ表示」に表示されるだけでなく、該「ディスプレイ表示」を表示する際に、前回操作した制御操作子から今回操作した制御操作子へと画面があたかも遷移するようにして、１乃至複数の一部領域を一時的に順次に表示する。例えば、前回操作した制御操作子が操作子画像Ｐ１に対応するものであり、今回操作した制御操作子が操作子画像Ｐ７に対応するものである場合には、操作された制御操作子に対応する操作子画像Ｐ７を含み、かつ「制御ウィンドウ」ＷＤにおいて電子音楽装置ＤＭに備え付けられているディスプレイの画面サイズとほぼ同一のサイズの一部領域（図中において実線の四角形で示す）の画像データに基づき、図５（ｂ）下段に示す「ディスプレイ表示」を最終的に表示する。

この今回操作した制御操作子に対応する操作子画像Ｐ７を含む「ディスプレイ表示」を表示する前に、図５（ｂ）中段に示す「ディスプレイ表示」を一時的に表示する。図５（ｂ）中段に示す「ディスプレイ表示」は、「制御ウィンドウ」ＷＤにおいて図５（ｂ）上段に示す前回操作に応じた「ディスプレイ表示」を行う一部領域から、図５（ｂ）下段に示す今回操作に応じた「ディスプレイ表示」を行う一部領域に至るまでの間にある途中の一部領域（図中において一転鎖線の四角形で示す）の画像データに基づき表示される。この途中の一部領域は、所定のルール（又はプログラム等）に応じて決められた経路に従って、前回操作した制御操作子から今回操作した制御操作子へと画面があたかも遷移する表示を行うことができる補完的な領域が適宜に決定される。この制御は、図４に示したフローチャートにおいてステップＳ８からステップＳ１１までを、今回操作に応じた一部領域に関しての表示制御のみならず、今回操作に応じた一部領域に至るまでの途中の補完的な一部領域の表示制御をも行うように、複数回実行することにより実現されるものである。勿論、単に図５（ｂ）上段に示した表示から下段に示した表示へと切り替えるだけであってもよいことは言うまでもない。

なお、「ディスプレイ表示」は上述した表示形態に限らない。例えば、図６に示すように、「ディスプレイ表示」は、操作した制御操作子に対応する操作子画像Ｐ７を少なくとも含む一部領域の画像を含むだけでなく（図５参照）、操作された制御操作子が制御する制御対象に関する画像（図６の例ではゲイン制御波形画像Ｙ）を含んでいてもよい。すなわち、「ディスプレイ表示」は、「制御ウィンドウ」ＷＤにおける任意の複数の一部領域（勿論、少なくとも１つは操作した制御操作子に対応する操作子画像を含む一部領域であることは言うまでもない）を同時に表示することができてよい。その場合、操作した制御操作子に対応する操作子画像を含む一部領域以外については、「制御ウィンドウ」ＷＤの中から演奏者が適宜にその範囲を選択することができるようにするとよい。また、複数領域を同時に表示する際に、「ディスプレイ表示」として表示すべきこれら複数領域の画像データの合計サイズが電子音楽装置ＤＭに備え付けのディスプレイ７Ａの画面サイズを超えてしまう場合、あるいは演奏者が「ディスプレイ表示」を見やすくしたいような場合には、任意の１乃至複数の領域の画像データを自動又は手動でリサイズ（縮小あるいは拡大）してから表示するのがよい。

上述した図１に示したリモート制御システムにおいては、電子音楽装置ＤＭが外部機器Ｘを制御するのに関連した設定操作イベントの発生に応じて、外部機器Ｘに対して画像データ要求を１乃至複数回繰り返し行い、その都度外部機器Ｘから画像データを取得し、該取得した画像データに基づき「ディスプレイ表示」を行う例を示したが、外部機器Ｘからの前記画像データの取得は上記方法に限らない。そこで、外部機器Ｘからの画像データの取得方法が図１に示した例と異なる実施例について、図７及び図８、図９及び図１０をそれぞれ用いて説明する。

図７は、この発明に係る電子音楽装置を含んでなるリモート制御システムの全体構成の別の実施例を示すシステムブロック図である。電子音楽装置DMの演奏操作手段Ｂ，楽音処理手段Ａ，ミキシング手段Ｍと、外部機器Ｘの音楽ソフトウェアＯとで行われる楽音の発音に関する一連の処理については、図１に示した実施例と同じであることからここでの説明を省略する。

電子音楽装置ＤＭから外部機器Ｘをリモート制御するよう設定済みの場合、設定操作取得手段Ｃは、電子音楽装置ＤＭにおいて制御操作子が操作されると、制御操作子の操作に応じて発生された設定操作イベントを、画像データ通信ソフトウェアＩのみに送る。画像データ通信ソフトウェアＩは設定操作イベントを受信すると、ウィンドウシステムＷに対して設定操作イベントを送ると共に、画像データを１乃至複数回繰り返し要求する。要求する画像データは、表示中の「制御ウィンドウ」ＷＤ内に表示された操作子画像Ｐ１〜Ｐ８のうち、操作された制御操作子に対応する操作子画像Ｐ１〜Ｐ８を含む「制御ウィンドウ」ＷＤの一部領域に関するデータである。勿論、前回操作された制御操作子に対応する操作子画像Ｐ１〜Ｐ８を含む一部領域から、今回操作された制御操作子に対応する操作子画像Ｐ１〜Ｐ８を含む一部領域に至るまでの、「制御ウィンドウ」ＷＤにおける途中の領域の画像データを含んでいてよい。

ウィンドウシステムＷは設定操作イベントを受信した場合、該受信した設定操作イベントを音楽ソフトウェアＯに送る。音楽ソフトウェアＯは設定操作イベントを受信した場合にウィンドウシステムＷに対して「ウィンドウ情報」の更新指示を送り、ウィンドウシステムＷは前記「ウィンドウ情報」の更新指示の受信に応じて「制御ウィンドウ」の表示制御を行う。他方、ウィンドウシステムＷは画像データの要求を受信した場合、「制御ウィンドウ」ＷＤ全体をピクセルデータ化し生成した一部領域に対応する画像データを画像データ通信ソフトウェアＩに送る（図中、画像データ応答）。画像データ通信ソフトウェアＩは、受信した画像データを電子音楽装置ＤＭに対して返送する（図中、画像データ送信）。電子音楽装置ＤＭでは、外部機器Ｘから送信された前記画像データに基づき「ディスプレイ表示」を更新する。

図８は、図７に示したリモート制御システムを構成する電子音楽装置ＤＭ、外部機器Ｘの各々が実行する「表示制御処理」の一実施例を説明するためのフローチャートである。この実施例に示すステップＳ４１〜ステップＳ４４までの処理は、既に説明した図４のステップＳ３〜ステップＳ６の各処理に対応することから、説明を省略する。ステップＳ４４の処理において、発生した設定操作イベントに対応する音楽ソフトウェアＯの処理がある場合と判定した場合には（ステップＳ４４のｙｅｓ）、外部機器Ｘ上で動作中の対応する音楽ソフトウェアを特定して、表示制御すべき「制御ウィンドウ」と操作子画像とを特定する（ステップＳ４５）。ステップＳ４６は、制御指示を含む設定操作イベントに前記特定した表示制御すべき「制御ウィンドウ」と操作子画像とに関する情報を加えて、画像データ通信ソフトウェアＩに対して送る（図７の設定操作イベント）。

外部機器Ｘの画像データ通信ソフトウェアＩは、設定操作イベントを受け取ったか否かを判定する（ステップＳ５１）。設定操作イベントを受け取った場合には（ステップＳ５１のｙｅｓ）、設定操作イベントをウィンドウシステムＷに送る（ステップＳ５２）。ステップＳ５３は、前記設定操作イベントに加えられた表示制御すべき「制御ウィンドウ」と操作子画像とに関する情報に基づき、設定操作イベントに応じて表示が変更（更新）されたであろう操作子画像を含む「制御ウィンドウ」ＷＤ上の一部領域をディスプレイの絶対表示位置により求める（図５参照）。ステップＳ５４は、ウィンドウシステムＷに、上記求めた一部領域に相当する画像データを要求する（図７の画像データ要求）。ステップＳ５５は、一部領域に相当する画像データをウィンドウシステムＷから取得する（図７の画像データ応答）。ステップＳ５６は、該取得した画像データを電子音楽装置ＤＭに対して返送する（図７の画像データ送信）。電子音楽装置ＤＭは、外部機器Ｘから送られた画像データを受け取ると（ステップＳ４７）、該画像データをディスプレイに表示する（ステップＳ４８）。これにより、「ディスプレイ表示」が更新される。

図９は、この発明に係る電子音楽装置を含んでなるリモート制御システムの全体構成のさらに別の実施例を示すシステムブロック図である。電子音楽装置DMの演奏操作手段Ｂ，楽音処理手段Ａ，ミキシング手段Ｍと、外部機器Ｘの音楽ソフトウェアＯとで行われる楽音の発音に関する一連の処理については、図１に示した実施例と同じであることからここでの説明を省略する。

電子音楽装置ＤＭから外部機器Ｘをリモート制御するよう設定済みの場合、設定操作取得手段Ｃは、電子音楽装置ＤＭにおいて制御操作子が操作されると、制御操作子の操作に応じて発生された設定操作イベントを、音楽ソフトウェアＯのみに送る。音楽ソフトウェアＯは設定操作イベントを受信した場合、「ウィンドウ情報」の更新指示をウィンドウシステムＷに対して送る。ウィンドウシステムＷは前記「ウィンドウ情報」の更新指示を受信した場合、ディスプレイを制御して「制御ウィンドウ」ＷＤを適宜に更新する。画像データ通信ソフトウェアＩは音楽ソフトウェアの起動にあわせて、ウィンドウシステムＷにおける対応する「制御ウィンドウ」ＷＤの変更制御の監視を開始する（図９の音楽ソフトウェアのウィンドウの監視）。ウィンドウシステムＷが前記「ウィンドウ情報」の更新指示に従い「制御ウィンドウ」ＷＤを更新した場合、画像データ通信ソフトウェアＩは更新された「制御ウィンドウ」ＷＤのうち表示を変更した部分の画像データ、つまり操作された制御操作子に対応する操作子画像Ｐ１〜Ｐ８を含む「制御ウィンドウ」ＷＤの一部領域に関する画像データをウィンドウシステムＷから取得する（図９の画像データ取得）。この場合にも、前回操作された制御操作子に対応する操作子画像Ｐ１〜Ｐ８を含む一部領域から、今回操作された制御操作子に対応する操作子画像Ｐ１〜Ｐ８を含む一部領域に至るまでの、「制御ウィンドウ」ＷＤにおける途中の領域の画像データを取得してよい。そして、画像データ通信ソフトウェアＩは、取得した画像データを電子音楽装置ＤＭに対して返送する（図９の画像データ送信）。電子音楽装置ＤＭでは、外部機器Ｘから送信された前記画像データに基づき「ディスプレイ表示」を更新する。

図１０は、図９に示したリモート制御システムを構成する電子音楽装置ＤＭ、外部機器Ｘの各々が実行する「表示制御処理」の一実施例を説明するためのフローチャートである。電子音楽装置ＤＭは、まず起動が指定された音楽ソフトウェアＣに対応する「制御ウィンドウ」を特定する「制御ウィンドウ指定情報」を画像データ通信ソフトウェアＩに対して通知する。ステップＳ６２〜ステップＳ６６までの処理は、既に説明した図４のステップＳ３〜ステップＳ７の各処理に対応することから、説明を省略する。また、外部機器Ｘの音楽ソフトウェアＯによるステップＳ７１〜ステップＳ７３までの各処理は、図１に示したステップＳ２１〜ステップＳ２３までの各処理と同じであることから説明を省略する。ステップＳ６２において設定操作イベントが無いと判定した場合（ステップＳ６２のｎｏ）又はステップＳ６５において対応する音楽ソフトウェアＯの処理がないと判定した場合（ステップＳ６５のｎｏ）は、後続するステップＳ６７の処理へジャンプする。ステップＳ６７は外部機器Ｘから画像データを受け取ったか否かを判定し、画像データを受け取った場合には（ステップＳ６７のｙｅｓ）、画像データをディスプレイに表示する（ステップＳ６８）。これにより、「ディスプレイ表示」が更新される。

外部機器Ｘの画像データ通信ソフトウェアＩは、「制御ウィンドウ指定情報」の通知を受けて監視する「制御ウィンドウ」ＷＤを決定し、該「制御ウィンドウ」ＷＤに対する変更制御の監視を開始する（ステップＳ８１）。ステップＳ８２は、監視している「制御ウィンドウ」ＷＤの表示制御がウィンドウシステムＷによりなされたか否かを判定する。この「制御ウィンドウ」ＷＤの変更制御がなされたか否かの判定は、ウィンドウシステムＷから定期的に「制御ウィンドウ」ＷＤ全体の画像データを取得しておき、直前に取得した画像データを現時点で取得した画像データとを比較し、各画像データで異なる画像表示がなされている場合を「監視している「制御ウィンドウ」ＷＤの表示制御がなされた」と判定すればよい。あるいは、ウィンドウシステムＷから「ウィンドウ情報」の更新を受信したことを通知してもらい、該通知を受け取るたびに画像データ取得して、以前に「ウィンドウ情報」の更新を受信した際に取得した画像データと比較するようにしてもよい。監視している「制御ウィンドウ」ＷＤの表示制御がなされた場合には（ステップＳ８２のｙｅｓ）、設定操作イベントに応じて表示が変更（更新）された操作子画像を含む「制御ウィンドウ」ＷＤ上の一部領域に相当する画像データをウィンドウシステムＷから取得する（ステップＳ８３：図９の画像データ取得）。ステップＳ８４は、該取得した画像データを電子音楽装置ＤＭに対して返送する（図９の画像データ送信）。

以上のように、電子音楽装置ＤＭに接続された外部機器Ｘをリモート制御する場合に、電子音楽装置ＤＭからリモート制御用に割り当てられた制御操作子の操作に応じて、外部機器Ｘに表示された「制御ウィンドウ」のうち操作された制御操作子に対応する操作子画像を含む一部領域のみを画像データ化し、これに基づき「ディスプレイ表示」を表示するようにした。これにより、電子音楽装置ＤＭに多数の操作子画像や画像組み込みプログラムを予め記憶させておかなくても、制御操作子の操作に応じて外部機器に表示された「制御ウィンドウ」と同じ表示を行うことが簡単にできるようになる。また、「制御ウィンドウ」のうち操作された制御操作子に対応する画像を少なくとも含む一部領域のみを表示するようにしたことから、電子音楽装置ＤＭに備え付けられているでディスプレイが小型であって表示性能が低いものであっても、演奏者は視認が容易にできる。

なお、外部機器Ｘは、電子音楽装置ＤＭに対して送信する一部領域の画像データを適宜データ圧縮してから送信してよい。
なお、電子音楽装置ＤＭが複数の外部機器Ｘをリモート制御する場合には、制御操作子の操作に応じて画像データの取得先を適宜に変更することは言うまでもない。また、１つの外部機器Ｘから複数領域の画像データを取得して１つの「ディスプレイ表示」を表示することに限らず、複数の外部機器Ｘからそれぞれ取得した画像データに基づき、複数領域からなる１つの「ディスプレイ表示」を表示するようにしてもよい。

なお、外部機器Ｘから取得する画像データのサイズ（一部領域の大きさや縦横比など）を、操作された制御操作子の種類（設定操作イベントの内容）に応じて変えることができるようにしてもよい。また、外部機器Ｘから取得する画像データは「制御ウィンドウ」の一部領域に限らず、「制御ウィンドウ」の全体領域であってもよい。
なお、電子音楽装置ＤＭから例えばタブキーやカーソルキーなどの操作に応じて発生するキーイベントを外部機器Ｘに対して送ることで、該操作に応じて電子音楽装置ＤＭの「ディスプレイ表示」の操作子画像を変更するよう制御するようにしてもよい。
なお、外部機器Ｘ，電子音楽装置ＤＭが具備するディスプレイ７Ａはタッチパネル式であってよい。

この発明に係る電子音楽装置を含んでなるリモート制御システムの全体構成の一実施例を示すシステムブロック図である。 制御ウィンドウの一実施例を示す概念図である。 この発明に係る電子音楽装置の全体構成の一実施例を示したハード構成ブロック図である。 図１に示したリモート制御システムを構成する電子音楽装置、外部機器の各々が実行する「表示制御処理」の一実施例を説明するためのフローチャートである。 ディスプレイ表示の一実施例を示す概念図である。 ディスプレイ表示の別の実施例を示す概念図である。 この発明に係る電子音楽装置を含んでなるリモート制御システムの全体構成の別の実施例を示すシステムブロック図である。 図７に示したリモート制御システムを構成する電子音楽装置、外部機器の各々が実行する「表示制御処理」の一実施例を説明するためのフローチャートである。 この発明に係る電子音楽装置を含んでなるリモート制御システムの全体構成のさらに別の実施例を示すシステムブロック図である。 図９に示したリモート制御システムを構成する電子音楽装置、外部機器の各々が実行する「表示制御処理」の一実施例を説明するためのフローチャートである。

符号の説明

１…ＣＰＵ、２…ＲＯＭ、３…ＲＡＭ、４…外部記憶装置、５，６…検出回路、５Ａ…演奏操作子、６Ａ…設定操作子（制御操作子）、７…表示回路、７Ａ…ディスプレイ、８…音源回路、９…効果回路、１０…ミキシング回路、１０Ａ…サウンドシステム、１１…MIDIインタフェース、１２…LAN通信インタフェース、１３…WAN通信インタフェース、１３Ａ…サーバコンピュータ、１Ｄ…通信バス、ＤＭ…電子音楽装置、Ｘ…外部機器、Ｚ…インターネット、Ａ…楽音処理手段、Ｂ…演奏操作取得手段、Ｃ…設定操作取得手段、Ｄ…画像データ表示手段、Ｇ…画像データ取得手段、Ｍ…ミキシング手段、Ｉ…画像データ通信ソフトウェア、Ｏ…音楽ソフトウェア、Ｗ…ＯＳのウィンドウシステム、ＷＤ…制御ウィンドウ、Ｐ１〜Ｐ８…操作子画像、Ｙ…ゲイン制御波形画像

Claims (6)

1. リモート制御した外部機器から取得する楽音情報に従って楽音制御を行う電子音楽装置であって、
   表示器と、
   複数の操作子画像を含んでなる画面を表示する外部機器を接続する接続手段と、
   前記接続した外部機器をリモート制御する複数の操作子と、
   前記複数の操作子のうち、操作された操作子に応じた操作イベントを送出するイベント送出手段と、
   前記操作子からの制御指示に応じて、前記外部機器が前記操作イベントに基づいて実行する機能に関連して連動表示した操作子画像を含む前記画面の一部領域についての画像データを前記外部機器から取得する取得手段と、
   前記取得した画像データに基づいて、前記操作子の操作に応じて前記外部機器で連動表示される前記画面の一部領域を前記表示器に表示する表示制御手段と
   を具える電子音楽装置。
2. 前記取得手段は、前記操作子の操作に応じて前記外部機器で連動表示される前記画面の一部領域を求め、該求めた一部領域についての画像データを前記外部機器に対して要求し、該画像データの要求に応じて前記外部機器が生成する前記画面の一部領域についての画像データを取得することを特徴とする請求項１に記載の電子音楽装置。
3. 前記取得手段は、前記操作子の操作に応じて前記外部機器が連動表示する操作子画像に関する情報を前記操作イベントと共に前記外部機器に対して送信し、前記操作子画像に関する情報の受信に応じて前記外部機器が生成する前記画面の一部領域についての画像データを取得することを特徴とする請求項１に記載の電子音楽装置。
4. 前記取得手段は、前記外部機器において今回操作された操作子に対応する操作子画像と前回操作された操作子に対応する操作子画像とが同じ画面上に表示されている場合、前回操作された操作子に対応する操作子画像から今回操作された操作子に対応する操作子画像に至るまでの所定の経路に従った途中の一部領域の画像データを１乃至複数取得することを特徴とする請求項１乃至３のいずれかに記載の電子音楽装置。
5. コンピュータに、
   複数の操作子画像を含んでなる画面を表示する外部機器を接続する手順と、
   前記接続した外部機器をリモート制御する複数の操作子のうち、操作された操作子に応じた操作イベントを送出する手順と、
   前記操作子からの制御指示に応じて、前記外部機器が前記操作イベントに基づいて実行する機能に関連して連動表示した操作子画像を含む前記画面の一部領域についての画像データを前記外部機器から取得する手順と、
   前記取得した画像データに基づいて、前記操作子の操作に応じて前記外部機器で連動表示される前記画面の一部領域を所定の表示器に表示する手順と
   を実行させるためのプログラム。
6. リモート制御した外部機器から取得する楽音情報に従って楽音制御を行う電子音楽装置であって、表示器と、複数の操作子画像を含んでなる画面を表示する外部機器を接続する接続手段と、前記接続した外部機器をリモート制御する複数の操作子と、前記複数の操作子のうち、操作された操作子に応じた操作イベントを送出するイベント送出手段と、前記操作子からの制御指示に応じて、前記外部機器が前記操作イベントに基づいて実行する機能に関連して連動表示した操作子画像を含む前記画面の一部領域についての画像データを前記外部機器から取得する取得手段と、前記取得した画像データに基づいて、前記操作子の操作に応じて前記外部機器で連動表示される前記画面の一部領域を前記表示器に表示する表示制御手段とを含む電子音楽装置と、
   前記電子音楽装置と接続された外部機器であって、前記操作イベントの受信に応じて複数の操作子画像を含んでなる画面の表示変更の有無を監視する監視手段と、前記画面に表示変更があった場合に前記受信した操作イベントに基づいて実行する機能に関連して連動表示した操作子画像を少なくとも含む前記画面の一部領域の画像データを生成する画像データ生成手段と、該生成した画像データを前記電子音楽装置に対して送信する送信手段とを含む外部機器と
   からなるリモート表示制御システム。

Images