JP5825056B2 - 電子楽器 - Google Patents

Description

この発明は、ユーザによる画面へのタッチ操作に応じて該タッチ位置に表示されている仮想操作子に即した所定の機能を実行する、所謂タッチパネル式の表示器を有する電子楽器に関する。特に、ユーザが画面を目視する必要なくまた実際に画面に触れなくとも、画面上の任意の位置に表示される仮想操作子に対応した所定機能を選択的に実行可能とする技術に関する。

最近の電子楽器は、設定操作子や演奏操作子などの多数の操作子を実際に備えているだけでなく、予め備え付けられた液晶（LCD）画面上に仮想的（疑似的）に操作子を表示しておき、これをユーザにタッチ操作させることで、実在する操作子と同様にして所定の機能を実行させることができるようになっている（所謂タッチパネル式表示器を有する電子楽器）。すなわち、ユーザは画面上に表示されている前記仮想操作子（又は擬似操作子とも呼ぶ）を実際に画面に触れて操作することにより、実在する設定操作子や演奏操作子などの物理的操作子と同様に、前記仮想操作子毎に予め割り当てされている、例えば各種制御のオン／オフ指示、各種パラメータの設定指示、あるいは楽音の発生指示などの各種機能を実行することができる。こうした電子楽器においては、実在する物理的操作子及び仮想操作子のそれぞれに対し、その近傍あるいは操作子自体に表示項目として、予め割り当てられている機能名や設定可能なパラメータに関する目盛りなどが印刷表示あるいは画面表示されている。ユーザはこれらの表示項目を目視することで、割り当て済みの機能や現在設定されているパラメータ値などを把握しながら、任意の操作子を操作することができる。

ところで、電子楽器のユーザは健常者に限られず、電子楽器のユーザには視覚障害者も含まれる。しかし、上述した仮想操作子の画面表示は言うなればユーザの視覚に頼るものであって、ユーザは必ずそれらを目視しなければ、それぞれに予め割り当てられている機能や設定状態などを把握しながら、それらの仮想操作子を操作することができない。

そこで、視覚障害者などのユーザがタッチパネル式表示器（以下、単にタッチパネルとも呼ぶ）上の表示を目視しなくとも、タッチパネルに表示されている仮想操作子を操作できるようにするために、音声ガイドによってタッチパネルに表示中の画面のナビゲーションを行うことが考えられる。確かに、音声ガイドはユーザの聴覚に頼るものであって、直接的にはユーザの視覚に頼るものではないが、従来においてはユーザが音声ガイドさせたい対象の仮想操作子を適宜に押下して指示する必要があり、その際にはユーザが必ず音声ガイド対象とする仮想操作子を目で見て確認しなければならない。しかも、タッチパネルの場合には画面レイアウトが適宜に更新され、仮想操作子の種類は勿論のこと仮想操作子を表示する表示位置自体も変わり得るので、特に視覚障害者にとって画面上に表示された所望の仮想操作子を間違いなく確実に触れるのはより難しいこととなる。

上記問題を解決するために従来提示されている装置としては、例えば以下に示すような特許文献１又は特許文献２に記載の装置などが挙げられる。特許文献１に記載の装置は、押すと撓む素材でできておりまたその表面には多数の突起または凹み等が縦横に配列されてなるシート状部材をタッチパネル上に配置することにより、視覚障害者がそのシート状部材の触感に基づいてタッチパネル上のどの位置を触っているのかを把握することのできるようにしたものである。他方、特許文献２に記載の装置は、視覚障害者の指にセンサを装着させておき、視覚障害者がタッチパネル上に前記センサを装着した指をかざすと、この指をかざした位置に対応する音声ガイドが行われて、視覚障害者がタッチパネル上のどの位置にどのような機能を持つ仮想操作子が配置されているのかを把握することのできるようにしたものである。

特開2006-259409号公報 特開2007-249356号公報

上述した従来の装置では、視覚障害者などのユーザであっても、タッチパネル上の任意の位置に配置され得る仮想操作子を確実に操作することのできるようにするために、前もってタッチパネル上にシート状部材を配置したりあるいは視覚障害者の指にセンサを装着したりする必要がある。しかし、これらシート状部材や指に装着するセンサは、言うなれば視覚障害者のために別途に用意しなければならない専用装置であり、表面上の凹凸パターンは固定であるが故にタッチパネル上に表示する画面レイアウトが制約されること言い換えれば異なる画面レイアウト毎に凹凸パターンが異なるシート状部材を用意しなければならずに、該シート状部材の製造にコストがかかることを考慮すると都合が悪い。また、シート状部材や指に装着するセンサは健常者には全く必要のない装置であり、健常者が利用するような場合には以下に示すような弊害が生じ得る。例えば、凹凸のあるシート状部材をタッチパネル上に配置すると、健常者にとってはそのシート状部材を介してタッチパネルを見なければならないので反対に画面が見づらくなってしまうこと、表面に凹凸がある故に場所によってタッチ感度が変わり得ること、といった弊害が生じ得る。他方、指にセンサを装着する装置の場合には、例えば演奏操作子などの仮想操作子でない他の操作子（物理的操作子）を操作する際にセンサが邪魔となり、それらの操作子の操作性が著しく低下するなどの弊害が生じ得る。

本発明は上述の点に鑑みてなされたもので、ユーザはタッチパネル上に表示されている画面を目視する必要がなくまた実際に画面に触れなくても、画面上の任意の位置を指定して所望の機能を実行することを専用の装置を用いることなしにできるようにした、タッチパネル式表示器を有する電子楽器を提供しようとするものである。

本発明に係る電子楽器は、ユーザ操作に応じて楽音の生成を指示する演奏操作子と、タッチパネル式の表示器であって、予め任意の機能を割り当て済みの仮想操作子を含んでなる画面を表示するものと、前記演奏操作子に対し、前記表示器に表示した画面上の座標位置を割り当てる座標割り当て手段と、前記演奏操作子のユーザ操作に従って該操作された演奏操作子に割り当て済みの前記画面上の座標位置を選択し、該選択された座標位置に表示されている前記仮想操作子を特定する特定手段と、前記特定した仮想操作子に割り当てられた機能の実行を指示する指示手段とを備える。

本発明によると、タッチパネル式の表示器に表示された予め任意の機能を割り当て済みの仮想操作子を含んでなる画面上の座標位置を、ユーザ操作に応じて楽音の生成を指示する演奏操作子に対して割り当てる。該画面上の座標位置が割り当てられた演奏操作子がユーザにより操作された場合には、該操作された演奏操作子に割り当て済みの前記画面上の座標位置に表示されている仮想操作子が特定される。すなわち、ユーザは配置位置の決まっている演奏操作子を操作するだけで、タッチパネル式の表示器に表示された画面に含まれている仮想操作を任意に選択することができることから、ユーザは画面を目視する必要なくまた実際に画面に触れなくとも、画面上の任意の位置に表示される仮想操作子に対応した所定機能を選択的に実行可能とすることのできるようになる。このように、ユーザは演奏操作子を操作するだけでよいので、視覚障害者だけでなく健常者にとってもシート状部材や指装着センサを使用する場合に比較して違和感なく操作することができる。また、従来必要であった専用のシート状部材や指装着センサなどをわざわざ用意しなくともよいのでコストがかからない。

この発明によれば、演奏操作子にタッチパネル式の表示器に表示された予め任意の機能を割り当て済みの仮想操作子を含んでなる画面上の座標位置を割り当てておき、該演奏操作子の操作に応じて前記割り当て済みの画面上の座標位置に表示されている仮想操作子を特定するようにしたことから、ユーザは画面を見なくてもまた画面に触らなくても予め配置位置が決まっている演奏操作子を操作するだけで、画面上の任意の位置に表示される仮想操作子に対応した所定機能を選択的に実行可能とすることが簡単にできるようになる、という効果が得られる。

本発明に係る電子楽器の全体構成の一実施例を示すハード構成ブロック図である。 本体パネル構成の一実施例を示す概念図である。 表示器に表示される画面の一例を示す概念図である。 座標割り当てテーブルのデータ構成の一実施例を示す概念図である。 パネル操作処理の一実施例を示すフローチャートである。 画面ガイド処理の一実施例を示すフローチャートである。 押鍵操作処理の一実施例を示すフローチャートである。

以下、この発明の実施の形態を添付図面に従って詳細に説明する。

図１は、この発明に係る電子楽器の全体構成を示したハード構成ブロック図である。ただし、この実施例では電子楽器として、演奏操作子に鍵盤を具えた電子鍵盤楽器を例に説明する。本実施例に示す電子楽器（電子鍵盤楽器）は、マイクロプロセッサユニット（ＣＰＵ）１、リードオンリメモリ（ＲＯＭ）２、ランダムアクセスメモリ（ＲＡＭ）３からなるマイクロコンピュータによって制御される。ＣＰＵ１は、この電子楽器全体の動作を制御するものである。このＣＰＵ１に対して、データ及びアドレスバス１Ｄを介してＲＯＭ２、ＲＡＭ３、検出回路４，５、検知回路６、表示回路７、ＬＥＤ８、音源・効果回路９、記憶装置１０、通信インタフェース（I/F）１１がそれぞれ接続されている。

ＲＯＭ２は、ＣＰＵ１により実行される各種制御プログラム、後述する座標割り当てテーブル（図４参照）などの各種データを格納するものである。ＲＡＭ３は、ＣＰＵ１が所定のプログラムを実行する際に発生する各種データを一時的に記憶するワーキングメモリとして、あるいは現在実行中のプログラムやそれに関連するデータを記憶するメモリ等として使用される。ＲＡＭ３の所定のアドレス領域がそれぞれの機能に割り当てられ、レジスタやフラグ、テーブル、メモリなどとして利用される。

演奏操作子４Ａは、楽音の音高を選択するための複数の鍵を備えた例えば鍵盤等のようなものであり、各鍵に対応してキースイッチを有しており、この演奏操作子４Ａ（鍵盤等）はユーザ自身の手弾きによるマニュアル演奏のために使用することは勿論のこと、例えば自動伴奏としてユーザが再生したい任意の曲の楽曲データを選択するなどのためにも使用することができる。検出回路４は、演奏操作子４Ａの各鍵の押圧及び離鍵を検出することによって検出出力を生じる。また、演奏操作子４Ａとしては上記した鍵盤の他にも、楽音の音量や音色を変化させたりあるいは任意の楽音だけを長く引き延ばしたりするなどの効果付与を指示する１乃至複数のペダルも含まれる。

さらに、詳しくは後述するが、本実施形態においては、これら鍵盤やペダル等の演奏操作子４Ａが操作されることに応じて、後述するタッチパネル式表示器ＴＰの画面上に表示されているカーソルを当該画面上の任意の所定位置に移動すると共に、その移動先に表示されている例えばメニュー選択やパラメータ値の設定などの仮想操作子に対応した所定機能を実行することのできるようにしている。本明細書では、こうした演奏操作子４Ａの操作に応じて表示器ＴＰの画面上に表示されているカーソルの移動及びそれに伴う移動先の仮想操作子に対応した各種機能を実行する制御を行うことのできる機能をキーボードマウス機能と呼び、このキーボードマウス機能がオンのときに演奏操作子４Ａの操作に応じて通常の楽音発生や効果付与などの制御を行う場合を演奏モード、演奏操作子４Ａの操作に応じて楽音は発生せず表示器ＴＰ上のカーソルなどを制御する場合を画面操作モードと呼ぶ。

設定操作子（スイッチ等）５Ａは本体パネル上に配置された物理的操作子であって、例えば当該装置のキーボードマウス機能をオンオフしたり画面操作モードにおけるガイド方法を指定したりする画面ガイドボタン、楽音制御のためのパラメータ値を変更する例えばダイアル式やスライダー式のデータ入力操作子、画面上の仮想操作子に対応した機能の実行を確定する入力ボタン、少なくともキーボードマウス機能又は演奏機能に関連したさまざまな設定を行う設定ボタンなどの各種の操作子を含んで構成される。勿論、設定操作子５Ａは上記した以外にも音高、音色、効果等を選択・設定・制御するための数値データ入力用のテンキーや文字データ入力用のキーボード、あるいは表示器ＴＰに表示されたカーソルなどを操作するマウス等の各種操作子を含んでいてもよい。検出回路５は、上記設定操作子５Ａの操作状態を検出し、その操作状態に応じたスイッチ情報等をデータ及びアドレスバス１Ｄを介してＣＰＵ１に出力する。

表示器ＴＰは、例えば液晶表示パネル（ＬＣＤ）で構成されたタッチパネル式のディスプレイである。検知回路６は、ユーザによる前記表示器ＴＰへのタッチ操作を検知（認識）することに応じて、該タッチ操作された前記表示器ＴＰ上の座標位置（ｘｙ座標）を特定する検知信号を生成し、これをデータ及びアドレスバス１Ｄを介してＣＰＵ１に出力する。表示回路７は、例えば後述するようなメニュー画面やパラメータ設定画面（図３参照）等といった、１乃至複数の仮想操作子を有する各種画面を表示器ＴＰに表示する制御を行うのは勿論のこと、ＲＯＭ２や記憶装置１０等に記憶される制御プログラムや各種情報あるいはＣＰＵ１の制御状態などを表示する制御を行うこともできる。なお、前記表示器ＴＰのタッチ操作検知方式（つまりは検知回路６）は公知のどのようなものであってもよく、例えば静電容量型、抵抗膜型、光センサ内蔵型などどのようなタイプのものであってもよい。

ＬＥＤ８は鍵盤（４Ａ）の各鍵毎にその内部又は近傍に設けられており、ユーザに対してユーザが所望の機能を実行するのに操作する必要のある鍵を提示するために点灯／消灯制御される所謂ガイドランプ（発光手段に相当する）である。本実施形態では、特にキーボードマウス機能がオンに設定されている場合において、画面上に表示されている仮想操作子に対応した機能を実行するためにユーザが操作する必要のある鍵を、音声ガイドと併用してＬＥＤ８の点灯によっても提示するようにしている。また、ＬＥＤ８は、個々の設定操作子５Ａの内部又は近傍にも設けられており、ユーザに対して各設定操作子５Ａのオンオフ状態を提示するために点灯／消灯制御される。

音源・効果回路９は複数のチャンネルで楽音信号の同時発生が可能であり、データ及びアドレスバス１Ｄを経由して与えられる演奏情報（例えばＭＩＤＩデータなど）の入力に応じて、該演奏情報に基づき楽音信号を発生する。また、発生した楽音信号に対して効果を付与することもできる。この音源・効果回路９から発生された楽音信号は、アンプやスピーカなどを含むサウンドシステム９Ａから発音される。この音源・効果回路９とサウンドシステム９Ａの構成には、従来のいかなる構成を用いてもよい。例えば、音源・効果回路９はFM、PCM、物理モデル、フォルマント合成等の各種楽音合成方式のいずれを採用してもよく、ＣＰＵ１によるソフトウェア処理で構成してもよいし、また専用のハードウェアで構成してもよい。

記憶装置１０は、ＣＰＵ１が実行する各種制御プログラム、後述する座標割り当てテーブル（図４参照）あるいは楽音制御のためのパラメータ値などの各種データを記憶する。なお、上述したＲＯＭ２に制御プログラムが記憶されていない場合、この記憶装置１０（例えばハードディスク）に制御プログラムを記憶させておき、それをＲＡＭ３に読み込むことにより、ＲＯＭ２に制御プログラムを記憶している場合と同様の動作をＣＰＵ１に実行させることができる。このようにすると、制御プログラムの追加やバージョンアップ等が容易に行える。なお、記憶装置１０はハードディスク（HD）に限られず、フレキシブルディスク（FD）、コンパクトディスク（CD‐ROM・CD‐RAM）、光磁気ディスク（MO）、あるいはDVD（Digital Versatile Disk）等の様々な形態の可搬記憶媒体を利用した記憶装置であってもよい。あるいは、フラッシュメモリなどの半導体メモリであってもよい。

通信インタフェース（Ｉ／Ｆ）１１は、当該装置と図示しない外部機器との間で制御プログラムや各種データなどの各種情報を送受信するためのインタフェースである。この通信インタフェース１１は、例えばMIDIインタフェース，ＬＡＮ，インターネット，電話回線等であってよく、また有線あるいは無線のものいずれかでなく双方を具えていてよい。

なお、演奏操作子４Ａは鍵盤楽器の形態に限らず、弦楽器や管楽器あるいは打楽器等どのようなタイプの形態でもよい。また、演奏操作子４Ａや表示器ＴＰあるいは音源・効果回路９などを１つの装置本体に内蔵したものに限らず、それぞれが別々に構成され、MIDIインタフェースや各種ネットワーク等の通信手段を用いて各装置を接続するように構成されたものであってもよいことは言うまでもない。
なお、本発明は電子楽器に限らず、パーソナルコンピュータ、ＰＤＡ（携帯情報端末）や携帯電話等の携帯通信端末、あるいはゲーム装置など、タッチパネル式の表示器を有してなり、また何らかの操作子の操作に応じて楽音を発生することのできるものであればどのような形態の装置・機器であってもよい。携帯通信端末の場合には、端末のみで所定の機能が完結している場合に限らず、機能の一部をサーバ側に持たせ、端末とサーバとからなるシステム全体として所定の機能を実現するようにしてもよい。

本実施形態においては、キーボードマウス機能がオンに設定されている場合に、ユーザが画面を目視する必要がなくまた実際に画面に触れなくとも、画面上の任意の位置に表示される仮想操作子に対応した所定機能を選択的に実行できるようにするために、表示中の画面において選択可能な機能を仮想操作子毎に音声ガイドによって提示する、また画面に表示中の各仮想操作子に対応付けられている演奏操作子４Ａ（ここでは鍵）を音声ガイド及びＬＥＤ８の点灯によって提示するようにしている。そこで、こうしたキーボードマウス機能について説明する。図２は、本体パネル構成の一実施例を示す概念図である。図３は、表示器ＴＰに表示される画面の一例を示す概念図である。図４は、座標割り当てテーブルのデータ構成の一実施例を示す概念図である。

図２に示すように、表示器ＴＰの外周には、ユーザが手で触ることによりＸ座標及びＹ座標の異なる２つの座標軸位置からなる画面上の座標位置を知ることのできるようにするために、目安となる凹部または凸部がＸ軸方向（水平方向）及びＹ軸方向（垂直方向）にそれぞれ所定間隔に形成されてなる目盛りＭＸ，ＭＹが設けられる。また、この表示器ＴＰの近傍には、データ入力操作子５１、設定ボタン５２、入力ボタン５３、画面ガイドボタン５４などの設定操作子５Ａが配設されている。これら個々の設定操作子５Ａの表面上には、視覚障害者が互いの操作子を手で触って区別することのできるように、例えば配列の異なる１乃至複数個の凹部または凸部などが形成されている。勿論、本体パネル上に配置されたこれら設定操作子５Ａの位置やそれらの使用方法などを音声で案内できるようになっていてよい。

ユーザはＸ軸座標位置目盛りＭＸ，Ｙ軸座標位置目盛りＭＹに触れることにより、表示器ＴＰに表示されている画面上のだいたいの座標位置を把握することができる。そのため、ユーザが現時点で表示器ＴＰに表示されている画面のレイアウトを覚えていれば、把握した座標位置から画面上に表示されているうちの所望の仮想操作子をタッチ操作することができ、ユーザはタッチ操作に応じてタッチした仮想操作子に対応した機能を選択的に実行することができる。しかし、例えば図３の各図に示すように、表示器ＴＰに表示される画面は１つだけでなく多数あり、それら各画面のレイアウトはそれぞれ異なり得る。そうであるならば、ユーザはこれら各画面のレイアウトをすべて覚えなければならないが面倒であるし現実的でもない。そこで、本実施形態に示す電子楽器では、画面のレイアウトが変わっても、ユーザがキーボードマウス機能を利用すれば、そのときに画面に表示されていた仮想操作子の中から所望の仮想操作子を選択して、該選択した仮想操作子に対応した機能を実行することを簡単にできるようにしている。

ユーザは、表面上に設けられた凹部または凸部の配列に基づいて演奏操作子５Ａの中から画面ガイドボタン５４を選択して操作することができる。本電子楽器では、例えばユーザにより画面ガイドボタン５４が長押し操作されるとキーボードマウス機能をオンに設定する。また、キーボードマウス機能をオンに設定することに伴い、画面ガイドボタン５４の近傍に設けられたＬＥＤ８を点灯する。一方、キーボードマウス機能がオン設定状態であるときにユーザにより画面ガイドボタン５４が長押し操作された場合には、キーボードマウス機能をオフに設定する。また、キーボードマウス機能をオフに設定することに伴い、画面ガイドボタン５４の近傍に設けられたＬＥＤ８を消灯する。このようにして、本電子楽器におけるキーボードマウス機能のオン／オフ設定はなされる。

キーボードマウス機能がオン状態であるときに、ユーザにより画面ガイドボタン５４が押された場合（ただし上記した長押し操作及び後述するダブルタッチ操作を除く）、電子楽器はそのときに表示器ＴＰに表示されていた画面の仮想操作子全てを音声で読み上げることによって、ユーザに対して当該画面で実行可能な機能を案内する音声ガイドを行う（画面ガイドと呼ぶ）。例えば、図３（Ａ）に示すようなメニュー画面が表示器ＴＰに表示中であるような場合には、該メニュー画面の仮想操作子である「チューニング」、「ソング設定」、「スタイル設定」、「ペダル設定」、「マイク設定」、「デジタルレコーディング」の各機能名を適宜の順に音声で読み上げる。図３（Ｂ）に示すようなパラメータ設定画面が表示器ＴＰに表示中であるような場合には、該パラメータ設定画面の仮想操作子である「ボリューム」、「パン」、「リバーブデプス」、「エフェクトオンオフ」、「エフェクトデプス」といった各機能名を適宜の順に音声で読み上げる。

また、電子楽器はこうした当該画面で実行可能な機能（仮想操作子）を案内する音声ガイドにあわせて、画面の各仮想操作子に対応付けられている所定の鍵を音声で読み上げることによって、当該画面に表示されている仮想操作子に対応した機能を選択的に実行するのにユーザが操作する必要のある鍵を案内する。このユーザが所望の機能を実行するために操作する必要のある鍵（鍵情報）の案内は、各鍵が操作されたときに発生するノート名を読み上げてもよいし、当該ノートの楽音を実際に発音させてもよい。さらに、電子楽器はこのときに案内される鍵の近傍に設けられたＬＥＤ８（ガイドランプ）を点灯してユーザが操作する必要のある鍵をユーザに対し提示する。なお、この画面の各仮想操作子の全てを音声で読み上げる音声ガイドによるユーザへの画面案内及び鍵の音声ガイド並びにＬＥＤ８の点灯によるユーザへの鍵案内は、ユーザによる設定操作子５Ａの操作や画面へのタッチ操作などが行われて表示器ＴＰに表示中されていた画面が別の画面へと遷移されたとき、ユーザにより画面ガイドボタン５４が押されなくとも画面遷移後に自動的に行われるようにもなっている。なお、上記した「機能名」や「鍵情報」の音声による読み上げは、予めＲＯＭ２等に各機能名毎あるいは鍵情報毎に用意されている対応する音声データを読み出す方法でも、適宜に合成音声を生成する方法でもどちらであってもよい。

上記したような画面の仮想操作子全てを音声で読み上げる音声ガイドは、予めＲＯＭ２等に画面毎に記憶されている「操作対象領域への座標割り当てテーブル」に基づき行われる。図４（Ａ）は図３（Ａ）に示したメニュー画面の音声ガイドを行うための「操作対象領域への座標割り当てテーブル」を一例として示したものであるが、図４（Ａ）に示すように、この「操作対象領域への座標割り当てテーブル」は、画面上に所定の表示態様（詳しくはボタンやスライダーなどの仮想操作子）で表示されているユーザタッチ操作可能な仮想操作子（図中では機能名）のそれぞれについて、音声案内（また後述するカーソル移動）を行うための代表的な座標位置（図中では代表座標）が１つ設定されている。例えば、図３（Ａ）に示すメニュー画面の仮想操作子「チューニング」が表示されている表示領域に含まれる座標は、ｘ座標が１〜３のいずれかでありかつｙ座標が４である座標の組み合わせつまり(1,4),(2,4),(3,4)の３点であるが、そのうちのいずれか１点が上記音声案内を行うための代表座標として定義されていればよい。ここでは、代表座標に各表示領域において右端の座標位置を設定した例を示したがこれに限らず、各表示領域の中央や左端の座標位置を設定してもよい。

音声ガイドによるユーザへの画面案内時には、「操作対象領域への座標割り当てテーブル」のＮｏ順に従って機能名の音声ガイドがなされると共に、前記代表座標位置に予め対応付けられている鍵が音声ガイド並びにガイドランプ（ＬＥＤ８）の点灯制御がなされる。この鍵の音声ガイド並びにガイドランプ（ＬＥＤ８）の点灯制御を行う対象となる鍵は、「操作対象領域への座標割り当てテーブル」の代表座標に対応した座標位置が定義されている「鍵盤への座標割り当てテーブル」に基づき決定される。図４（Ｂ）及び図４（Ｃ）は、「鍵盤への座標割り当てテーブル」の一例を示すものである。

鍵盤を構成する各鍵については予め座標位置が割り当てられており、その関係は「鍵盤への座標割り当てテーブル」としてＲＯＭ２等に画面毎に記憶されている。図４（Ｂ）に示す例は、所定のノート（鍵を特定する鍵情報であると言え、図中ではキーと表記）を割り当て済みの１つの鍵毎にＸ軸座標位置及びＹ軸座標位置の組み合わせからなる1つの座標位置（図中では（ｘ,ｙ）と表記）を割り当てた例である。例えば、ノート「Ｃ２」の楽音を発生する鍵に対しては座標位置（1,1）が割り当てられ、ノート「Ｅ２」の楽音を発生する鍵に対しては座標位置（1,5）が割り当てられている。

ここで、図３（Ａ）に示すメニュー画面のように座標の間隔を比較的に大きくとった場合には、画面レイアウトの自由度が制限されやすい。すなわち、例えば図３（Ｂ）に示すようなパラメータ設定画面を画面に表示するには座標の間隔をより狭くとる必要があり、こうした画面レイアウトを実現できない可能性がある。したがって、表示する画面レイアウトの細かさに応じて、例えば図３（Ｂ)に示すように適切な間隔に座標を設定するとよい。ただし、その場合には、上記したようにして１つの鍵毎にＸ軸座標位置及びＹ軸座標位置の組み合わせからなる1つの座標位置を割り当てることはできず、従って図４（Ｂ）に示した「鍵盤への座標割り当てテーブル」を図３（Ｂ）に示したパラメータ設定画面における鍵案内に適用することができない。なぜなら、この場合に図３（Ｂ）に示したパラメータ設定画面における座標位置を指定するには、「１５」に区分されたＸ軸座標位置と「１０」に区分されたＹ軸座標位置の組み合わせで決まる１５０個（15×10）の座標位置に対応するだけの鍵が必要とされて、鍵盤数（８８鍵）よりも座標位置が多くなるからである。

そこで、図３（Ｂ）に示したパラメータ設定画面における座標位置を指定することのできる「鍵盤への座標割り当てテーブル」としては、図４（Ｃ）に示すように、白鍵に「１５」に区分されたＸ軸座標位置（図中ではＸ座標）を割り当てる一方で、黒鍵に「１０」に区分されたＹ軸座標位置（図中ではＹ座標）をそれぞれ割り当てるようにすればよい。こうした場合には、全部で２５鍵（15+10）のみで１５０個（15×10）の座標位置の全てを網羅することができる。勿論、図３（Ａ）に示したメニュー画面のように座標の間隔を大きくとった場合に適用してもよいことは言うまでもない。このように、白鍵と黒鍵のそれぞれにＸ軸座標位置とＹ軸座標位置とを割り当てると、鍵の操作範囲を狭くすることができてユーザは片手などで２つの鍵を同時に押す操作を比較的簡単に行うことができる。

なお、図３（Ａ）に示したメニュー画面のように座標の間隔を大きくとった場合ならば、全部で１２鍵のみで３５個（7×5）の座標位置の全てを網羅することができるので、オクターブ違いの楽音を発生するそれぞれ鍵域に含まれる相対的に同じ位置に配置されている各鍵に対して同じ座標位置を割り当てしてもよい（例えば、各鍵域においてオクターブ違いのノート「Ｃ」の楽音を発生する鍵全てについて同じＸ座標位置「１」を割り当てるといったように、オクターブ違いであってもノートが同一であれば同じ座標位置を割り当てる）。あるいは、低いオクターブの鍵域に含まれる各鍵に対してＸ座標位置を、高いオクターブの鍵域に含まれる相対的に同じ位置に配置されている各鍵に対してＹ座標位置をそれぞれ割り当てるようにしてもよい。こうした場合には、楽音でユーザが所望の機能を実行するのに操作する必要のある鍵を案内する際に、発音される２音の音の高さが著しく違うことから、ユーザは聞き分けがしやすくなる、という利点がある。

電子楽器は、上述したようにユーザによる画面ガイドボタン５４の長押し操作に応じてキーボードマウス機能をオンに設定することにあわせて、図３に示すように表示器ＴＰの画面上にカーソルＫを初期表示する。このカーソルＫの初期表示位置は、図４（Ａ）に示した「操作対象領域への座標割り当てテーブル」に基づき決定される。例えば、図４（Ａ）に示した例では、該テーブルのＮｏ「１」の代表座標（3,4）つまりは「メニュー画面」（図３（Ａ）参照）において左側に羅列表示された仮想操作子（機能名）のうち一番上に表示されている仮想操作子を指し示すようにカーソルＫを表示する座標位置に初期表示位置が決定される。なお、このカーソルＫの表示は、キーボードマウス機能がオフに設定されたときに画面上から消去される。

キーボードマウス機能がオン状態であるときにユーザにより画面ガイドボタン５４を素早く連続して２回押す操作（ダブルタッチ操作）が行われた場合、電子楽器はカーソルＫが置かれている座標位置の機能を音声により読み上げる（カーソルガイドと呼ぶ）。このカーソルＫが置かれている座標位置の機能の音声読み上げは、図４（Ａ）に示した「操作対象領域への座標割り当てテーブル」に基づいてカーソルＫが位置する座標位置に応じた「機能名」を読み上げる。

画面上にカーソルＫが表示されている状態でユーザによりペダルが踏まれた状態のままいずれかの鍵の押下操作が行われた場合、電子楽器は操作された鍵に応じた画面上の所定の座標位置にカーソルＫを移動する。すなわち、ユーザによる鍵盤操作が行われた場合、電子楽器は図４（Ｂ）又は図４（Ｃ）に示したような「鍵盤への座標割り当てテーブル」に基づいて操作された鍵が発生する楽音のノートに応じたＸ座標位置及びＹ座標位置を決定し、当該決定した座標位置に移動するようにカーソルＫの表示位置を変更する。また、電子楽器はこうしたカーソルＫの表示位置の変更制御にあわせて、図４（Ａ）に示した「操作対象領域への座標割り当てテーブル」に基づいてカーソルＫが位置する座標位置に応じた「機能名」を読み上げる（カーソルガイド）。

例えば、ユーザは図３（Ａ）に示した「メニュー画面」において「チューニング」上にカーソルＫを移動したい場合には、画面上の座標位置(1,4),(2,4),(3,4)のいずれかを指定する鍵を操作すればよい。図４（Ｃ）に示した「鍵盤への座標割り当てテーブル」を利用するならば、ユーザは「C2+G#2」、「D2+G#2」、「E2+G#2」のいずれかの組み合わせからなる２つの鍵を同時に押下すればよい。例えば、ユーザは図３（Ｂ）に示した「パラメータ設定画面」において「ボリューム」上にカーソルＫを移動したい場合には、画面上の座標位置（2,1）〜（2,6）のいずれかを指定する鍵を操作すればよい。図４（Ｃ）に示した「鍵盤への座標割り当てテーブル」を利用するならば、ユーザは「D2」の鍵と、「C#2」〜「A#2」のいずれかの鍵１つを同時に押下すればよい。

ユーザは、上記「機能名」の読み上げに従って所望の機能を実行可能な仮想操作子上にカーソルＫが位置づけられていることを確認できたら、入力ボタン５３を押すあるいはデータ入力操作子５１を操作する。すると、電子楽器はカーソルＫが位置づけられている仮想操作子を選択し、該選択した仮想操作子に対応した機能を実行する。例えば、図３（Ａ）に示した「メニュー画面」において仮想操作子「チューニング」上にカーソルＫが位置づけられている状態で入力ボタン５３が操作された場合には、例えば図示しない「チューニング設定画面」などに画面を遷移する機能を実行する。

例えば、図３（Ｂ）に示した「パラメータ設定画面」において仮想操作子「ボリューム」上にカーソルＫが位置づけられている状態でデータ入力操作子５１が操作された場合には、ボリューム（音量）を上げ下げする機能を実行する。すなわち、この場合には、ユーザにより鍵が操作されただけではパラメータ値を変更することなく単に「ボリューム」パラメータ設定機能を選択するのみであり、その後にユーザが別途にデータ入力操作子５１を操作することに応じて選択した「ボリューム」設定機能を動作させて「ボリューム」パラメータ値を変更する。なお、ユーザがデータ入力操作子５１を操作する前に、操作された鍵により指定されるＹ座標位置に応じたパラメータ値を自動的に設定しておいてもよい。

また、このときには、画面上に仮想操作子として表示されているフェーダーを模した形状のボリューム設定操作子（仮想操作子）のつまみ部Ｒをボリュームの上げ下げを行う機能の実行にあわせて上下に動かすようにする表示制御や、該操作子の近傍に表示したボリュームのパラメータ値を変更する表示制御などを同時に行うのがよい。例えば、ボリュームが最大に上げられた場合には、つまみ部Ｒの表示位置を最上端に移動する表示とパラメータ値として「127」（最大値）を表示する一方で、ボリュームが最小に下げられた場合には、つまみ部Ｒの表示位置を最下端に移動する表示とパラメータ値として「0」（最小値）を表示する表示制御を行えばよい。また、ボリュームが最大値又は最小値以外である場合には、つまみ部Ｒを上記以外の上下端間の表示位置に移動する表示と、パラメータ値としてつまみ部Ｒの表示位置に対応する任意の値で表示する表示制御を行えばよい。

なお、ユーザにより設定ボタン５２が操作された場合、電子楽器は表示中の画面にはない他のさまざまな機能を適宜に呼び出すことのできるようにしてよい。例えば、上記した「機能名」や「鍵情報」などの読み上げを行う音声ガイドのオン／オフを設定するガイド音声設定機能や、複数のペダルのいずれのペダルをキーボードマウス機能時に用いるペダルに設定するかを決められるペダル設定機能などを呼び出すようにするとよい。

次に、各種画面（図３参照）に表示されている仮想操作子に対応した各種機能の選択的な実行を、ユーザによる鍵の操作によって指示することのできるキーボードマウス機能を実現する処理について説明する。ただし、説明を理解し易くするために、ここでは既にキーボードマウス機能がオンに設定されているものとする。図５は、パネル操作処理の一実施例を示すフローチャートである。この「パネル操作処理」は、ユーザによって例えば「メニュー画面」（図３（Ａ））などの所定の初期画面を表示器ＴＰに表示する指示がなされることに応じて、ＣＰＵ１により開始される。

ステップＳ１は、ユーザによる本体パネル上に設けられた設定操作子５Ａの操作又は表示器ＴＰへのタッチ操作又はタッチ操作に順ずる操作（ユーザ自身が指でタッチ操作したときと同じ効果を得る鍵操作）を検出し、これらの操作内容を判断する。ステップＳ２は、前記操作内容が表示器ＴＰに新規に画面を表示する操作または既に表示器ＴＰに表示中である画面の変更を伴う操作であるか否かを判定する。ここでの画面変更は表示中の画面全体を別の画面に差し替え変更することを指し、単に画面内でパラメータ値表示を変更するといった画面の一部を変更することを含まない。

前記操作内容が表示器ＴＰに新規に画面を表示する操作であるまたは既に表示器ＴＰに表示中である画面の変更を伴う操作であると判定された場合には（ステップＳ２のＹＥＳ）、以下に示すステップＳ３〜Ｓ６の処理を実行する。ステップＳ３は、表示器ＴＰに表示する画面を操作内容に応じた表示画面に更新する。ステップＳ４は、前記表示画面の更新にあわせて当該画面に関する「操作対象領域への座標割り当てテーブル」（図４（Ａ）参照）及び「鍵盤への座標割り当てテーブル」（図４（Ｂ）又は図４（Ｃ）参照）を取得する。ステップＳ５は、実行予定フラグをクリアする。この実行予定フラグは、画面に表示された仮想操作子のうちいずれの仮想操作子が選択されている状態にあるか否かを表すフラグである。選択状態にある仮想操作子に対応付けられている機能が、入力ボタン５３やデータ入力操作子５１等のユーザ操作に応じて実行されるようになっている。ステップＳ６は、表示器ＴＰに表示された画面に関し、画面上の仮想操作子（機能名）全てについて音声で案内したり、それら各仮想操作子に対応した機能を実行可能な鍵について音声及びガイドランプで案内したりする画面ガイドを行うための「画面ガイド処理」を実行する。「画面ガイド処理」については後述する（図６参照）。その後、当該処理を終了する。

他方、上記ステップＳ２において、操作内容が表示器ＴＰに新規に画面を表示する操作でないまたは既に表示器ＴＰに表示中である画面の変更を伴う操作でないと判定された場合には（ステップＳ２のＮＯ）、当該操作が画面ガイド指示であるか否かを判定する（ステップＳ７）。具体的には、キーボードマウス機能がオンに設定されている状態で画面ガイドボタン５４（図２参照）を普通に押した操作（長押し操作やダブルタッチ操作以外の操作）であるときに「ＹＥＳ」と判定され、画面ガイドボタン５４以外の操作であるとき又は画面ガイドボタン５４の長押し操作やダブルタッチ操作であるときに「ＮＯ」と判定される。

ユーザ操作が画面ガイド指示であると判定した場合には（ステップＳ７のＹＥＳ）、ステップＳ６の処理へ飛んで上記したような画面ガイドを行う「画面ガイド処理」（図６参照）を実行する。一方、ユーザ操作が画面ガイド指示でないと判定した場合には（ステップＳ７のＮＯ）、当該操作がカーソルガイド指示つまりは現時点で画面上に表示されているカーソルＫの表示位置をガイドする指示操作であるかどうかを判断する（ステップＳ８）。具体的にはキーボードマウス機能がオンに設定されている状態で画面ガイドボタン５４（図２参照）を素早く所定の時間内に２回押下するダブルタッチ操作であるときに「ＹＥＳ」と判定され、それ以外の操作であるときに「ＮＯ」と判定される。

ユーザ操作がカーソルガイド指示であると判定した場合には（ステップＳ８のＹＥＳ）、現時点においてカーソルＫが表示されている画面上の表示位置に対応する座標位置を特定し（ステップＳ９）、前記取得済みの「操作対象領域への座標割り当てテーブル」（図４（Ａ）参照）に基づいて該特定した座標位置に対応付けられている「機能名」を読み上げる音声ガイドすなわちカーソルガイドを行う（ステップＳ１０）。また、この際にはさらに前記取得済みの「鍵盤への座標割り当てテーブル」（図４（Ｂ）又は図４（Ｃ）参照）に基づいて、該特定した座標位置に対応付けられている「鍵」を読み上げる音声ガイド等や該当する鍵のガイドランプ点灯などの制御もあわせて行う。なお、カーソルＫの表示位置に対応する座標位置に機能が対応付けられていなければ上記したようなカーソルガイドは行われない。

上記ステップＳ８において、ユーザ操作がカーソルガイド指示でないと判定した場合（ステップＳ８のＮＯ）、つまりはユーザ操作が上記した画面ガイドやカーソルガイドとは何らの関係もない操作、例えばデータ入力操作子５１などが操作されたような場合には、これらのユーザ操作に応じた適宜の処理を実行する（ステップＳ１１）。既に説明したように、例えばデータ入力操作子５１が操作された場合にはパラメータ値を変更する、画面上の仮想操作子の表示(フェーダー形状など）やパラメータ値の数値表示を更新するなどの処理を行う。また、変更後のパラメータ値を音声でガイドしてもよい。ステップＳ１２は、実行予定フラグをクリアする。それから、本処理を終了する。

図６は、上記したパネル操作処理で実行される「画面ガイド処理」（図５のステップＳ６参照）の一実施例を示すフローチャートである。ステップＳ２１は、「操作対象領域への座標割り当てテーブル」（図４（Ａ）参照）に基づいて、現時点において画面に表示されている各仮想操作子に対応する機能に対応付けられている代表座標を特定し、さらに「鍵盤への座標割り当てテーブル」（図４（Ｂ）又は図４（Ｃ）参照）に基づいて前記特定した代表座標を鍵情報に変換する。ステップＳ２２は、「操作対象領域への座標割り当てテーブル」（図４（Ａ）参照）の例えばデータ先頭のＮｏ「１」に定義されている最初の「機能名」の「代表座標」に基づき、初期表示位置として前記代表座標に相当する表示位置にカーソルＫを表示することにより、前記「機能名」に対応して表示されている仮想操作子をカーソルＫにて指し示した状態にする。

ステップＳ２３は、前記位置づけられたカーソルＫが指し示す仮想操作子に対応した前記「機能名」を音声で読み上げる音声ガイドを行う。ステップＳ２４は、カーソルＫが指し示す仮想操作子に対応する機能を実行するのにユーザが操作する必要のある鍵（代表座標を変換した鍵情報に対応する鍵）を音声や楽音等での案内（ガイド）により提示する。典型的には、例えば「E2、G#2」などとユーザが操作する必要のある鍵に割り当てられたノート名（又はキーネーム）を読み上げる音声ガイドを行う。あるいは、実際にそのノートの楽音を発音させてもよい。ステップＳ２５は、こうしたカーソルＫが指し示す仮想操作子に対応する機能を実行するのにユーザが押鍵する必要のある鍵の音声ガイド（ノート名の読み上げ）や楽音の発音などと同時に、その鍵の近傍に設けられたガイドランプ（ＬＥＤ８）を一定の時間だけ点灯する制御を行う。こうして、音声や楽音による案内制御と共にガイドランプの点灯制御を行うことにより、カーソルＫが指し示す仮想操作子に対応する機能を実行するのにユーザが押鍵する必要のある鍵をユーザに対し提示することで、視覚障害者のユーザだけでなく、健常者のユーザにとっても鍵盤による座標指定がしやすくなる。

ステップＳ２６は、「操作対象領域への座標割り当てテーブル」（図４（Ａ）参照）に定義されている１つの機能について上記した「機能名」と「鍵情報」のユーザ提示をし終えたら、「操作対象領域への座標割り当てテーブル」に基づき次にユーザに対して提示する機能があるか否かを判定する。「操作対象領域への座標割り当てテーブル」に定義されている機能全てについてユーザ提示を終了していない、つまりはまだユーザに提示する機能があると判定した場合には（ステップＳ２６のＮＯ）、カーソルＫの表示位置を次にユーザ提示する機能の仮想操作子を指し示す位置に進める表示制御を行う（ステップＳ２８）。例えば、図３（Ａ）では、カーソルＫを「チューニング」の仮想操作子下方に配置されている「ソング設定」の仮想操作子を指し示す位置に進める。その後、ステップＳ２３の処理に戻って上記ステップＳ２３〜Ｓ２６の処理を繰り返すことにより、表示中の画面に含まれる全ての仮想操作子に関して各仮想操作子に割り当て済みの機能を順次にユーザに対し提示すると共に、前記機能を提示した仮想操作子の表示されている画面上の座標位置を割り当て済みである演奏操作子４Ａ（鍵）をユーザに対して提示する。

上記のようにしてユーザに提示した機能が「操作対象領域への座標割り当てテーブル」（図４（Ａ）参照）に定義されている残りの最後の機能であって、次にユーザに提示する機能がもうないと判定した場合、つまりは表示中の画面に含まれるすべての仮想操作子に関してその機能とユーザが操作する必要のある鍵とをユーザ提示し終えた場合には（ステップＳ２６のＹＥＳ）、カーソルＫの表示位置を例えば「操作対象領域への座標割り当てテーブル」に定義されている先頭（Ｎｏ１）の「機能名」の仮想操作子を指し示す座標位置に戻してから（ステップＳ２７）、本処理を終了する。なお、画面ガイド処理の途中で次のパネル操作処理の開始がユーザにより指示されたような場合には、すべての仮想操作子に関してその機能とユーザが操作する必要のある鍵とをユーザに対して提示し終える前であっても当該画面ガイド処理を終了してよい。

図７は、押鍵操作処理の一実施例を示すフローチャートである。本処理は、キーボードマウス機能がオンのときに、ユーザによる演奏操作子４Ａ（ここでは鍵盤）の操作に応じてＣＰＵ１が実行する処理であって、ユーザにより押鍵操作がなされる度に起動される。

ステップＳ３１は、本電子楽器が演奏モードになっているか画面操作モードになっているかを判定する。例えばユーザが所定のペダルを踏みながら鍵盤を弾いたときには画面操作モードに設定される一方で、ユーザが前記所定のペダルを踏まずに鍵盤のみを弾いたときには演奏モードに設定される。つまり、キーボードマウス機能がオンであっても、ユーザは所定のペダルを踏まなければ演奏モードとして通常の楽器演奏が行え、必要なときのみ所定のペダル操作によって画面操作モードに設定することで随時にキーボードマウス機能を利用することができるようになっている。本電子楽器が演奏モードになっていると判定した場合には（ステップＳ３１のＮＯ）、該ユーザ操作された１乃至複数の鍵に対応付けられた所定ノートの楽音を発音するなどの通常の演奏(発音)制御を行う。他方、本電子楽器が画面操作モードになっていると判定した場合には（ステップＳ３１のＹＥＳ）、上記した「座標割り当てテーブル」（図４（Ｂ）又は図４（Ｃ）参照）に基づきユーザにより押鍵された１乃至複数の鍵に座標位置が割り当てられているか否かを判定する（ステップＳ３２）。

ユーザにより押鍵された１乃至複数の鍵に座標位置が割り当てられていると判定した場合には（ステップＳ３２のＹＥＳ）、押鍵操作された１乃至複数の鍵でＸ座標位置及びＹ座標位置が一意に決定されるか否かを判定する（ステップＳ３３）。ここで、例えば図４（Ｃ）に示した「座標割り当てテーブル」を用いて２つの鍵の操作により座標位置が指定されるような場合には、ユーザが２つの鍵を同時に押鍵したときに限らず、最初の１つ目の鍵の押鍵から所定時間内に次の２つ目の鍵の押鍵があったときも、その時間差のある２つの鍵の押鍵操作に応じて座標位置が一意に決まるか否かを判定してよい。なお、ユーザにより異なる３つ以上の鍵の押鍵があったときには、有効な鍵つまりは座標位置が割り当てられている鍵の押鍵のうち、Ｘ座標位置、Ｙ座標位置それぞれについて、最初（または最後）に押鍵した異なる２つの鍵に割り当てられている座標位置を有効とすればよい。

ユーザにより押鍵操作された１乃至複数の鍵でＸ座標位置及びＹ座標位置が一意に決まらない（所定時間内にＸ座標位置のみまたはＹ座標位置のみしか決定できなかったときを含む）と判定した場合には（ステップＳ３３のＮＯ）、特に何もせずに本処理を終了する。

一方、ユーザにより押鍵操作された１乃至複数の鍵でＸ座標位置及びＹ座標位置が一意に決まると判定した場合には（ステップＳ３３のＹＥＳ）、座標位置が決まることに応じてその座標位置にカーソルＫを移動する表示制御を行う（ステップＳ３４）。そして、「操作対象領域への座標割り当てテーブル」（図４（Ａ）参照）に基づき、前記決められた座標位置に実行可能な機能が割り当てられているか否かを判定する（ステップＳ３５）。前記決められた座標位置に実行可能な機能が何らも割り当てられていない場合には（ステップＳ３５のＮＯ）、何も処理することなく本処理を終了する。他方、何らかの機能が割り当てられている場合には（ステップＳ３５のＹＥＳ）、ステップＳ３８の処理へ飛ぶ。

上記ステップＳ３２において、ユーザにより押鍵操作された１乃至複数の鍵に座標位置が割り当てられていないと判定した場合には（ステップＳ３２のＮＯ）、ユーザによる押鍵操作がカーソルＫの表示位置を他の仮想操作子を指し示す位置に進める（または戻す）操作であるかを判定する（ステップＳ３６）。例えば、高音のノートの楽音を発音するように割り当てられている高音側の鍵のうち最も音の高い方から順に２つの鍵が同時に弾かれると、「操作対象領域への座標割り当てテーブル」（図４（Ａ）参照）に基づき、現時点で指し示している仮想操作子の次の仮想操作子を指し示す座標位置へとカーソルＫを進め、一方、低音のノートの楽音を発音するように割り当てられている低音側の鍵のうち最も音の低い方から順に２つの鍵が同時に弾かれると、現時点で指し示している仮想操作子の前の仮想操作子を指し示す座標位置へとカーソルＫを戻す、などのように座標位置の割り当てられていない一部の鍵に対しては別途に特別な機能を割り当てておき、これらの鍵の操作であるか否かを判断する。

ユーザによる鍵盤操作が前記カーソルＫの表示位置を他の仮想操作子を指し示す位置に進める（または戻す）操作であると判定した場合には（ステップＳ３６のＹＥＳ）、「操作対象領域への座標割り当てテーブル」（図４（Ａ）参照）に基づき、画面に表示されている複数の仮想操作子のうち現時点でカーソルＫが指し示している仮想操作子に対応する機能の次(前)の機能を判定して、該判定した機能に対応する仮想操作子を指し示す位置にカーソルＫを移動する表示制御を行う（ステップＳ３７）。なお、現時点でカーソルＫがいずれの仮想操作子も指し示していない場合には、現時点において表示中のカーソルＫの表示位置に最も近い仮想操作子を指し示す位置にカーソルＫを移動するか、「操作対象領域への座標割り当てテーブル」に定義されている最初の機能に対応する仮想操作子を指し示す位置にカーソルＫを移動するようにしてもよい。ステップＳ３８は、前記カーソルＫを移動した先の仮想操作子に対応する機能に関し実行予定フラグを立てる。後述するように、この実行予定フラグが立てられた機能は、ユーザが入力ボタン５３やデータ入力操作子５１などを操作するか、後述するように別途に確定機能が割り当てられた特別の鍵（座標位置は割り当てられていない）を弾くことにより実行される。ステップＳ３９は、カーソルＫが位置づけられた仮想操作子に対応する「機能名」を音声でガイドする。

ユーザによる鍵盤操作が前記カーソルＫの表示位置を他の仮想操作子を指し示す位置に進める（または戻す）操作でないと判定した場合には（ステップＳ３６のＮＯ）、ユーザにより押鍵された鍵が別途に確定機能が割り当てられた鍵であるか否かを判定する（ステップＳ４０）。鍵に確定機能を割り当てるとは、入力ボタン５３（図２参照）に相当する機能を鍵操作により可能とするためのショートカット機能を、座標位置の割り当てられていない一部の鍵に対し別途に割り当てておくことであり、例えば予め定められたコード（和音）構成音の各ノートがそれぞれ割り当て済みの鍵を同時に弾くことなどにより実行される。ユーザにより押鍵操作された鍵に確定機能が割り当てられていないと判定した場合には（ステップＳ４０のＮＯ）、ユーザが押鍵操作した鍵には座標位置も確定機能も割り当てられていないことから、画面操作モード時には特に何も処理を行うことなく本処理を終了する。

ユーザにより押鍵操作された鍵に確定操作が割り当てられていると判定した場合には（ステップＳ４０のＹＥＳ）、表示中の画面に含まれる仮想操作子に対応する機能のいずれかに実行予定フラグが立てられているかを判定する（ステップＳ４１）。実行予定フラグが立てられている機能があると判定した場合、より具体的にはユーザの押鍵操作により表示中の画面に含まれるいずれかの仮想操作子を指し示す座標位置が指定されている場合には（ステップＳ４１のＹＥＳ）、ステップＳ４２の処理に進む。ステップＳ４２は、実行予定フラグの立てられている機能を実行する。なお、この確定操作が割り当てられている鍵の操作は、ユーザがタッチパネルを直接タッチ操作した場合や入力ボタン５３を押した場合と同等であることから、この先は上述した「パネルの操作処理」（図５参照）へと進む。他方、実行予定フラグが立てられている機能がないと判定した場合、より具体的にはユーザの押鍵操作により表示中の画面に含まれるいずれかの仮想操作子を指し示す座標位置が指定されていないあるいは座標位置が全く指定されていないような場合には（ステップＳ４１のＮＯ）、上記確定操作により実行すべき処理はないと判断して本処理を終了する。

以上のように、タッチパネル式の表示器ＴＰに表示された予め任意の機能を割り当て済みの仮想操作子を含んでなる画面上の座標位置（Ｘ座標位置及びＹ座標位置）を、ユーザ操作に応じて楽音の生成を指示する演奏操作子４Ａ（鍵など）に対して割り当てる。該画面上の座標位置が割り当てられた演奏操作子４Ａがユーザにより操作された場合には、該操作された演奏操作子４Ａに割り当て済みの前記画面上の座標位置に表示されている仮想操作子が特定される。このようにすると、ユーザは鍵盤操作によってカーソルＫを画面に表示されている仮想操作子のいずれかに移動させて、入力ボタン５３やデータ入力操作子５１などの物理的操作子の操作によってそのカーソルＫを位置付けた仮想操作子に対応付けられている機能を実行させることが簡単にできるようになる。すなわち、ユーザは画面を目視する必要なくまた実際に画面に触れなくとも、鍵盤を操作するだけで、画面上に表示された所望の機能を実行する仮想操作子を実際にユーザ自身が指でタッチ操作したときと同じ効果を得る。また、従来必要であった専用のシート状部材や指装着センサなどをわざわざ用意しなくともよいのでコストがかからない。

以上、図面に基づいて実施形態の一例を説明したが、本発明はこれに限定されるものではなく、様々な実施形態が可能であることは言うまでもない。例えば、本実施例では演奏操作子４Ａは鍵盤としたが、パッド、スイッチ、弦など、どのような形状であってもよい。また、演奏操作子４Ａ（鍵）の機能を演奏機能（演奏モード）とキーボードマウス機能（又は画面操作モード）とを切り替えるために、上述した実施例ではユーザが所定のペダルを踏んでいる間は鍵による画面操作を行なえる画面操作モードに切り替えるものを例に示したが、これに限らず、単にスイッチ操作により前記モードを切り替える、ユーザが所定のボタンを押している間は鍵による画面操作を行なえる画面操作モードに切り替える、その他何らかの汎用あるいは専用コントローラーにモード切り替え機能を持たせる、あるいは押鍵時のベロシティの大きさに応じて画面操作モードと鍵盤操作モードとを切替できるようにしておき、押鍵ベロシティが所定値より大きい（または小さい）ときには通常の演奏操作とする一方、所定値より小さい（または大きい）ときには画面中の座標を指定する処理を行うことにしてもよい。

なお、特に鍵情報のユーザ提示の仕方としては、上述したようなノート名（キーナンバー）を音声により読み上げたり、各鍵に割り当て済みのノートの楽音を発音させたりする(絶対音感のある人には便利)などの他に、以下のようなものが考えられる。例えば、各鍵に１〜８８(鍵盤数による)の異なる数字をそれぞれ割り当てておき、その数字を音声により読み上げる。各鍵に対して異なるドラム音や短いフレーズなどの聞き分けしやすい楽音を割り当てておき、その楽音を発生させる。オクターブごとに異なる音色（例えばピアノやオルガンなど）で各ノート(黒鍵含めて１２音)の楽音を発生させる。１２鍵それぞれに異なるフレーズやパターンを割り当てておくと共に、オクターブごとの鍵域毎に異なる背景音を発生させる。黒鍵にはリズムパターンを、白鍵にはフレーズを割り当てておき、対応する「リズム＋フレーズ」からなる楽音を発生させる。

なお、機能名や鍵情報のユーザ提示の仕方としては、上述したような本電子楽器での音声ガイドや楽音提示などの他に、外部機器を利用する以下のようなものが考えられる。例えば、本電子楽器は外部接続したコンピュータあるいは点字ディスプレイに対してテキストデータを出力し、該出力されるテキストデータに基づきコンピュータ側で音声を合成しこれを発するあるいは点字ディスプレイ側で点字に変換してこれを表示するようにしてよい。
なお、鍵情報のユーザ提示の仕方としてガイドランプ（ＬＥＤ８）を点灯する例を示したがこれに限らず、鍵駆動機構により該当の鍵を動作させるようにしてもよいし、鍵近傍に各鍵に対応させてキャラクター人形を配置し、キャラクター人形を動作させることにより該当の鍵をユーザ提示してもよい。

なお、画面上にカーソルＫを表示する代わりに、選択された仮想操作子の色を変えるなどしてもよいし、全盲のユーザにとっては画面の表示情報は意味をなさないものであるからカーソルＫに相当する表示自体なくてもよい。
なお、ユーザの押鍵操作による座標指定と指定された座標位置の機能の確定とを別々に行うのでなく、押鍵のみで座標指定と機能確定とを同時に行うようにしてもよい。その際、通常の押鍵操作では座標指定のみが実行されるようにし、すばやく２回続けて鍵を押鍵操作する、一定時間以上にわたって押下操作する(所謂長押し)、あるいはアフタータッチするなどの鍵操作が行われた場合に、座標指定されると同時に確定操作も実行されるようにするとよい。
なお、鍵盤操作によってカーソルＫを次の（前の）仮想操作子を指し示す位置に進める/戻す表示制御は、鍵操作に応じて１つずつ順にそれぞれの仮想操作子を指し示す該当位置にカーソルＫを進める／戻すだけでなく、カーソルＫを画面上の最上端（又は最下端）に表示されている仮想操作子を指し示す位置にジャンプさせることのできるようにしてあってもよい。

１…ＣＰＵ、２…ＲＯＭ、３…ＲＡＭ、４…検出回路、４Ａ…演奏操作子（鍵盤等）、５…検出回路、５Ａ…設定操作子（スイッチ等）、６…検知回路、７…表示回路、ＴＰ…表示器、８…ＬＥＤ（ガイドランプ）、９…音源・効果回路、９Ａ…サウンドシステム、１０…記憶装置、１１…通信インタフェース、１Ｄ…データ及びアドレスバス、５１…データ入力操作子、５２…設定ボタン、５３…入力ボタン、５４…画面ガイドボタン、Ｋ…カーソル、Ｒ…つまみ部、ＭＸ…Ｘ座標位置目盛り、ＭＹ…Ｙ座標位置目盛り

Claims (6)

1. ユーザ操作に応じて楽音の生成を指示する演奏操作子と、
   タッチパネル式の表示器であって、予め任意の機能を割り当て済みの仮想操作子を含んでなる画面を表示するものと、
   前記演奏操作子に対し、前記表示器に表示した画面上の座標位置を割り当てる座標割り当て手段と、
   前記演奏操作子のユーザ操作に従って該操作された演奏操作子に割り当て済みの前記画面上の座標位置を選択し、該選択された座標位置に表示されている前記仮想操作子を特定する特定手段と、
   前記特定した仮想操作子に割り当てられた機能の実行を指示する指示手段と
   を備える電子楽器。
2. 前記表示器に表示された画面に含まれる仮想操作子に割り当てられた機能を音の発生又は点字の生成によりユーザに対し提示する提示手段をさらに備えてなり、
   前記提示手段は、前記画面に含まれる全ての仮想操作子に関して各仮想操作子に割り当て済みの機能を順次にユーザに対し提示すると共に、前記機能を提示した仮想操作子の表示されている画面上の座標位置が割り当て済みである演奏操作子をユーザに対して提示することを特徴とする請求項１に記載の電子楽器。
3. 前記提示手段は、前記画面上の座標位置を割り当て済みの演奏操作子へのユーザ操作に従って、前記特定手段により特定される仮想操作子に割り当てられている機能をユーザに対して提示することを特徴とする請求項２に記載の電子楽器。
4. ユーザに対し操作対象の演奏操作子の位置を指示する演奏操作子指示手段であって、該演奏操作子指示手段は各演奏操作子に対応付けられて配置されるものをさらに備えてなり、
   前記演奏操作子指示手段は、前記提示手段による音又は点字によっての前記機能を提示した仮想操作子の表示されている画面上の座標位置が割り当て済みである演奏操作子のユーザ提示に応じて、該当する演奏操作子の位置を示す制御を行うことを特徴とする請求項２又は３に記載の電子楽器。
5. 前記座標割り当て手段は、前記表示器に表示される画面上の座標位置を異なる２つの座標軸位置にわけ、該異なる２つの座標軸位置をそれぞれ別の演奏操作子に割り当てることを特徴とする請求項１乃至４のいずれかに記載の電子楽器。
6. 前記演奏操作子のうち前記座標割り当て手段により画面上の座標位置が割り当てられていない演奏操作子に対し、前記画面上に表示されている仮想操作子を順次に特定する機能を割り当てる機能割り当て手段をさらに備える、請求項１乃至５のいずれかに記載の電子楽器。

Images