JP5589326B2 - 電子音楽装置およびその制御方法を実現するためのプログラム - Google Patents

Description

本発明は、タッチパネルを備えた電子音楽装置およびその制御方法を実現するためのプログラムに関する。

タッチパネルを備えた電子音楽装置は、従来から知られている。

このような電子音楽装置として、オン／オフなどの離散的な値を取るパラメータについては、タッチパネル上に表示された操作子を直接操作することで、その値を設定し、連続的な値を取るパラメータについては、タッチパネル上に表示された操作子を操作することで、設定対象となるパラメータを選択し、その値の実際の設定は、タッチパネルの周辺に設けられた、ノブなどのハードウェア操作子を用いて行うようにしたミキシング装置がある（たとえば、非特許文献１参照）。

また、上記従来のミキシング装置と同様の方法で、各種パラメータを選択したり、表示された操作子に対する操作量に応じてパラメータ値を設定したりするようにした電子楽器もある（たとえば、非特許文献２参照）。

さらに、多点タッチパネルを備え、ユーザが自身の親指と人差し指を多点タッチパネル上にタッチさせながら、時計方向あるいは反時計方向に回転させると、多点タッチパネル上の表示画面（図示例では、地図）も、当該回転方向に回転するようにしたタッチ・センシティブ入力デバイスもある（たとえば、特許文献１参照）。また、このタッチ・センシティブ入力デバイスでは、多点入力に対応しながら１点入力もできるようになっている。具体的には、ユーザがタッチさせた１本の指先で円弧を描くと、それに応じて多点タッチパネル上の表示画面も当該方向に移動する。

したがって、いわゆる当業者であれば、上記従来のミキシング装置あるいは上記従来の電子楽器に上記従来のタッチ・センシティブ入力デバイスを組み合わせることにより、連続的な値を取るパラメータについても、離散的な値を取るパラメータと同様に、タッチパネル上に表示された操作子を直接操作することで、その値を設定するようにした装置を容易に得ることができる。

特表２００８−５０８６００号公報

DIGITAL MIXING CONSOLE M7CL 取扱説明書，２００５年，ヤマハ株式会社 Electone（登録商標）STAGEA（登録商標）ELS-01/01C/01X 取扱説明書，２００４−２００７年，ヤマハ株式会社

しかし、上記従来のミキシング装置あるいは上記従来の電子楽器に上記従来のタッチ・センシティブ入力デバイスを組み合わせた発明では、ユーザは自身の指を使ってタッチパネル上に表示された操作子を操作し、指の移動量に応じて、その操作子に割り当てられたパラメータの値を設定する必要があるので、タッチパネル上の狭い領域にパラメータを設定するための操作子が多数表示されている場合には、１つの操作子についての操作領域が狭くなって、指での設定操作が困難になる。さらに、このように多数の操作子が表示されている場合には、１つの操作子を１本の指で操作することも困難であるため、１つの操作子を複数の指、たとえば２本の指で操作したり、複数の操作子を複数の指で同時に操作したりすることは、一層困難である。

本発明は、この点に着目してなされたものであり、タッチパネル上の狭い領域に多数のパラメータを表示した場合でも、各パラメータについての設定操作を容易に行うことが可能となる電子音楽装置を提供することを目的とする。

上記目的を達成するため、請求項１に記載の電子音楽装置は、タッチパネルと、複数の楽音パラメータのそれぞれを当該パラメータの種類に応じた表示態様で前記タッチパネル上に表示する表示手段と、前記表示手段によって前記タッチパネル上に表示された複数の楽音パラメータのうち、少なくとも一部であって、変更対象とするものを、ユーザの指によるタッチ操作に応じて特定する特定手段と、前記ユーザの指によるタッチ操作後のタッチ領域データを前記タッチパネルから繰り返し抽出する抽出手段と、前記抽出手段によって抽出された各タッチ領域データからユーザの指上の模様画像を検出する模様検出手段と、前記ユーザの指によるタッチ操作後、ユーザがそのタッチ状態を維持しながら指先を回転させたときに、前記模様検出手段によって検出された一連の模様画像をパターンマッチングすることで、前記指先の回転角を検出する回転角検出手段であって、当該回転角の検出中に指のタッチ位置がずれた場合、所定の条件が満たされるまではそのずれに拘わらず当該回転角の検出を継続する回転角検出手段と、前記回転角検出手段によって検出された回転角に応じて、前記特定手段によって特定された楽音パラメータの値を変更する変更手段とを有することを特徴とする。

請求項２に記載の電子音楽装置は、請求項１の電子音楽装置において、前記変更手段によって変更された楽音パラメータの値を前記タッチパネル上の表示に反映させるように前記表示手段を制御する制御手段をさらに有することを特徴とする。

請求項３に記載の電子音楽装置は、請求項１または２の電子音楽装置において、前記ユーザの指によるタッチ操作後、ユーザがそのタッチ状態を維持しながら指先を移動させたときの移動量を検出する移動量検出手段をさらに有し、前記変更手段は、前記移動量検出手段によって検出された移動量に応じて、前記特定された楽音パラメータに関連する別の楽音パラメータの値を変更することを特徴とする。
上記目的を達成するため、請求項４に記載のプログラムは、請求項１と同様の技術的思想によって実現できる。

請求項１に記載の発明によれば、表示手段によってタッチパネル上に表示された複数の楽音パラメータのうち、少なくとも一部であって、変更対象とするものが、ユーザの指によるタッチ操作に応じて特定され、前記ユーザの指によるタッチ操作後のタッチ領域データが前記タッチパネルから繰り返し抽出され、該抽出された各タッチ領域データからユーザの指上の模様画像が検出され、前記ユーザの指によるタッチ操作後、ユーザがそのタッチ状態を維持しながら指先を回転させたときに、前記検出された一連の模様画像をパターンマッチングすることで、前記指先の回転角が検出され、さらに当該回転角の検出中に指のタッチ位置がずれた場合、所定の条件が満たされるまではそのずれに拘わらず当該回転角の検出が継続され、該検出された回転角に応じて、前記特定された楽音パラメータの値が変更されるので、タッチパネル上の狭い領域に多数の楽音パラメータを表示した場合でも、各楽音パラメータについての設定操作を容易に行うことが可能となる。

請求項２に記載の発明によれば、前記変更された楽音パラメータの値が前記タッチパネル上の表示に反映されるので、ユーザは、楽音パラメータの値が変更されたことを一目で確認することができる。

請求項３に記載の発明によれば、前記ユーザの指によるタッチ操作後、ユーザがそのタッチ状態を維持しながら指先を移動させたときの移動量が検出され、該検出された移動量に応じて、前記特定された楽音パラメータに関連する別の楽音パラメータの値が変更されるので、ユーザは自身の指１本で、回転操作に２次元平面上の移動操作を加えた３次元の操作を行うことができ、これにより、さらに操作性を向上させることができる。

本発明の一実施の形態に係る電子音楽装置の概略構成を示すブロック図である。 図１の電子音楽装置が実行する制御処理の概要を説明するための図である。 図１の電子音楽装置、特にＣＰＵが実行するメインルーチンの手順を示すフローチャートである。 図３ａのメインルーチンの続きの手順を示すフローチャートである。 図１中の多点タッチパネル式ディスプレイに表示されたパラメータ設定画面の一例を示す図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。

図１は、本発明の一実施の形態に係る電子音楽装置の概略構成を示すブロック図である。

同図に示すように、本実施の形態の電子音楽装置は、音高情報を含む演奏情報を入力するための鍵盤を含む演奏操作子１と、各種楽音パラメータ（以下、「楽音パラメータ」を単に「パラメータ」と略して言う）や各種動作モードを選択設定するための複数の操作子や各種情報を表示するとともに、ユーザが表示された各操作子や各情報（の一部）をタッチ操作することで対応するパラメータや動作モードを選択設定する多点タッチパネル式ディスプレイ２と、演奏操作子１の操作状態を検出する検出回路３と、ユーザによる多点タッチパネル式ディスプレイ２上のタッチ操作状態を検出する検出回路４と、各種パラメータや各種動作モードを含む、音楽に関する各種情報を選択設定するためのＧＵＩ（graphical user interface）を多点タッチパネル式ディスプレイ２上に表示する表示回路５と、装置全体の制御を司るＣＰＵ６と、該ＣＰＵ６が実行する制御プログラムや各種テーブルデータ等を記憶するＲＯＭ７と、演奏情報、各種入力情報および演算結果等を一時的に記憶するＲＡＭ８と、タイマ割込み処理における割込み時間や各種時間を計時するタイマ９と、前記制御プログラムを含む各種アプリケーションプログラムや各種楽曲データ、各種データ等を記憶する記憶装置１０と、外部からのＭＩＤＩ（musical instrument digital interface）メッセージを入力したり、ＭＩＤＩメッセージを外部に出力したりするＭＩＤＩインターフェース（Ｉ／Ｆ）１１と、通信ネットワーク１０１を介して、たとえばサーバコンピュータ（以下、「サーバ」と略して言う）１０２とデータの送受信を行う通信インターフェース（Ｉ／Ｆ）１２と、音源回路１３ａ、効果回路１３ｂおよびミキシング回路１３ｃを内蔵し、音源回路１３ａから出力された楽音信号と、音声信号入力Ｉ／Ｆ１４を介して入力された音声信号とをミキシング回路１３ｃによってミキシングしたり、該ミキシングされた楽音信号あるいは音源回路１３ａから出力された楽音信号そのものに効果回路１３ｂによって各種効果を付与したりするデジタル信号処理回路１３と、デジタル信号処理回路１３からの楽音信号をそのまま外部に出力する音声信号出力Ｉ／Ｆ１５と、デジタル信号処理回路１３からの楽音信号を音響に変換する、たとえば、ＤＡＣ（digital-to-analog converter）やアンプ、スピーカ等のサウンドシステム１６とにより構成されている。

上記構成要素３〜１３は、バス１７を介して相互に接続され、ＣＰＵ６にはタイマ９が接続され、ＭＩＤＩＩ／Ｆ１１には他のＭＩＤＩ機器１００が接続され、通信Ｉ／Ｆ１２には通信ネットワーク１０１が接続され、デジタル信号処理回路１３には音声信号入力Ｉ／Ｆ１４、音声信号出力Ｉ／Ｆ１５およびサウンドシステム１６が接続されている。ここで、通信Ｉ／Ｆ１２、音声信号入力Ｉ／Ｆ１４、音声信号出力Ｉ／Ｆ１５および通信ネットワーク１０１は、有線方式のものに限らず、無線方式のものであってもよい。また、両方式のものを備えていてもよい。

多点タッチパネル式ディスプレイ２は、本実施の形態では、ユーザ自身の指やタッチペンなどによるパネル平面上の多点での押圧操作や押圧操作を維持しながらの移動操作に加えて、指先の指紋も検知することができるようになっている。このような多点タッチパネル式ディスプレイ２は、各種方式のものが実際に市販されている。一例としては、画素毎に光センサを内蔵した「光センサ内蔵システム液晶」と呼ばれるものがある。この光センサ内蔵システム液晶を用いれば、パネル上の印刷物をスキャンすることができるので、パネル上をタッチしている指の指紋も同様にスキャンすることができる。なお本発明の特徴は、多点タッチパネル式ディスプレイ２の使い方にあり、その方式や構造にある訳ではないので、前記押圧操作、移動操作および指の指紋が検知できるものであれば、どのような方式あるいは構造のものを採用しても構わない。以下、多点タッチパネル式ディスプレイ２を「タッチパネル２」と略して言う。また本実施の形態では、表示装置としてタッチパネル２のみを設けているが、これに加えて、小型のＬＣＤ（liquid crystal display）やＬＥＤ（light emitting diode）を設けるようにしてもよい。さらに本実施の形態では、演奏操作子以外の操作子、つまり各種設定を行うための設定操作子も、すべてタッチパネル２上に表示するようにしたが、一部の設定操作子については、タッチパネル２の周辺にハードウェアで設けるようにしてもよい。なお、後述の電源スイッチ（図示せず）は、本実施の形態の電子音楽装置の筐体（図示せず）のどこかにハードウェアで設けられている。

記憶装置１０は、たとえば、フレキシブルディスク（ＦＤ）、ハードディスク（ＨＤ）、ＣＤ−ＲＯＭ、ＤＶＤ（digital versatile disc）、光磁気ディスク（ＭＯ）および半導体メモリなどの記憶媒体とその駆動装置である。記憶媒体は、駆動装置から着脱可能であってもよいし、記憶装置１０自体が、本実施の形態の電子音楽装置から着脱可能であってもよい。あるいは、記憶媒体も記憶装置１０も着脱不可能であってもよい。なお記憶装置１０には、前述のようにＣＰＵ６が実行する制御プログラムも記憶でき、ＲＯＭ７に制御プログラムが記憶されていない場合には、この記憶装置１０に制御プログラムを記憶させておき、それをＲＡＭ８に読み込むことにより、ＲＯＭ７に制御プログラムを記憶している場合と同様の動作をＣＰＵ６にさせることができる。このようにすると、制御プログラムの追加やバージョンアップ等が容易に行える。

ＭＩＤＩＩ／Ｆ１１は、専用のものに限らず、ＲＳ−２３２ＣやＵＳＢ（universal serial bus）、ＩＥＥＥ１３９４等の汎用のインターフェースによって構成してもよい。この場合、ＭＩＤＩメッセージ以外のデータをも同時に送受信してもよい。

通信Ｉ／Ｆ１２は、上述のように、たとえばＬＡＮ（local area network）やインターネット、電話回線等の通信ネットワーク１０１に接続されており、該通信ネットワーク１０１を介して、サーバ１０２に接続される。記憶装置１０に上記各プログラムや各種パラメータが記憶されていない場合には、通信Ｉ／Ｆ１２は、サーバ１０２からプログラムやパラメータをダウンロードするために用いられる。クライアントとなる電子音楽装置は、通信Ｉ／Ｆ１２および通信ネットワーク１０１を介してサーバ１０２へとプログラムやパラメータのダウンロードを要求するコマンドを送信する。サーバ１０２は、このコマンドを受け、要求されたプログラムやパラメータを、通信ネットワーク１０１を介して電子音楽装置へと配信し、電子音楽装置が通信Ｉ／Ｆ１２を介して、これらプログラムやパラメータを受信して記憶装置１０に蓄積することにより、ダウンロードが完了する。

デジタル信号処理回路１３に含まれる音源回路１３ａは、演奏操作子１から入力された演奏情報や、前記記憶装置１０に記憶されたいずれかの楽曲データを再生して得られた演奏情報等を楽音信号に変換し、変換後の楽音信号をミキシング回路１３ｃに出力する。

なお本実施の形態では、電子音楽装置を電子鍵盤楽器上に構築するようにしたが、これに限らず、鍵盤を外部接続した汎用的なＰＣ上に構築してもよい。また、鍵盤楽器の形態に代えて、弦楽器タイプ、管楽器タイプ、打楽器タイプ等の他の楽器の形態を採用してもよい。さらに、ミキサなどの音響機器上に構築するようにしてもよい。その場合には、ミキシング回路１３ｃやＡＤ／ＤＡ変換回路などは必須の構成要素であるが、音源回路１３ａや効果回路１３ｂは必須の構成要素ではない。

以上のように構成された電子音楽装置が実行する制御処理を、まず図２を参照してその概要を説明し、次に図３および図４を参照して詳細に説明する。

図２は、本実施の形態の電子音楽装置が実行する制御処理の概要を説明するための図である。

図２（ａ）に示すように、タッチパネル２上に表示された２つのノブ２０１ａおよび２０１ｂのうちの一方、たとえばノブ２０１ａにユーザが自身の指、たとえば人差し指Ｆａをタッチすると、前記ＣＰＵ６は、タッチされた領域の画像データ（以下、「タッチ領域データ」と言う）を抽出し、このタッチ領域データに対して各種画像処理を施すことにより、図２（ｃ）に示すように、指Ｆａの指紋の画像データ（以下、「指紋画像」と略して言う）２０１ａ１を検出する。そしてＣＰＵ６は、この検出した指Ｆａの指紋画像２０１ａ１をテンプレートとして、前記ＲＡＭ８の図示しない所定領域（以下、「テンプレート領域」と言う）に保存する。

次にユーザが、指Ｆａをノブ２０１ａにタッチさせた状態で、図２（ｂ）に示すように矢印Ｒａの方向に回転させると、ＣＰＵ６は、図２（ｄ）に示すように回転後の指Ｆａ′の指紋画像２０１ａ２を検出する。

そしてＣＰＵ６は、テンプレートの指紋画像２０１ａ１と新たに検出した指紋画像２０１ａ２をパターンマッチングすることにより、テンプレートの指紋画像２０１ａ１に対する指紋画像２０１ａ２の回転角（この回転角には当然、回転方向も含まれる）を検出する。さらにＣＰＵ６は、検出した回転角に応じて、ノブ２０１ａに割り当てられているパラメータの値を算出し、算出したパラメータ値を前記デジタル信号処理回路１３（の対応するレジスタ）に設定するとともに、算出したパラメータ値を示すようにノブ２０１ａを回転させてタッチパネル２上に表示させる。図２（ｂ）のノブ２０１ａ′は、回転後の状態を示している。

図２には、ユーザが指Ｆｂをもう一方のノブ２０１ｂにタッチさせた状態で、指Ｆａと逆の方向（矢印Ｒｂの方向）に回転させたときの様子も描かれている。このときにＣＰＵ６が行う制御処理は、上述した制御処理とほぼ同様であるので、これ以上の説明は行わない。なお図２では、１つの回転操作子、つまりノブ２０１ａまたは２０１ｂのいずれかを１本の指で回転させる例について説明したが、図２の指Ｆｂの想像線を実線にして、２つのノブ２０１ａおよび２０１ｂを２本の指ＦａおよびＦｂでそれぞれ同時に回転させ、各ノブ２０１ａおよび２０１ｂにそれぞれ割り当てられている各パラメータの値およびその各表示状態を同時に変更するようにしてもよい。もちろん、同時に操作する操作子の個数は、２個以上であってもよい。

このように本実施の形態では、ユーザはタッチパネル２上に表示された各操作子に自身の指１本をタッチさせながら時計方向／反時計方向に回転させることで、当該操作子に割り当てられたパラメータの値を変更するようにしたので、タッチパネル上の狭い領域に多数のパラメータを表示した場合でも、各パラメータについての設定操作を容易に行うことが可能となる。

また、変更後のパラメータの値は直ちに、当該操作子の表示に反映されるので、ユーザは、パラメータの値が実際に変更されたことをリアルタイムに、かつ一目で確認することができる。

なお図２の例では、常に操作子、つまりノブ２０１ａおよび２０１ｂを介して、対応するパラメータの値を設定するようにしたが、図４（ａ）を用いて後述するように、本発明は、操作子を介しないパラメータの設定にも適用することができる。したがって、タッチパネル２上へ操作子を表示させることは、本発明の必須の構成ではない。

次に、この制御処理を詳細に説明する。

図３ａおよび図３ｂは、本実施の形態の電子音楽装置、特にＣＰＵ６が実行するメインルーチンの手順を示すフローチャートである。

本メインルーチンは、主として
（１）初期化処理（ステップＳ１，Ｓ２）
（２）タッチ領域データ抽出処理（ステップＳ５〜Ｓ７）
（３）テンプレート登録処理（ステップＳ１１）
（４）テンプレート破棄処理（ステップＳ１２）
（５）パラメータ値＆表示更新処理（ステップＳ１５〜Ｓ１９）
（６）指紋検出不能処理（ステップＳ２０）
によって構成されている。

本メインルーチンは、前記電源スイッチがオンされたときに起動し、オフされたときに終了する。本メインルーチンが起動すると、まずＣＰＵ６は、前記（１）の初期化処理を実行する。この（１）初期化処理では、ＣＰＵ６は、前記ＲＡＭ７上に作業領域を設定する（ステップＳ１）とともに、タッチパネル２に表示すべきパラメータを取得して表示する（ステップＳ２）。

図４は、タッチパネル２に表示されたパラメータ設定画面の一例を示す図であり、同図（ａ）は、３バンドのパラメトリック・イコライザ用のパラメータ設定画面の一例を示し、同図（ｂ）は、複数（たとえば、４つ）のロータリエンコーダを模したパラメータ設定画面の一例を示し、同図（ｃ）は、複数（たとえば、４つ）のノブを模したパラメータ設定画面の一例を示し、同図（ｄ）は、４チャンネル（ＣＨ）ミキサ用のパラメータ設定画面の一例を示している。

図４（ａ）〜図４（ｄ）に示すように、設定対象とするパラメータの種類が異なれば、その設定画面の表示態様も異なるので、前記ステップＳ２の処理では、ＣＰＵ６は、現在の動作モードなどによって表示すべきパラメータとその設定画面の表示態様を決定している。なお図４（ａ）に示すように、設定対象とするパラメータの種類によっては、ハードウェア製操作子を模した設定操作子の配置されたパラメータ設定画面を表示せずに、パラメータ特性を示すグラフを表示し、そのグラフ上にマーカ（図示例では、番号の付けられた円）を配置し、ユーザがマーカをタッチ操作することで、対応するパラメータの値を設定できるようにしたパラメータ設定画面もある。つまり、前記ステップＳ２の「表示」では常に、図４（ｂ）〜図４（ｄ）のようなハードウェア製操作子を模した設定操作子の配置されたパラメータ設定画面を表示する訳ではない。

次にＣＰＵ６は、ユーザによって表示の切替え操作がなされず、所定時間が経過すると、処理を前記（２）のタッチ領域データ抽出処理に進める（ステップＳ３→Ｓ４→Ｓ５）。ＣＰＵ６は、タッチパネル２に対するユーザのタッチ操作の状態を検出するために、タッチパネル２の１画面分の画像データを前記検出回路４から取得するが、上記「所定時間」とは、この１画面分の画像データを取得する際の時間間隔である。「所定時間」は、具体的には、たとえば３３.３ｍｓｅｃであり、前記タイマ９によって計時される。なお、この「所定時間」としては、より長い時間を採用することで検出精度を落とすようにしてもよいし、より短い時間を採用することで検出精度を上げるようにしてもよい。

一方、前記表示の切替え操作がなされたときには、ＣＰＵ６は、処理を前記（１）の初期化処理に戻す（ステップＳ３→Ｓ１）。また、前記表示の切替え操作がなされないものの、前記所定時間が経過していなければ、ＣＰＵ６は、処理を前記ステップＳ３に戻す（ステップＳ３→Ｓ４→Ｓ３）。

（２）タッチ領域データ抽出処理では、まずＣＰＵ６は、前記１画面分の画像データを取得する（ステップＳ５）。取得した１画面分の画像データは、ＲＡＭ８の前記作業領域内に一時的に記憶される。

次にＣＰＵ６は、取得した１画面分の画像データから、ユーザのタッチしている領域の画像データ（タッチ画像データ）を抽出して切り出し、その位置情報とともに前記作業領域内の別の領域に記憶する（ステップＳ６）。ここで、ユーザのタッチしている領域の画像データは、タッチしていない領域の画像データに比べその濃度が濃く、さらにこのような濃度の濃い画像データ（画素データ）が所定の近さで集まっているので、上記ステップＳ６の処理では、ＣＰＵ６は、所定の濃度以上の画像データ（画素データ）が所定の近さで集まっている画像データ（画素データ）の集合をタッチ領域データとして抽出する。なお、タッチパネル２からは多点入力できるので、ユーザが同時に多点をタッチ操作している場合には、ステップＳ６の処理では、そのタッチ操作している箇所の数だけタッチ領域データが抽出されることになる。また位置情報は、本実施の形態では、抽出したタッチ領域データ内のすべての画像データのそれぞれについて１つずつ取得されるが、タッチ領域は閉領域であるので、その閉領域を決める輪郭線上の画像データについてのみ位置情報を取得して記憶し、その閉領域内の画像データ（輪郭線上の画像データを除く）については位置情報を取得せずに、必要なときに輪郭線上の画像データの位置情報から算出するようにしてもよい。このようにユーザが同時に多点をタッチ操作している場合には、複数のタッチ領域データが一度に抽出され、各位置情報と一緒にＲＡＭ８内に記憶されるが、以下、説明の都合上、ユーザは常に１点のみタッチ操作し、同時に多点をタッチ操作しないものとする。このように説明を簡略化してもよいのは、同時に多点をタッチ操作したときの処理は、１点のみタッチ操作したときの処理に基づいて簡単に実現できる（具体的には、１点のみタッチ操作したときの処理を多点の回数だけ並列的に実行することで実現できる）からである。

次にＣＰＵ６は、記憶されているタッチ領域データのそれぞれについて、過去複数回に遡って参照し、今回のタッチ領域データに相当するものがあり、その面積や形状が安定しているものがあるかどうかを判別する（ステップＳ７）。前記ステップＳ６の処理で記憶されたタッチ領域データ（およびその位置情報）は、所定時間（たとえば、１ｓｅｃ）に亘って記憶された後、削除される（ただしその処理は、本メインルーチンのフローチャート内には図示されていない）。つまり、ＲＡＭ８内には、現時点から所定時間遡った時点までのタッチ領域データの履歴が常に保存されている。上記ステップＳ７の処理では、まずＣＰＵ６は、このタッチ領域データの履歴を参照し、今記憶したタッチ領域データ、つまり今回のタッチ領域データに相当するものがあるかどうかをその位置情報に基づいて判別する。この判別の結果、今回のタッチ領域データに相当するものがあるときには、次にＣＰＵ６は、その面積や形状が安定しているものがあるかどうかを判別する。たとえば、タッチパネル２上をタッチ操作していない状態からタッチ操作した場合、ユーザは、最初から十分な押圧でタッチ操作することはなく、最初は軽くタッチし、徐々に押圧を高めて行く。したがって、最初の軽いタッチ時に抽出されたタッチ領域データの面積や形状は、十分な押圧時と比較して、狭かったり歪であったりする。そして、その面積や形状が狭かったり歪であったりするタッチ領域データからでは指紋画像を検出し難いため、あるいは、たとえ指紋画像が検出されたとしても、その指紋画像を利用してパターンマッチングし難いため、このようなタッチ領域データを排除する必要がある。つまり、前記ステップＳ７の判別は、指紋画像を検出し易い、あるいはパターンマッチングし易いタッチ領域データのみを選択して利用するためになされている。なお、その面積や形状が狭かったり歪であったりするタッチ領域データは、タッチ操作の初期だけでなく、タッチ操作中あるいはタッチ操作の終期（タッチパネル２上のタッチ操作を止めようとするとき）にも抽出される可能性があるが、このようなタッチ領域データは、その抽出タイミングに拘わらず排除されるべきであるので、ステップＳ７の判別では、その抽出タイミングについては問題にしていない。

ステップＳ７の判別の結果、今回のタッチ領域データに相当するものが前記タッチ領域データの履歴内に含まれていない場合、あるいは、今回のタッチ領域データに相当するものが当該履歴内に含まれているものの、その面積や形状が安定しているものが当該履歴内に含まれていない場合には、ＣＰＵ６は、処理を前記（４）のテンプレート破棄処理（この処理の詳細については、後述する）に進める。一方、ステップＳ７の判別の結果、今回のタッチ領域データに相当するものが当該履歴内に含まれており、かつその面積や形状が安定しているものが当該履歴内に含まれている場合には、ＣＰＵ６は、処理を図３ｂのステップＳ８に進める。

ステップＳ８では、ＣＰＵ６は、その位置情報から今回のタッチ領域データに相当するテンプレートがあるかどうかを判別する。テンプレートとは、制御処理の概要についての説明では、検出した指紋画像としたが、より厳密には、（今回の）タッチ領域データ、その位置情報および対応する（複数の）パラメータを指定する情報の組である（後述するステップＳ１１参照）。ここで、指紋画像は、前記ステップＳ６の処理によって抽出された（今回の）タッチ領域データに対して所定の画像処理を施したものに相当し、テンプレートとして登録される（今回の）タッチ領域データは、この所定の画像処理が施されたものである。つまりここでは、指紋画像と（今回の）タッチ領域データとは同じものである。なお所定の画像処理としては、たとえば、タッチ領域データに含まれているノイズを除去する処理、当該タッチ領域データがカラー画像である場合にモノクロ画像に変換する処理、さらにそのモノクロ画像が複数階調で表現されている場合に２値化する処理などを挙げることができる。

テンプレートとしての情報の登録は、前記（３）のテンプレート登録処理だけでなされ、現時点では、この（３）テンプレート登録処理はまだ１度も実行されていないので、ＣＰＵ６は、前記ステップＳ８で、今回のタッチ領域データに相当するテンプレートはないと判別して、処理をステップＳ９に進める。ステップＳ９では、ＣＰＵ６は、その位置情報は対応するパラメータが特定される有意な位置を示しているかどうかを判別する。たとえば、タッチパネル２上に前記図４（ａ）のパラメータ設定画面が表示されている場合に、ユーザが自身の指で前記マーカ上あるいはその一部をタッチしていれば、ＣＰＵ６は、今回のタッチ領域データの「位置情報は対応するパラメータが特定される有意な位置を示している」と判別する。また別の例として、タッチパネル２上に前記図４（ｂ）のパラメータ設定画面が表示されている場合に、ユーザが自身の指で前記ロータリエンコーダのいずれかの上あるいはその一部をタッチしていれば、ＣＰＵ６は、今回のタッチ領域データの「位置情報は対応するパラメータが特定される有意な位置を示している」と判別する。ただしステップＳ９の判別では、タッチ操作に用いるものが、タッチペンなどの指以外の物体であっても、その判別結果に影響を及ぼさない。

ステップＳ９の判別の結果、その位置情報は対応するパラメータが特定される有意な位置を示している場合には、さらにＣＰＵ６は、今回のタッチ領域データから指紋画像を検出できるかどうかを判別し（ステップＳ１０）、指紋画像を検出できる場合には、処理を前記（３）のテンプレート登録処理に進める（ステップＳ１０→Ｓ１１）一方、指紋画像を検出できない場合には、処理を前記（６）の指紋検出不能処理に進める（ステップＳ１０→Ｓ２０）。上記ステップＳ１０の判別では、具体的には、今回のタッチ領域データ内に、「渦状紋」、「蹄状紋」あるいは「弓状紋」などの指紋を特徴付ける紋様が検出できるかどうかを判別する。

（３）テンプレート登録処理では、ＣＰＵ６は、今回のタッチ領域データ、その位置情報および対応する（複数の）パラメータを指定する情報をテンプレートとして、前記テンプレート領域に新規登録する。ここで、１本の指で設定可能なパラメータの種類とその個数は、タッチパネル２上に表示されているパラメータ設定画面によって異なるので、テンプレートとして登録される「パラメータを指定する情報」は、単数である場合も、複数である場合もあり得る。上記「（複数の）」とカッコ書きで表現されているのは、この意味である。具体的には、前記図４（ａ）のパラメータ設定画面では、１本の指をタッチする１つのマーカによって、「低域」、「中域」および「高域」のうちのいずれか１つのバンドが指定されるとともに、そのバンドのパラメトリック・イコライザを制御するための３種類のパラメータ（「利得Ｇ」、「中心周波数Ｆ」および「Ｑ値」）が指定される。また、前記図４（ｄ）のパラメータ設定画面では、１本の指をタッチする１つのノブによって、ＣＨ１〜ＣＨ４のうちのいずれか１ＣＨが指定されるとともに、そのＣＨを制御するための２種類のパラメータ（「利得」および「パンポット」）が指定される。

また（６）指紋検出不能処理では、ＣＰＵ６は、指紋画像を検出できない旨をタッチパネル２上に表示する。前記図４（ｃ）のパラメータ設定画面では、「指紋画像を検出できない旨」の表示として“×”の画像を表示しているが、これに限らず、「指紋画像を検出できません」と文字で表示してもよい。さらに、この旨を「表示」ではなく「音声」で提示してもよい。なお「指紋画像を検出できない旨」の表示は、所定時間（たとえば、数秒（ｓｅｃ）間）経過後、消去される。この「所定時間」も、前記タイマ９によって計時される。

一方、前記ステップＳ９の判別で、その位置情報は対応するパラメータが特定される有意な位置を示していない場合には、ＣＰＵ６は、処理を前記（４）のテンプレート破棄処理に進める（ステップＳ９→Ｓ１２）。

一方、前記ステップＳ８の判別で、今回のタッチ領域データに相当するテンプレートがある場合には、ＣＰＵ６は、その位置情報はパラメータを変更するのに有意な位置を示しているかどうかを判別する（ステップＳ１３）。たとえば、タッチパネル２上に前記図４（ａ）のパラメータ設定画面が表示されている場合に、ユーザが自身の指で、ある１つのマーカ上あるいはその一部をタッチした状態で、その指を当該マーカの可動範囲内を移動させれば、ＣＰＵ６は、今回のタッチ領域データの「位置情報はパラメータを変更するのに有意な位置を示している」と判別する。また別の例として、タッチパネル２上に前記図４（ｂ）のパラメータ設定画面が表示されている場合に、ユーザが自身の指を、ある１つのロータリエンコーダ上あるいはその一部をタッチした状態から、当該ロータリエンコーダに隣接する他のロータリエンコーダに触れる位置まで移動させずに、当該ロータリエンコーダを回転させれば、ＣＰＵ６は、今回のタッチ領域データの「位置情報はパラメータを変更するのに有意な位置を示している」と判別する。

前記ステップＳ１３の判別の結果、その位置情報はパラメータを変更するのに有意な位置を示していないときには、ＣＰＵ６は、処理を前記（４）のテンプレート破棄処理に進める（ステップＳ１３→Ｓ１２）一方、その位置情報はパラメータを変更するのに有意な位置を示しているときには、ＣＰＵ６は、処理をステップＳ１４に進める。

ステップＳ１４では、ＣＰＵ６は、前記ステップＳ１０の処理と同様にして、今回のタッチ領域データから指紋画像を検出できるかどうかを判別し、指紋画像を検出できる場合には、処理を前記（５）のパラメータ値＆表示更新処理に進める（ステップＳ１４→Ｓ１５）一方、指紋画像を検出できない場合には、処理を前記（６）の指紋検出不能処理に進める（ステップＳ１４→Ｓ２０）。

（５）パラメータ値＆表示更新処理では、まずＣＰＵ６は、今回のタッチ領域データとテンプレートとの間でパターンマッチングを行い、回転角と移動量を取得する（ステップＳ１５）。ここで、回転角は、今回のタッチ領域データを所定の回転角を単位として回転させながら、テンプレートのタッチ領域データとパターンマッチングを行い、両者が一致したときの回転回数×単位回転角を算出することで取得し、移動量は、今回のタッチ領域データの（中心点の）位置情報とテンプレートの（中心点の）位置情報との差分を算出することで取得すればよい。次にＣＰＵ６は、取得した回転角に応じて、第１のパラメータ値を算出し、前記デジタル信号処理回路１３（の対応するレジスタ）に算出した第１のパラメータ値を反映させる（設定する）（ステップＳ１６）。そしてＣＰＵ６は、取得した移動量、つまり、Ｘ軸方向およびＹ軸方向の各移動量に応じて、第２および第３の各パラメータ値を算出し、デジタル信号処理回路１３（の対応する各レジスタ）に算出した第２および第３の各パラメータ値を反映させる（設定する）（ステップＳ１７）。さらにＣＰＵ６は、今回のタッチ領域データ（およびその位置情報）でテンプレートを更新する（ステップＳ１８）。ただしステップＳ１８の処理は、テンプレートの利用の仕方によって省略することができる。このため、ステップＳ１８の枠は破線で描かれている。なお、ステップＳ１８の処理がどのような場合に省略でき、どのような場合に省略できないかについての具体的な説明は、後述する。最後にＣＰＵ６は、算出した第１〜第３の各パラメータ値を指示するように、対応する各操作子の表示を更新する（ステップＳ１９）。

たとえば、タッチパネル２上に前記図４（ａ）のパラメータ設定画面が表示されている場合に、ユーザが自身の指Ｆｂで番号“３”の付与されたマーカをタッチした状態で、その指Ｆｂを矢印Ｒａの方向に回転させると、高域のパラメトリック・イコライザのＱ値（前記ステップＳ１６の第１のパラメータに相当する）が小さくなり、その指Ｆｂを矢印Ｒｂの方向に回転させると、高域のパラメトリック・イコライザのＱ値が大きくなる。そして、ユーザが自身の指Ｆｂで番号“３”の付与されたマーカをタッチした状態で、その指Ｆｂを直線状に移動させると、そのＸ軸方向の移動量に応じた値だけ中心周波数Ｆ（前記ステップＳ１７の第２のパラメータに相当する）が変動し、そのＹ軸方向の移動量に応じた値だけ利得Ｇ（前記ステップＳ１７の第３のパラメータに相当する）が変動する。また、タッチパネル２上に前記図４（ｂ）のパラメータ設定画面が表示されている場合に、ユーザが自身の指Ｆａで“Parameter 3”と書かれたロータリエンコーダをタッチした状態で、その指Ｆａを矢印Ｒａの方向に回転させると、そのパラメータ（前記ステップＳ１６の第１のパラメータに相当する）の値が小さくなり、その指Ｆａを矢印Ｒｂの方向に回転させると、そのパラメータの値が大きくなる。ただしこのパラメータ設定画面では、前記ステップＳ１７の第２および第３のパラメータの値を変更することはできない。さらに、タッチパネル２上に前記図４（ｄ）のパラメータ設定画面が表示されている場合に、ユーザが自身の指Ｆａで“ＣＨ４”のノブをタッチした状態で、その指Ｆａを矢印Ｒａの方向に回転させると、“ＣＨ４”のパンポット（前記ステップＳ１６の第１のパラメータに相当する）の値が小さくなり、その指Ｆａを矢印Ｒｂの方向に回転させると、“ＣＨ４”のパンポットの値が大きくなる。そして、ユーザが自身の指Ｆａで“ＣＨ４”のノブをタッチした状態で、その指ＦａをＸ軸方向に移動させると、そのＸ軸方向の移動量に応じた値だけ利得（前記ステップＳ１７の第２のパラメータに相当する）が変動する。ただしこのパラメータ設定画面では、前記ステップＳ１７の第３のパラメータの値を変更することはできない。

このように本実施の形態では、いずれのパラメータ設定画面がタッチパネル２上に表示されたとしても、前記ステップＳ１６の第１のパラメータの値は設定できるものの、前記ステップＳ１７の第２および第３のパラメータの各値は、パラメータ設定画面によって設定できたり、できなかったりする。第２および第３のパラメータのうち、少なくとも一方の値が設定できる場合には、ユーザは自身の指１本で、回転操作に２次元平面上の移動操作を加えた３次元の操作を行うことができるので、さらに操作性を向上させることができる。

次にＣＰＵ６は、処理を前記（４）のテンプレート破棄処理に進める。この（４）テンプレート破棄処理では、ＣＰＵ６は、指が離されたと想定されるテンプレートを破棄する。ここで、「指が離されたと想定されるテンプレート」であるかどうかは、具体的には、所定時間（たとえば、１ｓｅｃ）以上参照されないテンプレートであるかどうかによって判別する。この「所定時間」も、前記タイマ９によって計時される。

前記ステップＳ１８の処理が省略できる場合とは、前記（３）のテンプレート登録処理で登録したテンプレートを、前記（５）のパラメータ値＆表示更新処理が終了するまで利用できる場合である。つまり、テンプレートとして初めて登録された有用な（つまり、指紋画像を検出可能な）タッチ領域データが、当該パラメータの値を設定するための指の回転操作が終了するまでに抽出される各有用なタッチ領域データとパターンマッチングされる基準データとして利用できる場合には、ステップＳ１８の処理を省略することができる。この場合には、パターンマッチングを粗く行わないと、回転角と移動量を検出できないので、パターンマッチングを粗くして、パターンマッチングにかかる演算処理を低減させたいときに有効である。

一方、ステップＳ１８の処理が省略できない場合とは、ステップＳ１８の処理が省略できる場合とは逆に、前記（３）のテンプレート登録処理で登録したテンプレートを、前記（５）のパラメータ値＆表示更新処理が終了するまで利用できない場合である。つまり、テンプレートとして初めて登録された有用なタッチ領域データでは、当該パラメータの値を設定するための指の回転操作が終了するまでに抽出される各有用なタッチ領域データとパターンマッチングされる基準データとして利用できないので、今回のタッチ領域データの１つ前の有用なタッチ領域データを基準データとしたい場合には、ステップＳ１８の処理を省略することができない。この場合は、パターンマッチングを細かく正確に行うことで、正確な回転角と移動量を検出したい場合であるので、パターンマッチングを細かくして、パターンマッチングにかかる演算処理を増大させても、正確な回転角と移動量を検出したいときに有効である。

なお、たとえば前記図４（ｂ）の状態で、ユーザが指Ｆａを矢印ＲａあるいはＲｂの方向に回転させているときに、指先の軸がずれてしまい、指Ｆａのタッチ位置が“Parameter 3”のロータリエンコーダ上から大きく上方向または下方向に離れた場合には、本実施の形態では、前記図３ｂのステップＳ１３の判別で“ＮＯ”となり、ステップＳ１２の処理で、所定時間経過後、当該テンプレートが破棄されて、“Parameter 3”についてのパラメータ設定は中止となる。しかしこの場合でも、ユーザが指Ｆａをタッチパネル２上から離さない限り、“Parameter 3”についてのパラメータ設定を継続するようにしてもよいし、“Parameter 3”のロータリエンコーダから所定距離以上離れたときに、“Parameter 3”についてのパラメータ設定を中止するようにしてもよい。また、指Ｆａが“Parameter 3”のロータリエンコーダから隣接するロータリエンコーダ、たとえば“Parameter 2”のロータリエンコーダに近付いた場合、ユーザが指Ｆａをタッチパネル２上から離さない限り、“Parameter 3”についてのパラメータ設定を継続するようにしてもよいし、パラメータ設定を“Parameter 3”についての設定から“Parameter 2”についての設定に切り替えるようにしてもよい。この事情は、前記図４（ｄ）のパラメータ設定画面についても同様に当てはまる。

また、前記図４（ｂ）の状態で、ユーザが指Ｆａを“Parameter 3”のロータリエンコーダ上にタッチして、指Ｆａでロータリエンコーダが見えなくなったとしても、本実施の形態では、特別の制御を行っていない。操作対象がロータリエンコーダの場合には、パラメータの現在値を示す目盛りがないので、問題は生じない。しかし、操作対象が前記図４（ｃ）のような目盛り付きのノブの場合、指Ｆａで“Parameter 3”のノブが見えなくなると、“Parameter 3”の現在値を視覚的に確認することができないので、このときには図示例のように、空いている領域に“Parameter 3”のノブを表示するようにすればよい。あるいは、“Parameter 3”の現在値を数値（“１００Ｈｚ”）で表示してもよい。

さらに本実施の形態では、ユーザの指によるタッチ領域データから指紋画像を検出するようにしたが、これに代えて、ユーザは指先に細かな模様の描かれた指サックを装着したり、直接指に細かな模様をインクで描いたりして、その指によるタッチ領域データから、描かれた模様の画像を検出するようにしてもよい。この場合、前記図３ａおよび図３ｂのメインルーチン中、指紋画像を処理するステップでは、ＣＰＵ６は、指に描かれた模様の画像を処理することになる。

また本発明は、ユーザの押圧操作、移動操作および指の指紋が検知できるタッチパネルであれば、多点入力に対応していないものでも同様に適用できる。ただしこのタッチパネルを採用した場合には、複数の指を用いて複数のパラメータの各値を同時に変更できないことは言うまでもない。

なお、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードおよび該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、たとえば、フレキシブルディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、通信ネットワークを介してサーバコンピュータからプログラムコードが供給されるようにしてもよい。

また、コンピュータが読出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。

２…多点タッチパネル式ディスプレイ（タッチパネル），４…検出回路（特定手段、指紋検出手段、移動量検出手段），５…表示回路（表示手段），６…ＣＰＵ（表示手段、特定手段、指紋検出手段、回転角検出手段、変更手段、制御手段、移動量検出手段）

Claims (4)

1. タッチパネルと、
   複数の楽音パラメータのそれぞれを当該パラメータの種類に応じた表示態様で前記タッチパネル上に表示する表示手段と、
   前記表示手段によって前記タッチパネル上に表示された複数の楽音パラメータのうち、少なくとも一部であって、変更対象とするものを、ユーザの指によるタッチ操作に応じて特定する特定手段と、
   前記ユーザの指によるタッチ操作後のタッチ領域データを前記タッチパネルから繰り返し抽出する抽出手段と、
   前記抽出手段によって抽出された各タッチ領域データからユーザの指上の模様画像を検出する模様検出手段と、
   前記ユーザの指によるタッチ操作後、ユーザがそのタッチ状態を維持しながら指先を回転させたときに、前記模様検出手段によって検出された一連の模様画像をパターンマッチングすることで、前記指先の回転角を検出する回転角検出手段であって、当該回転角の検出中に指のタッチ位置がずれた場合、所定の条件が満たされるまではそのずれに拘わらず当該回転角の検出を継続する回転角検出手段と、
   前記回転角検出手段によって検出された回転角に応じて、前記特定手段によって特定された楽音パラメータの値を変更する変更手段と
   を有することを特徴とする電子音楽装置。
2. 前記変更手段によって変更された楽音パラメータの値を前記タッチパネル上の表示に反映させるように前記表示手段を制御する制御手段をさらに有することを特徴とする請求項１に記載の電子音楽装置。
3. 前記ユーザの指によるタッチ操作後、ユーザがそのタッチ状態を維持しながら指先を移動させたときの移動量を検出する移動量検出手段をさらに有し、
   前記変更手段は、前記移動量検出手段によって検出された移動量に応じて、前記特定された楽音パラメータに関連する別の楽音パラメータの値を変更することを特徴とする請求項１または２に記載の電子音楽装置。
4. タッチパネルを備えた電子音楽装置を制御する制御方法をコンピュータに実行させるためのプログラムであって、
   前記制御方法は、
   複数の楽音パラメータのそれぞれを当該パラメータの種類に応じた表示態様で前記タッチパネル上に表示する表示ステップと、
   前記表示ステップによって前記タッチパネル上に表示された複数の楽音パラメータのうち、少なくとも一部であって、変更対象とするものを、ユーザの指によるタッチ操作に応じて特定する特定ステップと、
   前記ユーザの指によるタッチ操作後のタッチ領域データを前記タッチパネルから繰り返し抽出する抽出ステップと、
   前記抽出ステップによって抽出された各タッチ領域データからユーザの指上の模様画像を検出する模様検出ステップと、
   前記ユーザの指によるタッチ操作後、ユーザがそのタッチ状態を維持しながら指先を回転させたときに、前記模様検出ステップによって検出された一連の模様画像をパターンマッチングすることで、前記指先の回転角を検出する回転角検出ステップであって、当該回転角の検出中に指のタッチ位置がずれた場合、所定の条件が満たされるまではそのずれに拘わらず当該回転角の検出を継続する回転角検出ステップと、
   前記回転角検出ステップによって検出された回転角に応じて、前記特定ステップによって特定された楽音パラメータの値を変更する変更ステップと
   を有する
   ことを特徴とするプログラム。