JP2024002275A - コントローラ、楽音発生システム、方法、プログラム及び記憶媒体 - Google Patents

Abstract

【課題】身体の動きが制限されたユーザが楽音発生装置を容易に制御するコントローラ、楽音発生システム、方法、プログラム及び記憶媒体を提供する。【解決手段】楽音発生システム１において、楽音発生装置を制御するコントローラは、ユーザの視線情報を取得する取得部と、楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に表示するとともに、取得部により取得した視線情報に基づいて、操作子を選択するためのポインタを表示部に表示する表示制御部と、複数の操作子のうちポインタの少なくとも一部と重なる操作子の選択を決定する決定部と、決定部が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を楽音発生装置に送信する通信部と、を有する。【選択図】図３

Description

本発明は、コントローラ、楽音発生システム、方法、プログラム及び記憶媒体に関する。

従来、楽音発生装置から発生される楽音を制御するための演奏制御情報を操作者の身体状況に応じて生成する演奏インターフェイスが知られている（特許文献１参照）。

特開２００１－１９５０５９号公報

しかしながら、従来、ＡＬＳ患者等の身体の動きが制限されたユーザが使用することについては、何ら提案されていない。

本発明が解決しようとする課題は、身体の動きが制限されたユーザが楽音発生装置を容易に制御可能にすることである。

第１態様に係るコントローラは、楽音発生装置を制御するコントローラであって、ユーザの視線情報を取得する取得部と、楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に表示するとともに、前記取得部により取得した前記視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示する表示制御部と、前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定する決定部と、前記決定部が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信する通信部と、を有する。

この構成によれば、身体の動きが制限されたユーザが楽音発生装置を容易に制御することができる。

第２態様に係るコントローラは、上記第１態様に係るコントローラにおいて、入力装置を用いたユーザによる入力操作を受け付ける受付部をさらに有し、前記決定部は、前記受付部が受け付けた入力操作に応じて前記操作子の選択を決定する。

この構成によれば、ユーザの視線情報を用いた入力（視線入力）と入力装置を用いた入力とを併用することにより、操作子の選択の決定を迅速に行うことができる。

第３態様に係るコントローラは、上記第２態様に係るコントローラにおいて、前記入力操作は、ユーザの体の一部によってスイッチを押下することであり、前記決定部は、前記ユーザの視線情報と、前記スイッチの押下以外のユーザ操作なしで、前記操作子の選択を決定する。

この構成によれば、ユーザの視線情報とスイッチ操作により操作子を選択できるため、身体の動きが制限されたユーザであっても容易に楽音発生装置を制御することができる。

第４態様に係るコントローラは、上記第１から第３態様のいずれかに係るコントローラにおいて、前記決定部は、前記ポインタの少なくとも一部と重なる状態が所定時間経過した操作子の選択を決定する。

この構成によれば、手足を動かすことが困難なユーザであっても、視線情報を用いることにより操作子を選択することができる。

第５態様に係るコントローラは、上記第１から第４態様のいずれかに係るコントローラにおいて、前記決定部は、前記ポインタの基準位置と重なる操作子の選択を決定する。

この構成によれば、操作子の選択をより正確に行うことができる。

第６態様に係るコントローラは、上記第５態様に係るコントローラにおいて、前記基準位置は、前記ポインタの略中心である。

この構成によれば、より容易に操作子を選択することができる。

第７態様に係るコントローラは、上記第１から第６態様のいずれかに係るコントローラにおいて、前記表示制御部は、前記ポインタの近傍に演奏中の楽曲の拍と小節番号を表示する。

この構成によれば、演奏中の楽曲の拍と小節番号をユーザが常に確認しながらコントローラを操作することができる。

第８態様に係るコントローラは、上記第７態様に係るコントローラにおいて、前記表示制御部は、前記ポインタを含む領域を拡大して前記表示部に表示する。

この構成によれば、複数の操作子の中から所望の操作子を容易に選択することができる。

第９態様に係るコントローラは、上記第１から第８態様のいずれかに係るコントローラにおいて、前記表示制御部は、前記複数の操作子を前記表示部の画面中心付近に画面周辺よりも多く表示する。

この構成によれば、眼球の動きが制限されたユーザであっても容易に操作子を選択することができる。

第１０態様に係るコントローラは、上記第１から第９態様のいずれかに係るコントローラにおいて、前記複数の操作子は、２種類のパラメータを同時に変更可能なＸＹパッドを含む。

この構成によれば、視線情報を用いてＸＹパッドを操作することができる。

第１１態様に係るコントローラは、上記第１態様に係るコントローラにおいて、前記決定部は、前記ユーザの視線情報以外のユーザ操作なしで、前記操作子の選択を決定する。

この構成によれば、ユーザの視線情報（視線入力）のみで操作子を選択できるため、身体の自由が制限されたユーザであっても容易に楽音発生装置を制御することができる。

第１２態様に係る楽音発生システムは、楽音発生装置と該装置を制御するコントローラとを備えた楽音発生システムであって、ユーザの視線情報を取得する取得部と、楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に表示するとともに、前記取得部により取得した前記視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示する表示制御部と、前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定する決定部と、前記決定部が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信する通信部と、を有する。

第１３態様に係る方法は、楽音発生装置を制御する方法であって、ユーザの視線情報を取得するステップと、楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に表示するとともに、前記視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示するステップと、前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定するステップと、前記決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信するステップと、を有することを特徴とする方法。

この構成によれば、身体の動きが制限されたユーザが楽音発生装置を容易に制御することができる。

第１４態様に係るプログラムは、コンピュータに、楽音発生装置を制御する方法を実行させるためのプログラムであって、前記方法は、楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に表示するとともに、ユーザの視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示するステップと、前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定するステップと、前記決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信するステップと、を有することを特徴とするプログラム。

第１５態様に係る記憶媒体は、上記第１４態様に係るプログラムを記憶したコンピュータで読み取り可能な記憶媒体である。

本発明によれば、身体の動きが制限されたユーザが楽音発生装置を容易に制御することができる。

本実施形態に係る楽音発生システム１のシステム構成の一例を示す図である。 本実施形態に係る楽音発生システム１のハードウェア構成の一例を示すブロック図である。 本実施形態に係る楽音発生システム１の機能構成の一例を示すブロック図である。 本実施形態に係る楽音発生システム１の動作の一例を示すフローチャートである。 本実施形態に係るコントローラ２のユーザインタフェースの一例を示す図である。 図５に示すユーザインタフェースの領域Ａの拡大図である。 本実施形態に係るコントローラ２のユーザインタフェースの変形例を示す図である。

以下に、添付の図面を参照して、本発明の実施の形態を詳細に説明する。なお、各図において同等の機能を有する構成要素には同一の符号を付し、同一符号の構成要素の詳しい説明は繰り返さない。

（楽音発生システムの構成）
図１は、一実施の形態に係る楽音発生システム１の概略的な構成を示す図である。図１に示すように、本実施形態に係る楽音発生システム１は、コントローラ２と楽音発生装置３とを備えている。コントローラ２と楽音発生装置３とは後述の通信インタフェース（Ｉ／Ｆ）により通信可能に接続されている。

コントローラ２は、楽音発生装置３をＭＩＤＩ規格に準拠した通信プロトコルに基づいて制御するための装置である。そして、コントローラ２は、ＡＬＳ患者等の身体の動きに制限のあるユーザが視線入力により各種情報をコントローラ２に入力するためのアイトラッキング装置２１と、ユーザが手動操作を行う入力装置２２に接続される（コントローラ２がアイトラッキング装置２１と入力装置２２とを備えていてもよい）。

アイトラッキング装置２１は、ユーザの眼の動き（視線方向）を追跡し、視線情報をコントローラ２に出力する。視線情報は、例えば、ユーザの眼球像を逐次撮像した画像から瞳孔等の特徴的なパターンを抽出することにより生成することができる。本実施形態は、ＡＬＳ患者が視線を動かすことができることに着目し、視線情報を用いて楽音発生装置３を制御するものである。

入力装置２２は、手動スイッチ、フットスイッチ等のユーザが操作可能な入力装置である。ユーザが入力装置２２を用いて操作を行うと、その操作に応じた信号が入力装置２２からコントローラ２に出力される。入力装置２２は、ＡＬＳ患者等の身体の動きが制限されたユーザが簡単に入力操作を行えるものであるのが望ましく、例えば入力操作はユーザの体によってスイッチを押下することである。

楽音発生装置３は、コントローラ２から受信したＭＩＤＩ規格に準拠した信号に基づいて楽音を発生させるための装置である。例えば、ＤＡＷ（Digital Audio Workstation）と称される統合音楽ソフトウェアをパーソナルコンピュータにインストールして実行することにより当該パーソナルコンピュータを楽音発生装置として用いることができる。また、楽音発生装置３は、音響信号に基づいて放音するためのサウンドシステム３１を備えている。

（ハードウェア構成）
次に、本実施形態に係る楽音発生システム１のハードウェア構成について説明する。図２は、本実施形態に係る楽音発生システム１のハードウェア構成の一例を示すブロック図である。

コントローラ２において、ＣＰＵ２３は、このコントローラ２全体の動作を制御する処理装置である。ＲＯＭ２４は、ＣＰＵ２３が実行する制御プログラムや各種のデータを格納する不揮発性メモリである。ＲＡＭ２５は、ＣＰＵ２３が実行するプログラムのロード領域やワーク領域に使用する揮発性メモリである。ディスプレイ２６は、各種の情報（ユーザインタフェース）を表示する表示装置である。記憶装置２７は、各種の情報を記憶するための記憶手段であり、コントローラ２本体に内蔵されているものでも、記憶媒体が着脱可能なものでもよい。通信インタフェース（Ｉ／Ｆ）２８は、楽音発生装置３と接続するためのインタフェースである。バス２９は、上記各構成要素を相互に接続するバスラインである。

楽音発生装置３は、本実施形態ではＰＣにＤＡＷソフトウェアをインストールしたものである。該ＤＡＷソフトウェアを実行することにより、音楽制作の各種の機能（例えば、ハードディスクレコーディング機能、ＭＩＤＩデータやオーディオデータの作成編集機能、ミキシング機能、シーケンサ機能など）を実現することができる。なお、本実施形態では楽音発生装置３をＰＣとＤＡＷソフトウェアで構成した例で説明するが、単体のシーケンサ装置などでもよい。

楽音発生装置３において、ＣＰＵ３２、ＲＯＭ３３、ＲＡＭ３４、記憶装置３６、マウス・キーボード等の入力装置３７及びディスプレイ３８は、汎用のＰＣが備える基本構成である。通信Ｉ／Ｆ３５は、コントローラ２と接続するためのインタフェースである。なお、通信Ｉ／Ｆ２８と３５は、例えば、ＭＩＤＩなどの音楽専用有線Ｉ／Ｆ、ＵＳＢやＩＥＥＥ１３９４等の汎用有線Ｉ／Ｆや無線ＬＡＮやBluetooth(登録商標)等の汎用無線Ｉ／Ｆである。サウンドシステム３１は、デジタルアナログ（Ｄ／Ａ）変換機能などを備えるサウンドＩ／Ｏであるコーデックから渡されるアナログ音響信号を放音する。このサウンドシステム３１は、楽音発生装置３を構成するＰＣが備えるスロットにボードやカードを挿入する形式で付加された機能である。バス３９は、上記各構成要素を相互に接続するバスラインである。

（機能構成）
次に、本実施形態に係る楽音発生システム１の機能構成について説明する。図３は、本実施形態に係る楽音発生システム１の機能構成の一例を示す図である。

図３に示すように、コントローラ２は、制御部２００と、表示部２１０と、記憶部２１１と、通信部２１２とを有している。

制御部２００は、取得部２０１と、受付部２０２と、決定部２０４と、表示制御部２０３とを有している。

取得部２０１は、コントローラ２のユーザの視線情報を取得する。具体的には、取得部２０１はアイトラッキング装置２１から出力されるユーザの視線方向に関する情報（視線情報）を取得する。

受付部２０２は、入力装置２２（手動スイッチ、フットスイッチ等）を用いたユーザによる入力操作を受け付ける。

表示制御部２０３は、楽音発生装置３の制御コマンドに関連付けられた複数の操作子（アイコン）を各種の情報とともに表示部２１０（図２のディスプレイ２６に相当）に表示する。また、表示制御部２０３は、取得部２０１により取得したユーザの視線情報に基づいて、操作子を操作するためのポインタを表示部２１０に表示する。

図５は、表示制御部２０３によって表示部２１０に表示されるユーザインタフェース５０の一例を示す図である。図５に示すように、ユーザインタフェース５０は、インジケータとして、指標５１と、演奏シーン名称部５２とを含む。また、ユーザインタフェース５０は、複数の操作子として、再生ボタン５３と、停止ボタン５４と、エフェクタボタン５５、５６と、シンセサイザボタン５７～６０と、エフェクタ種類選択ボタン６１と、マッピングボタン６２、６３と、ＸＹパッド６４と、自動演奏ボタン６５と、マニュアル演奏ボタン６６と、を含む。これらの各操作子５３～６６は、楽音発生装置３（ＤＡＷ）の各制御コマンドに関連付けられており、各操作子５３～６６をユーザが操作（選択）することにより楽音発生装置３が各制御コマンドに応じた処理を行う。

指標５１は、演奏中の楽曲の拍と小節番号を「０００．００（拍．小節番号）」の形式で示す。演奏シーン名称部５２には、例えば、演奏者であるユーザの名前が表示される。

再生ボタン５３は、楽曲の再生を開始するための操作子である。また、停止ボタン５４は、楽曲の再生を停止するための操作子である。エフェクタボタン５５、５６は、音声エフェクトを実行するための操作子である。シンセサイザボタン５７～６０は、音階演奏、楽音合成するための操作子である。なお、操作子５５～６０の各操作子は各々３種類ずつ選択でき、１～３の数字のアイコンで各操作子の隣に表示されている。エフェクタ種類選択ボタン６１は、エフェクタの種類を選択するための操作子である。マッピングボタン６２、６３は、２次元的な操作を受け付けるＸＹパッド６４のＸ方向の操作とＹ方向の操作とをＤＡＷのそれぞれ異なる増減操作子に対する操作として割り当てるための操作子である。ＸＹパッド６４は、２種類のパラメータを同時に変更可能な操作子である。ＸＹパッド６４上でポインタＰを移動させることにより２種類のパラメータを同時に変更することができる。なお、ＸＹパッド６４の操作は、受付部２０２が入力装置２２による操作を受け付けている間に有効となるようにしてもよい。例えば、ユーザが手動スイッチ（入力装置２２）を押下した状態で視線入力によりポインタＰをＸＹパッド６４上で移動させることでＸＹパッド６４の操作（２種類のパラメータの変更）ができるようにしてもよい。自動演奏ボタン６５は、事前に録音した楽音を再生するための操作子である。マニュアル演奏ボタン６６は、リアルタイム演奏の開始及び録音をするための操作子である。

また、ユーザインタフェース５０は、上記の各操作子を操作／選択するためのポインタＰを含む。ポインタＰは、取得部２０１が取得した視線情報に基づいて表示部２１０に表示される。具体的には、視線情報から表示部２１０の画面上における注視点の位置を求め、当該位置にポインタＰが表示される。

図６は、図５の領域Ａの拡大図である。図６に示すように、ポインタＰは、基準位置Ｐ１と、該基準位置Ｐ１を略中心とした所定の大きさの円形領域Ｐ２とを有する。また、ポインタＰの円形領域Ｐ２の近傍に指標Ｑが表示される。指標Ｑは、上述の指標５１と同様に演奏中の楽曲の拍と小節番号を「０００．００（拍．小節番号）」の形式で示す指標である。

また、表示制御部２０３は、図６に示すように、ユーザインタフェース５０の一部（例えば、領域Ａ）が拡大表示することができる。これにより、各操作子の操作／選択をより確実に行うことができる。ユーザインタフェース５０の一部が拡大表示された場合には、ユーザインタフェース５０の画面左上に表示された指標５１が表示範囲外となるが、上述のとおりポインタＰの近傍に指標Ｑが表示されるので、拡大表示時においてもユーザは演奏中の楽曲の拍と小節番号を常に確認しながら各操作子を操作することができる。

図７は、ユーザインタフェース５０の変形例に係るユーザインタフェース７０を示す図である。図７に示すように、ユーザインタフェース７０においては、複数の操作子が表示部２１０の画面中心付近に画面周辺よりも多く表示（配置）される。これにより、表示部２１０の画面の端から端まで視線を移動させることが困難な眼球の動きが制限されたユーザであっても容易に操作子を操作することができる。

図３に戻って、決定部２０４は、上記複数の操作子のうちポインタＰの少なくとも一部と重なる操作子の選択を決定する。これにより、アイトラッキング装置２１を用いた視線入力のみで操作子の選択を決定することができる。また、決定部２０４は、ポインタＰの基準位置Ｐ１と重なる操作子の選択を決定するようにしてもよい。これにより、操作子が隣接して配置されている場合に、操作子の誤操作（誤選択）を低減させることができる。また、決定部２０４は、ポインタＰの少なくとも一部と重なる状態が所定時間（例えば、２秒間）経過した操作子の選択を決定するようにしてもよい。これにより、より確実に操作子の選択を決定することができる。このような選択法は、視線情報のみで操作子を選択できるため、視線を動かすこと以外の動作が困難なユーザにも有用である。

また、決定部２０４は、受付部２０２が受け付けたユーザによる入力装置２２を用いた入力操作に応じて操作子の選択を決定してもよい。すなわち、ユーザは、アイトラッキング装置２１を用いた視線入力で操作子を選択し、入力装置２２（手動スイッチ、フットスイッチ等）を用いて操作子の選択を決定することができる。このようにすることで、上述のポインタＰの少なくとも一部と重なる状態が所定時間経過した操作子の選択を決定する場合と比べてユーザは操作子の選択の決定をより迅速に行うことができる。このような選択法は、視線を動かすことに加え、手や足など体の一部で入力装置２２の操作を可能なユーザに有用である。

記憶部２１１は、各操作子に関連付けた楽音発生装置３（ＤＡＷ）の各制御コマンドに関する情報を記憶する。

通信部２１２は、決定部２０４が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報（制御コマンド情報、ＭＩＤＩイベント情報）を楽音発生装置３に送信する。

次に、楽音発生装置３の機能構成について説明する。図３に示すように、楽音発生装置３は、オーディオ入力部３０１と、シーケンサ３０２と、レコーダ３０３と、音源３０４と、ミキサ３０５と、サウンドシステム３０６と、通信部３０７とを有する。

オーディオ入力部３０１は、デジタルに変換したアナログ音響信号の入力や、デジタル音響信号そのものの入力を行う。

シーケンサ３０２は、通信部３０７が受信したＭＩＤＩイベント情報を記録する。このＭＩＤＩイベント情報は、後述の音源３０４に供給される。

音源３０４はソフトウェア音源である。音源３０４は、入力したＭＩＤＩイベント情報に応じてオーディオ信号を生成する。音源３０４から出力されたオーディオ信号は、レコーダ３０３やミキサ３０５に入力する。

レコーダ３０３は、オーディオ入力部３０１により入力されたオーディオ信号や音源３０４から出力されたオーディオ信号を記録する。レコーダ３０３に記録されたオーディオ信号は、再生の指示に応じてミキサ３０５に出力される。

ミキサ３０５は、音源３０４やレコーダ３０３から出力されるオーディオ信号をサウンドシステム３０６へと供給する。

（動作の一例）
次に、楽音発生システム１の動作の一例について説明する。図４は、楽音発生システム１の動作の一例を示すフローチャートである。

まず、コントローラ２において制御部２００の取得部２０１は、アイトラッキング装置２１から出力されるユーザの視線情報を取得する（ステップＳ１）。視線情報の取得は任意のタイミングで行われてよく、例えばリアルタイムに常時行われる。

次に、制御部２００の表示制御部２０３は、楽音発生装置３（ＤＡＷ）の制御コマンドに関連付けられた複数の操作子を表示部２１０に表示する（ステップＳ２）。

また、制御部２００の表示制御部２０３は、取得部２０１により取得した視線情報に基づいて、操作子を操作するためのポインタを表示部２１０に表示する（ステップＳ３）。

次に、制御部２００の決定部２０４は、複数の操作子のうちポインタの少なくとも一部と重なる操作子の選択を決定する（ステップＳ４）。

続いて、通信部３０７は、決定部２０４が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を楽音発生装置３に送信する（ステップＳ５）。

そして、楽音発生装置３において、コントローラ２から受信したＭＩＤＩ規格に準拠した情報に基づいて各種処理（制御コマンドの実行、ＭＩＤＩイベントの記録等）が行われる（ステップＳ６）。

以上説明したとおり、本実施形態によれば楽音発生システム１が、ユーザの視線情報を取得する取得部２０１と、楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部２１０に表示するとともに、取得部２０１により取得した視線情報に基づいて、操作子を操作するためのポインタＰを表示部２１０に表示する表示制御部２０３と、複数の操作子のうちポインタＰの少なくとも一部と重なる操作子の選択を決定する決定部２０４と、決定部２０４が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を楽音発生装置３に送信する通信部２１２と、を有するので、身体の動きが制限されたユーザが楽音発生装置３を容易に制御することができる。

本明細書で述べた各機能部の任意の一部または全部をプログラムによって実現するようにしてもよい。本明細書で言及したプログラムは、コンピュータ読み取り可能な記録媒体に非一時的に記録して頒布されてもよいし、インターネットなどの通信回線（無線通信も含む）を介して頒布されてもよいし、任意の端末にインストールされた状態で頒布されてもよい。

上記の記載に基づいて、当業者であれば、本発明の追加の効果や種々の変形例を想到できるかもしれないが、本発明の態様は、上述した個々の実施形態には限定されるものではない。特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。

例えば、本明細書において１台の装置（あるいは部材、以下同じ）として説明されるもの（図面において１台の装置として描かれているものを含む）を複数の装置によって実現してもよい。逆に、本明細書において複数の装置として説明されるもの（図面において複数の装置として描かれているものを含む）を１台の装置によって実現してもよい。あるいは、ある装置（例えばサーバ）に含まれるとした手段や機能の一部または全部が、他の装置（例えばユーザ端末）に含まれるようにしてもよい。

また、本明細書に記載された事項の全てが必須の要件というわけではない。特に、本明細書に記載され、特許請求の範囲に記載されていない事項は任意の付加的事項ということができる。

なお、本出願人は本明細書の「先行技術文献」欄の文献に記載された文献公知発明を知っているにすぎず、本発明は必ずしも同文献公知発明における課題を解決することを目的とするものではないことにも留意されたい。本発明が解決しようとする課題は本明細書全体を考慮して認定されるべきものである。例えば、本明細書において、特定の構成によって所定の効果を奏する旨の記載がある場合、当該所定の効果の裏返しとなる課題が解決されるということもできる。ただし、必ずしもそのような特定の構成を必須の要件とする趣旨ではない。

１ 楽音発生システム
２ コントローラ
２１ アイトラッキング装置
２２ 入力装置
２０１ 取得部
２０２ 受付部
２０３ 表示制御部
２０４ 決定部
２１０ 表示部
２１１ 記憶部
２１２ 通信部
３ 楽音発生装置

Claims (15)

1. 楽音発生装置を制御するコントローラであって、
   ユーザの視線情報を取得する取得部と、
   楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に表示するとともに、前記取得部により取得した前記視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示する表示制御部と、
   前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定する決定部と、
   前記決定部が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信する通信部と、
   を有することを特徴とするコントローラ。
2. 入力装置を用いたユーザによる入力操作を受け付ける受付部をさらに有し、
   前記決定部は、前記受付部が受け付けた入力操作に応じて前記操作子の選択を決定することを特徴とする請求項１に記載のコントローラ。
3. 前記入力操作は、ユーザの体の一部によってスイッチを押下することであり、
   前記決定部は、前記ユーザの視線情報と、前記スイッチの押下以外のユーザ操作なしで、前記操作子の選択を決定することを特徴とする請求項２に記載のコントローラ。
4. 前記決定部は、前記ポインタの少なくとも一部と重なる状態が所定時間経過した操作子の選択を決定することを特徴とする請求項１に記載のコントローラ。
5. 前記決定部は、前記ポインタの基準位置と重なる操作子の選択を決定することを特徴とする請求項１に記載のコントローラ。
6. 前記基準位置は、前記ポインタの略中心であることを特徴とする請求項５に記載のコントローラ。
7. 前記表示制御部は、前記ポインタの近傍に演奏中の楽曲の拍と小節番号を表示することを特徴とする請求項１から６のいずれかに記載のコントローラ。
8. 前記表示制御部は、前記ポインタを含む領域を拡大して前記表示部に表示することを特徴とする請求項７に記載のコントローラ。
9. 前記表示制御部は、前記複数の操作子を前記表示部の画面中心付近に画面周辺よりも多く表示することを特徴とする請求項１に記載のコントローラ。
10. 前記複数の操作子は、２種類のパラメータを同時に変更可能なＸＹパッドを含むことを特徴とする請求項１に記載のコントローラ。
11. 前記決定部は、前記ユーザの視線情報以外のユーザ操作なしで、前記操作子の選択を決定することを特徴とする請求項１に記載のコントローラ。
12. 楽音発生装置と該装置を制御するコントローラとを備えた楽音発生システムであって、
    ユーザの視線情報を取得する取得部と、
    楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に表示するとともに、前記取得部により取得した前記視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示する表示制御部と、
    前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定する決定部と、
    前記決定部が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信する通信部と、
    を有することを特徴とする楽音発生システム。
13. 楽音発生装置を制御する方法であって、
    ユーザの視線情報を取得するステップと、
    楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に表示するとともに、前記視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示するステップと、
    前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定するステップと、
    前記決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信するステップと、
    を有することを特徴とする方法。
14. コンピュータに、楽音発生装置を制御する方法を実行させるためのプログラムであって、前記方法は、
    楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に表示するとともに、ユーザの視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示するステップと、
    前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定するステップと、
    前記決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信するステップと、
    を有することを特徴とするプログラム。
15. 請求項１４に記載のプログラムを記憶したコンピュータで読み取り可能な記憶媒体。