JP4328828B2 - 携帯型和音出力装置、コンピュータプログラムおよび記録媒体 - Google Patents

Description

この発明は、例えばギター、ピアノ等のような実楽器で奏でられる和音を操作者主導で行えるようにする携帯型和音出力装置およびその関連品に関する。

音処理その他の情報処理技術の発達により、実楽器で奏でられる音を電子的手段により出力する電子楽器装置が実現されている。この種の電子楽器装置は、例えば、実楽器を模した形状の筐体に、複数のセンサ、音出力ユニットおよび制御ユニットを設けて構成される。センサは、操作者が操作する部位に設けられ、操作者がある操作を行ったことを検知したときに所定のデータを出力する。制御ユニットには、楽音出力用のプログラムおよびデータが格納されており、センサ出力に応じた音源データを生成し、これをスピーカを含む音出力ユニットから出力させる。

電子楽器装置の中には、発光素子又はディスプレイ等の表示ユニットを備えたものもある。このような電子楽器装置では、表示ユニットに操作の手順を逐次表示し、操作者がその手順に従う操作入力を行うことにより、実楽器と同様の楽音を出力させる。電子楽器装置の中には、さらに、いわゆる「カラオケ」のように、歌詞の表示を伴うものもある。すなわち、装置内のメモリに、操作者が操作すべき操作内容を表す操作指示データとリンクした歌詞データを保存しておき、歌詞データを表示ユニットに表示させる際に操作指示データを併せて表示することにより、歌詞表示と操作指示内容とを連動させている。

上記例に示されるとおり、従来の電子楽器装置は、高価な実楽器ないしカラオケに代わって、楽音を低廉に出力できるという利点がある。また、これらの電子楽器装置は、装置固有の操作手順さえ覚えてしまえば、実楽器を弾けない者でも、簡単に演奏操作できるようになる。

音楽は、楽器を巧みに演奏できなければ楽しめないというものではない。音楽は身近なものである。例えばギターの場合、旋律を弾けなくとも、和音さえ弾ければ一人でも大勢でも気軽にどこでも音楽を楽しむことができる。しかしながら、和音には膨大な種類があり、それを覚えるのは大変である。例えば三つの音から成る和音だけでもＣ、Ｄｍ、Ｅｍ、Ｆ、Ｇ、Ａｍ、Ｂｍ等がある。四つの音から成る和音にはＣｍａｊ７、Ｄｍ７、Ｅｍ７、Ｆｍａｊ７、Ｇ７、Ａｍ７、Ｂｍ７♭５等がある。これらの和音に、基音から数えて９度の音や１１度等と言ったテンションノートを加えた和音もある。また、ギターの場合、指板上のどのポジションで押さえるかによっても和音のフォームが異なる。すなわちＣコードといえども、ローポジションでの指押さえ位置と、ハイポジションでの指押さえ位置、若しくは、それらの間のミドルポジションでの指押さえ位置とそれぞれ異なる。このような膨大な種類の和音について、楽曲毎に、適切な指押さえ位置を紙上に示すことも行われているが、印刷物そのものが嵩張り、取扱性が悪い。また、調べたい特定の和音の指押さえ位置を知るのに、複数頁を捲りながらその中から該当するものを抽出しなければならず、使い勝手も悪い。

上述した従来の電子楽器装置において、和音データを予め用意しておき、装置側から操作者に対して和音の操作入力を指示する構成にすることが考えられる。しかし、ディスプレイを備えない電子楽器装置でこれを実現しようとすると、操作者の側で和音出力のための操作内容を覚えていなければならないという不便さがある。ディスプレイを備える電子楽器装置であっても、装置主導で進行する表示内容にあわせて和音の操作指示を入力しなければならないため、操作に熟練を要する。カラオケのような電子楽器装置では、歌を歌う者のペースで操作指示を入力することができないため、同じ楽曲をそのときの気分に合わせてゆっくり歌ったり、早いテンポで歌ったりするということができない。また、弾き語りのようなことを行うことができない。

従来の電子楽器装置は、また、装置の操作を覚えてしまえば一定の楽音が出力されるので、熟練者になるほど魅力度が低くなって飽きてしまうという問題があった。
このような事情は、ギターに限らず、和音を出力できる他の実楽器、例えばピアノ等の音を電子的に実現する小型の電子楽器装置に共通となっている。

本発明は、熟練の程度にかかわらず、操作者が、任意の場所で、自分のペースで自由かつ簡単な操作により出力して、弾き語りを可能にしたり、あるいは、大勢の仲間が集まって合唱するときの伴奏を、操作者主導で行えるようにする携帯型の和音出力装置を提供することを課題とする。

本発明の和音出力装置は、携帯サイズの筐体に、それぞれ操作者が一方の片手指で選択可能な複数の操作子と、操作者が他方の片手指で直接又は間接にタッチ操作可能なタッチセンサとが形成されており、前記筐体には、相互に結合されたデータメモリ、制御機構及び音出力機構が設けられており、前記データメモリには、実楽器が奏でる音特性を有する和音を前記音出力機構から出力させるための和音データファイルが、当該和音を識別するための和音ＩＤと共に複数記録されており、前記複数の操作子の各々には、いずれかの前記和音ＩＤが割り当てられている。

前記制御機構は、操作者がどの操作子を選択し始めてその選択を何時解除したかを検出する操作子選択状況検出手段と、前記タッチセンサへのタッチ開始時期を含む操作内容を検出する操作内容検出手段と、前記操作子選択状況検出手段で検出した操作子に割り当てられている前記和音ＩＤをもとに特定した和音データファイルを、前記データメモリより読み出して前記音出力機構に供給し、これにより出力可能になる和音を、前記操作内容検出手段が検出した操作内容と連動する態様で前記音出力機構から出力させる和音出力制御手段とを備えるものである。

本発明の和音出力装置において、前記操作内容検出手段は、例えば、前記タッチ開始時期のほか、前記タッチセンサへのタッチ操作方向、タッチ操作速度、およびタッチ操作位置の少なくとも一つを検出するものである。この場合において、前記和音出力制御手段は、前記タッチ操作方向又はタッチ操作速度が検出されたときは検出方向又は検出速度に応じて定められた和音を前記音出力機構から出力させ、当該タッチ操作方向の変化が検出されたときはその出力周波数を変化方向に応じて変化させ、タッチ操作速度の変化が検出されたときはその出力強度を変化速度に応じて変化させ、前記タッチ操作位置が検出されたときは当該検出位置に予め割り当てられた出力態様で出力させる。

前記和音データファイルは、例えば、実楽器で奏でられた和音を録音して成るデータファイルであり、実楽器は、複数の弦がほぼ同じ時間に弾かれることにより前記和音が奏でられる弦使用楽器である。このようなデータファイルを用いることにより、あたかも実楽器で奏でたような特性の和音を出力することができる。

ある実施の態様では、前記データメモリを前記制御機構及び音出力機構と離脱自在に結合するためのメモリ収脱機構を備えて和音出力装置が構成される。このデータメモリには、前記弦楽器使用楽器を含む実楽器毎の前記データファイルが記録されている。データメモリには、また、連続する複数の小節から構成される楽曲の表示用画像データが記録されており、各小節には、それぞれ、当該実楽器用に割り当てられた１又は複数の前記和音ＩＤが関連付けられている。このようなデータメモリへのアクセスを可能にする和音出力装置において、前記制御機構は、前記楽曲の表示用画像データに基づいて所定の画像表示領域に、１つ又は複数の小節毎の楽曲画像を表示させるとともに、表示中の楽曲画像の小節に関連付けられている前記和音ＩＤをもとに特定された和音データファイルが前記音出力機構から出力されたときに、当該表示中の楽曲画像に代えて次の１つ又は複数の小節を含む楽曲画像を前記画像表示領域に表示させる表示制御手段をさらに備えており、操作者の前記操作子の選択ならびに前記タッチセンサの操作に起因して前記画像表示領域における楽曲画像の表示変更を進行させる。
これにより、装置主導ではなく、操作者主導で楽曲画像を進めることができる。

前記画像表示領域に表示される楽曲画像は、例えば、当該１つ又は複数の小節に割り当てられた、当該楽曲の歌詞と、和音出力のための前記タッチセンサの操作タイミングを案内する情報と、前記楽器における和音の生成を案内する情報との少なくともいずれかを伴うものとするものである。
前記制御機構は、前記楽曲画像の表示変更の進行履歴、該楽曲画像の表示に伴う前記操作子の選択履歴および前記タッチセンサのタッチ操作履歴をそれぞれ相互に関連付けて記録する履歴記録手段をさらに備えたものとすることができる。このような制御機構を有する和音出力装置は、操作者の指示の入力を契機に、前記履歴記録手段に記録されている情報のうち、前記進行履歴を前記表示制御手段に供給することにより、該表示制御手段に前記画像表示領域への楽曲画像の表示変更を再現させ、前記選択履歴および前記タッチ操作履歴を前記和音出力制御手段に供給することにより、該和音出力制御手段に前記表示変更に連動する和音の出力並びにその態様の変化を再現させる。

前記データメモリには、音の振動画像を表現するための振動画像データが記録されており、前記制御機構は、前記データメモリから読み出した振動画像ファイルを前記画像表示領域と異なる振動画像表示領域に表示させるとともに、表示中の振動画像を、前記和音の出力に従って変化させ、出力強度がゼロになった時点で静止させる振動画像表示制御手段をさらに備えているものとすることができる。

本発明は、携帯サイズの筐体に搭載されたコンピュータを携帯型和音出力装置として動作させるためのコンピュータプログラムを提供する。前記筐体には、それぞれ操作者が一方の片手指で選択可能な複数の操作子と、操作者が他方の片手指で直接又は間接にタッチ操作可能なタッチセンサとが形成されており、さらに、データメモリ及び音出力機構が前記コンピュータに設けられており、前記データメモリには、実楽器が奏でる音特性を有する和音を前記音出力機構から出力させるための和音データファイルが、当該和音を識別するための和音ＩＤと共に複数記録されている。このようなものにおいて、本発明のコンピュータプログラムは、前記コンピュータを、前記複数の操作子の各々に、いずれかの前記和音ＩＤを割り当てる割当手段、操作者がどの操作子を選択し始めてその選択を何時解除したかを検出する操作子選択状況検出手段、前記タッチセンサへのタッチ開始時期を含む操作内容を検出する操作内容検出手段、前記操作子選択状況検出手段で検出した操作子に割り当てられている前記和音ＩＤをもとに特定した和音データファイルを、前記データメモリより読み出して前記音出力機構に供給し、これにより出力可能になる和音を、前記操作内容検出手段が検出した操作内容と連動する態様で前記音出力機構から出力させる和音出力制御手段、として機能させるものである。このようなコンピュータプログラムは、コンピュータ読み取り可能な記録媒体に記録される。

以下、本発明を、アコースティックギターの和音を出力する和音出力装置に適用した場合の実施形態例を説明する。
＜全体構造＞
図１は、この実施形態による和音出力装置の構造説明図である。（ａ）は正面図、（ｂ）は上底面図、（ｃ）は下底面図である。この和音出力装置は、片手で把持可能なサイズの筐体１０を有し、この筐体１０内にメモリカード２０を離脱自在に収容できるように構成される。

筐体１０のほぼ中央部には、タッチセンサパネルを兼ねるディスプレイ１１が設けられている。ディスプレイ１１（タッチセンサパネル）は、例えばＬＣＤ (Liquid Crystal Display) あるいはＥＬ（Electronic Luminescence）から成る表示パネルの表面をタッチセンサで覆ったものである。ディスプレイ１１の外縁部は筐体１０の表面に対して多少窪んでおり、後述するステイラスペンが、その外縁部に沿ってなぞれるようになっている。タッチセンサとしては、抵抗膜方式、光学式(赤外線方式)および静電容量結合式のいずれかの種類のものを用いることができる。ディスプレイ１１は、タッチパネルの上面をスタイラスペンのペン先あるいは指（以下、「スタイラスペン等」という場合がある。）で、押圧したり、撫でたりしてタッチ操作することにより、スタイラスペン等によるタッチ開始時期、タッチ座標位置およびその変化を含む操作内容を後述する制御ユニットへ伝達する。

筐体１０の表面には、また、短辺方向の中心軸に対してほぼ左右対称となる部位に、操作スイッチ１２１，１２２が設けられ、さらに、音出力孔１４１，１４２が形成されている。操作スイッチ１２１は、ディジタルジョイスティックとして機能するもので、８つの操作子を有しており、操作者がこれらの操作子の１つを押圧操作することによって、押圧操作している間だけ最大８種類のデータを選択的に入力できるようになっている。すなわち、操作者がどの操作子を選択し始めてその選択を何時解除したかを、後述する制御ユニット４０において検出できるようになっている。操作スイッチ１２２は、ディジタルスイッチとして機能するもので、８つの操作接点を有しており、これらの８つの操作接点の１つを押圧操作することによって、最大８種類のデータの入力を許容する。

本実施形態では、紙面に向かって左側の操作スイッチ１２１は、左手の親指で傾き押圧操作、すなわち中心部を起点として０度、４５度、９０度、１３５度、１８０度、２２５度、２７０度、３１５度の８つの方向のいずれかに傾けた状態で押圧操作する方向指示スイッチとして用い、他方、右側の操作スイッチ１２２は、右手親指で操作する動作モード、オプション機能その他の動作選択用スイッチとして用いる。右ききと左ききの操作者が存在することを考慮して、両スイッチ１２１，１２２は、それぞれ相互交換が可能になっている。
なお、操作スイッチ１２１，１２２として、共にデジタルジョイスティックとして機能するものを用い、どちらの操作スイッチを方向指示スイッチにするか、あるいは動作選択スイッチにするかを任意に設定できるようにしても良い。また、操作スイッチ１２２は、必ずしも８つの操作接点を持たなくとも良く、２〜４個の接点を共用しても良い。

音出力孔１４１の上方には電源スイッチ１５が設けられており、音出力孔１４２の上方にはスタートスイッチ１６１とファンクションスイッチ１６２が設けられている。これらのスイッチ１５，１６１，１６２には、例えばプッシュボタンを用いることができる。スタートスイッチ１６１は、動作開始（再開）したり、一時停止（Pause）したりするときに、操作者が押圧操作するものである。ファンクションスイッチ１６２は、各種設定画面、和音出力のための操作画面等の表示内容選択等を行うときに押圧操作するものである。

筐体１０の上側面部には、短辺方向の中心軸に対してほぼ左右対称の部位に一対の拡張操作スイッチ１３１、１３２が設けられている。さらに、ほぼ中央部に、スタイラスペン３０の収容空間とスタイラスペン３０の係止部１７が形成されている。拡張操作スイッチ１３１は、操作スイッチ１２１で指示可能な８つの方向のグループを、予め設定された他のグループに切り替えるためのものであり、操作者が左手で筐体１０を把持したときに、左手の人差指又は中指で操作できる部位に配置されている。操作者が拡張操作スイッチ１３１を押したり、押さなかったりすることにより、左手だけの操作で最大で１６の方向を指示入力することができる。拡張操作スイッチ１３２と操作スイッチ１２２も、上記と同じとなる。すなわち、拡張操作スイッチ１３２は、操作スイッチ１２２で選択可能な最大で８種類の選択内容のグループを別のグループに切り替えることができる。つまり、この和音出力装置で出力可能な和音の種類は、最大で（１６×８）種類となる。
筐体１０の下側面部には、メモリカード２０の収容空間１８と、和音出力装置から出力する和音データをスピーカが接続された外部増幅器に導くための外部出力端子１９とが形成されている。

＜制御ユニット等＞
本実施形態の和音出力装置は、筐体１０の内部に、コンピュータの一種である制御ユニット及びその周辺電子部品を備えている。
図２は、筐体１０の内部構成図と各種部品の接続状態を示している。
図２に示される制御ユニット４０は、メモリカード２０を離脱自在に収容するためのコネクタ４１、メインプロセッサを含んで成るＣＰＵ（Central Processing Unit）コア４２、キャッシュメモリとして機能するＲＡＭ（Random Access Memory）４３、音処理を実行するＳＰＵ（Sound Processing Unit) ４４、画像処理を行う２つのＧＰＵ（Graphic Processor Unit）４５１，４５２、２つの画像領域１１ａ，１１ｂへの画像表示を可能にする表示コントローラ４７、及び、Ｉ／Ｏ（Input／Output）インタフェース４８が、内部バスＢ１を介して接続されている。

ＳＰＵ４４およびＧＰＵ４５１，４５２は、例えばシングルチップＡＳＩＣで構成される。ＳＰＵ４４は、ＣＰＵコア４２からのサウンドコマンドを受け取り、このサウンドコマンドに従って音処理を行う。「音処理」は、具体的には、二つの音出力ユニット２４１，２４２の各々で再生可能なステレオ和音を出力するための情報処理である。ＧＰＵ４５１，４５２は、ＣＰＵコア４２からの描画コマンドを受け、その描画コマンドに従って画像データを生成する。ＣＰＵコア４２は、描画コマンドに加えて、画像データの生成に必要な画像生成指示をＧＰＵ４５１，４５２のそれぞれに与える。ＣＰＵコア４２から各ＧＰＵ４５１，４５２への描画コマンドの内容は、場面によって様々に変化するので、これについては後述する。
２つのＧＰＵ４５１，４５２には、それぞれ画像データを描画するためのＶＲＡＭ（Video Random Access Memory）４６１，４６２が接続されている。ＶＲＡＭ４６１には、ＧＰＵ４５１により、ディスプレイ１１の第１表示領域１１ａに表示させる画像データが描画される。他方、ＶＲＡＭ４６２には、ＧＰＵ４５２により、ディスプレイ１１の第２表示領域１１ａに表示させる画像データが描画される。画像データの内容については、後述する。

表示コントローラ４７は、これらのＶＲＡＭ４６１，４６２に描画されている画像データを読み出して所要の表示制御処理を行う。表示コントローラ４７はレジスタを含む。レジスタは、ＣＰＵコア４２の指示によって「００」、「０１」、「１０」、「１１」のデータ値を格納する。データ値は、例えば、ファンクションスイッチ１６２を通じて選択された操作者の指示内容に従って決定される。表示コントローラ４７は、レジスタのデータ値に応じて、例えば以下のような制御を行う。
データ値「００」・・・ＶＲＡＭ４６１，４６２に描画された画像データの各表示領域１１ａ，１１ｂへの出力を行わない。例えば和音出力装置の操作に慣れてディスプレイ１１への表示を必要としなくなった場合等に、ファンクションスイッチ１６２でこのデータ値が表示コントローラ４７に出力されるようにすることができる。
データ値「０１」・・・ＶＲＡＭ４６２に描画された画像データのみを第２表示領域１１ｂに出力する。第２表示領域１１ｂは、ディスプレイ１１の全表示領域とする。
データ値「１０」・・・ＶＲＡＭ４６１に描画された画像データのみを第１表示領域１１ａに出力する。第１表示領域１１ａは、ディスプレイ１１の全表示領域とする。
データ値「１１」・・・ディスプレイ１１の表示領域を第１表示領域１１ａと第２表示領域１１ｂに２分割し、ＶＲＡＭ４６１に描画された画像データを第１表示領域１１ａに出力し、ＶＲＡＭ４６２に描画された画像データを第２表示領域１１ｂに出力する。

メモリカード２０は、ＲＯＭ（Read Only Memory）２１およびＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）２２を搭載している。ＥＥＰＲＯＭに代えて、フラッシュメモリその他の不揮発性メモリを用いることもできる。ＲＯＭ２１およびＥＥＰＲＯＭＲＡＭ２２は、互いにバス（図示省略）で接続されており、さらに、このバスが、制御ユニット４０の内部バスＢ１とコネクタ４１を介して接合される。これにより、ＣＰＵコア４２、ＳＰＵ４４、ＧＰＵ４５１、４５２は、メモリカード２０のＲＯＭ２１およびＥＥＰＲＯＭ２２に直接アクセスすることができる。

Ｉ／Ｏインタフェース４８には、上述した各種スイッチ１２１，１２２，１３１，１３２，１５，１６１，１６２からの押圧操作データと、ディスプレイ１１からのタッチ操作データとが入力される。押圧操作データは、操作者がどのボタンを押したかを表すデータであり、タッチ操作データは、操作者によるタッチ操作内容を表すデータである。各スイッチ１２１，１２２，１３１，１３２，１５，１６１，１６２が操作されると、対応するデータがＩ／Ｏインタフェース４８を介してＣＰＵコア４２に入力される。Ｉ／Ｏインタフェース４８からは、音出力ユニット２４１，２４２へ和音データが出力される。和音データは、ＣＰＵコア４２とＳＰＵ４４との協働により生成された音データである。音出力ユニット２４１，２４２は、この音データをアンプで増幅し、スピーカで再生する。

メモリカード２０のＲＯＭ２１には、各種画像データ、和音データファイルおよび和音出力用のプログラムが記録されている。和音出力用プログラムは、制御ユニット４０を、和音出力装置として動作させるための各種機能、例えば、操作者による操作子選択状況を検出する機能、タッチセンサへのタッチ開始時期を含む操作内容を検出する機能、操作子に割り当てられている和音をタッチセンサの操作内容と連動する態様で出力させる機能、履歴管理機能等を構築するものであり、ＣＰＵコア４２により実行される。

画像データは、大別して、音の振動画像を表現するための振動画像データ、歌詞を含む楽曲画像を表現するための楽曲画像データ、初期画像を表現するための初期表示画像データ並びに各種設定用画像データである。まず、これらのデータについて説明する。
振動画像データは、制御ユニット４０から音出力ユニット２４１，２４２に音データが出力されるときの音強度に合わせた振動画像を表現するためのデータである。本例では、初期振動画像をもとに、「弱」、「中」、「強」の３種類の振幅値の振動画像を表現できるようにする。図３は、これらの振動画像の表示例を示している。図３（ａ）は初期振動画像５０である。図３（ｂ）の振動画像５１は「中」、図３（ｃ）の振動画像５２は「強」、図３（ｄ）の振動画像５３は「弱」のときの振幅値であり、これらの振幅値を最大絶対値として、実際に振幅の絶対値が変化するようにしている。

初期振動画像５０および振動画像５１，５２，５３は、後述する振動波形モードが選択されたときに、ディスプレイ１１に表示される。図３（ｂ）〜（ｄ）において、破線の方向は、ディスプレイ１１をスタイラスペン等でタッチ操作した方向を表し、破線の太さは、スタイラスペン等がタッチ操作したときの速度（タッチ操作速度）を表している。実際には、破線は表示されない。「中」、「強」、「弱」のいずれに該当するかは、例えばＣＰＵコア４２が、ディスプレイ１１のタッチセンサで検出されるタッチ開始時期、タッチ座標位置およびその変化速度を含む操作内容の検出データを、Ｉ／Ｏインタフェース４８を通じて受け取り、これらの検出データと図示しないテーブルに記録されている所定の基準データとを比較することにより判別する。
なお、振動画像の表現形態は、「中」、「強」、「弱」の３種類でなければならないものではなく、４種類以上であっても良い。また、１つの振動画像データを画像処理によって複数の振幅値および振動数を表現できるようにしても良い。

楽曲画像データは、楽曲毎に用意される。ディスプレイ１１の表示画面例を示した図４を参照すると、楽曲画像は、例えば、それぞれ連続する複数の小節６１と、曲の進行グラフ６２と、和音ガイダンス用の操作子画像６３と、実楽器であるギターにおける和音毎の指押さえ位置を示す案内画像６４とから成る。各小節６１の該当領域には、それぞれ、歌詞６１１と和音表示６１２とが記述される。なお、小節毎に、操作子の操作タイミングを案内するタイミング情報を併せて記述しても良いし、逆に、歌詞６１１の記述を省略しても良い。最低限必要なのは、和音表示６１２である。各小節は、それぞれ小節ＩＤにより識別されており、小節ＩＤ毎に、和音表示６１２、操作子画像６３、案内画像６４に対応するデータならびに歌詞データが関連付けられている。さらに、各和音表示６１２には、それぞれ、当該和音を識別するための和音ＩＤが関連付けられている。
楽曲画像は、例えばＧＰＵ４５２によりＶＲＡＭ４６２に選択的に描画され、表示コントローラ４７を通じて第２表示領域１１ｂに表示される。

楽曲画像データは、一部のみを読み出して表示することができる。例えば、図５は後述するガイダンスモード時の表示画面例であり、操作子画像６３と案内画像６４のみが読み出され、図３（ｂ）に示した振動画像５１と共に表示される例が示されている。
初期表示画像データは、電源オン時にディスプレイ１１上に表示される画像である。

設定用画像データは、各種スイッチ１２１，１２２，１３１，１３２，１５，１６１，１６２の画像およびこれらに割り当てる機能内容を表示するための画面を表示するためのデータである。これらの画像データは、ファンクションスイッチ１６２により「設定」が選択されたときに、例えばＧＰＵ４５２によりＶＲＡＭ４６２に描画され、表示コントローラ４７を通じて第２表示領域１１ｂに表示される。「設定」のときは、ディスプレイ１１には、第２表示領域１１ｂの表示内容が表示される。
例えば、図６は拡張スイッチ１３１の８つの操作子にどの和音を設定（登録済なら修正）するかを操作者に選ばせるための画面の例、図７は、現在の設定内容の確認用の画面の例をそれぞれ示している。設定用画像データの表示は、例えば、ファンクションスイッチ１６２を所定回押すことにより可能になる。

図６の上段左は、操作スイッチ１２１を押さない状態で操作スイッチ１２１で選択入力できる最大８種類の和音、上段右は、拡張スイッチ１３１を押した状態で操作スイッチ１２１で選択入力できる最大８種類の和音を設定する操作子の配列画像である。下段の図表部分は、各操作子に設定する和音の紹介画像である。操作者は、図６上段左右のいずれかの操作子を選択スイッチ１２２で選択し、「登録」ボタンを選択した後、その操作子で選択入力する和音を選択スイッチ１２２で選択し、再び図６下段の「登録」を押す。これを繰り返す。これにより、設定された内容が、メモリカード２０のＥＥＰＲＯＭ２２に記録され、装置起動時に読み込まれて、操作スイッチ１２１の各操作子に和音ＩＤが割り当てられる。なお、設定内容の登録手順は任意であって良く、操作子の選択と和音の選択の順序は、上述した順序と逆であっても良い。

図７を参照すると、デフォルト状態では、選択スイッチ１２２の８つの操作子には、それぞれ「曲調＃１」〜「曲調＃４」、「ユーザ設定１」〜「ユーザ設定４」がそれぞれ割り当てられる。「曲調＃１」〜「曲調＃４」には、それぞれ、図６に示した１６種類の和音が設定されている。操作者が微調整したい場合は、図６に示した画面下段の「修正」を押し、上述した手順で修正登録を行えば良い。「ユーザ設定１」〜「ユーザ設定４」は、それぞれ、図６のような表示画面を通じて、操作者が自分の好みに応じて設定するためのものである。

図８（ａ）〜（ｃ）は、上記のように設定（修正）されたことにより、操作スイッチ１２１で実際に選択入力できる和音の種類を示している。
ＥＥＰＲＯＭ２２には、上述した和音ＩＤの操作子への設定内容、初期画面表示後の動作モードの設定内容、及び各種履歴情報が記録される。動作モードは、本実施形態では、振動波形モード、ガイダンスモードおよびカラオケモードの３種類とする。振動波形モードは、ディスプレイ１１の全面に、図３（ａ）〜（ｄ）の振動画像５０〜５３を表示させるモードである。ガイダンスモードは、ディスプレイ１１の全面に、図５のような画像を表示させるモードである。カラオケモードは、ディスプレイ１１の全面に、図４のような画像を表示させるモードである。これらの動作モードの詳細については、後述する。

履歴情報は、楽曲画像の表示内容の進行履歴、楽曲画像の表示に伴う操作子の選択履歴およびタッチ操作履歴を表すデータと、各データが生じた時刻データと、それが消去されるまで保持される通し番号データである。時刻データは図示しないタイマで計測される。通し番号データは、履歴を表すデータを記録する際に採番される。
ＲＯＭ２１に記録される和音データファイルは、電子的に作成されたものではなく、いわゆる名手といわれる弾き手が実楽器であるギターで実際に奏でられた和音を録音して成るデータファイルである。和音の各々について、それぞれギターのサウンドホールの上から下方向（第１方向）、下から上方向（第２方向）、「弱」（第１レベル）、「中」（第２レベル）、「強」（第３レベル）で採取し、それぞれを上述した和音ＩＤおよびその下位層のファイルＩＤで識別される１つのデータファイルとしている。つまり、１和音（例えばＡｍ）で６ファイル用意する。
このように１つの和音毎に複数のデータファイルにするのは、事後の波形加工処理を少なくすることにより、実際に奏でられた和音の響きをできるだけ損なわないようにすることが主たる理由である。また、波形加工処理を少なくすることにより、ＣＰＵコア４２およびＳＰＵ４４での情報処理を迅速にさせる、あるいは、処理能力をさほど要求しなくとも和音出力の機能を実現できる、という副次的効果も得られるようにするためである。

和音ＩＤおよびファイルＩＤは、図示しないテーブルで階層的に管理する。図９は、このテーブルの内容説明図である。「ｃ10100」は「Ａｍ」を識別するための和音ＩＤであり、その下位層にはファイルＩＤ「c101001」〜「c101006」が続く。「c101001」は和音がＡｍで第１方向（上から下方向）でレベル１（弱）の和音データファイルを識別するためのファイルＩＤである。「c101006」は和音がＡｍで第２方向（下から上方向）でレベル３（強）の和音データファイルを識別するためのファイルＩＤである。他の和音ＩＤ並びにファイルＩＤについても同様のルールでＩＤが割り当てられている。

＜和音出力装置の動作＞
次に、上記のように構成される和音出力装置の動作を説明する。
和音出力装置は、例えば、操作者が、左手で筐体１０を把持し、左手指で操作スイッチ１２１等を操作（押す／離す）するとともに、右手でスタイラスペン３０を持ち、あるいは、指を使って、ペン先又は指先でディスプレイ１１へのタッチ操作することにより動作可能になる。
メモリカード２０を筐体１０に装着した状態で、操作者が電源スイッチ１５をオンにすると、制御ユニット４０（ＣＰＵコア４２）は、メモリカード２０のＲＯＭ２１にアクセスして和音出力用プログラムの実行を開始する。制御ユニット４０は、また、メモリカード２０のＲＯＭ２１およびＥＥＰＲＯＭ２２に記録されているデータ並びにテーブルの一部又は全部をＲＡＭ４３にロードする。これにより、操作者が本装置を楽器として操作するための動作環境が構築される。

電源オン直後、制御ユニット４０は、ディスプレイ１１の全面に初期画面を表示させる。初期画面には、操作者による動作モードの選択項目が含まれる。上述した振動波形モード、ガイダンスモード、カラオケモードのいずれかを操作者がファンクションキー１６２で選択し、スタートボタン１６１を押すと、制御ユニット４０は、初期画面を、選択された動作モードの動作画面に切り替え、各動作モード下での処理を行う。以下、図１０〜図１５を参照して、各動作モードにおける動作手順を説明する。

図１０は、振動波形モードでの手順説明図である。
振動波形モードが選択されると、制御ユニット４０は、初期振動波形画像をディスプレイ１１に全画面表示させる（Ｓ１０１）。この処理は、ＣＰＵコア４２からＧＰＵ４５１に描画コマンドと画像データとを送出し、且つ、表示コントローラ４７に、上述したデータ値「１０」を送出することにより実現される。
操作者によって操作スイッチ１２１（あるいは、拡張スイッチ１３１と共に）のいずれかの操作子が押されたことを検知すると（Ｓ１０２：Yes）、制御ユニット４０は、当該操作子に割り当てられた和音ＩＤにより特定される和音データファイルをＲＡＭ４３又はＲＯＭ２１から読み出し、ＳＰＵ４４で音処理可能の状態にする（Ｓ１０３）。この時点では、和音はまだ出力されない。
なお、この例では、制御ユニット４０は、その操作子が押されている間だけ、当該操作子に割り当てられた和音ＩＤにより特定される和音データファイルをＲＡＭ４３又はＲＯＭ２１から読み出し、ＳＰＵ４４で音処理可能な状態にする（Ｓ１０３）。これにより、操作子が押されている間のみ和音が出力され、操作子が離されると和音が出力されなくなるので、ユーザは、和音の出力時間を容易に制御することができる。他の形態、例えば操作子が離されてから所定時間経過するまでＳＰＵ４４で音処理可能な状態にする（この場合、操作子が離されてから音をだんだん小さくしてフェードアウトさせてもよい）等、種々の形態が可能である。

タッチセンサからの出力データに基づいてタッチ操作内容を検知すると（Ｓ１０４：Yes）、制御ユニット４０は、タッチ操作内容に連動した態様で、和音データに対する音処理を行い、和音を出力させる（Ｓ１０５）。タッチ操作内容が検知されない場合は（Ｓ１０４：No）、タッチ操作内容が検出されるまでＳ１０４を繰り返す。
「タッチ操作内容に連動する態様」の例として、ここでは、タッチ操作方向とタッチ操作速度、並びにその変化に応じて和音の出力音の音色、強度を異ならせる例を挙げる。すなわち、同じ和音が指定された場合であっても、上から下方向（第１方向）にタッチ操作されたときは多少周波数が高く、下から上方向（第２方向）にタッチ操作されたときは、低くなる。これは、実楽器であるギターの弦操作がそのようになっているためである。また、タッチ操作速度が速いときは、遅いときよりも出力強度が高くなる（レベル３＞レベル１）。そっと触る程度のタッチ操作速度では、微弱な音（レベル１）が出力される。

タッチ操作がどの方向になされたかは、タッチ操作開始位置の検出を契機に、タッチ操作が連続して進行する方向を検出することにより判別する。タッチ操作速度は、単位時間におけるタッチ連続操作量を検出することにより判別する。操作方向の変化は、例えばタッチ操作位置の変化のパターンマッチング等により判別する。これらの検出を容易にするため、ＲＡＭ４３に、操作開始位置を一時的に保存しておくことが好ましい。また、パターンマッチングの際の指標となる基本パターンを用意しておく。

図９に例示したいずれかの和音データファイルをファイルＩＤをもとに選択し、これをＳＰＵ４４に送出することによりステップＳ１０５が実現される。このようにしてＳＰＵ４４から和音が出力されるときは、ディスプレイ１１に表示中の振動波形画像の振幅値を和音の出力態様、例えば音強度（レベル１〜レベル３）に応じて変化（振動）させる（Ｓ１０６）。
それまで押されていた操作子が離されたことを検知したとき、つまり、操作を止めるか別の操作子を指定したときは、ステップＳ１０２の処理に戻る（Ｓ１０７：Yes）。操作子が離されない場合（Ｓ１０７：No）、和音出力レベルがゼロになるまでステップＳ１０６以降の処理を繰り返す（Ｓ１０８：No）。これにより、所定の時間にわたって余韻音が出力され続けることになる。余韻音がなくなって和音出力レベルがゼロになったときは、ステップＳ１０２に戻る（Ｓ１０８：Yes）。
このように、振動波形モードでは、操作者は、振動波形をみて実楽器で奏でられた和音の余韻を楽しみながら、和音出力装置を操作することができる。また、操作者自身のペースで、自由かつ簡単な操作だけで和音が出力されるので、従来の電子楽器装置と異なって弾き語りが容易になり、大勢の仲間が集まって合唱するときの伴奏も、操作者主導で行えるようになる。

次に、先にある和音（第１の和音）を出力し、その後再度タッチ操作を行うことで次の和音（第２の和音）を出力する場合の処理を説明する。第１の和音の出力及び第２の和音の出力に関しては、種々の処理が可能である。例えば、「第１の和音に関しては、第１の和音をミュート（消音）させて第２の和音出力のみ行う」、「第２の和音の出力がない場合と同様に第１の和音出力をそのまま継続して第２の和音に重ねる」、「第１の和音をフェードアウトさせて第２の和音出力に重ねる」等の処理が挙げられる。
また、第２の和音に関しては、「先に第１の和音が出力されていないときと同様にして出力する」、「出力当初の音量を小さくして徐々に大きくする（フェードイン）ことで第１の和音に重ねる」等、種々の処理が挙げられる。これら第１の和音出力の処理と第２の和音出力の処理を適宜組み合わせて実行することができる。

以下、図１１Ａ、Ｂを参照して、第１の和音を出力した後に更に第２の和音を出力する場合の第１の和音、第２の和音それぞれの処理の一例を示す。
図１１Ａ、Ｂにおいて、振動波形モードが選択されると、制御ユニット４０は、初期振動波形画像をディスプレイ１１に全画面表示させる（Ｔ１０１）。この処理は、ＣＰＵコア４２からＧＰＵ４５１に描画コマンドと画像データとを送出し、且つ、表示コントローラ４７に、上述したデータ値「１０」を送出することにより実現される。

操作者によって操作スイッチ１２１（あるいは、拡張スイッチ１３１と共に）のいずれかの操作子が押されたことを検知すると（Ｔ１０２：Yes）、制御ユニット４０は、その操作子が押されている間、及び後述するように二つの和音を重ねる場合等のように操作子が離されても和音の出力が必要となる間は、当該操作子に割り当てられた和音ＩＤにより特定される第１の和音データファイルをＲＡＭ４３又はＲＯＭ２１から読み出し、ＳＰＵ４４で音処理可能の状態にする（Ｔ１０３）。この時点では、第１の和音はまだ出力されない。タッチセンサからの出力データに基づいてタッチ操作内容を検知すると（Ｔ１０４：Yes）、制御ユニット４０は、タッチ操作内容に連動した態様で、第１の和音データに対する音処理を行い、第１の和音を出力させる（Ｔ１０５）。
この際、図１１Ａ、Ｂの実施形態では、和音を出力するチャンネルがチャンネルＡ、Ｂの二種類あり、これらのチャンネルからそれぞれ同時に同じ和音、あるいは異なる和音を出力することができ、Ｔ１０５では、チャンネルＡから和音を出力するものとした。なお、この例ではチャンネルはＡ、Ｂの二つとしたが、チャンネルＡ、Ｂ、Ｃ…のように三つ以上のチャンネルからそれぞれ和音出力を行うようにすることもできる。また、制御ユニット４０は、各チャンネル毎に、操作子に割り当てられた和音ＩＤにより特定される和音データファイルをＲＡＭ４３又はＲＯＭ２１から読み出し、ＳＰＵ４４で音処理可能の状態にする。タッチ操作内容が検出されると、制御ユニットは、タッチ操作内容に連動した態様で、和音データに対する音処理を行い、和音を出力させる。
この例では、第１の和音がＣコードで、かつ上から下方向（第１方向）にタッチ操作されたものとして説明する。

タッチ操作内容が検知されない場合は（Ｔ１０４：No）、タッチ操作内容が検出されるまでＴ１０４を繰り返す。
「タッチ操作内容に連動する態様」に関しては、図１０の例と同様に、上から下方向（第１方向）、下から上方向（第２方向）にタッチ操作されたときで周波数を変えることや、音レベルを変えることなどが可能である。
図９に例示したいずれかの和音データファイルをファイルＩＤをもとに選択し、これをＳＰＵ４４に送出することによりステップＴ１０５が実現される。このようにしてＳＰＵ４４から和音が出力されるときは、ディスプレイ１１に表示中の振動波形画像の振幅値を和音の出力態様、例えば音強度（レベル１〜レベル３）に応じて変化（振動）させる（Ｔ１０６）。

次に、それまで押されていた操作子が離されたか否かを判定し、操作子が離されていないとき（Ｔ１０７：No）は、和音出力レベルがゼロか否かを検出し、ゼロであれば（Ｔ１０８：Yes）Ｔ１０２に戻る。ゼロでなければ（Ｔ１０８：No）、タッチ操作がなされたかを判定する。タッチ操作されていないとき（Ｔ１０９：No）は、Ｔ１０７に戻る。
Ｔ１０９でタッチ操作が検出された場合（Ｔ１０９：Yes）、そのタッチ操作がＴ１０４におけるタッチ操作と逆方向のタッチ操作であるか否かを検出する。逆方向のタッチ操作である場合（Ｔ１１０：Yes）、チャンネルＡからの第１の和音（この例では第１方向でタッチ操作されたコードＣの和音）に加えて、Ｔ１０８における逆方向のタッチ操作に対応した和音（第２の和音）をチャンネルＢから出力させる。この例ではＴ１０４でＣコードが第１方向でタッチ操作されているので、同じＣコードのままで第２方向でのタッチ操作が検出され、ＲＯＭ２１に記録された和音データファイルからこれに対応する和音データが第２の和音として読み出される。制御ユニット４０は、この和音データに対する音処理を行い、第２の和音を出力させ（Ｔ１１１）、Ｔ１０６へと戻る。

この場合のチャンネルＡ（図中ではCh.A）、チャンネルＢ（図中ではCh.B）それぞれから出力される和音の説明図を図１２（ａ）に示す。この図に示されるように、チャンネルＡからの第１の和音出力に加えて、チャンネルＢからの第２の和音が出力される。チャンネルＢから第２の和音を出力することによってチャンネルＡから出力される和音を特に変化させることはなく、チャンネルＡからの和音は、チャンネルＢからの出力を行わないときと同様に、上記の所定の時間にわたって余韻音が出力される。従って、この場合、スピーカーからは、チャンネルＡからの第１の和音とチャンネルＢからの第２の和音とがミックスされて出力される。
ギター等の実際の楽器を演奏する場合、あるコードで所定方向にストロークして和音を弾いた後に同じコードで逆方向にストロークして和音を弾いた場合、楽器本体の共鳴や残響等の影響から、逆方向にストロークして和音を弾いた後であっても、その前の所定方向のストロークで弾かれた和音が、逆方向にストロークした和音と重なって聞こえる。

一方、電子的な和音をスピーカから出力する場合、上述のような楽器における本体の共鳴の効果は得られないので、単に第１の和音を出力した後に第２の和音を出力しただけでは、ユーザが「実際の楽器とは聞こえ方が違う」と認識し、聴覚的に不自然であると感じることになる。
この例では、上述のように第１の和音と第２の和音とをミックスして出力することから、実際の楽器と同様に、第１の和音と第２の和音とが重なって出力され、聴覚的な違和感をユーザにあたえるおそれが少なくなっている。
次に、Ｔ１０９で検出されたタッチ操作がＴ１０４におけるタッチ操作と逆方向のタッチ操作ではない場合（Ｔ１１０：No）、つまり、Ｔ１０４におけるタッチ操作と同じコードで同方向のタッチ操作である場合には、これに対応する和音、この例では第１方向でタッチ操作されたＣコードが第２の和音としてチャンネルＢから出力され（Ｔ１１２）、ステップＴ１０６へと戻る。従って、チャンネルＡから出力されている第１の和音とチャンネルＢから出力される第２の和音とは同じ和音となる。

この例では、図１３（ａ）に示すように、チャンネルＡから出力される和音は、Ｔ１０４でのタッチ操作と同方向のタッチ操作が検出された時点をｔ０として、ｔ０から音がだんだん小さくされてｔ１の時点で音量がゼロとなるようにする。一方、図１３（ｂ）に示すように、チャンネルＢから出力される和音は、ｔ０で最小音量で出力され、だんだん大きくなってｔ１の時点で所定の音量に達するようになっている。ｔ０からｔ１までの期間は任意に決定でき、この例では、ユーザの聴覚的に自然であると感じられるように、千分の二秒（０．００２秒）とした。しかし、適宜この期間を０．００２秒より長く、あるいは短く設定することができる。また、この期間を、音の高さ、タッチ操作の強さ、タッチ操作と次のタッチ操作との間隔の長さ等によりアクティブに変更させてもよい。この制御は、ＳＰＵ４４で行うことができる。

このように、短期間（この例では０．００２秒程度）でチャンネルＡの音を小さくしていき、チャンネルＢを小さな音から大きくしていくことを「クロスフェード」と称する。クロスフェードを行わない場合、第１の和音の出力を停止して第２の和音を出力するまでにタイムラグが生じて無音となる時間が発生してしまうおそれがあり、また、仮にタイムラグをなくすことができたとしても、第１の和音と第２の和音が同時にだされる期間がまったくない場合、聴覚的に不自然に感じられるが、クロスフェードを行うことで、聴覚的に自然に聞こえるようにできる。
クロスフェードでは、チャンネルＡとチャンネルＢとの音量の和が、常にｔ０におけるチャンネルＡからの音量値と同じ値となるようにしてもよい。この例では、Ｔ１０９におけるタッチ操作がなされてそれに対応する和音が出力されたことをユーザに強調するために、チャンネルＢからの音を大きめにして、チャンネルＡとチャンネルＢとの音量の和が、ｔ０におけるチャンネルＡからの音量値よりも大きくなるように設定した。チャンネルＡとチャンネルＢとの音量の和に関しては、特に制限はなく、種々の手法で設定することが可能である。

次に、Ｔ１０７において、操作子が離されたことを検知したとき、つまり、操作を止めるか別の操作子を指定したときは、その直後に別の操作子が押されてかつタッチ操作がなされたか否かを判定する。なお、ユーザが操作子を離して再度押すためには、ある程度の時間を要し、この時間内で操作がなされた場合に、「直後に操作子が押された」として判定する。直後に別の操作子がおされてかつタッチ操作がなされた場合（Ｔ１１３：Yes）、この操作子及びタッチ操作方向に対応した和音（第２の和音）を、ＲＯＭ２１に記録された和音データファイルから読み出し、第１の和音と第２の和音を上述のようにクロスフェードさせ（Ｔ１１４）、ステップＴ１０６へと戻る。Ｔ１１３において、その直後に別の操作子がおされてかつタッチ操作がなされたと判定されなかった場合（Ｔ１１３：No）は、Ｔ１０２へと戻る。
このように、第２の和音が第１の和音と同じ和音でタッチ操作方向（実際のギター等の楽器でのストローク方向）が逆である場合と、その他の場合と、を区別して、和音の出力処理方法を変えることで、一層実際の楽器に近い、自然な和音出力を行っている。
特に、本実施形態では、第１の和音を出力してから同じ和音で同じ方向へのタッチ操作により音の強さ以外は互いに等しい第２の和音を出力する場合、これら二つの和音をミックスし、それ以外の場合は、第１の和音と第２の和音をクロスフェードして出力することで、一層自然な和音出力を行うことができる。

従来の和音出力装置では、上記のような区別の必要性が認識されておらず、第１の和音とその後に出力される第２の和音との種類に関わらず音の出力処理を行っていたことから、ユーザは聴覚上、出力される和音が不自然であると感じるおそれがあった。しかし、本実施形態では、このような不自然さが解消されている。
なお、本実施形態では、スタイラスペン等の操作方向を途中変化させることにより和音の余韻の音色を変化させる余韻効果処理を実行できるようにしてある。
例えば図１４（ａ）〜（ｄ）は、スタイラスペン等を上から下方向に操作した後に左右方向に途中変化させた場合の例、（ｅ）〜（ｈ）は、下から上方向に操作した後に左右方向に途中変化させた場合の例である。このように操作されたときの制御ユニット４０の処理手順は、図１５のようになる。すなわち、スタイラスペン等の操作方向転換を検出し（Ａ１０１：Yes）、それが右方向であったときは（Ａ１０２：Yes）、余韻音のピッチを高くして出力する（Ａ１０３）。これにより、余韻音の周波数が若干高くなる。他方、方向転換が左方向であったときは（Ａ１０２：Ｎｏ）、余韻音のピッチを低くして出力する（Ａ１０４）。これにより、余韻音の周波数が若干低くなる。以上の手順を余韻音が続く限り行う（Ａ１０５：Yes）。これにより、アコースティックギターでありながら、エレキギターのようなビブラートを表現することができ、操作に幅を持たせることができる。

次に、図１６を参照して、ガイダンスモードにおける動作手順を説明する。
ガイダンスモードが選択されたときは、初期ガイダンス画像を表示する（Ｂ１０１）。初期ガイダンス画像は、図５のうち振動画像５１を図３（ａ）に示した初期振動画像５０に置き換えた画像であり、表示コントローラ４７に上記のデータ値「１１」を出力することにより実現される。
ある操作子が押されたことを検知すると（Ｂ１０２：Yes）、制御ユニット４０は、振動波形モード時と同様、操作子に割り当てられた和音データファイルを読み出して、音処理可能状態にする（Ｂ１０３）。また、押された操作子に割り当てられた和音に関する画像の表示状態を変化させる（Ｂ１０４）。例えば、図５のように、押された操作子がわかるように、他の押されない操作子よりも目立つ表示に変化させる。

以後の操作は、振動波形モード時と同様である。すなわち、タッチ操作されたことを検知したときは（Ｂ１０５：Yes）、タッチ操作内容に応じた態様で、和音データに対する音処理を行い、和音を出力させる（Ｂ１０６）。また、表示中の振動波形画像の振幅値を和音の出力態様に応じて変化（振動）させる（Ｂ１０７）。操作子が離されたときは、ステップＢ１０２の処理に戻る（Ｂ１０８：Yes）。操作子が離されない場合（Ｂ１０８：No）、和音出力レベルがゼロになるまでステップＢ１０７以降の処理を繰り返す（Ｂ１０９：No）。和音出力レベルがゼロになったときはステップＢ１０２に戻る（Ｂ１０９：Yes）。このガイダンスモードにより、和音ガイダンス用の操作子画像６３と案内画像６４とを見ながら操作できるので、操作がより容易になる。

次に、図１７および図１８を参照して、カラオケモードにおける動作手順を説明する。
カラオケモードが選択されたときは、楽曲画像を表示する（Ｋ１０１）。楽曲画像は、例えば図４に示したものである。ある操作子が押されたことを検知すると（Ｋ１０２：Yes）、振動波形モード時と同様、その操作子に割り当てられた和音データファイルを読み出して、音処理可能状態にする（Ｋ１０３）。また、ガイダンスモード時と同様、押された操作子に割り当てられた和音に関する画像の表示状態を変化させる（Ｋ１０４）。
タッチ操作されたときは（Ｋ１０５：Yes）、タッチ操作内容に応じた態様で、和音データに対する音処理を行い、和音を出力させる（Ｋ１０６）。また、表示中の振動波形画像の振幅値を和音の出力態様に応じて変化（振動）させる（Ｋ１０７）。

操作者により操作子が正しく押されたかを判別する（Ｋ１０８）。この判別は、例えば指定すべき和音表示（図４の現在の和音表示６６）の出力と、押された操作子に割り当てられている和音ＩＤとが適合するかどうかにより行う。正しく押されたときは、表示中の楽曲画像の進行を進める（Ｋ１０８：Yes、Ｋ１０９）。他方、正しく押されなかったときはＫ１０９の処理をバイパスする（Ｋ１０８：No）。操作子が離されたときは、ステップＫ１０２の処理に戻る（Ｋ１１０：Yes）。操作子が離されない場合（Ｋ１１０：No）、和音出力レベルがゼロになるまでステップＫ１０７以降の処理を繰り返す（Ｋ１１１：No）。和音出力レベルがゼロになったときはステップＫ１０２に戻る（Ｋ１１１：Yes）。
以上の処理により、ディスプレイ１１に表示される画像は、和音を正しく指定できたときは、楽曲画像が予め決められた方向に進行する。そして、進行状況に応じて、進行グラフ６２における現在の位置を変化させる。ゆっくり歌いたい場合は、和音をゆっくり指定しながらタッチ操作すれば良い。このようにすることで、装置主導ではなく、操作者の都合で曲を進行させることができる。他方、誤操作したときは、楽曲画像が進行しないので、操作者は、どの辺で誤操作したかのが容易にわかる。例えば、楽曲画像が図１８上段（案内画像６４は省略してある）のように、操作すべき和音表示６６を、操作者が正しく操作したとき（成功）は、図１８中段のように小節が進行する。他方、和音表示６６通りの和音を指定しなかったとき（失敗）は、楽曲画像は進行しない。

図１９に、上記例における複数のチャンネルを用いて操作子の操作方向によりミックス、クロスフェードを使い分ける場合のディスプレイ１１の表示画面例を示す。楽曲画像は、例えば、その長さがタッチ操作を行ってから次のタッチ操作を行うまでの時間を表すバー７１（図中において個々のバー７１をｂ１、ｂ２、…ｂ１２として表す）と、和音ガイダンス用の操作子画像７３とから成る。各バー７１の該当領域には、それぞれ、歌詞７１１と和音表示７１２とが記述される。また、上から下方向へのタッチ操作を表すタイミング記号（図中においてｖで表される）７１４と、下から上方向へのタッチ操作を表すタイミング記号（図中において逆向きのｖで表される）７１５も表示される。
図１９における各バー７１は、その長さがタッチ操作を行ってから次のタッチ操作を行うまでの時間を表すので、バー７１の長さとタイミング記号とにより、ユーザは、タッチ操作を行うタイミング及びタッチ操作の向き（実際のギターにおいてはストロークの向き）を容易に視認することができる。図１７の例においては、ｂ１〜ｂ９までは同じ間隔で下向きにタッチ操作を行い、バーｂ４、ｂ７の先頭においては上向きに、それ以外のバーの先頭において下向きにタッチ操作を行う。バーｂ１０の長さはバーｂ１〜ｂ９の長さの半分であり、バー１１の先頭においてはタイミング記号が逆ｖとなっているので、バーｂ１０の先頭において上から下方向にタッチ操作を行った後、それまでの半分の時間経過後に下から上方向にタッチ操作を行う。バーｂ１１は、バーｂ１〜ｂ９の１．５倍の長さであり、かつ、バーｂ１２の先頭においてタイミング記号がｖとなっていることから、バーｂ１〜ｂ９における時間の１．５倍の時間経過後に上から下方向にタッチ操作を行う。

また、図４の例では、操作子として８方向ボタンを用いた例が示されているが、この例では、和音出力装置の操作子として十字ボタンを使用して操作子画像７３として示している。バーｂ１においては、操作子の左（十字ボタンの左）を押すことで和音Ｃを選択することが示される。同様に、バーｂ３では操作子の右を押すことで和音Ｆ、バーｂ６では操作子の上（十字ボタンの上）を押すことで和音Ｄｍ７、バーｂ９では操作子の下（十字ボタンの下）を押すことで和音Ｇを選択することが示される。なお、これ以外のバーでは、操作子画像７３が示されていないが、これらは、その前に示されたボタンを押し続けることを示す。例えば、ｂ２においては、ｂ１の操作子画像７３が操作子の左を押すことを示していることから、ｂ１で押さえた操作子の左を押し続けることになる。
このように画面表示を行うことで、タッチ操作を行う（ギターでのストロークを行う）タイミングとストローク方向、及び押さえるべき操作子をユーザにわかり易く伝えることができる。また、個々のバーには、図４の例における小節ＩＤと同様に、和音表示７１２、操作子画像７３ならびに歌詞データが関連付けられている。さらに、各和音表示７１２には、それぞれ、当該和音を識別するための和音ＩＤが関連付けられている。
楽曲画像は、例えばＧＰＵ４５２によりＶＲＡＭ４６２に選択的に描画され、表示コントローラ４７を通じて第２表示領域１１ｂに表示される。

［履歴管理］
制御ユニット４０は、操作者が操作したことの履歴を管理する機能を有する。この機能は、主として、カラオケモードのときに有効となる。すなわち、楽曲画像の表示変更の進行履歴、楽曲画像の表示に伴う操作子の選択履歴およびディスプレイ１１への操作者のタッチ操作履歴をそれぞれ相互に関連付けてＥＥＰＲＯＭ２２に記録する。ＥＥＰＰＲＯＭ２２に記録されている情報は、例えば操作者の指示に基づき、いつでも再現させることができる。例えば、楽曲画像の進行履歴は、例えばそれをＧＰＵ４５２に供給することにより再現することができ、操作子の選択履歴およびタッチ操作履歴は、それをＳＰＵ４４に供給することにより再現させることができる。この機能は、例えば操作者が、本装置の現在の操作能力をチェックしたり、「自動カラオケ」として使用するとき等に利用される。
また、操作履歴から演奏を再現しているときに、演奏されているディスプレイ１１に、図４の和音表示６１２や図１７の和音表示７１２を表示するようにしてもよい。また、図４の操作子画像６３や図１７の操作子画像７３を表示するようにしてもよい。
これにより、再生時に、演奏されている和音や、録音時に操作子のどのボタンを押さえたかを確認することができる。

このように、本実施形態の和音出力装置は、片手で把持できるサイズなので、何処にでも持参することができる。使用に際しては、操作者が、例えば左手で筐体１０を把持しつつ左手指で操作スイッチ１２１を操作し、右手又はスタイラスペンでタッチ操作するだけで和音を出力するので、非常に手軽であり、必ずしも熟練を要しない。また、装置主導でなく、操作者が自分のペースで自由に操作できるので、自分のそのときの気分にまかせて、あるときは、ゆっくり歌ったり、早いテンポで歌ったりするということができる。弾き語りのようなことも気軽に行えるようになる。
初心者は、例えばガイダンスモード又はカラオケモードを選択して操作することにより、和音を覚えていなくとも操作することができるし、和音は、実楽器を実際に奏でた音をベースに出力されるので、初心者は初心者なりの、また、熟練者は熟練者なりの楽しみ方ができる。

［変形例］
本発明は、上記の実施の形態例に限定されるものではなく、種々の構成変更が可能である。例えば、制御ユニット４０は、タッチ開始時期、タッチ操作方向、タッチ操作速度のみならず、タッチ操作位置を操作内容として検出する構成にしても良い。すなわち、所定のタッチ操作位置に予め和音表示と和音ＩＤとを割り当てておき、操作者がディスプレイ１１上の和音表示の位置を選択することにより、操作スイッチ１２１の押圧操作と同様に機能するようにしても良い。
本実施形態では、カラオケモード時に誤操作しても和音は出力されるが、誤操作のときには、該当和音を出力しないようにしても良い。このようにすれば、誤操作したことをより迅速に判断することができる。
本実施形態では、振動画像等は第１表示領域１１ａ、楽曲画像等は第２表示領域１１ｂに表示させるようにしたが、これらの表示領域は適宜に変更され得る。本実施形態では、また、第１表示領域１１ａ，第２表示１１ｂを切り替えて１つのディスプレイ１１表示させるようにしたが、ディスプレイを２つ設け、これらのディスプレイの一方に第１表示領域１１ａと第２表示１１ｂの一方、ディスプレイの他方に第１表示領域１１ａと第２表示１１ｂの他方を表示させるようにしても良い。

本発明は、ギターのみならず、他の楽器、例えばピアノで弾かれる音色の和音を出力する場合にも適用が可能である。

本発明の和音出力装置の実施形態例を示す構造説明図であり、（ａ）は正面図、（ｂ）は上底面図、（ｃ）は下底面図である。 筐体の内部構成図と各種部品の接続状態図である。 図３（ａ）は初期振動画像、（ｂ）は「中」レベルの振動画像、（ｃ）は「強」レベルの振動画像、（ｄ）は「弱」レベルの振動画像の例である。 楽曲画像の一例を示す表示画面である。 ガイダンス画像の一例を示す表示画面である。 操作スイッチおよび拡張スイッチの８つの操作子にどの和音を設定（登録済なら修正）するかを操作者に選ばせるための画面の例である。 現在の設定内容の確認用の画面の例である。 図８（ａ）〜（ｃ）は、設定（修正）されたことにより、操作スイッチで実際に選択入力できる和音の種類を示した図である。 和音ＩＤおよびファイルＩＤを管理するテーブルの内容説明図である。 振動波形モードでの手順説明図である。 第１の和音を出力した後に更に第２の和音を出力する場合の第１の和音、第２の和音それぞれの処理の一例を示す手順説明図である。 第１の和音を出力した後に更に第２の和音を出力する場合の第１の和音、第２の和音それぞれの処理の一例を示す手順説明図である。 図１２（ａ）〜（ｃ）はチャンネルＡ、チャンネルＢのそれぞれから出力される和音の説明図である。 図１３（ａ）はチャンネルＡから出力される和音の出力状態の説明図、（ｂ）はチャンネルＢから出力される和音の出力状態の説明図である。 図１４（ａ）〜（ｄ）はスタイラスペン等を上から下方向に操作した後に左右方向に途中変化させた場合の例、（ｅ）〜（ｈ）は、下から上方向に操作した後に左右方向に途中変化させた場合の例である。 余韻効果処理の手順説明図である。 ガイダンスモードでの手順説明図である。 カラオケモードでの手順説明図である。 カラオケモードにおける成功時と失敗時の画面遷移の違いを示した図である。 複数のチャンネルを用いて操作子の操作方向によりミックス、クロスフェードを使い分ける場合のディスプレイ１１の表示画面例である。

Claims (12)

1. 片手で把持可能な携帯サイズの筐体に、それぞれ操作者が一方の片手指で選択可能な複数の操作子と、操作者が他方の片手指で直接又は間接にタッチ操作可能なタッチセンサとが形成されており、
   前記筐体には、相互に結合されたデータメモリ、制御機構及び音出力機構が設けられており、
   前記データメモリには、実楽器が奏でる音特性を有する和音を前記音出力機構から出力させるための和音データファイルが、当該和音を識別するための和音ＩＤと共に複数記録されており、
   前記複数の操作子の各々には、いずれかの前記和音ＩＤが割り当てられており、
   前記制御機構は、
   操作者がどの操作子を選択し始めてその選択を何時解除したかを検出する操作子選択状況検出手段と、
   前記タッチセンサへのタッチ開始時期を含む操作内容を検出する操作内容検出手段と、
   前記操作子選択状況検出手段で検出した操作子に割り当てられている前記和音ＩＤをもとに特定した和音データファイルを、当該操作子が選択されている間だけ前記データメモリより読み出して前記音出力機構に供給し、これにより出力可能になる和音を、前記操作内容検出手段が検出した操作内容と連動する態様で前記音出力機構から出力させる和音出力制御手段とを備えるものであり、
   前記操作内容検出手段は、前記タッチ開始時期のほか、前記タッチセンサへのタッチ操作方向を検出するものであり、
   前記和音出力制御手段は、前記音出力機構から第１の和音が前記操作内容と連動する態様で出力された後に、前記操作内容検出手段が前記タッチセンサが再度タッチされたことを検出すると、再度タッチされたときの前記操作状況で検出した操作子に割り当てられている前記和音ＩＤにより出力可能になる和音を前記操作内容と連動する態様で前記音出力機構から第２の和音として出力するとともに、
   前記第１の和音と前記第２の和音の比較と、前記第１の和音におけるタッチ操作方向と前記第２の和音におけるタッチ操作方向との比較と、を行い、これらの比較結果に連動して、前記操作内容と連動する態様で出力される第１の和音の音量及び音の出力時間と、前記操作内容と連動する態様で出力される第２の和音の音量とをそれぞれ変化させる、
   携帯型和音出力装置。
2. 前記操作内容検出手段は、前記タッチ開始時期のほか、前記タッチセンサへのタッチ操作速度、およびタッチ操作位置の少なくとも一つを検出するものであり、
   前記和音出力制御手段は、タッチ操作方向の変化が検出されたときはその出力周波数を変化方向に応じて変化させ、タッチ操作速度が検出されたときはその出力強度をタッチ操作速度に応じた強度とする、
   請求項１に記載の携帯型和音出力装置。
3. 前記和音出力制御手段は、前記第１の和音と前記第２の和音とが等しく、かつ、前記第１の和音におけるタッチ操作方向と前記第２の和音におけるタッチ操作方向とが互いに反対方向である場合に、前記操作内容と連動する態様で出力される第１の和音に、前記操作内容と連動する態様で出力される第２の和音を合成して出力させ、
   その他の場合には、前記操作内容と連動する態様で出力される第１の和音を、前記再度タッチされた時点から小さくしていき所定時間で消音させ、前記操作内容と連動する態様で出力される第２の和音を、前記再度タッチされた時点では最小音量とし、その後は前記所定時間に渡ってその音量を徐々に大きくさせて出力する、
   請求項１記載の携帯型和音出力装置。
4. 前記和音データファイルが、実楽器で奏でられた和音を録音して成るデータファイルである、請求項１、２又は３に記載の携帯型和音出力装置。
5. 前記実楽器が、複数の弦がほぼ同じ時間に弾かれることにより前記和音が奏でられる弦使用楽器である、
   請求項４に記載の携帯型和音出力装置。
6. 前記データメモリを前記制御機構及び音出力機構と離脱自在に結合するためのメモリ収脱機構を備えており、
   前記データメモリには、前記弦使用楽器を含む実楽器毎の前記データファイルが記録されている、
   請求項５に記載の携帯型和音出力装置。
7. 前記データメモリには、連続する複数の小節から構成される楽曲の表示用画像データが記録されており、各小節には、それぞれ、当該実楽器用に割り当てられた１又は複数の前記和音ＩＤが関連付けられており、
   前記制御機構は、前記楽曲の表示用画像データに基づいて所定の画像表示領域に、１つ又は複数の小節毎の楽曲画像を表示させるとともに、表示中の楽曲画像の小節に関連付けられている前記和音ＩＤをもとに特定された和音データファイルが前記音出力機構から出力されたときに、当該表示中の楽曲画像に代えて次の１つ又は複数の小節を含む楽曲画像を前記画像表示領域に表示させる表示制御手段をさらに備えており、操作者の前記操作子の選択ならびに前記タッチセンサの操作に起因して前記画像表示領域における楽曲画像の表示変更を進行させる、
   請求項６記載の携帯型和音出力装置。
8. 前記画像表示領域に表示される楽曲画像が、当該１つ又は複数の小節に割り当てられた、当該楽曲の歌詞と、和音出力のための前記タッチセンサの操作タイミングを案内する情報と、前記楽器における和音の生成を案内する情報との少なくともいずれかを伴うものである、
   請求項７に記載の携帯型和音出力装置。
9. 前記制御機構は、前記楽曲画像の表示変更の進行履歴、該楽曲画像の表示に伴う前記操作子の選択履歴および前記タッチセンサのタッチ操作履歴をそれぞれ相互に関連付けて記録する履歴記録手段をさらに備えており、操作者の指示の入力を契機に、前記履歴記録手段に記録されている情報のうち、前記進行履歴を前記表示制御手段に供給することにより、該表示制御手段に前記画像表示領域への楽曲画像の表示変更を再現させ、前記選択履歴および前記タッチ操作履歴を前記和音出力制御手段に供給することにより、該和音出力制御手段に前記表示変更に連動する和音の出力並びにその態様の変化を再現させる、
   請求項８に記載の携帯型和音出力装置。
10. 前記データメモリには、音の振動画像を表現するための振動画像データが記録されており、
    前記制御機構は、前記データメモリから読み出した振動画像ファイルを前記画像表示領域と異なる振動画像表示領域に表示させるとともに、表示中の振動画像を、前記和音の出力に従って変化させ、出力強度がゼロになった時点で静止させる振動画像表示制御手段をさらに備えている、
    請求項７に記載の携帯型和音出力装置。
11. 片手で把持可能な携帯サイズの筐体に搭載されたコンピュータを携帯型和音出力装置として動作させるためのコンピュータプログラムであって、前記筐体には、それぞれ操作者が一方の片手指で選択可能な複数の操作子と、操作者が他方の片手指で直接又は間接にタッチ操作可能なタッチセンサとが形成されており、さらに、データメモリ及び音出力機構が前記コンピュータに設けられており、前記データメモリには、実楽器が奏でる音特性を有する和音を前記音出力機構から出力させるための和音データファイルが、当該和音を識別するための和音ＩＤと共に複数記録されているものにおいて、
    前記コンピュータを、
    前記複数の操作子の各々に、いずれかの前記和音ＩＤを割り当てる割当手段、
    操作者がどの操作子を選択し始めてその選択を何時解除したかを検出する操作子選択状況検出手段、
    前記タッチセンサへのタッチ開始時期及び前記タッチセンサへのタッチ操作方向を含む操作内容を検出する操作内容検出手段、
    前記操作子選択状況検出手段で検出した操作子に割り当てられている前記和音ＩＤをもとに特定した和音データファイルを、当該操作子が選択されている間だけ前記データメモリより読み出して前記音出力機構に供給し、これにより出力可能になる和音を、前記操作内容検出手段が検出した操作内容と連動する態様で前記音出力機構から出力させ、更に、前記音出力機構から第１の和音が前記操作内容と連動する態様で出力された後に、前記操作内容検出手段が前記タッチセンサが再度タッチされたことを検出すると、再度タッチされたときの前記操作状況で検出した操作子に割り当てられている前記和音ＩＤにより出力可能になる和音を前記操作内容と連動する態様で前記音出力機構から第２の和音として出力するとともに、前記第１の和音と前記第２の和音の比較と、前記第１の和音におけるタッチ操作方向と前記第２の和音におけるタッチ操作方向との比較と、を行い、これらの比較結果に連動して、前記操作内容と連動する態様で出力される第１の和音の音量及び音の出力時間と、前記操作内容と連動する態様で出力される第２の和音の音量とをそれぞれ変化させる和音出力制御手段、として機能させる、コンピュータプログラム。
12. 請求項１１に記載のコンピュータプログラムを記録してなる、コンピュータ読み取り可能な記録媒体。

Images