WO2008004690A1

WO2008004690A1 - Dispositif portatif de production d'accords, programme d'ordinateur et support d'enregistrement

Info

Publication number: WO2008004690A1
Application number: PCT/JP2007/063630
Authority: WO
Inventors: Kosuke Asakura; Seth Delackner
Original assignee: Plato Corp.
Priority date: 2006-07-03
Filing date: 2007-07-03
Publication date: 2008-01-10
Also published as: US8003874B2; EP2045796A1; JPWO2008004690A1; US20100294112A1; EP2045796A4; JP4328828B2; CN101506870A

Description

携帯型和音出力装置、コンピュータプログラムおよび記録媒体技術分野

この発明は、例えばギター、ピアノ等のような実楽器で奏でられる和音を操作者主導で行えるようにする携帯型和音出力装置およびその関連品に関する。明

発明の背景

音処理その他の情報処理技術の発達により、実楽器で奏でられる音を電子的手書

段により出力する電子楽器装置が実現されている。この種の電子楽器装置は、例えば、実楽器を模した形状の筐体に、複数のセンサ、音出力ユニットおよび制御ユニットを設けて構成される。センサは、操が操作する部位に設けられ、操作者がある操作を行ったことを検知したときに所定のデータを出力する。制御ュニットには、楽音出力用のプログラムおよびデータが格納されており、センサ出力に応じた音源データを生成し、これをスピーカを含む音出力ュニットカら出力させる。

電子楽器装置の中には、発光素子又はディスプレイ等の表示ュニットを備えたものもある。このような電子楽器装置では、表示ユニットに操作の手順を逐次表示し、操作者がその手順に従う操作入力を行うことにより、実楽器と同様の楽音を出力させる。電子楽器装置の中には、さらに、いわゆる「カラオケ」のように、歌詞の表示を伴うものもある。すなわち、装置内のメモリに、操作者が操作すベき操作内容を表す操作指示データとリンクした歌詞データを保存しておき、歌詞データを表示ュニットに表示させる際に操作指示データを併せて表示することにより、歌詞表示と操作指示内容とを連動させている。

上記例に示されるとおり、従来の電子楽器装置は、高価な実楽器ないし力ラオケに代わって、楽音を低廉に出力できるという利点がある。また、これらの電子楽器装置は、装置固有の操作手順さえ覚えてしまえば、実楽器を弾けない者でも、簡単に演奏操作できるようになる。音楽は、楽器を巧みに演奏できなければ楽しめないというものではない。音楽は身近なものである。例えばギターの場合、旋律を弾けなくとも、和音さえ弾ければ一人でも大勢でも気軽にどこでも音楽を楽しむことができる。しかしながら、和音には膨大な種類があり、それを覚えるのは大変である。例えば三つの音から成る和音だけでも C、 Dm、 E m、 F、 G、 Am、 B m等がある。四つの音から成る和音には Cm a j 7、 Dm 7、 E m 7、 F m a j 7、 G 7、 Am 7、 B m 7 b 5等がある。これらの和音に、基音から数えて 9度の音や 1 1度等と言ったテンシヨンノートを; ¾[]えた和音もある。また、ギターの場合、指板上のどのポジションで押さえるかによつても和音のフォームが異なる。すなわち Cコードといえども、ローポジションでの指押さえ位置と、ハイポジションでの指押さえ位置、若しくは、それらの間のミドルポジションでの指押さえ位置とそれぞれ異なる。このような膨大な種類の和音について、楽曲毎に、適切な指押さえ位置を紙上に示すことも行われているが、印刷物そのものが嵩張り、取扱性が悪い。また、調ベたい特定の和音の指押さえ位置を知るのに、複数頁を捲りながらその中から該当するものを抽出しなければならず、使い勝手も悪い。

上述した従来の電子楽器装置において、和音データを予め用意しておき、装置側から操作者に対して和音の操作入力を指示する構成にすることが考えられる。し力し、ディスプレイを備えない電子楽器装置でこれを実現しょうとすると、操作者の側で和音出力のための操作内容を覚えていなければならないという不便さがある。ディスプレイを備える電子楽器装置であっても、装置主導で進行する表示内容にあわせて和音の操作指示を入力しなければならないため、操作に熟練を要する。カラオケのような電子楽器装置では、歌を歌う者のペースで操作指示を入力することができないため、同じ楽曲をそのときの気分に合わせてゆつくり歌つたり、早いテンポで歌ったりするということができない。また、弾き語りのようなことを行うことができなレ、。

従来の電子楽器装置は、また、装置の操作を覚えてしまえば一定の楽音が出力されるので、熟練者になるほど魅力度が低くなって飽きてしまうという問題があつた。

このような事情は、ギターに限らず、和音を出力できる他の実楽器、例えばピァノ等の音を電子的に実現する小型の電子楽器装置に共通となっている。

本発明は、熟練の程度にかかわらず、操作者が、任意の場所で、自分のペースで自由力つ簡単な操作により出力して、弾き語りを可能にしたり、あるいは、大勢の仲間が集まって合唱するときの伴奏を、操作者主導で行えるようにする携帯型の和音出力装置を提供することを課題とする。発明の開示

本発明の和音出力装置は、携帯サイズの筐体に、それぞれ操作者が一方の片手指で選択可能な複数の操作子と、操作者が他方の片手指で直接又は間接にタツチ操作可能なタツチセンサとが形成されており、前記筐体には、相互に結合されたデータメモリ、制御機構及び音出力機構が設けられており、前記データメモリには、実楽器が奏でる音特性を有する和音を前記音出力機構から出力させるための和音データファイルが、当該和音を識別するための和音 I Dと共に複数記録されており、前記複数の操作子の各々には、いずれかの前記和音 I Dが割り当てられている。

前記制御機構は、操作者がどの操作子を選択し始めてその選択を何除したかを検出する操作子選択状況検出手段と、前記タツチセンサへのタツチ開始時期を含む操作内容を検出する操作内容検出手段と、前記操作子選択状況検出手段で検出した操作子に割り当てられている前記和音 I Dをもとに特定した和音データファイルを、前記データメモリより読み出して前記音出力機構に供給し、これにより出力可能になる和音を、前記操作検出手段が検出した操作内容と連動する態様で前記音出力機構から出力させる和音出力制御手段とを備えるものである。本発明の和音出力装置において、前記操作内容検出手段は、例えば、前記タツチ開始時期のほか、前記タツチセンサへのタツチ操作方向、タツチ操作速度、およびタツチ操作位置の少なくとも一つを検出するものである。この場合において、前記和音出力制御手段は、前記タツチ操作方向又はタツチ操作速度が検出されたときは検出方向又は検出速度に応じて定められた和音を前記音出力機構から出力させ、当該タツチ操作方向の変化が検出されたときはその出力周波数を変化方向に応じて変化させ、タツチ操作速度の変化が検出されたときはその出力強度を変化速度に応じて変化させ、前記タツチ操作位置が検出されたときは当該検出位置に予め割り当てられた出力態様で出力させる。

前記和音データファイルは、例えば、実楽器で奏でられた和音を録音して成るデータファイルであり、実楽器は、複数の弦がほぼ同じ時間に弾力れることにより前記和音が奏でられる弦使用楽器である。このようなデータファイルを用いることにより、あたかも実楽器で奏でたような特性の和音を出力することができる。ある実施の態様では、前記データメモリを前記制御機構及び音出力機構と離脱自在に結合するためのメモリ収脱機構を備えて和音出力装置が構成される。このデータメモリには、前記弦楽器使用楽器を含む実楽器毎の前記データフアイルが記録されている。データメモリには、また、連続する複数の小節から構成される楽曲の表示用画像データが記録されており、各小節には、それぞれ、当該実楽器用に割り当てられた 1又は複数の前記和音 I Dが関連付けられている。このようなデータメモリへのアクセスを可能にする和音出力装置において、前記制御機構は、前記楽曲の表示用画像データに基づいて所定の画像表示領域に、 1つ又は複数の小節毎の楽曲画像を表示させるとともに、表示中の楽曲画像の小節に関連付けられている前記和音 I Dをもとに特定された和音データファイルが前記音出力機構から出力されたときに、当該表示中の楽曲画像に代えて次の 1つ又は複数の小節を含む楽曲画像を前記画像表示領域に表示させる表示制御手段をさらに備えており、操作者の前記操作子の選択ならびに前記タツチセンサの操作に起因して前記画像表示領域における楽曲画像の表示変更を進行させる。

これにより、装置主導ではなく、操^ 主導で楽曲画像を進めることができる。前記画像表示領域に表示される楽曲画像は、例えば、当該 1つ又は複数の小節に割り当てられた、当該楽曲の歌詞と、和音出力のための前記タツチセンサの操作タイミングを案内する情報と、前記楽器における和音の生成を案内する情報との少なくともいずれかを伴うものとするものである。

前記制御機構は、前記楽曲画像の表示変更の進行履歴、該楽曲画像の表示に伴う前記操作子の選択履歴および前記タツチセンサのタツチ操作履歴をそれぞれ相互に関連付けて記録する履歴記録手段をさらに備えたものとすることができる。このような制御機構を有する和音出力装置は、操作者の指示の入力を契機に、前記履歴記録手段に記録されている情報のうち、前記進行履歴を前記表示制御手段に供給することにより、該表示制御手段に前記画像表示領域への楽曲画像の表示変更を再現させ、前記選択履歴および前記タツチ操作履歴を前記和音出力制御手段に供給することにより、該和音出力制御手段に前記表示変更に連動する和音の出力並びにその態様の変化を再現させる。

前記データメモリには、音の振動画像を表現するための振動画像データが記録されており、前記制御機構は、前記データメモリから読み出した振動画像フアイルを前記画像表示領域と異なる振動画像表示領域に表示させるとともに、表示中の振動画像を、前記和音の出力に従って変化させ、出力強度がゼロになった時点で静止させる振動画像表示制御手段をさらに備えているものとすることができる _c 本発明は、携帯サイズの筐体に搭載されたコンピュータを携帯型和音出力装置として動作させるためのコンピュータプログラムを提供する。前記筐体には、それぞれ操作者が一方の片手指で選択可能な複数の操作子と、操作者が他方の片手指で直接又は間接にタツチ操作可能なタツチセンサとが形成されており、さらに、データメモリ及び音出力機構が前記コンピュータに設けられており、前記データメモリには、実楽器が奏でる音特性を有する和音を前記音出力機構から出力させるための和音データファイルが、当該和音を識別するための和音 I Dと共に複数記録されている。このようなものにおいて、本発明のコンピュータプログラムは、前記コンピュータを、前記複数の操作子の各々に、いずれかの前記和音 I Dを割り当てる割当手段、操作者がどの操作子を選択し始めてその選択を何時解除したカゝを検出する操作子選択状況検出手段、萌記タツチセンサへのタツチ開始時期を含む操作内容を検出する操作内容検出手段、前記操作子選択状況検出手段で検出した操作子に割り当てられている前記和音 I Dをもとに特定した和音データファィルを、前記データメモリより読み出して前記音出力機構に供給し、これにより出力可能になる和音を、前記タツチ操作検出手段が検出した操作内容と連動する態様で前記音出力機構から出力させる和音出力制御手段、として機能させるものである。このようなコンピュータプログラムは、コンピュータ読み取り可能な記録媒体に記録される。図面の簡単な説明

図 1は、本発明の和音出力装置の実施形態例を示す構造説明図であり、（ a )は正面図、（b ) は上底面図、（c ) は下底面図である。

図 2は、筐体の内部構成図と各種部品の接続状態図である。

図 3において、（a ) は初期振動画像、 ( b ) は「中」レベルの振動画像、（c ) は「強」レベルの振動画像、（d ) は「弱」レベルの振動画像の例である。

図 4は、楽曲画像の一例を示す表示画面である。

図 5は、ガイダンス画像の一例を示す表示画面である。

図 6は、操作スィツチおよび拡張スィツチの 8つの操作子にどの和音を設定 (登録済なら修正）するかを操作者に選ばせるための画面の例である。

図 7は、現在の設定内容の確認用の画面の例である。

図 8において、（a ) 〜（c ) は、設定（修正）されたことにより、操作スイツチで実際に選択入力できる和音の種類を示した図である。

図 9は、和音 I Dおよびファイル I Dを管理するテーブルの内容説明図である。図 1 0は、振動波形モードでの手順説明図である。

図 1 1 Aは、第 1の和音を出力した後に更に第 2の和音を出力する場合の第 1 の和音、第 2の和音それぞれの処理の一例を示す手順説明図である。

図 1 1 Bは、第 1の和音を出力した後に更に第 2の和音を出力する場合の第 1 の和音、第 2の和音それぞれの処理の一例を示す手順説明図である。

図 1 2において、（a ) 〜（c ) はチャンネル A、チャンネル Bのそれぞれから出力される和音の説明図である。ノ

図 1 3において、（a )はチャンネル Aから出力される和音の出力状態の説明図、 ( b ) はチャンネル Bから出力される和音の出力状態の説明図である。

図 1 4において、（a )〜（d ) はスタイラスペン等を上から下方向に操作した後に左右方向に途中変化させた場合の例、（e ) 〜（h ) は、下から上方向に操作した後に左右方向に途中変化させた場合の例である。

図 1 5は、余韻効果処理の手順説明図である。

図 1 6は、ガイダンスモードでの手順説明図である。 ' 図 1 7は、カラオケモードでの手 j噴説明図である。図 1 8は、カラオケモードにおける成功時と失敗時の画面遷移の違いを示した図である。

図 1 9は、複数のチャンネルを用いて操作子の操作方向によりミックス、クロスフェードを使い分ける場合のディスプレイ 1 1の表示画面例である。発明を実施するための最良の形態

以下、本発明を、アコースティックギターの和音を出力する和音出力装置に適用した場合の実施形態例を説明する。

ぐ全体構造 >

図 1は、この実施形態による和音出力装置の構造説明図である。（ a )は正面図、 ( b ) は上底面図、（c ) は下底面図である。この和音出力装置は、片手で把持可能なサイズの筐体 1 0を有し、この筐体 1 0内にメモリカード 2 0を離脱自在に収容できるように構成される。

筐体 1 0のほぼ中央部には、タツチセンサパネルを兼ねるディスプレイ 1 1が設けられている。ディスプレイ 1 1 (タツチセンサパネル）は、例えば L C D (Liquid Crysta丄 Display) あレヽは E L (Electronic Luminescence) » ら成る表示パネルの表面をタツチセンサで覆ったものである。ディスプレイ 1 1の外縁部は筐体 1 0の表面に対して多少窪んでおり、後述するスティラスペンが、その外縁部に沿ってなぞれるようになっている。タツチセンサとしては、抵抗膜方式、光学式 (赤外線方式)および静電容量結合式のいずれかの種類のものを用いることができる。ディスプレイ 1 1は、タツチパネルの上面をスタイラスペンのペン先あるいは指（以下、「スタイラスペン等」という場合がある。）で、押圧したり、撫でたりしてタツチ操作することにより、スタイラスペン等によるタツチ開始時期、タツチ座標位置おょぴその変化を含む操作内容を後述する制御ュニットへ伝達する。

筐体 1 0の表面には、また、短辺方向の中心軸に対してほぼ左右対称となる部位に、操作スィッチ 1 2 1， 1 2 2が設けられ、さらに、音出力孔 1 4 1， 1 4 2が形成されている。操作スィッチ 1 2 1は、ディジタルジョイスティックとして機能するもので、 8つの操作子を有しており、操作者がこれらの操作子の 1つを押圧操作することによって、押圧操作している間だけ最大 8種類のデータを選択的に入力できるようになつている。すなわち、操作者がどの操作子を選択し始めてその選択を何 ?除したかを、後述する制御ュニット 4 0において検出できるようになっている。操作スィッチ 1 2 2は、ディジタルスィッチとして機能するもので、 8つの操作接点を有しており、これらの 8つの操 ¾点の 1つを押圧操作することによって、最大 8種類のデータの入力を許容する。

本実施形態では、紙面に向かって左側の操作スィッチ 1 2 1は、左手の親指で傾き押圧操作、すなわち中心部を起点として 0度、 4 5度、 9 0度、 1 3 5度、 1 8 0度、 2 2 5度、 2 7 0度、 3 1 5度の 8つの方向のいずれかに傾けた状態で押圧操作する方向指示スィツチとして用レ、、他方、右側の操作スィツチ 1 2 2 は、右手親指で操作する動作モード、オプション機能その他の動作選択用スイツチとして用いる。右ききと左ききの操作者が存在することを考慮して、両スイツチ 1 2 1 , 1 2 2は、それぞれ相互交換が可能になっている。

なお、操作スィッチ 1 2 1， 1 2 2として、共にデジタルジョイスティックとして機能するものを用い、どちらの操作スィッチを方向指示スィッチにするか、あるいは動作選択スィッチにするかを任意に設定できるようにしても良レ、。また、操作スィッチ 1 2 2は、必ずしも 8つの操作接点を持たなくとも良く、 2〜4個の接点を共用しても良い。

音出力孔 1 4 1の上方には電源スィツチ 1 5が設けられており、音出力孔 1 4 2の上方にはスタートスィツチ 1 6 1 とファンクションスィツチ 1 6 2が設けられている。これらのスィッチ 1 5， 1 6 1， 1 6 2には、例えばプッシュボタンを用いることができる。スタートスィッチ 1 6 1は、動作開始（再開）したり、一時停止（Pause) したりするときに、操作者が押圧操作するものである。ファンクシヨンスィッチ 1 6 2は、各種設定画面、和音出力のための操作画面等の表示内容選択等を行うときに押圧操作するものである。

筐体 1 0の上側面部には、短辺方向の中心軸に対してほぼ左右対称の部位に一対の拡張操作スィッチ 1 3 1、 1 3 2が設けられている。さらに、ほぼ中央部に、スタイラスペン 3 0の収容空間とスタイラスペン 3 0の係止部 1 7が形成されてレヽる。拡張操作スィツチ 1 3 1は、操作スィツチ 1 2 1で指示可能な 8つの方向のグループを、予め設定された他のグループに切り替えるためのものであり、操作者が左手で筐体 10を把持したときに、左手の人差指又は中指で操作できる部位に配置されている。操作者が拡張操作スィッチ 131を押したり、押さなかつたりすることにより、左手だけの操作で最大で 16の方向を指示入力することができる。拡張操作スィッチ 132と操作スィッチ 122も、上記と同じとなる。すなわち、拡張操作スィツチ 132は、操作スィツチ 122で選択可能な最大で 8種類の選択内容のグループを別のグループに切り替えることができる。つまり、この和音出力装置で出力可能な和音の種類は、最大で（16X8) 種類となる。筐体 10の下側面部には、メモリカード 20の収容空間 18と、和音出力装置力ら出力する和音データをスピーカが接続された外部増幅器に導くための外部出力端子 19とが形成されている。

<制御ユニット等 >

本実施形態の和音出力装置は、筐体 10の内部に、コンピュータの一種である制御ュニット及ぴその周辺電子部品を備えている。

図 2は、筐体 10の内部構成図と各種部品の接続状態を示している。

図 2に示される制御ユニット 40は、メモリカード 20を離脱自在に収容するためのコネクタ 41、メインプロセッサを含んで成る CPU (Central Processing Unit)コア 42、キャッシュメモリとして機能する R AM (Random Access Memory) 43、音処理を実行する S PU (Sound Processing Unit) 44、画像処理を行う 2つの GPU (Graphic Processor Unit) 451， 452、 2つの画像領域 11 a, 1 1 bへの画像表示を可能にする表示コントローラ 47、及び、 I/O (Input /Output) インタフェース 48が、内部バス B 1を介して接続されている。

S PU44および GPU451， 452は、例えばシングルチップ AS I Cで構成される。 SPU44は、 CPUコア 42からのサウンドコマンドを受け取り、このサウンドコマンドに従って音処理を行う。「音処理」は、具体的には、二つの音出力ュニット 241， 242の各々で再生可能なステレオ和音を出力するための情報処理である。 GPU451, 452は、 C PUコア 42からの描画コマンドを受け、その描画コマンドに従って画像データを生成する。 CPUコア 42は、描画コマンドに加えて、画像データの生成に必要な画像生成指示を G PU 451， 452のそれぞれに与える。 CPUコア 42から各 GPU451， 452への描画コマンドの内容は、場面によって様々に変化するので、これについては後述する。

2つの GPU451, 452には、それぞれ画像データを描画するための VR AM (Video Random Access Memory) 461, 462が接続されている。 VRA M461には、 GPU451により、ディスプレイ 11の第 1表示領域 11 aに表示させる画像データが描画される。他方、 VRAM462には、 GPU452 により、ディスプレイ 11の第 2表示領域 11 aに表示させる画像データが描画される。画像データの内容については、後述する。

表示コントローラ 47は、これらの VRAM461， 462に描画されている画像データを読み出して所要の表示制御処理を行う。表示コントローラ 47はレジスタを含む。レジスタは、 CPUコア 42の指示によって「00」、「01」、「1 0」、「11」のデータ値を格納する。データ値は、例えば、ファンクションスィツチ 162を通じて選択された操作者の指示内容に従って決定される。表示コントローラ 47は、レジスタのデータ値に応じて、例えば以下のような制御を行う。データ値「00」 · · · VRAM461, 462に描画された画像データの各表示領域 11 a, 11 bへの出力を行わない。例えば和音出力装置の操作に慣れてディスプレイ 11への表示を必要としなくなつた場合等に、ファンクションスィツチ 162でこのデータ値が表示コントローラ 47に出力されるようにすることができる。

データ値「01」 · · · VRAM462に描画された画像データのみを第 2表示領域 11 bに出力する。第 2表示領域 11 bは、ディスプレイ 11の全表示領域とする。

データ値「10」 · · · VRAM461に描画された画像データのみを第 1表示領域 11 aに出力する。第 1表示領域 11 aは、ディスプレイ 11の全表示領域とする。

データ値「11」 · · 'ディスプレイ 11の表示領域を第 1表示領域 11 aと第 2表示領域 11 bに 2分割し、 VRAM461に描画された画像データを第 1表示領域 11 aに出力し、 VRAM 462に描画された画像データを第 2表示領域 l i bに出力する。

メモリカード 20は、 ROM (Read Only Memory) 21および E E P R OM (Electronically Erasaole and Programmable Read Only Memory) 22を搭載している。 EE PROMに代えて、フラッシュメモリその他の不揮発性メモリを用いることもできる。 ROM2 lぉょびEEPROMRAM22は、互いにバス（図示省略）で接続されており、さらに、このバスが、制御ユニット 40の内部バス B 1とコネクタ 41を介して接合される。これにより、 CPUコア 42、 S PU 44、 GPU451、 452は、メモリカード 20の ROM 21および E E P R OM22に直接アクセスすることができる。

I/Oインタフェース 48には、上述した各種スィッチ 121， 122, 13 1， 132, 15， 161， 162からの押圧操作データと、ディスプレイ 1 1 力ゝらのタツチ操作データとが入力される。押圧操作データは、操作者がどのポタンを押したかを表すデータであり、タツチ操作データは、操作者によるタツチ操作内容を表すデータである。各スィッチ 121， 122, 131， 132， 15， 161， 162が操作されると、对応するデータが IZOインタフェース 48を介して CPUコア 42に入力される。 1 0インタフェース 48からは、音出力ユニット 241， 242へ和音データが出力される。和音データは、 CPUコア 42と SPU44との協働により生成された音データである。音出力ュニット 2 41， 242は、この音データをアンプで増幅し、スピーカで再生する。

メモリカード 20の ROM 21には、各種画像データ、和音データフアイルぉょぴ和音出力用のプログラムが記録されている。和音出力用プログラムは、制御ユニット 40を、和音出力装置として動作させるための各種機能、例えば、操作者による操作子選択状況を検出する機能、タツチセンサへのタツチ開始時期を含む操作内容を検出する機能、操作子に割り当てられている和音をタツチセンサの操作内容と連動する態様で出力させる機能、履歴管理機能等を構築するものであり、 CPUコア 42により実行される。

画像データは、大別して、音の振動画像を表現するための振動画像データ、歌詞を含む楽曲画像を表現するための楽曲画像データ、初期画像を表現するための初期表示画像データ並びに各種設定用画像データである。まず、これらのデータについて説明する。

振動画像データは、制御ュニット 4 0から音出力ュニット 2 4 1， 2 4 2に音データが出力されるときの音強度に合わせた振動画像を表現するためのデータである。本例では、初期振動画像をもとに、「弱」、「中」、「強」の 3種類の振幅値の振動画像を表現できるようにする。図 3は、これらの振動画像の表示例を示してレヽる。図 3 ( a ) は初期振動画像 5 0である。図 3 ( b ) の振動画像 5 1は「中」、図 3 ( c ) の振動画像 5 2は「強」、図 3 ( d ) の振動画像 5 3は「弱」のときの振幅値であり、これらの振幅値を最大絶対値として、実際に音の出力タイミングに合った振動数で振幅の絶対値が変化するようにしている。

初期振動画像 5 0および振動画像 5 1， 5 2， 5 3は、後述する振動波形モードが選択されたときに、ディスプレイ 1 1に表示される。図 3 ( b ) 〜（において、破線の方向は、ディスプレイ 1 1をスタイラスペン等でタツチ操作した方向を表し、 ■の太さは、スタイラスペン等がタツチ操作したときの速度（タツチ操作速度）を表している。実際には、破線は表示されない。「中」、「強」、「弱」のいずれに該当するかは、例えば C P Uコア 4 2力ディスプレイ 1 1のタツチセンサで検出されるタツチ開始時期、タツチ座標位置およびその変化速度を含む操作内容の検出データを、 I ZOインタフェース 4 8を通じて受け取り、これらの検出データと図示しないテーブルに記録されている所定の基準データとを比較することにより判別する。

なお、振動画像の表現形態は、「中」、「強」、「弱」の 3種類でなければならないものではなく、 4種類以上であっても良い。また、 1つの振動画像データを画像処理によつて複数の振幅値およぴ振動数を表現できるようにしても良レ、。

楽曲画像データは、楽曲毎に用意される。ディスプレイ 1 1の表示画面例を示した図 4を参照すると、楽曲画像は、例えば、それぞれ連続する複数の小節 6 1 と、曲の進行グラフ 6 2と、和音ガイダンス用の操作子画像 6 3と、実楽器であるギターにおける和音毎の指押さえ位置を示す案内画像 6 4と力ら成る。各小節 6 1の該当領域には、それぞれ、歌詞 6 1 1と和音表示 6 1 2とが記述される。なお、小節毎に、操作子の操作タイミングを案内するタイミング情報を併せて記述しても良いし、逆に、歌詞 6 1 1の記述を省略しても良レ、。最低限必要なのは、和音表示 6 1 2である。各小節は、それぞれ小節 I Dにより識別されており、小節 I D毎に、和音表示 6 1 2、操作子画像 6 3、案内画像 6 4に対応するデータならびに歌詞データが関連付けられている。さらに、各和音表示 6 1 2には、それぞれ、当該和音を識別するための和音 I Dが関連付けられている。

楽曲画像は、例えば G P U 4 5 2により VRAM4 6 2に選択的に描画され、表示コントローラ 4 7を通じて第 2表示領域 1 1 bに表示される。

楽曲画像データは、一部のみを読み出して表示することができる。例えば、図 5は後述するガイダンスモード時の表示画面例であり、操作子画像 6 3と案内画像 6 4のみが読み出され、図 3 ( b ) に示した振動画像 5 1と共に表示される例が示されている。

初期表示画像データは、電源オン時にディスプレイ 1 1上に表示される画像である。

設定用画像データは、各種スィッチ 1 2 1， 1 2 2， 1 3 1， 1 3 2 , 1 5， 1 6 1， 1 6 2の画像およびこれらに割り当てる機能内容を表示するための画面を表示するためのデータである。これらの画像データは、ファンクションスイツチ 1 6 2により「設定」が選択されたときに、例えば G P U 4 5 2により VRA M4 6 2に描画され、表示コントローラ 4 7を通じて第 2表示領域 1 1 bに表示される。「設定」のときは、ディスプレイ 1 1には、第 2表示領域 1 1 bの表示内容が表示される。

例えば、図 6は拡張スィツチ 1 3 1の 8つの操作子にどの和音を設定（登録済なら修正）するかを操作者に選ばせるための画面の例、図 7は、現在の設定内容の確認用の画面の例をそれぞれ示している。設定用画像データの表示は、例えば、ファンクションスィッチ 1 6 2を所定回押すことにより可能になる。

図 6の上段左は、拡張スィツチ 1 3 1を押さない状態で操作スィツチ 1 2 1で選択入力できる最大 8種類の和音、上段右は、拡張スィツチ 1 3 1を押した状態で操作スィツチ 1 2 1で選択入力できる最大 8種類の和音を設定する操作子の配列画像である。下段の図表部分は、各操作子に設定する和音の紹介画像である。操作者は、図 6上段左右のいずれかの操作子を選択スィッチ 1 2 2で選択し、「登録」ボタンを選択した後、その操作子で選択入力する和音を選択スィッチ 1 2 2 で選択し、再び図 6下段の「登録」を押す。これを繰り返す。これにより、設定された内容が、メモリカード 2 0の E E P R OM 2 2に記録され、装置起動時に読み込まれて、操作スィツチ 1 2 1の各操作子に和音 I Dが割り当てられる。なお、設定内容の登録手順は任意であって良く、操作子の選択と和音の選択の順序は、上述した順序と逆であっても良い。

図 7を参照すると、デフオルト状態では、選択スィツチ 1 2 2の 8つの操作子には、それぞれ「曲調 # 1」〜「曲調 # 4」、「ユーザ設定 1」〜「ユーザ設定 4」がそれぞれ割り当てられる。「曲調 # 1」〜「曲調 # 4」には、それぞれ、図 6に示した 1 6種類の和音が設定されている。操作者が微調整したい場合は、図 6に示した画面下段の「修正」を押し、上述した手順で修正登録を行えば良レ、。「ユーザ設定 1」〜「ユーザ設定 4」は、それぞれ、図 6のような表示画面を通じて、操作者が自分の好みに応じて設定するためのものである。

図 8 ( a ) 〜（c ) は、上記のように設定（修正）されたことにより、操作スイッチ 1 2 1で実際に選択入力できる和音の種類を示している。

E E P R OM 2 2には、上述した和音 I Dの操作子への設定内容、初期画面表示後の動作モードの設定内容、及び各種履歴情報が記録される。動作モードは、本実施形態では、振動波形モード、ガイダンスモードおよびカラオケモードの 3 種類とする。振動波形モードは、ディスプレイ 1 1の全面に、図 3 ( a ) 〜（d ) の振動画像 5 0〜 5 3を表示させるモードである。ガイダンスモードは、ガイダンスモードは、ディスプレイ 1 1の全面に、図 5のような画像を表示させるモードである。カラオケモードは、ディスプレイ 1 1の全面に、図 4のような画像を表示させるモードである。これらの動作モードの詳細については、後述する。履歴情報は、楽曲画像の表示内容の進行履歴、楽曲画像の表示に伴う操作子の選択履歴およびタツチ操作履歴を表すデータと、各データが生じた時刻データと、それが消去されるまで保持される通し番号データである。時刻データは図示しなレ、タイマで計測される。通し番号データは、履歴を表すデータを記録する際に採番される。

R OM 2 1に記録される和音データファイルは、電子的に作成されたものではなく、いわゆる名手といわれる弾き手が実楽器であるギターで実際に奏でられた和音を録音して成るデータファイルである。和音の各々について、それぞれギタ一のサウンドホールの上から下方向（上述した第 1方向）、下から上方向（上述した第 2方向）、「弱」（第 1レベル)、「中」（第 2レベル)、「強」（第 3レベル)で採取し、それぞれを上述した和音 I Dおよびその下位層のファイル I Dで識別される 1つのデータファイルとしている。つまり、 1和音（例えば Am) で 6フアイル用意する。

このように 1つの和音毎に複数のデータファイルにするのは、事後の波形加工処理を少なくすることにより、実際に奏でられた和音の響きをできるだけ損なわないようにすることが主たる理由である。また、波形加工処理を少なくすることにより、 C P Uコア 4 2および S P U 4 4での情報処理を迅速にさせる、あるいは、処理能力をさほど要求しなくとも和音出力の機能を実現できる、という副次的効果も得られるようにするためである。

和音 I Dおよびファイル I Dは、図示しないテーブルで階層的に管理する。図 9は、このテーブルの内容説明図である。「c l0100j は「Am」を識別するための和音 I Dであり、その下位層にはファイル I D 「cl01001」〜「cl01006」が続く。「cl01001」は和音が Amで第 1方向（上カゝら下方向）でレベル 1 (弱）の和音データファイルを識別するためのファイル I Dである。「cl01006」は和音が A mで第 2方向（下から上方向）でレベル 3 (強）の和音データファイルを識別するためのファイル I Dである。他の和音 I D並びにファイル I Dについても同様のルールで I Dが割り当てられている。

ぐ和音出力装置の動作 >

次に、上記のように構成される和音出力装置の動作を説明する。

和音出力装置は、例えば、操作者が、左手で筐体 1 0を把持し、左手指で操作スィッチ 1 2 1等を操作（押す Z離す）するとともに、右手でスタイラスペン 3 0を持ち、あるいは、指を使って、ペン先又は指先でディスプレイ 1 1へのタツチ操作することにより動作可能になる。

メモリカード 2 0を筐体 1 0に装着した状態で、操作者が電源スィツチ 1 5をオンにすると、制御ユニット 4 0 (C P Uコア 4 2 ) は、メモリカード 2 0の R OM 2 1にアクセスして和音出力用プログラムの実行を開始する。制御ュニット 40は、また、メモリカード 20の ROM21および EEPROM22に記録されているデータ並びにテーブルの一部又は全部を RAM43にロードする。これにより、操作者が本装置を楽器として操作するための動作環境が構築される。電源オン直後、制御ュ-ット 40は、ディスプレイ 11の全面に初期画面を表示させる。初期画面には、操作者による動作モードの選択項目が含まれる。上述した振動波形モード、ガイダンスモード、カラオケモードのいずれかを操作者がファンクションキー 162で選択し、スタートボタン 161を押すと、制御ュニット 40は、初期画面を、選択された動作モードの動作画面に切り替え、各動作モード下での処理を行う。以下、図 10〜図 15を参照して、各動作モードにおける動作手順を説明する。

図 10は、振動波形モードでの手順説明図である。

振動波形モードカ S選択されると、制御ュニット 40は、初期振動波形画像をデイスプレイ 1 1に全画面表示させる（S 101)。この処理は、 CPUコア 42から GPU451に描画コマンドと画像データとを送出し、且つ、表示コントローラ 47に、上述したデータ値「10」を送出することにより実現される。

操作者によって操作スィッチ 121 (あるいは、拡張スィッチ 131と共に）のいずれかの操作子が押されたことを検知すると（S 102 ： Yes), 制御ュニット 40は、当該操作子に割り当てられた和音 I Dにより特定される和音デ一タフアイルを RAM 43又は ROM 21から読み出し、 S PU 44で音処理可能の状態にする（S 103)。この時点では、和音はまだ出力されない。

なお、この例では、制御ユニット 40は、その操作子が押されている間だけ、当該操作子に割り当てられた和音 I Dにより特定される和音データファイルを R AM 43又は ROM21から読み出し、 S PU 44で音処理可能な状態にする（S 103)。これにより、操作子が押されている間のみ和音が出力され、操作子が離されると和音が出力されなくなるので、ユーザは、和音の出力時間を容易に制御することができる。他の形態、例えば操作子が離されてから所定時間経過するまで SPU 44で音処理可能な状態にする（この場合、操作子が離されてから音をだんだん小さくしてフェードアウトさせてもよい）等、種々の形態が可能である。タツチセンサからの出力データに基づいてタツチ操作内容を検知すると（S 1 0 4 ： Yes) , 制御ユニット 4 0は、タツチ操作内容に連動した態様で、和音データに対する音処理を行い、和音を出力させる（S 1 0 5 )。タツチ操作内容が検知されない場合は（S 1 0 4： No) ,タツチ操作内容が検出されるまで S 1 0 4を繰り返す。

「タツチ操作内容に連動する態様」の例として、ここでは、タツチ操作方向とタツチ操作速度、並びにその変化に応じて和音の出力音の音色、強度を異ならせる例を挙げる。すなわち、同じ和音が指定された^^であっても、上から下方向 (第 1方向）にタツチ操作されたときは多少周波数が高く、下から上方向（第 2 方向）にタツチ操作されたときは、低くなる。これは、実楽器であるギターの弦操作がそのようになっているためである。また、タツチ操作速度が速いときは、遅いときよりも出力強度が高くなる（レベル 3 >レベル 1 )。そっと触る程度のタツチ操作速度では、微弱な音（レベル 1 ) が出力される。

タツチ操作がどの方向になされたかは、タツチ操作開始位置の検出を契機に、タツチ操作が連続して進行する方向を検出することにより判別する。タツチ操作速度は、単位時間におけるタツチ連続操作量を検出することにより判別する。操作方向の変化は、例えばタツチ操作位置の変ィヒのパターンマツチング等により判別する。これらの検出を容易にするため、 R AM 4 3に、操作開始位置を一時的に保存しておくことが好ましい。また、パターンマッチングの際の指標となる基本パターンを用意しておく。

図 9に例示したいずれかの和音データファイルをファイル I Dをもとに選択し、これを S P U 4 4に送出することによりステップ S 1 0 5が実現される。このようにして S P U 4 4から和音が出力されるときは、ディスプレイ 1 1に表示中の振動波形画像の振幅値を和音の出力態様、例えば音強度 (レベル 1〜レベル 3 ) に応じて変化（振動）させる（S 1 0 6 )。

それまで押されていた操作子が離されたことを検知したとき、つまり、操作を止める力、別の操作子を指定したときは、ステップ S 1 0 2の処理に戻る（S 1 0 7： Yes)。操作子が離されない場合 ( S 1 0 7： No) ,和音出力レベルがゼロになるまでステップ S 1 0 6以降の処理を繰り返す ( S 1 0 8： No)。これにより、所定の時間にわたって余韻音が出力され続けることになる。余韻音がなくなって和音出力レベルがゼロになったときは、ステップ S 1 0 2に戻る（S 1 0 8 ： Yes)。このように、振動波形モードでは、操作者は、振動波形をみて実楽器で奏でられた和音の余韻を楽しみながら、和音出力装置を操作することができる。また、操作者自身のペースで、自由かつ簡単な操作だけで和音が出力されるので、従来の電子楽器装置と異なって弾き語りが容易になり、大勢の仲間が集まって合唱するときの伴奏も、操作者主導で行えるようになる。

次に、先にある和音（第 1の和音）を出力し、その後再度タツチ操作を行うことで次の和音（第 2の和音）を出力する場合の処理を説明する。第 1の和音の出力及び第 2の和音の出力に関しては、種々の処理が可能である。例えば、「第 1の和音に関しては、第 1の和音をミュート（消音）させて第 2の和音出力のみ行う」、「第 2の和音の出力がない場合と同様に第 1の和音出力をそのまま継続して第 2 の和音に重ねる」、「第 1の和音をフエ一ドアウトさせて第 2の和音出力に重ねる j 等の処理が挙げられる。

また、第 2の和音に関しては、「先に第 1の和音が出力されていないときと同様にして出力する」、「出力当初の音量を小さくして徐々に大きくする（フードィン）ことで第 1の和音に重ねる」等、種々の処理が挙げられる。これら第 1の和音出力の処理と第 2の和音出力の処理を適: 且み合わせて実行することができる。以下、図 1 1 A、 Bを参照して、第 1の和音を出力した後に更に第 2の和音を出力する場合の第 1の和音、第 2の和音それぞれの処理の一例を示す。

図 1 1 A、 Bにおいて、振動波形モードが選択されると、制御ュニット 4 0は、初期振動波形画像をディスプレイ 1 1に全画面表示させる（T 1 0 1 )。この処理は、 C P Uコア 4 2力ら G P U 4 5 1に描画コマンドと画像データとを送出し、且つ、表示コントローラ 4 7に、上述したデータ値「1 0」を送出することにより実現される。

操作者によって操作スィッチ 1 2 1 (あるいは、拡張スィッチ 1 3 1と共に）のいずれかの操作子が押されたことを検知すると（T 1 0 2 ·· Yes) , 制御ュニット 4 0は、その操作子が押されている間、及ぴ後述するように二つの和音を重ねる場合等のように操作子が離されても和音の出力が必要となる間は、当該操作子に割り当てられた和音 I Dにより特定される第 1の和音データファイルを R AM 43又は ROM 21から読み出し、 S PU 44で音処理可能の状態にする（T 1 03)。この時点では、第 1の和音はまだ出力されない。タツチセンサからの出力データに基づいてタツチ操作内容を検知すると（T 104 ： Yes), 制御ュニット 40は、タツチ操作内容に連動した態様で、第 1の和音データに対する音処理を行い、第 1の和音を出力させる（T105)。

この際、図 11A、 Bの実施形態では、和音を出力するチャンネルがチャンネル八、 Bの二種類あり、これらのチャンネルからそれぞれ同時に同じ和音、あるいは異なる和音を出力することができ、 T105では、チャンネル Aから和音を出力するものとした。なお、この例ではチャンネは A、 Bの二つとしたが、チヤンネル A、 B、 C…のように三つ以上のチャンネルからそれぞれ和音出力を行うようにすることもできる。また、制御ユニット 40は、各チャンネル毎に、操作子に割り当てられた和音 I Dにより特定される和音データファイルを R AM 4 3又は ROM21から読み出し、 S PU 44で音処理可能の状態にする。タツチ操作内容が検出されると、制御ュニットは、タツチ操作内容に連動した態様で、和音データに対する音処理を行い、和音を出力させる。

この例では、第 1の和音が Cコードで、力つ上から下方向（第 1方向）にタツチ操作されたものとして説明する。

タツチ操作内容が検知されない場合は（T104 :No)、タツチ操作内容が検出されるまで T 104を繰り返す。

「タツチ操作内容に連動する態様」に関しては、図 10の例と同様に、上から下方向（第 1方向)、下から上方向（第 2方向）にタツ操作されたときで周波数を変えることや、音レベルを変えることなどが可能である。

図 9に例示したレ、ずれかの和音データファイルをファイル I Dをもとに選択し、これを SPU 44に送出することによりステップ T105が実現される。このようにして S PU44から和音が出力されるときは、ディスプレイ 11に表示中の振動波形画像の振幅値を和音の出力態様、例えば音強度 (レベル 1〜レベル 3 ) に応じて変化（振動）させる（T106)。

次に、それまで押されていた操作子が離された力否かを判定し、操作子が離されていないとき（T107 ： No) は、和音出力レベルがゼロ力否かを検出し、ゼ口であれば（T 1 0 8 ： Yes) T 1 0 2に戻る。ゼロでなければ（Τ 1 0 8 ： No) , タツチ操作がなされたかを判定する。タツチ操作されていないとき（T 1 0 9 : No) は、 T 1 0 7に戻る。

T 1 0 9でタツチ操作が検出された場合 (T 1 0 9 ： Yes) , そのタツチ操作が T 1 0 4におけるタツチ操作と逆方向のタツチ操作である力否かを検出する。逆方向のタツチ操作である場合 (T 1 1 0 ： Yes) _Λ チャンネル Αからの第 1の和音 (この例では第 1方向でタツチ操作されたコード Cの和音）に加えて、 T 1 0 8 における逆方向のタツチ操作に対応した和音（第 2の和音）をチャンネル Bから出力させる。この例では T 1 0 4で Cコードが第 1方向でタツチ操作されているので、同じ Cコードのままで第 2方向でのタツチ操作が検出され、 R OM 2 1に記録された和音データファイルからこれに対応する和音データが第 2の和音として読み出される。制御ユニット 4ひは、この和音データに对する音処理を行い、第 2の和音を出力させ（T l 1 1 )、 T 1 0 6へと戻る。

この場合のチャンネル A (図中では Ch. A)、チャンネル B (図中では Ch. B) それぞれから出力される和音の説明図を図 1 2 ( a ) に示す。この図に示されるように、チャンネル Aからの第 1の和音出力に加えて、チャンネル Bからの第 2の和音が出力される。チヤンネル Bから第 2の和音を出力することによってチヤンネル Aから出力される和音を特に変化させることはなく、チャンネル Aからの和音は、チャンネル Bからの出力を行わないときと同様に、上記の所定の時間にわたって余韻音が出力される。従って、この場合、スピーカーからは、チャンネル Aからの第 1の和音とチヤンネル Bからの第 2の和音とがミックスされて出力される。

ギター等の実際の楽器を演奏する場合、あるコードで所定方向にストロークして和音を弾いた後に同じコードで逆方向にストロークして和音を弾いた場合、楽器本体の共鳴や残響等の影響から、逆方向にストロークして和音を弾いた後であつても、その前の所定方向のストロークで弾かれた和音が、逆方向にストロークした和音と重なって聞こえる。

一方、電子的な和音をスピーカから出力する場合、上述のような楽器における本体の共鳴の効果は得られないので、単に第 1の和音を出力した後に第 2の和音を出力しただけでは、ユーザが「実際の楽器とは聞こえ方が違う」と認識し、聴覚的に不自然であると感じることになる。

この例では、上述のように第 1の和音と第 2の和音とをミッタスして出力すること力ら、実際の楽器と同様に、第 1の和音と第 2の和音とが重なつて出力され、聴覚的な違和感をユーザにあたえるおそれが少なくなつている。

次に、 T 1 0 9で検出されたタッチ操作が T 1 0 4におけるタツチ操作と逆方向のタツチ操作ではない場合（T 1 1 0： No)、つまり、 T 1 0 4におけるタツチ操作と同じコードで同方向のタツチ操作である場合には、これに対応する和音、この例では第 1方向でタツチ操作された Cコードが第 2の和音としてチャンネル Bから出力され（T 1 1 2 )、ステップ T 1 0 6へと戻る。従って、チャンネル A から出力されている第 1の和音とチャンネル Bから出力される第 2の和音とは同じ和音となる。

この例では、図 1 3 ( a ) に示すように、チャンネル Aから出力される和音は、 T 1 0 4でのタツチ操作と同方向のタツチ操作が検出された時点を t。として、 t。から音がだんだん小さくされて tュの時点で音量がゼロとなるようにする。一方、図 1 3 ( b ) に示すように、チャンネル Bから出力される和音は、 t。で最小音量で出力され、だんだん大きくなって t iの時点で所定の音量に達するようになっている。 t。から t iまでの期間は任意に決定でき、この例では、ユーザの聴覚的に自然であると感じられるように、千分の二秒（0 . 0 0 2秒）とした。しかし、適宜この期間を 0 . 0 0 2秒より長く、あるいは短く設定することができる。また、この期間を、音の高さ、タツチ操作の強さ、タツチ操作と次のタツチ操作との間隔の長さ等によりアクティブに変更させてもよい。この制御は、 S P U 4 4で行うことができる。

このように、短期間（この例では 0 . 0 0 2秒程度）でチャンネル Aの音を小さくしていき、チャンネル Bを小さな音から大きくしていくことを「クロスフエード」と称する。クロスフェードを行わない場合、第 1の和音の出力を停止して第 2の和音を出力するまでにタイムラグが生じて無音となる時間が発生してしまうおそれがあり、また、仮にタイムラグをなくすことができたとしても、第 1の和音と第 2の和音が同時にだされる期間がまったくない場合、聴覚的に不自然に感じられるが、クロスフェードを行うことで、聴覚的に自然に聞こえるようにでさる。

クロスフェードでは、チャンネル Aとチャンネル Bとの音量の和が、常に t。におけるチヤンネル Aからの音量値と同じ値となるようにしてもよい。この例では、 T 1 0 9におけるタツチ操作がなされてそれに対応する和音が出力されたことをユーザに強調するために、チャンネル Bからの音を大きめにして、チャンネル Aとチャンネル Bとの音量の和が、 t。におけるチャンネル Aからの音量値よりも大きくなるように設定した。チャンネル Aとチャンネル Bとの音量の和に関しては、特に制限はなく、種々の手法で設定することが可能である。

次に、 T 1 0 7において、操作子が離されたことを検知したとき、つまり、操作を止める力別の操作子を指定したときは、その直後に別の操作子が押されてかっタツチ操作がなされたか否かを判定する。なお、ユーザが操作子を離して再度押すためには、ある程度の時間を要し、この時間内で操作がなされた^ こ、「直後に操作子が押された」として判定する。直後に別の操作子がおされてかつタツチ操作がなされた (T l 1 3 ： Yes) , この操作子及びタツチ操作方向に対応した和音（第 2の和音）を、 R OM 2 1に記録された和音データファイルから読み出し、第 1の和音と第 2の和音を上述のようにクロスフェードさせ（T l 1 4 )、ステップ T 1 0 6へと戻る。 T 1 1 3において、その直後に別の操作子がおされてかつタツチ操作がなされたと判定されなかった場合 (T 1 1 3 ： No) は、 T 1 0 2へと戻る。

このように、第 2の和音が第 1の和音と同じ和音でタツチ操作方向（実際のギター等の楽器でのストローク方向）が逆である場合と、その他の場合と、を区別して、和音の出力処理方法を変えることで、一層実際の楽器に近い、自然な和音出力を行っている。

特に、本実施形態では、第 1の和音を出力してから同じ和音で同じ方向へのタツチ操作により音の強さ以外は互いに等しい第 2の和音を出力する場合、これら二つの和音をミックスし、それ以外の^^は、第 1の和音と第 2の和音をクロスフエードして出力することで、一層自然な和音出力を行うことができる。

従来の和音出力装置では、上記のような区別の必要性が認識されておらず、第 1の和音とその後に出力される第 2の和音との種類に関わらず音の出力処理を行つていたことから、ユーザは聴覚上、出力される和音が不自然であると感じるおそれがあった。しかし、本実施形態では、このような不自然さが解消されている。なお、本実施形態では、スタイラスペン等の操作方向を途中変化させることにより和音の余韻の音色を変化させる余韻効果処理を実行できるようにしてある。例えば図 14 (a) 〜（d) は、スタイラスペン等を上から下方向に操作した後に左右方向に途中変化させた場合の例、（e) 〜（！ 1) は、下から上方向に操作した後に左右方向に途中変化させた場合の例である。このように操作されたときの制御ユニット 40の処理手順は、図 15のようになる。すなわち、スタイラスペン等の操作方向転換を検出し（A101 ： Yes), それが右方向であったときは (A102： Yes),余韻音のピッチを狭くして出力する（A103)。これにより、余韻音の周波数が若干高くなる。他方、方向転換が左方向であったときは（A1 02 ： No), 余韻音のピッチを広くして出力する（A104)。これにより、余韻音の周波数が若干低くなる。以上の手順を余韻音が続く限り行う（A105 ： Yes：)。これにより、アコースティックギターでありながら、エレキギターのようなビブラートを表現することができ、操作に幅を持たせることができる。

次に、図 16を参照して、ガイダンスモードにおける動作手順を説明する。ガイダンスモードが選択されたときは、初期ガイダンス画像を表示する（B 1 01)。初期ガイダンス画像は、図 5のうち振動画像 51を図 3 (a) に示した初期振動画像 50に置き換えた画像であり、表示コントローラ 47に上記のデータ値「11」を出力することにより実現される。

ある操作子が押されたことを検知す,ると（B 102 ： Yes), 制御ュニット 40 は、振動波形モード時と同様、操作子に割り当てられた和音データファイルを読み出して、音処理可能状態にする（B 103)。また、押された操作子に割り当てられた和音に関する画像の表示状態を変化させる（B 104)。例えば、図 5のように、押された操作子がわかるように、他の押されない操作子よりも目立つ表示に変化させる。

以後の操作は、振動波形モード時と同様である。すなわち、タツチ操作されたことを検知したときは（B 105 ： Yes), タツチ操作内容に応じた態様で、和音データに対する音処理を行い、和音を出力させる（B 106)。また、表示中の振動波形画像の振幅値を和音の出力態様に応じて変化（振動）させる（B 107)。操作子が離されたときは、ステップ B 102の処理に戻る（B 108 ： Yes)。操作子が離されない場合 (B 108： No),和音出力レベルがゼロになるまでステツプ B 107以降の処理を繰り返す（B 109： No)。和音出力レベルがゼロになつたときはステップ B 102に戻る（B 109 :Yes)。このガイダンスモードにより、和音ガイダンス用の操作子画像 63と案内画像 64とを見ながら操作できるので、操作がより容易になる。

次に、図 17および図 18を参照して、カラオケモードにおける動作手順を説明する。

カラオケモードが選択されたときは、楽曲画像を表示する（K101)。楽曲画像は、例えば図 4に示したものである。ある操作子が押されたことを検知すると (K102 ： Yes), 振動波形モード時と同様、その操作子に割り当てられた和音データファイルを読み出して、音処理可能状態にする（K103)。また、ガイダンスモード時と同様、押された操作子に割り当てられた和音に関する画像の表示状態を変化させる（K104)。

タツチ操作されたときは（K105 ： Yes), タツチ操作内容に応じた態様で、和音データに対する音処理を行レ、、和音を出力させる（K106)。また、表示中の振動波形画像の振幅値を和音の出力態様に応じて変化（振動）させる（K10 7)。

操作者により操作子が正しく押されたかを判別する（K108)。この判別は、例えば指定すべき和音表示（図 4の現在の和音表示 66 ) の出力と、押された操作子に割り当てられている和音 I Dとが適合するかどうかにより行う。正しく押されたときは、表示中の楽曲画像の進行を進める（K108 ： Yes, K109)。他方、正しく押されなかったときは K109の処理をバイパスする（K108 ： Νο)。操作子が離されたときは、ステップ K102の処理に戻る（Kl 10： Yes)_c 操作子が離されない場合 (Kl 10： No),和音出力レベルがゼロになるまでステップ K107以降の処理を繰り返す (Ki l l ： No)₀和音出力レベルがゼロになつたときほステップ K102に戻る（Ki l l ： Yes)。以上の処理により、ディスプレイ 1 1に表示される画像は、和音を正しく指定できたときは、楽曲画像が予め決められた方向に進行する。そして、進行状況に応じて、進行グラフ 6 2における現在の位置を変化させる。ゆっくり歌いたい場合は、和音をゆっくり指定しながらタツチ操作すれば良い。このようにすることで、装置主導ではなく、操作者の都合で曲を進行させることができる。他方、誤操作したときは、楽曲画像が進行しないので、操作者は、どの辺で誤操作したかのが容易にわかる。例えば、楽曲画像が図 1 8上段（案内画像 6 4は省略してある）のように、操作すべき和音表示 6 6を、操作者が正しく操作したとき（成功）は、図 1 8中段のように小節が進行する。他方、和音表示 6 6通りの和音を指定しなかったとき（失敗）は、楽曲画像は進行しない。

図 1 9に、上記例における複数のチャンネルを用いて操作子の操作方向によりミックス、クロスフェードを使い分ける場合のディスプレイ 1 1の表示画面例を示す。楽曲画像は、例えば、その長さがタツチ操作を行ってから次のタツチ操作を行うまでの時間を表すバー 7 1 (図中において個々のバー 7 1を b 1、 b 2、 b 1 2として表す）と、和音ガイダンス用の操作子画像 7 3とカゝら成る。各バ一 7 1の該当領域には、それぞれ、歌詞 7 1 1と和音表示 7 1 2とが記述される。また、上から下方向へのタツチ操作を表すタイミング記号（図中において Vで表される） 7 1 4と、下から上方向へのタツチ操作を表すタイミング記号（図中において逆向きの Vで表される） 7 1 5も表示される。

図 1 9における各バー 7 1は、その長さがタツチ操作を行ってから次のタツチ操作を行うまでの時間を表すので、バー 7 1の長さとタイミング記号とにより、ユーザは、タツチ操作を行うタイミング及ぴタツチ操作の向き（実際のギターにおいてはストロークの向き）を容易に視認することができる。図 1 7の例においては、 b l〜b 9までは同じ間隔で下向きにタツチ操作を行い、バー b 4、 b 7 の先頭においては上向きに、それ以外のバーの先頭において下向きにタツチ操作を行う。バー b 1 0の長さはバー b l〜b 9の長さの半分であり、バー 1 1の先頭においてはタイミング記号が逆 Vとなっているので、バー b 1 0の先頭において上から下方向にタツチ操作を行った後、それまでの半分の時間経過後に下から上方向にタツチ操作を行う。バー b 1 1は、バー b 1〜13 9の1 . 5倍の長さであり、力つ、バー b 1 2の先頭においてタイミング記号が Vとなっていることから、バー b l〜b 9における時間の 1 . 5倍の時間経過後に上から下方向にタツチ操作を行う。

また、図 4の例では、操作子として 8方向ボタンを用いた例が示されているが、この例では、和音出力装置の操作子として十字ボタンを使用して操作子画像 7 3 として示している。バー b lにおいては、操作子の左（十字ボタンの左）を押すことで和音 Cを選択することが示される。同様に、バー b 3では操作子の右を押すことで和音 F、バー b 6では操作子の上（十字ボタンの上）を押すことで和音 Dm 7、バー b 9では操作子の下（十字ボタンの下）を押すことで和音 Gを選択することが示される。なお、これ以外のバーでは、操作子画像 7 3が示されていないが、これらは、その前に示されたボタンを押し続けることを示す。例えば、 b 2においては、 b 1の操作子画像 7 3が操作子の左を押すことを示していること力ら、 b 1で押さえた操作子の左を押し続けることになる。

このように画面表示を行うことで、タツチ操作を行う（ギターでのストロークを行う）タイミングとストローク方向、及び押さえるべき操作子をユーザにわかり易く伝えることができる。また、個々のバーには、図 4の例における小節 I D と同様に、和音表示 7 1 2、操作子画像 7 3ならびに歌詞データが関連付けられている。さらに、各和音表示 7 1 2には、それぞれ、当該和音を識別するための和音 I Dが関連付けられている。

[履歴管理]

制御ュニット 4 0は、操作者が操作したことの履歴を管理する機能を有する。この機能は、主として、カラオケモードのときに有効となる。すなわち、楽曲画像の表示変更の進行履歴、楽曲画像の表示に伴う操作子の選択履歴およびディスプレイ 1 1への操作者のタツチ操作履歴をそれぞれ相互に関連付けて E E P RO M 2 2に記録する。 E E P P R OM 2 2に記録されている情報は、例えば操作者の指示に基づき、いつでも再現させることができる。例えば、楽曲画像の進行履歴は、例えばそれを G P U 4 5 2に供給することにより再現することができ、操作子の選択履歴およびタッチ操作履歴は、それを S P U 4 4に供給することにより再現させることができる。この機能は、例えば操作者が、本装置の現在の操作能力をチヱックしたり、「自動カラオケ」として使用するとき等に利用される。また、操作履歴から演奏を再現しているときに、演奏されているディスプレイ 1 1に、図 4の和音表示 6 1 2や図 1 7の和音表示 7 1 2を表示するようにしてもよレ、。また、図 4の操作子画像 6 3や図 1 7の操作子画像 7 3を表示するようにしてもよい。

これにより、再生時に、演奏されている和音や、録音時に操作子のどのボタンを押さえたかを確認することができる。

このように、本実施形態の和音出力装置は、片手で把持できるサイズなので、何処にでも持参することができる。使用に際しては、操作者が、例えば左手で筐体 1 0を把持しつつ左手指で操作スィッチ 1 2 1を操作し、右手又はスタイラスペンでタツチ操作するだけで和音を出力するので、非常に手軽であり、必ずしも熟練を要しない。また、装置主導でなく、操作者が自分のペースで自由に操作できるので、自分のそのときの気分にま力せて、あるときは、ゆっくり歌ったり、早いテンポで歌ったりするということができる。弾き語りのようなことも気軽に行えるようになる。

初心者は、例えばガイダンスモード又はカラオケモードを選択して操作することにより、和音を覚えていなくとも操作することができるし、和音は、実楽器を実際に奏でた音をベースに出力されるので、初心者は初心者なりの、また、熟練者は熟練者なりの楽しみ方ができる。

[変形例]

本発明は、上記の実施の形態例に限定されるものではなく、種々の構成変更が可能である。例えば、制御ユニット 4 0は、タツチ開始時期、タツチ操作方向、タツチ操作速度のみならず、タツチ操作位置を操作内容として検出する構成にしても良い。すなわち、所定のタツチ操作位置に予め和音表示と和音 I Dとを割り当てておき、操作者がディスプレイ 1 1上の和音表示の位置を選択することにより、操作スィッチ 1 2 1の押圧操作と同様に機能するようにしても良い。

本実施形態では、カラオケモード時に誤操作しても和音は出力される力誤操作のときには、該当和音を出力しないようにしても良い。このようにすれば、誤操作したことをより迅速に判断することができる。

本実施形態では、振動画像等は第 1表示領域 1 1 a、楽曲画像等は第 2表示領域 1 1 bに表示させるようにしたが、これらの表示領域は適宜に変更され得る。本実施形態では、また、第 1表示領域 1 1 a , 第 2表示 1 1 bを切り替えて 1つのディスプレイ 1 1表示させるようにしたが、ディスプレイを 2つ設け、これらのディスプレイの一方に第 1表示領域 1 1 _aと第 2表示 1 1 bの一方、ディスプレイの他方に第 1表示領域 1 1 aと第 2表示 1 1 bの他方を表示させるようにしても良い。

本発明は、ギターのみならず、他の楽器、例えばピアノで弾かれる音色の和音を出力する場合にも適用が可能である。

Claims

請求の範囲

1 . 片手で把持可能な携帯サイズの筐体に、それぞれ操作者が一方の片手指で選択可能な複数の操作子と、操作者が他方の片手指で直接又は間接にタッチ操作可能なタツチセンサとが形成されており、

前記筐体には、相互に結合されたデータメモリ、制御機構及び音出力機構が設けられており、

前記データメモリには、実楽器が奏でる音特性を有する和音を前記音出力機構力ら出力させるための和音データファイルが、当該和音を識別するための和音 I Dと共に複数記録されており、

前記複数の操作子の各々には、いずれかの前記和音 I Dが割り当てられており、前記制御機構は、

操作者がどの操作子を選択し始めてその選択を何時解除したかを検出する操作子選択状況検出手段と、

前記タツチセンサへのタツチ開始時期を含む操作内容を検出する操作内容検出手段と、

前記操作子選択状況検出手段で検出した操作子に割り当てられている前記和音 I Dをもとに特定した和音データファイルを、当該操作子が選択されている間だけ前記データメモリより読み出して前記音出力機構に供給し、これにより出力可能になる和音を、前記操作検出手段が検出した操作内容と連動する態様で前記音出力機構から出力させる和音出力制御手段とを備えるものである、

携帯型和音出力装置。

2 . 前記操作内容検出手段は、前記タツチ開始時期のほか、前記タツチセンサへのタッチ操作方向、タッチ操作速度、およびタッチ操作位置の少なくとも一つを検出するものであり、

前記和音出力制御手段は、前記タツチ操作方向又はタツチ操作速度が検出されたときは検出方向又は検出速度に応じて定められた和音を前記音出力機構から出力させ、当該タッチ操作方向の変化が検出されたときはその出力周波数を変化方向に応じて変化させ、タツチ操作速度の変化が検出されたときはその出力強度を変化速度に応じて変化させ、前記タツチ操作位置が検出されたときは当該検出位置に予め割り当てられた出力態様で出力させる、

請求の範囲第 1項記載の携帯型和音出力装置。

3 . 前記操作内容検出手段は、前記タツチ開始時期のほか、前記タツチセンサへのタツチ操作方向を検出するものであり、

前記和音出力制御手段は、前記音出力機構から第 1の和音が前記操作内容と連動する態様で出力された後に、前記操作内容検出手段が前記タツチセンサが再度タツチされたことを検出すると、再度タツチされたときの前記操作状況で検出した操作子に割り当てられている前記和音 I Dにより出力可能になる和音を前記操作内容と連動する態様で前記音出力機構から第 2の和音として出力するとともに、前記第 1の和音と前記第 2の和音の比較と、前記第 1の和音におけるタツチ操作方向と前記第 2の和音におけるタツチ操作方向との比較と、を行い、これらの比較結果に連動して、前記操作内容と連動する態様で出力される第 1の和音の音量及び音の出力時間と、前記操作内容と連動する態様で出力される第 2の和音の音量及び音の出力時間とをそれぞれ変化させる、

請求の範囲第 2項記載の携帯型和音出力装置。

4 . 前記操作内容検出手段は、前記第 1の和音と前記第 2の和音とが等しく、かつ、前記第 1の和音におけるタツチ操作方向と前記第 2の和音におけるタツチ操作方向とが互いに反対方向である場合に、前記操作内容と連動する態様で出力される第 1の和音に、前記操作内容と連動する態様で出力される第 2の和音を合成して出力させ、

その他の場合には、前記操作内容と連動する態様で出力される第 1の和音を、前記再度タツチされた時点から小さくしていき所定時間で消音させ、前記操作内容と連動する態様で出力される第 2の和音を、前記再度タツチされた時点では最小音量とし、その後は前記所定時間に渡ってその音量を徐々に大きさせて出力する、

請求の範囲第 3項記載の携帯型和音出力装置。

5 . 前記和音データファイルが、実楽器で奏でられた和音を録音して成るデータファイルである、請求の範囲第 1項〜第 4項のレ、ずれかに記載の携帯型和音出力装置。

6 . 前記実楽器が、複数の弦がほぼ同じ時間に弾かれることにより前記和音が奏でられる弦使用楽器である、

請求の範囲第 5項記載の携帯型和音出力装置。

7 . 前記データメモリを前記制御機構及び音出力機構と離脱自在に結合するためのメモリ収脱機構を備えており、

前記データメモリには、前記弦楽器使用楽器を含む実楽器毎の前記データファィルが記録されている、

請求の範囲第 6項記載の携帯型和音出力装置。

8 . 前記データメモリには、連続する複数の小節から構成される楽曲の表示用画像データが記録されており、各小節には、それぞれ、当該実楽器用に割り当てられた 1又は複数の前記和音 I Dが関連付けられており、

前記制御機構は、前記楽曲の表示用画像データに基づいて所定の画像表示領域に、 1つ又は複数の小節毎の楽曲画像を表示させるとともに、表示中の楽曲画像の小節に関連付けられている前記和音 I Dをもとに特定された和音データフアイルが前記音出力機構から出力されたときに、当該表示中の楽曲画像に代えて次の 1つ又は複数の小節を含む楽曲画像を前記画像表示領域に表示させる表示制御手段をさらに備えており、操作者の前記操作子の選択ならびに前記タツチセンサの操作に起因して前記画像表示領域における楽曲画像の表示変更を進行させる、請求の範囲第 Ί項記載の携帯型和音出力装置。

9 . 前記画像表示領域に表示される楽曲画像が、当該 1つ又は複数の小節に割り当てられた、当該楽曲の歌詞と、和音出力のための前記タツチセンサの操作タィミングを案内する情報と、前記楽器における和音の生成を案内する情報との少なくともいずれかを伴うものである、

請求の範囲第 8項記載の携帯型和音出力装置。

1 0 . 前記制御機構は、前記楽曲画像の表示変更の進行履歴、該楽曲画像の表示に伴う前記操作子の選択履歴および前記タツチセンサのタツチ操作履歴をそれぞれ相互に関連付けて記録する履歴記録手段をさらに備えており、操作者の指示の入力を契機に、前記履歴記録手段に記録されている情報のうち、前記進行履歴を前記表示制御手段に供給することにより、該表示制御手段に前記画像表示領域への楽曲画像の表示変更を再現させ、前記選択履歴および前記タツチ操作履歴を前記和音出力制御手段に供給することにより、該和音出力制御手段に前記表示変更に連動する和音の出力並びにその態様の変化を再現させる、

請求の範囲第 9項記載の携帯型和音出力装置。

1 1 . 前記データメモリには、音の振動画像を表現するための振動画像データが記録されており、

前記制御機構は、前記データメモリから読み出した振動画像ファイルを前記画像表示領域と異なる振動画像表示領域に表示させるとともに、表示中の振動画像を、前記和音の出力に従って変化させ、出力強度がゼロになった時点で静止させる振動画像表示制御手段をさらに備えている、

請求の範囲第 8項記載の携帯型和音出力装置。

1 2. 片手で把持可能な携帯サイズの筐体に搭載されたコンピュータを携帯型和音出力装置として動作させるためのコンピュータプログラムであって、前記筐体には、それぞれ操作者が一方の片手指で選択可能な複数の操作子と、操作者が他方の片手指で直接又は間接にタッチ操作可能なタッチセンサとが形成されており、さらに、データメモリ及び音出力機構が前記コンピュータに設けられており、前記データメモリには、実楽器が奏でる音特性を有する和音を前記音出力機構から出力させるための和音データファイルが、当該和音を識別するための和音 I D と共に複数記録されているものにおいて、

前記コンピュータを、 .

前記複数の操作子の各々に、いずれかの前記和音 I Dを割り当てる割当手段、操作者がどの操作子を選択し始めてその選択を何時解除したかを検出する操作子選択状況検出手段、

前記タツチセンサへのタツチ開始時期を含む操作内容を検出する操作内容検出手段、

前記操作子選択状況検出手段で検出した操作子に割り当てられている前記和音 I Dをもとに特定した和音データファイルを、当該操作子が選択されている間だけ前記データメモリより読み出して前記音出力機構に供給し、これにより出力可能になる和音を、前記タツチ操作検出手段が検出した操作内容と連動する態様で前記音出力機構から出力ざせる和音出力制御手段、として機能させる、コンビュータプログラム。

1 3 . 請求の範囲第 1 0項に記載のコンピュータプログラムを記録してなる、コンピュータ読み取り可能な記録媒体。