以下、本発明の実施の形態を図面に基づいて詳細に説明する。
図1は、本発明の一実施の形態に係る電子機器100の概略構成を示すブロック図である。
同図に示すように、本実施の形態の電子機器100は、音高情報を含む演奏データを入力するための鍵盤を含む演奏操作子1と、各種情報を入力するための複数のスイッチ、ノブ、スライダおよびダイヤルを含む設定操作子2と、周囲の音声を集音して音声信号に変換するマイクロフォン(以下「マイク」と略して言う)3と、演奏操作子1の操作状態を検出する検出回路4と、設定操作子2の操作状態を検出する検出回路5と、マイク3から出力された音声信号を入力する音声入力インターフェース(I/F)6と、装置全体の制御を司るCPU7と、該CPU7が実行する制御プログラムや各種テーブルデータ等を記憶するROM8と、演奏データ、各種入力情報および演算結果等を一時的に記憶するRAM9と、各種情報等を表示する、たとえばタッチパネル形式の液晶ディスプレイ(LCD)(以下「タッチパネル」と略す)および発光ダイオード(LED)等を備えた表示器10と、前記制御プログラムを含む各種アプリケーションプログラムや各種楽曲データ、音声ガイド用の音声データ、各種データ等を記憶する記憶装置11と、図示しない外部機器を接続し、この外部機器とデータの送受信を行う通信インターフェース(I/F)12と、演奏操作子1から入力された演奏データや、前記記憶装置11に記憶されたいずれかの楽曲データを再生して得られた演奏データ等を楽音信号に変換するとともに、その楽音信号に各種効果を付与するための音源・効果回路13と、該音源・効果回路13からの楽音信号を音響に変換する、たとえば、DAC(digital-to-analog converter)やアンプ、スピーカ等のサウンドシステム14とにより構成されている。
上記構成要素4〜13は、バス15を介して相互に接続され、音源・効果回路13にはサウンドシステム14が接続されている。
音声入力I/F6は、マイク3を介して入力された周囲のアナログ音声信号をデジタル音声信号(音声データ)に変換し、バッファ(図示せず)に記憶する。
音声ガイド用の音声データは、本実施の形態では上述のように、記憶装置11に各種記憶されており、ユーザが電子機器100の操作をする度に、その操作に対応する音声データが記憶装置11から読み出されて再生され、サウンドシステム14からガイド音声として出力される。音声データのフォーマットは、WAV(RIFF waveform Audio Format)やMP3(MPEG Audio Layer-3)など、どのようなフォーマットでもよい。なお音声ガイド用の音声データは、予め記憶装置11に記憶されているものに限らず、ユーザ自身が発したガイド音声をマイク3で集音し、音声入力I/F6で音声データに変換した後、バッファに格納されたものを読み出して、新たな音声ガイド用の音声データとして記憶装置11に記憶するようにしてもよい。
また、音声ガイドの再生方法は上記方法に限らず、たとえばROM8あるいは記憶装置11に音声合成エンジンが搭載されており、この音声合成エンジンにより、タッチパネルに表示されたテキスト情報を音声信号に変換して音源・効果回路13に供給することで、サウンドシステム14からガイド音声を発生させるようにしてもよい。
記憶装置11は、たとえば、フレキシブルディスク(FD)、ハードディスク(HD)、CD−ROM、DVD(digital versatile disc)、光磁気ディスク(MO)および半導体メモリなどの記憶媒体とその駆動装置である。記憶媒体は、駆動装置から着脱可能であってもよいし、記憶装置11自体が、電子機器100から着脱可能であってもよい。あるいは、記憶媒体も記憶装置11も着脱不可能であってもよい。なお記憶装置11(の記憶媒体)には、前述のようにCPU7が実行する制御プログラムも記憶でき、ROM8に制御プログラムが記憶されていない場合には、この記憶装置11に制御プログラムを記憶させておき、それをRAM9に読み込むことにより、ROM8に制御プログラムを記憶している場合と同様の動作をCPU7にさせることができる。このようにすると、制御プログラムの追加やバージョンアップ等が容易に行える。
通信I/F12としては、たとえば、MIDI(musical instrument digital interface)信号などの音楽信号を専用に送受信する音楽専用有線I/F、USB(universal serial bus)やIEEE1394などの汎用近距離有線I/F、Ethernet(登録商標)などの汎用ネットワークI/F、無線LAN(local area network)やBluetooth(登録商標)などの汎用近距離無線I/Fを挙げることができる。本実施の形態では、通信I/F12としてUSBを採用しているが、これに代えて他の種類のI/Fを採用してもよいし、これに他の種類のI/Fを加えるようにしてもよい。
なお本実施の形態では、電子機器100を電子鍵盤楽器上に構築するようにしたが、これに限らず、汎用的なPC(パーソナルコンピュータ)上に構築してもよい。本発明では鍵盤は必須の構成ではないので、この場合には鍵盤を削除してもよい。もちろん、この場合でも鍵盤を設けて、PCに外付けするようにしてもよい。
図2は、前記表示器10のタッチパネル上に表示された画面の一例を示す図であり、同図(a)は、ボイスエディット画面10aの一部を示し、同図(b)は、サイン音の再生設定画面10bを示している。
ボイスエディット画面10aは、前記設定操作子2に含まれる、物理的または仮想的な「ボイスエディット」スイッチ(図示せず)が押されたときに表示される。図示例は、「共通」の項目が選択された状態を示している。「共通」の項目では、「音量」、「深さ」、「オフセット」、「メイン/レイヤ」および「レフト」の各パラメータの値を変更することができる。パラメータ値の変更は、ユーザが変更対象のパラメータのスライダをタッチパネル上で直接操作することにより、または変更対象のパラメータ(の名称)にタッチして選択し、設定操作子2に含まれるダイアル等を操作することによりなされる。なお、「タッチ感度」と「パートオクターブ」は、パラメータのカテゴリ名を示し、その値を変更できない、単なる表示である。
「共通」の項目の他の項目、つまり「サウンド」、「エフェクト」、「EQ」、「キーボードハーモニー」および「ペダル」の各項目への移行は、ユーザが移行先の項目の名称が記載されたタブ10a1をタッチすることによりなされる。さらに、メインメニューへは、設定操作子2に含まれる物理的な「ホーム」スイッチ(図示せず)が押されると、移行する。
サイン音の再生設定画面10bは、後述する図3のステップS7の処理が実行されたときに表示される。サイン音とは、ユーザが、電子機器100に設けられた複数の機能のうちのいずれかを選択したときに、その機能が何であるかをユーザに知らせる音である。サイン音は、後述するように、ユーザが前記演奏操作子1に含まれる鍵盤を演奏することで発生した楽音を録音して作成される。そして、作成されたサイン音は、ユーザが選択した機能と対応付けることができる。各機能には、音声ガイドも対応付けられているので、機能が実際に選択されると、音声ガイドとともに、サイン音も再生することができる。このとき、サイン音と音声ガイドをどのようなタイミングで発生させるかを設定する画面が、サイン音の再生設定画面10bである。
以上のように構成された電子機器100が実行する制御処理を、まず図2を参照してその概要を説明し、次に図3〜図5を参照して詳細に説明する。
電子機器100は、前述のように音声ガイド機能を備えているので、その音声ガイド機能がオンになっているときに、ユーザが電子機器100の複数の機能のいずれかを選択すると、電子機器100は、その選択された機能の内容を音声でユーザに知らせる。なお本実施の形態では、「複数の機能」や「機能」は、電子機器100に備わったもののみを示し、それ以外は示さないので、以下、「電子機器100の」という限定を付けなくても、「電子機器100の」機能であるものとする。また「機能」とは、電子機器100の動作モード変更、パラメータ選択、パラメータ値の調整、処理の実行や中止など、ユーザの操作に応答して電子機器100が実行するあらゆる処理を示し、ユーザが何らかの操作を実行することを「機能を選択する」と表現する。
たとえば前述のように、ユーザが「ボイスエディット」スイッチを押すと、電子機器100は、表示器10のタッチパネル上に、図2のボイスエディット画面10aを表示する。つまり、動作モードがボイスエディットモードに移行して、当該カテゴリに含まれる各種パラメータの値を変更可能な状態となる。このとき、音声ガイド機能がオンになっていれば、電子機器100は、ボイスエディットモードに移行して、各種パラメータの値を変更することができることをユーザに音声で知らせる。具体的には、画面名称(ボイスエディット)と、画面に表示されたパラメータ名称(共通、音量、タッチ感度、深さ、…)を続けて読み上げる。
このような音声ガイドでは、画面上に列挙されたパラメータ名称を続けて読み上げるため、音声で報知される内容が長くなってしまい、最後まで聞くことがユーザにとって負担になる。また、視覚障害を持つユーザは、読み上げられたパラメータ名称が画面名称なのか、操作対象となり得るパラメータ名なのか、操作対象でないただの表示情報なのか、などの属性まで理解することができず、ガイド内容の識別性が低くなっている。
そこで、本発明では、ユーザが演奏して、電子機器100自体から発生した音を録音してサイン音とし、このサイン音を、複数の機能のうち、ユーザによって指定されたいずれかの機能と対応付けて記憶しておき、ユーザがある機能を選択すると、当該機能の音声ガイドとともに、あるいは当該機能の音声ガイドに代えて、当該機能に対応付けられたサイン音を再生するようにしている。
このように電子機器100では、機器自体が発生する音を録音してサイン音とするので、サイン音を簡単に作成することができる。
また、サイン音を音声ガイドに組み合わせるようにしたので、既存の音声ガイドを活用しつつも、音声ガイドによるガイド内容の識別性を向上させることができる。
さらに、さまざまな音を組み合わせてサイン音を作成可能に構成した(その詳細は後述する)ので、ユーザは、電子機器100の複雑な機能構造や画面構造も、簡単に識別することができる。
次に、この制御処理を詳細に説明する。
図3は、電子機器100、特にCPU7が実行するサイン音の録音および対応付け処理の手順を示すフローチャートである。
本サイン音の録音および対応付け処理は、ユーザによる起動指示に応じて起動される。本処理が起動すると、まずCPU7は、ユーザによって複数の機能のいずれかが選択されるまで待ち(ステップS1)、いずれかの機能が選択されると、さらにCPU7は、ユーザによってサイン音の録音開始が指示されるまで待つ(ステップS2)。
機能の選択は通常、設定操作子2に含まれる物理的なスイッチやタッチパネル上に表示されたソフトウェアボタンが操作されたことに応じてなされるので、ステップS1では、CPU7は、いずれかのスイッチまたはボタンが操作されるのを待つ。今、ユーザが前記「ボイスエディット」スイッチを押したとすると、CPU7は、処理をステップS1からステップS2に進める。
サイン音の録音開始の指示は、本実施の形態では、本サイン音の録音および対応付け処理の起動中に、ユーザが前記演奏操作子1に含まれるフットスイッチ(図示せず)を踏み込んでオン状態にしたことに応じてなされる。そして、サイン音の録音終了の指示は、ユーザが当該フットスイッチの踏み込みを止め、元の状態に戻してオフ状態にしたことに応じてなされる。つまり、サイン音の録音は、フットスイッチをオンした時点からオフした時点までの期間なされる。したがってステップS2では、CPU7は、フットスイッチがオンされるのを待つ。今、ユーザがフットスイッチをオン状態にすると、CPU7は、処理をステップS2からステップS3に進める。
ステップS3では、CPU7は、ステップS1で選択された機能の機能IDを取得する。「ボイスエディット」スイッチには、前述のように、動作モードをボイスエディットモードに移行する機能が割り当てられている。そして、ボイスエディットモードに移行したときには常に、前記ボイスエディット画面10aがタッチパネル上に表示されるとすると、つまり「共通」の項目が選択された状態の画面が表示されるとすると、「ボイスエディット」スイッチに割り当てられている機能は「共通」である。したがってこのとき、CPU7は、機能「共通」の機能IDを取得する。図4(a)は、サイン音データと音声ガイドデータの対応付けの一例を示す図である。同図(a)に示すように、機能「共通」の機能IDは“0001”であるので、上記ステップS3では、この機能ID“0001”が取得される。
次にCPU7は、ユーザが前記鍵盤を用いて演奏したことに応じて発生した音をサイン音データとして録音する(ステップS4)。ユーザが鍵盤を押鍵すると、その押鍵に応じた演奏データ(典型的には、MIDIデータ)が前記検出回路4から出力され、音源・効果回路13に供給される。音源・効果回路13は、前述のように、この演奏データを楽音信号に変換するとともに、その楽音信号に各種効果を付与する。CPU7は、このようにして生成された(デジタル)楽音信号を、RAM9の所定位置に確保されたサイン音データ格納領域(図示せず)に格納する。これにより、サイン音データが録音される。
そしてCPU7は、ユーザによってサイン音の録音終了が指示されるまで待つ(ステップS5)。前述のように本実施の形態では、サイン音の録音終了の指示は、ユーザがフットスイッチをオン状態からオフ状態にしたことに応じてなされるので、ステップS5では、CPU7は、フットスイッチがオフされるのを待つ。今、ユーザがフットスイッチをオフにすると、CPU7は、サイン音の録音を停止し、録音されたサイン音データをファイル化して、自動的にファイル名を付与した後、処理をステップS6に進める。
ステップS6では、CPU7は、録音したサイン音データを、ステップS3で取得された機能IDに対応付けて保存する。今、録音したサイン音データのファイル名称を“sound0001.wav”とすると、このサイン音データ“sound0001.wav”が、図4(a)に示すように、「共通」の機能ID“0001”に対応付けて保存される。
次にCPU7は、タッチパネル上に前記図2(b)のサイン音の再生設定画面10bを表示する(ステップS7)。そしてユーザが、サイン音の再生設定画面10bに表示されている、(a)〜(d)の4種類の「サイン音の再生方法」からいずれかを選択して設定する(選択された再生方法は“●”で表示される)と、CPU7は、その設定された「サイン音の再生方法」を保存した(ステップS8)後、本サイン音の録音および対応付け処理を終了する。今、(c)の再生方法が選択設定されたとする(ただし図2(b)の例では、(a)の再生方法が選択されている)と、“(c)”が、図4(a)に示すように、「共通」の機能ID“0001”に対応付けて保存される。
図4(b)は、録音されたサイン音データの内容の一例を示す図であり、同図(b)に示すように、サイン音データ“sound0001.wav”は、ユーザが鍵盤で「ド、ミ、ソ」を順に弾いて発生した音を録音したものであることを示している。なお同図(b)中、サイン音データ“sound0000.wav”は、コード(和音)“C”を2回弾いて発生した音を録音したものであることを示し、サイン音データ“sound0004.wav”は、コード“F”を1回弾いて発生した音を録音したものであることを示している。
このようにして、各機能について、音声ガイドデータ、サイン音データおよび再生方法が、機能IDを介して対応付けられて保存される。ただし図4(a)に示すように、各機能には常に、音声ガイドデータが対応付けられているのに対して、サイン音データは対応付けられていないことがある。この場合には、再生方法も当然ながら、設定されていない。つまり、サイン音データは、ユーザが録音して対応付けるものであるため、ユーザはすべての機能にサイン音データを対応付けるとは限らない。なお図4(a)のテーブルデータには「値設定」の項目があるが、これは、対応する機能に値の設定可能なパラメータがあるかどうかを示すものである。同図(a)中、“−”が設定不可を意味し、“○”が設定可能を意味する。
図5は、電子機器100、特にCPU7が実行する音声ガイドの再生処理の手順を示すフローチャートである。
本音声ガイドの再生処理は、ユーザが前記物理的なスイッチおよびソフトウェアボタンのいずれかを操作したときに、起動される。本処理が起動すると、まずCPU7は、操作されたスイッチまたはボタンに割り当てられた機能(以下「対象機能」という)の機能IDを取得する(ステップS11)。この機能IDの取得処理は、前記ステップS3の機能IDの取得処理と同様であるので、この処理についての説明は省略する。
次にCPU7は、ステップS11で取得した機能IDに対応付けられた音声ガイドデータが記憶されているかどうかを判定する(ステップS12)。この判定の結果、当該機能IDに対応付けられた音声ガイドデータが記憶されていれば、さらにCPU7は、当該機能IDに対応付けられたサイン音データが記憶されているかどうかを判定する(ステップS13)。つまり、ステップS12,S13では、CPU7は、当該機能IDに対応付けられた
(C1)音声ガイドデータがない場合;
(C2)音声ガイドデータもサイン音データもある場合;
(C3)音声ガイドデータはあるが、サイン音データはない場合;
の3つの場合を判定し、(C1)〜(C3)の各場合で異なった処理を行うようにしている。なお、この(C1)〜(C3)の判定は、前記図4(a)のテーブルデータ、つまり対応付けを参照して行われる。
(C1)の場合、CPU7は、再生すべき音声ガイドデータがないので、ステップS17で、対象機能を実行した後、本音声ガイドの再生処理を終了する。
(C2)の場合、CPU7は、そのサイン音データの再生方法を参照し(ステップS14)、設定された再生方法に応じて、サイン音データと音声ガイドデータの両方を再生するか、あるいはサイン音データのみを再生した(ステップS15)後、処理をステップS17に進める。なお、ステップS14の処理も、図4(a)のテーブルデータを参照して行われる。
(C3)の場合、CPU7は、音声ガイドデータを再生した(ステップS16)後、処理をステップS17に進める。
なお本実施の形態では、(C4)音声ガイドデータはないが、サイン音データはある場合は考慮されていない。これは、音声ガイドデータが対応付けられていない機能は、音声によるガイドが不要な機能であり、サイン音によるガイドも不要と考えられるためである。しかし、(C4)の場合を判定するようにしてももちろんよく、この(C4)の場合が判定されたときには、CPU7は当然ながら、サイン音データのみを再生する。
次に、前述した図3のサイン音の録音および対応付け処理によって、図4(a)のテーブルデータが生成され、記憶装置11に保存されたとして、電子機器100の制御動作をさらに具体的に説明する。
今、タッチパネル上には前記図2(a)のボイスエディット画面10aが表示されているものとする。このとき、ユーザが前記「ホーム」スイッチを押した場合、前述のように、ボイスエディット画面10aはメインメニュー画面(図示せず)に戻るが、機能名「ホーム」の機能ID“0000”には、音声ガイドデータ“guide0000.wav”もサイン音データ“sound0000.wav”も対応付けられており、その再生方法として“(d)”、つまり「サイン音のみを再生」が設定されているので、サイン音データ“sound0000.wav”のみが再生される。ここで、サイン音データ“sound0000.wav”は、前述のように、コード“C”の音を2回発生するものであるので、サウンドシステム14からは、音声ガイドは流れずに、コード“C”の音が2回流れて、タッチパネル上の表示画面がボイスエディット画面10aからメインメニュー画面に戻る。これにより、ユーザは、タッチパネル上の表示画面を見なくても、メインメニュー画面に戻ったことを知ることができる。「ホーム」スイッチのように頻繁に使用するスイッチについては、その都度ガイド音声での説明を聞くと時間がかかり、操作の妨げとなるので、このようにガイド音声は再生させずに、サイン音のみを再生する設定にするのが有用である。
タッチパネル上にメインメニュー画面が表示されている状態で、ユーザが前記「ボイスエディット」スイッチを押すと(メインメニュー画面中に「ボイスエディット」ボタンが表示されている場合には、その「ボイスエディット」ボタンを選択してもよい)、前述のように、ボイスエディット画面10aが表示される。つまり、対象機能として「共通」機能が選択されるので、機能ID“0001”が取得される。機能ID“0001”には、音声ガイドデータ“guide0001.wav”もサイン音データ“sound0001.wav”も対応付けられており、その再生方法として“(c)”、つまり「音声ガイド→サイン音の順に再生」が設定されているので、音声ガイドデータ“guide0001.wav”が再生された後、サイン音データ“sound0001.wav”が再生される。ここで、サイン音データ“sound0001.wav”は、前述のように「ド、ミ、ソ」の音を発生するものであるので、音声ガイドデータ“guide0001.wav”が、「ぼいすえでぃっと きょうつう」という音声を発生するものであるとすると、サウンドシステム14からは、「ぼいすえでぃっと きょうつう」という音声ガイドが流れた後、「ド、ミ、ソ」の音が1回流れて、タッチパネル上の表示画面がメインメニュー画面からボイスエディット画面10aに移る。これによりユーザは、タッチパネル上の表示画面が変化したことを即座に知ることができる。
次に、ユーザが「サウンド」のタブ10a1を選択すると、対象機能として「サウンド」機能が選択されるので、機能ID“0009”が取得される。機能ID“0009”には、音声ガイドデータ“guide0009.wav”もサイン音データ“sound0002.wav”も対応付けられており、その再生方法として同じ“(c)”が設定されているので、音声ガイドデータ“guide0009.wav”が再生された後、サイン音データ“sound0002.wav”が再生される。ここで、サイン音データ“sound0002.wav”は、「レ、ファ、ラ」の音を発生するものであるので、音声ガイドデータ“guide0009.wav”が、「さうんど」という音声を発生するものであるとすると、サウンドシステム14からは、「さうんど」という音声ガイドが流れた後、「レ、ファ、ラ」の音が1回流れて、タッチパネル上の表示画面は、ボイスエディット画面10aから、同じボイスエディット画面であるが、「サウンド」の項目が選択されたときの画面(図示せず)に移る。このように、同種の画面で表示内容の違う画面に移るときには、異なったサイン音が流れるので、ユーザは、画面の内容が変化したことを即座に知ることができる。また、タブ10a1のように、複数のタブが並んで表示されている場合、各タブ毎に異なる音のサイン音を録音して対応付けておけば、ユーザは流れたサイン音を聞くだけで、操作したタブがどの位置のものであるかも耳で判定でき、これにより、ユーザの操作性はさらに向上する。
次に、タッチパネル上にボイスエディット画面10aが表示された状態で、ユーザが「音量」を選択すると、対象機能として「音量」機能が選択されるので、機能ID“0002”が取得される。機能ID“0002”には、音声ガイドデータ“guide0002.wav”もサイン音データ“sound0004.wav”も対応付けられており、その再生方法として“(a)”、つまり「音声ガイドと同時に再生」が設定されているので、音声ガイドデータ“guide0002.wav”とサイン音データ“sound0004.wav”が同時に再生される。ここで、サイン音データ“sound0004.wav”は、前述のように、コード“F”の音を1回発生するものであるので、音声ガイドデータ“guide0002.wav”が、「おんりょう」という音声を発生するものであるとすると、サウンドシステム14からは、「おんりょう」という音声ガイドとともに、コード“F”の音が1回流れる。このとき「ユーザによる変更が可能なパラメータは“F”の和音」と予め決めておけば、ユーザは、音量パラメータが選択されたことのみならず、ダイアル操作などによって音量パラメータが変更可能であることも知ることができる。なお、音声ガイドとサイン音が同時に流れる場合、両者の音量またはパンなどを異ならせた方が、ユーザの識別性がより向上する。さらに「音量」機能には、「値設定」可能(“○”)なパラメータ、つまり音量パラメータがあるので、音声ガイドでは、現在の音量パラメータの設定値(ボイスエディット画面10aでは“100”)も読み上げる方が好ましい。
同様に、タッチパネル上にボイスエディット画面10aが表示された状態で、ユーザが「タッチ感度」を選択すると、対象機能として「タッチ感度」機能が選択されるので、機能ID“0003”が取得される。機能ID“0003”には、音声ガイドデータ“guide0003.wav”は対応付けられているものの、サイン音データは対応付けられていないので、音声ガイドデータ“guide0003.wav”のみが再生される。ここで、音声ガイドデータ“guide0003.wav”が、「たっちかんど」という音声を発生するものであるとすると、サウンドシステム14からは、「たっちかんど」という音声ガイドのみが流れる。これにより、ユーザは、値を変更できない項目(この場合、カテゴリ)が選択されたことを知ることができる。
このように、短い音(つまり、サイン音)を音声ガイドと一緒に鳴らすと、画面上の文字や各スイッチに割り当てられた機能の文字は声で読ませて、文字以外の情報を音で表現することができる。たとえば、大きなアイコンは大きい音で録音したり、音色に関する項目はCメジャ(ドミソ)のコードで、伴奏スタイルに関する項目はAマイナ(ラドミ)のコードで録音したりというように、異なる内容の演奏音にしておくと、ユーザは、「音色」メニュー中の「ボリューム」と、「伴奏」メニュー中の「ボリューム」を容易に区別することができる。あるいは、ある操作子を操作したときに、異なる階層へ画面が遷移するような機能には「ドレミ」と録音しておき、画面を閉じて上の階層へ戻るときには「ミドレ」と録音しておけば、ユーザは、「**画面が開きます」や「**画面を閉じます」などと声で表現されるより、その動作内容を圧倒的に速く識別することができる。視覚障害を持たないユーザは、画面の遷移状態、画面上での文字や図の配置、フォントのタイプや色などの視覚情報によって、文字で書かれた情報以上の多くの情報を入手しているが、本実施の形態のように、内容の異なるサイン音を異なる再生方法で鳴らすことによって、視覚障害を持つユーザも、文字情報(つまり音声ガイドの内容)以上の情報を取得することができるようになる。
なお図4(a)のテーブルデータの例では、サイン音データ“sound0004.wav”は、機能名が「音量」、「深さ」、「オフセット」、「メイン/レイヤ」および「レフト」で共通に用いられている。このように、同じサイン音データを複数の機能に対応付ける場合、同じサイン音データを何度も録音して作成するのは手間なので、既に録音して作成されているサイン音データは、同じものをコピーして対応付けることができる機能を設けておくことが好ましい。たとえば、「サイン音のコピー」というメニュー(図示せず)を設け、このメニューが選択され、機能Aと機能Bを指定すると、機能Aに対して録音したサイン音を機能Bにコピーして対応付けるという方法が考えられる。
また本実施の形態では、音源・効果回路13が生成した音声信号をサイン音データとしたが、これに限らず、音源・効果回路13が音声信号を生成する際に基礎とした演奏データ、つまりユーザが鍵盤で演奏したことに応じて検出回路4から出力される演奏データ(典型的には、MIDIデータ)をそのまま、サイン音データとしてもよい。このように、サイン音データをMIDIデータによって構成すると、編集作業を簡単に行うことができるので、サイン音データを作成後、編集できる機能を設けるようにしてもよい。たとえば、「サイン音の編集」というメニュー(図示せず)を設け、このメニューが選択され、録音済みのサイン音が選択されると、既存の編集技術を用いて、音色、音量、パン、エフェクトなどのパラメータを編集する方法が考えられる。
なお本実施の形態では、サイン音の録音開始/終了の指示をフットスイッチのオン/オフによって行ったが、操作子はもちろん、フットスイッチに限られる訳ではなく、フットスイッチ以外の物理的なスイッチやペダル操作子など、どのような種類のものであってもよい。ただし、視覚障害のユーザにとっては、表示画面上のソフトウェア操作子は使いづらいので、ソフトウェア操作子より物理的な操作子で操作する方が好ましい。さらに本実施の形態では、機能の選択と、その機能に対応付けるサイン音の録音開始とをそれぞれ別の操作子を操作することによって行うようにしたが(前記図3のステップS1,S2の説明を参照)、これに限らず、機能の選択とサイン音の録音開始を1つの操作子の操作で行うようにしてもよい。具体的には、当該機能の割り当てられた操作子を所定時間(たとえば、3秒)以上押し続ける(長押し)と、当該機能に対応付けるサイン音の録音が開始となる、などが考えられる。またサイン音の録音終了は、操作子を用いたユーザの特別な指示がなくても、たとえば、演奏が終了したことを機器側で検出して(無音状態が所定秒間続いたことの検出など)自動的に行うようにしてもよい。サイン音の録音開始も、フットスイッチ(あるいは別の操作子)がオンされると直ぐに録音開始にはならず、録音待機状態になり、実際の録音開始は、鍵盤に対する最初の押鍵操作に応じてなされる(シンクロ録音方式)ようにしてもよい。
また本実施の形態では、サイン音は、ユーザが鍵盤を演奏して発生した音を録音して生成するようにしたが、演奏に用いる楽器は、鍵盤に限らず、弦楽器や打楽器などどのような種類の楽器でもよい。また楽器に限らず、複数の種類の音が出る機器を用いてもよい。たとえば「ピ」、「ポ」、「パ」という程度の音が出る機器であれば、「ピピ」、「ピポ」、「パピポ」、「ピッポパ」など、色々なバリエーションの音を発生させて、録音することができるので、複数の機能に異なる(一部の機能については、同じでもよい)音を対応付けることができる。さらに、既に録音してある音や曲データ(短いフレーズの曲データやスタイルデータなど)を選択して、目的の機能に対応付けるようにしてもよい。
なお本実施の形態では、サイン音が録音される度に、前記サイン音の再生設定画面10bを表示して、ユーザに当該サイン音の生成方法の設定を要求するようにしたが、一度サイン音の生成方法を設定し、次のサイン音の録音でも同じ再生方法を用いるのであれば、ユーザに生成方法の設定を問い合わせずに、つまり、サイン音の再生設定画面10bを表示せずに、自動的に現在設定されている再生方法を対応付けるようにしてもよい。さらに、サイン音の録音開始の操作自体を、再生方法に応じて異ならせるようにしてもよい。具体的には、フットスイッチをオンすることで録音を開始した場合には、再生方法を図2(b)の“(a)”とし、別の操作子をオンすることで録音を開始した場合には、再生方法を図2(b)の“(b)”とする、といった方法が考えられる。
前記図3のサイン音の録音および対応付け処理では、音高の異なるサイン音が録音されることは言及されているものの、音色の異なるサイン音が録音されることには言及されていない。電子機器100は、前述のように電子鍵盤楽器上に構築され、電子鍵盤楽器では通常、様々な音色の音を生成して発生させることができるので、ユーザは、好みの音色を指定した上で、サイン音の録音および対応付け処理の起動を指示すれば、その指定音色のサイン音を録音することができる。もちろん、サイン音の録音および対応付け処理が起動後、音色を変更してもよい。
本実施の形態の電子機器100は、このように音色を変更できるので、たとえば、設定操作子2内に物理的な音色選択スイッチ(図示せず)を設けている。各音色選択スイッチの近傍には、そのスイッチによって選択される音色の音色名が英語で印刷されている。具体的には、“PIANO”,“ORGAN”,“STRINGS”などである。各音色選択スイッチが押されると、「ぴあの」、「おるがん」、「すとりんぐす」などと、音声ガイドによる音声が流れる。この各音色選択スイッチに対してサイン音を録音する場合、ユーザが押鍵して発生する音を当該音色の音に自動設定しておけば、録音して対応付けが完了した後、ある音色選択スイッチが押されたとき、音声ガイドとともに、当該音色のサイン音が発生する。これにより、英語が理解できないユーザでも、音色選択スイッチによってどの音色が選択されるか知ることができる。またこの場合、サイン音ではなく、当該音色で録音した楽曲を対応付けるようにしておけば、その楽曲を音色紹介用のデモデータとして使用することができる。
本実施の形態の電子機器100は、曲データを再生する機能を備えている。内蔵デモ曲だけでなく、自分で演奏した曲も録音して曲データとして再生することができ、タッチパネル上に一覧表示された曲リストから所望の曲を選んで再生ボタンを押すことで、曲の再生が始まる。このような電子機器では、多くの曲データが存在する場合に、曲リストに表示された曲名(またはファイル名)だけで目的の曲を探すのが大変である。特に、自分で録音した曲データには、曲の内容とは無関係の名称、具体的には“song001”などの機械的に付けられたファイル名が自動付与されるため、名称だけでは目的の曲かどうかの判断が困難である。
そこで本発明を応用し、“song001”のファイルを選択した際にサイン音が再生されるようにするとよい。具体的には、曲の特徴的な1〜2秒のフレーズをサイン音として録音し、“song001”ファイルの選択操作と対応付けて記録する。こうすることで、ファイルを選んだだけで(再生操作を行わなくても)サイン音が再生され、容易に曲を判別することができるようになる。なお、サイン音を録音する際には、特徴的なフレーズを鍵盤で弾いて録音してもよいし、曲を再生して再生音を録音してもよい。
また本実施の形態では、LCDとして、タッチパネル形式のものを採用したが、これに限らず、タッチパネル形式ではないものを採用してもよい。この場合、表示画面上のソフトウェアボタンは、タッチではなく、たとえば、ポインティングデバイスによって表示画面上のカーソルを移動させて選択し操作する。
なお、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードおよび該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、たとえば、フレキシブルディスク、ハードディスク、光磁気ディスク、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD+RW、磁気テープ、不揮発性のメモリカード、ROMなどを用いることができる。また、通信ネットワークを介してサーバコンピュータからプログラムコードが供給されるようにしてもよい。
また、コンピュータが読出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOSなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。