JP7367835B2 - 録音再生装置、録音再生装置の制御方法及び制御プログラム並びに電子楽器 - Google Patents

Description

本発明は、録音再生装置、録音再生装置の制御方法及び制御プログラム、並びに、当該録音再生装置を備えた電子楽器に関する。

従来、外部機器が出力する伴奏音と、ユーザ（楽器使用者）が演奏する自楽器の演奏音とをミキシング（合成）して録音、再生する録音再生装置が知られている。例えば特許文献１には、ＣＤ（コンパクトディスク）等に記録された楽曲の再生音を聞きながらピアノ演奏を行ったアンサンブル演奏を記録、再生する技術が記載されている。

特開2003-208166号公報

従来の録音再生装置においては、ＣＤ等からの楽曲データとユーザによる演奏データとを同期し、再生可能な状態に変換して記憶媒体に記録する必要がある。そのため、録音再生時の処理が煩雑なうえに、処理対象となるデータ量や記録されるデータ量も膨大になるため、処理負担が増加して効率的に記録、再生を行うことができなかった。

そこで、本発明は、外部からの楽曲データとユーザによる自楽器の演奏データとを合成して再生するアンサンブル演奏等を、効率的に記録、再生することができる録音再生装置、録音再生装置の制御方法及び制御プログラム並びに電子楽器を提供することを目的とする。

本発明に係る録音再生装置は、
外部から入力された楽音信号の再生が開始した第１のタイミングから、前記楽音信号の再生開始後に、演奏に係る操作が開始された第２のタイミングまでの差分時間を計測し、
前記演奏に係る演奏データ及び前記差分時間を、入力された前記楽音信号に含まれる信号特性に対応付けて記憶手段に記憶させ、複数の前記信号特性のそれぞれに対応付けて、前記演奏に係る演奏データが前記記憶手段に記憶された状態で、前記楽音信号の再生が開始したことを再び検出した際に、前記記憶手段に記憶された複数の前記信号特性の中から、再生が開始された前記楽音信号に含まれる信号特性と一致するまたは近似する信号特性が複数確認された場合、確認された複数の信号特性のそれぞれの一定期間ごとの平均値と、再生が開始された前記楽音信号に含まれる信号特性の一定期間ごとの平均値と、を比較することによって１つの前記演奏データ及び前記差分時間を選択するか、或いは確認された複数の信号特性のそれぞれの変化のタイミングと、再生が開始された前記楽音信号に含まれる信号特性の変化のタイミングと、を比較することによって１つの前記演奏データ及び前記差分時間を選択し、
選択された前記演奏データを選択された前記差分時間だけ遅れたタイミングで再生開始することを特徴とする。

本発明によれば、外部からの楽曲データとユーザによる自楽器の演奏データとを合成して再生するアンサンブル演奏等を、効率的に記録、再生することができる。

本発明に係る録音再生装置を備えた電子楽器の一実施形態を示す外観図である。 第１の実施形態に係る電子楽器のハードウェアの構成例を示すブロック図である。 第１の実施形態に係る電子楽器の演奏記録モードにおける制御方法を示すタイミングチャートである。 第１の実施形態に係る演奏記録モードにおける電子楽器の動作状態を示すブロック図である。 第１の実施形態に係る電子楽器の演奏再生モードにおける制御方法を示すタイミングチャートである。 第１の実施形態に係る演奏再生モードにおける電子楽器の動作状態を示すブロック図である。 本発明の第２の実施形態に係る電子楽器のハードウェアの構成例を示すブロック図である。 第２の実施形態に係る電子楽器の演奏記録モードにおける制御方法を示すタイミングチャートである。 第２の実施形態に係る演奏記録モードにおける電子楽器の動作状態を示すブロック図である。 第２の実施形態に係る電子楽器の演奏再生モードにおける制御方法を示すタイミングチャートである。 第２の実施形態に係る演奏再生モードにおける電子楽器の動作状態を示すブロック図である。

以下、本発明に係る録音再生装置、録音再生装置の制御方法及び制御プログラム、並びに、当該録音再生装置を備えた電子楽器を実施するための形態について、図面を参照しながら詳しく説明する。

＜電子楽器＞
図１は、本発明に係る録音再生装置を備えた電子楽器の一実施形態を示す外観図である。ここでは、電子楽器の一例として、電子鍵盤楽器（電子キーボード）を適用した場合について説明するが、本発明はこれに限定されるものではなく、例えば管楽器や弦楽器、打楽器等の態様を有する電子楽器であってもよい。

本発明の一実施形態に適用される電子楽器１００は、例えば図１に示すように、鍵盤楽器の態様を有し、オーディオケーブル（又は、ラインケーブル）３００等の通信ケーブルを介して、メディアプレーヤ等の外部機器２００に接続される。

電子楽器１００は、楽器本体の一面側に、演奏操作子としての複数の鍵を有し、音高を指定するための鍵盤１０２と、音量調整や音色選択、その他の機能選択等の操作を行うためのスイッチ類が配列された操作パネル１０４と、音量や音色、設定情報、その他各種の情報等を表示する表示パネル１０６と、を備えている。また、電子楽器１００は、ユーザ（楽器使用者）が鍵盤１０２や操作パネル１０４を操作することにより生成される演奏音や、外部機器２００から入力されるオーディオ信号に基づく楽曲を発音するスピーカ１０８と、オーディオケーブル３００等の通信ケーブルが接続され、外部機器２００からのオーディオ信号が入力される外部入力端子１１０と、を備えている。

ここで、外部機器２００は、ＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）、メモリカード、音楽ＣＤ等の記憶媒体に記録された楽曲データを再生するメディアプレーヤやＣＤプレーヤ等の音響機器であって、楽曲データに対応するオーディオ信号を、オーディオケーブル３００を介して電子楽器１００に一方向に出力する。なお、外部機器２００は、楽曲データを再生し、電子楽器１００にオーディオ信号として供給することができるものであれば、パーソナルコンピュータやスマートフォン等の電子機器であってもよい。

＜第１の実施形態＞
次に、上述した外観を有する電子楽器及びその制御方法の第１の実施形態について説明する。
（電子楽器）
図２は、第１の実施形態に係る電子楽器のハードウェアの構成例を示すブロック図である。

第１の実施形態に係る電子楽器１００の内部機能は、例えば図２に示すように、鍵盤演奏検出回路１１４と、鍵盤演奏記録回路１１６と、鍵盤演奏再生回路１１８と、オーディオ入力端子回路１２０と、信号有無検出回路１２２と、時間測定記録回路１２４と、演奏記録再生タイミング発生回路１２６と、ミキシング回路１２８と、スピーカアンプ１３０と、スピーカ１０８と、を備えている。

各機能部は概ね次のような動作を実行する。
シーケンス制御マイクロコンピュータ（以下、「制御マイコン」と略記する）１１２は、上述した各機能部を制御することにより、電子楽器１００全体の制御を行うとともに、後述する制御方法に示す演奏記録モード、及び、演奏再生モードにおける各処理動作を実行する。

鍵盤演奏検出回路１１４は、ユーザが鍵盤１０２で演奏した操作の有無、及び、操作したタイミングを検出する。鍵盤演奏記録回路１１６は、鍵盤演奏検出回路１１４により検出された鍵盤演奏の開始タイミング、及び、鍵盤演奏のシーケンス（鍵盤１０２の操作手順；演奏データ）を、図示を省略した記憶装置に記録する。鍵盤演奏再生回路１１８は、ユーザによる鍵盤演奏における操作に基づいて、図示を省略した音源等から楽音データを読み出してデジタルの楽音出力信号を生成する。

オーディオ入力端子回路１２０は、オーディオケーブル３００が接続される外部入力端子１１０を有し、外部機器２００からオーディオケーブル３００を介して入力されるアナログのオーディオ信号（楽音信号）をデジタル信号に変換する。信号有無検出回路１２２は、オーディオ入力端子回路１２０において、外部機器２００から入力されるオーディオ信号の有無、及び、入力タイミングを検出する。時間測定記録回路１２４は、信号有無検出回路１２２により検出されたオーディオ信号の入力タイミングからユーザが鍵盤演奏を始めるまでの差分時間を計測して、遅延時間データとして記録する。演奏記録再生タイミング発生回路１２６は、外部機器２００からオーディオ信号が入力された場合に、時間測定記録回路１２４により記録されている遅延時間データに基づいて鍵盤演奏再生回路１１８による演奏データの再生開始タイミングを設定するコマンドを発生する。

ミキシング回路１２８は、オーディオ入力端子回路１２０に入力され、デジタル変換されたオーディオ信号と、ユーザによる鍵盤演奏に基づいて生成された楽音出力信号とを合成して楽音波形信号を生成し、アナログ変換して出力する。スピーカアンプ１３０は、ミキシング回路１２８により生成されたアナログの楽音波形信号を所定の信号レベルに増幅する。スピーカ１０８は、増幅された楽音波形信号に基づいて所定の音量の合成演奏音、又は、鍵盤演奏に応じた演奏音、又は、外部機器２００から入力されるオーディオ信号に基づく楽曲を楽器外部に放出する。

（電子楽器の制御方法）
次に、本実施形態に係る電子楽器の制御方法（記録再生装置の制御方法）について説明する。ここでは、説明を簡明にするために、外部機器２００からオーディオケーブル３００を介して電子楽器１００に入力されるオーディオ信号として、電子楽器１００における鍵盤演奏の伴奏となる楽曲データが入力される場合について説明する。

本実施形態に係る電子楽器１００においては、通常の演奏モードと、演奏記録モードと、演奏再生モードとを有し、選択された動作モードの処理動作が個別に実行される。これらの動作モードは、例えば操作パネル１０４に設けられたボタンやスイッチを、ユーザが操作することにより選択的に設定される。また、演奏記録モード及び演奏再生モードは、電子楽器１００と外部機器２００とがオーディオケーブル３００により接続された状態で設定される。以下、各動作モードについて詳しく説明する。ここで、以下に示す一連の制御処理は、電子楽器１００の制御マイコン１１２において、所定の制御プログラムを実行することにより実現されるものである。

・通常演奏モード
本実施形態に係る電子楽器１００の通常の演奏モードにおいて、電子楽器１００と外部機器２００とがオーディオケーブル３００により接続されていない状態では、ユーザが鍵盤１０２により演奏を行うと、制御マイコン１１２は、鍵盤演奏再生回路１１８によりユーザの鍵盤操作に応じたデジタルの楽音出力信号を生成する。そして、制御マイコン１１２は、ミキシング回路１２８により楽音出力信号をアナログ信号に変換した後（この場合には音の合成処理は行われずアナログ変換のみが行われる）、スピーカアンプ１３０により所定の信号レベルに増幅してスピーカ１０８から演奏音として放音する。

一方、本実施形態に係る通常の演奏モードにおいて、電子楽器１００と外部機器２００とがオーディオケーブル３００により接続されている状態では、ユーザが外部機器２００の再生スイッチ（ＳＷ）をオン操作することにより、伴奏音の楽曲データに対応したアナログのオーディオ信号がオーディオケーブル３００を介してオーディオ入力端子回路１２０に入力されて、デジタル信号に変換される。そして、制御マイコン１１２は、ミキシング回路１２８によりオーディオ信号を再度アナログ信号に変換して（この時点では音の合成処理は行われずアナログ変換のみが行われる）スピーカアンプ１３０により所定の信号レベルに増幅された後、スピーカ１０８から伴奏音として放音する。

次いで、ユーザは、スピーカ１０８から放音される、外部機器２００の再生音である伴奏音を聴くことにより、その音に合わせて、所定のタイミングで鍵盤１０２により演奏を開始する。これにより、制御マイコン１１２は、鍵盤演奏再生回路１１８によりユーザの鍵盤操作に応じたデジタルの楽音出力信号を生成し、ミキシング回路１２８により楽音出力信号と、外部機器２００から入力されてデジタル変換された伴奏音のオーディオ信号とをデジタル信号の状態で合成した後、アナログ変換し、スピーカアンプ１３０により所定の信号レベルに増幅してスピーカ１０８から合成演奏音として放音する。 このように、通常の演奏モードにおいては、ユーザの鍵盤操作に応じた演奏音が単独で、又は、外部機器２００の再生音である伴奏音に合成されて、リアルタイムに放音される。

・演奏記録モード
図３は、本実施形態に係る電子楽器の演奏記録モードにおける制御方法を示すタイミングチャートである。図４は、本実施形態に係る演奏記録モードにおける電子楽器の動作状態を示すブロック図である。

本実施形態に係る演奏記録モードにおいては、図３のタイミングチャート及び図４の動作状態図に示すように、まず、ユーザが外部機器２００の再生スイッチ（ＳＷ）をオン操作して（図中、(11)）、伴奏音の楽曲データの再生を開始すると、当該楽曲データに対応したアナログのオーディオ信号がオーディオケーブル３００を介して電子楽器１００に入力される。

そして、オーディオ信号が電子楽器１００のオーディオ入力端子回路１２０に入力されると（図中、(12)）、制御マイコン１１２は、信号有無検出回路１２２によりその入力タイミングを検出する（図中、(13)）。外部機器２００から入力されたオーディオ信号は、オーディオ入力端子回路１２０によりデジタル信号に変換され、ミキシング回路１２８により再度アナログ信号に変換されて（この時点では音の合成処理は行われずアナログ変換のみが行われる）スピーカアンプ１３０により所定の信号レベルに増幅された後、スピーカ１０８から伴奏音として放音される。

一方、ユーザは、スピーカ１０８から放音される伴奏音を聴くことにより、その音に合わせて、所定のタイミングで鍵盤１０２により演奏を開始する（図中、(14)）。このとき、制御マイコン１１２は、時間測定記録回路１２４により信号有無検出回路１２２において検出されたオーディオ信号の入力タイミングから、ユーザによる鍵盤演奏の開始タイミングまでの時間差である差分時間（遅延時間）Ｔｎを計測して記憶装置（図示を省略）に記録する（図中、(15)）。

また、制御マイコン１１２は、鍵盤演奏検出回路１１４及び鍵盤演奏記録回路１１６によりユーザによる鍵盤演奏中のシーケンス（演奏データ）を記憶装置に記録する（図中、(16)）。ここで、鍵盤演奏中のシーケンスは、例えばＭＩＤＩ等のデジタルデータの形式を有し、オーディオ信号の入力タイミングから鍵盤演奏の開始タイミングまでの差分時間Ｔｎに対応付けて記憶装置に記録される。

さらに、制御マイコン１１２は、上記の鍵盤演奏中においては、鍵盤演奏再生回路１１８によりユーザの鍵盤操作に応じたデジタルの楽音出力信号を生成する（図中、(17)）。そして、制御マイコン１１２は、ミキシング回路１２８により鍵盤演奏再生回路１１８により生成された楽音出力信号と、外部機器２００から入力されてデジタル変換されたオーディオ信号に基づく伴奏音とをデジタル信号の状態で合成した後、アナログ変換し（図中、(18)）、スピーカアンプ１３０により信号レベルを増幅してスピーカ１０８から合成演奏音として放音する（図中、(19)）。

そして、制御マイコン１１２は、鍵盤演奏検出回路１１４によりユーザが鍵盤演奏を終了して演奏記録の終了操作（又は停止操作）を行った状態を検出すると、鍵盤演奏記録回路１１６による演奏シーケンスの記録を終了（又は停止）する（図中、(20)）。また、このタイミングに同期して、制御マイコン１１２は、スピーカ１０８からの合成演奏音や演奏音の放音を終了（又は停止）する。

・演奏再生モード
図５は、本実施形態に係る電子楽器の演奏再生モードにおける制御方法を示すタイミングチャートである。図６は、本実施形態に係る演奏再生モードにおける電子楽器の動作状態を示すブロック図である。

本実施形態に係る演奏再生モードにおいては、図５のタイミングチャート及び図６の動作状態図に示すように、まず、外部機器２００において、以前に電子楽器１００における演奏を記録した楽曲の伴奏音を再生するように設定しておく。次いで、ユーザが外部機器２００の再生スイッチ（ＳＷ）をオン操作して（図中、(21)）、以前に記録した楽曲の伴奏音の楽曲データの再生を開始すると、当該楽曲データに対応したアナログのオーディオ信号がオーディオケーブル３００を介して電子楽器１００に入力される。

そして、オーディオ信号が電子楽器１００のオーディオ入力端子回路１２０に入力されると（図中、(22)）、制御マイコン１１２は、信号有無検出回路１２２によりその入力タイミングを検出する（図中、(23)）。外部機器２００から入力されたオーディオ信号は、オーディオ入力端子回路１２０によりデジタル信号に変換され、ミキシング回路１２８により再度アナログ信号に変換されて（この時点では音の合成処理は行われずアナログ変換のみが行われる）スピーカアンプ１３０により信号レベルが増幅された後、スピーカ１０８から伴奏音として放音される。

一方、制御マイコン１１２は、時間測定記録回路１２４により以前に電子楽器１００を演奏した際に記録した楽曲の鍵盤演奏のシーケンスに対応付けられた差分時間Ｔｎを記憶装置から読み出し（図中、(24)）、演奏記録再生タイミング発生回路１２６により信号有無検出回路１２２において検出されたオーディオ信号の入力タイミングから、当該差分時間Ｔｎ経過後の再生タイミングを設定する（図中、(25)）。

また、制御マイコン１１２は、鍵盤演奏記録回路１１６により以前に電子楽器１００を演奏した際に記録した楽曲の鍵盤演奏のシーケンスを記憶装置から読み出し（図中、(26)）、上記の再生タイミングにおいて、鍵盤演奏再生回路１１８により当該演奏シーケンスに基づくデジタルの楽音出力信号を生成する（図中、(27)）。そして、制御マイコン１１２は、ミキシング回路１２８により鍵盤演奏再生回路１１８において生成された楽音出力信号と、外部機器２００から入力されてデジタル変換されたオーディオ信号に基づく伴奏音とを合成した後、アナログ変換し（図中、(28)）、スピーカアンプ１３０により信号レベルを増幅してスピーカ１０８から合成演奏音として放音する再生動作を実行する（図中、(29)）。これにより、スピーカ１０８から外部機器２００の伴奏音に合わせて、以前にユーザが鍵盤演奏した際の演奏音が重なって再生される。

そして、制御マイコン１１２は、鍵盤演奏記録回路１１６により読み出された鍵盤演奏のシーケンスの終了（又は停止）を検出すると、鍵盤演奏再生回路１１８による演奏シーケンスの再生を終了（又は停止）する（図中、(20)）。また、このタイミングに同期して、制御マイコン１１２は、スピーカ１０８からの合成演奏音や演奏音の放音を終了（又は停止）する。

なお、本実施形態に係る演奏再生モードにおいては、上述したように、外部機器２００から入力される伴奏音に、以前にユーザが鍵盤演奏した際に記録した演奏音を合成して再生する形態の他に、以前にユーザが鍵盤演奏した際に記録した演奏音のみを単独で再生する形態も有している。

具体的には、例えばユーザが操作パネル１０４に設けられたボタンやスイッチを操作して、ユーザが以前に電子楽器１００における演奏を記録した楽曲を指定することにより、制御マイコン１１２は、鍵盤演奏記録回路１１６により当該楽曲の鍵盤演奏のシーケンスを記憶装置から読み出し、鍵盤演奏再生回路１１８により当該演奏シーケンスに基づく楽音出力信号を生成する。そして、制御マイコン１１２は、ミキシング回路１２８により楽音出力信号をアナログ信号に変換した後（この場合には音の合成処理は行われずアナログ変換のみが行われる）、スピーカアンプ１３０により信号レベルを増幅してスピーカ１０８から演奏音として放音する再生動作を実行する。

このように、本実施形態においては、演奏記録時に、外部機器２００から入力される伴奏音のオーディオ信号の入力タイミングを信号有無検出回路１２２により検出し、当該入力タイミングからユーザの鍵盤演奏の開始までの時間差である差分時間Ｔｎを計測して、鍵盤演奏のシーケンス（演奏データ）に対応付けて記録する。そして、記録された楽曲の演奏再生時に、外部機器２００からの伴奏音のオーディオ信号の入力を検出した場合には、当該入力タイミングから差分時間Ｔｎの経過後に、当該差分時間Ｔｎに対応付けて記憶された鍵盤演奏のシーケンスに基づく演奏音が再生される。このとき、外部機器２００からのオーディオ信号に基づいて再生される伴奏音に、記録された鍵盤演奏のシーケンスに基づく演奏音が合成された合成演奏音が再生される。

これにより、本実施形態によれば、以前に外部機器から再生される楽曲を聴きながら行った自己の鍵盤演奏のシーケンスを記録し、その後に外部機器により再生される楽曲に合わせて、記憶された鍵盤演奏のシーケンスに基づく演奏音を、適切なタイミングで（タイミングがずれることなく）合成して合成演奏音として自動再生することができ、ユーザによる特別な操作を必要とすることなく、簡易な処理方法で、以前の記録時の演奏状態を忠実に再現することができる。

ここで、本実施形態においては、外部機器からのオーディオ信号の入力タイミングからの差分時間Ｔｎに対応付けて、鍵盤演奏のシーケンスのみがＭＩＤＩ等のデジタルデータとして記録される。これにより、例えば外部機器から入力されるオーディオ信号（伴奏音）と電子楽器における鍵盤演奏のシーケンスに基づく楽音出力信号（演奏音）とをミキシングした後に、アナログデータやデジタルデータとして記録する場合に比較して、処理対象となるデータ量や記録されるデータ量を削減することができるとともに、処理負担を軽減することができる。

したがって、本実施形態によれば、外部機器からの楽曲データとユーザによる電子楽器の演奏データとを合成して再生するアンサンブル演奏等において、制御マイコン１１２による処理動作を簡易化して効率的に楽音の記録、再生を行うことができる。また、本実施形態によれば、必要とされる記憶装置を小容量化したり、制御マイコンの処理能力を低くしたりすることができるので、電子楽器の装置構成を簡略化して製品コストを削減することができる、或いは、本実施形態を低価格帯の電子楽器に良好に適用することができる。また、本実施形態においては、伴奏音や演奏音を対象にした信号処理を最小限に留めることができるので、再生される合成演奏音の解像度の低下やノイズの混入を抑制して、良好な音質を実現することができる。

さらに、本実施形態においては、ユーザによる鍵盤演奏のシーケンスのみが記録され、外部機器において再生される伴奏音の楽曲データを電子楽器に記録（録音）する必要がないので、著作権が存在する楽曲データを録音する際の制約を受けることがなく、鍵盤演奏の伴奏として、任意の楽曲データを自由に利用することができる。

＜第２の実施形態＞
次に、本発明に係る電子楽器及びその制御方法の第２の実施形態について説明する。
上述した第１の実施形態においては、演奏記録時に、信号有無検出回路１２２により外部機器２００からのオーディオ信号の入力タイミングを検出し、ユーザによる鍵盤演奏の開始タイミングまでの差分時間Ｔｎを計測して、鍵盤演奏のシーケンス（演奏データ）と対応付けて記録し、演奏再生時に、外部機器２００からのオーディオ信号の入力を検出した場合に、記録された差分時間Ｔｎ経過後に、記録された鍵盤演奏のシーケンスに基づく演奏音を再生する形態を示した。

第２の実施形態においては、差分時間Ｔｎと鍵盤演奏のシーケンス（演奏データ）とが対応付けられて複数記録されている場合に、演奏再生時に、外部機器２００からのオーディオ信号に含まれる特定の信号特性（例えば信号ピッチ）に基づいて、適切な鍵盤演奏のシーケンス（演奏データ）と差分時間Ｔｎとを選択して再生することを特徴としている。

（電子楽器）
図７は、本発明の第２の実施形態に係る電子楽器のハードウェアの構成例を示すブロック図である。ここで、上述した第１の実施形態と同等の構成については、その説明を簡略化又は省略する。

第２の実施形態に係る電子楽器１００は、例えば図７に示すように、第１の実施形態に示した内部機能に、信号ピッチ検出回路１３２と、ピッチ記録回路１３４と、ピッチ判定演奏対象データ選択回路１３６と、が付加されている。

信号ピッチ検出回路１３２は、外部機器２００からオーディオケーブル３００を介して入力されるアナログのオーディオ信号（楽音信号）の先頭部分（ヘッダー部）の信号ピッチＰｎを検出、測定する。ここで、信号ピッチ検出回路１３２は周知の技術を適用することができる。

ピッチ記録回路１３４は、信号ピッチ検出回路１３２により測定された信号ピッチＰｎを記憶装置に記録する。ここで、信号ピッチＰｎは、当該信号ピッチＰｎが測定されたオーディオ信号に基づく楽曲に合わせて、ユーザが鍵盤演奏をした際に、鍵盤演奏記録回路１１６により記録された鍵盤演奏のシーケンス（演奏データ）、及び、時間測定記録回路１２４により記憶された差分時間Ｔｎに対応付けて記録される。

ピッチ判定演奏対象データ選択回路１３６は、外部機器２００からオーディオ信号が入力された場合に、信号ピッチ検出回路１３２により検出、測定された信号ピッチＰｎを判定し、その判定結果に基づいて、複数の信号ピッチそれぞれに対応付けて鍵盤演奏記録回路１１６に記録されている複数の鍵盤演奏のシーケンス（演奏データ）の中から演奏対象となる鍵盤演奏のシーケンス（すなわち、再生されるべき演奏データ）を選択するとともに、当該鍵盤演奏のシーケンスに対応付けて時間測定記録回路１２４に記録されている差分時間（遅延時間）Ｔｎを選択する。制御マイコン１１２は、これらを含む電子楽器１００全体の各機能部を制御することにより、後述する制御方法に示す演奏記録モード、及び、演奏再生モードにおける各処理動作を実行する。

（電子楽器の制御方法）
次に、本実施形態に係る電子楽器の制御方法（記録再生装置の制御方法）について説明する。ここで、上述した第１の実施形態と同等の処理動作についてはその説明を簡略化する。

上述した第１の実施形態と同様に、本実施形態に係る電子楽器においても、通常の演奏モードと、演奏記録モードと、演奏再生モードとが実行される。ここで、通常の演奏モードは上述した第１の実施形態と同一であるので、以下、本実施形態の特徴である演奏記録モード、及び、演奏再生モードについて詳しく説明する。

・演奏記録モード
図８は、本実施形態に係る電子楽器の演奏記録モードにおける制御方法を示すタイミングチャートである。図９は、本実施形態に係る演奏記録モードにおける電子楽器の動作状態を示すブロック図である。

本実施形態に係る演奏記録モードにおいては、図８のタイミングチャート及び図９の動作状態図に示すように、まず、ユーザが外部機器２００の再生スイッチ（ＳＷ）をオン操作して（図中、(31)）、伴奏音の楽曲データの再生を開始すると、当該楽曲データのオーディオ信号がオーディオ入力端子回路１２０に入力される（図中、(32)）。これに対して、制御マイコン１１２は、信号有無検出回路１２２によりその入力タイミングを検出する（図中、(33)）。また、制御マイコン１１２は、信号ピッチ検出回路１３２により入力されたオーディオ信号の先頭部分（ヘッダー部）について信号ピッチＰｎを検出、測定し（図中、(34)）、ピッチ記録回路１３４により測定された信号ピッチＰｎを記憶装置（図示を省略）に記録する（図中、(35)）。

一方、外部機器２００から入力されたオーディオ信号は、オーディオ入力端子回路１２０、ミキシング回路１２８、スピーカアンプ１３０において所定の信号処理を施された後、スピーカ１０８から伴奏音として放音される。ユーザは、この伴奏音を聴くことにより、その音に合わせて、鍵盤演奏を開始する（図中、(36)）。このとき、制御マイコン１１２は、時間測定記録回路１２４により上記のオーディオ信号の入力タイミングから鍵盤演奏の開始タイミングまでの差分時間（遅延時間）Ｔｎを計測して記憶装置に記録する（図中、(37)）。また、制御マイコン１１２は、鍵盤演奏検出回路１１４及び鍵盤演奏記録回路１１６により鍵盤演奏中のシーケンス（演奏データ）を記憶装置に記録する（図中、(38)）。

ここで、鍵盤演奏中のシーケンスは、信号ピッチ検出回路１３２により測定された信号ピッチＰｎ、及び、時間測定記録回路１２４により計測された差分時間Ｔｎのそれぞれに対応付けて鍵盤演奏記録回路１１６の記憶装置に記録される。さらに、制御マイコン１１２は、上記の鍵盤演奏中においては、鍵盤演奏再生回路１１８により鍵盤操作に応じた楽音出力信号を生成し（図中、(39)）、ミキシング回路１２８により上記の楽音出力信号と、上記のオーディオ信号に基づく伴奏音とを合成した後（図中、(40)）、スピーカアンプ１３０を介してスピーカ１０８から合成演奏音として放音する（図中、(41)）。

そして、鍵盤演奏が終了して鍵盤演奏検出回路１１４により演奏記録の終了操作（又は停止操作）が検出されると、制御マイコン１１２は、鍵盤演奏記録回路１１６による鍵盤演奏のシーケンスの記録を終了（又は停止）する（図中、(42)）とともに、スピーカ１０８からの合成演奏音や演奏音の放音を終了（又は停止）する。

このような演奏記録モードにおける鍵盤演奏記録回路１１６による鍵盤演奏のシーケンスの記録処理は、異なる楽曲データを対象として演奏を行う毎に、ユーザが演奏記録モードを選択することで実行される。そして、それぞれの楽曲データを対象とした記録処理において、外部機器２００から入力される複数の異なる楽曲データのオーディオ信号に対して上記の信号ピッチ検出回路１３２により測定される信号ピッチＰｎに対応付けて、鍵盤演奏のシーケンス（演奏データ）や差分時間（遅延時間）Ｔｎが記録される。すなわち、鍵盤演奏記録回路１１６には、複数の異なる種類の楽曲データを対象として演奏された鍵盤演奏のシーケンス（演奏データ）が記憶され、これらに対応付けられた複数の信号ピッチＰｎがそれぞれの楽曲データを判別するための識別情報としてピッチ記録回路１３４に記憶され、また、それぞれの鍵盤演奏のシーケンスに対応付けられた差分時間Ｔｎが時間測定記録回路１２４に記憶されている。

・演奏再生モード
図１０は、本実施形態に係る電子楽器の演奏再生モードにおける制御方法を示すタイミングチャートである。図１１は、本実施形態に係る演奏再生モードにおける電子楽器の動作状態を示すブロック図である。

本実施形態に係る演奏再生モードにおいては、図１０のタイミングチャート及び図１１の動作状態図に示すように、まず、外部機器２００において、以前に演奏を記録した複数の楽曲の中から、ユーザが再生の対象とする任意の一つの楽曲を選択し、その選択された楽曲の伴奏音を再生するように設定しておく。次いで、ユーザが外部機器２００の再生スイッチ（ＳＷ）をオン操作して（図中、(51)）、選択された楽曲の伴奏音の再生を開始すると、当該楽曲データのオーディオ信号がオーディオ入力端子回路１２０に入力される（図中、(52)）。

これにより、制御マイコン１１２は、信号有無検出回路１２２によりオーディオ信号の入力タイミングを検出する（図中、(53)）。また、制御マイコン１１２は、信号ピッチ検出回路１３２により入力されたオーディオ信号の先頭部分（ヘッダー部）について信号ピッチＰｎを検出、測定する（図中、(54)）。そして、制御マイコン１１２は、ピッチ記録回路１３４及びピッチ判定演奏対象データ選択回路１３６により以前の演奏の際に記録された複数の信号ピッチＰｎの中から、測定された信号ピッチＰｎを判定し（図中、(55)）、当該信号ピッチＰｎに対応付けて鍵盤演奏記録回路１１６に記録されている鍵盤演奏のシーケンス（演奏データ）の中から演奏対象となる鍵盤演奏のシーケンスを選択するとともに、当該鍵盤演奏のシーケンスに対応付けて時間測定記録回路１２４に記録されている差分時間（遅延時間）Ｔｎを選択する（図中、(56)）。

一方、外部機器２００から入力されたオーディオ信号は、オーディオ入力端子回路１２０、ミキシング回路１２８、スピーカアンプ１３０において所定の信号処理を施された後、スピーカ１０８から伴奏音として放音される。

また、制御マイコン１１２は、ピッチ判定演奏対象データ選択回路１３６により選択された鍵盤演奏のシーケンス（演奏データ）及び差分時間（遅延時間）Ｔｎの情報を読み出し（図中、(57)）、オーディオ信号の入力タイミングから、当該差分時間Ｔｎ経過後の再生タイミングを設定する（図中、(58)）。

また、制御マイコン１１２は、上記の再生タイミングにおいて、鍵盤演奏記録回路１１６及び鍵盤演奏再生回路１１８により上記の演奏対象として選択された、鍵盤演奏のシーケンス（演奏データ）に基づいて楽音出力信号を生成する（図中、(59)）。そして、ミキシング回路１２８により当該楽音出力信号と、上記のオーディオ信号に基づく伴奏音とを合成した後（図中、(60)）、スピーカアンプ１３０を介してスピーカ１０８から合成演奏音として放音する再生動作を実行する（図中、(61)）。これにより、スピーカ１０８から外部機器２００の伴奏音に合わせて、以前にユーザが鍵盤演奏した際に記録された複数の演奏データから、演奏対象となる楽曲が自動的に選択され、適切なタイミングで（タイミングがずれることなく）再生されて伴奏音と演奏音とが合成されて、以前の記録時の演奏状態が忠実に再現される。

そして、制御マイコン１１２は、鍵盤演奏記録回路１１６により読み出された鍵盤演奏のシーケンスの終了（又は停止）を検出すると、演奏シーケンスの再生を終了（又は停止）し（図中、(20)）、このタイミングに同期して、スピーカ１０８からの合成演奏音や演奏音の放音を終了（又は停止）する。

このように、本実施形態においては、楽曲のヘッダー部の信号ピッチを検出する信号ピッチ検出回路１３２を備えることにより、外部機器２００から入力されるアナログのオーディオ信号の先頭部分（ヘッダー部）の信号ピッチＰｎを検出、測定し、ヘッダー部の信号ピッチの特徴により判定して、予め信号ピッチＰｎに対応付けて記録されている複数の鍵盤演奏のシーケンス（演奏データ）から、演奏対象となる鍵盤演奏のシーケンス及び差分時間（遅延時間）Ｔｎが自動的に選択される。

これにより、本実施形態によれば、以前に外部機器から再生される楽曲を聴きながら鍵盤１０２により演奏し、記録した複数の鍵盤演奏のシーケンスの中から、外部機器２００により再生される楽曲に対応した鍵盤演奏のシーケンスに基づく演奏音が自動的に選択されて、適切なタイミングで（タイミングがずれることなく）外部機器２００により再生される楽曲に合成して合成演奏音として再生することができる。したがって、ユーザによる特別な操作を必要とすることなく、簡易な処理方法で、以前の記録時の演奏状態を忠実に再現することができる。すなわち、本実施形態においても、上述した第１の実施形態と同様の作用効果を得ることができる。

なお、本実施形態においては、信号ピッチ検出回路１３２により検出、測定される、オーディオ信号の先頭部分（ヘッダー部）の信号ピッチＰｎについて特に条件や規定を示さなかったが、例えばオーディオ信号の波形データにおいて、一定期間内に存在するピーク値の周期に基づいて信号ピッチを算出する、周知の手法を適用することができる。また、異なるオーディオ信号間で、信号ピッチが一致、或いは、近似する場合には、例えば一定期間（例えば５秒）ごとの平均ピッチを比較する手法や、連続するピッチの変化のタイミングを比較する手法を適用して判定精度を向上させるものであってもよい。

また、本実施形態においては、外部機器２００から入力されるアナログのオーディオ信号のヘッダー部の信号ピッチＰｎを検出、測定し、当該信号ピッチの特徴に基づいて、予め記録されている複数の鍵盤演奏のシーケンスから、演奏対象となる演奏データ及び差分時間（遅延時間）Ｔｎを選択する場合について説明したが、本発明はこれに限定されるものではない。例えば、演奏対象となる演奏データについては、ユーザが任意に選択することができ、一方、差分時間（遅延時間）Ｔｎについては、上述したオーディオ信号のヘッダー部の信号ピッチＰｎを検出、測定した結果に基づいて適切なものを自動的に選択するものであってもよい。

なお、上述した各実施形態においては、外部機器２００から入力されるオーディオ信号の入力タイミングからユーザが鍵盤演奏を始めるまでの差分時間Ｔｎについて、時間測定記録回路１２４により演奏記録時に計測された固定値として説明したが、本発明はこれに限定されるものではない。例えば、演奏記録の終了後や、演奏再生時に適宜変更することができるようにしてもよい。これにより、外部機器２００から入力されて再生される伴奏音の楽曲に対して、ユーザによる演奏データを合成する際のタイミングを変更することができるので、演奏の練習や学習等に適用することができる。

また、上述した各実施形態においては、オーディオケーブル３００等の通信ケーブルを介して外部機器２００から電子楽器１００に伴奏音等の楽曲データを入力する形態を示した。このように、通信ケーブルを介して電子楽器１００と外部機器２００とを接続することにより、外部機器２００で再生される楽曲データを安定した速度、及び、低ノイズで確実に送信することができる。なお、本発明はこれに限定されるものではなく、例えば、電子楽器１００にマイク入力端子を備え、マイク入力端子に接続されたマイクロフォンにより、外部機器２００等のスピーカから発音された楽音を取り込んでアンサンブル演奏等に使用するものであってもよい。この場合、周囲の環境によっては、安定的に楽音を取り込むことができなかったり、ノイズが混入したりする場合があるが、通信ケーブルを用意する必要がないという利点や、臨場感に富んだ楽音を取得することができる利点を有している。

また、上述した各実施形態においては、外部機器２００からオーディオケーブル３００を介して電子楽器１００に入力される楽曲データとして、電子楽器１００における鍵盤演奏の伴奏となる楽曲データを適用した場合について説明したが、本発明は、これに限定されるものではない。例えば、有名アーティストやオーケストラの楽曲データ、ボーカルデータ等を適用することにより、アーティストやオーケストラ等と自己の演奏とのセッションを疑似的に体験したり、そのときの演奏状態を再現することにより自己の演奏レベルやスキルの向上を図ったり、演奏の練習や学習を行ったりするものであってもよい。

以上、本発明のいくつかの実施形態について説明したが、本発明は、上述した実施形態に限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲とを含むものである。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

（付記）
［１］
外部から楽音信号を入力する外部入力端子と、
演奏に係る操作を検出する操作検出手段と、
前記外部入力端子から入力される楽音信号の再生が開始した第１のタイミングから、前記楽音信号の再生開始後に、前記操作検出手段により前記演奏に係る操作が開始された第２のタイミングまでの差分時間を計測する時間計測手段と、
前記操作検出手段により検出された前記演奏に係る演奏データを、前記時間計測手段により計測された前記差分時間に対応付けて記憶手段に記憶させ、前記差分時間に対応付けられた前記演奏に係る演奏データが前記記憶手段に記憶された状態で、前記楽音信号の再生が開始したことを再び検出した際に、前記記憶手段に記憶された前記演奏データを、前記演奏データに対応付けられた前記差分時間だけ遅れたタイミングで再生開始する制御手段と、
を備えたことを特徴とする録音再生装置。

［２］
前記制御手段は、
前記楽音信号に含まれる信号特性を検出する信号特性検出手段を含み、
前記外部入力端子から楽音信号が入力された場合に、入力された前記楽音信号に含まれる前記信号特性を検出するとともに、検出された前記信号特性に対応付けて、前記演奏に係る演奏データ及び前記差分時間を前記記憶手段に追加して記憶させ、
複数の前記信号特性のそれぞれに対応付けて、前記演奏に係る演奏データ及び前記差分時間がそれぞれ前記記憶手段に記憶された状態で、前記楽音信号の再生が開始したことを再び検出した際に、前記信号特性検出手段により前記信号特性を検出し、前記記憶手段に記憶された複数の前記信号特性の中から、検出された前記信号特性に対応付けられている前記演奏データ及び前記差分時間を選択して、選択された前記演奏データを選択された前記差分時間だけ遅れたタイミングで再生開始することを特徴とする［１］に記載の録音再生装置。

［３］
前記楽音信号に含まれる信号特性は、前記楽音信号のヘッダー部の信号ピッチであることを特徴とする［２］に記載の録音再生装置。

［４］
前記差分時間は、変更可能であることを特徴とする［１］乃至［３］のいずれかに記載の録音再生装置。

［５］
前記楽音信号は、アナログ信号であり、前記演奏データは、デジタル信号であることを特徴とする［１］乃至［４］のいずれかに記載の録音再生装置。

［６］
前記楽音信号は、通信ケーブルを介して前記外部入力端子に入力されることを特徴とする［１］乃至［５］のいずれかに記載の録音再生装置。

［７］
外部から入力される楽音信号の再生が開始した第１のタイミングから、前記楽音信号の再生開始後に、演奏に係る操作が開始された第２のタイミングまでの差分時間を計測し、
前記演奏に係る演奏データを、前記計測された前記差分時間に対応付けて記憶手段に記憶し、
前記楽音信号の再生が開始したことを再び検出した際に、前記記憶手段に記憶された前記演奏データを、前記演奏データに対応付けられた前記差分時間だけ遅れたタイミングで再生を開始する、
ことを特徴とする録音再生装置の制御方法。

［８］
コンピュータに、
外部から入力される楽音信号の再生が開始した第１のタイミングから、前記楽音信号の再生開始後に、演奏に係る操作が開始された第２のタイミングまでの差分時間を計測させ、
前記演奏に係る演奏データを、前記計測された前記差分時間に対応付けて記憶手段に記憶させ、
前記楽音信号の再生が開始したことを再び検出した際に、前記記憶手段に記憶された前記演奏データを、前記演奏データに対応付けられた前記差分時間だけ遅れたタイミングで再生を開始させる、
ことを特徴とする録音再生装置の制御プログラム。

［９］
前記［１］乃至［６］のいずれかに記載の録画再生装置と、
演奏のための音高を指定する操作を行わせる操作部と、
前記録画再生装置により再生される前記楽音信号及び前記演奏データの、少なくともいずれか一方を出力するための出力手段と、
を備えることを特徴とする電子楽器。

１００ 電子楽器
１０２ 鍵盤（操作部）
１０４ 操作パネル（操作部）
１０８ スピーカ（出力手段）
１１０ 外部入力端子
１１２ 制御マイコン（制御手段）
１１４ 鍵盤演奏検出回路（操作検出手段）
１１６ 鍵盤演奏記録回路（記憶手段）
１１８ 鍵盤演奏再生回路
１２０ オーディオ入力端子回路
１２２ 信号有無検出回路
１２４ 時間測定記録回路（時間計測手段、記憶手段）
１２６ 演奏記録再生タイミング発生回路
１２８ ミキシング回路
１３２ 信号ピッチ検出回路（信号特性検出手段）
１３４ ピッチ記録回路（記憶手段）
１３６ ピッチ判定演奏対象データ選択回路（制御手段）
２００ 外部機器
３００ オーディオケーブル（通信ケーブル）

Claims (9)

1. 外部から入力された楽音信号の再生が開始した第１のタイミングから、前記楽音信号の再生開始後に、演奏に係る操作が開始された第２のタイミングまでの差分時間を計測し、
   前記演奏に係る演奏データ及び前記差分時間を、入力された前記楽音信号に含まれる信号特性に対応付けて記憶手段に記憶させ、
   複数の前記信号特性のそれぞれに対応付けて、前記演奏に係る複数の演奏データが前記記憶手段に記憶された状態で、前記楽音信号の再生が開始したことを再び検出した際に、前記記憶手段に記憶された複数の前記信号特性の中から、再生が開始された前記楽音信号に含まれる信号特性と一致するまたは近似する信号特性が複数確認された場合、確認された複数の信号特性のそれぞれの一定期間ごとの平均値と、再生が開始された前記楽音信号に含まれる信号特性の一定期間ごとの平均値と、を比較することによって１つの前記演奏データ及び前記差分時間を選択するか、或いは確認された複数の信号特性のそれぞれの変化のタイミングと、再生が開始された前記楽音信号に含まれる信号特性の変化のタイミングと、を比較することによって１つの前記演奏データ及び前記差分時間を選択し、
   選択された前記演奏データを選択された前記差分時間だけ遅れたタイミングで再生開始することを特徴とする録音再生装置。
2. 前記楽音信号は、伴奏音のオーディオ信号であり、前記演奏データは、前記伴奏音に合わせて楽器によって演奏された演奏データであることを特徴とする請求項１に記載の録音再生装置。
3. 前記楽音信号に含まれる信号特性は、前記楽音信号のヘッダー部の信号ピッチであることを特徴とする請求項２に記載の録音再生装置。
4. 前記差分時間は、変更可能であることを特徴とする請求項１乃至３のいずれかに記載の録音再生装置。
5. 前記楽音信号は、アナログ信号であり、前記演奏データは、デジタル信号であることを特徴とする請求項１乃至４のいずれかに記載の録音再生装置。
6. 前記楽音信号は、通信ケーブルを介して入力されることを特徴とする請求項１乃至５のいずれかに記載の録音再生装置。
7. 外部から入力された楽音信号の再生が開始した第１のタイミングから、前記楽音信号の再生開始後に、演奏に係る操作が開始された第２のタイミングまでの差分時間を計測し、
   前記演奏に係る演奏データ及び前記差分時間を、入力された前記楽音信号に含まれる信号特性に対応付けて記憶手段に記憶し、
   前記楽音信号の再生が開始したことを再び検出した際に、前記記憶手段に記憶された複数の前記信号特性の中から、再生が開始された前記楽音信号に含まれる信号特性と一致するまたは近似する信号特性が複数確認された場合、確認された複数の信号特性のそれぞれの一定期間ごとの平均値と、再生が開始された前記楽音信号に含まれる信号特性の一定期間ごとの平均値と、を比較することによって１つの前記演奏データ及び前記差分時間を選択するか、或いは確認された複数の信号特性のそれぞれの変化のタイミングと、再生が開始された前記楽音信号に含まれる信号特性の変化のタイミングと、を比較することによって１つの前記演奏データ及び前記差分時間を選択し、
   選択された前記演奏データを、選択された前記差分時間だけ遅れたタイミングで再生を開始する、
   ことを特徴とする録音再生装置の制御方法。
8. コンピュータに、
   外部から入力された楽音信号の再生が開始した第１のタイミングから、前記楽音信号の再生開始後に、演奏に係る操作が開始された第２のタイミングまでの差分時間を計測させ、
   前記演奏に係る演奏データ及び前記差分時間を、入力された前記楽音信号に含まれる信号特性に対応付けて記憶手段に記憶させ、
   前記楽音信号の再生が開始したことを再び検出した際に、前記記憶手段に記憶された複数の前記信号特性の中から、再生が開始された前記楽音信号に含まれる信号特性と一致するまたは近似する信号特性が複数確認された場合、確認された複数の信号特性のそれぞれの一定期間ごとの平均値と、再生が開始された前記楽音信号に含まれる信号特性の一定期間ごとの平均値と、を比較することによって１つの前記演奏データ及び前記差分時間を選択させるか、或いは確認された複数の信号特性のそれぞれの変化のタイミングと、再生が開始された前記楽音信号に含まれる信号特性の変化のタイミングと、を比較することによって１つの前記演奏データ及び前記差分時間を選択させ、
   選択された前記演奏データを、選択された前記差分時間だけ遅れたタイミングで再生を開始させる、
   ことを特徴とする録音再生装置の制御プログラム。
9. 前記請求項１乃至６のいずれかに記載の録音再生装置と、
   演奏のための音高を指定する操作を行わせる操作部と、
   前記録音再生装置により再生される前記楽音信号及び前記演奏データの、少なくともいずれか一方を出力するための出力手段と、
   を備えることを特徴とする電子楽器。

Images