JP6337723B2 - カラオケ装置、およびカラオケ装置の制御方法 - Google Patents

Description

本発明は、伴奏音などの音がスピーカから出力されている場合でも、ユーザの音声により各種の指示を行うことができるカラオケ装置に関する。

従来、音声認識手段を利用した楽曲検索機能を搭載したカラオケ装置が知られている。しかし、カラオケサービスの利用中にカラオケボックスにおいてはカラオケ用楽曲などが再生されており、カラオケボックスが無音の状態であることはない。つまり、カラオケボックスでユーザが音声認識手段を用いた楽曲検索を行っても、カラオケ装置が再生するカラオケ用楽曲などの周囲の音によって音声認識が妨げられてしまう。この音声認識が妨げられる場合に対処するために、例えば、特許文献１に記載の音楽演奏装置が提案された。この音楽演奏装置は、音声が入力されたとき、楽曲の演奏中か否かを判断する手段を備え、該手段が楽曲の演奏中であると判断すると、音声認識手段による認識ができないことを示すメッセージを出力する。

特開平１１−２６５１９０号公報

しかしながら、カラオケボックスで音声による楽曲検索を利用する場合、ユーザの音声を抽出する妨げとなる音は、歌唱時においては、主に楽曲の伴奏音、および歌唱者の歌唱音のような楽曲再生装置により出力される音である。また、楽曲再生装置は、歌唱時以外の時にも、広告動画などを再生し、スピーカからは広告音を出力する。そのため、歌唱中でなくても正しく音声を認識することができない可能性がある。

そこで、本発明はカラオケ装置から音が発音されている場合でも、ユーザの音声の抽出を行えるカラオケ装置、およびカラオケ装置の制御方法を提供することを目的とする。

この目的を達成するために、請求項１記載のカラオケ装置は、楽曲の再生音を表す楽曲情報と、歌唱者の歌唱音を表す歌唱情報とを含む発音情報であって、スピーカに発生させる音を表す発音情報を生成する音響制御手段と、ユーザの音声を表すユーザ音声情報と、発音情報に従ってスピーカから発生された音を表す情報とを含む音声操作情報を取得する取得手段と、音声操作情報と、発音情報とを比較して、音声操作情報に含まれるユーザ音声情報を抽出する抽出手段と、抽出手段により抽出されたユーザ音声情報に従って、各種指示を表す指示情報を生成する第１制御手段と、を備え、音声操作情報と発音情報とを同期させるために所定の周波数の音を表す同期音情報を、発音情報に付加する同期音情報付加手段と、を備え、取得手段は、発音情報に従ってスピーカから発生された同期音情報の表す所定の周波数の音を取得し、同期音情報付加手段は、取得手段がユーザ音声情報の取得を終えると、同期音情報の付加を終了し、抽出手段は、音声操作情報に含まれる同期音情報と一致する周波数の音を表す特定の情報の開始位置および終了位置と、発音情報に含まれる同期音情報の付加開始位置および付加終了位置とをそれぞれ同期させ、ユーザ音声情報を抽出することを特徴とする。

請求項２記載のカラオケ装置は、楽曲を再生する楽曲再生装置と、移動可能な端末装置とを備えるカラオケ装置であって、端末装置は、取得手段と、抽出手段と、各種処理とを実行する第１制御手段と、楽曲再生装置と通信するための第１通信手段とを備え、楽曲再生装置は、音響制御手段と、同期音情報付加手段と、各種処理とを実行する第２制御手段と、端末装置と通信するための第２通信手段とを備え、第１制御手段は、抽出手段により抽出されたユーザ音声情報に従って、各種指示を表す指示情報を生成することを特徴とする。

請求項３記載のカラオケ装置の第１制御手段は、取得手段に音声操作情報の取得を開始させる処理と、発音情報の記憶を開始させる開始指示を第２制御手段に送る処理と、取得手段により取得された音声操作情報が同期音情報を含んでいる場合、ユーザ音声情報を音声操作情報に含める許可を表す通知を表示手段に表示させる処理と、ユーザ音声情報を音声操作情報に含めることを終了する場合、発音情報の記憶を終了させることを表す終了指示を第２制御手段に送る処理と、音声操作情報と、記憶された発音情報とを抽出手段に比較させて、音声操作情報に含まれるユーザ音声情報を抽出手段に抽出させる処理と、抽出されたユーザ音声情報に従って、各種指示を表す指示情報を生成する処理とを実行する。第２制御手段は、開始指示に従って、発音情報の記憶を開始させる処理と、同期音情報付加手段によって発音情報に同期音情報を付加させ、かつスピーカに発音させる処理と、終了指示に従って、発音情報の記憶を終了させ、発音情報を第１制御手段に送る処理とを実行することを特徴とする。

請求項１記載のカラオケ装置は、スピーカに発生させる音を表す前記発音情報を生成する音響制御手段と、ユーザの音声を表すユーザ音声情報と、発音情報に従ってスピーカから発生された音を表す情報とを含む音声操作情報を取得する取得手段と、音声操作情報と、発音情報とを比較して、音声操作情報に含まれるユーザ音声情報を抽出する抽出手段と、抽出手段により抽出されたユーザ音声情報に従って、各種指示を表す指示情報を生成する第１制御手段とを備える。取得手段は、ユーザの音声を表すユーザ音声情報と、発音情報に従ってスピーカに発生させた音を表す情報とを含む音声操作情報を取得するため、抽出手段は、音声操作情報と、発音情報とを比較して、ユーザ音声情報を抽出することができる。これにより、抽出されたユーザ音声情報に従って、各種指示を表す指示情報を生成することができる。

さらに、カラオケ装置は、発音情報に音声操作情報と発音情報とを同期させるために所定の周波数の音を表す同期音情報を付加する同期音情報付加手段を備え、抽出手段は、同期音情報の表す所定の周波数に従って、音声操作情報と発音情報とを同期させ、ユーザ音声情報を抽出する。同期音情報付加手段により発音情報に同期音情報を付加することで、抽出手段は、発音情報と音声操作情報とをより正確に比較することができる。これにより、ユーザ音声情報の抽出をより確実に行うことができる。抽出されたユーザ音声情報に従って、各種指示を表す指示情報を生成することができる。

さらに、取得手段は、発音情報に従ってスピーカから発生された同期音情報の表す所定の周波数の音を取得し、同期音情報付加手段は、取得手段がユーザ音声情報の取得を終えると同期音情報の付加を終了し、抽出手段は、音声操作情報に含まれる同期音情報と一致する周波数の音を表す特定の情報と、発音情報に含まれる同期音情報との付加開始位置および付加終了位置を同期させ、ユーザ音声情報を抽出する。音声操作情報、および発音情報に含まれる同期音情報に一致する周波数の音の付加開始位置と付加終了位置とをそれぞれ同期せることで、抽出手段は、発音情報と音声操作情報とをより正確に比較することができる。これにより、ユーザ音声情報の抽出をより確実に行うことができる。また、同期音情報の付加開始位置および付加終了位置を同期させ、その開始位置から終了位置までを比較すればよいため、抽出処理を軽減できる。

請求項２記載のカラオケ装置は、楽曲を再生する楽曲再生装置と、移動可能な端末装置とを備える。端末装置は、取得手段と、抽出手段と、各種処理とを実行する第１制御手段と、楽曲再生装置と通信するための第１通信手段とを備える。楽曲再生装置は、音響制御手段と、同期音情報付加手段と、各種処理とを実行する第２制御手段と、端末装置と通信するための第２通信手段とを備える。第１制御手段は、抽出手段により抽出されたユーザ音声情報に従って、各種指示を表す指示情報を生成する。カラオケ装置が楽曲再生装置と、移動可能な端末装置とを備えることで、移動可能な端末装置を利用して楽曲再生装置から離れた場所でも音声によって指示情報を生成できる。

本発明の第１の実施形態に係るカラオケ装置１の楽曲再生装置１０、およびリモコン端末２０ａのブロック図である。 楽曲再生装置１０の制御部１００、及び端末装置２０ａの制御部２００により実行される処理を表すフローチャートである。 制御部２００により実行されるユーザ音声情報の抽出処理を表す概略図である。 本発明の第２の実施形態における制御部１００の処理を表すフローチャートである。 本発明の変形例における制御部１００により実行されるユーザ音声情報の抽出処理を表す概略図である。

以下、本発明の実施の形態について図面を参照して説明する。
［第１の実施形態］
図１は第１の実施形態に係るカラオケ装置１の楽曲再生装置１０、およびリモコン端末２０ａのブロック図である。カラオケ装置１は、楽曲再生装置１０、リモコン装置２０ａ、および、端末装置２０ｂを備える。

［楽曲再生装置１０の構成］
楽曲再生装置１０は、リモコン装置２０ａおよび、端末装置２０ｂと通信可能に設けられる。楽曲再生装置１０は、制御部１００、メモリ１０１、記憶部１１０、操作処理部１２０、操作部１２１、映像再生部１３０、映像制御部１３１、音響制御部１４０、および通信部１５０を備える。

制御部１００は、楽曲再生装置１０の処理を制御する。メモリ１０１は、ＲＯＭ、およびＲＡＭを備える。ＲＯＭは制御部１００が実行するプログラムを記憶する。ＲＡＭは、一時的な記憶領域であり、制御部１００の制御に関する情報を一時的に記憶する。

記憶部１１０は、記憶領域を備え、各種情報を記憶する。記憶部１１０は、楽曲再生装置１０によって再生される楽曲の音を表す楽曲情報、表示される画像情報、および再生される映像情報などを記憶する。

操作処理部１２０は、ユーザによる操作部１２１の操作を表す操作情報を受け、制御部１００の動作を切り替える制御要求に操作情報を変換して制御部１００に送る。操作部１２１は、スイッチまたはタッチパネルを備え、スイッチまたはタッチパネルはユーザにより押される。操作部１２１は、ユーザが押したスイッチの位置および回数などを表す操作情報、またはタッチパネルの位置および回数などを表す操作情報を操作処理部１２０に送る。操作部１２１から送られた操作情報は操作処理部１２０によって制御要求に変換され、制御部１００へ送られる。

映像再生部１３０は、制御部１００から送られる再生指示に従って、映像情報を再生する。映像情報は、表示開始時間の情報とともに再生指示に含まれる。映像情報は、表示開始時間の情報に合わせて映像再生部１３０により再生される。再生された映像情報は、映像制御部１３１に送られる。映像制御部１３１は、制御部１００から送られるタブ譜および歌詞テロップと、映像再生部１３０から送られる映像情報とを受ける。映像再生部１３０は、これらの情報を合成し、かつモニタ１３２に表示可能な形式に変換し、この変換された情報をモニタ１３２の画面に表示させる。

音響制御部１４０は、制御部１００から送られる再生指示に従って、楽曲情報を再生する。音響制御部１４０は、歌唱用マイク１４１から送られる歌唱音情報と楽曲情報とを合成して、スピーカ１４２に発音させる発音情報を生成する。音響制御部１４０は、制御部１００からの同期音情報生成指示に従って、あらかじめ定められた周波数の音を表す同期音情報を生成する。音響制御部１４０は、生成した同期音情報を発音情報に合成する。合成された発音情報に従って、音響制御部１４０はスピーカ１４２に発音させる。また、合成された発音情報は、制御部１００に送られる。同期音情報が表す、あらかじめ定められた周波数の音とは、一般的に人が聞くことのできる２０〜２００００Ｈｚの範囲を除く周波数の音であって、スピーカ１４２が発音可能、かつ後述の操作用マイク２４１で集音可能な周波数の音である。

通信部１５０は、後述するリモコン装置２０ａ、および端末装置２０ｂとの通信を可能にする無線通信機能を備える。通信部１５０は、制御部１００に対する制御要求をリモコン装置２０ａ、および端末装置２０ｂから受信し、制御要求を制御部１００へ送る。また、通信部１５０は、リモコン装置２０ａ、および端末装置２０ｂに対する制御要求を制御部１００から受け、リモコン装置２０ａ、および端末装置２０ｂに送る。さらに、通信部１５０は、記憶部１１０に記憶された画像情報、および発音情報などの各種情報を送受信する機能を備える。

［リモコン装置２０ａの構成］
次に、リモコン装置２０ａの構成について図１を参照して説明する。

リモコン装置２０ａは、楽曲再生装置１０と通信可能に設けられる。リモコン装置２０ａは、制御部２００、メモリ２０１、記憶部２１０、操作処理部２２０、操作部２２１、映像再生部２３０、映像制御部２３１、表示部２３２、音響制御部２４０、操作用マイク２４１、および通信部２５０を備える。

制御部２００は、リモコン装置２０ａの処理を制御する。メモリ２０１は、ＲＯＭ、およびＲＡＭを備える。ＲＯＭは制御部２００が実行するプログラムを記憶する。ＲＡＭは、一時的な記憶領域であり、制御部２００の制御に関する情報を一時的に記憶する。

記憶部２１０は、記憶領域を備え、各種情報を記憶する。記憶部２１０は、楽曲リスト、リモコン装置２０ａによって表示される画像情報、および再生される映像情報などを記憶する。

操作処理部２２０は、ユーザによる操作部２２１の操作を表す操作情報を受け、制御部２００の動作を切り替える制御要求に操作情報を変換して制御部２００に送る。操作部２２１は、スイッチまたはタッチパネルを備え、スイッチまたはタッチパネルはユーザにより押される。操作部２２１は、ユーザが押したスイッチの位置および回数などを表す操作情報、またはタッチパネルの位置および回数などを表す操作情報を操作処理部２２０に送る。操作部１２１から送られた操作情報は操作処理部２２０によって制御要求に変換され、制御部２００へ送られる。

映像再生部２３０は、制御部２００から送られる再生指示に従って、映像情報を再生する。映像情報は、表示開始時間を表す情報とともに再生指示に含まれる。映像情報は、表示開始時間を表す情報に合わせて映像再生部２３０により再生される。再生された映像情報は、映像制御部２３１に送られる。映像制御部２３１は、制御部２００から送られる画像情報と、映像再生部２３０から送られる映像情報とを受ける。映像再生部２３０は、これらの情報を合成し、かつ表示部２３２に表示可能な形式に変換し、この変換された情報を表示部２３２に表示させる。

音響制御部２４０は、操作用マイク２４１から送られる音声操作情報を制御部２００に送る。操作用マイク２４１は、入力される音声をＡ／Ｄ変換器を備え、入力された音声を音声操作情報に変換し、音響制御部２４０に送る。また、音響制御部２４０は、同期音情報に一致する周波数の音を表す特定の情報が、所定の強さ以上の強さで音声操作情報に含まれているか否かを判断し、その特定の情報が所定の強さ以上の強さで音声操作情報に含まれている場合に、検知信号を制御部２００に送る。

通信部２５０は、楽曲再生装置１０との通信を可能にする無線通信機能を備える。通信部２５０は、制御部２００に対する制御要求を楽曲再生装置１０から受け、制御要求を制御部１００へ送る。また、通信部２５０は、楽曲再生装置１０に対する制御要求を制御部２００から受け、楽曲再生装置１０に送る。さらに、通信部２５０は、楽曲再生装置１０の記憶部１１０に記憶された画像情報、および発音情報などの各種情報を受ける機能を備える。

次に、楽曲再生装置１０およびリモコン装置２０ａの処理について説明する。図２は、楽曲再生装置１０およびリモコン装置２による音声検索処理のフローチャートである。楽曲再生装置１０の処理は、制御部１００が行う処理であり、リモコン端末２０ａの処理は、制御部２００が行う処理である。音声検索処理は、音声検索を開始することを表す制御要求が、操作処理部２２０、または通信部２５０から、制御部２００に送られることにより開始される。また、楽曲の再生中、または曲間のＢＧＭ再生中であっても、音声検索を開始することを表す制御要求が、制御部２００に送られることにより、音声検索処理は実行される。

［楽曲再生装置１０の処理］
楽曲再生装置１０の制御部１００が行う処理について説明する。楽曲再生装置１０の処理は、通信部１５０から制御部１００に制御要求が送られることで開始される。その制御要求は、後述するステップＳ２０２でリモコン装置２０ａから送られる、発音情報の記憶を開始することを表す制御要求である。通信部１５０から送られた制御要求に従って、音響制御部１４０は、制御部１００に発音情報を送るように指示される。発音情報を送るように指示されると、ステップＳ１０２の処理が開始される。

ステップＳ１０２では、発音情報の記憶が開始される。具体的には、音響制御部１４０から送られた発音情報が記憶部１１０に記憶される。発音情報の記憶が開始されると処理はステップＳ１０３に移される。発音情報が記憶部１１０に記憶される処理は、後述するステップＳ１０６の処理が実行されるまで継続される。

ステップＳ１０３では、同期音情報の生成が指示される。同期音情報を生成させる同期音情報生成指示が音響制御部１４０に送られる。音響制御部１４０は、同期音情報生成指示に従って、あらかじめ定められた周波数の音を表す同期音情報を生成する。生成された同期音情報は、音響制御部１４０により発音情報に合成される。合成された発音情報に従って、スピーカ１４２は発音情報が表す音を発音する。また、その合成された発音情報は、ステップＳ１０２で開始された発音情報を記憶部１１０に記憶させる処理によって記憶部１１０に記憶される。同期音情報同期音情報生成指示が音響制御部１４０に送られると、処理はステップＳ１０４に移される。

ステップＳ１０４では、リモコン装置２０ａから発音情報の記憶を終了する制御要求が送られたか否かが判断される。後述するステップＳ２０６において、発音情報の記憶を終了することを表す制御要求がリモコン装置２０ａの通信部２５０から通信部１５０に送られる。通信部１５０は送られた制御要求を制御部１００に送る。制御要求が送られると、ステップＳ１０４の処理はＹＥＳとなり、処理はステップＳ１０５に移される。制御要求が送られない場合、ステップＳ１０４の処理はＮＯとなり、ステップＳ１０４の処理が継続される。

ステップＳ１０５では、同期音情報の生成終了が指示される。ステップＳ１０４において通信部１５０から送られた制御要求に従って、同期音情報の生成を終了させる同期音情報生成終了指示が音響制御部１４０に送られる。音響制御部１４０は、送られた同期音情報生成終了指示に従って、同期音情報の生成を終了する。同期音情報生成終了指示が音響制御部１４０に送られると、処理はステップＳ１０６に移される。

ステップＳ１０６では、発音情報の記憶が終了される。ステップＳ１０４において通信部１５０から送られた制御要求に従って、音響制御部１４０は、発音情報を制御部１００に送ることを停止するように指示される。また、ステップＳ１０２で開始された発音情報を記憶部１１０に記憶させる処理が停止される。発音情報の記憶が終了されると、処理はステップＳ１０７に移される。

ステップＳ１０７では、記憶部１１０に記憶された発音情報がリモコン装置２０ａに送られる。具体的には、記憶部１１０に記憶された発音情報が読み出され、通信部１５０に送られる。発音情報が全て通信部１５０送られると、発音情報の送信が終了したことを表す完了情報が通信部１５０に送られる。通信部１５０は、発音情報を通信部２５０に送り、発音情報を送り終えると、完了情報を通信部２５０に送る。完了情報が、通信部１５０に送られると、図２のフローチャートにおける、楽曲再生装置１０の処理が終了される。

［リモコン端末２０ａの処理］
リモコン端末２０ａの制御部２００が行う処理について説明する。リモコン装置２０ａの処理は、音声検索を開始することを表す制御要求が操作処理部２２０から制御部２００に送られることにより開始される。

ステップＳ２０１では、音声操作情報の記憶が開始される。具体的には、音響制御部２４０は、音声操作情報を制御部２００に送るように制御部２００により指示される。音響制御部２４０から送られた音声操作情報が記憶部２１０に記憶される。音声操作情報の記憶が開始されると処理はステップＳ２０２に移される。音声操作情報が記憶部２１０に記憶される処理は、後述するステップＳ２０８の処理が実行されるまで継続される。

ステップＳ２０２では、発音情報の記憶を開始することを表す制御要求が通信部２５０に送られる。通信部２５０は、制御部２００から送られた制御要求を通信部１５０に送る。制御要求が送られると処理はステップＳ２０３に移される。

ステップＳ２０３では、同期音情報が受け取られたか否かが判断される。具体的には、同期音情報に一致する周波数の音を表す特定の情報が、所定の強さ以上の強さで音声操作情報に含まれていることを示す検知信号が、音響制御部２４０から制御部２００に送られたか否かが判断される。ステップＳ１０３の処理において、同期音情報が合成された発音情報が表す音がスピーカ１４２によって発音される。音声操作情報は、スピーカ１４２から発音された発音情報が表す音も含む音の情報である。音響制御部２４０は、フーリエ変換などの周波数解析を音声操作情報に対して実行し、同期音情報の周波数に一致する周波数の音を表す特定の情報が所定の強さ以上の強さで音声操作情報に含まれているか否かを判断する。音響制御部２４０は、特定の情報が所定の強さ以上の強さで音声操作情報に含まれている場合、同期音情報に関連する特定の情報を検知したことを表す検知信号を制御部２００に送る。検知信号が送られた場合、ステップＳ２０３の処理はＹＥＳとなり、処理はステップＳ２０４に移される。検知信号が送られない場合は、ステップＳ２０３の処理はＮＯとなり、ステップＳ２０３の処理が継続される。

ステップＳ２０４では、ユーザによる音声の入力の許可を表す画像を表示することが指示される。具体的には、ユーザの音声による指示を操作用マイク２４１に入力することの許可を表す画像を表示させる表示指示が映像制御部２３１に送られる。音声の入力の許可を表す画像は、記憶部２１０から読み出される。読み出された許可を表す画像は、映像制御部２３１に送られる。映像制御部２３１は、許可を表す画像を表示部２３２に送る。許可を表す画像が、映像制御部２３１に送られると、処理はステップＳ２０５に移される。

ステップＳ２０５では、ユーザの音声の入力が終了したか否かが判断される。具体的には、ユーザの音声の入力が終了したことを表す制御要求が操作処理部２２０から送られたか否かが判断される。ユーザは、音声の入力が終了すると、操作部２２１を操作する。ユーザによる操作部２２１の操作に従って、音声の入力が終了したことを表す操作情報が操作部２２１から操作処理部２２０に送られる。操作処理部２２０は、音声の入力が終了したことを示す操作情報を制御要求に変換し、制御部２００に送る。音声の入力が終了したことを表す制御要求が送られた場合、ステップＳ２０５の処理はＹＥＳとなり、処理はステップＳ２０６に移される。音声の入力が終了したことを表す制御要求が送られない場合、ステップＳ２０５の処理はＮＯとなり、ステップＳ２０５の処理が継続される。

ステップＳ２０６では、発音情報の記憶を終了する制御要求が楽曲再生装置１０に送られる。発音情報の記憶を終了することを表す制御要求が通信部２５０に送られる。通信部２５０は、制御部２００から送られた制御要求を通信部１５０に送る。発音情報の記憶を終了することを表す制御要求が制御部２００から通信部２５０へ送られると処理はステップＳ２０７に移される。

ステップＳ２０７では、楽曲再生装置１０から送られる発音情報が受け取られたか否かが判断される。具体的には、ステップＳ１０７において、通信部１５０から通信部２５０に発音情報と、完了情報とが送られる。通信部２５０により受け取られた発音情報は、制御部２００に送られ、記憶部２１０に記憶される。さらに、発音情報の送信が終了すると、発音情報の送信が終了したことを表す完了情報が通信部１５０から通信部２５０に送られる。完了情報は通信部２５０から制御部２００に送られる。完了情報が、通信部２５０から制御部２００に送られる場合、ステップＳ２０７の処理はＹＥＳとなり、処理はステップＳ２０８に移される。完了情報が、通信部２５０から制御部２００に送られない場合、ステップＳ２０７の処理はＮＯとなり、ステップＳ２０７の処理が継続される。

ステップＳ２０８では、音声操作情報の記憶が終了される。具体的には、ステップＳ２０１で開始された音声操作情報を記憶部２１０に記憶させる処理が停止される。また、音声操作情報を制御部２００に送ることを終了させる記憶終了指示が音響制御部２４０に送られる。音響制御部２４０は、記憶終了指示に従って音声操作情報を制御部２００に送ることを停止する。音声操作情報の記憶が終了され、記憶終了指示が音響制御部１４０に送られると、処理はステップＳ２０９に移される。

ステップＳ２０９では、音声操作情報と発音情報とが比較され、ユーザの音声であるユーザ音声情報が抽出される。図３は、制御部２００により実行されるユーザ音声情報の抽出処理を表す概略図である。音声操作情報には、同期音情報に対応する周波数の音を表し、かつ、所定の強さ以上の強さの音が含まれる。発音情報には、同期音情報に対応する音が含まれる。同期音情報に対応する音が含まれている区間においては、音声操作情報、および発音情報にそれぞれ含まれる楽曲情報に対応する音と、歌唱情報に対応する音とが、音声操作情報、および発音情報に共通して含まれている。よって、音声操作情報と発音情報とにそれぞれ含まれる２つの同期音情報に対応する音が含まれる２つの区間の始まりと終わりとをそれぞれ合わせることにより、音声操作情報と発音情報とを同期させることができる。

同期された音声操作情報と発音情報とにそれぞれ含まれる同期音情報に対応する周波数の音の強さは、同期された時間毎に比較される。比較された結果、音声操作情報と発音情報とにそれぞれ含まれる２つの同期音情報に対応する時間毎の周波数の音の強さの比が算出される。発音情報に含まれる各周波数の音の強さは、算出された比に従って増幅される。これにより、音声操作情報に含まれる同期音情報に対応する周波数の音は、発音情報に含まれる同期音情報に対応する周波数の音と同じ強さにされる。音声操作情報から発音情報に対応する周波数が減算されることで、同期音情報に対応する周波数の音は除去される。また、発音情報に含まれる楽曲情報および歌唱情報も算出された比に従って増幅される。音声操作情報から発音情報に対応する周波数が減算されることで除去される。これにより、図３に示されるように音声操作情報から発音情報に対応する周波数が除去され、ユーザ音声情報が抽出される。ユーザ音声情報が抽出されると、処理はステップＳ２１０に移される。

ステップＳ２１０では、ユーザ音声情報を文字に変換し、その文字に従って、制御要求が生成される。また、制御要求に従って楽曲名が抽出される。ステップＳ２０９において抽出されたユーザ音声情報に対応する音が時間の経過とともに変化するスペクトルに従って、ユーザ音声情報に含まれる子音と母音とが特定される。子音と母音とが特定されると、ユーザ音声情報に対応する音は対応する文字に置き換えられる。ユーザ音声情報に含まれる文字列が特定されると、特定された文字列で楽曲の検索を行う制御要求が生成される。その制御要求に従って、記憶部２１０に記憶される楽曲リストから特定された文字列に一致する楽曲名が抽出されて読み出される。また、楽曲リストに文字列と一致する楽曲名がない場合は一致する楽曲がないことを表す情報が記憶部２１０から読み出される。

ステップＳ２１１では、ステップＳ２１０で検索された結果が表示される。ステップＳ２１１の文字列に一致する楽曲名が抽出される処理において、楽曲リストから文字列に一致する楽曲名が抽出された場合、楽曲名と、歌手名、およびジャンルなどの楽曲名に対応付けられた情報と、に対応する画像情報が記憶部２１０から読み出される。記憶部２１０から読み出された各画像情報は、映像制御部２３１に送られる。映像制御部２３１に送られた画像情報は表示可能な形式に変換されて表示部２３２に送られ、楽曲名などの各画像が表示部２３２に表示される。また、楽曲リストに文字列と一致する楽曲名がない場合、一致する楽曲がないことを表す画像情報が記憶部２１０から読み出される。読み出された画像情報は、映像制御部２３１に送られる。映像制御部２３１に送られた画像情報は、表示可能な形式に変換されて表示部２３２に送られ、一致する楽曲がないことを表す画像が表示部２３２に表示される。検索結果が表示されると、音声検索処理は終了される。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第１の実施形態では、楽曲再生装置１０と、リモコン装置２０ａとが備えられ、操作用マイク２４１はリモコン装置２０ａに備えられた。また、音声検索処理を行う場合、その処理は楽曲再生装置１０と、リモコン装置２０ａとによって実行された。しかし、第２の実施形態では、楽曲再生装置１０に操作用マイク２４１が備えられ、操作用マイク２４１は音響制御部１４０に接続される。音響制御部１４０は、操作用マイク２４１から送られる音声操作情報を制御部１００に送る。さらに、音声検索処理は、楽曲再生装置１０の制御部１００において実行される。そのため、リモコン装置２０ａの制御部２００で行われる処理は制御部１００で行われる。また、第２の実施形態において、記憶部２１０は記憶部１１０、操作処理部２２０は操作処理部１２０、操作部２２１は操作部１２１、映像再生部２３０は映像再生部１３０、映像制御部２３１は映像制御部１３１、表示部２３２はモニタ１３２、および音響制御部２４０は音響制御部１４０にそれぞれ含まれて構成される。このため、第２の実施形態における楽曲再生装置１０が、第１の実施形態における楽曲再生装置１０およびリモコン装置２０ａのそれぞれの動作を行う。制御部１００の処理については図４を用いて後述する。特に記載がない限り、装置の構成、および情報の意味は、第１の実施形態と同様であるため、その説明を省略する。

［楽曲再生装置１０の処理］
図４は第２の実施形態における楽曲再生装置１０の音声検索処理を表すフローチャートである。楽曲再生装置１０の制御部１００の処理について説明する。楽曲再生装置１０の処理は、通信部１５０または操作処理部１２０から制御部１００に制御要求が送られることで開始される。その制御要求は、発音情報の記憶を開始することを表す制御要求である。その制御要求に従って、音響制御部１４０は、制御部１００に発音情報、および音声操作情報を送るように指示される。発音情報、および音声操作情報を送るように指示されると、ステップＳ３０１の処理が開始される。

ステップＳ３０１では、音声操作情報と、発音情報との記憶が開始される。具体的には、音響制御部１４０から送られた発音情報と、音声操作情報とが記憶部１１０に記憶される。発音情報の記憶が開始されると、処理はステップＳ３０２に移される。発音情報と、音声操作情報とが記憶部１１０に記憶される処理は、後述するステップＳ３０６の処理が実行されるまで継続される。

ステップＳ３０２では、同期音情報の生成が指示される。具体的には、同期音情報を生成させる同期音情報生成指示が音響制御部１４０に送られる。音響制御部１４０は、同期音情報生成指示に従って、あらかじめ定められた周波数の音を表す同期音情報を生成する。生成された同期音情報は、音響制御部１４０により発音情報に合成される。合成された発音情報に従って、スピーカ１４２は発音情報が表す音を発音する。また、その合成された発音情報は、ステップＳ３０１で開始された発音情報を記憶部１１０に記憶させる処理によって記憶部１１０に記憶される。同期音情報生成指示が音響制御部１４０に送られると、処理はステップＳ３０３に移される。

ステップＳ３０３では、ユーザによる音声の入力の許可を表す画像を表示することが指示される。具体的には、ユーザの音声による指示を操作用マイク２４１に入力することの許可を表す画像を表示させる表示指示が映像制御部１３１に送られる。音声の入力の許可を表す画像情報は、記憶部１１０から読み出される。読み出された許可を表す画像情報は、映像制御部１３１に送られる。映像制御部１３１は、許可を表す画像情報を表示可能な形式に変換してモニタ１３２に送る。許可を表す表示画像情報が映像制御部１３１に送られると、処理はステップＳ３０４に移される。

ステップＳ３０４では、ユーザの音声の入力が終了したか否かが判断される。具体的には、ユーザの音声の入力が終了したことを表す制御要求が操作処理部１２０から送られたか否かが判断される。音声の入力が終了し、ユーザが操作部１２１を操作する場合、音声の入力が終了すると、ユーザによる操作部１２１の操作に従って、音声の入力が終了したことを表す操作情報が操作部１２１から操作処理部１２０に送られる。操作処理部１２０は、音声の入力が終了したことを示す操作情報を制御要求に変換し、制御部１００に送る。音声の入力が終了したことを表す制御要求が送られた場合、ステップＳ３０４の処理はＹＥＳとなり、処理はステップＳ３０５に移される。音声の入力が終了したことを表す制御要求が送られない場合、ステップＳ３０４の処理はＮＯとなり、ステップＳ３０４の処理が継続される。

ステップＳ３０５では、同期音情報の生成終了が指示される。具体的には、同期音情報の生成を終了させる同期音情報生成終了指示が音響制御部１４０に送られる。音響制御部１４０は、送られた同期音情報生成終了指示に従って、同期音情報の生成を終了する。同期音情報生成終了指示が音響制御部１４０に送られると、処理はステップＳ３０６に移される。

ステップＳ３０６では、音声操作情報の生成が終了される。具体的には、ステップＳ３０１で開始された音声操作情報を記憶部１１０に記憶させる処理が停止される。また、音声操作情報を制御部１００に送ることを終了させる記憶終了指示が音響制御部１４０に送られる。音響制御部１４０は、記憶終了指示に従って音声操作情報を制御部１００に送ることを停止する。音声操作情報の記憶が終了され、記憶終了指示が音響制御部１４０に送られると、処理はステップＳ３０７に移される。

ステップＳ３０７では、音声操作情報と発音情報とが比較され、ユーザの音声であるユーザ音声情報が抽出される。図３は、制御部１００により実行されるユーザ音声情報の抽出処理を表す概略図である。音声操作情報には、同期音情報に対応する周波数の音を表し、かつ、所定の強さ以上の強さの音が含まれる。発音情報には、同期音情報に対応する音が含まれる。同期音情報に対応する音が含まれている区間においては、音声操作情報、および発音情報にそれぞれ含まれる楽曲情報に対応する音と、歌唱情報に対応する音とが、音声操作情報、および発音情報に共通して含まれている。よって、音声操作情報と発音情報とにそれぞれ含まれる２つの同期音情報に対応する音が含まれる２つの区間の始まりと終わりとをそれぞれ合わせることにより、音声操作情報と発音情報とを同期させることができる。

同期された音声操作情報と発音情報とにそれぞれ含まれる同期音情報に対応する周波数の音の強さは、同期された時間毎に比較される。比較された結果、音声操作情報と発音情報とにそれぞれ含まれる２つの同期音情報に対応する時間毎の周波数の音の強さの比が算出される。発音情報に含まれる各周波数の音の強さは、算出された比に従って増幅される。これにより、音声操作情報に含まれる同期音情報に対応する周波数の音は、発音情報に含まれる同期音情報に対応する周波数の音と同じ強さにされる。音声操作情報から発音情報に対応する周波数が減算されることで、同期音情報に対応する周波数の音は除去される。また、発音情報に含まれる楽曲情報および歌唱情報も算出された比に従って増幅される。音声操作情報から発音情報に対応する周波数が減算されることで除去される。これにより、図３に示されるように音声操作情報から発音情報に対応する周波数が除去され、ユーザ音声情報が抽出される。ユーザ音声情報が抽出されると、処理はステップＳ３０８に移される。

ステップＳ３０８では、ユーザ音声情報が文字に変換され、その文字に従って、制御要求が生成される。また、制御要求に従って楽曲名が抽出される。ステップＳ３０８において抽出されたユーザ音声情報に対応する音が時間の経過とともに変化するスペクトルに従って、ユーザ音声情報に含まれる子音と母音とが特定される。子音と母音とが特定されると、ユーザ音声情報に対応する音は対応する文字に置き換えられる。ユーザ音声情報に含まれる文字列が特定されると、特定された文字列で楽曲の検索を行う制御要求が生成される。その制御要求に従って、記憶部１１０に記憶される楽曲リストから特定された文字列に一致する楽曲名が抽出されて読み出される。また、楽曲リストに文字列と一致する楽曲名がない場合は一致する楽曲がないことを表す情報が記憶部１１０から読み出される。

ステップＳ３０９では、ステップＳ３０８で検索された結果が表示される。ステップＳ３０８の文字列に一致する楽曲名が抽出される処理において、楽曲リストから文字列に一致する楽曲名が抽出された場合、楽曲名と、歌手名、およびジャンルなどの楽曲名に対応付けられた情報と、に対応する画像が記憶部１１０から読み出される。記憶部１１０から読み出された各画像は、映像制御部１３１に送られる。映像制御部１３１に送られた画像はモニタ１３２に送られ、モニタ１３２に表示される。また、楽曲リストに文字列と一致する楽曲名がない場合、一致する楽曲がないことを表す画像が記憶部１１０から読み出される。読み出された画像は、映像制御部１３１に送られる。映像制御部１３１に送られた画像は、モニタ１３２に送られ、モニタ１３２に表示される。検索結果が表示されると、音声検索処理は終了される。

［変形例］
［変形例１］
両実施形態において、音声により楽曲を検索する制御要求の生成について説明をしたが、楽曲のキーを変更するキーコントロールを表す制御要求、および楽曲の再生テンポを変更するテンポコントロールを表す制御要求を音声により生成する処理を行ってもよい。これにより、音声により楽曲を検索するだけでなく、楽曲再生装置１０が行う各種処理を音声により生成される制御要求により切り替えることができる。

［変形例２］
第１の実施形態のリモコン装置２０ａは、リモコン用アプリケーションが実行されたユーザの携帯電話などの端末装置から構成される端末装置２０ｂにより構成されてもよい。端末装置２０ｂは、リモコン用アプリケーションにより、楽曲再生装置１０に関連付けされ、リモコン装置２０ａと同様の動作を実行する。この場合、一般的に携帯電話などの端末装置に備えられている通話用のマイクは、操作用マイク２４１に対応し、赤外線または、インターネット回線を通じて通信可能な構成は、通信部２５０に対応し、楽曲再生装置１０と通信すればよい。

［変形例３］
第１実施形態において、ステップＳ２０９では、音声操作情報と、発音情報とにそれぞれ含まれる２つの同期音情報に対応する音が含まれる２つの区間の始まりと終わりとがそれぞれ合わせられることにより、音声操作情報と発音情報とが同期された。しかし、変形例３においては、ステップＳ２０９の処理は、音声操作情報と発音情報とに含まれる２つの区間の開始位置のみが合わせられることにより同期されてもよい。このため、変形例３において実行されるステップＳ１０３の同期音情報が生成される処理は、一定時間後に終了されればよい。一定期間とは、ステップＳ２０９において同期音情報が検知されることが可能な期間である。また、ステップＳ１０３の同期音情報が生成される処理は、一定時間の後に終了されるため、ステップＳ１０５の処理は実行されない。一例として、図５は第１の実施形態においてステップＳ１０３の同期音情報が生成される処理が一定時間の後に終了された場合のステップＳ２０９の処理の概要を表す。音声操作情報と発音情報とにそれぞれ含まれる２つの同期音情報に対応する音が含まれる２つの区間の始まりを合わせることにより、音声操作情報と発音情報とを同期させることができる。同期後の処理は、ステップＳ２０９と同様の処理を行う。変形例３のユーザ音声情報が抽出される処理は、記憶された音声操作情報、または発音情報のうち短い期間記憶されていた情報の終端まで行われる。これにより、ユーザ音声情報が抽出される。第２の実施形態においても同様に、ステップＳ３０７の処理では、音声操作情報と発音情報とに含まれる２つの区間の開始位置のみが合わせられることにより同期されてもよい。または、ステップＳ３０３の同期音情報が生成される処理は、一定時間後に終了されればよい。そして、ステップＳ３０５の処理は実行されない。

［変形例４］
両実施形態において、楽曲は記憶部に記憶された楽曲リストから検索されたが、図示しないサーバ装置に記憶される楽曲リストから検索されてもよい。この変形例では、楽曲再生装置１０、リモコン装置２０ａ、または端末装置２０ｂは、図１に図示しないサーバ装置と接続される。サーバ装置の記憶部は、その記憶領域に楽曲リストを記憶している。ステップＳ２１０または、ステップＳ３０６で生成された制御要求は、サーバ装置に送られ、サーバ装置は制御要求に従って、楽曲リストから楽曲名を抽出する。サーバ装置は、抽出された楽曲名を、楽曲再生装置１０、リモコン装置２０ａ、または端末装置２０ｂに送り、送られた装置は、検索された楽曲名を表示させる。

［本実施形態の効果］
本実施形態に記載の楽曲再生装置１０によれば、楽曲再生装置１０が発音させる音は、音声検索を行う場合には雑音となってしまう。そのため、楽曲再生装置１０は、発音させる音を表す発音情報を記憶させ、リモコン端末２０ａは、記憶された発音情報を基に、ユーザの音声を表すユーザ音声情報を含む音声操作情報からユーザ音声情報を抽出することができる。これにより、音声操作情報から、発音情報が削除されユーザの音声情報をより正しく認識することができる。また、本実施形態によれば、雑音を検知するためのマイクを備える必要がない。

［特許請求の範囲記載の構成と本実施形態との対応関係］
本実施形態に記載の構成と、特許請求の範囲記載の構成との対応関係は次の通りである。楽曲再生装置１０は楽曲再生装置の一例である。音響制御部１４０は、音響制御手段、取得手段、および同期音情報付加手段の一例である。制御部１００は、抽出手段、第１制御手段、および第２制御手段の一例である。制御部２００は、抽出手段、第１制御手段の一例である。音響制御部２４０は、取得手段の一例である。リモコン装置２０ａおよび、端末装置２０ｂは端末装置の一例である。楽曲再生装置１０は、楽曲再生装置の一例である。ステップＳ２０９、またはステップＳ３０７の処理は、抽出手段の動作および抽出ステップの一例である。ステップＳ１０２からステップＳ１０６までの処理、およびステップＳ３０１からステップＳ３０６までの処理は、音響制御ステップの一例である。ステップＳ２１０、またはステップＳ３０８の処理は、生成ステップの一例である。

１…カラオケ装置、１０…楽曲再生装置、２０ａ…リモコン装置、２０ｂ…端末装置、１００…制御部、１１０…記憶部、１２０…操作制御部、１３１…映像制御部、１４０…音響制御部、１５０…通信部、２００…制御部、２１０…記憶部、２２０…操作制御部、２３１…映像制御部、２４０…音響制御部、２５０…通信部。

Claims (6)

1. 楽曲の再生音を表す楽曲情報と、歌唱者の歌唱音を表す歌唱情報とを含む発音情報であって、スピーカに発生させる音を表す前記発音情報を生成する音響制御手段と、
   ユーザの音声を表すユーザ音声情報と、前記発音情報に従ってスピーカから発生された音を表す情報とを含む音声操作情報を取得する取得手段と、
   前記音声操作情報と、前記発音情報とを比較して、前記音声操作情報に含まれる前記ユーザ音声情報を抽出する抽出手段と、
   前記抽出手段により抽出された前記ユーザ音声情報に従って、各種指示を表す指示情報を生成する第１制御手段と、
   前記音声操作情報と前記発音情報とを同期させるために所定の周波数の音を表す同期音情報を、前記発音情報に付加する同期音情報付加手段と、
   を備え、
   前記取得手段は、前記発音情報に従ってスピーカから発生された前記同期音情報の表す所定の周波数の音を取得し、
   前記同期音情報付加手段は、前記取得手段が前記ユーザ音声情報の取得を終えると、前記同期音情報の付加を終了し、
   前記抽出手段は、前記音声操作情報に含まれる前記同期音情報と一致する周波数の音を表す特定の情報の開始位置および終了位置と、前記発音情報に含まれる前記同期音情報の付加開始位置および付加終了位置とをそれぞれ同期させ、前記ユーザ音声情報を抽出する
   ことを特徴とするカラオケ装置。
2. 楽曲を再生する楽曲再生装置と、移動可能な端末装置と、を備えるカラオケ装置であって、
   前記端末装置は、
   前記取得手段と、前記抽出手段と、各種処理とを実行する前記第１制御手段と、前記楽曲再生装置と通信するための第１通信手段と、
   を備え、
   前記楽曲再生装置は、
   前記音響制御手段と、前記同期音情報付加手段と、各種処理とを実行する第２制御手段と、前記端末装置と通信するための第２通信手段と、
   を備え、
   前記第１制御手段は、前記抽出手段により抽出された前記ユーザ音声情報に従って、各種指示を表す指示情報を生成する
   ことを特徴とする請求項１に記載のカラオケ装置。
3. 前記第１制御手段は、前記取得手段に前記音声操作情報の取得を開始させる処理と、
   前記発音情報の記憶を開始させる開始指示を前記第２制御手段に送る処理と、
   前記取得手段により取得された前記音声操作情報が前記同期音情報を含んでいる場合、前記ユーザ音声情報を前記音声操作情報に含める許可を表す通知を表示手段に表示させる処理と、
   前記ユーザ音声情報を前記音声操作情報に含めることを終了する場合、前記発音情報の記憶を終了させることを表す終了指示を前記第２制御手段に送る処理と、
   前記音声操作情報と、記憶された前記発音情報とを前記抽出手段に比較させて、前記音声操作情報に含まれる前記ユーザ音声情報を前記抽出手段に抽出させる処理と、
   抽出された前記ユーザ音声情報に従って、各種指示を表す指示情報を生成する処理と、を実行し、
   前記第２制御手段は、
   前記開始指示に従って、前記発音情報の記憶を開始させる処理と、
   前記同期音情報付加手段によって前記発音情報に前記同期音情報を付加させ、かつスピーカに発音させる処理と、
   前記終了指示に従って、前記発音情報の記憶を終了させ、記憶された前記発音情報を前記第１制御手段に送る処理と、を実行する、
   ことを特徴とする請求項２に記載のカラオケ装置。
4. 楽曲の再生音を表す楽曲情報と、歌唱者の歌唱音を表す歌唱情報とを含む発音情報であって、スピーカに発生させる音を表す前記発音情報を生成する音響制御手段と、
   ユーザの音声を表すユーザ音声情報と、前記発音情報に従ってスピーカから発生された音を表す情報とを含む音声操作情報を取得する取得手段と、
   前記音声操作情報と、前記発音情報とを比較して、前記音声操作情報に含まれる前記ユーザ音声情報を抽出する抽出手段と、
   前記抽出手段により抽出された前記ユーザ音声情報に従って、各種指示を表す指示情報を生成する第１制御手段と、
   前記音声操作情報と前記発音情報とを同期させるために所定の周波数の音を表す同期音情報を、前記発音情報に付加する同期音情報付加手段と、
   楽曲を再生する楽曲再生装置と、移動可能な端末装置と、を備えるカラオケ装置であって、
   前記端末装置は、
   前記取得手段と、前記抽出手段と、各種処理とを実行する前記第１制御手段と、前記楽曲再生装置と通信するための第１通信手段と、
   を備え、
   前記楽曲再生装置は、
   前記音響制御手段と、前記同期音情報付加手段と、各種処理とを実行する第２制御手段と、前記端末装置と通信するための第２通信手段と、
   を備え、
   前記第１制御手段は、前記取得手段に前記音声操作情報の取得を開始させる処理と、
   前記発音情報の記憶を開始させる開始指示を前記第２制御手段に送る処理と、
   前記取得手段により取得された前記音声操作情報が前記同期音情報を含んでいる場合、前記ユーザ音声情報を前記音声操作情報に含める許可を表す通知を表示手段に表示させる処理と、
   前記ユーザ音声情報を前記音声操作情報に含めることを終了する場合、前記発音情報の記憶を終了させる終了指示を前記第２制御手段に送る処理と、
   前記音声操作情報と、記憶された前記発音情報とを前記抽出手段に比較させて、前記音声操作情報に含まれる前記ユーザ音声情報を前記抽出手段に抽出させる処理と、
   抽出された前記ユーザ音声情報に従って、各種指示を表す指示情報を生成する処理と、を実行し、
   前記第２制御手段は、
   前記開始指示に従って、前記発音情報の記憶を開始させる処理と、
   前記同期音情報付加手段によって前記発音情報に前記同期音情報を付加させ、かつスピーカに発音させる処理と、
   前記終了指示に従って、前記発音情報の記憶を終了させ、記憶された前記発音情報を前記第１制御手段に送る処理と、
   を実行することを特徴とするカラオケ装置。
5. 楽曲の再生音を表す楽曲情報と、歌唱者の歌唱音を表す歌唱情報とを含む発音情報であって、スピーカに発生させる音を表す前記発音情報を生成する音響制御ステップと、
   ユーザの音声を表すユーザ音声情報と、スピーカから発生された音を表す情報とを含む音声操作情報を取得する取得ステップと、
   前記音声操作情報と、前記発音情報とを比較して、前記音声操作情報に含まれる前記ユーザ音声情報を抽出する抽出ステップと、
   前記抽出ステップにより抽出された前記ユーザ音声情報に従って、各種指示を表す指示情報を生成する生成ステップと、
   前記音声操作情報と前記発音情報とを同期させるために所定の周波数の音を表す同期音情報を、前記発音情報に付加する同期音情報付加ステップと、
   を実行し、
   前記取得ステップは、前記発音情報に従ってスピーカから発生された前記同期音情報の表す所定の周波数の音を取得し、
   前記同期音情報付加ステップは、前記取得ステップが前記ユーザ音声情報の取得を終えると、前記同期音情報の付加を終了し、
   前記抽出ステップは、前記音声操作情報に含まれる前記同期音情報と一致する周波数の音を表す特定の情報の開始位置および終了位置と、前記発音情報に含まれる前記同期音情報の付加開始位置および付加終了位置とをそれぞれ同期させ、前記ユーザ音声情報を抽出する
   ことを特徴とするカラオケ装置の制御方法。
6. 楽曲を再生する楽曲再生装置と、移動可能な端末装置と、を備えるカラオケ装置において、
   楽曲の再生音を表す楽曲情報と、歌唱者の歌唱音を表す歌唱情報とを含む発音情報であって、スピーカに発生させる音を表す前記発音情報を生成する音響制御ステップと、
   ユーザの音声を表すユーザ音声情報と、スピーカから発生された音を表す情報とを含む音声操作情報を取得する取得ステップと、
   前記音声操作情報と、前記発音情報とを比較して、前記音声操作情報に含まれる前記ユーザ音声情報を抽出する抽出ステップと、
   前記抽出ステップにより抽出された前記ユーザ音声情報に従って、各種指示を表す指示情報を生成する生成ステップと、
   前記音声操作情報と前記発音情報とを同期させるために所定の周波数の音を表す同期音情報を、前記発音情報に付加する同期音情報付加ステップと、
   が実行可能であり、
   前記端末装置において、
   前記取得ステップを開始させるステップと、
   前記発音情報の記憶を開始させる開始指示を前記楽曲再生装置に送るステップと、
   前記取得ステップにより取得された前記音声操作情報が前記同期音情報を含んでいる場合、前記ユーザ音声情報を前記音声操作情報に含める許可を表す通知を表示手段に表示させるステップと、
   前記ユーザ音声情報を前記音声操作情報に含めることを終了する場合、前記発音情報の記憶を終了させる終了指示を前記楽曲再生装置に送るステップと、
   前記音声操作情報と、記憶された前記発音情報とを比較して、前記音声操作情報に含まれる前記ユーザ音声情報を抽出するステップと、
   抽出された前記ユーザ音声情報に従って、各種指示を表す指示情報を生成するステップと、
   を実行し、
   前記楽曲再生装置において、
   前記開始指示に従って、前記発音情報の記憶を開始させるステップと、
   前記同期音情報付加ステップによって前記発音情報に前記同期音情報を付加させ、かつスピーカに発音させるステップと、
   前記終了指示に従って、前記発音情報の記憶を終了させ、記憶された前記発音情報を前記端末装置に送るステップと、
   を実行することを特徴とするカラオケ装置の制御方法。