JP6060869B2 - カラオケ装置、プログラム - Google Patents

Description

本発明は、ＭＩＤＩデータに基づきカラオケ楽曲の演奏を行うとともに、圧縮音声データに基づき音声合成にて生成した合成音声を前記カラオケ楽曲の演奏に合わせて出力するカラオケ装置に関する。

特許文献１には、カラオケ楽曲のカラオケ演奏中に、歌唱者の音声データに基づいて音声合成したガイドボーカルを出力して歌唱支援を行うガイドボーカル機能を有するカラオケ装置について記載されている。

特開２００９−２４４７８９号公報

しかし、特許文献１に記載の技術では、次のような問題があった。すなわち、上述のようなガイドボーカルを生成するために行われる音声合成については、カラオケ装置が備えるＣＰＵなどの処理装置での処理負荷が大きいため、一時停止や早送り、巻き戻しなどのいわゆるトリックプレイから通常の再生状態に復帰する際に、音声合成がカラオケ演奏に間に合わずに、利用者に不快感を与えるという問題があった。なお、音声データに含まれる発音数の密度が高いほど音声合成のための処理装置での処理負荷は大きくなり、カラオケ演奏に対する合成音声の遅れが顕著となる。

本発明は、このような課題に鑑みなされたものであり、その目的とするところは、一時停止や早送り、巻き戻しなどのいわゆるトリックプレイから通常の再生状態に復帰する際に、カラオケ演奏に対するガイドボーカルなどの合成音声の遅れを極力小さくして、利用者に与える不快感を最小限にする技術を提供することにある。

上記課題を解決するためになされた本発明のカラオケ装置は、楽曲データに基づき、所定の演奏速度でカラオケ楽曲の演奏を行う楽曲演奏手段と、音声合成用データに基づき音声合成にて、前記カラオケ楽曲を歌唱する合成音声を生成し、生成した合成音声を前記楽曲演奏手段によるカラオケ楽曲の演奏とともに前記カラオケ楽曲の演奏速度と同じ値の速度で出力する音声合成処理手段と、前記楽曲演奏手段によるカラオケ楽曲の演奏、前記音声合成処理手段による合成音声の生成、および前記音声合成処理手段による合成音声の出力を制御する制御手段と、前記楽曲演奏手段によるカラオケ楽曲の演奏速度を一時変更する旨の変更指示およびその変更を解除する旨の解除指示を受け付ける指示受付手段と、を備える。

前記指示受付手段が前記変更指示を受け付けた際には、前記制御手段が、前記楽曲演奏手段によるカラオケ楽曲の演奏速度を変更するとともに、前記音声合成処理手段による合成音声の生成および前記音声合成処理手段による合成音声の出力を停止する。

その後、前記指示受付手段が前記解除指示を受け付けた際には、前記制御手段が、前記楽曲演奏手段によるカラオケ楽曲の演奏速度を元に戻すとともに、前記音声合成処理手段による合成音声の出力を前記楽曲演奏手段によるカラオケ楽曲の演奏に同期させるタイミングである合成音声同期タイミングを設定して、前記合成音声同期タイミングに合わせて前記音声合成処理手段による合成音声の生成および前記音声合成処理手段による合成音声の出力を行う。

なお、前記音声合成処理手段による合成音声の生成が前記合成音声同期タイミングに間に合わなかった場合には、前記制御手段が、前記音声合成処理手段による合成音声の生成が前記楽曲演奏手段によるカラオケ楽曲の演奏に追いつくまで前記音声合成処理手段による合成音声の生成を前記カラオケ楽曲の演奏速度より大きい値の速度で行う。

このように構成された本発明のカラオケ装置によれば、一時停止や早送り、巻き戻しなどのいわゆるトリックプレイから通常の再生状態に復帰する際に、カラオケ演奏に対するガイドボーカルなどの合成音声の遅れを極力小さくして、利用者に与える不快感を最小限にすることができる。

また、本発明のカラオケ装置は、圧縮音声データに基づきカラオケ楽曲のデジタル音声信号を生成し、生成したデジタル音声信号を前記楽曲演奏手段によるカラオケ楽曲の演奏とともに前記カラオケ楽曲の演奏速度と同じ値の速度で出力する生音再生処理手段を備え、前記制御手段は、前記生音再生処理手段によるデジタル音声信号の生成、および前記生音再生処理手段によるデジタル音声信号の出力を制御する。

前記指示受付手段が前記変更指示を受け付けた際には、前記制御手段が、前記生音再生処理手段によるデジタル音声信号の生成および前記生音再生処理手段によるデジタル音声信号の出力を停止し、その後、前記指示受付手段が前記解除指示を受け付けた際には、前記制御手段が、前記生音再生処理手段によるデジタル音声信号の出力を前記楽曲演奏手段によるカラオケ楽曲の演奏に同期させるタイミングである音声信号同期タイミングを設定して、前記音声信号同期タイミングに合わせて前記生音再生処理手段によるデジタル音声信号の生成および前記生音再生処理手段によるデジタル音声信号の出力を行うが、前記合成音声同期タイミングについては、前記音声信号同期タイミングが設定された時刻よりも所定時間だけ遅らせた時刻に設定するようにしている。

このように構成された本発明のカラオケ装置によれば、前記音声合成処理手段による合成音声の生成が前記合成音声同期タイミングに間に合わなかった場合に、前記生音再生処理手段によるデジタル音声信号の生成が先行して行われ、デジタル音声信号の生成が開始され、そのデジタル音声信号の生成の終了後には、前記音声合成処理手段による合成音声の生成に注力されるので、前記音声合成処理手段による合成音声の生成が、前記楽曲演奏手段によるカラオケ楽曲の演奏に追いつくのが早まる。したがって、カラオケ演奏に対するガイドボーカルなどの合成音声の遅れを極力小さくして、利用者に与える不快感を最小限にすることができる。

また、本発明のカラオケ装置は、前記制御手段は、前記音声合成処理手段による合成音声の生成が前記合成音声同期タイミングに間に合わなかった場合には、前記音声合成処理手段による合成音声の生成が前記楽曲演奏手段によるカラオケ楽曲の演奏に追いつくまで前記音声合成処理手段による合成音声の出力レベルを低減することを特徴とする。

このように構成された本発明のカラオケ装置によれば、一時停止や早送り、巻き戻しなどのいわゆるトリックプレイから通常の再生状態に復帰する際に、カラオケ演奏に対するガイドボーカルなどの合成音声の遅れを利用者に極力感じさせないようにすることができ、利用者に与える不快感を最小限にすることができる。

また、本発明は、楽曲データに基づき、所定の演奏速度でカラオケ楽曲の演奏を行う楽曲演奏処理と、音声合成用データに基づき音声合成にて、前記カラオケ楽曲を歌唱する合成音声を生成し、生成した合成音声を前記カラオケ楽曲の演奏とともに前記カラオケ楽曲の演奏速度と同じ値の速度で出力する音声合成処理と、前記カラオケ楽曲の演奏速度を一時変更する旨の変更指示およびその変更を解除する旨の解除指示を受け付ける指示受付処理と、前記変更指示を受け付けた際には、前記カラオケ楽曲の演奏速度を変更するとともに、前記合成音声の生成および前記合成音声の出力を停止し、その後、前記解除指示を受け付けた際には、前記カラオケ楽曲の演奏速度を元に戻すとともに、前記合成音声の出力を前記カラオケ楽曲の演奏に同期させるタイミングである合成音声同期タイミングを設定して、前記合成音声同期タイミングに合わせて前記合成音声の生成および前記合成音声の出力を行い、前記合成音声の生成が前記合成音声同期タイミングに間に合わなかった場合には、前記合成音声の生成が前記カラオケ楽曲の演奏に追いつくまで前記合成音声の生成を前記カラオケ楽曲の演奏速度より大きい値の速度で行う制御処理と、をコンピュータに実行させるためのプログラムとしても実現できる。

実施形態のカラオケ装置１の概略構成を示すブロック図である。 入力受付処理の手順を示すフローチャートである。 ハードＭＩＤＩ演奏処理の手順を示すフローチャートである。 生音演奏処理の手順を示すフローチャートである。 ソフトＭＩＤＩ演奏処理の手順を示すフローチャートである。 歌声音声合成再生処理の手順を示すフローチャートである。 メイン制御部１０が実行する各種処理を説明する説明図である。 メイン制御部１０が実行する各種処理を説明する説明図である。

以下、本発明の一実施形態を図面に基づいて説明する。
［１．カラオケ装置１の構成の説明］
カラオケ装置１は、図１に示すように、メイン制御部１０、ハードディスクドライブ（ＨＤＤ）２０、音声処理モジュール３０、操作処理部４０、操作部４１、通信インタフェース部４２、マイクアンプ４３、アナログ−デジタル変換部（ＡＤＣ）４４、映像処理部４５等を備える。また、カラオケ装置１には、モニタ５０、スピーカアンプ５１、スピーカ５２、マイクロフォン５３が接続されている。

［１．１．メイン制御部１０およびＨＤＤ２０の構成の説明］
メイン制御部１０は、カラオケ装置１全体の制御を司る情報処理デバイスである。メイン制御部１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏ等を中心に構成されており、ＨＤＤ２０から読込んだプログラムやデータに基づき、種々の処理を実行する。

ＨＤＤ２０は、カラオケの伴奏内容を示す楽曲データや歌詞を示す歌詞データを多数収録したカラオケデータベースや、カラオケ装置１の動作を制御するシステムプログラムやアプリケーションプログラム、各種の情報コンテンツの再生に用いられるデータ等の各種データを記憶する。ＨＤＤ２０が記憶する楽曲データには、ＭＩＤＩ規格で作成された伴奏楽音の演奏データ（ＭＩＤＩデータ）、伴奏の生音を所定の圧縮音声方式によりデジタルデータに変換した圧縮音声データ、ガイドボーカル用の楽譜データと音声合成用のパラメータと音素データとからなる音声合成用データ、が用意されている。

メイン制御部１０は、カラオケ楽曲の演奏に関する機能的構成として、生音再生処理部１１、ＭＩＤＩシーケンサ１２、ＭＩＤＩ演奏制御部１３、ソフトウェアＭＩＤＩ音源部１４および音声合成処理部１５を備える。これらの構成は、メイン制御部１０が実行するプログラムによって具現化される。

このうち、生音再生処理部１１は、ＨＤＤ２０から読込まれた圧縮音声データの楽曲データをデコードしてカラオケ楽曲を生成してカラオケ楽曲の演奏速度と同じ値の速度で出力する、いわゆる生音再生を行うための音楽再生機能である。生音再生処理部１１から出力される楽曲のデジタル音声信号は、音声処理モジュール３０のキーコントロール部３１に入力される。

ＭＩＤＩシーケンサ１２は、音声処理モジュール３０に実装されたＭＩＤＩ音源３２に対して、ＭＩＤＩデータに基づく楽曲の演奏をさせるためのソフトウェアシーケンサである。このＭＩＤＩシーケンサ１２は、ＨＤＤ２０から読込まれたＭＩＤＩデータに基づき、音声処理モジュール３０のＭＩＤＩ音源３２に対して演奏制御データ（ＭＩＤＩメッセージ）を送出し、ＭＩＤＩ音源３２に楽曲の楽音を発生させる。発生された楽音は、本実施形態では楽音のＰＣＭデータとしている。

ＭＩＤＩ演奏制御部１３は、メイン制御部１０のソフトウェアＭＩＤＩ音源部１４に対して、ＭＩＤＩデータに基づく所定の演奏速度でのカラオケ楽曲の演奏をさせるためのソフトウェアシーケンサである。

ソフトウェアＭＩＤＩ音源部１４は、メイン制御部１０のＣＰＵで実行されるプログラムによってＭＩＤＩ音源をシミュレートし、ＭＩＤＩデータに基づく楽音のデジタル音声信号（ＰＣＭデータ等）を出力するソフトウェアである。

音声合成処理部１５は、ガイドボーカル用の楽譜データと音声合成用のパラメータと音素データからなる音声合成用データに基づいて、楽曲についての理想的な歌唱音声を、音素データを提供したユーザの音声により実現するように音声合成した合成音声を生成して、カラオケ楽曲の演奏速度と同じ値の速度で出力するための音声合成エンジンを備える、ソフトウェアシーケンサである。

なお、楽譜データ、音声合成用パラメータと、音素データや波形データから、音声合成エンジンによって歌唱音声を生成する技術については、例えば、特開平０９−９０９６６号、特開２０１３―１１４１３１号、特開２０１３―１９０４７３号など、複数の先行技術が開示されており、既に周知であるため、ここでは詳細に述べない。

本実施形態のカラオケ装置１では、圧縮音声データに基づく生音再生、ハードウェアＭＩＤＩ音源、ソフトウェアＭＩＤＩ音源、および音声合成用データに基づく合成音声の再生を同時に使用して、複数音源による楽曲の演奏を行うことを想定している。そのため、メイン制御部１０は、生音再生処理部１１、ＭＩＤＩシーケンサ１２、ＭＩＤＩ演奏制御部１３および音声合成処理部１５の各部の処理を並行して行う。

なお、メイン制御部１０が、楽曲演奏手段、音声合成処理手段、生音再生処理手段、制御手段、指示受付手段に該当する。また、メイン制御部１０が行う処理が、楽曲演奏処理、音声合成処理、指示受付処理および制御処理に該当する。

［１．２．音声処理モジュール３０の構成の説明］
音声処理モジュール３０は、メイン制御部１０からの各音源に対応する入力信号、およびカラオケ装置１に接続されたマイクロフォン５３を通じて入力された歌唱音声のデジタル音声信号に対して、各種デジタル音声処理する音声制御デバイスである。音声処理モジュール３０は、キーコントロール部３１、ＭＩＤＩ音源３２、ミュートスイッチ部３３、エフェクト部３４、ミキサ３５、デジタルアナログ変換部（ＤＡＣ）３６、ミュートスイッチ部３７を備える。

キーコントロール部３１は、メイン制御部１０の生音再生処理部１１から出力された生音再生のデジタル音声信号に対して、操作部４１等を介してユーザにより設定された演奏音のキーの音高に合わせて再生音の音高を変更し、ミキサ３５に出力する。なお、ハードウェアＭＩＤＩ音源およびソフトウェアＭＩＤＩ音源におけるキーの音高の調節は、メイン制御部１０のＭＩＤＩシーケンサ１２およびＭＩＤＩ演奏制御部１３が行う。

ＭＩＤＩ音源３２は、ＭＩＤＩシーケンサ１２から送出されるＭＩＤＩメッセージに基づいて、楽曲の楽音のデジタル音声信号を生成し、ミキサ３５に出力する。ＭＩＤＩ音源３２の機能は、カラオケ装置等に実装される周知のハードウェアＭＩＤＩ音源と同様である。

ミュートスイッチ部３３は、メイン制御部１０のソフトウェアＭＩＤＩ音源部１４から出力されるデジタル音声信号の出力経路の途中にあるスイッチである。ミュートスイッチ部３３は、ＭＩＤＩ演奏制御部１３からの制御に応じて、ソフトウェアＭＩＤＩ音源部１４からのデジタル音声信号のミキサ３５への入力を入り切りする。

エフェクト部３４は、ＡＤＣ４４によって変換されたマイク入力音のデジタル音声信号に対して、エコー等の音響効果を付加してミキサ３５に出力する。
ミキサ３５は、キーコントロール部３１、ＭＩＤＩ音源３２、ミュートスイッチ部３３、エフェクト部３４およびミュートスイッチ部３７の各部から入力された複数音源のデジタル音声信号を、音量や音色等のバランスを調節してミキシングし、ミキシングしたデジタル音声信号をＤＡＣ３６に出力する。

ＤＡＣ３６は、ミキサ３５によりミキシングされて生成されたデジタル音声信号を、アナログ音声信号に変換する。ＤＡＣ３６により変換されたアナログ音声信号は、カラオケ装置１に接続されたスピーカアンプ５１によって増幅され、スピーカアンプ５１に接続されたスピーカ５２から放音される。

ミュートスイッチ部３７は、メイン制御部１０の音声合成処理部１５から出力される合成音声の出力経路の途中にあるスイッチである。ミュートスイッチ部３７は、音声合成処理部１５からの制御に応じて、音声合成処理部１５からの合成音声のミキサ３５への入力を入り切りする。

［１．３．カラオケ装置１の他の構成等の説明］
操作部４１は、演奏するカラオケ楽曲を指定する操作や、演奏中にキーの音高を変更する操作、演奏速度を一時変更する操作（変更指示）、演奏速度の一時変更を解除する操作（解除指示）等の各種操作を行うための入力装置である。なお、演奏速度を一時変更する操作としては、一時停止、早送り、巻き戻しなどのいわゆるトリックプレイが挙げられる。操作処理部４０は、操作部４１からの信号を処理してメイン制御部１０に入力する。通信インタフェース部４２は、カラオケ装置１をＬＡＮ１００に接続し、他のカラオケ装置や、リモコン端末、外部のサーバ等の情報処理装置との間で通信を行うための構成である。

マイクアンプ４３は、カラオケ装置１に接続されるマイクロフォン５３から入力される歌唱者の音声（アナログ音声信号）を増幅する増幅器である。
ＡＤＣ４４は、マイクアンプ４３からのアナログ音声信号を、デジタル音声信号に変換する変換器である。

映像処理部４５は、画像情報を映像化するグラフィックエンジンや圧縮形式の映像データを再生するデコーダからなる映像処理装置である。映像処理部４５によって映像化された画像情報は、カラオケ装置１に接続されたモニタ５０に表示される。

なお、カラオケ装置１におけるその他の機能や構成については公知技術に従っているので、ここでの詳細な説明は省略する。
［２．メイン制御部１０の各種処理の説明］
次に、メイン制御部１０が実行する各種処理について、以下に順に説明する。なお、これら各種処理では、早送りの操作入力を受け付けた場合を例に説明するが、早送りの操作入力だけでなく、巻き戻しや一時停止などの他のトリックプレイの操作入力を受け付けた場合も同様である。

［２．１．入力受付処理の説明］
メイン制御部１０が実行する入力受付処理の手順について、図２のフローチャートを参照しながら説明する。この処理は、メイン制御部１０が実行する他の処理と同時に並行して実行される。

最初のステップＳ１１０では、操作部４１に対して早送りを実行する旨の入力（早送り入力）があったか否かを判断する。早送り入力があったと判断された場合には（Ｓ１１０：ＹＥＳ）、Ｓ１２０に移行する。一方、早送り入力がなかったと判断された場合には（Ｓ１１０：ＮＯ）、Ｓ１３０に移行する。

Ｓ１２０では、ハードＭＩＤＩ演奏処理、生音演奏処理、ソフトＭＩＤＩ演奏処理および歌声音声合成再生処理に、早送り入力があった旨を通知する。その後、Ｓ１１０に移行する。

Ｓ１３０では、操作部４１に対して早送りを解除する旨の入力（早送り解除）があったか否かを判断する。早送り解除があったと判断された場合には（Ｓ１３０：ＹＥＳ）、Ｓ１４０に移行する。一方、早送り解除がなかったと判断された場合には（Ｓ１３０：ＮＯ）、早送りの入力解除があるまで待機するため、Ｓ１１０に移行する。

Ｓ１４０では、生音本数（生音再生処理部１１による楽曲のデジタル音声信号の同時出力数）に応じてソフトＭＩＤＩ演奏用の復帰シーク位置を算出する。なお、ソフトＭＩＤＩ演奏用の復帰シーク位置とは、ソフトウェアＭＩＤＩ音源部１４によるＭＩＤＩデータに基づく楽音のデジタル音声信号の出力をＭＩＤＩ音源３２による楽音の演奏（カラオケ楽曲の演奏）に同期させるタイミングのことである。ここでは、ソフトＭＩＤＩ演奏用の復帰シーク位置を、現在の演奏位置から、生音の本数と予め実験等により設定した所定値とを掛け合わせた値だけ遅らせた位置として算出する。その後、Ｓ１５０に移行する。

Ｓ１５０では、Ｓ１４０で算出したソフトＭＩＤＩ演奏用の復帰シーク位置を基に、生音演奏用の復帰シーク位置（音声信号同期タイミング）を算出する。なお、生音演奏用の復帰シーク位置とは、生音再生処理部１１による楽曲のデジタル音声信号の出力をＭＩＤＩ音源３２による楽音の演奏（カラオケ楽曲の演奏）に同期させるタイミングのことである。ここでは、生音演奏用の復帰シーク位置を、ソフトＭＩＤＩ演奏用の復帰シーク位置から、予め実験等により設定した所定値だけ遅らせた位置として算出する。その後、Ｓ１６０に移行する。

Ｓ１６０では、ソフトＭＩＤＩ演奏用の復帰シーク位置を基に、歌唱合成演奏用の復帰シーク位置（合成音声同期タイミング）を算出する。なお、歌唱合成演奏用の復帰シーク位置とは、音声合成処理部１５による合成音声の出力をＭＩＤＩ音源３２による楽音の演奏（カラオケ楽曲の演奏）に同期させるタイミングのことである。ここでは、歌唱合成演奏用の復帰シーク位置を、ソフトＭＩＤＩ演奏用の復帰シーク位置から、予め実験等により設定した所定値だけ遅らせた位置として算出する。なお、この歌唱合成演奏用の復帰シーク位置については、生音演奏用の復帰シーク位置が設定された時刻よりも所定時間だけ遅らせた時刻に設定されるようにする。その後、Ｓ１７０に移行する。

Ｓ１７０では、ハードＭＩＤＩ演奏処理、生音演奏処理、ソフトＭＩＤＩ演奏処理および歌声音声合成再生処理の各処理に、早送り解除があった旨を通知するとともに、Ｓ１４０で算出したソフトＭＩＤＩ演奏用の復帰シーク位置をソフトＭＩＤＩ演奏処理に通知し、Ｓ１５０で算出した生音演奏用の復帰シーク位置を生音演奏処理に通知し、Ｓ１６０で算出した歌唱合成演奏用の復帰シーク位置を歌声音声合成再生処理に通知する。その後、次の早送りの入力に備えるため、Ｓ１１０に移行する。

［２．２．ハードＭＩＤＩ演奏処理の説明］
次に、メイン制御部１０が実行するハードＭＩＤＩ演奏処理の手順について、図３のフローチャートを参照しながら説明する。この処理は、メイン制御部１０が実行する他の処理と同時に並行して実行される。

最初のステップＳ２１０では、入力受付処理から早送り入力の通知があったか否かを判断する。早送り入力の通知があったと判断された場合には（Ｓ２１０：ＹＥＳ）、カラオケ楽曲の演奏速度を早送りの速度に変更し、Ｓ２２０に移行する。一方、早送り入力の通知がなかったと判断された場合には（Ｓ２１０：ＮＯ）、Ｓ２４０に移行する。

Ｓ２２０では、入力受付処理から早送り解除の通知があったか否かを判断する。早送り解除の通知があったと判断された場合には（Ｓ２２０：ＹＥＳ）、Ｓ２４０に移行する。一方、早送り解除の通知がなかったと判断された場合には（Ｓ２２０：ＮＯ）、Ｓ２３０に移行する。

Ｓ２３０では、ＭＩＤＩ音源３２による楽音の演奏（カラオケ楽曲の演奏）を早送り時の演奏速度にて行う早送り演奏を実行する。その後、早送り解除に備えるため、Ｓ２１０に移行する。

Ｓ２４０では、生音演奏処理によって生音系の演奏、具体的には、生音再生部１１からのデータの出力、ソフトウェアＭＩＤＩ音源部１１からのデータの出力、もしくは、歌声合成部１５からのデータの出力が行われているか否かを判断する。生音系の演奏が行われていないと判断された場合には（Ｓ２４０：ＮＯ）、Ｓ２５０に移行する。一方、生音系の演奏が行われていると判断された場合には（Ｓ２４０：ＹＥＳ）、Ｓ２６０に移行する。

なお、生音再生部１１からのデータ出力、ソフトウェアＭＩＤＩ音源部１１からのデータ出力、もしくは、歌声合成部１５からのデータ出力を行うために、各データを生成する処理については後述する。

Ｓ２５０では、ＭＩＤＩ音源３２による楽音の演奏（カラオケ楽曲の演奏）を再生時の演奏速度にて行う定速演奏を実行する。その後、Ｓ２１０に移行する。
Ｓ２６０では、ＭＩＤＩ音源３２による楽音の演奏（カラオケ楽曲の演奏）を再生時の演奏速度にて行う定速演奏を、生音演奏処理によって行われている生音系の演奏と同期させながら実行する。その後、Ｓ２１０に移行する。

［２．３．生音演奏処理の説明］
次に、メイン制御部１０が実行する生音演奏処理の手順について、図４のフローチャートを参照しながら説明する。この処理は、メイン制御部１０が実行する他の処理と同時に並行して実行される。

最初のステップＳ３１０では、入力受付処理から早送り入力の通知があったか否かを判断する。早送り入力の通知があったと判断された場合には（Ｓ３１０：ＹＥＳ）、生音再生を停止し、Ｓ３２０に移行する。一方、早送り入力の通知がなかったと判断された場合には（Ｓ３１０：ＮＯ）、Ｓ３５０に移行する。

Ｓ３２０では、入力受付処理から早送り解除の通知があったか否かを判断する。早送り解除の通知がなかったと判断された場合には（Ｓ３２０：ＮＯ）、早送り解除の通知がなされるまで待機するために当該Ｓ３２０を再度実行する。一方、早送り解除の通知があったと判断された場合には（Ｓ３２０：ＹＥＳ）、Ｓ３３０に移行する。

Ｓ３３０では、入力受付処理から生音演奏用の復帰シーク位置を受け取る。その後、Ｓ３４０に移行する。
Ｓ３４０では、Ｓ３３０で受け取った生音演奏用の復帰シーク位置からのデコードを準備する。これは、理想的な演奏動作では演奏を開始（再開）したらすぐに演奏音が発生するが（図７（ａ）参照）、生音の場合、実際には演奏を開始（再開）してもすぐには演奏音は発生せず、タイムラグがあるからである（図７（ｂ）参照）。その後、Ｓ３５０に移行する。

Ｓ３５０では、Ｓ３１０から移行した場合には現在の演奏位置から生音データ（圧縮音声データの楽曲データ）を順次デコードして、ＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｕｉｏｎ）データを生成し、Ｓ３４０から移行した場合には生音演奏用の復帰シーク位置から生音データ（圧縮音声データの楽曲データ）をデコードし、ＰＣＭデータを生成する。その後、Ｓ３６０に移行する。

Ｓ３６０では、（Ｓ３５０で生音データを順次デコードすることで生成したＰＣＭデータ）生成データを、音声処理モジュール３０に渡す。その後、Ｓ３１０に移行する。
［２．４．ソフトＭＩＤＩ演奏処理の説明］
次に、メイン制御部１０が実行するソフトＭＩＤＩ演奏処理の手順について、図５のフローチャートを参照しながら説明する。この処理は、メイン制御部１０が実行する他の処理と同時に並行して実行される。

最初のステップＳ４１０では、入力受付処理から早送り入力の通知があったか否かを判断する。早送り入力の通知があったと判断された場合には（Ｓ４１０：ＹＥＳ）、カラオケ楽曲の演奏速度を早送りの速度に変更し、Ｓ４２０に移行する。一方、早送り入力の通知がなかったと判断された場合には（Ｓ４１０：ＮＯ）、Ｓ４５０に移行する。

Ｓ４２０では、入力受付処理から早送り解除の通知があったか否かを判断する。早送り解除の通知がなかったと判断された場合には（Ｓ４２０：ＮＯ）、早送り解除の通知がなされるまで待機するために当該Ｓ４２０を再度実行する。一方、早送り解除の通知があったと判断された場合には（Ｓ４２０：ＹＥＳ）、Ｓ４３０に移行する。

Ｓ４３０では、入力受付処理からソフトＭＩＤＩ演奏用の復帰シーク位置を受け取る。その後、Ｓ４４０に移行する。
Ｓ４４０では、Ｓ４３０で受け取ったソフトＭＩＤＩ演奏用の復帰シーク位置からの解釈・レンダリングを準備する。その後、Ｓ４５０に移行する。

Ｓ４５０では、Ｓ４１０から移行した場合には現在の演奏位置からＭＩＤＩデータを解釈してレンダリングを行うことで生成した、ソフトＭＩＤＩによる楽音のＰＣＭデータを生成し、一方、Ｓ４４０から移行した場合にはソフトＭＩＤＩ演奏用の復帰シーク位置からＭＩＤＩデータを解釈してレンダリングを行うことで生成した、ソフトＭＩＤＩによる楽音のＰＣＭデータを生成する。その後、Ｓ４６０に移行する。

Ｓ４６０では、（Ｓ４５０でＭＩＤＩデータを解釈してレンダリングを行うことで生成したＰＣＭデータ）生成データを音声処理モジュール３０に渡す。その後、Ｓ４１０に移行する。

［２．５．歌声音声合成再生処理の説明］
次に、メイン制御部１０が実行する歌声音声合成再生処理の手順について、図６のフローチャートを参照しながら説明する。この処理は、メイン制御部１０が実行する他の処理と同時に並行して実行される。

最初のステップＳ５１０では、入力受付処理から早送り入力の通知があったか否かを判断する。早送り入力の通知があったと判断された場合には（Ｓ５１０：ＹＥＳ）、合成音声の再生を停止し、Ｓ５２０に移行する。一方、早送り入力の通知がなかったと判断された場合には（Ｓ５１０：ＮＯ）、Ｓ５６０に移行する。

Ｓ５２０では、入力受付処理から早送り解除の通知があったか否かを判断する。早送り解除の通知がなかったと判断された場合には（Ｓ５２０：ＮＯ）、早送り解除の通知がなされるまで待機するために当該Ｓ５２０を再度実行する。一方、早送り解除の通知があったと判断された場合には（Ｓ５２０：ＹＥＳ）、Ｓ５３０に移行する。

Ｓ５３０では、入力受付処理から歌唱音声合成用の復帰シーク位置を受け取る。その後、Ｓ５４０に移行する。
Ｓ５４０では、Ｓ５３０で受け取った歌唱音声合成用の復帰シーク位置からの歌唱音声合成を準備する。これは、理想的な演奏動作では演奏を開始（再開）したらすぐに演奏音が発生するが（図７（ａ）参照）、音声合成の場合、生音の場合と同様に、実際には演奏を開始（再開）してもすぐには演奏音は発生せず、タイムラグがあるからである（図７（ｂ）参照）。その後、Ｓ５５０に移行する。

Ｓ５５０では、全体の進み具合から遅れているか否かを判断する。具体的には、カラオケ楽曲の演奏位置と合成音声の再生位置とを比較して、合成音声の再生位置がカラオケ楽曲の演奏位置から遅れているか否かを判断する。全体の進み具合から遅れていないと判断された場合には（Ｓ５５０：ＮＯ）、Ｓ５６０に移行する。一方、全体の進み具合から遅れていると判断された場合には（Ｓ５５０：ＹＥＳ）、Ｓ５８０に移行する。

また、この処理で上述のように全体の進み具合から遅れていると判断された場合には（Ｓ５５０：ＹＥＳ）、音声処理モジュール３０のミュートスイッチ部３７がオンされる。なお、ミュートスイッチ部３７のオン、オフ制御についての詳細は後述する。

Ｓ５６０では、Ｓ５１０から移行した場合には現在の演奏位置から楽譜・歌詞データ（音声合成用データ）を解釈して、音声合成用のパラメータと、音素データと、から歌声音声を等速（カラオケ演奏の演奏速度と同じ）で音声合成する。同様に、Ｓ５５０から移行した場合にも、歌唱音声合成用の復帰シーク位置から楽譜・歌詞データ（音声合成用データ）を解釈して、音声合成用のパラメータと、音素データと、から歌声音声を等速（カラオケ演奏の演奏速度と同じ）で合成する。その後、Ｓ５７０に移行する。

Ｓ５７０では、（Ｓ５６０で楽譜・歌詞データを解釈して歌声音声を等速で音声合成によって生成した、歌声音声のＰＣＭデータである）生成データを、音声処理モジュール３０に渡す。その後、Ｓ５１０に移行する。

Ｓ５８０では、楽譜・歌詞データ（音声合成用データ）を解釈して歌声音声を最速（カラオケ演奏の演奏速度よりも大きい値の速度にて）で音声合成して、合成された歌声音声の生成データを生成して出力し、生成データを音声処理モジュールに渡す。その後、Ｓ５５０に移行する。

このとき、メイン制御部１０は、歌声音声合成再生処理において、全体の進み具合から遅れている期間、つまり、Ｓ５５０の処理で肯定判断されてから再びＳ５５０へ移行しているループの期間は、音声処理モジュール３０に対して、ミュートスイッチ部３７のミュートはオンする指示を与える。このため、この期間において、合成音声の音量は消音、もしくは、低減されることとなる。

また、メイン制御部１０は、歌声音声合成再生処理において、Ｓ５５０の処理で否定判断されて全体の進み具合から遅れていない状態となったときに、音声処理モジュール３０に対して、ミュートスイッチ部３７のミュートを、オンからオフに変更し、ミュートを解除する指示を与える。なおこのとき、生成データはミキサ３５に入力が再開される。そしてミキサ３５に対する合成音声の入力音量は消音から復旧、もしくは低減が解消される。

［３．音声処理モジュール３０が実行する処理の説明］
次に、音声合成された歌唱音声を含んだカラオケ楽曲の出力を行う、音声処理モジュール３０の処理について説明する。すなわち、音声処理モジュール３０においては、メイン制御部１０からミュートスイッチ部３３，３７にミュートオン／オフする制御信号が入力されると、この制御信号に基づきミキサ３５への各生成データの入力が制御され、かつ、各生成データがミキサ３５で混合されて出力デバイス（ＤＡＣ３６）に出力される。そして、出力デバイス（ＤＡＣ３６）で可聴可能な音楽信号に変換されてスピーカアンプ５１に入力されることで、スピーカ５２から、音声合成された歌唱音声を含んだカラオケ楽曲が出力される。

［４．効果］
このように本実施形態のカラオケ装置１によれば、上述した各種処理を実行することにより、次のような効果を有する。

すなわち、カラオケ楽曲の演奏速度を一時変更する旨の変更指示（トリックプレイ実行指示）を受け付けた際には、カラオケ楽曲の演奏速度を変更するとともに、合成音声の生成および合成音声の出力を停止し、その後、カラオケ楽曲の演奏速度の変更を解除する旨の解除指示（トリックプレイ終了指示）を受け付けた際には、カラオケ楽曲の演奏速度を元に戻すとともに、合成音声の出力をカラオケ楽曲の演奏に同期させるタイミング（合成音声同期タイミング）を設定して、合成音声同期タイミングに合わせて合成音声の生成および合成音声の出力を行う（図８（ａ）参照、トリックプレイとして一時停止を例示）。合成音声の生成が合成音声同期タイミングに間に合わなかった場合には、デジタル音声信号の生成が先行して行われ、デジタル音声信号の生成の終了後には、合成音声の生成に注力して、合成音声の生成がカラオケ楽曲の演奏に追いつくまで合成音声の生成をカラオケ楽曲の演奏速度より大きい値の速度で行うとともに合成音声の出力レベルをミュートする（図８（ｂ）参照、トリックプレイとして一時停止を例示）。

したがって、本実施形態のカラオケ装置１によれば、一時停止や早送り、巻き戻しなどのいわゆるトリックプレイから通常の再生状態に復帰する際に、カラオケ演奏に対するガイドボーカルなどの合成音声の遅れを極力小さくするとともに、合成音声の遅れを利用者に極力感じさせないようにすることができ、利用者に与える不快感を最小限にすることができる。

［５．他の実施形態］
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、以下のような様々な態様にて実施することが可能である。

上記実施形態では、合成音声の生成が合成音声同期タイミングに間に合わなかった場合には、合成音声の生成がカラオケ楽曲の演奏に追いつくまで合成音声の出力レベルをミュートするようにしているが、これには限られず、合成音声の生成がカラオケ楽曲の演奏に追いつくまで合成音声の出力レベルを低減するようにしてもよい。

このように構成しても合成音声の遅れを利用者に極力感じさせないようにすることができ、利用者に与える不快感を最小限にすることができる。

１…カラオケ装置、１０…メイン制御部、１１…生音再生処理部、１２…ＭＩＤＩシーケンサ、１３…ＭＩＤＩ演奏制御部、１４…ソフトウェアＭＩＤＩ音源部、１５…音声合成処理部、２０…ＨＤＤ、３０…音声処理モジュール、３１…キーコントロール部、３２…ＭＩＤＩ音源、３３…ミュートスイッチ部、３４…エフェクト部、３５…ミキサ、３６…ＤＡＣ、３７…ミュートスイッチ部、４０…操作処理部、４１…操作部、４２…通信インタフェース部、４３…マイクアンプ、４４…ＡＤＣ、４５…映像処理部、５０…モニタ、５１…スピーカアンプ、５２…スピーカ、５３…マイクロフォン、１００…ＬＡＮ。

Claims (4)

1. 楽曲データに基づき、所定の演奏速度でカラオケ楽曲の演奏を行う楽曲演奏手段と、
   音声合成用データに基づき音声合成にて、前記カラオケ楽曲を歌唱する合成音声を生成し、生成した合成音声を前記楽曲演奏手段によるカラオケ楽曲の演奏とともに前記カラオケ楽曲の演奏速度と同じ値の速度で出力する音声合成処理手段と、
   前記楽曲演奏手段によるカラオケ楽曲の演奏、前記音声合成処理手段による合成音声の生成、および前記音声合成処理手段による合成音声の出力を制御する制御手段と、
   前記楽曲演奏手段によるカラオケ楽曲の演奏速度を一時変更する旨の変更指示およびその変更を解除する旨の解除指示を受け付ける指示受付手段と、
   を備え、
   前記制御手段は、
   前記指示受付手段が前記変更指示を受け付けた際には、前記楽曲演奏手段によるカラオケ楽曲の演奏速度を変更するとともに、前記音声合成処理手段による合成音声の生成および前記音声合成処理手段による合成音声の出力を停止し、
   その後、前記指示受付手段が前記解除指示を受け付けた際には、前記楽曲演奏手段によるカラオケ楽曲の演奏速度を元に戻すとともに、前記音声合成処理手段による合成音声の出力を前記楽曲演奏手段によるカラオケ楽曲の演奏に同期させるタイミングである合成音声同期タイミングを設定して、前記合成音声同期タイミングに合わせて前記音声合成処理手段による合成音声の生成および前記音声合成処理手段による合成音声の出力を行い、
   前記音声合成処理手段による合成音声の生成が前記合成音声同期タイミングに間に合わなかった場合には、前記音声合成処理手段による合成音声の生成が前記楽曲演奏手段によるカラオケ楽曲の演奏に追いつくまで前記音声合成処理手段による合成音声の生成を前記カラオケ楽曲の演奏速度より大きい値の速度で行うこと
   を特徴とするカラオケ装置。
2. 請求項１に記載のカラオケ装置において、
   さらに、
   圧縮音声データに基づきカラオケ楽曲のデジタル音声信号を生成し、生成したデジタル音声信号を前記楽曲演奏手段によるカラオケ楽曲の演奏とともに前記カラオケ楽曲の演奏速度と同じ値の速度で出力する生音再生処理手段を備え、
   前記制御手段は、
   前記生音再生処理手段によるデジタル音声信号の生成、および前記生音再生処理手段によるデジタル音声信号の出力を制御し、
   前記指示受付手段が前記変更指示を受け付けた際には、前記生音再生処理手段によるデジタル音声信号の生成および前記生音再生処理手段によるデジタル音声信号の出力を停止し、
   その後、前記指示受付手段が前記解除指示を受け付けた際には、前記生音再生処理手段によるデジタル音声信号の出力を前記楽曲演奏手段によるカラオケ楽曲の演奏に同期させるタイミングである音声信号同期タイミングを設定して、前記音声信号同期タイミングに合わせて前記生音再生処理手段によるデジタル音声信号の生成および前記生音再生処理手段によるデジタル音声信号の出力を行うが、
   前記合成音声同期タイミングについては、前記音声信号同期タイミングが設定された時刻よりも所定時間だけ遅らせた時刻に設定すること
   を特徴とするカラオケ装置。
3. 請求項１または請求項２に記載のカラオケ装置において、
   前記制御手段は、前記音声合成処理手段による合成音声の生成が前記合成音声同期タイミングに間に合わなかった場合には、前記音声合成処理手段による合成音声の生成が前記楽曲演奏手段によるカラオケ楽曲の演奏に追いつくまで前記音声合成処理手段による合成
   音声の出力レベルを低減すること
   を特徴とするカラオケ装置。
4. 楽曲データに基づき、所定の演奏速度でカラオケ楽曲の演奏を行う楽曲演奏処理と、
   音声合成用データに基づき音声合成にて、前記カラオケ楽曲を歌唱する合成音声を生成し、生成した合成音声を前記カラオケ楽曲の演奏とともに前記カラオケ楽曲の演奏速度と同じ値の速度で出力する音声合成処理と、
   前記カラオケ楽曲の演奏速度を一時変更する旨の変更指示およびその変更を解除する旨の解除指示を受け付ける指示受付処理と、
   前記変更指示を受け付けた際には、前記カラオケ楽曲の演奏速度を変更するとともに、前記合成音声の生成および前記合成音声の出力を停止し、その後、前記解除指示を受け付けた際には、前記カラオケ楽曲の演奏速度を元に戻すとともに、前記合成音声の出力を前記カラオケ楽曲の演奏に同期させるタイミングである合成音声同期タイミングを設定して、前記合成音声同期タイミングに合わせて前記合成音声の生成および前記合成音声の出力を行い、前記合成音声の生成が前記合成音声同期タイミングに間に合わなかった場合には、前記合成音声の生成が前記カラオケ楽曲の演奏に追いつくまで前記合成音声の生成を前記カラオケ楽曲の演奏速度より大きい値の速度で行う制御処理と、
   をコンピュータに実行させるためのプログラム。