JP6184296B2 - カラオケのガイドボーカル生成装置及びガイドボーカル生成方法 - Google Patents

Description

本発明は、カラオケシステムで歌唱と共に再生される歌唱者の歌唱をガイドするガイドボーカルを生成するガイドボーカル生成装置及びガイドボーカル生成方法に関する。

近年、カラオケシステムの高機能化が進み、歌唱者は、歌唱練習したい楽曲のお手本とする指導歌唱を聴くことができる。所謂「歌唱支援システム」であるが、このシステムとは、練習対象曲を理想的に歌唱できる模範歌唱者による指導歌唱を予めガイドボーカルとして録音しておき、歌唱者は、これを歌唱時や任意のタイミングにて聴くことができる。

このようなカラオケシステムの歌唱指導機能に関連し、従来、様々な技術が想到されている。例えば、歌唱者が楽曲を歌唱しやすいように、楽曲のオリジナル歌手の歌唱にできるだけ似せて録音したボーカルトラックをカラオケ演奏に合わせて再生する技術や、特許文献１のように、歌唱者本人の声をサンプリングしてガイドボーカルを生成する技術も知られている。

ところで、カラオケシステムにおいて採点機能を備えることも一般的となってきており、歌唱者の歌唱信号の音高を検出し、手本となる音高の情報（リファレンスデータ）とを比較するなどして採点を行うというものであるが、リファレンスデータと上記ガイドボーカルは異なる目的のために生成されたものであることから、ガイドボーカルにより歌唱の支援を受け、ガイドボーカルと同じように歌唱できたとしても採点結果が高得点になるとは限らないという事態が生じてしまう。

一方、楽曲データに付随された歌詞表示の文字情報や、歌唱のための音高情報、タイミング情報、音量情報の楽譜情報などのパラメータを用いて、多数の音声波形データ（音素データ）の再生態様を制御することで音声合成を行い、人工的に歌唱を行わせる技術が知られている。例えば、特許文献２のように、音高情報、タイミング情報、音量情報を含むＭＩＤＩ（登録商標）フォーマットのデータと歌詞情報とから上記音声合成用のパラメータを取得して音声合成を行うというものである。

特開２００９−２４４７８９号公報 特開平１０−２４０２６４号公報

しかしながら、特許文献２のような音声合成技術で生成されたガイドボーカルは音高情報などの上記リファレンスデータを元に生成され、採点がリファレンスデータとの比較で行われることからして、当該ガイドボーカルと同じように歌唱すると高得点が得られるものであるが、このような音声合成技術で生成されたガイドボーカルは人工的（機械的）なもので味気ない歌唱音声であり、採点結果が高得点とはなるものの、人が聴いた印象とは異なって採点結果と乖離してしまうという問題がある。

そこで、本発明は上記課題に鑑みなされたもので、より人間的で採点結果が高得点となるガイドボーカルを生成するガイドボーカル生成装置及びガイドボーカル生成方法を提供することを目的とする。

上記課題を解決するために、請求項１の発明では、カラオケ楽曲毎に、歌唱者に対して歌詞を表示するための歌詞文字情報と、少なくとも歌唱者が歌唱すべき音高情報、タイミング情報及び音量情報を含むリファレンスデータとを有する演奏データに基づいてガイドボーカルを生成するガイドボーカル生成装置であって、前記楽曲毎の前記演奏データを格納する演奏データベースと、歌唱に際して種々の歌唱技法をデータ化した技法データを格納する歌唱技法データベースと、少なくとも、前記演奏データ中よりガイドボーカル生成対象の楽曲を選択し、前記リファレンスデータ中の情報の選択及びその程度を設定すると共に、前記技法データの選択及びその程度並びに付加する特定区間を設定する外部入力手段と、前記外部入力手段より選択された楽曲に基づいて、前記演奏データベースから、歌詞文字情報を取得すると共に、前記リファレンスデータより音高情報、タイミング情報及び音量情報の基準音声合成パラメータを取得するデータ取得手段と、前記データ取得手段より取得した基準音声合成パラメータを前記外部入力手段からの設定に応じて修正すると共に、当該外部入力手段により選択された技法データをその程度設定に応じて当該基準音声合成パラメータの設定された特定区間に付加して修正音声合成パラメータとするパラメータ修正手段と、前記データ取得手段で取得した歌詞文字情報と基準音声合成パラメータとから基準音声合成データを生成し、前記データ取得手段で取得した歌詞文字情報と前記パラメータ修正手段で修正した修正音声合成パラメータとから修正音声合成データを生成する音声合成手段と、前記音声合成手段で生成した基準音声合成データと修正音声合成データとを比較して採点する採点手段と、を有し、前記パラメータ修正手段は、前記採点手段による採点結果に基づいて前記外部入力手段より設定の変更があった場合に当該変更設定に応じた修正音声合成パラメータを修正し、前記音声合成手段で修正音声合成データを生成させ、前記採点手段で採点させる、構成とする。

請求項２の発明では、表示手段を備え、前記採点手段は、採点結果が満点にならなかった場合に、各区間の採点情報を前記表示手段に表示する構成である。

請求項３の発明では、任意のカラオケ楽曲に対応した、歌唱者に対して歌詞を表示するための歌詞文字情報と、前記歌唱者による前記カラオケ楽曲の歌唱を所定の歌唱区間毎に採点するための音高情報、タイミング情報及び音量情報を含むリファレンスデータとに基づいて、前記カラオケ楽曲の歌唱を支援するためのガイドボーカルを生成するガイドボーカル生成装置であって、記歌詞文字情報と前記リファレンスデータを入力するデータ入力手段と、前記データ入力手段により入力された歌詞文字情報と、前記データ入力手段により入力されたリファレンスデータに含まれる音高情報、タイミング情報及び音量情報を含む複数の音声合成パラメータとに基づいて、音声合成データを生成する音声合成手段と、記音声合成手段により生成された音声合成データを聴取可能に再生する再生手段と、記音声合成パラメータを修正するためのパラメータ修正手段と、前記パラメータ修正手段により修正された音声合成パラメータを含む前記複数の音声合成パラメータに基づいて前記音声合成手段により生成された修正音声合成データを、前記データ入力手段により入力されたリファレンスデータと所定の採点ルールに基づいて所定の歌唱区間毎に採点する採点手段と、有する構成とする。

請求項４の発明では、表示手段を備え、前記採点手段は、採点結果が所定値未満であった場合に、前記パラメータ修正手段により修正された音声合成パラメータに係る歌唱区間の採点情報を、前記表示手段に表示する構成である。

請求項５の発明では、任意のカラオケ楽曲に対応した、歌唱者に対して歌詞を表示するための歌詞文字情報と、前記歌唱者による前記カラオケ楽曲の歌唱を所定の歌唱区間毎に採点するための音高情報、タイミング情報及び音量情報を含むリファレンスデータとに基づいて、前記カラオケ楽曲の歌唱を支援するためのガイドボーカルを生成するガイドボーカル生成方法であって、前記歌詞文字情報と前記リファレンスデータを入力するデータ入力ステップと、前記歌詞文字情報と、前記音高情報、前記タイミング情報及び前記音量情報を含む複数の音声合成パラメータとに基づいて、音声合成データを生成する音声合成ステップと、記音声合成データを再生する再生ステップと、記音声合成パラメータを修正するパラメータ修正ステップと、前記修正された音声合成パラメータを含む前記複数の音声合成パラメータに基づいて、修正音声合成データを生成する修正音声合成ステップと、記修正音声合成データを、前記リファレンスデータと所定の採点ルールに基づいて所定の歌唱区間毎に採点する採点ステップと、記採点の結果が所定値未満であった場合に、前記修正された音声合成パラメータに係る歌唱区間の採点情報を表示する表示ステップと、有する構成とする。

請求項１の発明によれば、パラメータ修正手段において外部入力手段からの設定に応じて基準音声合成パラメータを修正すると共に、技法データをその程度設定で当該基準音声合成パラメータの設定された特定区間に付加して修正音声合成パラメータとし、音声合成手段で歌詞文字情報及び基準音声合成パラメータから生成した基準音声合成データと、歌詞文字情報及び修正音声合成パラメータから修正音声合成データとに基づいて採点手段が採点を行い、採点結果に基づいて外部入力手段より設定の変更があった場合に当該変更設定に応じた修正音声合成パラメータを修正し、音声合成手段で修正音声合成データを生成させ、採点手段で採点させる構成とすることにより、採点結果が高得点となる範囲で、音声合成パラメータを修正して生成された修正音声合成データをガイドボーカルとしてより人間的に聴取できるように生成することができるものである。

請求項２の発明によれば、表示手段を備え、採点手段の採点結果が満点にならなかった場合に各区間の採点情報を表示手段に表示させることにより、パラメータ修正手段による満点となる修正をし易くすることができるものである。

請求項３及び請求項５の発明によれば、データ入力手段により入力された歌詞文字情報と、データ入力手段により入力されたリファレンスデータに含まれる音高情報、タイミング情報及び音量情報を含む複数の音声合成パラメータとに基づいて、音声合成データを音声合成手段で生成した音声合成データを聴取可能に再生し、パラメータ修正手段で音声合成パラメータを修正した音声合成パラメータを含む複数の音声合成パラメータに基づいて当該音声合成手段により生成された修正音声合成データを、データ入力手段により入力されたリファレンスデータと所定の採点ルールとに基づいて所定の歌唱区間毎に採点する構成とすることにより、歌詞文字情報とリファレンスデータとを入力させるものであっても、採点結果が高得点となる範囲で、音声合成パラメータを修正して生成された修正音声合成データをガイドボーカルとしてより人間的に聴取できるように生成することができるものである。

請求項４の発明によれば、表示手段を備え、採点手段の採点結果が所定値未満であった場合に、パラメータ修正手段により修正された音声合成パラメータに係る歌唱区間の採点情報を表示手段に表示させることにより、パラメータ修正手段による高得点となる修正をし易くすることができるものである。

本発明に係るカラオケのガイドボーカル生成装置における第１実施形態のブロック構成図である。 図１の演奏データ、歌唱技法データの説明図である。 本発明のガイドボーカル生成装置における動作説明のフローチャートである。 図１における音声合成手段の処理説明図である。 図１における採点手段の処理説明図である。 本発明に係るカラオケのガイドボーカル生成装置における第２実施形態のブロック構成図である。

以下、本発明の実施形態を図により説明する。
図１に本発明に係るカラオケのガイドボーカル生成装置における第１実施形態のブロック構成図を示すと共に、図２に図１の演奏データ、歌唱技法データの説明図を示す。図１に示すガイドボーカル生成装置１１は、装置本体１２に有線又は無線で外部接続されるものとして、操作部１３及び表示部１４を備える。当該操作部１３及び表示部１４により外部入力手段を構成する。

上記操作部１３は、装置本体１２に対して種々の信号を入力させるためのもので、キーボードやマウスなどで構成される。ここでは、少なくとも、表示部１４との連携で、演奏データ中よりガイドボーカル生成対象の楽曲を選択し、後述のリファレンスデータ中の情報の選択及びその程度を設定すると共に、後述の歌唱技法データの選択及びその程度並びに付加する特定区間を設定する入力手段となる。

上記表示部１４は、ガイドボーカル生成のために必要な表示画面を表示し、操作部１３より入力した各種設定値を装置本体１２に送出する。なお、操作部１３及び表示部１４を一体とし、液晶ディスプレイ（ＬＣＤ）とタッチセンサとを積層して入出力用とし、表示されるアイコン等に対応して当該タッチセンサにより楽曲の選択などのデータを入力することができるＧＵＩのユーザインタフェース機能を有するものとしてもよい。

上記装置本体１２は、バス２１、制御部２２、音声合成手段２３、採点手段２４、データ取得手段２５、パラメータ修正手段２６、表示制御部２７、演奏データのデータベース（演奏ＤＢ）２８、歌唱技法データベース（ＤＢ）２９及びガイドボーカルデータベース（ＤＢ）３０を適宜備える。また、音声合成手段２３には、要素記憶部４１の記憶領域が形成される。そして、採点手段２４には、採点する対象の基準音声合成データ４２を記憶する領域、修正音声合成データ４３を記憶する領域が形成される。

上記制御部２２は、このガイドボーカル生成装置を全体的に統括して処理制御する物理的なＣＰＵであり、図示しないＲＯＭに記憶されているプログラムに基づくアルゴリズム処理を行う。音声合成手段２３は、ここでは要素記憶部４１に記憶される音声合成パラメータ（修正音声合成パラメータ）、歌詞文字データ及び音素データに基づいて音声合成を行うプログラムであり、具体的な音声合成処理は前述の特許文献２に記載されている手法を用いることができる。

上記採点手段２４は、音声合成データ同士を比較して採点処理を行うプログラムであり、音声合成手段２３で生成した基準音声合成データ４２と修正音声合成データ４３とを比較して採点する。具体的には、例えば特許第４２２２９１５号公報に記載されている手法を用いることができ、基本的には音声合成パラメータの修正は減点評価となるが、歌唱技法が加わることで表現力が増して加点評価となる。なお、採点結果が満点にならなかった場合に、各区間の採点情報を、表示制御部２７を介して表示部１４に表示させることとしてもよい。

データ取得手段２５は、後述する操作部１３及び表示部１４より選択された楽曲に基づいて、後述の演奏ＤＢ２８から、歌詞文字情報を取得すると共に、後述のリファレンスデータより音高情報、タイミング情報及び音量情報の基準音声合成パラメータを取得するプログラムである。

パラメータ修正手段２６は、詳細は後述するが、データ取得手段２５より取得した基準音声合成パラメータを操作部１３及び表示部１４からの設定に応じて修正すると共に、当該選択された技法データをその程度設定に応じて当該基準音声合成パラメータの特定区間に付加して修正音声合成パラメータとし、また、採点手段２４による採点結果に基づいて操作部１３及び表示部１４より設定の変更があった場合に当該変更設定に応じた修正音声合成パラメータを修正するプログラムである。上記表示制御部２７は、表示部１４に表示させる表示画面の表示データを作成して当該表示部１４に送出し、表示部１４からの入力データを入力するプログラムないし電子回路である。

上記演奏ＤＢ２８は、図２（Ａ）に示すように、カラオケ楽曲毎に、音符情報などの演奏データ及び歌詞文字情報などを格納するコンテンツデータベースである。具体的には、楽曲ＩＤ、曲名及びアーチストＩＤ（アーチスト名）が関連付けられた楽曲テーブルを有し、楽曲毎に、楽曲ＩＤで管理される所定データ形式（例えば、ＭＩＤＩ（登録商標）形式）の各楽曲の音符情報などをカラオケ演奏データとして格納すると共に、歌唱を採点するための音高情報、タイミング情報及び音量情報を含むリファレンスデータ及び歌詞文字データを少なくとも格納する。

上記歌唱技法ＤＢ２９は、歌唱に際して種々の歌唱技法を周波数などでデータ化した技法データを格納するデータベースであり、図２（Ｂ）に示すように、ビブラート情報、抑揚情報、ロングトーン情報、走り情報、ため情報、こぶし情報、しゃくり情報、フォール情報、シャウト情報などの歌唱技法データなどがある。

そして、ガイドボーカルＤＢ３０は、音声合成手段２３で最終的に生成した楽曲毎の音声合成データ（修正音声合成データ）であるガイドボーカル（修正ガイドボーカル）を、楽曲ＩＤに関連付けて格納しておくデータベースである。上記演奏ＤＢ２８、歌唱技法ＤＢ２９及びガイドボーカルＤＢ３０のデータベースは、例えば装置本体１２の備えるハードディスク内で構築してもよく、装置本体１２に接続される外部記憶装置等で構築してもよい。

そこで、図３に本発明のガイドボーカル生成装置における動作説明のフローチャートを示すと共に、図４に図１における音声合成手段の処理説明図、図５に図１における採点手段の処理説明図を示す。図３において、まず、表示部１４にはガイドボーカルを生成する対象を入力させる入力画面が表示され、作成者が操作部１３よりガイドボーカルを作成する楽曲を、例えば楽曲ＩＤを入力して装置本体１２に送出する（ステップ（Ｓ）１）。

操作部１３及び表示部１４より楽曲ＩＤを入力すると、データ取得手段２５が、演奏ＤＢ２８を参照して指定された楽曲ＩＤの演奏データを特定し、当該演奏データ中の歌詞文字データを取得すると共に、当該演奏データ中のリファレンスデータから音声合成パラメータ（音高情報、タイミング情報、音量情報、区間情報）を取得して音声合成手段２３に送出し、また当該音声合成パラメータをパラメータ修正手段２６に送出する（Ｓ２）。

音声合成手段２３では、図４（Ａ）に示すように、音素データと、データ取得手段２５から送られてきた音声合成パラメータ、歌詞文字情報に基づいて、基準となる基準音声合成データ（基準ガイドボーカル）を生成して採点手段２３に送出する（Ｓ３）。採点手段２３では、音声合成手段２３より送られてきた基準音声合成データ４２を記憶しておく。

一方、パラメータ修正手段２６が、当該楽曲の音声合成パラメータの修正対象の種類、修正の歌唱区間、技法データの種類を設定させる表示画面を、表示制御部２７を介して表示部１４に送出して表示させる（Ｓ４）。この表示画面上で、作成者が、音声合成パラメータの修正対象の種類を設定し、修正の歌唱区間を設定し、技法データの種類を設定して装置本体１２に送出する（Ｓ５）。ここでは、例えば、音声合成パラメータの修正対象を音高情報とし、技法データをビブラートとするが、音声合成パラメータの上述の他のパラメータ、及び、歌唱技法データの上述の他の技法データについての修正についても、これらに応じた設定値を異ならせるだけでよく、音高情報やビブラートと同様の趣旨で対処できるものである。

装置本体１２では、パラメータ（音高情報）の選択を入力し、歌唱区間の選択及び技法データ中のビブラート選択を入力する（Ｓ６）。パラメータ修正手段２６では、音高情報を変更設定させると共に、ビブラート情報を歌唱技法ＤＢ２９より取得し、ビブラートの程度を数値で設定させる表示画面のデータを、表示制御部２７を介して表示部１４で表示させる（Ｓ７）。

この表示画面上で、作成者が、例えば、異なる音高の音符が連続している区間では、正確なタイミングにて音高が変化する機械的な音高情報となっているため、歌唱者が実際に歌唱するような音高の変化になるように、音符と音符の間をなだらかに音高が変化するよう音高情報の設定を行い、所定長以上の音符の区間では、その音符の長さだけ音高が変化しない機械的な音高情報になっているため、ビブラートの程度を数値で設定して装置本体１２に送出する（Ｓ８）。なお、特に図示しないが、上記設定に際して対象候補としたときに暫定的に音声合成を行わせて作成者に聴きながら設定作業を行わせるようにしてもよいものである。

ここで、ビブラートについて図５を用いて説明する。図５は３０ｍｓ毎にサンプリングされた音声周波数のピッチを時系列にグラフ化したものであり、採点手段においては、図５（Ａ）に示すように、周期とピッチ幅が一定で、これが繰り返されることでビブラートと評価して加点対象とする。一方で、例えば周期とピッチ幅が一定でも、一周期が所定サンプリング数以上の場合や、所定サンプリング数以下の場合には、ビブラートとして評価せず、また、図５（Ｂ）に示すようにピッチ幅が一定でも、それぞれの周期のばらつきが所定サンプリング数以上の場合や、図５（Ｃ）に示すように周期が一定でも、それぞれのピッチのばらつきが所定ピッチ以上の場合にも、ビブラートとして評価しないため加点対象とはならない。

上記の図５（Ａ）のビブラートは極めて人工的な歌唱として聴取されることから、これをずらせることでより人間的な味わいのある歌唱と聴取されることを鑑みて、作業者はより人間的な味わいのある歌唱とするために、例えば図５（Ｄ）に示すように、ビブラートとして評価される一周期のサンプリング数の範囲内で、かつ、各周期と各ピッチ幅のばらつきがビブラートとして評価される範囲内になるようにそれぞれの周期とピッチ幅を異ならせるように設定することができるものである。

図４に戻り、音高情報の修正設定及びビブラートの設定が入力されると（Ｓ８）、パラメータ修正手段２６が、データ取得手段２５で取得した音声合成パラメータに、指定されたそれぞれの歌唱区間で、入力された音高情報の数値で修正し、ビブラート数値のビブラートデータを付加し、修正音声合成パラメータとして音声合成手段２３に送出する（Ｓ９）。

音声合成手段２３では、図４（Ｂ）に示すように、修正音声合成パラメータ、歌詞文字情報、音素データに基づいて、修正音声合成データを生成し、当該修正音声合成データを採点手段２４に送出する（Ｓ１０）。採点手段２４では、音声合成手段２３から修正音声合成データ４３を取得して記憶し、記憶している基準音声合成データ４２と修正音声合成データ４３とを比較して採点処理を行い、採点結果及び確定か、再設定かの表示画面を、表示制御部２７を介して表示部１４に送出する（Ｓ１１）。

例えば、採点結果が満点にならなかった場合に作成者は再設定を選択することで（Ｓ１２）、ステップ（Ｓ）４に戻り、再設定がされる。なお、採点手段２４において、採点結果が満点にならなかった場合に、各区間の採点情報を表示部１４に表示させることとしてもよい。これによって、パラメータ修正手段２６による満点となる修正をし易くすることができるものである。

一方、採点結果が満点の場合に、作成者が満足し、確定信号を装置本体１２に送出することで（Ｓ１２）、音声合成手段２３が、当該修正音声合成データを当該楽曲のガイドボーカルデータとして、楽曲ＩＤに関連付けてガイドボーカルＤＢ３０に格納する（Ｓ１３）。なお、満点となった修正ガイドボーカルを作成者に聴取できることとして、満点であってももう少し人間的な味わいを出すために再設定することもでき、また、他の歌唱区間や、他の音声合成パラメータや、他の歌唱技法を設定させることもできるものである。

このように、ガイドボーカル生成の一要素である音声合成パラメータを修正し、また、歌唱技法を付加することにより、高得点の採点を得られる範囲でガイドボーカルとしてより人間的に聴取できるように生成することができるものである。

次に、図６に、本発明に係るカラオケのガイドボーカル生成装置における第２実施形態のブロック構成図を示す。図６において、前述の第１実施形態では、ガイドボーカル生成装置が演奏ＤＢ２８、歌唱技法ＤＢ２９、ガイドボーカルＤＢ３０を備え、データ取得手段２５によりそれらのデータベースからデータを取得したが、それらのデータベースを備えずに、データ入力手段３１により、任意のカラオケ楽曲のガイドボーカルを生成するために必要なデータのみを外部から入力する構成にしてもよい。より具体的には、データのファイルを、伝送路を介してサーバーからダウンロードしたり、記憶媒体を介して取得したりしてもよい。

さらに、データ入力手段３１により入力された歌詞文字情報と、同様に入力されたリファレンスデータに含まれる音高情報、タイミング情報及び音量情報を含む複数の音声合成パラメータと、音素データを用いて、音声合成手段２３により一旦音声合成データを生成し、生成された音声合成データを再生手段３２で再生して確認しながら、人間的に聴取できるようにパラメータ修正手段２６により音声合成パラメータを修正し、音声合成手段２３により修正音声合成データ４６を生成してもよいものである。

再生手段３２は、音声合成データを本装置の操作者が試聴できるよう、音声合成データをアナログ信号に変換し、適宜増幅してスピーカー等の放音手段３４から放音するものである。

さらに、第１実施形態では、採点手段２４は基準音声合成データ４２と修正音声合成データ４３とを比較したが、第２実施形態において採点手段３３は、採点ルール４４とデータ入力手段３１により入力されたリファレンスデータ４５とに基づいて、修正音声合成データ４６を所定の歌唱区間毎に採点し、各歌唱区間の採点結果を集計した採点値を報知するような構成にしてもよい。

ここで、採点ルール４４は、歌唱採点機能を備える従来のカラオケ装置に搭載されているものと同様のものである。より具体的には、歌唱者の歌唱音声信号を分析し、例えば採点対象となる歌唱区間の音高（ピッチ）変化が所定の条件を満たせば良質なビブラートの表現をしたものとして加点する、などの採点基準を規定したものである。そして、種々の歌唱表現についてのそれぞれの採点基準を備えたのが採点ルール４４である。本発明においては、歌唱者による歌唱音声信号の代わりに、より人間的に聴取できるように修正された修正音声合成データを分析し採点するために用いられる。

このように、歌詞文字情報とリファレンスデータとに基づいて生成された機械的なガイドボーカルに対し、人間的に聴取できるよう音声合成パラメータを修正しても、修正された音声合成データを採点して適正な歌唱であると定められる範囲を逸脱していないことを確認でき、したがって、高得点の採点が得られて、より人間的に聴取できるガイドボーカルを生成することができるものである。

第２実施形態においてさらに表示手段を設け、修正音声合成データ４６を採点手段３３で採点した結果、その採点値が所定値（例えば満点）未満であった場合には、修正された音声合成パラメータに係る歌唱区間の採点情報を表示するよう構成してもよい。ここでいう採点情報には、当該歌唱区間の採点値の他に、減点となった歌唱表現の採点項目名やその適正値との乖離度などを含めることもできる。

これにより、人間的に聴取できるようにという目的で行った音声合成パラメータの修正が、リファレンスデータと採点ルールにより適正な歌唱であると定められる範囲を逸脱してしまった場合には、その減点の原因になった音声合成パラメータを採点情報に基づいて再度修正することができ、修正音声合成データの点数を高めることができるものである。なお、表示部１４と表示制御部２７が、表示手段に相当する。

また、データ入力手段３１、音声合成手段２３、再生手段３２、パラメータ修正手段２６、採点手段３３、表示手段を制御する際には、第１実施形態と同様に操作部１３、表示部１４がそのユーザー・インターフェースとして機能し、装置全体の制御を制御部２２が行うものである。

本発明のガイドボーカル生成装置は、カラオケの基本的機能を備えるカラオケ装置の産業分野に利用可能である。

１１ ガイドボーカル生成装置
１２ 装置本体
１３ 操作部
１４ 表示部
２１ バス
２２ 制御部
２３ 音声合成手段
２４，３３ 採点手段
２５ データ取得手段
２６ パラメータ修正手段
２７ 表示制御部
２８ 演奏データ
２９ 技法データ
３０ ガイドボーカルデータベース（ＤＢ）
３１ データ入力手段
３２ 再生手段
４１ 要素記憶部
４２ 基準音声合成データ
４３，４６ 修正音声合成データ
４４ 採点ルール
４５ リファレンスデータ

Claims (5)

1. カラオケ楽曲毎に、歌唱者に対して歌詞を表示するための歌詞文字情報と、前記歌唱者による前記カラオケ楽曲の歌唱を所定の歌唱区間毎に採点するための音高情報、タイミング情報及び音量情報を含むリファレンスデータとを有する演奏データに基づいて前記カラオケ楽曲の歌唱を支援するためのガイドボーカルを生成するガイドボーカル生成装置であって、
   前記楽曲毎の前記演奏データを格納する演奏データベースと、
   歌唱に際して種々の歌唱技法をデータ化した技法データを格納する歌唱技法データベースと、
   少なくとも、前記演奏データ中よりガイドボーカル生成対象の楽曲を選択し、前記リファレンスデータ中の情報の選択及びその程度を設定すると共に、前記技法データの選択及びその程度並びに付加する特定区間を設定する外部入力手段と、
   前記外部入力手段より選択された楽曲に基づいて、前記演奏データベースから、歌詞文字情報を取得すると共に、前記リファレンスデータより音高情報、タイミング情報及び音量情報の基準音声合成パラメータを取得するデータ取得手段と、
   前記データ取得手段より取得した基準音声合成パラメータを前記外部入力手段からの設定に応じて修正すると共に、当該外部入力手段により選択された技法データをその程度設定に応じて当該基準音声合成パラメータの設定された特定区間に付加して修正音声合成パラメータとするパラメータ修正手段と、
   前記データ取得手段で取得した歌詞文字情報と基準音声合成パラメータとから基準音声合成データを生成し、前記データ取得手段で取得した歌詞文字情報と前記パラメータ修正手段で修正した修正音声合成パラメータとから修正音声合成データを生成する音声合成手段と、
   前記音声合成手段で生成した基準音声合成データと修正音声合成データとを比較して採点する採点手段と、
   を有し、
   前記パラメータ修正手段は、前記採点手段による採点結果に基づいて前記外部入力手段より設定の変更があった場合に当該変更設定に応じた修正音声合成パラメータを修正し、前記音声合成手段で修正音声合成データを生成させ、前記採点手段で採点させる、
   ことを特徴とするガイドボーカル生成装置。
2. 請求項１記載のガイドボーカル生成装置であって、
   表示手段を備え、
   前記採点手段は、採点結果が満点にならなかった場合に、各区間の採点情報を前記表示手段に表示することを特徴とするガイドボーカル生成装置。
3. 任意のカラオケ楽曲に対応した、歌唱者に対して歌詞を表示するための歌詞文字情報と、前記歌唱者による前記カラオケ楽曲の歌唱を所定の歌唱区間毎に採点するための音高情報、タイミング情報及び音量情報を含むリファレンスデータとに基づいて、前記カラオケ楽曲の歌唱を支援するためのガイドボーカルを生成するガイドボーカル生成装置であって、
   前記歌詞文字情報と前記リファレンスデータを入力するデータ入力手段と、
   前記データ入力手段により入力された歌詞文字情報と、前記データ入力手段により入力されたリファレンスデータに含まれる音高情報、タイミング情報及び音量情報を含む複数の音声合成パラメータとに基づいて、音声合成データを生成する音声合成手段と、
   前記音声合成手段により生成された音声合成データを聴取可能に再生する再生手段と、
   前記音声合成パラメータを修正するためのパラメータ修正手段と、
   前記パラメータ修正手段により修正された音声合成パラメータを含む前記複数の音声合成パラメータに基づいて前記音声合成手段により生成された修正音声合成データを、前記データ入力手段により入力されたリファレンスデータと所定の採点ルールとに基づいて所定の歌唱区間毎に採点する採点手段と、
   を有することを特徴とするガイドボーカル生成装置。
4. 請求項３記載のガイドボーカル生成装置であって、
   表示手段を備え、
   前記採点手段は、採点結果が所定値未満であった場合に、前記パラメータ修正手段により修正された音声合成パラメータに係る歌唱区間の採点情報を、前記表示手段に表示することを特徴とするガイドボーカル生成装置。
5. 任意のカラオケ楽曲に対応した、歌唱者に対して歌詞を表示するための歌詞文字情報と、前記歌唱者による前記カラオケ楽曲の歌唱を所定の歌唱区間毎に採点するための音高情報、タイミング情報及び音量情報を含むリファレンスデータとに基づいて、前記カラオケ楽曲の歌唱を支援するためのガイドボーカルを生成するガイドボーカル生成方法であって、
   前記歌詞文字情報と前記リファレンスデータを入力するデータ入力ステップと、
   前記歌詞文字情報と、前記音高情報、前記タイミング情報及び前記音量情報を含む複数の音声合成パラメータとに基づいて、音声合成データを生成する音声合成ステップと、
   前記音声合成データを再生する再生ステップと、
   前記音声合成パラメータを修正するパラメータ修正ステップと、
   前記修正された音声合成パラメータを含む前記複数の音声合成パラメータに基づいて、修正音声合成データを生成する修正音声合成ステップと、
   前記修正音声合成データを、前記リファレンスデータと所定の採点ルールに基づいて所定の歌唱区間毎に採点する採点ステップと、
   前記採点の結果が所定値未満であった場合に、前記修正された音声合成パラメータに係る歌唱区間の採点情報を表示する表示ステップと、
   を有することを特徴とするガイドボーカル生成方法。

Images