JP6065703B2 - 基準データ作成システム、及び演奏端末装置 - Google Patents

Description

本発明は、歌唱音声を記録した歌唱データから楽曲の基準データを作成する基準データ作成装置に関する。

カラオケにおける歌唱を評価する方法として、ＭＩＤＩ規格の演奏データ等から生成される評価基準の音高データ（以下、基準データと称する）に対し、歌唱者が歌った音声の音高がどの程度一致しているかを評価するものが知られている。このような評価方法によれば歌唱と評価基準との一致度合によって、歌唱の巧拙を正確に評価できるが、歌唱を評価するために、正しい音高を示す基準データが必須である。また、演奏データに基づいて演奏される伴奏と共に、歌唱のお手本として歌唱パートのメロディーを出力する、いわゆるガイドメロディ―機能にも、歌唱パートの正しい音高を示す基準データが必要である。

一方、特許文献１には、次のような歌唱の評価方法が開示されている。様々な歌唱音声のサンプル音声データに対して、評価者が主観的に評価した結果が予め記憶されている。そして、評価対象の歌唱音声と類似するサンプル音声データにされた評価を、評価対象の歌唱音声の評価とする。

特開２００７−２５６６１９号公報 特開２００８−１５２１４号公報

近年では、個人が制作した楽曲をインターネット上のウェブサイトに投稿して公開できるサービスが普及している。この種のサービスでは、投稿された楽曲の演奏に合わせてユーザが一緒に歌唱を行うことも考えられる。しかしながら、投稿された楽曲等は、音高の基準を示す基準データが存在せず、評価の基準となる正しい音高が不明であるため、基準データを用いた歌唱の評価やガイドメロディの出力を行うことができない。

上述の特許文献１の技術では、基準データを用いずに歌唱を評価できるものの、その評価は評価者の主観によるものに過ぎず、基準データによる豊富な情報量に基づく評価と比較すると、正確性の面で不十分である。

本発明は、上記の問題を解決するためになされたものである。その目的は、基準の音高を示す基準データがない楽曲について、ユーザに合った態様の基準データを作成するための技術を提供することである。

本発明の基準データ作成装置は、記憶手段と、演奏情報取得手段と、抽出手段と、基準評価手段と、選択手段と、作成手段とを備える。記憶手段は、歌唱された音声を表す複数の歌唱データと、各歌唱データに対応付けられた楽曲を識別する楽曲識別情報と、各歌唱データに対応付けられた歌唱者の属性を示す歌唱者属性情報又は楽曲に対応付けられた所定の歌唱者の属性を示す楽曲属性情報とを記憶する。演奏情報取得手段は、楽曲の演奏を行う演奏端末装置から、演奏される楽曲を識別する楽曲識別情報と、演奏される楽曲を歌唱する歌唱者の属性を示す歌唱者属性情報とを取得する。

抽出手段は、記憶されている歌唱データの中から、取得された楽曲識別情報で示される楽曲と対応付けられ、かつ、取得された楽曲識別情報に対応する楽曲属性情報、又は取得された歌唱者属性情報で示される歌唱者の属性の何れかと対応する歌唱者属性情報が対応付けられた歌唱データを抽出する。基準評価手段は、歌唱データに示される歌唱音声の音高と、歌唱音声の音高に対応する基準の音階との差に基づいて、歌唱音声を評価する。なお、基準評価手段による歌唱の評価は、音高の基準データなしで行われるものであり、一例として、特許文献２において開示されているような周知の方法がある。選択手段は、抽出された歌唱データの中から、基準評価手段による評価結果が所定の基準を満たす歌唱データを選択する。作成手段は、選択された歌唱データで示される歌唱音声の音高情報に基づいて、演奏される楽曲の音高列の基準を示す基準データを作成する。

本発明によれば、楽曲が実際に歌唱された歌唱音声を表す複数の歌唱データの中から、歌唱が上手いと評価された歌唱データを選別して基準データの作成に用いることで、上手い歌唱に基づく正確性の高い基準データを作成できる。さらに、基準データの作成に用いる作成対象として、演奏される楽曲の歌唱者の属性又は楽曲の属性に適合する歌唱者の歌唱データを抽出することで、演奏される楽曲の歌唱者や楽曲本来の性質に合った基準データを作成できる。

なお、基準データの作成のもととなる歌唱データは、演奏端末装置から収集して蓄積したものを用いることが考えられる。具体的には、基準データ作成装置が、歌唱データ取得手段と、歌唱データ記録手段とを備える。歌唱データ取得手段は、演奏端末装置から、歌唱音声が記録された歌唱データと、歌唱データに対応する楽曲の楽曲識別情報と、歌唱データに対応する歌唱者の歌唱者属性情報とを取得する。歌唱データ記録手段は、取得された歌唱データと、楽曲識別情報と、歌唱者属性情報とを対応付けて記憶手段に記録する。このような構成によれば、様々な歌唱者による歌唱音声が記録された歌唱データを多数蓄積することができる。基準データのサンプルとなる歌唱データが多ければ、より優れた基準データを作成できる。

本発明の基準データ作成装置によって作成されたデータの利用方法として、作成された基準データを、演奏情報取得手段により楽曲識別情報と歌唱者属性情報とを取得した演奏端末装置に送信し、各演奏端末装置において歌唱の評価やガイドメロディの演奏に用いることが考えられる。あるいは、作成された基準データを用いて基準データ作成装置が、演奏端末装置において行われた歌唱の評価を行うように構成してもよい。具体的には、基準データ作成装置が、基準データ記憶手段と、歌唱結果取得手段と、歌唱評価手段とを備える。基準データ記憶手段は、作成された基準データを、基準データを作成した楽曲の楽曲識別情報と対応付けて記憶する。歌唱結果取得手段は、演奏端末装置から、歌唱音声が記録された歌唱データと、当該歌唱データに対応する楽曲識別情報とを取得する。歌唱評価手段は、取得された歌唱データで示される歌唱音声を、当該歌唱データに対応する楽曲識別情報に該当する基準データを用いて評価する。

ところで、歌唱が上手い条件の１つとして、例えばビブラートのような特徴的な歌唱技法が駆使されていることが挙げられる。しかしながら、たとえ上手な歌唱であっても、ビブラート等の音の高さを意図的に揺らす歌唱技法によって生じる特徴波形を含む歌唱データは、正確な音高の基準となる基準データの作成に用いる歌唱データには適さないことがある。そこで、次に記載のようにするとよい。すなわち、選択手段は、評価結果が所定の基準を満たす歌唱データのうち、音高を示す波形の中に所定の特徴波形が含まれる歌唱データは選択しない。このようにすることで、音高の基準としては適さない特徴波形を含む歌唱データを基準データの作成対象から除外でき、より正確な音高の基準を示す基準データを作成できる。

ビブラート等の特徴的な歌唱技法は、上級者によって多く用いられる傾向にある。そこで、特徴波形が多く含まれる上級者の歌唱データを基準データの作成に用いない代わりに、特徴的な歌唱技法を用いない中程度の歌唱力に相当する歌唱データを用いるようにすることで、正しい音高の基準データを作成する面において有利に働く。具体的には、次に記載のようにするとよい。すなわち、選択手段は、評価結果が所定の基準を満たさず、特徴波形を含まない歌唱データを選択する。

また、次に記載のようにしてもよい。すなわち、基準評価手段は、１つの歌唱データで表される歌唱音声を所定時間ごとの複数の区間に分割した区間単位で歌唱を評価する。そして、選択手段は、抽出された各歌唱データにおける全ての区間について、各区間単位の評価結果が所定の基準を満たす区間に対応する部分の歌唱データを選択する。作成手段は、選択手段によって選択された各区間単位の歌唱データで示される歌唱音声の音高情報に基づいて、演奏される楽曲の音高列の基準を示す基準データを作成する。

同じ楽曲に対応する歌唱データであっても、上手に歌えている箇所とそうでない箇所が歌唱者によって異なる場合がある。そこで、１つの歌唱データを複数区間に分けた区間ごとの評価結果に基づき、各区間から評価のよい部分の歌唱データを選んで基準データを作成することで、全ての区間において正確性の高い基準データを作成できる。

ところで、選択された複数の歌唱データから基準データを作成する方法として、複数の歌唱データで表される音高を統計的に処理し、音高の平均を基準データの音高とすることが考えられる。しかしながら、基準データのサンプルとして収集される複数の歌唱データにおいては、「音程の相対的変化は同じだが、ベースとなるキーが異なる。」ということがあり得る。すなわち、各歌唱データにおいて原曲からキーを変更して歌唱されている場合、キーが異なる各歌唱データの音高をそのまま平均化しても、正しい音高を導き出すことはできない。

そこで、次に記載のように構成するとよい。すなわち、選択手段は、抽出された歌唱データの中から、評価結果が所定の基準を満たす複数の歌唱データを選択する。作成手段は、選択された複数の歌唱データで示される歌唱音声の相対的な音程の時間変化を平均化し、平均化した音程の時間変化に対して所定の基準音高を付与して基準データを作成する。このようにすることで、キーが異なる複数の歌唱データからでも正しい音高の基準データを作成できる。

なお、本発明は、上述の基準データ作成装置と、楽曲を演奏する演奏端末装置とからなる基準データ作成システムとして実現することもできる。このうち、演奏端末装置は、演奏情報送信手段を備える。演奏情報送信手段は、演奏をする楽曲に対応する基準データを保有していないとき、楽曲識別情報と、歌唱する歌唱者の属性を示す歌唱者属性情報とを、基準データ作成装置に送信する。

上述の基準データ作成システムを構成する演奏端末装置としては、基準データ取得手段と、評価手段とを更に備えるものが考えられる。基準データ取得手段は、演奏情報送信手段によって送信された楽曲識別情報と歌唱者属性情報とに基づいて基準データ作成装置によって作成された基準データを取得する。歌唱評価手段は、取得された基準データを用いて、演奏をする楽曲に合わせて入力される歌唱者の歌唱音声を評価する。このような演奏端末装置によれば、演奏する楽曲に対応する基準データがない場合であっても、基準データ作成装置に基準データの作成を依頼して、歌唱者の属性に合う基準データを取得し、歌唱者の歌唱を適切に評価できる。

カラオケシステムの概略構成を示すブロック図。 （ａ）歌唱データリストの一例、（ｂ）楽曲属性リストの一例。 カラオケ装置が実行するメイン処理の手順を示すフローチャート。 サーバが実行する基準データ作成処理の手順を示すフローチャート。 サーバが実行する合成処理の手順を示すフローチャート。 （ａ）区間ごとの採点結果の一例、（ｂ）歌唱データの基準キーの一例。 基準データの合成方法を模式的に示す説明図。 サーバが実行する歌唱データ記録処理の手順を示すフローチャート。 カラオケ装置が実行する歌唱評価処理の手順を示すフローチャート。

以下、本発明の一実施形態を図面に基づいて説明する。なお、本発明は下記の実施形態に限定されるものではなく様々な態様にて実施することが可能である。
［カラオケシステム１の構成の説明］
図１に示すように、カラオケシステム１は、サーバ１０と、カラオケ店舗に設置されるカラオケ装置２０とを備える。サーバ１０及びカラオケ装置２０は、インターネット等の広域ネットワークを介して通信可能に接続される。なお、図１では、広域ネットワークに接続されたカラオケ装置２０を１つ図示しているが、複数のカラオケ装置２０が広域ネットワークに接続されていてもよい。

サーバ１０は、適宜な処理能力を有する情報処理装置等で構成されている。このサーバ１０は、制御部１１、各種情報を記憶する記憶部１２、広域ネットワークを介した通信を制御する通信部１３等を備える。制御部１１は、ＣＰＵやＲＯＭ、ＲＡＭ等を中心に構成された情報処理デバイスであり、サーバ１０全体を制御する。このサーバ１０は、カラオケ装置２０からの要求に応じて、演奏される楽曲について、楽曲の音高列の基準を示す基準データを作成し、要求元のカラオケ装置２０に基準データを提供する機能を有する（詳細は後述する）。

サーバ１０は、ユーザによって歌唱された音声が記録された歌唱データ、各歌唱データの属性を示す歌唱データリスト、及び、歌唱データにおいて歌唱された楽曲の属性を示す楽曲属性リストを記憶部１２に記憶する。歌唱データは、カラオケ装置２０等の演奏端末による楽曲の演奏に合わせて歌唱されたときの音声が録音されることにより作成され、各演奏端末から広域ネットワークを介してサーバ１０にアップロードされるようになっている。記憶部１２に蓄積された歌唱データは、楽曲の音高の基準を示す基準データを作成するためのサンプルとして用いられる。

歌唱データリストには、図２（ａ）に例示されるように、記憶部１２に記憶されている歌唱データごとに、歌唱データＩＤ、楽曲ＩＤ、歌唱者属性等の情報項目を含むレコードが記録されている。歌唱データＩＤは、各歌唱データを識別する識別情報である。楽曲ＩＤは、歌唱データにおいて歌唱者が歌唱した楽曲を識別する識別情報である。歌唱者属性は、歌唱データに対応付けられた歌唱者の属性を示す情報である。本実施形態では、歌唱者の性別や国籍が歌唱者属性として記録される事例を示す。

楽曲属性リストには、図２（ｂ）に例示されるように、楽曲ＩＤ、楽曲属性等の情報項目を含むレコードが楽曲ごとに記録されている。楽曲ＩＤは、楽曲を識別する識別情報である。楽曲属性は、楽曲のオリジナルの歌唱者であるアーティストの属性を示す情報である。本実施形態では、アーティストの性別や国籍が楽曲属性として記録される事例を示す。

図１の説明に戻る。カラオケ装置２０は、カラオケの楽曲を演奏する機能や歌唱の評価をする機能を持った演奏端末である。カラオケ装置２０は、制御部２１、記憶部２２、楽曲再生部２３、採点処理部２４、音声制御部２５、映像制御部２６、操作部２７、通信部２８等を備える。

制御部２１は、ＣＰＵやＲＯＭ、ＲＡＭ等を中心に構成された情報処理デバイスであり、カラオケ装置２０全体を制御する。制御部２１は、記憶部２２から読込んだプログラムやデータに基づいて種々の処理を実行する。カラオケ装置２０の主な機能として、制御部２１は、リクエストされた楽曲の演奏を楽曲再生部２３に実行させる。また、制御部２１は、楽曲の音高の基準を示す基準データに基づき、演奏される楽曲に合わせて入力される歌唱音声を評価する処理や、ガイドメロディを出力する処理を実行する。また、制御部２１は、楽曲の演奏が行われるときに歌唱データを作成する。この歌唱データには、楽曲の演奏時にマイク３０から入力される歌唱音声を録音したデータが含まれる。作成された歌唱データは、カラオケ装置２０の記憶部２２に一時記憶され、楽曲ＩＤや歌唱者属性情報と対応付けてサーバ１０にアップロードされる。このようにして、複数の歌唱データがサーバ１０に蓄積される。

記憶部２２は、ハードディスクドライブ等の記憶装置である。記憶部２２には、楽曲を演奏するための楽曲データや、楽曲の基準データ、カラオケ装置２０の動作を制御するプログラム等の各種データが記憶されている。なお、記憶部２２に記憶されている基準データは、カラオケ装置２０において演奏される全ての楽曲について用意されているとは限らない。例えば、個人が制作した楽曲がインターネット等を通じて公開されることもあるが、このような楽曲には、音高の基準を示す基準データが存在しない場合がある。

楽曲再生部２３は、記憶部２２に記憶されている楽曲データに基づいて楽曲の再生を行い、楽曲の音源信号を発生するデバイスである。採点処理部２４は、楽曲の演奏に合わせて歌唱される歌唱音声で示される音高と、演奏される楽曲に対応する基準データで示される音高とを比較し、歌唱音声で示される音高が、基準データで示される音高に対してどの程度一致しているかを評価して点数をつけるデバイスである。

音声制御部２５は、音声の入出力を制御するデバイスであり、マイク入力部２５ａと出力部２５ｂとを備える。マイク入力部２５ａには、マイク３０が接続される。これにより、マイク入力部２５ａは、歌唱するユーザの音声を取得し、取得した音声を音源信号に変換する。出力部２５ｂにはスピーカ３１が接続されている。出力部２５ｂは、楽曲再生部２３によって再生される楽曲の音源信号と、マイク入力部２５ａから入力される歌唱音声の音源信号とをスピーカ３１に出力する。スピーカ３１は、出力部２５ｂから出力される音源信号を音に換えて出力する。

映像制御部２６は、制御部２１から送られてくる映像データに基づく映像の再生及び出力を行う。映像制御部２６が再生する映像としては、楽曲の演奏と共に表示する背景及び歌詞画像が含まれる。映像制御部２６には、映像の表示を行うモニタ３２が接続されている。これにより、映像制御部２６は再生した映像をモニタ３２に表示させる。操作部２７は、カラオケ装置２０に対する各種操作を行うための入力装置である。通信部２８は、カラオケ装置２０を広域ネットワークに接続して通信を行うための通信インタフェースである。カラオケ装置２０は、通信部２８により広域ネットワークを介してサーバ１０と通信を行う。

また、カラオケ装置２０は、カラオケシステム１により提供されるカラオケサービスのアカウントを有するユーザが所定の手続きを経てカラオケサービスにログインすることにより、演奏する曲のリクエスト（予約）や曲の演奏に関する指示を、個々のログインユーザの識別情報と対応付けて行う。なお、カラオケ装置２０のその他の機能や構成については公知技術に従っているので、ここでの詳細な説明は省略する。

［メイン処理の説明］
カラオケ装置２０の制御部２１が実行するメイン処理の手順について、図３のフローチャートを参照しながら説明する。この処理は、楽曲の演奏及び歌唱の評価の実施がログインユーザから指示されたときに実行される。

Ｓ１００では、制御部２１は、歌唱評価モードを開始する。Ｓ１０２では、制御部２１は、記憶部２２に記憶されている基準データの中に、演奏する楽曲に対応する基準データが存在するか否かを判定する。ここで演奏する楽曲は、ログインユーザがカラオケ装置２０に対してリクエストをした楽曲である。演奏する楽曲に対応する基準データが存在しない場合（Ｓ１０２：ＮＯ）、制御部２１はＳ１０４に進む。一方、演奏する楽曲に対応する基準データが存在する場合（Ｓ１０２：ＹＥＳ）、制御部２１はＳ１１８に進む。

演奏する楽曲に対応する基準データが存在しない場合に進むＳ１０４では、制御部２１は、演奏する楽曲の楽曲ＩＤと、演奏する楽曲をリクエストしたログインユーザ（歌唱者）の属性を示す歌唱者属性とをサーバ１０に送信する。ここで送信された楽曲ＩＤ及び歌唱者属性に基づいて、演奏される楽曲の基準データがサーバ１０によって作成される。なお、本実施形態では、楽曲をリクエストしたログインユーザを、その楽曲を歌唱する歌唱者と特定することを前提としている。歌唱者の属性を示す属性情報は、カラオケシステム１によるカラオケサービスへのログインを認証する外部の認証サーバ（図示なし）等にユーザのアカウントと対応して予め登録されている属性（性別、国籍等）を取得することが一例として挙げられる。あるいは、カラオケ装置２０にユーザの属性が予め登録されていてもよいし、ユーザがカラオケ装置２０の利用を開始するときに、ユーザが自らの属性をカラオケ装置２０に入力するような構成であってもよい。あるいは、ユーザの属性が存在しない場合は、サーバ１０は基準データを作成するのに、常に楽曲の属性情報を使用するような構成としてもよい（楽曲の属性情報を使用する場合の詳細については後述する）。

次のＳ１０６では、制御部２１は、Ｓ１０４で送信された情報に基づいて作成された基準データをサーバ１０から取得し、記憶部２２に記録する。そして、Ｓ１０８では、制御部２１は、記憶部２２に記憶されている楽曲データに基づき、リクエストされた楽曲の演奏を行う。また、Ｓ１０６で取得した基準データに基づき、楽曲の基準音高を示す画像を楽曲の演奏に進行と同期させてモニタ３２に表示させる。このとき、ガイドメロディの出力を行う設定がなされている場合、Ｓ１０６で取得した基準データに基づき、歌唱パートのガイドメロディを再生する。

Ｓ１１０では、制御部２１は、楽曲の演奏中にマイク３０を介して入力される歌唱者の音声信号を標本化して歌唱データを取得し、取得した歌唱データを記憶部２２に記録する。次のＳ１１２では、採点処理部２４において、Ｓ１０６で取得した基準データを評価基準にして、Ｓ１１０で取得した歌唱データで示される歌唱音声が評価される（歌唱評価処理、図９参照）。この歌唱評価処理の詳細な手順については後述する。そして、Ｓ１１４では、制御部２１は、Ｓ１１２で得られた歌唱の評価結果を示す画像を、モニタ３２に表示させる。Ｓ１１６では、演奏した楽曲の楽曲ＩＤと、Ｓ１１０で録音した歌唱データと、演奏した楽曲の歌唱者として対応付けられているログインユーザの歌唱者属性とをサーバ１０に送信する。送信後、制御部２１は本処理を終了する。

一方、Ｓ１０２において、演奏する楽曲に対応する基準データが記憶部２２に存在すると判定した場合に進むＳ１１８では、制御部２１は、記憶部２２に記憶されている楽曲データに基づき、リクエストされた楽曲の演奏を行う。また、演奏する楽曲に対応する基準データに基づき、楽曲の基準音高を示す画像を楽曲の演奏に進行と同期させてモニタ３２に表示させる。このとき、ガイドメロディの出力を行う設定がなされている場合、演奏する楽曲に対応する基準データに基づき、歌唱パートのガイドメロディを再生する。

Ｓ１２０では、制御部２１は、楽曲の演奏中にマイク３０を介して入力される歌唱者の音声信号を標本化して歌唱データを取得する。次のＳ１２２では、採点処理部２４において、演奏された楽曲に対応する基準データを評価基準にして、Ｓ１２０で取得した歌唱データで示される歌唱音声が評価される。そして、Ｓ１２４では、制御部２１は、Ｓ１２２で得られた歌唱の評価結果を示す画像を、モニタ３２に表示させる。表示後、制御部２１は本処理を終了する。

［基準データ作成処理の説明］
サーバ１０の制御部１１が実行する基準データ作成処理の手順について、図４のフローチャートを参照しながら説明する。この処理は、演奏される楽曲に対応する基準データの作成を要求する情報がカラオケ装置２０から送信されてきたときに実行される。

Ｓ２００では、制御部１１は、演奏される楽曲に対応する基準データの作成を要求する情報である、演奏される楽曲の楽曲ＩＤと、演奏される楽曲の歌唱者の属性を示す歌唱者属性とを、カラオケ装置２０から受信する。ここで受信する楽曲ＩＤ及び歌唱者属性は、上述のメイン処理（図３）のＳ１０４においてカラオケ装置２０からサーバ１０に送信される情報である。Ｓ２０２では、制御部１１は、歌唱データリスト（図２（ａ）参照）に基づき、Ｓ２００で受信した楽曲ＩＤと一致する楽曲ＩＤが対応付けられた歌唱データを読出す。Ｓ２０４では、制御部１１は、歌唱データリストに基づき、楽曲ＩＤが一致する歌唱データの中から、Ｓ２００で受信した歌唱者属性と一致する歌唱者属性が対応付けられた歌唱データを選択する。

Ｓ２０６では、制御部１１は、Ｓ２０４における選択の結果、歌唱者の歌唱者属性が一致する歌唱データが存在するか否かを判定する。歌唱者の歌唱者属性と一致する歌唱データが存在する場合（Ｓ２０６：ＹＥＳ）、制御部１１はＳ２１２に進む。一方、歌唱者の歌唱者属性と一致する歌唱データが存在しない場合（Ｓ２０６：ＮＯ）、制御部１１はＳ２０８に進む。Ｓ２０８では、制御部１１は、歌唱データリスト及び楽曲属性リスト（図２（ａ），（ｂ）参照）に基づき、楽曲ＩＤが一致する歌唱データの中から、演奏される楽曲の楽曲ＩＤに対応する楽曲属性と一致する歌唱者属性が対応付けられた歌唱データを選択する。

Ｓ２１０では、制御部１１は、Ｓ２０８における選択の結果、演奏される楽曲の楽曲属性と一致する歌唱者属性の歌唱データが存在するか否かを判定する。演奏される楽曲の楽曲属性と一致する歌唱者属性の歌唱データが存在する場合（Ｓ２１０：ＹＥＳ）、制御部１１はＳ２１２に進む。一方、演奏される楽曲の楽曲属性と一致する歌唱者属性の歌唱データが存在しない場合（Ｓ２１０：ＮＯ）、制御部１１はＳ２１６に進む。

Ｓ２１２では、制御部１１は、Ｓ２０４又はＳ２０８で選択した歌唱データから、演奏される楽曲に対応する基準データを合成する（合成処理、図５参照）。この合成処理の詳細な手順については後述する。次のＳ２１４では、制御部１１は、Ｓ２１２で作成した基準データを、Ｓ２００で受信した楽曲ＩＤ及び歌唱者属性の送信元であるカラオケ装置２０に送信する。送信後、制御部１１は本処理を終了する。

一方、Ｓ２１０で楽曲属性と一致する歌唱者属性の歌唱データが存在しないと判定した場合に進むＳ２１６では、制御部１１は、基準データが存在しない旨を示す情報を、Ｓ２００で受信した楽曲ＩＤ及び歌唱者属性の送信元であるカラオケ装置２０に通知する。通知後、制御部１１は本処理を終了する。

［合成処理の説明］
サーバ１０の制御部１１が実行する合成処理の手順について、図５のフローチャートを参照しながら説明する。この処理は、上述の基準データ作成処理（図４参照）のＳ２１２において実行されるサブルーチンである。

Ｓ３００では、制御部１１は、Ｓ２０４又はＳ２０８（図４参照）で選択した複数の歌唱データを記憶部１２から取得する。Ｓ３０２では、制御部１１は、Ｓ３００で取得した各歌唱データを、所定時間ごとに複数の区間に分割する。Ｓ３０４では、制御部１１は、Ｓ３０２で分割した各区間について、基準データを合成していない区間があるか否かを判定する。基準データを合成していない区間がある場合（Ｓ３０４：ＹＥＳ）、制御部１１はＳ３０６に進む。Ｓ３０６では、制御部１１は、基準データを合成していない区間のうち、再生時間が最も早い区間を対象区間として選択する。

Ｓ３０８では、制御部１１は、各歌唱データについて、選択した対象区間に該当する歌唱部分を採点する。ここでは、音高の基準を示す基準データを用いない歌唱評価方法で歌唱の評価を行う。具体的には、例えば、歌唱データから歌唱音声の音高を抽出し、抽出した音高と、抽出した音高の最近傍にある音階（基準の音高）との差が小さいほど高い得点を付与する。つまり、歌唱された音高と、基準の音階とのずれが小さいほど歌唱が上手いと評価する。採点結果の一例を図６（ａ）に例示する。図６（ａ）の事例では、楽曲（楽曲ＩＤ：ＸＸＸ）に対応する各歌唱データ（ａａａ〜ｅｅｅ）について、０〜３０秒、３１〜６０秒、…９１〜１２０秒のように３０秒ごとに区切られた区間ごとに採点結果が算出されている。

図５のフローチャートの説明に戻る。次のＳ３１０では、制御部１１は、各歌唱データについて、選択した対象区間に該当する歌唱部分の基準キーを取得する。基準キーとしては、例えば、歌唱データの先頭音やロングトーンの等の任意の箇所の音高を採用する。図６（ｂ）に例示されるとおり、楽曲に対応する各歌唱データについて、それぞれ基準キーが取得される。

図５のフローチャートの説明に戻る。次のＳ３１２では、制御部１１は、各歌唱データから、対象区間内の音高の時間変化を示す音高波形を取得する。そして、Ｓ３１４では、制御部１１は、Ｓ３０８で採点された対象区間の採点結果が所定の基準点を満たす歌唱データが存在するか否かを判定する。例えば、図６（ａ）に例示される採点結果において、基準点を８０点以上と設定した場合、０〜３０秒の区間では、ａａａ，ｃｃｃ，ｄｄｄの各歌唱データが基準点を満たす歌唱データとして選択される。

図５のフローチャートの説明に戻る。対象区間の採点結果が基準点を満たす歌唱データが存在する場合（Ｓ３１４：ＹＥＳ）、制御部１１はＳ３１６に進む。一方、対象区間の採点結果が基準点を満たす歌唱データが存在しない場合（Ｓ３１４：ＮＯ）、制御部１１はＳ３２４に進む。基準点を満たす歌唱データが存在する場合に進むＳ３１６では、制御部１１は、基準点を満たす各歌唱データについて、対象区間内の音高の時間変化を示す音高波形に、特定の歌唱技法を示す特徴波形が含まれているか否かを判定する。特定の歌唱技法としては、ビブラート等の音の高さを意図的に揺らす歌唱技法が例示される。基準点を満たす歌唱データの対象区間内に特徴波形が含まれている場合（Ｓ３１６、ＹＥＳ）、制御部１１はＳ３１８に進む。一方、基準点を満たす歌唱データの対象区間内に特徴波形が含まれていない場合（Ｓ３１６、ＮＯ）、制御部１１はＳ３２０に進む。

基準点を満たす歌唱データの対象区間内に特徴波形が含まれている場合に進むＳ３１８では、制御部１１は、基準点を満たさない各歌唱データについて、対象区間内の音高の時間変化を示す音高波形に特徴波形が含まれているか否かを判定する。基準点を満たさない歌唱データの対象区間内に特徴波形が含まれている場合（Ｓ３１８、ＹＥＳ）、制御部１１はＳ３２０に進む。基準点を満たさない歌唱データの対象区間内に特徴波形が含まれていない場合（Ｓ３１８、ＮＯ）、制御部１１はＳ３２２に進む。

Ｓ３２０では、制御部１１は、基準点を満たす全ての歌唱データの対象区間に該当する部分を合成対象と決定する。一方、Ｓ３２２では、制御部１１は、基準点を満たす歌唱データと基準点を満たさない歌唱データのうち、対象区間内に特徴波形が含まれていない全ての歌唱データの対象区間に該当する部分を合成対象と決定する。あるいは、Ｓ３１４で基準点を満たす歌唱データが存在しないと判定した場合に進むＳ３２４では、制御部１１は、採点結果が最も高い歌唱データの対象区間に該当する部分を合成対象と決定する。Ｓ３２６では、制御部１１は、Ｓ３２０、Ｓ３２２又はＳ３２４において合成対象と決定した歌唱データの対象区間内における音高波形を合成し、対象区間に対応する基準データを作成する。

ここで、Ｓ３２６における基準データの具体的な合成方法について、図７を参照しながら説明する。基本的には、図７（ａ）に例示されるように、１つ以上の歌唱データから、対象区間内の音高の時間変化を示す音高波形を取得し、取得した各歌唱データの音高波形の平均を算出することで、対象区間に対応する音高の基準を示す基準データを得る。複数の歌唱データの音高を平均して基準データを得る方法では、各歌唱データ間でベースとなるキーが揃っていることが前提となる。しかしながら、実際には、楽曲の演奏時において独自にキーコントロールが適用されることで、同じ楽曲に対応する歌唱データであっても、ベースとなるキーが歌唱データごとに異なる場合がある。その場合、たとえ相対的な音程の変化が同じであっても、絶対的な音高が相違する。そのため、単純に各歌唱データの音高の平均を取っても、正確な音高が反映された基準データにならない場合がある。

そこで、図７（ｂ）に例示されるように、各歌唱データの相対的な音程の変化のみを平均化した基準データを作成する。これに伴い、各歌唱データの先頭音やロングトーンの音高から特定した基準キーを記憶しておく。そして、記憶した基準キーの中から最頻出のものを、作成した基準データの絶対的な音高を決定付ける基準キーに適用する。このようにして作成された基準データによれば、ユーザがカラオケ装置２０でキーコントロールを設定したときに、基準データに対応する基準キーをキーコントロールの設定値に応じて変更することで、基準データにキーコントロールを反映できる。

図５のフローチャートの説明に戻る。次のＳ３２８では、制御部１１は、Ｓ３１０で取得した各歌唱データの基準キーをメモリに記憶し、Ｓ３０４に戻る。以降、制御部１１は、所定区間に分割した歌唱データについて、最終の区間に対応する基準データの作成が終わるまで、Ｓ３０４〜Ｓ３２８の処理を順次繰返す。そして、Ｓ３０４において基準データを合成していない区間がないと判定した場合（Ｓ３０４：ＮＯ）、制御部１１はＳ３３０に進む。Ｓ３３０では、制御部１１は、メモリに記憶されている基準キーのうち最多のキーを、作成した基準データに適用する基準キーと設定する。設定された基準キーは、作成した基準データに対応付けて記録される。基準キーの設定後、制御部１１はメインルーチンに戻る。

［歌唱データ記録処理の説明］
サーバ１０の制御部１１が実行する歌唱データ記録処理の手順について、図８のフローチャートを参照しながら説明する。この処理は、カラオケ装置２０において録音された歌唱データを含む情報がカラオケ装置２０から送信されてきたときに実行される。

Ｓ４００では、制御部１１は、カラオケ装置２０から、歌唱データに対応付けられた楽曲の楽曲ＩＤ、歌唱データ、及び歌唱者属性を受信する。ここで受信するデータは、カラオケ装置２０において実行される上述のメイン処理（図３参照）のＳ１１６において送信されるデータである。

次のＳ４０２では、制御部１１は、受信した歌唱データに固有の歌唱データＩＤを付与して記憶部１２に保存する。また、制御部１１は、受信した楽曲ＩＤ及び歌唱者属性を歌唱データＩＤに対応付けて、記憶部１２に記憶されている歌唱データリスト（図２（ａ）参照）に記録する。データを保存した後、制御部１１は本処理を終了する。

［歌唱評価処理の説明］
カラオケ装置２０の採点処理部２４において実行される歌唱評価処理の手順について、図９のフローチャートを参照しながら説明する。この処理は、上述のメイン処理（図３参照）のＳ１１２において実行されるサブルーチンである。

Ｓ５００では、採点処理部２４は、Ｓ１１０（図３参照）で取得された歌唱データに記録された歌唱音声の音高の時間変化を示す音高データを取得する。Ｓ５０２では、採点処理部２４は、Ｓ５００で取得した音高データから基準キーを特定する。ここでは、例えば、音高データの先頭音やロングトーン等の任意の箇所の音高を基準キーとして取得する。Ｓ５０４では、採点処理部２４は、Ｓ１０６（図３参照）で取得した基準データに設定されている基準キーに対し、楽曲の演奏時に適用されたキーコントロールの設定値を反映して基準データの音高を補正する。そして、Ｓ５０６では、採点処理部２４は、キーコントロールを反映した基準データと、音高データとの音高を比較し、音高の差分に応じて点数を付ける。具体的には、基準データと音高データとの音高の差分が小さいほど、高い得点を付与する。Ｓ５０６の処理後メインルーチンに戻る。

［効果］
実施形態のカラオケシステム１によれば、以下の効果を奏する。
楽曲が実際に歌唱された歌唱音声を表す複数の歌唱データの中から、歌唱が上手い歌唱データを選別して基準データの作成に用いることで、正確性の高い基準データを作成できる。さらに、基準データの作成に用いるサンプルとして、演奏される楽曲の歌唱者と性別等の属性が一致する歌唱者の歌唱データを抽出することで、演奏される楽曲の歌唱者の性質に合った基準データを作成できる。あるいは、演奏される楽曲のオリジナルの歌唱者（アーティスト）と性別等の属性が一致する歌唱者の歌唱データを抽出することで、演奏される楽曲本来の性質に合った基準データを作成できる。

カラオケ装置２０において歌唱された歌唱音声を記録した歌唱データを、サーバ１０が収集し蓄積することができる。基準データのサンプルとなる歌唱データが多ければ、より優れた基準データを作成できる。

歌唱データから基準データを合成する際、例えばビブラートのような音高を意図的に揺らす歌唱技法が含まれる歌唱データを合成の対象から除外できる。これにより、より正確な音高の基準を示す基準データを作成できる。このとき、歌唱技法の特徴波形が多く含まれる上級者の歌唱データを基準データの作成に用いない代わりに、特殊な歌唱技法を用いない中程度の歌唱力に相当する歌唱データを用いることができる。

同じ楽曲に対応する歌唱データであっても、上手に歌えている箇所とそうでない箇所が歌唱者によって異なる場合がある。そこで、１つの歌唱データを所定時間ごと又は所定フレーズごとに分けた区間ごとに歌唱を評価し、各区間から評価のよい部分の歌唱データを選んで基準データを作成することで、全ての区間において正確性の高い基準データを作成できる。

複数の歌唱データから基準データを合成する方法として、選択された複数の歌唱データで示される歌唱音声の相対的な音程の時間変化を平均化し、平均化した音程の時間変化に対して所定の基準キーを付与する。このようにすることで、キーが異なる複数の歌唱データからでも正しい音高の基準データを作成できる。

［変形例］
上述の実施形態では、サーバ１０が作成した基準データを、作成を要求した要求元のカラオケ装置２０に対して送信し、送信された基準データに基づいてカラオケ装置２０が歌唱を評価する事例について説明した。この他にも、サーバ１０が作成した基準データを用いて、サーバ１０が歌唱の評価を行うような構成であってもよい。具体的には、サーバ１０は、作成した基準データを記憶部１２に記憶しておく。そして、サーバ１０は、カラオケ装置２０から歌唱音声が記録された歌唱データを受信し、受信した歌唱データで示される歌唱音声を保有している基準データを用いて、歌唱を採点する。サーバ１０は、歌唱の採点結果を歌唱データの送信元であるカラオケ装置２０に送信する。

上述の実施形態では、サーバ１０が、合成処理（図５参照）のときに歌唱データに対する基準データなしの採点を実施する（Ｓ３０８）事例について説明した。これとは別に、歌唱データ記録処理（図８参照）でカラオケ装置２０から歌唱データを受信したときに、予め採点を実施する構成にしてもよい。その場合、歌唱データの採点結果（図６（ａ）参照）を、歌唱データリスト（図２（ａ）参照）の歌唱データＩＤに対応付けて記録しておくことが考えられる。そうすることで、合成処理のときに歌唱データリストから採点結果を参照し、基準データの合成に採用する歌唱データを選択することができる。あるいは、基準データの合成に採用する、歌唱が上手な歌唱データを選択する基準として、ユーザからの評価を用いる構成であってもよい。具体的には、カラオケ装置２０において作成された歌唱データに対してユーザからの主観的な評価を受付け、その評価結果を歌唱データと共にサーバ１０にアップロードするといった方法が考えられる。

サーバ１０は、基準データの作成専用に用意されるものに限らず、例えば、広域ネットワークに接続された複数のカラオケ装置２０がそれぞれサーバ１０の機能を持つ構成であってもよい。その場合、カラオケ装置２０間で歌唱データを交換してもよいし、各カラオケ装置２０が、それぞれ自前の歌唱データのみを用いて基準データを作成する構成でもよい。あるいは、サーバ１０で行われる処理は、単独のサーバに限らず、広域ネットワークを介してカラオケシステム１に接続された携帯端末や任意の端末装置で行われてもよい。

サーバ１０に蓄積される歌唱データは、ユーザがカラオケ装置２０で歌唱を行えば行うほど増え、それに伴って上手な歌唱者のサンプルが多く集まると考えられる。そこで、基準データを作成済みの楽曲について、定期的に基準データを更新するように構成してもよい。あるいは、歌唱データを受信する都度、受信した歌唱データに対する採点を行い、採点結果が良好な歌唱データを受信した段階で、その歌唱データに対応する楽曲の基準データを更新してもよい。

［特許請求の範囲に記載の構成との対応］
実施形態に記載の構成と、特許請求の範囲に記載の構成との対応は次のとおりである。
サーバ１０が基準データ作成装置に相当する。このうち、記憶部１２が、記憶手段及び基準データ記憶手段に相当する。制御部１１が、抽出手段、基準評価手段、選択手段、作成手段、歌唱データ記録手段、及び、歌唱評価手段に相当する。制御部１１及び通信部１３が、演奏情報取得手段、歌唱データ取得手段、基準送信手段、及び、歌唱結果取得手段に相当する。カラオケ装置２０が演奏端末装置に相当する。このうち、制御部２１及び通信部２８が、演奏情報送信手段及び基準データ取得手段に相当する。採点処理部２４が評価手段に相当する。

１…カラオケシステム、１０…サーバ、１１…制御部、１２…記憶部、１３…通信部、２０…カラオケ装置、２１…制御部、２２…記憶部、２３…楽曲再生部、２４…採点処理部、２５…音声制御部、２５ａ…マイク入力部、２５ｂ…出力部、２６…映像制御部、２７…操作部、２８…通信部、３０…マイク、３１…スピーカ、３２…モニタ。

Claims (2)

1. 歌唱された音声を表す複数の歌唱データと、各歌唱データに対応付けられた楽曲を識別する楽曲識別情報と、各前記歌唱データに対応付けられた歌唱者の属性を示す歌唱者属性情報又は楽曲に対応付けられた所定の歌唱者の属性を示す楽曲属性情報とを記憶する記憶手段と、
   楽曲の演奏を行う演奏端末装置から、演奏される楽曲を識別する楽曲識別情報と、前記演奏される楽曲を歌唱する歌唱者の属性を示す歌唱者属性情報とを取得する演奏情報取得手段と、
   前記記憶手段に記憶されている歌唱データの中から、前記演奏情報取得手段により取得された楽曲識別情報で示される楽曲と対応付けられ、かつ、取得された楽曲識別情報に対応する楽曲属性情報、又は取得された歌唱者属性情報で示される歌唱者の属性の何れかと対応する歌唱者属性情報が対応付けられた歌唱データを抽出する抽出手段と、
   前記歌唱データに示される歌唱音声の音高と、前記歌唱音声の音高に対応する基準の音階との差に基づいて、前記歌唱音声を評価する基準評価手段と、
   前記抽出手段により抽出された歌唱データの中から、前記基準評価手段による評価結果が所定の基準を満たす歌唱データを選択する選択手段と、
   前記選択手段によって選択された歌唱データで示される歌唱音声の音高情報に基づいて、前記演奏される楽曲の音高列の基準を示す基準データを作成する作成手段と、
   を備える基準データ作成装置と、
   楽曲を演奏する演奏端末装置であって、
   演奏をする楽曲に対応する基準データを保有していないとき、演奏をする楽曲を識別する楽曲識別情報と、演奏をする楽曲に合わせて歌唱する歌唱者の属性を示す歌唱者属性情報とを、前記基準データ作成装置に送信する演奏情報送信手段を備える演奏端末装置と、
   を有すること特徴とする基準データ作成システム。
2. 歌唱された音声を表す複数の歌唱データと、各歌唱データに対応付けられた楽曲を識別する楽曲識別情報と、各前記歌唱データに対応付けられた歌唱者の属性を示す歌唱者属性情報又は楽曲に対応付けられた所定の歌唱者の属性を示す楽曲属性情報とを記憶する記憶手段と、
   楽曲の演奏を行う演奏端末装置から、演奏される楽曲を識別する楽曲識別情報と、前記演奏される楽曲を歌唱する歌唱者の属性を示す歌唱者属性情報とを取得する演奏情報取得手段と、
   前記記憶手段に記憶されている歌唱データの中から、前記演奏情報取得手段により取得された楽曲識別情報で示される楽曲と対応付けられ、かつ、取得された楽曲識別情報に対応する楽曲属性情報、又は取得された歌唱者属性情報で示される歌唱者の属性の何れかと対応する歌唱者属性情報が対応付けられた歌唱データを抽出する抽出手段と、
   前記歌唱データに示される歌唱音声の音高と、前記歌唱音声の音高に対応する基準の音階との差に基づいて、前記歌唱音声を評価する基準評価手段と、
   前記抽出手段により抽出された歌唱データの中から、前記基準評価手段による評価結果が所定の基準を満たす歌唱データを選択する選択手段と、
   前記選択手段によって選択された歌唱データで示される歌唱音声の音高情報に基づいて、前記演奏される楽曲の音高列の基準を示す基準データを作成する作成手段と、
   を備える基準データ作成装置と通信する演奏端末装置であって、
   演奏をする楽曲に対応する基準データを保有していないとき、演奏をする楽曲を識別する楽曲識別情報と、演奏をする楽曲に合わせて歌唱する歌唱者の属性を示す歌唱者属性情報とを、前記基準データ作成装置に送信する演奏情報送信手段と、
   前記演奏情報送信手段によって送信された楽曲識別情報と歌唱者属性情報とに基づき前記基準データ作成装置によって作成された基準データを取得する基準データ取得手段と、
   前記基準データ取得手段により取得された基準データを用いて、演奏をする楽曲に合わせて入力される前記歌唱者の歌唱音声を評価する評価手段と、
   を備えることを特徴とする演奏端末装置。

Images