JP4531679B2 - マルチスタンダード採点を行うカラオケ採点装置 - Google Patents

Description

この発明は、伴奏音楽データに付属する歌唱パートの模範旋律データと伴奏音楽に合わせて歌う人の歌声信号とのピッチ推移の一致度合いを逐次検出するとともに、一致度合いを集積して採点データを出力するカラオケ採点装置に関し、とくに、複数種類の模範旋律データに基づいて採点する技術に関する。

典型的なカラオケ採点装置は、例えば特開平１１−３０５７８６号公報にも開示されているように、マイクロホンから採取した歌唱者の歌声信号をサンプリングしてデジタル化し、この歌声データから歌声ピッチを抽出するとともに、カラオケデータ中の主旋律データなどを採点基準として、主旋律データのピッチ（ピッチ基準値）と抽出した歌声ピッチとを対比させ、適宜な区間ごとに双方の一致度合いやピッチ推移の類似度合いを評価して得点として出力する。
特開平１１−３０５７８６号公報

カラオケ楽曲の原曲作品は１つとは限らない。同じアーティストの同じ曲であっても、シングル盤に収録された作品や、ベスト盤に収録された作品や、ライブステージで録音された作品や、新譜発売から数年を経てセルフカバーされた作品など、作品にはいろいろなバージョンがある。それぞれの作品は、その収録時期や収録場面によって、感情表現やニュアンスが異なることが多いだけでなく、歌唱旋律が部分的に明らかに異なっていることも少なくない。
一方、カラオケ採点装置における採点基準となる旋律は、当該楽曲をカラオケ収録した時期の代表的な作品の旋律を採用している。

カラオケ愛好家は、主に自分が所有しているＣＤの作品を聞き込んでカラオケ店におもむく。したがってカラオケでは、自分が好きな作品の旋律にしたがって歌う人が多い。自分が覚えた旋律で正確に歌えたと自信があるのに、採点結果が思わしくないという不満を感じる人が少なくない。その原因の１つは、自分が覚えた旋律と採点基準として採用されている旋律が異なることにある。

そこで本出願人らは、原曲アーティストのいろいろな歌い方の各バージョン用に模範となる採点基準データをそれぞれに作成し、どのバージョンの歌い方をしても正確に採点できるカラオケ採点装置を創作した。

この発明は、伴奏音楽データに付属する歌唱パートの模範旋律データのピッチ推移と伴奏音楽に合わせて歌う人の歌声信号のピッチ推移の一致度合いを逐次検出するとともに、一致度合いの検出結果を集積して採点データを出力するカラオケ採点装置であって、一曲分の模範旋律データには、少なくとも１つのフレーズにおいて、時間的に並列していて択一的に独唱されるべき、異なるピッチ推移の第１〜第Ｎ旋律データ（Ｎは２以上の整数）を含んだマルチ旋律フレーズが存在し、マルチ旋律フレーズにおいては、第１〜第Ｎの各旋律データのピッチ推移と歌声信号のピッチ推移とをそれぞれ比較し、第１〜第Ｎ旋律データごとのＮ個の一致度合いを検出するとともに、もっとも一致度合いの高い１つの旋律データについての検出結果を選出し、マルチ旋律フレーズにおいて選出された検出結果と、マルチ旋律フレーズ以外における検出結果に基づいて採点データを出力するように構成した。

この発明においては、伴奏音楽データには、マルチ旋律フレーズにおける第１〜第Ｎ旋律データのそれぞれに対応付けられた第１〜第Ｎ説明記述が付属しており、第１〜第Ｎ説明記述は、それぞれ対応する第１〜第Ｎ旋律データの作品由来を記述し、採点データの出力に際し、マルチ旋律フレーズにおいて歌声信号との一致度合いが高いとして選出された１つの旋律データに対応する説明記述に基づき歌唱者向けメッセージを出力することが望ましい。

本発明によれば、複数種類の原曲作品の歌唱旋律をそれぞれ採点基準とするので、利用者は自分の聴き覚えた好きな旋律で安心して歌うことができ、その出来映えが的確に採点される。

＝＝＝楽曲データの構成およびカラオケ演奏処理＝＝＝
図１に示すように、楽曲データは、ＭＩＤＩ形式あるいはＭＰ３形式の伴奏音楽データと、ＭＩＤＩ形式の模範旋律データと、歌詞字幕データとを含んでおり、これらのデータは楽曲の演奏時間軸に従って同期する時系列データとして構成されている。

カラオケ装置のメインコンピュータ（図示省略）において、リクエスト曲の楽曲データがハードディスク装置１からＲＡＭ２に読み出され、シーケンサ３（メインコンピュータのソフトウエア機能）が主体となってＲＡＭ２上の楽曲データを下記（ａ）〜（ｄ）のように演奏処理する。

（ａ）ＭＩＤＩ形式の伴奏音楽データの場合、そのデータを演奏時間軸に従って順次シンセサイザー４に供給する。これによってシンセサイザー４から伴奏音楽の音声信号が出力され、ミキシングアンプ５を経てスピーカー６から放音される。ミキシングアンプ５には、マイクロホン７からの歌声信号も入力され、伴奏音楽とともにスピーカー６から放音される。
（ｂ）伴奏音楽データの一部または全部がＭＰ３形式の録音データである場合もある。この録音データを演奏時間軸に従って順次ＭＰ３デコーダ８に供給し、デコーダ８からの再生出力される音声信号をミキシングアンプ５に入力してスピーカー６から放音させる。
（ｃ）演奏時間軸に従って歌詞字幕データを処理し、色変わりする歌詞字幕映像をディスプレイに表示させる（図示省略）。
（ｄ）ＭＩＤＩ形式の模範旋律データを、演奏時間軸に従って順次採点プロセッサ１０に供給する。採点プロセッサ１０には、マイクロホン７からの歌声信号も入力される。採点プロセッサ１０は、模範旋律データと歌声信号とを以下に説明するように比較して採点データを出力する。

＝＝＝並立模範旋律データ＝＝＝
この発明の第１の特徴は、一曲分の模範旋律データとして、少なくとも１つのフレーズにおいて、ピッチ推移の異なる複数の模範旋律データ（第１旋律データ、第２旋律データ、・・・第Ｎ旋律データとする）を並立させた点にある。

図２にこの模範旋律データの具体的な構成例（Ｎ＝３の場合）を示している。ＭＩＤＩ伴奏音楽データが複数の楽器パートにわかれているのと同様に、模範旋律データには複数（図２の例では３つ）の旋律データが含まれている。各旋律データはそれぞれ、たとえば原曲のシングル盤に収録されている旋律や、ベスト盤に収録されている作品の旋律、ライブ盤に収録されている作品の旋律、デビュー２０周年記念セルフカバー盤に収録されている作品の旋律というように、異なる旋律を記述したものであり、そのピッチ推移がそれぞれ異なっている。第２〜第Ｎ旋律データにおいて、第１旋律データと異なる部分がない小節にはたとえば全休符が記述されている。この場合の全休符は「第１旋律データと同じ」であることを意味するものとしている。

各旋律データには、ＭＩＤＩ伴奏音楽データを構成する複数の楽器パートのそれぞれに楽器パート名が記述されているのと同様に、ＭＩＤＩデータのヘッダー部に説明記述が対応付けされている。たとえば「オリジナルバージョン」「シングル盤バージョン」「ベスト盤バージョン」「ライブバージョン」「２０周年記念盤バージョン」というように、各旋律データについての説明記述が対応付けされている。

＝＝＝採点プロセッサ１０＝＝＝
この発明の第２の特徴は、採点プロセッサ１０が一曲分の採点処理を行うプロセスにおいて、並立模範旋律データのあるフレーズにおいては、歌声信号のピッチ推移と各模範旋律データのピッチ推移とをそれぞれ比較し、もっとも一致度合いの高い検出結果を採点データに反映させることにある。

図３に示すのは、採点プロセッサ１０の機能的ブロック構成である。採点プロセッサ１０は、カラオケ装置のメインコンピュータのソフトウェア機能として具現化することもできるし、専用のＤＳＰ（デジタル信号プロセッサ）を用いて実現することもできる。採点プロセッサ１０が行うべき情報処理は、つぎの通りである。

（ｅ）ピッチ検出部１１は、マイクロホン７からの歌声信号のピッチを逐次検出し、ＭＩＤＩ形式の模範旋律データと比較するのに便利な形式のデジタルデータ（歌声ピッチ）を生成し、ピッチ比較部１２に入力する。

（ｆ）ピッチ比較部１２は、シーケンサ３から順次供給される模範旋律データの各旋律データと歌声ピッチとを各旋律データ別に比較し、模範旋律データのピッチ推移と歌声ピッチのピッチ推移の時間的相似性に相関したピッチ相似度データを旋律データ別に逐次生成し、これらデータを比較判定部１３に入力する。

なお、第１旋律データを除いた第２〜第Ｎ旋律データについて、ピッチ比較部１２への入力がない期間（全休符に相当する区間）は、入力がある場合と同様に処理を進めて最小のピッチ相似度データを生成してもよいし、全休符の小節では比較する処理を止め、比較判定部１３に比較休止を伝えるようにしてもよい。

（ｇ）比較判定部１３は、ピッチ比較部１２から入力される各旋律データのピッチ相似度データを相互比較し、歌声ピッチ推移とのピッチ相似度データの最大値を検出するとともに、その最大値を生じた旋律データがどれなのかを認識する。

なお、第１旋律データを除いた第２〜第Ｎ比較部のいずれかが比較処理を休止している場合にも、入力されたピッチ相似度データの範囲内で相互比較して検出すればよい。第１比較部からの入力のみの場合には、比較する処理は不要とする。

（ｈ）比較判定部１３は、検出したピッチ相似度データの最大値を評価部１４に入力する。また、最大値を生じた旋律データに対応付けされている説明記述を抽出する処理を行う。

（ｉ）評価部１４は、比較判定部１３から入力されたピッチ相似度データを蓄積する。そして、適宜な採点区間ごとに、蓄積されたピッチ相似度データに基づいて、評価結果（採点データ）を、たとえば１００点満点の得点として出力する。

（ｊ）採点プロセッサ１０は、カラオケ楽曲の歌唱区間がすべて終了すると、各採点区間で出力された評価結果（あるいは蓄積された各採点区間分のピッチ相似度データ）に基づいて、たとえばそれらの平均値をとって、歌唱採点結果を１００満点の得点として出力する。

（ｋ）また採点プロセッサ１０は、歌唱採点結果の出力にあわせて、前記ピッチ相似度データの最大値に関連して抽出された説明記述に基づいて、歌唱者にメッセージを提示する。たとえば、抽出された説明記述が「オリジナルバージョン」であった場合には、「オリジナルバージョンで採点しました」というような歌唱者向けのメッセージをディスプレイに表示させる。

＝＝＝他の技術事項＝＝＝
図２には、第２〜第Ｎ旋律データについて、第１旋律データと同じ旋律の小節は全休符として、歌唱パートの模範旋律の一部が部分的に複数の旋律にわかれる構成を例示しているが、全休符のかわりにデータがない状態（ヌル）とする構成も可能である。

採点区間として、たとえば１フレーズなどの適宜な区間ごとに、模範旋律データに区切り符号を付しておくとよい。この場合に評価部１４は、区切り符号で区切られた区間ごとに評価結果を出力する。

比較判定部１３において、ピッチ相似度データの最大値を生じた旋律データが歌唱途中で変わったりして一曲を通して一定でない場合には、説明記述に基づくメッセージは表示しないようにしてもよい。最大値を生じた旋律データが変更されるたびに変更後の旋律データに対応する説明記述を抽出し、変更されるたびに変更後の説明記述に基づいたメッセージを表示するようにしてもよいし、抽出回数が最多の説明記述に基づいたメッセージを表示するようにしてもよい。あるいは変更の有無にかかわらず上記の採点区間ごとに、最大値を生じた旋律データに対応付けられた説明記述に基づいたメッセージ表示するようにしてもよい。

なお、比較判定部１３は、ピッチ相似度データの最大値を生じた旋律データ（判定旋律データ）を記憶しておき、一時的にどれが最大値を生じたかの判定が不能になっても、それまでの判定旋律データを引き継ぐ。また一時的に判定不能になった後に最大値を生じた旋律データがそれまでの旋律データと異なっても、すぐには判定旋律データを変更せず、適宜な期間はそれまでの判定旋律データを引き継ぐ。このようにして、歌声ピッチ推移とのピッチ相似度データの最大値を生じた旋律データがどれかという判定を短期間でバタバタと変えることがないアルゴリズムを採用することが望ましい。

以上のカラオケ採点装置によれば、原曲アーティストのいろいろなバージョンの歌い方のどれを覚えて歌っても、聴衆の印象どおりで違和感のない正確な採点を行える。

本実施例に係るカラオケ採点装置の機能ブロック図である。 本実施例に係る模範旋律データの論理構成イメージである。 本実施例に係る採点プロセッサの機能ブロック図である。

符号の説明

１０ 採点プロセッサ

Claims (2)

1. 伴奏音楽データに付属する歌唱パートの模範旋律データのピッチ推移と伴奏音楽に合わせて歌う人の歌声信号のピッチ推移の一致度合いを逐次検出するとともに、一致度合いの検出結果を集積して採点データを出力するカラオケ採点装置であって、
   一曲分の模範旋律データには、少なくとも１つのフレーズにおいて、時間的に並列していて択一的に独唱されるべき、異なるピッチ推移の第１〜第Ｎ旋律データ（Ｎは２以上の整数）を含んだマルチ旋律フレーズが存在し、
   マルチ旋律フレーズにおいては、第１〜第Ｎの各旋律データのピッチ推移と歌声信号のピッチ推移とをそれぞれ比較し、第１〜第Ｎ旋律データごとのＮ個の一致度合いを検出するとともに、もっとも一致度合いの高い１つの旋律データについての検出結果を選出し、
   マルチ旋律フレーズにおいて選出された検出結果と、マルチ旋律フレーズ以外における検出結果に基づいて採点データを出力する
   カラオケ採点装置。
2. 伴奏音楽データには、マルチ旋律フレーズにおける第１〜第Ｎ旋律データのそれぞれに対応付けられた第１〜第Ｎ説明記述が付属しており、
   第１〜第Ｎ説明記述は、それぞれ対応する第１〜第Ｎ旋律データの作品由来を記述し、
   採点データの出力に際し、マルチ旋律フレーズにおいて歌声信号との一致度合いが高いとして選出された１つの旋律データに対応する説明記述に基づき歌唱者向けメッセージを出力する
   請求項１に記載のカラオケ採点装置。

Images