JP6144592B2 - 歌唱採点システム - Google Patents

Description

本発明は、歌唱採点システムに関するものであり、特に、カラオケ楽曲の歌詞である各単語の歌唱時間よりも短い時間となるように、歌唱採点の対象となる採点区間を設定し、各採点区間において、マイクロホンから入力された歌唱音声信号と採点リファレンスデータとを比較して歌唱採点値を算出する歌唱採点システムに関するものである。

現在普及しているカラオケシステムでは、マイクロホンから入力された歌唱音声信号と採点リファレンスデータとを比較して歌唱採点値を算出する歌唱採点機能を備えている。このような歌唱採点機能に関する技術は、例えば、特許文献１に記載されている。

特許文献１に記載されたカラオケ装置は、シーケンサがカラオケ演奏用データを読み出して楽音発生部に入力することによってカラオケ演奏が行われる。カラオケ歌唱者は、カラオケ演奏に合わせて歌唱し、その歌唱音声信号はマイクを介してアンプに入力されるとともにＡ／Ｄコンバータにも入力され、デジタルデータに変換される。

そして、データ抽出部により、デジタル化された歌唱音声信号から音高データ、音量データを抽出し、抽出した音高データ、音量データ（歌唱音声）を比較部に入力する。シーケンサはカラオケ演奏用データに並行して比較用データであるガイドメロディを読み出してこれを比較部に入力する。比較部では、抽出した音高データ、音量データと、ガイドメロディとを比較して、歌唱者の歌唱の巧拙を採点評価するようになっている。

特開平１０−６９２１６号公報

上述したように、マイクロホンから入力され、Ａ／Ｄコンバータによりデジタル変換された歌唱音声信号と、ガイドメロディ等の歌唱採点用リファレンスデータとを比較することにより、歌唱採点値を算出することができる。しかし、特に、カラオケ楽曲の歌詞である各単語の歌唱時間よりも短い時間となるように、歌唱採点の対象となる採点区間を設定し、各採点区間において、マイクロホンから入力された歌唱音声信号と採点リファレンスデータとを比較して歌唱採点値を算出する歌唱採点システムでは、歌詞の単語の種類によっては、音高データ（ピッチデータ）を抽出できない場合がある。

そして、音高データ（ピッチデータ）を抽出できない採点区間においては、歌唱者が上手に歌唱しているにも拘わらず、採点リファレンスデータと比較するデータを抽出できないため歌唱採点値が低くなってしまい、正確な歌唱採点を行うことができないという問題があった。

すなわち、現在のカラオケシステムで利用されているピッチ検出方法では、歌詞に含まれる単語の中の子音部分（ｓ、ｔ、ｋ等）は、原則としてピッチを検出することができない。また、子音の種類に応じて、発音する時間的な長さが異なる。具体的には、同じ長さの「す」と「き」を比較すると、「す」における子音部分「ｓ」の方が、「き」における子音部分「ｋ」よりも発音時間が長い。したがって、採点区間毎にピッチ検出を行うと、サ行の発音は当該区間で子音部分「ｓ」が占める時間が長くなり、カ行の発音よりもピッチ検出の精度が低下してしまう。一方、カ行の発音は当該区間で子音部分「ｋ」が占める時間が短いため、ピッチ検出の精度が低下することは殆どない。

図面を参照して、「す」及び「き」を発音する際の子音部分の長さ、「す」における子音「ｓ」のＦＦＴによる周波数特性の解析結果（以下、ＦＦＴと略す、図面も同様）及び母音「ｕ」のＦＦＴ、「き」における子音「ｋ」のＦＦＴ及び母音「ｉ」のＦＦＴについて説明する。なお、通常の歌唱において、子音部分すなわち「す」の発音における「ｓ」及び「き」の発音における「ｋ」の長さは、それぞれほぼ一定であると考えてよい。一方、母音部分すなわち「す」の発音における「ｕ」及び「き」の発音における「ｉ」の長さに関しては、「す」と「きー」など全体の発音を短く歌唱するか長く歌唱するかで変化する。図６は「す（ｓｕ）」の発音における子音の長さを示す説明図、図７は子音「ｓ」のＦＦＴを示す説明図、図８は母音「ｕ」のＦＦＴを示す説明図、図９は「き（ｋｉ）」の発音における子音の長さを示す説明図、図１０は子音「ｋ」のＦＦＴを示す説明図、図１１は母音「ｉ」のＦＦＴを示す説明図である。

図６に示すように、「す（ｓｕ）」を発音すると、子音「ｓ」の発音部分は約１１０ｍｓｅｃ続く。また、図７に示すように、子音「ｓ」を発音した場合にははっきりとした基音や倍音列が認められず、ピッチを検出することは困難である。一方、図８に示すように、母音「ｕ」を発音した場合には、周波数が約３１０Ｈｚで相対的に高いレベルを持つ基音とその略整数倍の周波数を持つ倍音列を含んでおり、ピッチを検出することが可能となる。このように、サ行の発音（例えば「す」の発音）では、採点区間において子音部分「ｓ」が占める時間が長いため、正確なピッチ検出を行うことができない。したがって、サ行の音声を含む採点区間において採点の精度を上げるためには、採点方法に工夫を施す必要がある。

これに対して、図９に示すように、「き（ｋｉ）」を発音すると、子音「ｋ」の発音部分は約２５ｍｓｅｃであり、子音「s」の発音部分の４分の１以下である。また、図１０に示すように、子音「ｋ」を発音した場合には、はっきりとした基音や倍音列が認められず、ピッチを検出することは困難である。一方、図１１に示すように、母音「ｉ」を発音した場合には、周波数が約３００Ｈｚで相対的に高いレベルを持つ基音とその略整数倍の周波数を持つ倍音列を含んでおり、ピッチを検出することが可能となる。このように、カ行の発音（例えば、「き」の発音）では、所定時間長の採点区間において子音部分「ｋ」が占める時間が極めて短いため、当該子音部分「ｋ」でピッチ検出を行うことができなくても、母音部分「ｉ」において、歌唱採点に必要なピッチ検出を行うことができる。したがって、カ行の音声を含む採点区間では、採点方法の精度が極端に低下することはない。

図６〜図１１から明らかなように、サ行及びカ行のいずれの場合であっても、母音部分は整数倍音のピークがきれいに出ており、基音でピッチ検出が可能であるのに対して、子音部分は基音の周波数域でピッチ検出しようとしてもピークが無いため、ピッチ検出（一波長の測定）ができない。さらに、カ行はサ行と比較して、子音部分「ｋ」の発音時間が短いため、子音部分「ｋ」を無視してピッチ検出を行うことができる。

ところで、上述したように、子音部分「ｓ」を発音した場合のように、ピッチを検出することができない時間が比較的長いと、歌唱採点において音程の評価値が下がる原因となる。一方、ピッチを検出することができない子音部分「ｓ」を含む採点区間であっても、子音部分「ｓ」の発音時間が短くなるような歌唱を行うと、音程の評価値が下がらないことがある。このような歌唱方法を行った場合には、歌唱採点に対する聴者の印象と実際の歌唱採点値とが異なり、歌唱採点に対して聴者が違和感を覚える原因となる。

本発明は、上述した事情に鑑み提案されたもので、歌詞の単語が含む子音の種類に応じて音高データ（ピッチデータ）を抽出できない採点区間が存在する場合であっても、正確な歌唱採点を行うことが可能な歌唱採点システムを提供することを目的とする。

本発明の歌唱採点システムは、上述した事情に鑑み提案されたもので、以下の特徴点を有している。すなわち、本発明の歌唱採点システムは、カラオケ楽曲の歌詞である各単語の歌唱時間よりも短い時間となるように、歌唱採点の対象となる採点区間を設定し、各採点区間において歌唱採点値を算出する歌唱採点システムにおいて、歌唱採点手段と、子音採点区間特定手段と、ピッチ検出手段と、ピッチ検出判定手段とを備えたことを特徴とするものである。

歌唱採点手段は、マイクロホンから入力された歌唱音声信号と採点リファレンスデータとを比較して歌唱採点値を算出するための手段である。子音採点区間特定手段は、歌詞テロップ情報に基づき、子音が発生する採点区間を特定するための手段である。ピッチ検出手段は、子音が発生する採点区間として特定された子音採点区間において、マイクロホンから入力された歌唱音声信号からピッチ検出を行うための手段である。ピッチ検出判定手段は、ピッチ検出手段がピッチを検出できたか否かを判定するための手段である。

そして、歌唱採点手段は、ピッチ検出判定手段がピッチを検出できたと判定した子音採点区間では、算出した歌唱採点値から所定値を減点して修正採点値を算出する。一方、マイクロホンから歌唱音声信号の入力があるにもかかわらず、ピッチを検出できないと判定した子音採点区間では、減点を行わない。

また、本発明の歌唱採点システムは、上述した構成に加えて、子音採点区間特定手段は、歌詞テロップ情報に基づき、子音が発生する採点区間を特定するとともに、子音の種類を特定し、歌唱採点手段は、ピッチ検出判定手段がピッチを検出できたと判定した子音採点区間において、算出した歌唱採点値に対して、特定された子音毎に設定された重み付けを行い、修正採点値を算出することが可能である。

また、本発明の歌唱採点システムは、カラオケ楽曲の歌詞である各単語の歌唱時間よりも短い時間となるように、歌唱採点の対象となる採点区間を設定し、各採点区間において歌唱採点値を算出する歌唱採点システムにおいて、歌唱採点手段と、子音発生値算出手段と、ピッチ検出手段と、比較手段とを備えたことを特徴とするものである。

歌唱採点手段は、マイクロホンから入力された歌唱音声信号と採点リファレンスデータとを比較して歌唱採点値を算出するための手段である。子音発生値算出手段は、歌詞テロップ情報に基づき、子音発生回数又は子音発生合計時間を算出するための手段である。ピッチ検出手段は、マイクロホンから入力された歌唱音声信号からピッチ検出を行うための手段である。比較手段は、ピッチ検出手段が検出したピッチ検出回数と子音発生回数とを比較し、またはピッチ検出手段が検出したピッチ検出合計時間と子音発生合計時間とを比較するための手段である。

なお、子音発生回数とは、歌詞テロップ情報に基づき、子音として認定した音の発生回数の合計値のことであり、子音発生合計時間とは、歌詞テロップ情報に基づき、子音として認定した音の長さの合計値のことである。また、ピッチ検出回数とは、採点区間の１単位において、ピッチを検出できた回数のことであり、ピッチ検出合計時間とは、ピッチを検出できた時間の合計値のことである。

そして、歌唱採点手段は、ピッチ検出回数に対する子音発生回数の割合が所定値以下の場合、またはピッチ検出合計時間に対する子音発生合計時間の割合が所定値以下の場合に、算出した歌唱採点値に対して減点を行う。

このような構成からなる歌唱採点システムでは、カラオケ楽曲の演奏に合わせて利用者が歌唱を行うと、マイクロホンから入力された歌唱音声信号をＡ／Ｄコンバータによりデジタル変換して、歌唱採点対象となる採点対象データを生成する。そして、歌唱採点手段により、所定の歌唱採点区間毎に、採点対象データと採点リファレンスデータとを比較して歌唱採点値を算出する。

本発明の第１の態様は、カラオケ楽曲の進行に伴い出力される歌詞テロップ情報に基づき、子音が発生する採点区間を逐次特定して、当該子音採点区間においてピッチを検出できたか否かで歌唱採点値を修正するものである。この第１の態様では、ピッチ検出手段により、子音が発生する採点区間として特定された子音採点区間において、歌唱音声信号からピッチ検出を行い、ピッチ検出判定手段により、ピッチを検出できたか否かを判定する。

そして、ピッチを検出できたか否かに応じて、歌唱採点値の修正を行う。すなわち、本来、ピッチが検出できないであろう子音採点区間において、何らかの特殊な歌唱方法を行うことによりピッチを検出できたと判定した場合には、本来の歌唱方法で歌唱を行っていないと推定して、算出した歌唱採点値から所定値を減点して修正採点値を算出する。一方、本来、ピッチが検出できないであろう子音採点区間において、マイクロホンから歌唱音声信号の入力があるにもかかわらず、ピッチを検出できないと判定した子音採点区間では、本来の歌唱方法で歌唱していると推定して、減点を行わない。

また、子音採点区間を特定する際に、合わせて、子音の種類を特定し、ピッチを検出できたと判定した場合に、算出した歌唱採点値に対して、特定された子音毎に設定された重み付けを行い、修正採点値を算出してもよい。

本発明の第２の態様では、予め、歌詞テロップ情報に基づき、子音が発生する採点区間を特定して、当該子音採点区間における子音発生回数または子音発生合計時間を算出しておく。そして、ピッチ検出回数に対する子音発生回数の割合が所定値以下の場合、またはピッチ検出合計時間に対する子音発生合計時間の割合が所定値以下の場合に、算出した歌唱採点値に対して減点を行う。これは、第１の態様と同様に、本来、ピッチが検出できないであろう子音採点区間において、何らかの特殊な歌唱方法を行うことによりピッチを検出できたものであり、本来の歌唱方法で歌唱を行っていないと推定するためである。

本発明の歌唱採点システムによれば、子音が発生する採点区間として特定された子音採点区間において、マイクロホンから入力された歌唱音声信号からピッチを検出し、ピッチを検出できたか否かに応じて、歌唱採点値の修正を行う。

すなわち、本来、ピッチが検出できないであろう子音採点区間において、何らかの特殊な歌唱方法を行うことによりピッチを検出できた場合には、本来の歌唱方法で歌唱を行っていないと推定することができ、算出した歌唱採点値から所定値を減点して修正採点値を算出することにより、歌唱採点に対する聴者の印象と実際の歌唱採点値との乖離をなくして、正確な歌唱採点を行うことが可能となる。

また、カラオケ楽曲の歌詞である各単語の歌唱時間よりも短い時間となるように、歌唱採点の対象となる採点区間を設定すると、音高データ（ピッチデータ）を抽出できない場合があるが、本発明の歌唱採点システムでは、このような歌唱採点区間が存在した場合であっても、正確な歌唱採点を行うことができる。

本発明の実施形態に係る第１の態様の歌唱採点システムを適用したカラオケシステムの構成を示すブロック図。 本発明の実施形態に係る第２の態様の歌唱採点システムを適用したカラオケシステムの構成を示すブロック図。 本発明の実施形態に係る歌唱採点システムにおける歌唱採点方法の実施例１を示す説明図。 本発明の実施形態に係る歌唱採点システムにおける歌唱採点方法の実施例２を示す説明図。 本発明の実施形態に係る歌唱採点システムにおける歌唱採点方法の実施例３を示す説明図。 「す（ｓｕ）」の発音における子音の長さを示す説明図。 子音「ｓ」のＦＦＴを示す説明図。 母音「ｕ」のＦＦＴを示す説明図。 「き（ｋｉ）」の発音における子音の長さを示す説明図。 子音「ｋ」のＦＦＴを示す説明図。 母音「ｉ」のＦＦＴを示す説明図。

図面を参照して、本発明の歌唱採点システムの実施形態について説明する。図１〜図５は本発明の実施形態に係る歌唱採点システムを示すもので、図１は第１の態様の歌唱採点システムを適用したカラオケシステムの構成を示すブロック図、図２は第２の態様の歌唱採点システムを適用したカラオケシステムの構成を示すブロック図、図３〜図５は歌唱採点方法の実施例を示す説明図である。

＜歌唱採点システムの概要＞
本発明の実施形態に係る歌唱採点システムは、カラオケ楽曲の歌詞である各単語の歌唱時間よりも短い時間となるように、歌唱採点の対象となる採点区間を設定し、各採点区間において歌唱採点値を算出するシステムに関するものである。この歌唱採点システム１０は、図１及び図２に示すようにカラオケシステム（カラオケ演奏装置２０を含むシステム）に組み込まれてその機能を実現するものであり、歌唱採点機能の一部として構成される。

＜第１の態様及び第２の態様＞
本実施形態の歌唱採点システム１０は、図１に示す第１の態様と、図２に示す第２の態様とからなる。第１の態様は、カラオケ楽曲の進行に伴い出力される歌詞テロップ情報に基づき、子音が発生する採点区間を逐次特定して、当該子音採点区間においてピッチを検出できたか否かで歌唱採点値を修正する態様である。

第２の態様は、予め、歌詞テロップ情報に基づき、子音が発生する採点区間を特定して、当該子音採点区間における子音発生回数または子音発生合計時間を算出しておき、ピッチ検出回数に対する子音発生回数の割合、またはピッチ検出合計時間に対する子音発生合計時間の割合が所定値以下の場合に、算出した歌唱採点値に対して減点を行う態様である。

以下、第１の態様と第２の態様で共通の機能を有する手段については、まとめて説明を行い、第１の態様及び第２の態様でそれぞれ異なる機能を有する手段については、その旨を明記して個別に説明を行う。

本実施形態の歌唱採点システム１０の第１の態様では、図１に示すように、歌唱採点機能を実現するための機能手段として、歌唱採点手段３７と、子音採点区間特定手段３８と、ピッチ検出手段３９と、ピッチ検出判定手段４０とを備えている。また、本実施形態の歌唱採点システム１０の第２の態様では、図２に示すように、歌唱採点機能を実現するための機能手段として、歌唱採点手段４４と、子音発生値算出手段４５と、ピッチ検出手段４６と、比較手段４７とを備えている。

なお、以下の説明において、プログラムとは、ＲＡＭ等に記憶され、ＣＰＵ等のハードウェアで実行されることにより、その機能を発揮するソフトウェアだけではなく、同等の機能を発揮することが可能な論理回路も含む概念である。

＜カラオケ演奏装置＞
本発明の実施形態に係る歌唱採点システム１０を適用するカラオケ演奏装置２０は、図１及び図２に示すように、カラオケ本体２１、スピーカ２２、マイクロホン２３、表示装置２４、ミキシングアンプ２５、カラオケリモコン装置２６を備えている。また、カラオケ演奏装置２０は、ルータ５０及びデータ通信回線６０を介して、管理サーバ７０とネットワーク接続されている。

＜カラオケリモコン装置＞
カラオケリモコン装置２６は、ユーザインタフェース機能を備えており、ルータ５０を介してカラオケ本体２１とデータ通信を行うようになっている。このカラオケリモコン装置２６は、楽曲検索手段２６ａとして機能するプログラム、楽曲索引データベース２６ｂ、種々のデータを記憶するためのデータ記憶部２６ｃ、データの入出力を行うための入出力表示部２６ｄ等を備えている。このカラオケリモコン装置２６に付帯するスイッチ類や、入出力表示部２６ｄに表示される各種のアイコン等を操作することにより、選曲操作等が行われる。

なお、カラオケ本体２１にローカル送受信手段（図示せず）を設け、このローカル送受信手段とカラオケリモコン装置２６との間で有線方式又は無線方式（例えば、赤外線通信）によりデータの送受信を行うようにしてもよい。さらに、利用者が所持する携帯情報端末（例えば、スマートフォン）等に、選曲プログラムをインストールすることにより、携帯情報端末に選曲装置としての機能を持たせ、管理サーバ７０を経由して、携帯情報端末とペアリングしたカラオケ演奏装置２０に対して選曲情報を送信するようにしてもよい。

＜楽曲検索手段／楽曲索引データベース＞
楽曲検索手段２６ａは、利用者の指示に基づき、楽曲索引データベース２６ｂを参照して楽曲を検索するためのプログラムからなる。楽曲索引データベース２６ｂは、カラオケ演奏装置２０で演奏に供されるカラオケ楽曲について、その属性情報を記述したデータベースであり、例えば、楽曲番号・曲名・アーティスト名・歌い出し部分の歌詞・流行時期・音楽ジャンル区分・デュエット曲か否かなど、種々の属性情報がこれに含まれている。

＜マイクロホン＞
マイクロホン２３は、歌唱音声の入力を行うための装置である。マイクロホン２３から入力された歌唱音声信号は、ミキシングアンプ２５により、音楽再生制御手段４１から送出される演奏音声信号とミキシングされると共に増幅され、スピーカ２２へ出力される。なお、マイクロホン２３からの音声入力信号は、Ａ／Ｄコンバータ４２によりデジタル変換され、歌唱採点手段３７、４４における歌唱採点等に使用される。

＜表示装置＞
表示装置２４は、カラオケ楽曲に関連した背景映像や歌詞テロップ等を表示するための装置で、例えば、液晶ディスプレイ等により構成される。

＜カラオケ本体＞
第１の態様のカラオケ本体２１は、図１に示すように、ネットワーク送受信手段３１、中央制御手段３２、ＲＯＭ３３、ＲＡＭ３４、ＨＤＤ３５、予約管理手段３６、歌唱採点手段３７、子音採点区間特定手段３８、ピッチ検出手段３９、ピッチ検出判定手段４０、音楽再生制御手段４１、Ａ／Ｄコンバータ４２、映像再生制御手段４３を備えている。

また、第２の態様のカラオケ本体２１は、図２に示すように、ネットワーク送受信手段３１、中央制御手段３２、ＲＯＭ３３、ＲＡＭ３４、ＨＤＤ３５、予約管理手段３６、歌唱採点手段４４、子音発生値算出手段４５、ピッチ検出手段４６、比較手段４７、音楽再生制御手段４１、Ａ／Ｄコンバータ４２、映像再生制御手段４３を備えている。

＜ネットワーク送受信手段＞
ネットワーク送受信手段３１は、ルータ５０及びデータ通信回線６０を介して管理サーバ７０、カラオケリモコン装置２６、他のカラオケ演奏装置２０との間でデータの送受信を行うための電子回路及びプログラムからなる。データ通信回線６０は、データの送受信を行うことができればどのような回線であってもよいが、例えば、光回線、専用電話回線、一般電話回線、インターネット等を利用することができる。本実施形態では、光回線、専用電話回線、一般電話回線等の通信回線と、インターネットとを組み合わせて、データ通信回線６０を構成している。

＜中央制御手段＞
中央制御手段３２は、カラオケ本体２１を総合的に制御するための手段であり、例えばＣＰＵ及びその周辺機器により構成されており、ＣＰＵ等がＲＯＭ３３等に記憶されたプログラムに従って動作することにより、制御機能を発揮することができるようになっている。

＜ＲＯＭ／ＲＡＭ＞
ＲＯＭ３３は、カラオケ本体２１を構成する各機器を制御するためのプログラムデータや数値データを記憶するための機器で、例えば半導体メモリ等で構成される。また、ＲＡＭ３４は、プログラムや各種データを一時的に記憶する一時記憶領域として機能するもので、例えば半導体メモリ等で構成される。

本実施形態では、ＲＡＭ３４に、予約待ち行列３４ａが記憶されるようになっている。なお、予約待ち行列３４ａは、選曲予約されたカラオケ楽曲について、演奏順に楽曲ＩＤを並べて構成されたデータテーブルであり、選曲予約者の利用者ＩＤ等、他の識別データが紐付けされている場合もある。また、ＲＡＭ３４に、歌唱採点値を記憶するようにしてもよい。

＜ＨＤＤ＞
ＨＤＤ３５は、大容量記憶装置として機能するもので、楽曲データベース３５ａ、映像データベース３５ｂが格納されている。なお、ＨＤＤ３５に替えて、あるいはＨＤＤ３５と共に、データを書き替え可能なＤＶＤ等の大容量記憶装置を用いてもよい。

＜楽曲データベース／映像データベース＞
楽曲データベース３５ａは、演奏制御データ（ＭＩＤＩ規格のデータ）及び歌詞テロップ情報が同期されて構成される楽曲データと、歌唱採点に用いる採点リファレンスデータとが、楽曲ＩＤに対応付けてそれぞれ構成されたデータベースである。演奏制御データは、各楽曲の演奏を制御するためのデジタルデータであり、歌詞テロップ情報は演奏に同期した歌詞文字の表示タイミングデータ及び色変わりデータを含んでいる。採点リファレンスデータは、歌唱採点手段３７における歌唱採点において、マイクロホン２３から入力された歌唱音声信号と比較することにより、歌唱採点値を算出するためのデータである。また、子音採点区間特定手段３８では、歌詞テロップ情報に基づいて、子音を含む歌唱区間及び子音の種類を特定することができる。

映像データベース３５ｂは、演奏されるカラオケ楽曲に対応した背景映像を、当該カラオケ楽曲の楽曲ＩＤに対応させた映像ファイルとして所定数格納したデータベースである。

＜予約管理手段＞
予約管理手段３６は、任意の利用者が選曲予約する際に、当該選曲されたカラオケ楽曲の楽曲ＩＤを含む予約待ち行列３４ａを作成して管理するためのプログラムからなる。すなわち、予約管理手段３６は、利用者により楽曲検索手段２６ａの機能を用いて選曲された楽曲ＩＤを演奏順に並べて予約待ち行列３４ａを作成し、この予約待ち行列３４ａをＲＡＭ３４に格納して管理する。また、予約待ち行列３４ａに選曲者の利用者ＩＤを含める場合には、利用者ＩＤの取得が必要となる。

利用者ＩＤは、利用者ＩＤカードに記憶された利用者ＩＤをカードリーダにより読み取り、あるいは、カラオケリモコン装置２６の入出力表示部２６ｄを用いて入力された利用者ＩＤ及びパスワードに基づいて取得すればよい。さらに、利用者が携帯する携帯情報端末を用いて予約を行う機能を有する場合には、当該携帯情報端末の機器ＩＤに紐付けされた利用者ＩＤを取得してもよい。また、カラオケ演奏装置２０を使用する際に、利用者に対して一時的に利用者ＩＤを付与してもよい。

＜音楽再生制御手段＞
音楽再生制御手段４１は、楽曲ＩＤに基づいて演奏データから抽出された演奏制御データに基づいて、音源データをデジタル再生すると共にアナログ変換してミキシングアンプ２５に出力するための電子回路である。上述したように、ミキシングアンプ２５は、マイクロホン２３から入力された歌唱者の歌唱音声信号と、音楽再生制御手段４１から送出される演奏音声信号とをミキシングすると共に、アンプ機能により増幅してスピーカ２２より出力するための装置である。

＜映像再生制御手段＞
映像再生制御手段４３は、カラオケ楽曲の演奏中に、映像データベース３５ｂから抽出した背景映像データと、演奏データに含まれる歌詞テロップ情報に基づいて作成される歌詞文字とを、当該カラオケ楽曲の演奏データに同期させて表示装置２４に出力する。

＜歌唱採点手段＞
歌唱採点手段３７、４４は、第１の態様と第２の態様とにおいて、採点方法が異なる機能手段となるが、歌唱採点を行うという上位概念においては共通の機能手段となる。すなわち、歌唱採点を行うという上位概念において、歌唱採点手段３７、４４は、マイクロホン２３から入力された歌唱音声信号と採点リファレンスデータとを比較して歌唱採点値を算出するためのプログラムからなる。

第１の態様の歌唱採点手段３７は、ピッチ検出判定手段４０がピッチを検出できたと判定した子音採点区間では、算出した歌唱採点値から所定値を減点して修正採点値を算出するとともに、マイクロホン２３から歌唱音声信号の入力があるにもかかわらず、ピッチを検出できないと判定した子音採点区間では、減点を行わない機能を有している。

マイクロホン２３から歌唱音声信号の入力があるにもかかわらず、ピッチを検出できないという条件は、歌唱者が歌唱している場合であっても、子音歌唱区間であるためピッチを検出できないことを確認するためである。すなわち、歌唱者が歌唱を行わないため、マイクロホン２３から歌唱音声信号が入力されない場合もあり、このような場合にまで歌唱採点値の修正を行う必要はないため、本発明では、子音採点区間において、歌唱者が実際に歌唱を行っていることを条件として、歌唱採点値の修正を行っている。

また、子音採点区間特定手段３８により、子音の種類を特定した場合には、第１の態様の歌唱採点手段３７は、ピッチ検出判定手段３９がピッチを検出できたと判定した子音採点区間において、算出した歌唱採点値に対して、特定された子音毎に設定された重み付けを行い、修正採点値を算出することが可能である。

第２の態様の歌唱採点手段４４は、ピッチ検出回数に対する子音発生回数の割合、またはピッチ検出合計時間に対する子音発生合計時間の割合が所定値以下の場合に、算出した歌唱採点値に対して減点を行う機能を有している。

なお、歌唱採点手段３７、４４を、第１の態様及び第２の態様双方の機能を実現するためのプログラムとして構成するとともに、第１の態様または第２の態様の機能のいずれか一方を選択して、歌唱採点を行うように構成してもよい。

＜子音採点区間特定手段＞
子音採点区間特定手段３８は、第１の態様で機能する手段である。子音採点区間特定手段３８は、第１の態様において、歌詞テロップ情報に基づき、子音が発生する採点区間を特定するためのプログラムからなる。また、子音採点区間を特定する際に、歌詞テロップ情報に基づいて、子音の種類を特定してもよい。子音の種類の特定は、歌唱採点手段３７における減点の重み付けに使用する。すなわち、歌詞テロップ情報には、表示装置２４に表示する歌詞文字情報が含まれており、この歌詞文字情報に基づいて、子音が発生する採点区間を特定することができ、さらに子音の種類を特定することができる。

＜ピッチ検出手段＞
ピッチ検出手段３９、４６は、第１の態様と第２の態様とにおいて、ピッチ検出方法が異なる機能手段となるが、ピッチ検出を行うという上位概念においては共通の機能手段となる。すなわち、ピッチ検出を行うという上位概念において、ピッチ検出手段３９、４６は、入力された歌唱音声信号からピッチ検出を行うためのプログラムからなる。

第１の態様のピッチ検出手段３９は、特定された子音採点区間において、入力された歌唱音声信号からピッチ検出を行うのに対して、第２の態様のピッチ検出手段４６は、すべての採点区間において、入力された歌唱音声信号からピッチ検出を行う点が異なっている。

なお、ピッチ検出手段３９，４６を、第１の態様及び第２の態様双方の機能を実現するためのプログラムとして構成するとともに、第１の態様または第２の態様の機能のいずれか一方を選択して、ピッチ検出を行うように構成してもよい。

＜ピッチ検出判定手段＞
ピッチ検出判定手段４０は、第１の態様で機能する手段である。ピッチ検出判定手段４０は、第１の態様において、ピッチ検出手段３９がピッチを検出できたか否かを判定するためのプログラムからなる。すなわち、子音採点区間では、子音の種類にもよるが、本来の歌唱方法で歌唱するとピッチを検出できないことが一般的である。したがって、子音採点区間でピッチを検出できた場合には、本来の歌唱方法とは異なる歌唱方法（イレギュラーな歌唱方法）で歌唱していると推定することができる。本来の歌唱方法とは異なる歌唱方法（イレギュラーな歌唱方法）とは、例えば、子音の発音時間を極端に短くしたり、子音を発音せずに母音のみを発音したりする等の歌唱方法である。このような本来の歌唱方法とは異なる歌唱方法で歌唱した場合には、聴者が違和感を覚えることになる。

＜子音発生値算出手段＞
子音発生値算出手段４５は、第２の態様で機能する手段である。子音発生値算出手段４５は、第２の態様において、歌詞テロップ情報に基づき、子音発生回数又は子音発生合計時間を算出するためのプログラムからなる。上述したように、歌詞テロップ情報には、表示装置２４に表示する歌詞文字情報が含まれており、この歌詞文字情報に基づいて、子音発生回数又は子音発生合計時間を算出することができる。図示しないが、算出した子音発生回数又は子音発生合計時間は、例えば、各カラオケ楽曲の楽曲データとともに、楽曲データベース３５ｂに格納することができる。

＜比較手段＞
比較手段４７は、第２の態様で機能する手段である。比較手段４７は、第２の態様において、ピッチ検出手段４６が検出したピッチ検出回数と子音発生回数、またはピッチ検出手段４６が検出したピッチ検出合計時間と子音発生合計時間とを比較するためのプログラムからなる。すなわち、ピッチ検出手段４６が検出したピッチ検出回数と子音発生回数とを比較することにより、子音採点区間において本来の歌唱方法で歌唱しているか否かを推定することができる。同様に、ピッチ検出手段４６が検出したピッチ検出合計時間と子音発生合計時間とを比較することにより、子音採点区間において本来の歌唱方法で歌唱しているか否かを推定することができる。

すなわち、子音採点区間において本来の歌唱方法で歌唱している場合には、子音の種類にもよるが、ピッチを検出できないはずである。しかし、子音採点区間において本来の歌唱方法と異なる歌唱方法で歌唱している場合には、ピッチを検出できてしまうため、上述した比較を行うことにより、子音採点区間における歌唱方法を推定して、適正な歌唱採点値に修正することができる。

＜採点方法（実施例１）＞
図３を参照して、採点方法の実施例１を説明する。採点方法の実施例１は、ピッチ検出判定手段４０がピッチを検出できたと判定した子音採点区間（イレギュラーな歌唱方法で歌唱を行った子音採点区間）では、算出した歌唱採点値から所定値を減点して修正採点値を算出するとともに、マイクロホン２３から歌唱音声信号の入力があるにもかかわらず、ピッチを検出できないと判定した子音採点区間では、減点を行わない採点方法である。

採点方法の実施例１では、子音採点区間特定手段３８の機能により、歌詞テロップ情報に基づき、子音が発生する採点区間を特定する。また、ピッチ検出手段３９の機能により、マイクロホン２３から入力された歌唱音声信号からピッチを検出する。そして、ピッチ検出判定手段４０の機能により、特定した子音歌唱区間において、ピッチを検出できたか否かを判定する。また、歌唱採点手段３７の機能により、マイクロホン２３から入力された歌唱音声信号と採点リファレンスデータとを比較して歌唱採点値を算出する。

その結果、図３に示すように、ピッチを検出できた場合には、イレギュラーな歌唱方法で歌唱を行ったとして、算出した歌唱採点値から所定値（例えば、１０点）の減点及びイレギュラーな歌唱に対するペナルティ減点（例えば、１０点）を行う。一方、ピッチを検出できなかった場合には、減点は行わない。これにより、子音採点区間において本来の歌唱方法と異なる歌唱方法で歌唱している場合に減点を行い、歌唱採点に対する聴者の印象と実際の歌唱採点値との乖離をなくすことができる。なお、歌唱採点に対する聴者の印象と実際の歌唱採点値との乖離をなくすという点において、イレギュラーな歌唱方法に対するペナルティ減点を行うことが好ましいが、子音の種類等によっては、ペナルティ減点を行わなくてよい場合もある（実施例２及び実施例３において同様）。

＜採点方法（実施例２）＞
図４を参照して、採点方法の実施例２を説明する。採点方法の実施例２は、ピッチ検出判定手段４０がピッチを検出できたと判定した子音採点区間において、算出した歌唱採点値に対して、特定された子音毎に設定された重み付けを行い、修正採点値を算出する採点方法である。

採点方法の実施例２では、子音採点区間特定手段３８の機能により、歌詞テロップ情報に基づき、子音が発生する採点区間を特定するとともに、子音の種類を特定する。また、ピッチ検出手段３９の機能により、マイクロホン２３から入力された歌唱音声信号からピッチを検出する。そして、ピッチ検出判定手段４０の機能により、特定した子音歌唱区間において、ピッチを検出できたか否かを判定する。また、歌唱採点手段３７の機能により、マイクロホン２３から入力された歌唱音声信号と採点リファレンスデータとを比較して歌唱採点値を算出する。

その結果、図４に示すように、ピッチを検出できた場合には、イレギュラーな歌唱方法で歌唱を行ったとして、算出した歌唱採点値から子音の種類に応じて重み付けを行った所定値を減点する。一方、ピッチを検出できなかった場合には、減点は行わない。これにより、子音採点区間において本来の歌唱方法と異なる歌唱方法で歌唱している場合に減点を行うが、この際、子音の種類を考慮して減点に重み付けを行うことにより、さらに正確に、歌唱採点に対する聴者の印象と実際の歌唱採点値との乖離をなくすことができる。

子音の種類に応じた減点の重み付けは、例えば、子音区間が長い「サ行」の子音では減点割合を大きくし、子音区間が短い「カ行」の子音では減点割合を小さくする。具体的には、「サ行」の子音では１５点の減点及びイレギュラーな歌唱方法に対するペナルティ減点（例えば、１０点）を行い、「カ行」の子音では１０点の減点及びイレギュラーな歌唱方法に対するペナルティ減点（例えば、１０点）を行う。子音区間の長さについては、先に、図６及び図９を用いて説明した通りである。

＜採点方法（実施例３）＞
図５を参照して、採点方法の実施例３を説明する。採点方法の実施例３は、ピッチ検出回数に対する子音発生回数の割合、またはピッチ検出合計時間に対する子音発生合計時間の割合が所定値以下の場合に、算出した歌唱採点値に対して減点を行う採点方法である。

採点方法の実施例３では、子音発生値算出手段４５の機能により、歌詞テロップ情報に基づき、子音発生回数又は子音発生合計時間を算出する。また、ピッチ検出手段４６の機能により、マイクロホン２３から入力された歌唱音声信号からピッチを検出する。そして、比較手段４７の機能により、ピッチ検出手段４６が検出したピッチ検出回数と子音発生回数、またはピッチ検出手段４６が検出したピッチ検出合計時間と子音発生合計時間とを比較する。また、歌唱採点手段４４の機能により、マイクロホン２３から入力された歌唱音声信号と採点リファレンスデータとを比較して歌唱採点値を算出する。

その結果、図５に示すように、ピッチ検出回数に対する子音発生回数の割合が所定値（例えば、２０％）以下の場合、またはピッチ検出合計時間に対する子音発生合計時間の割合が所定値（例えば、２０％）以下の場合に、算出した歌唱採点値に対して減点（例えば、１０点の減点）を行うとともに、イレギュラーな歌唱方法で歌唱を行ったとして、ペナルティ減点（例えば、１０点）を行う。これにより、子音採点区間において本来の歌唱方法と異なる歌唱方法で歌唱している場合に減点を行い、歌唱採点に対する聴者の印象と実際の歌唱採点値との乖離をなくすことができる。なお、図５に示すピッチ検出回数、子音発生回数、ピッチ検出合計時間、子音発生合計時間は、実際のカラオケ楽曲に基づく数値ではなく、採点方法の実施例３を説明するための仮想的な数値である。

＜他の実施形態＞
本発明のシステム及びその周辺装置を構成する機器や手段は上述したものに限定されず、その利用目的に応じて、必要な機器や手段のみの構成としたり、適宜他の機器や手段を付加したりすることができる。また、各手段をそれぞれ別個のものとして構成するのではなく、複数の機能を統合した手段として構成してもよい。

１０ 歌唱採点システム
２０ カラオケ演奏装置
２１ カラオケ本体
２２ スピーカ
２３ マイクロホン
２４ 表示装置
２５ ミキシングアンプ
２６ カラオケリモコン装置
２６ａ 楽曲検索手段
２６ｂ 楽曲索引データベース
２６ｃ データ記憶部
２６ｄ 入出力表示部
３１ ネットワーク送受信手段
３２ 中央制御手段
３３ ＲＯＭ
３４ ＲＡＭ
３４ａ 予約待ち行列
３５ ＨＤＤ
３５ａ 楽曲データベース
３５ｂ 映像データベース
３６ 予約管理手段
３７ 歌唱採点手段（第１の態様）
３８ 子音採点区間特定手段
３９ ピッチ検出手段（第１の態様）
４０ ピッチ検出判定手段
４１ 音楽再生制御手段
４２ Ａ／Ｄコンバータ
４３ 映像再生制御手段
４４ 歌唱採点手段（第２の態様）
４５ 子音発生値算出手段
４６ ピッチ検出手段（第２の態様）
４７ 比較手段
５０ ルータ
６０ データ通信回線
７０ 管理サーバ

Claims (3)

1. カラオケ楽曲の歌詞である各単語の歌唱時間よりも短い時間となるように、歌唱採点の対象となる採点区間を設定し、各採点区間において歌唱採点値を算出する歌唱採点システムにおいて、
   マイクロホンから入力された歌唱音声信号と採点リファレンスデータとを比較して歌唱採点値を算出する歌唱採点手段と、
   歌詞テロップ情報に基づき、子音が発生する採点区間を特定する子音採点区間特定手段と、
   前記特定された子音採点区間において、前記入力された歌唱音声信号からピッチ検出を行うピッチ検出手段と、
   前記ピッチ検出手段がピッチを検出できたか否かを判定するピッチ検出判定手段と、を備え、
   前記歌唱採点手段は、前記ピッチ検出判定手段がピッチを検出できたと判定した子音採点区間では、前記算出した歌唱採点値から所定値を減点して修正採点値を算出するとともに、マイクロホンから歌唱音声信号の入力があるにもかかわらず、ピッチを検出できないと判定した子音採点区間では、前記減点を行わない、
   ことを特徴とする歌唱採点システム。
2. 前記子音採点区間特定手段は、歌詞テロップ情報に基づき、子音が発生する採点区間を特定するとともに、子音の種類を特定し、
   前記歌唱採点手段は、前記ピッチ検出判定手段がピッチを検出できたと判定した子音採点区間において、前記算出した歌唱採点値に対して、前記特定された子音の種類毎に設定された重み付けを行い、修正採点値を算出する、
   ことを特徴とする請求項１に記載の歌唱採点システム。
3. カラオケ楽曲の歌詞である各単語の歌唱時間よりも短い時間となるように、歌唱採点の対象となる採点区間を設定し、各採点区間において歌唱採点値を算出する歌唱採点システムにおいて、
   マイクロホンから入力された歌唱音声信号と採点リファレンスデータとを比較して歌唱採点値を算出する歌唱採点手段と、
   歌詞テロップ情報に基づき、子音発生回数又は子音発生合計時間を算出する子音発生値算出手段と、
   前記入力された歌唱音声信号からピッチ検出を行うピッチ検出手段と、
   前記ピッチ検出手段が検出したピッチ検出回数と前記子音発生回数、または前記ピッチ検出手段が検出したピッチ検出合計時間と前記子音発生合計時間とを比較する比較手段と、を備え、
   前記歌唱採点手段は、前記ピッチ検出回数に対する前記子音発生回数の割合、または前記ピッチ検出合計時間に対する前記子音発生合計時間の割合が所定値以下の場合に、前記算出した歌唱採点値に対して減点を行う、
   ことを特徴とする歌唱採点システム。

Images