JP6177091B2 - 歌唱採点システム - Google Patents

Description

本発明は、歌唱採点システムに関するものであり、特に、カラオケ楽曲の歌詞である各単語の歌唱時間よりも短い時間となるように、歌唱採点の対象となる採点区間を設定し、各採点区間において、マイクロホンから入力された歌唱音声信号と採点リファレンスデータとを比較して歌唱採点値を算出する歌唱採点システムに関するものである。

現在普及しているカラオケシステムでは、マイクロホンから入力された歌唱音声信号と採点リファレンスデータとを比較して歌唱採点値を算出する歌唱採点機能を備えている。このような歌唱採点機能に関する技術は、例えば、特許文献１に記載されている。

特許文献１に記載されたカラオケ装置は、シーケンサがカラオケ演奏用データを読み出して楽音発生部に入力することによってカラオケ演奏が行われる。カラオケ歌唱者は、カラオケ演奏に合わせて歌唱し、その歌唱音声信号はマイクを介してアンプに入力されるとともにＡ／Ｄコンバータにも入力され、デジタルデータに変換される。

そして、データ抽出部により、デジタル化された歌唱音声信号から音高データ、音量データを抽出し、抽出した音高データ、音量データ（歌唱音声）を比較部に入力する。シーケンサはカラオケ演奏用データに並行して比較用データであるガイドメロディを読み出してこれを比較部に入力する。比較部では、抽出した音高データ、音量データと、ガイドメロディとを比較して、歌唱者の歌唱の巧拙を採点評価するようになっている。

特開平１０−６９２１６号公報

上述したように、マイクロホンから入力され、Ａ／Ｄコンバータによりデジタル変換された歌唱音声信号と、ガイドメロディ等の歌唱採点用リファレンスデータとを比較することにより、歌唱採点値を算出することができる。しかし、特に、カラオケ楽曲の歌詞である各単語の歌唱時間よりも短い時間となるように、歌唱採点の対象となる採点区間を設定し、各採点区間において、マイクロホンから入力された歌唱音声信号と採点リファレンスデータとを比較して歌唱採点値を算出する歌唱採点システムでは、歌詞の単語の種類によっては、音高データ（ピッチデータ）を抽出できない場合がある。

そして、音高データ（ピッチデータ）を抽出できない採点区間においては、歌唱者が上手に歌唱しているにも拘わらず、採点リファレンスデータと比較するデータを抽出できないため歌唱採点値が低くなってしまい、正確な歌唱採点を行うことができないという問題があった。特に、原曲の歌手が一般的な発音方法とは異なる特殊な発音方法で歌唱している場合に、歌唱者がこの特殊な発音方法を真似て歌唱すると、聴者にとっては原曲の歌手の歌唱方法を真似た優れた歌唱方法であると感じても、実際の歌唱採点値は低くなる場合がある。

すなわち、現在のカラオケシステムで利用されているピッチ検出方法では、歌詞に含まれる単語の中の子音部分（ｓ、ｔ、ｋ等）は、原則としてピッチを検出することができない。また、子音の種類に応じて、発音する時間的な長さが異なる。具体的には、同じ長さの「す」と「き」を比較すると、「す」における子音部分「ｓ」の方が、「き」における子音部分「ｋ」よりも発音時間が長い。したがって、採点区間毎にピッチ検出を行うと、サ行の発音は当該区間で子音部分「ｓ」が占める時間が長くなり、カ行の発音よりもピッチ検出の精度が低下してしまう。一方、カ行の発音は当該区間で子音部分「ｋ」が占める時間が短いため、ピッチ検出の精度が低下することは殆どない。

図面を参照して、「す」及び「き」を発音する際の子音部分の長さ、「す」における子音「ｓ」のＦＦＴによる周波数特性の解析結果（以下、ＦＦＴと略す、図面も同様）及び母音「ｕ」のＦＦＴ、「き」における子音「ｋ」のＦＦＴ及び母音「ｉ」のＦＦＴについて説明する。なお、通常の歌唱において、子音部分すなわち「す」の発音における「ｓ」及び「き」の発音における「ｋ」の長さは、それぞれほぼ一定であると考えてよい。一方、母音部分すなわち「す」の発音における「ｕ」及び「き」の発音における「ｉ」の長さに関しては、「す」と「きー」など全体の発音を短く歌唱するか長く歌唱するかで変化する。図６は「す（ｓｕ）」の発音における子音の長さを示す説明図、図７は子音「ｓ」のＦＦＴを示す説明図、図８は母音「ｕ」のＦＦＴを示す説明図、図９は「き（ｋｉ）」の発音における子音の長さを示す説明図、図１０は子音「ｋ」のＦＦＴを示す説明図、図１１は母音「ｉ」のＦＦＴを示す説明図である。

図６に示すように、「す（ｓｕ）」を発音すると、子音「ｓ」の発音部分は約１１０ｍｓｅｃ続く。また、図７に示すように、子音「ｓ」を発音した場合にははっきりとした基音や倍音列が認められず、ピッチを検出することは困難である。一方、図８に示すように、母音「ｕ」を発音した場合には、周波数が約３１０Ｈｚで相対的に高いレベルを持つ基音とその略整数倍の周波数を持つ倍音列を含んでおり、ピッチを検出することが可能となる。このように、サ行の発音（例えば「す」の発音）では、採点区間において子音部分「ｓ」が占める時間が長いため、正確なピッチ検出を行うことができない。したがって、サ行の音声を含む採点区間において採点の精度を上げるためには、採点方法に工夫を施す必要がある。

これに対して、図９に示すように、「き（ｋｉ）」を発音すると、子音「ｋ」の発音部分は約２５ｍｓｅｃであり、子音「s」の発音部分の４分の１以下である。また、図１０に示すように、子音「ｋ」を発音した場合には、はっきりとした基音や倍音列が認められず、ピッチを検出することは困難である。一方、図１１に示すように、母音「ｉ」を発音した場合には、周波数が約３００Ｈｚで相対的に高いレベルを持つ基音とその略整数倍の周波数を持つ倍音列を含んでおり、ピッチを検出することが可能となる。このように、カ行の発音（例えば、「き」の発音）では、所定時間長の採点区間において子音部分「ｋ」が占める時間が極めて短いため、当該子音部分「ｋ」でピッチ検出を行うことができなくても、母音部分「ｉ」において、歌唱採点に必要なピッチ検出を行うことができる。したがって、カ行の音声を含む採点区間では、採点方法の精度が極端に低下することはない。

図６〜図１１から明らかなように、サ行及びカ行のいずれの場合であっても、母音部分は整数倍音のピークがきれいに出ており、基音でピッチ検出が可能であるのに対して、子音部分は基音の周波数域でピッチ検出しようとしてもピークが無いため、ピッチ検出（一波長の測定）ができない。さらに、カ行はサ行と比較して、子音部分「ｋ」の発音時間が短いため、子音部分「ｋ」を無視してピッチ検出を行うことができる。

ところで、上述したように、子音部分「ｓ」を発音した場合のように、ピッチを検出することができない時間が比較的長いと、歌唱採点において音程の評価値が下がる原因となる。一方、ピッチを検出することができない子音部分「ｓ」を含む採点区間であっても、原曲歌手の発音方法を真似て歌唱している場合に、聴者が原曲歌手を想像させる優れた歌唱方法であると感じることがある。すなわち、歌唱方法に特徴がある原曲歌手のカラオケ楽曲を歌唱する歌唱者は、このような特徴的な歌唱方法を真似ることにより、聴者の注目を得たいという欲求があり、聴者にとっても、原曲歌手を想像させる歌唱方法は、カラオケの興趣を高めるものであるため、多くの歌唱者が原曲歌手の発音方法を真似て歌唱しているものと思われる。

しかし、このような歌唱方法を行った場合であっても、ピッチを検出することができなければ歌唱採点値が低くなってしまい、実際の歌唱採点値と聴者の感覚とに乖離が生じることになり、歌唱採点に対して聴者が違和感を覚える原因となる。

したがって、原曲歌手の特徴的な歌唱方法を真似て歌唱する等、通常の歌唱方法とは異なる特徴的な歌唱方法が一般的となっているカラオケ楽曲について、当該特徴的な歌唱方法で歌唱した場合に、歌唱採点値が高くなるような補正を行うことにより、実際の歌唱採点値と聴者の感覚とが一致し、聴者に対する違和感を与えないだけではなく、特徴的な歌唱テクニックを有している歌唱者にとっても歌唱の楽しさを十分に味わうことができる。

本発明は、上述した事情に鑑み提案されたもので、歌詞の単語が含む子音の種類に応じて音高データ（ピッチデータ）を抽出できない採点区間が存在する場合であっても、多くの歌唱者が行っている特徴的な歌唱方法で歌唱している場合には、歌唱採点値に対する補正を行って、歌唱者及び聴者双方がカラオケを楽しむことが可能な歌唱採点システムを提供することを目的とする。

本発明の歌唱採点システムは、上述した事情に鑑み提案されたもので、以下の特徴点を有している。すなわち、本発明の歌唱採点システムは、カラオケ楽曲の歌詞である各単語の歌唱時間よりも短い時間となるように、歌唱採点の対象となる採点区間を設定し、各採点区間において歌唱採点値を算出する歌唱採点システムにおいて、歌唱採点手段と、子音採点区間特定手段と、ピッチ検出手段と、ピッチ非検出時間データ記憶手段と、許容値決定手段とを備えたことを特徴とするものである。

歌唱採点手段は、任意のカラオケ楽曲について、マイクロホンから入力された歌唱音声信号と採点リファレンスデータとを比較して歌唱採点値を算出するための手段である。子音採点区間特定手段は、カラオケ楽曲の歌詞テロップ情報に基づき、子音が発生する採点区間を特定するための手段である。ピッチ検出手段は、特定された各子音採点区間において、マイクロホンから入力された歌唱音声信号からピッチ検出を行うための手段である。

ピッチ非検出時間データ記憶手段は、カラオケ楽曲の子音採点区間毎に、ピッチ検出手段によりピッチを検出できなかった時間データを記憶するための手段である。ピッチ非検出時間統計手段は、ピッチ非検出時間データ記憶手段に記憶されたピッチ非検出時間データに基づき、カラオケ楽曲の子音採点区間毎に、ピッチを検出できなかった時間の統計値を算出するための手段である。許容値決定手段は、カラオケ楽曲の子音採点区間毎に、ピッチ非検出時間統計手段により算出した統計値に基づき、当該子音採点区間におけるピッチ非検出に対する許容値を決定するための手段である。

そして、歌唱採点手段は、各カラオケ楽曲について、マイクロホンから歌唱音声信号の入力があるにもかかわらず、ピッチを検出できなかった時間が許容値の範囲内である場合に、ピッチが検出できなかったことに対する減点を行わずに修正歌唱採点値を算出する。

また、上述した構成に加えて、歌唱採点手段は、各カラオケ楽曲について、マイクロホンから歌唱音声信号の入力があるにもかかわらず、ピッチを検出できなかった時間が許容値の範囲内である場合に、ボーナス点を加算して、修正歌唱採点値を算出することが可能である。

このような構成からなる歌唱採点システムでは、カラオケ楽曲の演奏に合わせて利用者が歌唱を行うと、マイクロホンから入力された歌唱音声信号をＡ／Ｄコンバータによりデジタル変換して、歌唱採点対象となる採点対象データを生成する。そして、歌唱採点手段により、所定の歌唱採点区間毎に、採点対象データと採点リファレンスデータとを比較して歌唱採点値を算出する。

また、カラオケ楽曲の進行に伴い出力される歌詞テロップ情報に基づき、子音が発生する採点区間を逐次特定して、当該子音採点区間においてピッチを検出するとともに、ピッチを検出しなかった時間（ピッチ非検出時間）のデータ（ピッチ非検出時間データ）を記憶する。そして、記憶したピッチ非検出時間データに基づき、各カラオケ楽曲の子音採点区間毎にピッチ非検出時間の統計値を算出し、当該統計値に基づき、当該子音採点区間におけるピッチ非検出に対する許容値を決定する。

このような手順により、各カラオケ楽曲の子音採点区間毎に、複数の歌唱者を対象としたピッチ非検出時間の統計値を求めて、当該統計値を基準として、ピッチを検出できなかった場合であっても、ピッチ非検出時間の許容値を決定する。そして、当該カラオケ楽曲の歌唱採点では、決定した許容値を用いて、ピッチ検出に対する歌唱採点値を修正する。

すなわち、ピッチ検出手段により、子音が発生する採点区間として特定された子音採点区間において、歌唱音声信号からピッチ検出を行い、ピッチ検出判定手段により、ピッチを検出できなかった時間が、統計値に基づき決定した許容値の範囲内である場合には、原曲歌手の歌唱方法を真似て歌唱する等、聴者にとって上手に歌唱しているように聞こえる歌唱テクニックを駆使しているものとして、ピッチを検出できなかったことに対する減点を行わず、あるいはボーナス点を加算して修正歌唱採点値を算出する。

本発明の歌唱採点システムによれば、子音が発生する採点区間として特定された子音採点区間において、マイクロホンから入力された歌唱音声信号からピッチを検出することができなかった場合であっても、当該ピッチ非検出時間が、複数の歌唱者による歌唱の統計値に基づいて算出した許容値の範囲内である場合には、ピッチを検出することができなかったことに対する減点を行わず、あるいはボーナス点を加算して修正歌唱採点値を算出する。

したがって、ピッチを検出することができない子音採点区間であっても、複数の歌唱者が自らの歌唱テクニックを駆使して、聴者にとって上手に歌唱していると認識できる歌唱方法で歌唱を行っていると推定できる場合には、歌唱採点値に対する補正を行って歌唱採点値を減点せず、あるいは、さらに加点を行うことにより、聴者に違和感を与えることなく、歌唱者及び聴者双方がカラオケを楽しむことが可能となる。

また、カラオケ楽曲の歌詞である各単語の歌唱時間よりも短い時間となるように、歌唱採点の対象となる採点区間を設定すると、音高データ（ピッチデータ）を抽出できない場合があるが、本発明の歌唱採点システムでは、このような歌唱採点区間が存在した場合であっても、複数の歌唱者が同様の歌唱方法（例えば、原曲歌手の歌唱を真似た歌唱方法）で歌唱を行っている場合には、歌唱者の歌唱テクニックを評価して、聴者の感覚と乖離していない歌唱採点を行うことができる。

本発明の実施形態に係る歌唱採点システムを適用したカラオケシステムの構成を示すブロック図。 本発明の実施形態に係る歌唱採点システムの管理サーバの構成を示すブロック図。 本発明の実施形態に係る歌唱採点システムにおけるピッチ非検出時間データの一例を示す説明図。 本発明の実施形態に係る歌唱採点システムにおけるピッチ非検出時間データベースの一例を示す説明図。 本発明の実施形態に係る歌唱採点システムにおける歌唱採点方法の一例を示す説明図。 「す（ｓｕ）」の発音における子音の長さを示す説明図。 子音「ｓ」のＦＦＴを示す説明図。 母音「ｕ」のＦＦＴを示す説明図。 「き（ｋｉ）」の発音における子音の長さを示す説明図。 子音「ｋ」のＦＦＴを示す説明図。 母音「ｉ」のＦＦＴを示す説明図。

図面を参照して、本発明の歌唱採点システムの実施形態について説明する。図１〜図５は本発明の実施形態に係る歌唱採点システムを示すもので、図１は歌唱採点システムを適用したカラオケシステムの構成を示すブロック図、図２は管理サーバの構成を示すブロック図、図３はピッチ非検出時間データの一例を示す説明図、図４はピッチ非検出時間データベースの一例を示す説明図、図５は歌唱採点方法の一例を示す説明図である。

＜歌唱採点システムの概要＞
本発明の実施形態に係る歌唱採点システム１０は、カラオケ楽曲の歌詞である各単語の歌唱時間よりも短い時間となるように、歌唱採点の対象となる採点区間を設定し、各採点区間において歌唱採点値を算出するシステムに関するものである。この歌唱採点システム１０は、図１に示すようにカラオケシステム（カラオケ演奏装置２０を含むシステム）に組み込まれてその機能を実現するものであり、歌唱採点機能の一部として構成される。

本実施形態の歌唱採点システム１０では、図１及び図２に示すように、歌唱採点機能を実現するための機能手段として、歌唱採点手段３７と、子音採点区間特定手段３８と、ピッチ検出手段３９と、ピッチ非検出時間データ記憶手段（ＲＡＭ３４）と、ピッチ非検出時間統計手段７４と、許容値決定手段７５とを備えている。本実施形態では、歌唱採点手段３７、子音採点区間特定手段３８、ピッチ検出手段３９、ピッチ非検出時間データ記憶手段（ＲＡＭ３４）、カラオケ演奏装置２０（カラオケ本体２１）の機能手段として実現し、ピッチ非検出時間統計手段７４、許容値決定手段７５は、管理サーバ７０の機能手段として実現する。

なお、以下の説明において、プログラムとは、ＲＡＭ等に記憶され、ＣＰＵ等のハードウェアで実行されることにより、その機能を発揮するソフトウェアだけではなく、同等の機能を発揮することが可能な論理回路も含む概念である。

＜カラオケ演奏装置＞
本発明の実施形態に係る歌唱採点システム１０を適用するカラオケ演奏装置２０は、図１に示すように、カラオケ本体２１、スピーカ２２、マイクロホン２３、表示装置２４、ミキシングアンプ２５、カラオケリモコン装置２６を備えている。また、カラオケ演奏装置２０は、ルータ５０及びデータ通信回線６０を介して、管理サーバ７０とネットワーク接続されている。

＜カラオケリモコン装置＞
カラオケリモコン装置２６は、ユーザインタフェース機能を備えており、ルータ５０を介してカラオケ本体２１とデータ通信を行うようになっている。このカラオケリモコン装置２６は、楽曲検索手段２６ａとして機能するプログラム、楽曲索引データベース２６ｂ、種々のデータを記憶するためのデータ記憶部２６ｃ、データの入出力を行うための入出力表示部２６ｄ等を備えている。このカラオケリモコン装置２６に付帯するスイッチ類や、入出力表示部２６ｄに表示される各種のアイコン等を操作することにより、選曲操作等が行われる。

なお、カラオケ本体２１にローカル送受信手段（図示せず）を設け、このローカル送受信手段とカラオケリモコン装置２６との間で有線方式又は無線方式（例えば、赤外線通信）によりデータの送受信を行うようにしてもよい。さらに、利用者が所持する携帯情報端末（例えば、スマートフォン）等に、選曲プログラムをインストールすることにより、携帯情報端末に選曲装置としての機能を持たせ、管理サーバ７０を経由して、携帯情報端末とペアリングしたカラオケ演奏装置２０に対して選曲情報を送信するようにしてもよい。

＜楽曲検索手段／楽曲索引データベース＞
楽曲検索手段２６ａは、利用者の指示に基づき、楽曲索引データベース２６ｂを参照して楽曲を検索するためのプログラムからなる。楽曲索引データベース２６ｂは、カラオケ演奏装置２０で演奏に供されるカラオケ楽曲について、その属性情報を記述したデータベースであり、例えば、楽曲番号・曲名・アーティスト名・歌い出し部分の歌詞・流行時期・音楽ジャンル区分・デュエット曲か否かなど、種々の属性情報がこれに含まれている。

＜マイクロホン＞
マイクロホン２３は、歌唱音声の入力を行うための装置である。マイクロホン２３から入力された歌唱音声信号は、ミキシングアンプ２５により、音楽再生制御手段４０から送出される演奏音声信号とミキシングされると共に増幅され、スピーカ２２へ出力される。なお、マイクロホン２３からの音声入力信号は、Ａ／Ｄコンバータ４１によりデジタル変換され、歌唱採点手段３７における歌唱採点等に使用される。

＜表示装置＞
表示装置２４は、カラオケ楽曲に関連した背景映像や歌詞テロップ等を表示するための装置で、例えば、液晶ディスプレイ等により構成される。

＜カラオケ本体＞
カラオケ本体２１は、図１に示すように、ネットワーク送受信手段３１、中央制御手段３２、ＲＯＭ３３、ＲＡＭ３４、ＨＤＤ３５、予約管理手段３６、歌唱採点手段３７、子音採点区間特定手段３８、ピッチ検出手段３９、音楽再生制御手段４０、Ａ／Ｄコンバータ４１、映像再生制御手段４２を備えている。なお、本実施形態では、ＲＡＭ３４が、ピッチ非検出時間データ記憶手段として機能する。

＜ネットワーク送受信手段＞
ネットワーク送受信手段３１は、ルータ５０及びデータ通信回線６０を介して管理サーバ７０、カラオケリモコン装置２６、他のカラオケ演奏装置（図示せず）との間でデータの送受信を行うための電子回路及びプログラムからなる。データ通信回線６０は、データの送受信を行うことができればどのような回線であってもよいが、例えば、光回線、専用電話回線、一般電話回線、インターネット等を利用することができる。本実施形態では、光回線、専用電話回線、一般電話回線等の通信回線と、インターネットとを組み合わせて、データ通信回線６０を構成している。

＜中央制御手段＞
中央制御手段３２は、カラオケ本体２１を総合的に制御するための手段であり、例えばＣＰＵ及びその周辺機器により構成されており、ＣＰＵ等がＲＯＭ３３等に記憶されたプログラムに従って動作することにより、制御機能を発揮することができるようになっている。

＜ＲＯＭ／ＲＡＭ＞
ＲＯＭ３３は、カラオケ本体２１を構成する各機器を制御するためのプログラムデータや数値データを記憶するための機器で、例えば半導体メモリ等で構成される。また、ＲＡＭ３４は、プログラムや各種データを一時的に記憶する一時記憶領域として機能するもので、例えば半導体メモリ等で構成される。

本実施形態では、ＲＡＭ３４に、予約待ち行列３４ａ及びピッチ非検出時間データ３４ｂが記憶されるようになっている。なお、予約待ち行列３４ａは、選曲予約されたカラオケ楽曲について、演奏順に楽曲ＩＤを並べて構成されたデータテーブルであり、選曲予約者の利用者ＩＤ等、他の識別データが紐付けされている場合もある。また、ＲＡＭ３４に、歌唱採点値を記憶するようにしてもよい。ピッチ非検出時間データ３４ｂについては、後に詳述する。

＜ＨＤＤ＞
ＨＤＤ３５は、大容量記憶装置として機能するもので、楽曲データベース３５ａ、映像データベース３５ｂが格納されている。なお、ＨＤＤ３５に替えて、あるいはＨＤＤ３５と共に、データを書き替え可能なＤＶＤ等の大容量記憶装置を用いてもよい。

＜楽曲データベース／映像データベース＞
楽曲データベース３５ａは、演奏制御データ（ＭＩＤＩ規格のデータ）及び歌詞テロップ情報が同期されて構成される楽曲データと、歌唱採点に用いる採点リファレンスデータとが、楽曲ＩＤと対応付けてそれぞれ構成されたデータベースである。演奏制御データは、各楽曲の演奏を制御するためのデジタルデータであり、歌詞テロップ情報は演奏に同期した歌詞文字の表示タイミングデータ及び色変わりデータを含んでいる。採点リファレンスデータは、歌唱採点手段３７における歌唱採点において、マイクロホン２３から入力された歌唱音声信号と比較することにより、歌唱採点値を算出するためのデータである。また、子音採点区間特定手段３８は、歌詞テロップ情報に基づいて、子音を含む歌唱区間を特定する。

映像データベース３５ｂは、演奏されるカラオケ楽曲に対応した背景映像を、当該カラオケ楽曲の楽曲ＩＤに対応させた映像ファイルとして所定数格納したデータベースである。

＜予約管理手段＞
予約管理手段３６は、任意の利用者が選曲予約する際に、当該選曲されたカラオケ楽曲の楽曲ＩＤを含む予約待ち行列３４ａを作成して管理するためのプログラムからなる。すなわち、予約管理手段３６は、利用者により楽曲検索手段２６ａの機能を用いて選曲された楽曲ＩＤを演奏順に並べて予約待ち行列３４ａを作成し、この予約待ち行列３４ａをＲＡＭ３４に格納して管理する。また、予約待ち行列３４ａに選曲者の利用者ＩＤを含める場合には、利用者ＩＤの取得が必要となる。

利用者ＩＤは、利用者ＩＤカードに記憶された利用者ＩＤをカードリーダにより読み取り、あるいは、カラオケリモコン装置２６の入出力表示部２６ｄを用いて入力された利用者ＩＤ及びパスワードに基づいて取得すればよい。さらに、利用者が携帯する携帯情報端末を用いて予約を行う機能を有する場合には、当該携帯情報端末の機器ＩＤに紐付けされた利用者ＩＤを取得してもよい。また、カラオケ演奏装置２０を使用する際に、利用者に対して一時的に利用者ＩＤを付与してもよい。

＜音楽再生制御手段＞
音楽再生制御手段４０は、楽曲ＩＤに基づいて演奏データから抽出された演奏制御データに基づいて、音源データをデジタル再生すると共にアナログ変換してミキシングアンプ２５に出力するための電子回路である。上述したように、ミキシングアンプ２５は、マイクロホン２３から入力された歌唱者の歌唱音声信号と、音楽再生制御手段４０から送出される演奏音声信号とをミキシングすると共に、アンプ機能により増幅してスピーカ２２より出力するための装置である。

＜映像再生制御手段＞
映像再生制御手段４２は、カラオケ楽曲の演奏中に、映像データベース３５ｂから抽出した背景映像データと、演奏データに含まれる歌詞テロップ情報に基づいて作成される歌詞文字とを、当該カラオケ楽曲の演奏データに同期させて表示装置２４に出力する。

＜歌唱採点手段＞
歌唱採点手段３７は、マイクロホン２３から入力された歌唱音声信号と採点リファレンスデータとを比較して歌唱採点値を算出するためのプログラムからなる。そして、マイクロホン２３から歌唱音声信号の入力があるにもかかわらず、ピッチを検出できなかった時間が許容値の範囲内である場合に、ピッチが検出できなかったことに対する減点を行わず、あるいはボーナス点を加算して修正歌唱採点値を算出する。なお、歌唱採点手段３７は、マイクロホン２３から入力される歌唱音声信号と採点リファレンスデータとを比較して歌唱採点値を算出するためのプログラムであり、マイクロホン２３から歌唱音声信号の入力があるか否かを判定することができる。

マイクロホン２３から歌唱音声信号の入力があるにもかかわらず、ピッチを検出できなかった時間が許容値の範囲内であるという条件は、歌唱者が歌唱している場合であっても、子音採点区間であるためピッチを検出できず、さらに、複数の歌唱者の歌唱におけるピッチ非検出時間の統計値に合致した歌唱を行っているか否かを確認するためである。

例えば、子音採点区間においてピッチを検出できなかった場合であっても、原曲歌手の発音方法を真似て歌唱している場合には、聴者が原曲歌手を想像させる優れた歌唱方法であると感じることがある。すなわち、歌唱方法に特徴がある原曲歌手のカラオケ楽曲を歌唱する歌唱者は、このような特徴的な歌唱方法を真似ることにより、聴者の注目を得たいという欲求があり、聴者にとっても、原曲歌手を想像させる歌唱方法は、カラオケの興趣を高めるものであるため、多くの歌唱者が原曲歌手の発音方法を真似て歌唱しているものと思われる。

そこで、複数の歌唱者の歌唱におけるピッチ非検出時間の統計値を算出し、この統計値に基づいて、ピッチ非検出時間の許容値を決定することにより、実際の歌唱採点値と聴者の感覚との乖離をなくしている。さらに、ボーナス点を加算することとした場合には、歌唱者の歌唱技術を積極的に評価することができる。

＜子音採点区間特定手段＞
子音採点区間特定手段３８は、歌詞テロップ情報に基づき、子音が発生する採点区間を特定するためのプログラムからなる。すなわち、歌詞テロップ情報には、表示装置２４に表示する歌詞文字情報が含まれており、この歌詞文字情報に基づいて、子音が発生する採点区間を特定することができる。特定された子音採点区間の時間長は、歌詞テロップ情報から導き出される数値であり、子音を含む一文字単位の長さである。

＜ピッチ検出手段＞
ピッチ検出手段３９は、特定された子音採点区間において、入力された歌唱音声信号からピッチ検出を行うためのプログラムからなる。本実施形態では、ピッチ検出手段３９により、特定された子音採点区間でピッチを検出した時間を測定する。子音採点区間の時間長は子音採点区間特定手段３８により特定されるため、当該子音採点区間の時間長からピッチを検出した時間長を減算することにより、当該子音採点区間においてピッチを検出できなかった時間長を求めることができる。

＜ピッチ非検出時間データ記憶手段＞
ピッチ非検出時間データ記憶手段は、カラオケ楽曲の子音採点区間毎に、ピッチ検出手段によりピッチを検出できなかった時間データを記憶するための装置からなり、本実施形態では、ＲＡＭ３４がピッチ非検出時間データ記憶手段として機能する。すなわち、任意のカラオケ楽曲を歌唱する毎に、当該カラオケ楽曲について、子音歌唱区間毎のピッチ非検出時間からなるピッチ非検出時間データ３４ｂが記憶されるとともに、演奏終了後の任意のタイミングで管理サーバ７０に送信される。管理サーバ７０では、ピッチ非検出時間統計手段７４の機能により、ピッチ非検出時間データ３４ｂの統計値（例えば、平均値、標準偏差）を算出するとともに、許容値決定手段７５により、子音歌唱区間におけるピッチ非検出時の許容値を決定する。

ピッチ非検出時間データ３４ｂは、図３に示すように、演奏されたカラオケ楽曲における子音歌唱区間毎のピッチ非検出時間からなるデータである。上述したように、ピッチ非検出時間データ３４ｂは、カラオケ楽曲が演奏終了した後、任意のタイミングで管理サーバ７０に送信され、ピッチ非検出時間データの統計値（例えば，平均値）の算出及び許容値の決定に使用される。

＜管理サーバ＞
管理サーバ７０は、会員情報の管理、カラオケ演奏装置２０に対する楽曲データの配信、録音録画データの公開等を行うためのサーバである。管理サーバ７０は、図２に示すように、主要な構成要素として、サーバ制御手段７１、通信制御手段７２、データ記憶手段７３、ピッチ非検出時間統計手段７４、許容値決定手段７５を備えている。なお、図示しないが、サーバとしての機能を発揮するための電子機器であるＲＯＭ、ＲＡＭ、その他の電子機器を備えている。また、単独の管理サーバ７０により、上述した複数の機能を実現するのではなく、各機能に特化したサーバを設け、各サーバにより各機能を実現してもよい。この際、仮想化技術により、１つのサーバに複数の機能を持たせることもできる。

＜サーバ制御手段／通信制御手段／データ記憶手段＞
サーバ制御手段７１は、ＣＰＵ等を備えて管理サーバ７０を総合的に制御するための電子回路からなり、ＲＯＭ等に記憶された制御プログラムに従ってＣＰＵ等が動作することにより、管理サーバ７０の動作を制御する。通信制御手段７２は、データ通信回線６０を介して、カラオケ演奏装置２０や他のサーバ等の間でデータを送受信する際に、データ通信の整合性を確保するための電子回路及びプログラムからなる。データ記憶手段７３は、会員情報データ、楽曲データ、ピッチ非検出時間データ３４ｂの統計値等の各種のデータを記憶するための装置であり、ＨＤＤ等の大容量記憶装置からなる。

＜ピッチ非検出時間統計手段＞
ピッチ非検出時間統計手段７４は、カラオケ演奏装置２０のピッチ検出データ記憶手段（ＲＡＭ３４）に記憶され、データ通信回線６０を介して受信したピッチ非検出時間データ３４ｂに基づき、カラオケ楽曲の子音採点区間毎に、ピッチを検出できなかった時間の統計値を算出するためのプログラムからなる。本実施形態では、カラオケ演奏装置２０から受信したカラオケ楽曲毎のピッチ非検出時間データ３４ｂに基づいて、子音歌唱区間毎に統計を行い、単純平均値等の統計値を算出する。

算出した統計値は、ピッチ非検出時間データベース７３ａとして、データ記憶手段７３に記憶される。このピッチ非検出時間データベース７３ａは、図４に示すように、各カラオケ楽曲について、子音歌唱区間毎のピッチ非検出時間からなるピッチ非検出時間データを格納したデータベースである。

＜許容値決定手段＞
許容値決定手段７５は、カラオケ楽曲の子音採点区間毎に、ピッチ非検出時間統計手段７４により算出した統計値に基づき、当該子音採点区間におけるピッチ非検出に対する許容値を決定するためのプログラムからなる。すなわち、許容値決定手段７５は、ピッチ非検出時間データベース７３ａに格納したピッチ非検出時間データ等に基づいて、各カラオケ楽曲について、子音採点区間毎に、ピッチ非検出に対する許容値を決定する。許容値は、カラオケ楽曲の選曲予約が行われる毎に決定してもよいし、ピッチ非検出時間データベース７３ａの構成データとして格納してもよい（図４参照）。

ピッチ非検出時間データベース７３ａに許容値を格納する場合には、許容値決定手段７５は管理サーバ７０の機能手段となるが、カラオケ楽曲の選曲予約が行われる毎に許容値を決定する場合には、許容値決定手段７５はカラオケ本体２１の機能手段として構成してもよい。

例えば、時間長が３００ｍｓｅｃである子音採点区間において、ピッチ非検出時間の平均値が１８０ｍｓｅｃであった場合に、当該子音採点区間の時間長を最大値（３００ｍｓｅｃ）としてプラスマイナス５０ｍｓｅｃの範囲である１３０ｍｓｅｃ〜２３０ｍｓｅｃを許容値として決定する。また、時間長が３５０ｍｓｅｃである子音採点区間において、ピッチ非検出時間の平均値が３２０ｍｓｅｃであった場合に、当該子音採点区間の時間長（３５０ｍｓｅｃ）を最大値としてプラスマイナス５０ｍｓｅｃの範囲である２７０ｍｓｅｃ〜３５０ｍｓｅｃを許容値として決定する。なお、許容値の決定方法は上述したものに限られず、ピッチ非検出時間の統計値が反映されれば、どのような決定方法を採用してもよい。また、子音採点区間の時間長を最大値とした下限値のみを決定してもよく、この場合には下限値以上で、子音採点区間の時間長以下の値が許容値となる。

＜採点方法＞
図５を参照して、本発明の実施形態に係る採点方法を説明する。本発明の実施形態に係る採点方法は、特定された子音歌唱区間において、マイクロホン２３から歌唱音声信号の入力があるにもかかわらず、ピッチを検出できなかった時間が許容値の範囲内である場合に、ピッチが検出できなかったことに対する減点を行わずに修正歌唱採点値を算出するようになっている。さらに、ピッチを検出できなかった時間が許容値の範囲内である場合に、ボーナス点を加算してもよい。

本発明の実施形態に係る採点方法では、上述したように、各カラオケ楽曲の子音採点区間毎に、ピッチを検出できなかった時間の許容値を決定しておく。そして、カラオケ楽曲が演奏されると、子音採点区間毎に、マイクロホン２３から歌唱音声信号の入力がある場合に、ピッチを検出できなかった時間と、当該子音採点区間の許容値とを比較し、ピッチを検出できなかった時間が許容値の範囲内であれば、ピッチを検出できなかったことに対する減点を行わず、さらにボーナス点を加算してもよい。

例えば、通常の歌唱区間であれば、ピッチを検出できなかった場合に、ピッチを検出できなかったことに対する減点を行うが、特定された子音採点区間においてピッチを検出できなかった時間が許容値の範囲内の場合には、このような減点を行わず、さらにボーナス点を加算してもよい。加算するボーナス点は、適宜設定することができる。一方、子音採点区間の全域においてピッチを検出できた場合、あるいはピッチを検出できなかった時間が許容値の範囲外である場合には、実際の歌唱採点値（減点された歌唱採点値採点値）を採用する。

＜他の実施形態＞
本発明のシステム及びその周辺装置を構成する機器や手段は上述したものに限定されず、その利用目的に応じて、必要な機器や手段のみの構成としたり、適宜他の機器や手段を付加したりすることができる。また、各手段をそれぞれ別個のものとして構成するのではなく、複数の機能を統合した手段として構成してもよい。

１０ 歌唱採点システム
２０ カラオケ演奏装置
２１ カラオケ本体
２２ スピーカ
２３ マイクロホン
２４ 表示装置
２５ ミキシングアンプ
２６ カラオケリモコン装置
２６ａ 楽曲検索手段
２６ｂ 楽曲索引データベース
２６ｃ データ記憶部
２６ｄ 入出力表示部
３１ ネットワーク送受信手段
３２ 中央制御手段
３３ ＲＯＭ
３４ ＲＡＭ
３４ａ 予約待ち行列
３４ｂ ピッチ非検出時間データ
３５ ＨＤＤ
３５ａ 楽曲データベース
３５ｂ 映像データベース
３６ 予約管理手段
３７ 歌唱採点手段
３８ 子音採点区間特定手段
３９ ピッチ検出手段
４０ 音楽再生制御手段
４１ Ａ／Ｄコンバータ
４２ 映像再生制御手段
５０ ルータ
６０ データ通信回線
７０ 管理サーバ
７１ サーバ制御手段
７２ 通信制御手段
７３ データ記憶手段
７３ａ ピッチ非検出時間データベース
７４ ピッチ非検出時間統計手段
７５ 許容値決定手段

Claims (2)

1. カラオケ楽曲の歌詞である各単語の歌唱時間よりも短い時間となるように、歌唱採点の対象となる採点区間を設定し、各採点区間において歌唱採点値を算出する歌唱採点システムにおいて、
   任意のカラオケ楽曲について、マイクロホンから入力された歌唱音声信号と採点リファレンスデータとを比較して歌唱採点値を算出する歌唱採点手段と、
   前記カラオケ楽曲の歌詞テロップ情報に基づき、子音が発生する採点区間を特定する子音採点区間特定手段と、
   前記特定された各子音採点区間において、前記入力された歌唱音声信号からピッチ検出を行うピッチ検出手段と、
   前記カラオケ楽曲の子音採点区間毎に、前記ピッチ検出手段によりピッチを検出できなかった時間データを記憶するピッチ非検出時間データ記憶手段と、
   前記ピッチ非検出時間データ記憶手段に記憶されたピッチ非検出時間データに基づき、前記カラオケ楽曲の子音採点区間毎に、ピッチを検出できなかった時間の統計値を算出するピッチ非検出時間統計手段と、
   前記カラオケ楽曲の子音採点区間毎に、前記ピッチ非検出時間統計手段により算出した統計値に基づき、当該子音採点区間におけるピッチ非検出に対する許容値を決定する許容値決定手段と、を備え、
   前記歌唱採点手段は、各カラオケ楽曲について、マイクロホンから歌唱音声信号の入力があるにもかかわらず、前記ピッチを検出できなかった時間が前記許容値の範囲内である場合に、前記ピッチが検出できなかったことに対する減点を行わずに修正歌唱採点値を算出する、
   ことを特徴とする歌唱採点システム。
2. 前記歌唱採点手段は、各カラオケ楽曲について、マイクロホンから歌唱音声信号の入力があるにもかかわらず、前記ピッチを検出できなかった時間が前記許容値の範囲内である場合に、ボーナス点を加算して、修正歌唱採点値を算出する、
   ことを特徴とする請求項１に記載の歌唱採点システム。

Images