JP4135461B2 - カラオケ装置、プログラム及び記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、カラオケ装置における歌唱採点に関し、より具体的には、ビブラートやこぶしのようなテクニックを使った場合でも適正な採点結果を得ることができるようにする技術に関する。
【０００２】
【従来の技術】
従来、カラオケ装置の付帯機能として採点機能が良く知られている。この採点機能は、マイクロフォンから入力された歌唱者の音声信号をサンプリングすることで歌唱者が発声した音高や声量あるいはテンポなどの歌唱状態を示す歌唱データを生成する。この歌唱データとカラオケデータ中の主旋律データなどの採点基準データとを比較し、その比較結果に基づいて所定の得点を付与して採点データを生成する。そして、歌唱パートが終了するとこの採点データ中の得点を集計して総合得点を算出する。総合得点はそのままの得点をスコアボードやディスプレイに表示したり、所定のメッセージや所定の表現内容を含む映像など総合得点を反映した映像をディスプレイに出力したりする（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開平１１−３０５７８６号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の歌唱採点のやり方は、一意的に決められている採点基準に対する歌唱状態の一致度によって歌唱力の優劣を判定している。例えば音高の一致度合いを見る場合であれば、両者の音高の差分がなるべく零に近い方が歌唱力が優良であると判定している。そのため、例えばビブラートやこぶしのようなテクニックを使うと、歌唱者の音声信号から得た音高データと採点基準となる歌唱旋律の音高データとの差分が大きくなり、側で聞いている人にとっては上手く歌っているように感じていても、得点としては悪くなるという問題があった。
【０００５】
そこで本発明は、カラオケ歌唱する際に、一般的に上手なテクニックであるビブラートやこぶしにも対応して、歌唱力を適正に評価した採点が可能なカラオケ装置を提供することを目的とする。
【０００６】
【課題を解決するための手段及び発明の効果】
（１）上述した問題点を解決するためになされた請求項１に係るカラオケ装置は、曲データ記憶手段がカラオケ曲を演奏するためのカラオケ演奏データ及びそのカラオケ曲の歌唱旋律の音高データを含む採点基準データを記憶しており、カラオケ演奏手段が、指定されたカラオケ曲のカラオケ演奏データを曲データ記憶手段から読み出してカラオケ演奏を行なう。また、音声信号入力手段を介してカラオケ歌唱の音声信号が入力されると、音高抽出手段が、その音声信号をサンプリングしてカラオケ歌唱の音高データを抽出する。そして採点手段は、カラオケ演奏手段によるカラオケ演奏と同期してその演奏曲に対応する採点基準データを曲データ記憶手段から読み出し、その読み出した採点基準データと音高抽出手段によって抽出した音高データとに基づいて採点するのであるが、さらに詳しくは次のような採点を行う。
【０００７】
つまり、第１の音高差算出手段が、所定期間中に音高抽出手段によって抽出された複数の音高データと、曲データ記憶手段から読み出した採点基準データ中における対応する音高データとの差の絶対値をそれぞれ算出し、さらにそれら絶対値の平均値を求める。また、第２の音高差算出手段が、所定期間中に音高抽出手段によって抽出された複数の音高データと、曲データ記憶手段から読み出した採点基準データ中における対応する音高データとの差の平均値の絶対値を算出する。そして、第１の音高差算出手段によって算出した音高差と第２の音高差算出手段によって算出した音高差との差分が、所定値よりも大きい場合に、第２の音高差算出手段によって算出された音高差を用いて採点を行うのである。
【０００８】
ここで、所定値は、ビブラート又はこぶしを用いた特殊歌唱方法であるか否かを判定するための値であることが考えられる。第１及び第２の音高差算出手段によってそれぞれ算出した音高差同士の差分に基づいて、ビブラート又はこぶしを用いた特殊歌唱方法であるか否かを判定しているが、このようにして判定できる理由を説明する。
【０００９】
まず、ビブラートやこぶしのようなテクニックを使った場合の歌唱の音声信号の特徴を考えてみると、その音高に注目した場合、基準となる音高を中心として高低方向にほぼ同じような差分を持った音高間をほぼ周期的に変化する「正弦波的な」波形信号になる。一般的に採点のためのサンプリング間隔はこの変化周期よりは短く、その変化周期と一致することはないため、全体としては正しい音高で歌唱しているにもかかわらず、あるサンプリングタイミングでは基準音高から大きく外れている状態が生じる。しかしながら、ビブラート部分全体を見てみると、あるサンプリングタイミングでは基準音高から高い側に外れた状態、別のサンプリングタイミングでは基準音高から低い側に外れた状態、さらに別のサンプリングタイミングでは基準音高に一致あるいは非常に近い状態が得られ、ビブラート部分全体の音高を平均してみると基準音高に近くなる。
【００１０】
これに対して、ビブラートやこぶしのようなテクニックを用いていないのに、基準音高を外して歌唱しているいわゆる「下手な」場合には、ほとんど全てのサンプリングタイミングにおいて、基準音高に対して同じ側に外れていることとなる。つまり、基準音高に対して高い側に外れている場合はほとんど全てのサンプリングタイミングにおいてほぼ同じ量だけ高い側に外れ、基準音高に対して低い側に外れている場合はほとんど全てのサンプリングタイミングにおいてほぼ同じ量だけ低い側に外れるため、音高差の正負は同じであり、また音高差の絶対値もほぼ等しくなる。
【００１１】
これらの分析に基づき、両者の違いを次のような物理量によって反映させることができると考えた。つまり、ビブラートやこぶしのようなテクニックを使い、且つ正しい音高で歌唱している場合には、上述のように「正弦波的な」波形信号となるため、歌唱音声信号から所定のサンプリング間隔で得た所定期間中の複数の音高データに対して、採点基準となる音高データとの差の絶対値の平均値は相対的に大きいが、採点基準となる音高データとの差の平均値の絶対値は相対的に小さくなる。
これに対して、ビブラートやこぶしのようなテクニックを用いないで基準音高を外して歌唱している場合には、採点基準となる音高データとの差の絶対値の平均値及び採点基準となる音高データとの差の平均値の絶対値の両者が共に、相対的に大きな値となる。したがって、これらの差異に着目すれば両者の違いを判定できると考え、上述のような特殊歌唱方法判定手段の判定手法を採用した。
ビブラート又はこぶしを用いた特殊歌唱方法であるか否かを判定するための値については、例えば実験等によって求めることが考えられる。例えばビブラートやこぶしのようなテクニックを使い、且つ正しい音高で歌唱した状態における、採点基準となる音高データとの差の絶対値の平均値を算出する。それが例えば２音（４セミトーン）程度であったならば、判定値を３セミトーンにするとか、いったことである。
【００１２】
なお、歌唱音声信号を周波数分析等によって解析して信号波形の情報を得るようにすれば、その波形からビブラートの有無を判定することは可能である。しかし、この場合はＦＦＴ等の周波数分析を行う必要があり、相対的に計算量が多くなる。これに対して本発明の場合は単純な四則演算で対応できるため、相対的に簡易な計算によってビブラートの有無を加味した適切な採点ができる点で非常に有利である。
【００１３】
そして本発明のカラオケ装置では、第１の音高差算出手段によって算出した音高差と第２の音高差算出手段によって算出した音高差との差分が、所定値よりも大きい場合、第２の音高差算出手段によって算出された音高差を用いて採点を行うのであるが、これは、上述のビブラートやこぶしのようなテクニックを使った場合の歌唱の音声信号の特徴分析からも分かるように、第２の音高差算出手段によって算出された音高差は、全体として見た場合の基準音高に対する一致度合いを反映していると考えられるからである。このように採点することで、カラオケ歌唱する際に、一般的に上手なテクニックであるビブラートやこぶしにも対応して、歌唱力を適正に評価した採点が可能となる。
【００１４】
（２）また、請求項２に示すように、第２の音高差算出手段によって算出された音高差を用いて採点を行う場合は、所定の得点を加算した採点を行うようにしてもよい。上述のように、第２の音高差算出手段によって算出された音高差を用いて採点を行うということは、例えばビブラート又はこぶしを用いた特殊歌唱方法であった場合であっても、不当に不利な採点をされないといういわば消極的な対処である。しかし、ビブラートやこぶしのようなテクニックは一般的に上手なテクニックであると考えられているため、そのようなテクニックを用いない歌唱の場合よりも有利な採点をすることも、「歌唱力を適正に評価した採点」という観点では有効である。そこで、ビブラート又はこぶしのようなテクニックを加点対象とし、そのようなテクニックが用いられた場合は所定得点を加算するようにした。
【００１５】
なお、このような採点結果である得点は、従来同様、ディスプレイ等に表示することが考えられるが、その際、例えばビブラート又はこぶしのようなテクニックが認められて加点された場合には、その旨を合わせて表示するようにしてもよい。このようにすれば、歌唱者は自分のテクニックが認められて加点されたことが分かり、満足度が高くなる。
【００１６】
（３）ところで、採点において、第１の音高差算出手段及び第２の音高差算出手段の算出対象として音高抽出手段が複数の音高データを抽出する所定期間に関しては、次のような工夫が考えられる。
例えば請求項４に示すように、曲データ記憶手段から読み出した採点基準データ中の算出対象となる同一音高の音高データが継続する期間を「所定期間」として採用する。同一音高が継続している場合には、その期間中の一部あるいは全部においてビブラート又はこぶしを用いた歌唱を行っている可能性がある。したがって、この期間中を全て対象とすることで、どの部分でビブラート又はこぶしが用いられても、歌唱力を適正に評価した採点が可能となる。
【００１７】
もちろん、採点基準データ中の算出対象となる同一音高の音高データが継続する期間全部ではなく、その一部の期間を「所定期間」として採用することも可能である。但し、採点基準となる音高データとの差の平均値の絶対値が相対的に小さくなるという性質を適切に把握するためには、上述のように「正弦波的な」波形信号のうち、１周期の整数倍単位の範囲で考えるので好ましい。但し、１周期を検出するため、上述のように歌唱音声信号を周波数分析等によって解析して信号波形の情報を得るのであれば、やはりＦＦＴ等の周波数分析を行う必要があり、相対的に計算量が多くなる。
【００１８】
そこで、請求項５に示す周期推定手段のように、音高抽出手段によって抽出された音高データと、曲データ記憶手段から読み出した採点基準データ中における対応する音高データとの差が正負転換するタイミングに基づいてビブラート又はこぶしによる音高波形の１周期を推定することが考えられる。例えば、正から負へ反転したタイミングから、次に同じように正から負へ反転したタイミングまでの時間を１周期として算出すればよい。
【００１９】
なお、このようにして設定した所定期間を１回の比較対象範囲とし、同一音高の音高データが継続する期間中において、その比較対象範囲を順次ずらしながら音高差の平均値を算出するという、いわゆる「移動平均」の手法を採用することも考えられる。
【００２０】
（４）また、請求項６に示すように、請求項１〜５の何れかに記載のカラオケ装置における採点手段をコンピュータにて実現する場合、例えばコンピュータで実行するプログラムとして備えることができる。このようなプログラムは、請求項７に示すように、例えばフレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ハードディスク、ＲＯＭ、ＲＡＭ等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータにロードして実行したり、ネットワークを介してロードして実行することにより、採点手段としての機能を実現できる。
【００２１】
【発明の実施の形態】
以下、本発明が適用された実施例について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施例に何ら限定されることなく、本発明の技術的範囲に属する限り種々の形態を採りうることは言うまでもない。
【００２２】
図１は、本実施例のカラオケ装置の構成を示すブロック図である。本実施例では、複数のカラオケ装置１ａ，１ｂ，１ｃ…がローカル・エリア・ネットワーク（ＬＡＮ）３０に接続されてカラオケシステムを構成している。基本的な構成はどのカラオケ装置１も同じであるが、カラオケ装置１ａのみが通信ネットワーク３を介してホストコンピュータ２に接続できるようになっている。そして、カラオケ装置１ａは、この通信ネットワーク３を介して接続したホストコンピュータ２からカラオケに関する音楽情報と画像情報とを取得することができる。そして、カラオケ装置１ａが取得したカラオケに関する音楽情報と画像情報は、ＬＡＮ３０を介して他のカラオケ装置１ｂ、１ｃ…も取得できるようにされている。
【００２３】
なお、ホストコンピュータ２は、通信ネットワーク３を介してカラオケ装置１ａとアクセス可能であって、カラオケ装置１ａに対して、最新の流行曲等の曲データを発信したり、どのような曲が何回演奏されたかといったログデータを含む関連情報をカラオケ装置１ａから受信したりして管理することができるようになっている。なお、この場合の「どのような曲が何回演奏されたかといったログデータ」については、カラオケ装置１ａ単体でのログデータではなく、カラオケシステム全体のログデータを指す。つまり、他のカラオケ装置１ｂ、１ｃ…におけるログデータもカラオケ装置１ａに集められ、カラオケシステム全体のログデータがカラオケ装置１ａからホストコンピュータ２へ送信される。
【００２４】
また、ホストコンピュータ２は、データベースを備えており、このデータベースに楽曲演奏に使用するコンテンツデータとしての音楽情報や背景画または歌詞等の画像情報等を記憶している。また、ホストコンピュータ２は、コンテンツデータ以外にバージョンアップされたシステムプログラム等をデータベースに記憶し、そのデータベースから随時読み出してカラオケ装置１に対して発信することができるようになっている。
【００２５】
次に、カラオケ装置１ａの構成について説明する。
このカラオケ装置１ａには、図１に示されるように、ホストコンピュータ２に通信ネットワーク３を介して接続し各種の情報を送受信する通信装置１９、曲の予約などを行う操作パネル１０、カラオケ装置１ａ全体の制御を司るＣＰＵ１４、各種情報を一時的に記憶するＲＡＭ１５、演奏の再生を行う音源再生装置１８、音楽情報にかかる電気信号を増幅等するアンプ２０、アンプ２０からの電気信号を入力して伴奏曲及び利用者の歌声等を流すスピーカ２２、利用者の歌声等をアンプ２０に入力するためのマイクロフォン（以下、単にマイクと称す。）２３、マイク２３から入力される歌唱音声をサンプリングして解析することで歌唱音高を抽出し採点基準データと比較して得点化する採点部２８、カラオケ用の音楽情報や画像情報その他各種データを記憶しているＥＥＰＲＯＭ１２とハードディスク１３、画像情報等を映像化するための映像再生装置２４、画像情報である背景画及び歌詞等を表示する表示装置２６、およびＬＡＮ３０に接続するためのネットワークインターフェース１７を備えている。この内、操作パネル１０、ＥＥＰＲＯＭ１２、ハードディスク１３、ＲＡＭ１５、ネットワークインターフェース１７、音源再生装置１８、映像再生装置２４及び採点部２８は、ＣＰＵ１４に接続されている。
【００２６】
なお、他のカラオケ装置１ｂ、１ｃ…は通信装置１９を備えないだけで、他の構成は備えているため、ここではカラオケ装置１ａのみの説明をし、他のカラオケ装置１ｂ，１ｃ…の構成についての説明は省略する。
上述した通信装置１９は、信号の変調および復調を行う変復調装置であり、ＣＰＵ１４の制御の下、通信ネットワーク３を通じてホストコンピュータ２にアクセス可能に構成されている。それによって、通信装置１９は、通信ネットワーク３を介してホストコンピュータ２から送られてくる曲データ等を受信したり、上記関連情報をホストコンピュータ２に伝送することができる。
【００２７】
また、操作パネル１０は、利用者によって操作されるものであり、任意の曲の選択、演奏音のキーの調整、演奏と歌との音量バランスの調整、その他エコー、音量、トーンなど各種調整を行うため操作部と例えば選択された曲番号等を表示するための表示部（図示せず）を備えている。利用者は、その操作部を操作することによって、再生する曲をカラオケ装置１に予約登録することができる。
【００２８】
また、ＥＥＰＲＯＭ１２にはシステムプログラムや各種の設定に必要な設定データなどが記憶されている。
また、ハードディスク１３には、音楽情報や画像情報などのコンテンツデータや演奏記録などのログデータなどが記憶されている。そして、操作パネル１０の操作部を介して曲が選択されると、ＣＰＵ１４は、歌詞データ、映像データからなる画像情報、および演奏データからなる音楽情報をハードディスク１３から呼び出して、映像再生装置２４および音源再生装置１８に同期させて出力するようになっている。なお、ハードディスク１３には、識別情報としての曲番号に対応して演奏データや歌詞データ等が記憶されている。
【００２９】
その後、ＣＰＵ１４から出力される演奏データは、音源再生装置１８において、アナログの演奏音信号に変換された後、アンプ２０へ送られて電気的に増幅される。このアンプ２０は、マイク２３を介して入力される利用者（歌唱者）の歌唱音信号と適度な割合でミキシングするもので、ミキシングされた歌唱音信号と演奏音信号は、アンプ２０からスピーカ２２に出力され、音声及び演奏音となってスピーカ２２から外部へ出力される。
【００３０】
一方、映像再生装置２４は、ＣＰＵ１４の制御の下、ハードディスク１３から読み出された画像情報に基づく画像の再生を行うものである。それにより、ＣＰＵ１４により出力される歌詞データは、映像再生装置２４において映像データと合成され、表示装置２６の画面に背景映像とともに歌詞テロップが表示されるようになっている。
【００３１】
このような構成のため、利用者は、表示装置２６に表示される歌詞テロップを参照しながら、スピーカ２２より流れるカラオケ演奏にあわせ、マイク２３を使って歌唱できるようになっている。
また、本実施例のカラオケ装置１ａはカラオケ演奏にあわせて歌っている人の歌唱状態を採点してその採点結果を出力する歌唱採点機能を備えている。利用者がカラオケ装置１ａで歌唱採点機能を利用したい場合、パネルやリモコンなどの操作パネル１０から演奏予約用の一連の楽曲番号に引き続いて所定の操作キーを押す。それにより、歌唱採点機能の作動命令を示す符号が付加された楽曲番号がＣＰＵ１４に転送される。ＣＰＵ１４はこの楽曲を演奏処理するときは歌唱採点機能を作動させるものとして演奏予約処理する。もちろん、利用者による課金手続きなどによって歌唱採点機能が作動するようにしても良い。例えば、別途課金装置をカラオケ装置１ａに接続し、採点して欲しい楽曲が演奏される直前や前奏の演奏中など適宜な時期に所定の料金を課金装置に投入することで歌唱採点機能が作動するよう構成してもよい。
【００３２】
歌唱採点を実施するのが採点部２８である。採点部２８にはマイク２３から歌唱音声が入力するよう構成されており、採点部２８は、その入力した歌唱音声をサンプリングして解析することで歌唱音高やリズムなどを採点要素として抽出する。一方、ハードディスク１３に格納されている伴奏音楽生成データをデータバス及びＣＰＵ１４を介して受け取り、このデータ中のボーカルデータ（歌唱旋律データ）を採点基準データとして取得する。そして、この取得した採点基準データによる採点要素と上述の歌唱音声から抽出した採点要素とを比較し、歌唱音声がどの程度ボーカルデータに近いかによって採点する。なお、このボーカルデータは、いわゆるガイドメロディ機能として相対的に小さな音量で伴奏楽音と共にスピーカ２２から出力される機能を実現する場合にも用いられる。
【００３３】
この採点結果のデータはＣＰＵ１４に転送され、ＣＰＵ１４は転送された採点データを受け取るとＲＡＭ１５に格納していく。そしてＣＰＵ１４は、カラオケ楽曲における採点区間の終了点を検知すると、採点部２８に採点データの生成を停止させ、採点区間中にＲＡＭ１５に蓄積された採点データを集計し、得点結果を表示装置２６に表示させる。
【００３４】
これが採点のための構成及び概略動作の説明であったが、本実施例のカラオケ装置１ａにおいては、ビブラート・こぶしを判定してより適正な採点を行うことができるようになっている。これは、次のような問題に鑑みたものである。つまり、歌唱音声から抽出した音高データと伴奏音楽生成データ中のボーカルデータの音高データの単純な一致度合いを判断する従来手法であると、ビブラートやこぶしのようなテクニックを使った場合、音高データとの差分が大きくなる。したがって、側で聞いている人にとっては上手く歌っているように感じていても、得点としては悪くなってしまうのである。そこで、本実施例のカラオケ装置１ａにおいては、この音高データの一致度合いを判定する部分においてビブラート・こぶしの存在を加味した判定を行えるようにした。
【００３５】
この内容を図２〜図５も参照して説明する。図２は実施例における採点部２８で実施される採点処理の内、音高データの一致度合いを判定するアルゴリズムを説明するフローチャートを示しており、図３は歌唱音声から抽出した音高データＤ１と採点基準データＤ２に基づく採点方法の説明図である。一音毎に音高データＤ１と採点基準データＤ２との音高差を計算し、得られた音高差に応じて所定の得点をつける。なお、図３に示す例においては最後の一音の後半部にビブラート・こぶしが存在している。そして、図４は本実施例の判定手法の説明図であり、図５は従来の判定手法の説明図である。
【００３６】
図２に示すように、採点部２８では、まず、マイク２３から入力される歌唱音声信号を取り込む（Ｓ１０２）。そして、その取り込んだ歌唱音声信号を所定タイミング（例えば一定周期）でサンプリングして解析することにより音高データＤ１を抽出する（Ｓ１０４）。さらに、伴奏音楽生成データをデータバスを介して受け取り、このデータ中のボーカルデータ中の音高データを採点基準データＤ２として取得する（Ｓ１０６）。
【００３７】
次のＳ１０８では、歌唱音声から抽出した音高データＤ１から、当該音高データＤ１が得られた歌唱タイミングに対応する採点基準データＤ２を減算した値の絶対値Ｄ３を算出し、さらに所定区間中における当該絶対値Ｄ３の平均値Ｄ３１を算出する。この「所定期間」に関しては、例えば算出対象となる採点基準データＤ２中において同一音高の音高データが継続する期間を採用することが考えられる。同一音高が継続している場合には、その期間中の一部あるいは全部においてビブラート又はこぶしを用いた歌唱を行っている可能性がある。したがって、この期間中を全て対象とすることで、どの部分でビブラート又はこぶしが用いられても、歌唱力を適正に評価した採点が可能となる。
【００３８】
このＳ１０８での平均値Ｄ３１の算出に関して、さらに図４を参照して具体的に説明する。
図４（ａ）における縦軸は周波数の大小を示しており、横軸は時間軸であるとであると共に、採点基準データＤ２のＳ１０６で取得される周波数に対応する。また、黒丸はＳ１０４にて抽出される歌唱音声の音高データＤ１であり、これら黒丸をつなぐ曲線は、ビブラート又はこぶしを用いて歌唱した場合の歌唱音声の周波数を連続的に示したものである。そして、Ｓ１０８における「音高データＤ１から採点基準データＤ２を減算した値の絶対値Ｄ３は図４（ｂ）にて黒丸で示される。なお、図４（ｂ）の縦軸は周波数、横軸は時間軸である。さらに、この絶対値Ｄ３の平均値Ｄ３１を一点鎖線で示した。図４（ｂ）では時間軸から黒丸まで線を引くことで棒グラフ的に示してあるが、その棒の長さの平均値がＤ３１に対応することとなる。
【００３９】
図２のフローチャートの説明に戻り、次のＳ１１０では、歌唱音声から抽出した音高データＤ１から、当該音高データＤ１が得られた歌唱タイミングに対応する採点基準データＤ２を減算した値Ｄ４を算出し、さらに所定区間中における当該減算値Ｄ４の平均値Ｄ４１の絶対値Ｄ４２を算出する。この「所定期間」はＳ１０８での所定期間と同じである。
【００４０】
このＳ１１０での減算値Ｄ４は、図４（ｃ）にて黒丸で示される。なお、図４（ｂ）の縦軸は周波数、横軸は時間軸である。さらに、図４（ｃ）において、この減算値Ｄ４の平均値Ｄ４１を一点鎖線で示し、さらにその平均値Ｄ４１の絶対値Ｄ４２を二点鎖線で示した。
【００４１】
次のＳ１１２では、Ｓ１０８にて算出した（絶対値Ｄ３の）平均値Ｄ３１からＳ１１０にて算出した（平均値Ｄ４１の）絶対値Ｄ４２を減算した値が所定値α以上か否かを判定する。この所定値αとしては例えば３度（３セミトーン）といった値が考えられる。この所定値αに関しては後で補足する。
【００４２】
そして、（Ｄ３１−Ｄ４２）≧αであれば（Ｓ１１２：ＹＥＳ）、この１音はビブラート又はこぶしを用いた特殊歌唱方法であると考えられるため、Ｓ１１０にて算出した（平均値Ｄ４１の）絶対値Ｄ４２を、採点基準となる音高との差とする（Ｓ１１４）。そして、ビブラート又はこぶしを用いた特殊歌唱方法を用いたことによる所定の加点をする（Ｓ１１６）。この加点は一定の得点を付与するものである。
【００４３】
なお、この場合の採点部２８は、別途実行するメインの採点処理において、図２のＳ１１４で得られた音高差に基づく採点を行うと共にＳ１１６で得られた加点すべき得点を加えて採点を行う。また、上述のように採点された結果である得点は表示装置２６に表示されるのであるが、Ｓ１１６の処理を経て加点された場合には、その旨（例えば「ビブラート又はこぶしにより○点加点」など）を表示しても良い。このようにすれば、ビブラート又はこぶしのようなテクニックが認められて加点されたことを歌唱者が分かり、歌唱者の満足度が高くなる。
【００４４】
一方、（Ｄ３１−Ｄ４２）＜αであれば（Ｓ１１２：ＮＯ）、この１音はビブラート又はこぶしを用いた特殊歌唱方法はなされていないと考えられるため、Ｓ１０８にて算出した（絶対値Ｄ３の）平均値Ｄ３１を、採点基準となる音高との差とする（Ｓ１１８）。なお、この場合の採点部２８は、別途実行するメインの採点処理において、図２のＳ１１８で得られた音高差に基づく採点を行う。
【００４５】
ここで、Ｓ１１２の説明で述べたように、（Ｄ３１−Ｄ４２）≧αであればビブラート又はこぶしを用いた特殊歌唱方法であると考えられ、（Ｄ３１−Ｄ４２）＜αであればビブラート又はこぶしを用いた特殊歌唱方法はなされていないと考えられる理由について説明する。
【００４６】
ビブラートやこぶしのようなテクニックを使った場合の歌唱音声の音高に注目すると、基準となる音高を中心として高低方向にほぼ同じような差分を持った音高間をほぼ周期的に変化する「正弦波的な」波形信号になる。つまり、図４（ａ）に示すような波形信号である。採点のためのサンプリング間隔はこの変化周期よりは短いため、その変化周期と一致することはない。したがって、図４（ａ）からも分かるように、全体としては正しい音高で歌唱しているにもかかわらず、あるサンプリングタイミングでは基準音高から大きく外れている状態が生じる。しかしながら、ビブラート部分全体を見てみると、あるサンプリングタイミングでは基準音高から高い側に外れた状態、別のサンプリングタイミングでは基準音高から低い側に外れた状態、さらに別のサンプリングタイミングでは基準音高に一致あるいは非常に近い状態が得られる。したがって、ビブラート部分全体の音高を平均してみると、図４（ｃ）中に一点鎖線で示したＤ４１（＝Ｄ４（＝Ｄ１−Ｄ２）の平均値）のように、基準音高である採点基準データＤ２に近くなる。
【００４７】
これとの比較のため、ビブラートやこぶしのようなテクニックを用いていないのに、基準音高を外して歌唱しているいわゆる「下手な」場合について、同様の検証をしてみる。図５（ａ）は、ビブラートやこぶしのようなテクニックを用いずに基準音高を外して歌唱している場合の音高データＤ１と採点基準データＤ２を示している。この場合の歌唱音声から抽出した音高データＤ１の特徴としては、ほとんど全てのサンプリングタイミングにおいて、基準音高に対して同じ側に外れていることとなる。つまり、基準音高に対して高い側（採点基準データＤ２に対して周波数が大きい側）に外れている場合はほとんど全てのサンプリングタイミングにおいてほぼ同じ量だけ高い側に外れ、基準音高に対して低い側（採点基準データＤ２に対して周波数が小さい側）に外れている場合はほとんど全てのサンプリングタイミングにおいてほぼ同じ量だけ低い側に外れるため、音高差の正負は同じであり、また音高差の絶対値もほぼ等しくなる。
【００４８】
このようなデータＤ１，Ｄ２に対して、図２におけるＳ１０８及びＳ１１０の処理を施してみると、Ｓ１０８における「音高データＤ１から採点基準データＤ２を減算した値の絶対値Ｄ３」は図５（ｂ）にて黒丸で示されるため、この絶対値Ｄ３の平均値Ｄ３１は同図中の一点鎖線で示すようになる。一方、Ｓ１１０における「音高データＤ１から採点基準データＤ２を減算した値Ｄ４」は図５（ｃ）中の黒丸で示されるため、その減算値Ｄ４の平均値Ｄ４１の絶対値Ｄ４２は同図中に二点鎖線で示すようになる。つまり、これらＤ３１とＤ４２は同じ値となる。
【００４９】
これら図４及び図５にて示したＤ３１及びＤ４２との関係の相違から、図５（ａ）に示すような、ビブラートやこぶしのようなテクニックを用いずに基準音高を外して歌唱している場合の（Ｄ３１−Ｄ４２）の値はほぼ零になるのに対して、図４（ａ）に示すような、ビブラートやこぶしのようなテクニックを用いて基準音高に近い状態で上手く歌唱している場合には（Ｄ３１−Ｄ４２）の値はそれなりの大きさになる。例えば、ビブラートの幅が基準音高に対して２音〜２音半（４〜５セミトーン）程度あれば、サンプリングタイミングにもよるが、例えば（Ｄ３１−Ｄ４２）の値が１音半（３セミトーン）程度になることが想定される。このような値は、図５（ａ）に示すような、ビブラートやこぶしのようなテクニックを用いずに基準音高を外して歌唱している場合には取り得ない値である。そのため、例えば図２のＳ１１２での判定のための所定値αを３セミトーン程度に設定すればよい。もちろん、ビブラートの幅は曲や歌唱者によって変化する可能性があり、上述例よりも小さい場合もあり得るので、判定のための所定値αとして、上述例よりも小さな２セミトーンあるいは１セミトーンといった値を採用しても構わない。
【００５０】
なお、この所定αを決めるにあたっては、例えば実験等によって求めることも考えられる。ビブラートやこぶしのようなテクニックを使い、且つ正しい音高で歌唱した状態における、採点基準となる音高データとの差の絶対値の平均値を算出する。それが例えば２音（４セミトーン）程度であったならば、判定値を３セミトーンにするとか、１音（２セミトーン）程度であったならば、判定値を１セミトーンにする、といったことである。また、例えば原曲を歌っている歌手のビブラートやこぶしの度合いを元に分析してもよい。歌手による歌唱音声が入っている音楽情報からその歌唱音声部分（ボーカル部分）を抽出し、そのビブラートやこぶし部分において、上述の（Ｄ３１−Ｄ４２）の値を算出する。このようなサンプル値を複数の歌手のボーカル部分に基づいて算出し、それらの平均を取るなどして、判定のための所定値αを決定することも考えられる。
【００５１】
このように、本実施例のカラオケ装置１ａ（他のカラオケ装置１ｂ、１ｃ…についても同様である。）によれば、次のような効果が得られる。
（１）カラオケ歌唱する際に、一般的に上手なテクニックであるビブラートやこぶしにも対応して、歌唱力を適正に評価した採点が可能となる。
【００５２】
なお、歌唱音声信号を周波数分析等によって解析して信号波形の情報を得るようにすれば、その波形からビブラートの有無を判定することはできるが、この場合はＦＦＴ等の周波数分析を行う必要があり、相対的に計算量が多くなる。これに対して本実施例の場合には、図２のＳ１０８、Ｓ１１０、Ｓ１１２の説明からも分かるように単純な四則演算で対応できるため、相対的に簡易な計算によってビブラートの有無を加味した適切な採点ができる点で非常に有利である。
【００５３】
（２）また、図２のＳ１１６に示すように、ビブラート又はこぶしを用いた特殊歌唱方法をしている場合には加点するようにした。ビブラートやこぶしのようなテクニックは一般的に上手なテクニックであると考えられているため、そのようなテクニックを用いない歌唱の場合よりも有利な採点をすることで「歌唱力を適正に評価した採点」が実現できる。
【００５４】
なお、本実施例においては、ハードディスク１３が「曲データ記憶手段」に相当し、ＣＰＵ１４及び音源再生装置１８等が「カラオケ演奏手段」に相当する。また、マイク２３が音声信号入力手段に相当し、採点部２８が音高抽出手段及び採点手段に相当する。また、図２の処理のうち、Ｓ１０８、Ｓ１１０がそれぞれ「第１の音高差算出手段」、「第２の音高差算出手段」としての処理の実行に相当する。
【００５５】
以上実施例について説明したが、本発明は上記実施例に限定されるものではなく、種々の態様で実施し得る。そのいくつかを説明する。
（１）上記実施例では、図２のＳ１０８における平均値Ｄ３１の算出及びＳ１１０における絶対値Ｄ４２の算出の対象となるデータの「所定区間」として、採点基準データＤ２中において同一音高の音高データが継続する期間を採用した。しかし、このような同一音高の音高データが継続する期間全部ではなく、その一部の期間を「所定期間」として採用してもよい。但し、図２のＳ１１２における（Ｄ３１−Ｄ４２）の値の大小で、ビブラート又はこぶしを用いた特殊歌唱方法を用いているか否かを判定するようにしているため、次のような観点での工夫を施すことが望ましい。
【００５６】
つまり、ビブラート又はこぶし部分は、基準となる音高を中心として高低方向にほぼ同じような差分を持った音高間をほぼ周期的に変化する「正弦波的な」波形信号になるため、全体としてみれば、図４（ｃ）中に二点鎖線で示したように、歌唱音声に基づく音高データＤ１と採点基準データＤ２との差Ｄ４の平均値Ｄ４１の絶対値Ｄ４２が相対的に小さくなるという性質がある。この性質を利用して特殊歌唱方法か否かを判定しているため、ビブラート又はこぶしの特徴を適切に把握するためには、「正弦波的な」波形信号のうち、１周期の整数倍単位の範囲で考えるので好ましい。例えば、図４では３周期分のデータが示されている。実際にはビブラート又はこぶし部分がもっと長い周期であったとしても、例えばその内の３周期分のみに着目した算出を行っても良い。
【００５７】
但し、１周期を検出するため、歌唱音声信号を周波数分析等によって解析して信号波形の情報を得るのであれば、やはりＦＦＴ等の周波数分析を行う必要があり、相対的に計算量が多くなる。そのため、例えば図２のＳ１０４での音高データＤ２を抽出及びＳ１０６での採点基準データＤ２の取得をした後、それらの差分（Ｄ１−Ｄ２）が正負転換するタイミングに音高波形の１周期を推定することが考えられる。例えば、正から負へ反転したタイミングから、次に同じように正から負へ反転したタイミングまでの時間を１周期として算出すればよい。もちろん、逆に、負から正へ反転したタイミングから、次に同じように負から正へ反転したタイミングまでの時間を１周期として算出してもよい。さらには、例えば正から負へ反転したタイミングから、次に負から正へ反転したタイミングまでの時間を半周期とし、それを２倍して１周期を算出してもよい。そして、上述した所定期間を、この周期推定手段によって推定した１周期の整数倍とする。
【００５８】
もちろん、「正弦波的な」波形信号といっても変化周期が必ずしも一定とは限らないが、実際の歌唱状況を考えてみるとビブラート又はこぶしを用いた歌唱時における変化周期はほぼ一定に近いことが多いと想定されるため、上述のような手法でも特段問題はない。
【００５９】
そして、このようにして設定した１周期の整数倍単位の「所定期間」において図２のＳ１０８〜Ｓ１１２の処理をする。なお、同一音高の音高データが継続する期間中の一部だけを判定区間とした場合、その判定区間だけたまたまビブラート等の特殊歌唱方法ではなく、別の区間では特殊歌唱方法を用いていたということも考えられる。したがって、例えば同一音高の音高データが継続する期間中の前半及び後半部分から適宜抽出した所定の判定区間において、図２のＳ１０８〜Ｓ１１２の処理を行うようにし、それらのいずれかで特殊歌唱方法が認められる場合には加点するような対処を施しても良い。
【００６０】
また、同一音高の音高データが継続する期間中の全部を判定区間とする場合、あるいは一部を判定区間とする場合であっても、次のような「移動平均」の手法を採用することも考えられる。例えば同一音高の音高データが継続する期間中全部を判定区間とする場合であれば、２周期分の所定期間を１回の比較対象範囲とし、同一音高の音高データが継続する期間中において、その比較対象範囲を順次ずらしながら音高差の平均値を算出するのである。
【００６１】
（２）上記実施例ではカラオケ装置１の本体に設けられた操作パネル１０の操作部によって曲番号等を入力するようにしたが、例えば赤外線信号やBluetooth規格に基づく無線通信によって接続されたリモコンなどに上記操作ボタンを準備し、その操作に基づく選曲データをカラオケ装置本体側へ送信するような構成であってもよい。
【図面の簡単な説明】
【図１】実施例のカラオケ装置の概略構成を示すブロック図である。
【図２】実施例のカラオケ装置において実施される採点処理の内、音高データの一致度合いを判定するアルゴリズムを説明するフローチャートである。
【図３】歌唱音声から抽出した音高データＤ１と採点基準データＤ２に基づく採点方法の説明図である。
【図４】本実施例の判定手法の説明図である。
【図５】従来の判定手法の説明図である。
【符号の説明】
１ａ，１ｂ，１ｃ，…カラオケ装置、２…ホストコンピュータ、３…通信ネットワーク、１０…入力装置、１２…ＥＥＰＲＯＭ、１３…ハードディスク、１４…ＣＰＵ、１５…ＲＡＭ、１７…ネットワークインターフェース、１８…音源再生装置、２０…アンプ、２２…スピーカ、２３…マイクロフォン、２４…映像再生装置、２６…表示装置、２８…採点部。

Claims (7)

1. カラオケ曲を演奏するためのカラオケ演奏データ及びそのカラオケ曲の歌唱旋律の音高データを含む採点基準データを記憶する曲データ記憶手段と、
   指定されたカラオケ曲のカラオケ演奏データを前記曲データ記憶手段から読み出してカラオケ演奏を行なうカラオケ演奏手段と、
   カラオケ歌唱の音声信号を入力するための音声信号入力手段と、
   前記音声信号入力手段を介して入力された音声信号をサンプリングしてカラオケ歌唱の音高データを抽出する音高抽出手段と、
   前記カラオケ演奏手段によるカラオケ演奏と同期してその演奏曲に対応する前記採点基準データを前記曲データ記憶手段から読み出し、その読み出した採点基準データと前記音高抽出手段によって抽出した音高データとに基づいて採点する採点手段と、
   を備えるカラオケ装置であって、
   前記採点手段は、
   所定期間中に前記音高抽出手段によって抽出された複数の音高データと、前記曲データ記憶手段から読み出した採点基準データ中における対応する音高データとの差の絶対値をそれぞれ算出し、さらにそれら絶対値の平均値を求める第１の音高差算出手段と、
   所定期間中に前記音高抽出手段によって抽出された複数の音高データと、前記曲データ記憶手段から読み出した採点基準データ中における対応する音高データとの差の平均値の絶対値を算出する第２の音高差算出手段と、
   を有し、前記第１の音高差算出手段によって算出した音高差と前記第２の音高差算出手段によって算出した音高差との差分が、所定値よりも大きい場合に、前記第２の音高差算出手段によって算出された音高差を用いて採点を行うこと
   を特徴とするカラオケ装置。
2. 請求項１に記載のカラオケ装置において、
   前記採点手段は、前記第２の音高差算出手段によって算出された音高差を用いて採点を行う場合は、所定の得点を加算した採点を行うこと
   を特徴とするカラオケ装置。
3. 請求項１又は２に記載のカラオケ装置において、
   前記所定値は、ビブラート又はこぶしを用いた特殊歌唱方法であるか否かを判定するための値であること
   を特徴とするカラオケ装置。
4. 請求項１〜３の何れかに記載のカラオケ装置において、
   前記第１の音高差算出手段及び前記第２の音高差算出手段の算出対象として前記音高抽出手段が複数の音高データを抽出する所定期間は、前記曲データ記憶手段から読み出した採点基準データ中の前記算出対象となる同一音高の音高データが継続する期間であること
   を特徴とするカラオケ装置。
5. 請求項３に記載のカラオケ装置において、
   前記採点手段は、
   さらに、前記音高抽出手段によって抽出された音高データと、前記曲データ記憶手段から読み出した採点基準データ中における対応する音高データとの差が正負転換するタイミングに基づいてビブラート又はこぶしによる音高波形の１周期を推定する周期推定手段を備え、
   前記第１の音高差算出手段及び前記第２の音高差算出手段の算出対象として前記音高抽出手段が複数の音高データを抽出する所定期間は、前記周期推定手段によって推定した１周期の整数倍であること
   を特徴とするカラオケ装置。
6. 請求項１〜５の何れかに記載のカラオケ装置における前記採点手段としてコンピュータを機能させるためのプログラム。
7. 請求項１〜５の何れかに記載のカラオケ装置における前記採点手段としてコンピュータを機能させるためのプログラムが記録された記録媒体。

Images