JPH10187178A - 歌唱の感情分析装置並びに採点装置 - Google Patents
歌唱の感情分析装置並びに採点装置Info
- Publication number
- JPH10187178A JPH10187178A JP9223059A JP22305997A JPH10187178A JP H10187178 A JPH10187178 A JP H10187178A JP 9223059 A JP9223059 A JP 9223059A JP 22305997 A JP22305997 A JP 22305997A JP H10187178 A JPH10187178 A JP H10187178A
- Authority
- JP
- Japan
- Prior art keywords
- singing
- emotion
- voice
- signal
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
(57)【要約】
【課題】 歌唱に込められた感情度合を的確に分析する
ことができ、この分析結果を利用することにより、一生
懸命に歌ってはいても教師音声通り忠実には歌えない人
や独特の歌い方をする人であっても、教師音声通り忠実
に歌うことができる人と同様に、得点を競い合ったり或
いは個性を楽しんだりすることができる。 【解決手段】 歌唱に相当する音声から感情の込め方と
相関のある感情特徴量を抽出する感情特徴量抽出手段
と、前記抽出された感情特徴量に基づいて歌唱に込めら
れた感情を分析する感情分析手段と、前記分析された歌
唱に込められた感情に基づいて歌唱を採点する採点手段
と、を具備する。
ことができ、この分析結果を利用することにより、一生
懸命に歌ってはいても教師音声通り忠実には歌えない人
や独特の歌い方をする人であっても、教師音声通り忠実
に歌うことができる人と同様に、得点を競い合ったり或
いは個性を楽しんだりすることができる。 【解決手段】 歌唱に相当する音声から感情の込め方と
相関のある感情特徴量を抽出する感情特徴量抽出手段
と、前記抽出された感情特徴量に基づいて歌唱に込めら
れた感情を分析する感情分析手段と、前記分析された歌
唱に込められた感情に基づいて歌唱を採点する採点手段
と、を具備する。
Description
【０００１】
【発明の属する技術分野】本発明は、歌唱に込められた
感情度合を分析する歌唱の感情分析装置並びに同装置を
利用して歌唱評価を適切に行う歌唱採点装置に関する。
感情度合を分析する歌唱の感情分析装置並びに同装置を
利用して歌唱評価を適切に行う歌唱採点装置に関する。
【０００２】
【従来の技術】従来、カラオケ等における歌唱の採点装
置としては、特開昭５９−２２８６９９号公報、特開昭
５９−８４３０６号公報等に示されるように、歌唱評価
の客観性を担保するために、マイクから入力された音声
信号を教師音声信号等の基準信号と比較するものが知ら
れている。
置としては、特開昭５９−２２８６９９号公報、特開昭
５９−８４３０６号公報等に示されるように、歌唱評価
の客観性を担保するために、マイクから入力された音声
信号を教師音声信号等の基準信号と比較するものが知ら
れている。
【０００３】
【発明が解決しようとする課題】しかしながら、このよ
うな従来の歌唱の採点装置にあっては、教師音声通りに
忠実に歌うことのできる人は高得点を期待できるもの
の、一生懸命に歌ってはいても教師音声通り忠実には歌
えない人や独特の歌い方をする人等は高い評価を期待す
ることができず、得点を競い合ったり個性を楽しんだり
する面白味を失わせてしまうと言う問題点があった。
うな従来の歌唱の採点装置にあっては、教師音声通りに
忠実に歌うことのできる人は高得点を期待できるもの
の、一生懸命に歌ってはいても教師音声通り忠実には歌
えない人や独特の歌い方をする人等は高い評価を期待す
ることができず、得点を競い合ったり個性を楽しんだり
する面白味を失わせてしまうと言う問題点があった。
【０００４】この発明は、このような従来の問題点に着
目してなされたものであり、その目的とするところは、
歌唱に込められた感情度合を的確に分析することができ
る歌唱の感情分析装置を提供することにある。
目してなされたものであり、その目的とするところは、
歌唱に込められた感情度合を的確に分析することができ
る歌唱の感情分析装置を提供することにある。
【０００５】また、この発明は、同分析装置を利用する
ことにより、一生懸命に歌ってはいても教師音声通り忠
実には歌えない人や独特の歌い方をする人であっても、
教師音声通り忠実に歌うことができる人と同様に、得点
を競い合ったり或いは個性を楽しんだりすることができ
る歌唱の採点装置を提供することにある。
ことにより、一生懸命に歌ってはいても教師音声通り忠
実には歌えない人や独特の歌い方をする人であっても、
教師音声通り忠実に歌うことができる人と同様に、得点
を競い合ったり或いは個性を楽しんだりすることができ
る歌唱の採点装置を提供することにある。
【０００６】
【課題を解決するための手段】この出願の請求項１に記
載の発明は、歌唱に相当する音声から感情の込め方と相
関のある感情特徴量を抽出する感情特徴量抽出手段と、
前記抽出された感情特徴量に基づいて歌唱に込められた
感情を分析する感情分析手段と、を具備することを特徴
とする歌唱の感情分析装置にある。
載の発明は、歌唱に相当する音声から感情の込め方と相
関のある感情特徴量を抽出する感情特徴量抽出手段と、
前記抽出された感情特徴量に基づいて歌唱に込められた
感情を分析する感情分析手段と、を具備することを特徴
とする歌唱の感情分析装置にある。
【０００７】そして、この請求項１の発明によれば、歌
唱に込められた感情を的確に分析することができる。
唱に込められた感情を的確に分析することができる。
【０００８】この出願の請求項２に記載の発明は、歌唱
に相当する音声から感情の込め方と相関のある感情特徴
量を抽出する感情特徴量抽出手段と、前記抽出された感
情特徴量に基づいて歌唱に込められた感情を分析する感
情分析手段と、前記分析された歌唱に込められた感情に
基づいて歌唱を採点する採点手段と、を具備することを
特徴とする歌唱の採点装置にある。
に相当する音声から感情の込め方と相関のある感情特徴
量を抽出する感情特徴量抽出手段と、前記抽出された感
情特徴量に基づいて歌唱に込められた感情を分析する感
情分析手段と、前記分析された歌唱に込められた感情に
基づいて歌唱を採点する採点手段と、を具備することを
特徴とする歌唱の採点装置にある。
【０００９】そして、この請求項２に記載の発明によれ
ば、歌唱の採点に感情要素を加味することにより、より
人間の感性に近い採点結果を得ることができる。
ば、歌唱の採点に感情要素を加味することにより、より
人間の感性に近い採点結果を得ることができる。
【００１０】この出願の請求項３に記載の発明は、前記
感情特徴量抽出手段は、分析対象者の歌唱音声の休止毎
にその間の感情特徴量を抽出することを特徴とする請求
項１若しくは請求項２に記載の装置にある。
感情特徴量抽出手段は、分析対象者の歌唱音声の休止毎
にその間の感情特徴量を抽出することを特徴とする請求
項１若しくは請求項２に記載の装置にある。
【００１１】そして、この請求項３に記載の発明によれ
ば、歌唱音声の休止毎にその間の感情の込め方を適切に
分析することができる。
ば、歌唱音声の休止毎にその間の感情の込め方を適切に
分析することができる。
【００１２】この出願の請求項４に記載の発明は、前記
感情特徴量抽出手段は、分析対象者の歌唱に相当する音
声から予め決められた１若しくは２以上の特徴項目に関
する特徴量を抽出する分析対象者特徴量抽出手段と、教
師等の標準歌唱者の歌唱に相当する音声から前記予め決
められた１若しくは２以上の特徴項目に関する特徴量を
抽出する標準歌唱者特徴量抽出手段と、前記分析対象者
の歌唱音声から抽出された１若しくは２以上の特徴量と
前記標準歌唱者の歌唱音声から抽出された１若しくは２
以上の特徴量とを対応する特徴項目同士で比較して、両
者の差を感情の込め方と相関のある１若しくは２以上の
感情特徴量として出力する差演算手段と、を具備するこ
とを特徴とする請求項１若しくは請求項２のいずれかに
記載の装置にある。
感情特徴量抽出手段は、分析対象者の歌唱に相当する音
声から予め決められた１若しくは２以上の特徴項目に関
する特徴量を抽出する分析対象者特徴量抽出手段と、教
師等の標準歌唱者の歌唱に相当する音声から前記予め決
められた１若しくは２以上の特徴項目に関する特徴量を
抽出する標準歌唱者特徴量抽出手段と、前記分析対象者
の歌唱音声から抽出された１若しくは２以上の特徴量と
前記標準歌唱者の歌唱音声から抽出された１若しくは２
以上の特徴量とを対応する特徴項目同士で比較して、両
者の差を感情の込め方と相関のある１若しくは２以上の
感情特徴量として出力する差演算手段と、を具備するこ
とを特徴とする請求項１若しくは請求項２のいずれかに
記載の装置にある。
【００１３】そして、この請求項４に記載の発明によれ
ば、曲想それ自体に起因する音声変化と感情移入度や熱
唱度に起因する音声変化とを区別して、感情特徴量の精
度を向上させることができる。
ば、曲想それ自体に起因する音声変化と感情移入度や熱
唱度に起因する音声変化とを区別して、感情特徴量の精
度を向上させることができる。
【００１４】この出願の請求項５に記載の発明は、前記
感情分析手段は、前記抽出された１若しくは２以上の感
情特徴量を、予め用意された感情分析用ルールデータベ
ースに当てはめることにより、歌唱に込められた複数の
感情項目についての感情適合度を分析することを特徴と
する請求項４に記載の装置にある。
感情分析手段は、前記抽出された１若しくは２以上の感
情特徴量を、予め用意された感情分析用ルールデータベ
ースに当てはめることにより、歌唱に込められた複数の
感情項目についての感情適合度を分析することを特徴と
する請求項４に記載の装置にある。
【００１５】そして、この請求項５に記載の発明によれ
ば、感情特徴量の分析にファジイ制御を適用してその精
度を向上することができる。
ば、感情特徴量の分析にファジイ制御を適用してその精
度を向上することができる。
【００１６】この出願の請求項６に記載の発明は、前記
感情分析用ルールデータベースは、曲目毎に用意されて
いることを特徴とする請求項５に記載の装置にある。
感情分析用ルールデータベースは、曲目毎に用意されて
いることを特徴とする請求項５に記載の装置にある。
【００１７】そして、この請求項６に記載の発明によれ
ば、曲目の相違に拘わらず、歌唱に含まれる感情を適切
に分析することができる。
ば、曲目の相違に拘わらず、歌唱に含まれる感情を適切
に分析することができる。
【００１８】この出願の請求項７に記載の発明は、前記
採点手段は、前記複数の感情項目について分析された感
情適合度を、予め用意された採点用ルールデータベース
に当てはめることにより、当該歌唱を採点することを特
徴とする請求項５に記載の装置にある。
採点手段は、前記複数の感情項目について分析された感
情適合度を、予め用意された採点用ルールデータベース
に当てはめることにより、当該歌唱を採点することを特
徴とする請求項５に記載の装置にある。
【００１９】そして、この請求項７に記載の発明によれ
ば、感情適合度と採点用ルールとからより人間の感性に
近い採点結果を得ることができる。
ば、感情適合度と採点用ルールとからより人間の感性に
近い採点結果を得ることができる。
【００２０】この出願の請求項８に記載の発明は、前記
採点用ルールデータベースは、曲目毎に用意されている
ことを特徴とする請求項７に記載の装置にある。
採点用ルールデータベースは、曲目毎に用意されている
ことを特徴とする請求項７に記載の装置にある。
【００２１】そして、この請求項８に記載の発明によれ
ば、曲目それ自体に起因する音声変化と感情移入度や熱
唱度に起因する音声変化とを区別して、採点結果の精度
を向上させることができる。
ば、曲目それ自体に起因する音声変化と感情移入度や熱
唱度に起因する音声変化とを区別して、採点結果の精度
を向上させることができる。
【００２２】この出願の請求項９に記載の発明は、前記
特徴項目は、音声レベル、音声レベルの最大と平均との
差、音声信号開始並びに終了時間、音声レベルの途切
れ、音声信号終了時の音声レベル上下、音声信号終了時
の音声レベル下降時間、音声信号終了時の基本周波数の
上昇、又は、音声信号終了時の基本周波数の上下の少な
くともいずれかであることを特徴とする請求項１若しく
は請求項２に記載の装置にある。
特徴項目は、音声レベル、音声レベルの最大と平均との
差、音声信号開始並びに終了時間、音声レベルの途切
れ、音声信号終了時の音声レベル上下、音声信号終了時
の音声レベル下降時間、音声信号終了時の基本周波数の
上昇、又は、音声信号終了時の基本周波数の上下の少な
くともいずれかであることを特徴とする請求項１若しく
は請求項２に記載の装置にある。
【００２３】この出願の請求項１０に記載の発明は、前
記複数の感情項目は、熱唱度若しくは感情移入度を含む
ことを特徴とする請求項５に記載の装置にある。
記複数の感情項目は、熱唱度若しくは感情移入度を含む
ことを特徴とする請求項５に記載の装置にある。
【００２４】
【発明の実施の形態】以下、この発明の好ましい実施の
形態につき、添付図面を参照して詳細に説明する。
形態につき、添付図面を参照して詳細に説明する。
【００２５】本発明に係る歌唱の採点装置の実施の一形
態の構成が図１のブロック図に示されている。同図に示
されるように、この歌唱の採点装置は、歌唱者の歌声を
入力するためのマイク１と、このマイク１から得られる
歌唱者の音声信号と予め用意された教師音声信号とに基
づいて感情分析用信号を生成する歌唱音声分析装置２
と、この感情分析用信号と歌唱感情分析用ルールデータ
ベース４に格納された歌唱感情分析用ルールとに基づい
て歌唱者の歌声に込められた感情を分析する歌唱感情分
析装置３と、この歌唱感情に基づいて当該歌唱の芸術点
を採点する芸術点採点装置５と、この採点された芸術点
を表示する採点表示装置６とから構成されている。
態の構成が図１のブロック図に示されている。同図に示
されるように、この歌唱の採点装置は、歌唱者の歌声を
入力するためのマイク１と、このマイク１から得られる
歌唱者の音声信号と予め用意された教師音声信号とに基
づいて感情分析用信号を生成する歌唱音声分析装置２
と、この感情分析用信号と歌唱感情分析用ルールデータ
ベース４に格納された歌唱感情分析用ルールとに基づい
て歌唱者の歌声に込められた感情を分析する歌唱感情分
析装置３と、この歌唱感情に基づいて当該歌唱の芸術点
を採点する芸術点採点装置５と、この採点された芸術点
を表示する採点表示装置６とから構成されている。
【００２６】採点対象となる歌唱者が歌うことにより発
生した空気振動は、マイク１を通して歌唱音声分析装置
２に入力される。歌唱音声分析装置２では、マイク１か
ら得られる歌唱者の音声信号から所定の周波数を取り出
し、周波数成分、信号レベル強度、信号継続時間等を計
測し、それらの計測結果を教師音声信号と比較すること
により、感情分析用信号を生成する。
生した空気振動は、マイク１を通して歌唱音声分析装置
２に入力される。歌唱音声分析装置２では、マイク１か
ら得られる歌唱者の音声信号から所定の周波数を取り出
し、周波数成分、信号レベル強度、信号継続時間等を計
測し、それらの計測結果を教師音声信号と比較すること
により、感情分析用信号を生成する。
【００２７】歌唱音声分析装置２の詳細が図２に示され
ている。同図に示されるように、歌唱音声分析装置２
は、教師音声信号（以下、単に『教師信号』と言う）並
びに採点対象となる歌唱者音声信号（以下、単に『音声
信号』と言う）のそれぞれについて、後に詳細に説明す
るように、信号入力開始・終了時の周波数成分の変化、
信号レベルの変化、信号入力開始・終了時間等を検出す
る歌唱詳細検出装置２１と、それら教師信号並びに音声
信号のそれぞれの検出結果を比較することにより、後段
の歌唱感情分析装置３で利用される歌唱感情分析用特徴
量を含む感情分析用信号を生成する歌唱信号比較装置２
２とから概略構成されている。
ている。同図に示されるように、歌唱音声分析装置２
は、教師音声信号（以下、単に『教師信号』と言う）並
びに採点対象となる歌唱者音声信号（以下、単に『音声
信号』と言う）のそれぞれについて、後に詳細に説明す
るように、信号入力開始・終了時の周波数成分の変化、
信号レベルの変化、信号入力開始・終了時間等を検出す
る歌唱詳細検出装置２１と、それら教師信号並びに音声
信号のそれぞれの検出結果を比較することにより、後段
の歌唱感情分析装置３で利用される歌唱感情分析用特徴
量を含む感情分析用信号を生成する歌唱信号比較装置２
２とから概略構成されている。
【００２８】ここで、歌唱感情分析用特徴量としては、
例えば、『音声レベル差』、『音声レベルの最大と
平均の差』、『音声開始時・終了時の時間差』、
『音声レベルの途切れ』、『音声開始時・終了時の音
声レベル上下』、『音声終了時の音声レベル下降時
間』、『音声信号終了時の基本周波数の上昇』、
『音声信号終了時の基本周波数の上下』等が挙げられ、
それらの特徴量〜はそれぞれ以下のような手法によ
り生成される。
例えば、『音声レベル差』、『音声レベルの最大と
平均の差』、『音声開始時・終了時の時間差』、
『音声レベルの途切れ』、『音声開始時・終了時の音
声レベル上下』、『音声終了時の音声レベル下降時
間』、『音声信号終了時の基本周波数の上昇』、
『音声信号終了時の基本周波数の上下』等が挙げられ、
それらの特徴量〜はそれぞれ以下のような手法によ
り生成される。
【００２９】『音声レベル差』：図５（ａ）に示され
るように、音声信号と教師信号との差Ａを積分すること
により生成される。
るように、音声信号と教師信号との差Ａを積分すること
により生成される。
【００３０】『音声レベルの最大と平均の差』：図５
（ａ）に示されるように、音声信号について、最大値と
平均値との差Ｂを求め、教師信号について、同様にして
求めた値との差をとることにより生成される。
（ａ）に示されるように、音声信号について、最大値と
平均値との差Ｂを求め、教師信号について、同様にして
求めた値との差をとることにより生成される。
【００３１】『音声開始時・終了時の時間差』：図５
（ｂ）に示されるように、音声開始時並びに終了時のそ
れぞれについて、音声信号と教師信号との時間差Ｃ，Ｄ
を求めることにより生成される。
（ｂ）に示されるように、音声開始時並びに終了時のそ
れぞれについて、音声信号と教師信号との時間差Ｃ，Ｄ
を求めることにより生成される。
【００３２】『音声レベルの途切れ』：図５（ｂ）に
示されるように、音声終了時から開始時までの時間Ｅを
求め、教師信号について、同様にして求めた値との差を
とることにより生成される。
示されるように、音声終了時から開始時までの時間Ｅを
求め、教師信号について、同様にして求めた値との差を
とることにより生成される。
【００３３】『音声開始時・終了時の音声レベル上
下』：図５（ｂ）に示されるように、音声信号につい
て、音声開始時並びに終了時のある一定時間Ｆにおける
音声レベルの上下幅を求め、教師信号について、同様に
して求めた値との差をとることにより生成される。
下』：図５（ｂ）に示されるように、音声信号につい
て、音声開始時並びに終了時のある一定時間Ｆにおける
音声レベルの上下幅を求め、教師信号について、同様に
して求めた値との差をとることにより生成される。
【００３４】『音声終了時の音声レベル下降時間』：
図５（ｂ）に示されるように、音声信号について、音声
レベル終了直前の下降時間を計測することにより生成さ
れる。
図５（ｂ）に示されるように、音声信号について、音声
レベル終了直前の下降時間を計測することにより生成さ
れる。
【００３５】『音声信号終了時の基本周波数の上
昇』：図５（ｃ）に示されるように、音声信号終了時Ｈ
の基本周波数が教師信号よりも大きく上昇若しくは下降
している場合にはカウントを行うことにより生成され
る。
昇』：図５（ｃ）に示されるように、音声信号終了時Ｈ
の基本周波数が教師信号よりも大きく上昇若しくは下降
している場合にはカウントを行うことにより生成され
る。
【００３６】『音声信号終了時の基本周波数の上下』
図５（ｃ）に示されるように、音声信号終了時のある一
定時間Ｉにおける基本周波数の上下幅を求めることによ
り生成される。
図５（ｃ）に示されるように、音声信号終了時のある一
定時間Ｉにおける基本周波数の上下幅を求めることによ
り生成される。
【００３７】次に、歌唱感情分析装置３の構成について
説明する。先に説明した歌唱音声分析装置２からの出力
は、歌唱感情分析装置３に入力される。この歌唱感情分
析装置３の詳細が図３に示されている。
説明する。先に説明した歌唱音声分析装置２からの出力
は、歌唱感情分析装置３に入力される。この歌唱感情分
析装置３の詳細が図３に示されている。
【００３８】同図に示されるように、歌唱感情分析装置
３は、歌唱感情分析用ルールデータベース４に格納され
た歌唱感情分析用ルールの中から、『歌情報』で指定さ
れるルールを読み込むルール読み込み装置３１と、その
読み込まれたルールに基づいて、前記感情分析用信号か
ら歌唱に込められた感情（歌唱者の熱唱度、感情移入度
等）を分析して、後述する『感情適合度』を生成する感
情分析装置３２とから構成されている。
３は、歌唱感情分析用ルールデータベース４に格納され
た歌唱感情分析用ルールの中から、『歌情報』で指定さ
れるルールを読み込むルール読み込み装置３１と、その
読み込まれたルールに基づいて、前記感情分析用信号か
ら歌唱に込められた感情（歌唱者の熱唱度、感情移入度
等）を分析して、後述する『感情適合度』を生成する感
情分析装置３２とから構成されている。
【００３９】歌唱感情分析用ルールデータベース４の構
造の一例が図４に示されている。同図に示されるよう
に、このルールデータベースはいわゆるファジイルール
を基本として構成されており、具体的には、『ルール
データベース名』、『ルール条件部』、『ルール結
論部』、『メンバーシップ関数形状』、『パラメー
タ』等の項目から成り立っている。それらの項目〜
のデータの内容は、以下の通りである。
造の一例が図４に示されている。同図に示されるよう
に、このルールデータベースはいわゆるファジイルール
を基本として構成されており、具体的には、『ルール
データベース名』、『ルール条件部』、『ルール結
論部』、『メンバーシップ関数形状』、『パラメー
タ』等の項目から成り立っている。それらの項目〜
のデータの内容は、以下の通りである。
【００４０】『ルールデータベース名』：例えば、
“Type1 Song”等のようにして、そのルールデータベー
スの名称データが、対応する『歌情報』と関連づけて格
納されている。
“Type1 Song”等のようにして、そのルールデータベー
スの名称データが、対応する『歌情報』と関連づけて格
納されている。
【００４１】『ルール条件部』：例えば、“VLevel=V
LongT”，“VMax-VAve=VWide”等のように、特徴量ラベ
ルやメンバーシップ関数ラベルを使用して記述されたル
ール条件部が格納されている。
LongT”，“VMax-VAve=VWide”等のように、特徴量ラベ
ルやメンバーシップ関数ラベルを使用して記述されたル
ール条件部が格納されている。
【００４２】『ルール結論部』：例えば、“A=AM”，
“A=AL”等のように、特徴量ラベルやメンバーシップ関
数ラベルを使用して記述されたルール結論部が格納され
ている。
“A=AL”等のように、特徴量ラベルやメンバーシップ関
数ラベルを使用して記述されたルール結論部が格納され
ている。
【００４３】『メンバーシップ関数形状』：例えば、
“VLongT{2,2:5,5:7,6:9,5:12,2}”，“VWide{8,4:9,9:
10,10:11,9:12,4}”，“AL{10,2:12,5:14,6:16,5:18,
2}”，“AM{5,2:7,5:9,6:11,5:13,2}”等のように、メ
ンバーシップ関数ラベルを使用して記述されたメンバー
シップ関数形状が格納されている。
“VLongT{2,2:5,5:7,6:9,5:12,2}”，“VWide{8,4:9,9:
10,10:11,9:12,4}”，“AL{10,2:12,5:14,6:16,5:18,
2}”，“AM{5,2:7,5:9,6:11,5:13,2}”等のように、メ
ンバーシップ関数ラベルを使用して記述されたメンバー
シップ関数形状が格納されている。
【００４４】『パラメータ』：例えば、計測時間（３
秒）、音声休止しきい値（２）の如くに、各種のパラメ
ータが格納されている。
秒）、音声休止しきい値（２）の如くに、各種のパラメ
ータが格納されている。
【００４５】なお、以上の『ルール条件部』、『ルール
結論部』、『メンバーシップ関数形状』の記述に用いら
れる、特徴量ラベル並びにメンバーシップ関数ラベルの
内容は、例えば、次の通りである。
結論部』、『メンバーシップ関数形状』の記述に用いら
れる、特徴量ラベル並びにメンバーシップ関数ラベルの
内容は、例えば、次の通りである。
【００４６】［特徴量ラベルの内容］ VLevel：教師信号より大きな音声レベル時間 VMax ：音声レベルの最大 VAve ：音声レベルの平均 A ：熱唱度 ： ： ［メンバーシップ関数ラベルの内容］ VLongT：教師信号より大きな音声レベル時間が長い VWide ：音声レベルの差が大きい AL ：熱唱度大 AM ：熱唱度中 ： ： そのため、例えば、以下のルール記述（１），（２） （ルール条件部） （ルール結論部） （１）“VLevel=VLongT” “A=AM” （２）“VMax-VAve=VWide” “A=AL” は、つぎのようなファジイルールを定義していることと
なる。 （１）if 大きな音声レベル＝長い then 熱唱度＝中 （２）if 音声レベル差＝大きい then 熱唱度＝大 図４に戻って、先に説明したように、ルール読み込み装
置３１は、外部から指定される『歌情報』に基づいて、
該当する『ルールデータベース名』を検索することによ
り、その『歌情報』に適した『ルールデータベース』を
読み込み、その『ルールデータベース』を用いて、感情
分析装置３２では、感情分析用信号から『熱唱度』や
『感情移入度』をファジイ推論手法を用いて計算する。
なる。 （１）if 大きな音声レベル＝長い then 熱唱度＝中 （２）if 音声レベル差＝大きい then 熱唱度＝大 図４に戻って、先に説明したように、ルール読み込み装
置３１は、外部から指定される『歌情報』に基づいて、
該当する『ルールデータベース名』を検索することによ
り、その『歌情報』に適した『ルールデータベース』を
読み込み、その『ルールデータベース』を用いて、感情
分析装置３２では、感情分析用信号から『熱唱度』や
『感情移入度』をファジイ推論手法を用いて計算する。
【００４７】以下に、この『熱唱度』並びに『感情移入
度』の計算に用いられる『ルール』の具体的な幾つかの
例を、各特徴量（『音声レベル差』、『音声レベル
の最大−平均』、『音声信号開始時間並びに終了時
間』、『音声レベルの途切れ』、『音声信号終了時
の音声レベル上下』、『音声信号終了時の音声レベル
下降時間』、『音声信号終了時の基本周波数の上
昇』、『音声信号終了時の基本周波数の上下』）毎に
記述する。 『音声レベル差』を使用して、『熱唱度』を推論するためのルール： if 音声レベル差＝大 then 熱唱度＝中 if 音声レベル差＝中 then 熱唱度＝大 if 音声レベル差＝小 then 熱唱度＝小 『音声レベルの最大−平均』を使用して、『熱唱度』を推論するためのルー ル： if 音声レベルの最大−平均＝大 then 熱唱度＝大 if 音声レベルの最大−平均＝中 then 熱唱度＝中 if 音声レベルの最大−平均＝小 then 熱唱度＝小 『音声信号開始時間並びに終了時間』を使用して、『感情移入度』を推論す るためのルール： if 音声信号開始時間＝速い then 感情移入度＝中 if 音声信号開始時間＝同じ then 感情移入度＝小 if 音声信号終了時間＝速い then 感情移入度＝中 if 音声信号終了時間＝同じ then 感情移入度＝小 if 音声信号終了時間＝遅い then 感情移入度＝大 『音声レベルの途切れ』を使用して、『感情移入度』を推論するためのルー ル： if 音声レベルの途切れ＝大 then 感情移入度＝小 if 音声レベルの途切れ＝小 then 感情移入度＝大 『音声信号終了時の音声レベル上下』を使用して、『熱唱度』を推論するた めのルール： if 音声信号終了時の音声レベル上下＝多い then 熱唱度＝大 if 音声信号終了時の音声レベル上下＝少ない then 熱唱度＝小 『音声信号終了時の音声レベル下降時間』を使用して、『感情移入度』を推 論するためのルール： if 音声信号終了時の音声レベル下降時間＝大 then 感情移入度＝大 if 音声信号終了時の音声レベル下降時間＝中 then 感情移入度＝中 if 音声信号終了時の音声レベル下降時間＝小 then 感情移入度＝小 『音声信号終了時の基本周波数の上昇』を使用して、『感情移入度』を推論 するためのルール： if 音声信号終了時の基本周波数の上昇＝多い then 感情移入度＝大 if 音声信号終了時の基本周波数の上昇＝少ない then 感情移入度＝小 『音声信号終了時の基本周波数の上下』を使用して、『感情移入度』を推論 するためのルール： if 音声信号終了時の基本周波数の上下＝多い then 感情移入度＝大 if 音声信号終了時の基本周波数の上下＝少ない then 感情移入度＝小 なお、上記の各ルール〜において、『速い』、『遅
い』、『少ない』等は、教師音声と比較した時間であ
る。このように比較するのは、曲によってしきい値が異
なるためである。従って、『歌情報』等によりあらかじ
めしきい値が与えられている場合には、そのような比較
の必要はないであろう。また、各ルールのラベルは、例
えば、上記のの場合には図６に示される形状をしてお
り、その適合度により判定される。
度』の計算に用いられる『ルール』の具体的な幾つかの
例を、各特徴量（『音声レベル差』、『音声レベル
の最大−平均』、『音声信号開始時間並びに終了時
間』、『音声レベルの途切れ』、『音声信号終了時
の音声レベル上下』、『音声信号終了時の音声レベル
下降時間』、『音声信号終了時の基本周波数の上
昇』、『音声信号終了時の基本周波数の上下』）毎に
記述する。 『音声レベル差』を使用して、『熱唱度』を推論するためのルール： if 音声レベル差＝大 then 熱唱度＝中 if 音声レベル差＝中 then 熱唱度＝大 if 音声レベル差＝小 then 熱唱度＝小 『音声レベルの最大−平均』を使用して、『熱唱度』を推論するためのルー ル： if 音声レベルの最大−平均＝大 then 熱唱度＝大 if 音声レベルの最大−平均＝中 then 熱唱度＝中 if 音声レベルの最大−平均＝小 then 熱唱度＝小 『音声信号開始時間並びに終了時間』を使用して、『感情移入度』を推論す るためのルール： if 音声信号開始時間＝速い then 感情移入度＝中 if 音声信号開始時間＝同じ then 感情移入度＝小 if 音声信号終了時間＝速い then 感情移入度＝中 if 音声信号終了時間＝同じ then 感情移入度＝小 if 音声信号終了時間＝遅い then 感情移入度＝大 『音声レベルの途切れ』を使用して、『感情移入度』を推論するためのルー ル： if 音声レベルの途切れ＝大 then 感情移入度＝小 if 音声レベルの途切れ＝小 then 感情移入度＝大 『音声信号終了時の音声レベル上下』を使用して、『熱唱度』を推論するた めのルール： if 音声信号終了時の音声レベル上下＝多い then 熱唱度＝大 if 音声信号終了時の音声レベル上下＝少ない then 熱唱度＝小 『音声信号終了時の音声レベル下降時間』を使用して、『感情移入度』を推 論するためのルール： if 音声信号終了時の音声レベル下降時間＝大 then 感情移入度＝大 if 音声信号終了時の音声レベル下降時間＝中 then 感情移入度＝中 if 音声信号終了時の音声レベル下降時間＝小 then 感情移入度＝小 『音声信号終了時の基本周波数の上昇』を使用して、『感情移入度』を推論 するためのルール： if 音声信号終了時の基本周波数の上昇＝多い then 感情移入度＝大 if 音声信号終了時の基本周波数の上昇＝少ない then 感情移入度＝小 『音声信号終了時の基本周波数の上下』を使用して、『感情移入度』を推論 するためのルール： if 音声信号終了時の基本周波数の上下＝多い then 感情移入度＝大 if 音声信号終了時の基本周波数の上下＝少ない then 感情移入度＝小 なお、上記の各ルール〜において、『速い』、『遅
い』、『少ない』等は、教師音声と比較した時間であ
る。このように比較するのは、曲によってしきい値が異
なるためである。従って、『歌情報』等によりあらかじ
めしきい値が与えられている場合には、そのような比較
の必要はないであろう。また、各ルールのラベルは、例
えば、上記のの場合には図６に示される形状をしてお
り、その適合度により判定される。
【００４８】図１に戻って、芸術点採点装置５は、音声
感情分析装置３により判断された『熱唱度』や『感情移
入度』に基づいて歌唱者の芸術点を採点する。その採点
結果は、採点表示装置６により表示される。さらに、具
体的に言うと、図７に示されるように、芸術点採点装置
５は、歌唱感情分析装置３から得られる『感情適合度』
と外部から指令される『歌情報』とに基づいて芸術点を
採点する。
感情分析装置３により判断された『熱唱度』や『感情移
入度』に基づいて歌唱者の芸術点を採点する。その採点
結果は、採点表示装置６により表示される。さらに、具
体的に言うと、図７に示されるように、芸術点採点装置
５は、歌唱感情分析装置３から得られる『感情適合度』
と外部から指令される『歌情報』とに基づいて芸術点を
採点する。
【００４９】このとき、芸術点の採点は、例えば、次の
ようなルールに基づいて行うことができる。なお、以下
のルールにおいて、『大』等のラベルの指す大きさは、
『歌情報』により適宜に変更される。例えば、暗い曲の
場合には、熱唱度の『大』は小さく変更され、また感情
移入度の『大』は大きく変更される。 if 熱唱度の平均＝大 then 得点＝大 if 熱唱度の平均＝小 then 得点＝小 if 感情移入度の平均＝大 then 得点＝大 if 感情移入度の平均＝小 then 得点＝小 if 歌終盤の感情移入度＝大 then 得点＝大 if 歌終盤の感情移入度＝小 then 得点＝小 if 歌終盤の熱唱度＝大 then 得点＝大 if 歌終盤の熱唱度＝小 then 得点＝小 if 感情移入度の変化＝大＆歌情報＝落ち着いた then 得点＝大 if 感情移入度の変化＝小＆歌情報＝落ち着いた then 得点＝小 if 熱唱度の変化＝大＆歌情報＝激しい then 得点＝大 if 熱唱度の変化＝小＆歌情報＝激しい then 得点＝小 これらのルールから、歌唱における『感情移入度』や
『熱唱度』を加味して歌唱を採点することにより、如何
に教師音声に合わせて歌えるかではなくて、如何に熱唱
しているか、或いは、感情移入しているかと言った要素
を表現することができ、新たな歌唱の楽しみを作り出す
ことができる。
ようなルールに基づいて行うことができる。なお、以下
のルールにおいて、『大』等のラベルの指す大きさは、
『歌情報』により適宜に変更される。例えば、暗い曲の
場合には、熱唱度の『大』は小さく変更され、また感情
移入度の『大』は大きく変更される。 if 熱唱度の平均＝大 then 得点＝大 if 熱唱度の平均＝小 then 得点＝小 if 感情移入度の平均＝大 then 得点＝大 if 感情移入度の平均＝小 then 得点＝小 if 歌終盤の感情移入度＝大 then 得点＝大 if 歌終盤の感情移入度＝小 then 得点＝小 if 歌終盤の熱唱度＝大 then 得点＝大 if 歌終盤の熱唱度＝小 then 得点＝小 if 感情移入度の変化＝大＆歌情報＝落ち着いた then 得点＝大 if 感情移入度の変化＝小＆歌情報＝落ち着いた then 得点＝小 if 熱唱度の変化＝大＆歌情報＝激しい then 得点＝大 if 熱唱度の変化＝小＆歌情報＝激しい then 得点＝小 これらのルールから、歌唱における『感情移入度』や
『熱唱度』を加味して歌唱を採点することにより、如何
に教師音声に合わせて歌えるかではなくて、如何に熱唱
しているか、或いは、感情移入しているかと言った要素
を表現することができ、新たな歌唱の楽しみを作り出す
ことができる。
【００５０】
【発明の効果】以上の説明から明らかなように、本発明
によれば、歌唱に込められた感情度合を的確に分析する
ことができ、この分析結果を利用することにより、一生
懸命に歌ってはいても教師音声通り忠実には歌えない人
や独特の歌い方をする人であっても、教師音声通り忠実
に歌うことができる人と同様に、得点を競い合ったり或
いは個性を楽しんだりすることが可能となる。
によれば、歌唱に込められた感情度合を的確に分析する
ことができ、この分析結果を利用することにより、一生
懸命に歌ってはいても教師音声通り忠実には歌えない人
や独特の歌い方をする人であっても、教師音声通り忠実
に歌うことができる人と同様に、得点を競い合ったり或
いは個性を楽しんだりすることが可能となる。
【図１】本発明にかかる歌唱の感情分析装置並びに採点
装置の実施の一形態の構成を示すブロック図である。
装置の実施の一形態の構成を示すブロック図である。
【図２】同装置に含まれる歌唱音声分析装置の詳細を示
すブロック図である。
すブロック図である。
【図３】同装置に含まれる歌唱感情分析装置の詳細を示
すブロック図である。
すブロック図である。
【図４】歌唱感情分析用ルールデータベースの構造の一
例を示す説明図である。
例を示す説明図である。
【図５】歌唱感情分析用ルールに使用される特徴量を説
明するための音声信号並びに教師信号の波形図である。
明するための音声信号並びに教師信号の波形図である。
【図６】歌唱感情分析用ルールのラベル形状を示す説明
図である。
図である。
【図７】同装置に含まれる芸術点採点装置の詳細を示す
ブロック図である。
ブロック図である。
１ マイク ２ 歌唱音声分析装置 ３ 歌唱感情分析装置 ４ 歌唱感情分析用ルールデータベース ５ 芸術点採点装置 ６ 採点表示装置 ２１ 歌唱詳細検出装置 ２２ 歌唱信号比較装置 ３１ ルール読み込み装置 ３２ 感情分析装置
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ｇ１０Ｋ 15/04 ３０２ Ｇ１０Ｋ 15/04 ３０２Ｄ (72)発明者 加茂 正充 京都府京都市右京区花園土堂町10番地 オ ムロン株式会社内 (72)発明者 石田 勉 京都府京都市右京区花園土堂町10番地 オ ムロン株式会社内
Claims (10)
- 【請求項１】 歌唱に相当する音声から感情の込め方と
相関のある感情特徴量を抽出する感情特徴量抽出手段
と、 前記抽出された感情特徴量に基づいて歌唱に込められた
感情を分析する感情分析手段と、 を具備することを特徴とする歌唱の感情分析装置。 - 【請求項２】 歌唱に相当する音声から感情の込め方と
相関のある感情特徴量を抽出する感情特徴量抽出手段
と、 前記抽出された感情特徴量に基づいて歌唱に込められた
感情を分析する感情分析手段と、 前記分析された歌唱に込められた感情に基づいて歌唱を
採点する採点手段と、を具備することを特徴とする歌唱
の採点装置。 - 【請求項３】 前記感情特徴量抽出手段は、分析対象者
の歌唱音声の休止毎にその間の感情特徴量を抽出するこ
とを特徴とする請求項１若しくは請求項２に記載の装
置。 - 【請求項４】 前記感情特徴量抽出手段は、 分析対象者の歌唱に相当する音声から予め決められた１
若しくは２以上の特徴項目に関する特徴量を抽出する分
析対象者特徴量抽出手段と、 教師等の標準歌唱者の歌唱に相当する音声から前記予め
決められた１若しくは２以上の特徴項目に関する特徴量
を抽出する標準歌唱者特徴量抽出手段と、 前記分析対象者の歌唱音声から抽出された１若しくは２
以上の特徴量と前記標準歌唱者の歌唱音声から抽出され
た１若しくは２以上の特徴量とを対応する特徴項目同士
で比較して、両者の差を感情の込め方と相関のある１若
しくは２以上の感情特徴量として出力する差演算手段
と、 を具備することを特徴とする請求項１若しくは請求項２
のいずれかに記載の装置。 - 【請求項５】 前記感情分析手段は、前記抽出された１
若しくは２以上の感情特徴量を、予め用意された感情分
析用ルールデータベースに当てはめることにより、歌唱
に込められた複数の感情項目についての感情適合度を分
析することを特徴とする請求項４に記載の装置。 - 【請求項６】 前記感情分析用ルールデータベースは、
曲目毎に用意されていることを特徴とする請求項５に記
載の装置。 - 【請求項７】 前記採点手段は、前記複数の感情項目に
ついて分析された感情適合度を、予め用意された採点用
ルールデータベースに当てはめることにより、当該歌唱
を採点することを特徴とする請求項５に記載の装置。 - 【請求項８】 前記採点用ルールデータベースは、曲目
毎に用意されていることを特徴とする請求項７に記載の
装置。 - 【請求項９】 前記特徴項目は、音声レベル、音声レベ
ルの最大と平均との差、音声信号開始時間、音声レベル
の途切れ、音声信号終了時の音声レベル上下、音声信号
終了時の音声レベル下降時間、音声信号終了時の基本周
波数の上昇、又は、音声信号終了時の基本周波数の上下
の少なくともいずれかであることを特徴とする請求項１
若しくは請求項２に記載の装置。 - 【請求項１０】 前記複数の感情項目は、熱唱度若しく
は感情移入度を含むことを特徴とする請求項５に記載の
装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9223059A JPH10187178A (ja) | 1996-10-28 | 1997-08-04 | 歌唱の感情分析装置並びに採点装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30246096 | 1996-10-28 | ||
| JP8-302460 | 1996-10-28 | ||
| JP9223059A JPH10187178A (ja) | 1996-10-28 | 1997-08-04 | 歌唱の感情分析装置並びに採点装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10187178A true JPH10187178A (ja) | 1998-07-14 |
Family
ID=26525250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9223059A Pending JPH10187178A (ja) | 1996-10-28 | 1997-08-04 | 歌唱の感情分析装置並びに採点装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH10187178A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7962345B2 (en) | 2001-04-11 | 2011-06-14 | International Business Machines Corporation | Speech-to-speech generation system and method |
| WO2013021896A1 (ja) * | 2011-08-10 | 2013-02-14 | ソニー株式会社 | 信号処理装置および方法、信号処理システム、並びにプログラム |
| US8738370B2 (en) | 2005-06-09 | 2014-05-27 | Agi Inc. | Speech analyzer detecting pitch frequency, speech analyzing method, and speech analyzing program |
| WO2016039465A1 (ja) * | 2014-09-12 | 2016-03-17 | ヤマハ株式会社 | 音響解析装置 |
| CN106128479A (zh) * | 2016-06-30 | 2016-11-16 | 福建星网视易信息系统有限公司 | 一种演唱情感识别方法及装置 |
-
1997
- 1997-08-04 JP JP9223059A patent/JPH10187178A/ja active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7962345B2 (en) | 2001-04-11 | 2011-06-14 | International Business Machines Corporation | Speech-to-speech generation system and method |
| US8738370B2 (en) | 2005-06-09 | 2014-05-27 | Agi Inc. | Speech analyzer detecting pitch frequency, speech analyzing method, and speech analyzing program |
| WO2013021896A1 (ja) * | 2011-08-10 | 2013-02-14 | ソニー株式会社 | 信号処理装置および方法、信号処理システム、並びにプログラム |
| JP2013037274A (ja) * | 2011-08-10 | 2013-02-21 | Sony Corp | 信号処理装置および方法、信号処理システム、並びにプログラム |
| WO2016039465A1 (ja) * | 2014-09-12 | 2016-03-17 | ヤマハ株式会社 | 音響解析装置 |
| CN106128479A (zh) * | 2016-06-30 | 2016-11-16 | 福建星网视易信息系统有限公司 | 一种演唱情感识别方法及装置 |
| CN106128479B (zh) * | 2016-06-30 | 2019-09-06 | 福建星网视易信息系统有限公司 | 一种演唱情感识别方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1901281B1 (en) | Speech analyzer detecting pitch frequency, speech analyzing method, and speech analyzing program | |
| Nittrouer et al. | The role of coarticulatory effects in the perception of fricatives by children and adults | |
| RU2003110435A (ru) | Способ обнаружения эмоций, способ генерирования чувствительности и система и машиночитаемый носитель для их осуществления | |
| Molina et al. | Fundamental frequency alignment vs. note-based melodic similarity for singing voice assessment | |
| JP2008026622A (ja) | 評価装置 | |
| Kostov et al. | Emotion in user interface, voice interaction system | |
| KR970063232A (ko) | 가라오케 채점장치 | |
| KR20130094538A (ko) | 사용자 입력 노래에 대응한 악보 생성 장치와 그 방법 | |
| Cook et al. | Evaluation of the affective valence of speech using pitch substructure | |
| CN105895079B (zh) | 语音数据的处理方法和装置 | |
| Bozkurt | Features for analysis of Makam music | |
| JPH10187178A (ja) | 歌唱の感情分析装置並びに採点装置 | |
| CN112837698A (zh) | 一种演唱或演奏评价方法、装置和计算机可读存储介质 | |
| CN105244021B (zh) | 哼唱旋律到midi旋律的转换方法 | |
| JP2004102146A (ja) | ビブラート採点機能を有するカラオケ採点装置 | |
| Gupta et al. | Objective assessment of ornamentation in Indian classical singing | |
| JP2007225916A (ja) | オーサリング装置、オーサリング方法およびプログラム | |
| JPH0384599A (ja) | カラオケの採点ファジィ制御装置 | |
| JP6954780B2 (ja) | カラオケ装置 | |
| JP2008040258A (ja) | 楽曲練習支援装置、動的時間整合モジュールおよびプログラム | |
| Biswas et al. | Objective assessment of pitch accuracy in equal-tempered vocal music using signal processing approaches | |
| RU2589851C2 (ru) | Система и способ перевода речевого сигнала в транскрипционное представление с метаданными | |
| Kosta | Computational modelling and quantitative analysis of dynamics in performed music | |
| JP4612329B2 (ja) | 情報処理装置およびプログラム | |
| Gerhard | Perceptual features for a fuzzy speech-song classification |