JP5697395B2 - 歌唱音声評価装置およびプログラム - Google Patents
歌唱音声評価装置およびプログラム Download PDFInfo
- Publication number
- JP5697395B2 JP5697395B2 JP2010225726A JP2010225726A JP5697395B2 JP 5697395 B2 JP5697395 B2 JP 5697395B2 JP 2010225726 A JP2010225726 A JP 2010225726A JP 2010225726 A JP2010225726 A JP 2010225726A JP 5697395 B2 JP5697395 B2 JP 5697395B2
- Authority
- JP
- Japan
- Prior art keywords
- singing
- voice
- ratio
- value
- sung
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims description 44
- 238000000034 method Methods 0.000 claims description 67
- 238000009826 distribution Methods 0.000 claims description 43
- 230000001186 cumulative effect Effects 0.000 claims description 23
- 238000001228 spectrum Methods 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 239000000470 constituent Substances 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 description 34
- 238000012545 processing Methods 0.000 description 18
- 230000005236 sound signal Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000009499 grossing Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical group N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000003205 fragrance Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Description
本発明は、歌唱音声を解析して声質を判定するだけでなく、声質を切り替える技法で歌唱されているかどうかを判定することを目的とする。
また、本発明は、コンピュータを、歌唱音声を取得する取得手段と、前記取得した歌唱音声をフレームごとに周波数スペクトルに変換する変換手段と、前記各フレームの周波数スペクトルにおけるピーク値とディップ値との比に応じた値を歌唱SN比として算出する算出手段と、前記算出された各フレームの歌唱SN比の累積相対度数の分布に応じて、前記歌唱音声が第1の声質もしくは第2の声質で歌唱された音声、または特定の技法により歌唱された音声であると判定する判定手段と、前記判定結果に応じた情報を出力する出力手段として機能させるプログラムであって、前記判定手段は、前記分布の割合がR1になる歌唱SN比が第1の値以下である場合に、前記第1の声質で歌唱された音声と判定し、前記分布の割合がR2になる歌唱SN比が、前記第1の値より大きい第2の値以上である場合に、前記第2の声質で歌唱された音声と判定し、前記分布の割合がR3になる歌唱SN比が、前記第1の値以上かつ前記第2の値より小さい第3の値以下であるとともに、前記分布の割合がR4になる歌唱SN比が、前記第3の値より大きくかつ前記第2の値以下となる第4の値以上である場合に、前記特定の技法により歌唱された音声と判定し、R2<R1、かつ、R3<R4であることを特徴とするプログラムを提供する。
[ハードウエア構成]
図1は、本発明の実施形態におけるカラオケ装置1の構成を説明するブロック図である。カラオケ装置1は、本発明の歌唱音声評価装置の一例であり、入力された歌唱音声の評価を行う装置である。カラオケ装置1は、歌唱者の歌唱音声が入力され、その歌唱音声の声質の判定および声質を切り替える技法(以下、切り替え技法という)での歌唱が行われているかの判定を行う。まず、カラオケ装置1のハードウエア構成について説明する。
表示部30は、液晶ディスプレイなどの表示デバイスであり、制御部10の制御に応じた内容の表示を行う。この表示の内容は、カラオケの楽曲の進行に応じた背景画像、歌詞テロップ、メニュー画面、歌唱音声の評価結果、声質および切り替え技法の判定結果などである。
通信部40は、制御部10の制御に応じて、インターネットなどの通信回線と接続して、サーバ装置などの通信装置と情報のやり取りを行う。制御部10は、通信部40を介して取得した情報を用いて、記憶部50に記憶される情報を更新するようにしてもよい。
記憶部50は、ハードディスク、不揮発性メモリなどの記憶手段であり、楽曲データ、歌唱音声データ、および評価基準情報をそれぞれ記憶する記憶領域を有する。
楽曲データは、歌唱者によって操作部20の操作により指定された楽曲に対応するものが制御部10によって読み出され、カラオケの伴奏音のスピーカ61からの出力、歌詞テロップの表示部30への表示に用いられる。
評価基準情報は、切り替え技法判定機能において用いられ、声質の判定および切り替え技法の判定をする判定基準を示す情報である(図5参照)。評価基準情報の具体的な内容については、後述する切り替え技法判定機能の説明において示すため、ここでは省略する。
以上が、カラオケ装置1のハードウエア構成についての説明である。
次に、カラオケ装置1の制御部10が制御プログラムを実行することによって実現される切り替え技法判定機能について説明する。なお、以下に説明する切り替え技法判定機能を実現する切り替え技法判定部100における各構成の一部または全部については、ハードウエアによって実現してもよい。
算出部103は、このようにして算出した各フレームの歌唱SN比を示す情報を判定部104に出力する。この例における歌唱SN比の算出方法について図3を用いて説明する。
算出部103は、周波数f1におけるピーク値PLに応じて算出される値として歌唱音声のシグナル値を算出する。また、算出部103は、周波数f0と周波数f1との間のディップを示す周波数fdにおけるディップ値DLに応じて算出される値として歌唱音声のノイズ値を算出する。
算出部103は、各フレームについて、このようにして算出した歌唱音声のシグナル値からノイズ値を除算することにより、歌唱SN比を算出する。
第1の声質での歌唱であると判定される歌唱音声は、歌唱SN比が小さい(歌唱音声のノイズ成分が大きい)側に分布し、第2の声質での歌唱であると判定される歌唱音声は、歌唱SN比が大きい(歌唱音声のノイズ成分が小さい)側に分布し、切り替え技法による歌唱であると判定される歌唱音声は、歌唱SN比が小さい値から大きい値まで広がって分布している。この例における判定部104の具体的な処理について説明する。
なお、判定部104は、この平滑化の処理を行わなくてもよいし、判定部104に代えて算出部103において平滑化の処理がされるようにしてもよい。
判定部104は、このようにして抽出した歌唱SN比C1、C2、C3、C4と評価基準情報に規定された判定基準とを比較して、判定処理を行う。
ここで、第1の声質での歌唱と判定される場合、第2の声質での歌唱と判定される場合、切り替え技法による歌唱と判定される場合の累積度数分布について、図6を用いて説明する。
分布曲線S2によれば、C1>T1、C2>T2、C3>T3、C4>T4であるため、判定基準における第2の声質での歌唱と判定する条件のみを満たす。したがって、判定部104は、歌唱SN比の累積相対度数が分布曲線S2のような場合には、判定期間における歌唱音声は、第2の声質での歌唱であると判定する。
分布曲線S3によれば、C1>T1、C2<T2、C3<T3、C4>T4であるため、判定基準における切り替え技法による歌唱と判定する条件のみを満たす。したがって、判定部104は、歌唱SN比の累積相対度数が分布曲線S3のような場合には、判定期間における歌唱音声は、切り替え技法による歌唱であると判定する。
分布曲線S4によれば、C1>T1、C2<T2、C3<T3、C4<T4であるため、判定基準における各条件のいずれも満たさない。したがって、判定部104は、歌唱SN比の累積相対度数が分布曲線S4のような場合には、判定期間における歌唱音声は、第1の声質、第2の声質、切り替え技法のいずれの歌唱にも該当しないと判定する。
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
[変形例1]
上述した実施形態において、カラオケ装置1は、楽曲が終了した後、楽曲全体を1つの評価期間として歌唱の評価をしていたが、1つの楽曲を複数の評価期間に分割して、各期間において評価をしてもよい。例えば、複数の評価期間とは、楽曲の構成単位、例えば、歌詞の1番に相当する期間と2番に相当する期間であってもよいし、一定時間単位で区切られた期間であってもよい。なお、区切られた期間ごとに評価をしたとしても、楽曲全体としての評価期間での評価も行ってもよい。
上述した実施形態において、判定部104は、各フレームの歌唱SN比についての累積相対度数の分布を用いて判定処理を行っていたが、他の統計手法を用いて歌唱SN比の分布を算出して判定処理を行ってもよい。この場合であっても、判定部104は、この分布の算出結果から、評価期間において、歌唱音声について歌唱SN比が小さい(歌唱音声のノイズ成分が大きい)側に分布しているか、歌唱SN比が大きい(歌唱音声のノイズ成分が小さい)側に分布しているか、歌唱SN比が小さい値から大きい値まで広がって分布しているかにより、判定の処理をすればよい。
上述した実施形態においては、出力部105から出力される情報は、判定部104における判定結果に応じた内容を表示部30に表示させるための情報であったが、それ以外の内容を示す情報であってもよい。出力部105から出力される情報は、歌唱者に判定結果を報知するためのものであればよいから、例えば、判定結果の内容を声で表した音声データであってもよい。また、出力部105から出力される情報は、音響処理部60における音源を用いて発音させるためのMIDI形式のシーケンスデータであってもよい
上述した実施形態における制御プログラムは、磁気記録媒体(磁気テープ、磁気ディスクなど)、光記録媒体(光ディスクなど)、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供し得る。また、カラオケ装置1は、制御プログラムをネットワーク経由でダウンロードしてもよい。
Claims (4)
- 歌唱音声を取得する取得手段と、
前記取得した歌唱音声をフレームごとに周波数スペクトルに変換する変換手段と、
前記各フレームの周波数スペクトルにおけるピーク値とディップ値との比に応じた値を歌唱SN比として算出する算出手段と、
前記算出された各フレームの歌唱SN比の累積相対度数の分布に応じて、前記歌唱音声が第1の声質もしくは第2の声質で歌唱された音声、または特定の技法により歌唱された音声であると判定する判定手段と、
前記判定結果に応じた情報を出力する出力手段と
を具備し、
前記判定手段は、
前記分布の割合がR1になる歌唱SN比が第1の値以下である場合に、前記第1の声質で歌唱された音声と判定し、
前記分布の割合がR2になる歌唱SN比が、前記第1の値より大きい第2の値以上である場合に、前記第2の声質で歌唱された音声と判定し、
前記分布の割合がR3になる歌唱SN比が、前記第1の値以上かつ前記第2の値より小さい第3の値以下であるとともに、前記分布の割合がR4になる歌唱SN比が、前記第3の値より大きくかつ前記第2の値以下となる第4の値以上である場合に、前記特定の技法により歌唱された音声と判定し、
R2<R1、かつ、R3<R4である
ことを特徴とする歌唱音声評価装置。 - 前記取得手段は、楽曲データの再生中における歌唱音声を取得し、
前記算出手段は、前記楽曲データが示す歌唱すべき構成音が存在する期間に対応するフレームにおける前記歌唱SN比を算出する
ことを特徴とする請求項1に記載の歌唱音声評価装置。 - 前記判定手段は、前記取得した歌唱音声を複数の評価期間に分割し、前記評価期間ごとに前記判定を行い、前記第1の声質で歌唱された音声と判定した評価期間と前記第2の声質で歌唱された音声と判定した評価期間とが存在する場合には、複数の評価期間全体の歌唱音声が前記特定の技法により歌唱された音声と判定する
ことを特徴とする請求項1または請求項2に記載の歌唱音声評価装置。 - コンピュータを、
歌唱音声を取得する取得手段と、
前記取得した歌唱音声をフレームごとに周波数スペクトルに変換する変換手段と、
前記各フレームの周波数スペクトルにおけるピーク値とディップ値との比に応じた値を歌唱SN比として算出する算出手段と、
前記算出された各フレームの歌唱SN比の累積相対度数の分布に応じて、前記歌唱音声が第1の声質もしくは第2の声質で歌唱された音声、または特定の技法により歌唱された音声であると判定する判定手段と、
前記判定結果に応じた情報を出力する出力手段
として機能させるプログラムであって、
前記判定手段は、
前記分布の割合がR1になる歌唱SN比が第1の値以下である場合に、前記第1の声質で歌唱された音声と判定し、
前記分布の割合がR2になる歌唱SN比が、前記第1の値より大きい第2の値以上である場合に、前記第2の声質で歌唱された音声と判定し、
前記分布の割合がR3になる歌唱SN比が、前記第1の値以上かつ前記第2の値より小さい第3の値以下であるとともに、前記分布の割合がR4になる歌唱SN比が、前記第3の値より大きくかつ前記第2の値以下となる第4の値以上である場合に、前記特定の技法により歌唱された音声と判定し、
R2<R1、かつ、R3<R4である
ことを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010225726A JP5697395B2 (ja) | 2010-10-05 | 2010-10-05 | 歌唱音声評価装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010225726A JP5697395B2 (ja) | 2010-10-05 | 2010-10-05 | 歌唱音声評価装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012078702A JP2012078702A (ja) | 2012-04-19 |
JP5697395B2 true JP5697395B2 (ja) | 2015-04-08 |
Family
ID=46239000
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010225726A Active JP5697395B2 (ja) | 2010-10-05 | 2010-10-05 | 歌唱音声評価装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5697395B2 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4330346B2 (ja) * | 2002-02-04 | 2009-09-16 | 富士通株式会社 | 音声符号に対するデータ埋め込み/抽出方法および装置並びにシステム |
JP4432893B2 (ja) * | 2004-12-15 | 2010-03-17 | ヤマハ株式会社 | 声質判定装置、声質判定方法、および声質判定プログラム |
JP2008139426A (ja) * | 2006-11-30 | 2008-06-19 | Yamaha Corp | 評価用データのデータ構造、カラオケ装置及び記録媒体 |
JP5186793B2 (ja) * | 2007-04-17 | 2013-04-24 | ヤマハ株式会社 | カラオケ装置 |
JP5152588B2 (ja) * | 2008-11-12 | 2013-02-27 | 富士通株式会社 | 声質変化判定装置、声質変化判定方法、声質変化判定プログラム |
-
2010
- 2010-10-05 JP JP2010225726A patent/JP5697395B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012078702A (ja) | 2012-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6690181B2 (ja) | 楽音評価装置及び評価基準生成装置 | |
US8735709B2 (en) | Generation of harmony tone | |
WO2017047447A1 (ja) | 評価装置および記録媒体 | |
JP6631199B2 (ja) | 技法判定装置 | |
US10453478B2 (en) | Sound quality determination device, method for the sound quality determination and recording medium | |
JP4910854B2 (ja) | こぶし検出装置、こぶし検出方法及びプログラム | |
JP5712669B2 (ja) | 歌唱音声評価装置 | |
JP6288197B2 (ja) | 評価装置及びプログラム | |
JP6102076B2 (ja) | 評価装置 | |
JP2014178620A (ja) | 音声処理装置 | |
JP5618743B2 (ja) | 歌唱音声評価装置 | |
JP5782744B2 (ja) | 歌唱音声評価装置 | |
JP5697395B2 (ja) | 歌唱音声評価装置およびプログラム | |
JP5585320B2 (ja) | 歌唱音声評価装置 | |
JP5567443B2 (ja) | 歌唱音声評価装置 | |
JP4483561B2 (ja) | 音響信号分析装置、音響信号分析方法及び音響信号分析プログラム | |
JP5830840B2 (ja) | 音声評価装置 | |
JP2015194767A (ja) | 音声評価装置 | |
JP6175034B2 (ja) | 歌唱評価装置 | |
JP6074835B2 (ja) | 楽曲練習支援装置 | |
JP6135229B2 (ja) | 歌唱評価装置 | |
JP2016156917A (ja) | 歌唱評価装置およびプログラム | |
JP2008225111A (ja) | カラオケ装置及びプログラム | |
JP2008268359A (ja) | カラオケ装置、歌唱評価方法およびプログラム | |
JP2017129787A (ja) | 音採譜装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130920 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140410 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140513 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140701 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150210 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5697395 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |