JP6024130B2 - 音声評価装置 - Google Patents
音声評価装置 Download PDFInfo
- Publication number
- JP6024130B2 JP6024130B2 JP2012056044A JP2012056044A JP6024130B2 JP 6024130 B2 JP6024130 B2 JP 6024130B2 JP 2012056044 A JP2012056044 A JP 2012056044A JP 2012056044 A JP2012056044 A JP 2012056044A JP 6024130 B2 JP6024130 B2 JP 6024130B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- difference
- unit
- section
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
Description
本発明は上述の背景に鑑みてなされたものであり、抑揚やリズム感が重視される歌唱法における歌唱の評価を好適に行うことを目的とする。
また、この態様において、前記特徴特定部により特定された特徴の変化量と、模範となる音の特徴を表す模範音データにより示される音の特徴の変化量との差分を特定する差分特定部を具備し、前記評価部は、前記変位点と前記拍データの示す時刻との時間差に基づく評価を行うともに、前記差分特定部により特定された差分に基づき前記音声データにより示される音を評価してもよい。
<構成>
図1は、本発明の実施形態におけるシステムの構成を表した図である。このシステムは、カラオケ装置100と、サーバ装置200と、ネットワークNWとを有する。カラオケ装置100は、ユーザからの要求に従ってカラオケ楽曲を再生するとともに、再生されるカラオケ楽曲についてのユーザによる歌唱を評価する装置である。ネットワークNWはLAN(Local Area Network)やインターネットであり、カラオケ装置100とサーバ装置200との間におけるデータ通信が行われる通信網である。サーバ装置200は、その内部あるいは外部に備えたHDD(Hard Disk Drive)等の記憶手段に、カラオケ楽曲に関するコンテンツデータ等の各種データを記憶しており、カラオケ装置100からの要求に従って、ネットワークNW経由でこのコンテンツデータをカラオケ装置100に供給する装置である。ここで、コンテンツとは、カラオケ楽曲に関する音声と映像との組み合わせを指す。すなわち、コンテンツデータとは、主旋律の歌声が存在せず伴奏やコーラスで構成されたいわゆる伴奏データと、この楽曲の歌詞や歌詞の背景に表示する映像からなる映像データとから成り立っている。なお、サーバ装置200に対してカラオケ装置100は複数存在してもよい。また、カラオケ装置100に対してサーバ装置200が複数存在してもよい。
xi=|Δti|*α+|Δpi|*β …(1)
si=sti*α+spi*β …(2)
図10は、制御部10が行う処理の流れを示すフロー図である。操作部30を介してユーザにより楽曲が予約されると(ステップS100;Yes)、制御部10は、記憶部20から予約された楽曲の検索を行う(ステップS102)。具体的にはステップS102において、制御部10は、伴奏データ記憶領域21、映像データ記憶領域22、及びGMデータ記憶領域23の各々から、選択された楽曲の曲番号または曲名をキーにして、その楽曲に関するデータを検索し、検索結果のデータをRAMに読み込む。
以上の実施形態は次のように変形可能である。尚、以下の変形例は適宜組み合わせて実施しても良い。また、上記実施形態と以下の変形例を組み合わせて実施しても良い。
上述の実施形態では、区間データを参照して特定区間とそれ以外の区間とで異なる評価処理を行うようにしたが、これに限らず、特定区間か否かを判定する処理を行わないようにしてもよい。この場合は、楽曲の全ての区間において上述の採点用データを用いた採点を行うようにしてもよい。より具体手的には、例えば、ジャンルが「ラップ」の楽曲については、楽曲の全ての区間において採点用データを用いた採点処理を行うようにしてもよい。この態様によれば、制御部10は、採点処理を切り替える必要がなく、また、曲データに特定区間を指示する必要がない。
上述の実施形態では、制御部10は、ユーザ歌唱音声データからピッチ変位点と音量変位点とを特定し、隣り合う変位点の変化量の差分を、ユーザ歌唱音声データと採点用データとで比較した。ユーザ歌唱音声データと採点用データの比較処理の態様は上述したものに限定されるものではなく、例えば、以下のような処理であってもよい。まず、制御部10は、予め定められた時間間隔で、ユーザ歌唱音声データのピッチの変化量を算出するとともに、模範音データ(例えば、GMデータ)のピッチの変化量を予め定められた時間間隔で算出する。次いで、制御部10は、算出したユーザ歌唱音声データのピッチの変化量と模範音データのピッチの変化量とを比較し、両者の差分を算出する。図12に示す例では、模範音データのピッチの一定間隔毎の差(b−a),(c−b),(d−c),…と、ユーザ歌唱音声データのピッチの一定間隔毎の差(b´−a´),(c´−b´),(d´−c´),…とが比較され、両者の差分が算出される。この算出処理によって求められる差分が小さいほど、ユーザ歌唱音声データのピッチと模範音データのピッチとの差分の偏差が小さいといえる。そのため、制御部10が、算出される差分が小さいほど高評価となるような評価処理を行うことで、上述の実施形態と同様の評価処理が行われる。このように、制御部10は、変位点におけるピッチの変化量の差分に応じて採点を行うことに代えて、ユーザ歌唱音声データのピッチと模範音データにより示される音のピッチとを予め定められた単位時間毎に比較し、両者の変化量の差分に基づいた評価処理を行ってもよい。この態様においても、上述の実施形態と同様に、抑揚やリズム感が重視される歌唱法による歌唱を好適に評価することができる。要は、制御部10は、ユーザ歌唱音声データのピッチの変化量と模範音データにより示される音のピッチの変化量との差分に基づいてユーザ歌唱音声データにより示される音を評価し、評価結果を出力するものであればよい。
また、ユーザ歌唱音声データと採点用データの比較処理は、以下のような処理であってもよい。まず、制御部10は、GM曲線500の傾きを求め、この傾きの値の範囲に応じて特定区間を複数の区間に分割する。例えば、制御部10は、傾きが正の値である区間(すなわちピッチが上昇している区間)、負の値である区間(すなわちピッチが下降している区間)、ゼロ(又はゼロに近い予め定められた閾値内である)値である区間(すなわちピッチの変化が少ない区間)、に分割してもよい。同様に、制御部10は、ユーザ歌唱音声曲線300の傾きを求め、この傾きの値の範囲に応じて特定区間を複数の区間に分割する。次いで、制御部10は、ピッチの変化の態様が同じである区間(例えば、共に傾きが正の値である区間)(図13の区間A1参照)については高評価とする一方、ピッチの変化の態様が異なる区間(例えば、一方の傾きの値が正である一方、他方の傾きの値が負である区間)(図13の区間A2参照)については低評価となるように評価処理を行うようにしてもよい。ピッチの変化の態様が異なる区間は、ユーザ歌唱音声データのピッチの変化量と模範音データのピッチの変化量との差分は大きくなるといえるから、この評価処理においても、上述の実施形態と同様に、歌唱音声データのピッチの変化量と模範音データのピッチの変化量との差分が大きいほど低評価となる評価処理が行われる。そのため、この態様においても、抑揚やリズム感が重視される歌唱法による歌唱を好適に評価することができる。また、この態様によれば、歌唱を評価する際に変位点を特定する必要がない。
また、ユーザ歌唱音声データと採点用データの比較処理は、以下のような処理であってもよい。まず、制御部10は、ユーザ歌唱音声データからピッチを特定し、ピッチの平均値を算出する。また、制御部10は、模範音データのピッチの平均値を算出し、ピッチの値と算出した平均値との差分が予め定められた閾値以上となる区間(図14の区間A11,A12,…参照)を示す区間データを生成する。なお、制御部10がこの区間データを生成するに限らず、区間データを予め採点用データに含めて採点用データ記憶領域24に記憶しておく構成としてもよい。制御部10は、ユーザ歌唱音声データのピッチと平均値との差分が予め定められた閾値以上となる区間(図14の区間A21,A22,…参照)を特定し、特定した区間と区間データの示す区間とを比較し、重複する部分が大きいほど高評価となるように評価処理を行う。この態様においては、ピッチの平均値からの差分が閾値以上となる区間の重複量に応じて評価されるから、抑揚やリズム感が重視される歌唱法による歌唱を好適に採点することができる。
上述の実施形態では、制御部10は、上述の(1)式を用いて変位点毎の採点を行ったが、採点処理の態様はこれに限らず、例えば、図15に示すような採点関数400を用いて採点値を算出してもよい。図15は、変位点一箇所あたりの得点の算出処理の内容を示す図であり、横軸はユーザ歌唱音声データと採点用データとの時間(又はピッチ)の変化量の差分を示し、縦軸は得点を示す。図15に示す例では、制御部10は、変化量の差分がある一定範囲内であれば満点となり、それ以降は点数が下がり、ある一定量以上のずれは最低点となるように得点を算出する。すなわち、制御部10は、ユーザ歌唱音声データの変化量と採点用データの変化量との差分が予め定められた閾値以内である場合には同一の評価結果を出力する一方、それ以外の場合には、差分が大きいほど低い評価結果を出力する。この態様によれば、ずれをある程度許容するような計算方式をとることができるため、より聴感に近い採点結果が得られる。
上述の実施形態では、変位点ごとに採点し、変位点ごとの採点値の平均値を求めることで特定区間の採点を行うようにしたが、特定区間の採点の態様はこれに限定されるものではない。例えば、採点用データにおいてある時刻にピッチの変位点があるとして、その時間的なごく近傍に歌唱ピッチの変位点があると高得点が得られ、時間的に離れれば離れるほど得点が下がるようにしてもよい。また、例えば、制御部10が、採点用データのピッチの変位点がない時刻に歌唱ピッチが変位点をとると減点するようにしてもよい。
score=aA+bD+c …(3)
上述の実施形態では、制御部10は、特定区間においては採点用データを用いて採点を行ったが、これに限らず、採点用データを用いずに採点を行ってもよい。この場合は、例えば、楽曲情報に含まれる拍の時刻(または拍間を2分割または4分割する時刻)とユーザ歌唱音声データから特定された変位点と時刻の差を用いて評価処理を行ってもよい。(図18参照)。すなわち、制御部10が、楽曲の拍を示す拍データを取得し、取得した拍データの示す時刻と、ユーザ歌唱音声におけるピッチ変位点の時刻との時間差に基づいて歌唱音声を評価してもよい。この場合、制御部10は、拍と変位点とのずれ量(すなわち時間差)が大きいほど低評価となるように評価処理を行ってもよい。この態様によれば、模範音データを用いることなく歌唱の評価を行うことができるから、模範音データを作成する手間が省かれる。また、制御部10が、この変形例に係る評価処理と、上述の実施形態に係る評価処理とを併用してもよい。すなわち、制御部10が、ユーザ歌唱音声のピッチの変位点の時刻と楽曲の拍データの示す時刻との時間差に基づく評価を行うとともに、ユーザ歌唱音声のピッチの変化量と模範音データのピッチの変化量との差分に基づいて評価を行うようにしてもよい。
上述の実施形態では、制御部10が、特定区間を示す区間データを取得する構成としたが、これに代えて、制御部10が、ユーザ歌唱音声データを予め定められたアルゴリズムに従って解析し、解析結果に応じて特定区間を特定するようにしてもよい。具体的には、例えば、制御部10が、ピッチの変化の態様が予め定められた条件を満たす区間を特定区間として特定するようにしてもよい。この場合も、上述の実施形態と同様に、制御部10は、特定区間においては採点用データを用いた採点を行うようにすればよい。この態様によれば、特定区間を予め曲データに記載するという手間が省かれる。
上述の実施形態では、制御部10は、ピッチの変化量の差分と音量の変化量の差分とを用いて採点処理を行ったが、音量の変化を採点に加味しない構成であってもよい。すなわち、ピッチの変化に基づいて評価値を算出するようにしてもよい。この場合は、採点用データに、音量の変位点を表すデータを含める必要はない。
上述の実施形態では、制御部10は、特定区間においては、ユーザ歌唱音声データの音の特徴の変化量の差分に基づく評価を行う一方、特定区間以外の区間においては、ユーザ歌唱音声データの音の特徴とGMデータにより示される音の特徴との差分に基づいて評価を行った。これに限らず、制御部10が、特定区間において、音の特徴の変化量の差分に基づく評価を行うまたはピッチを主とした従来の歌唱評価を行う(すなわちユーザ歌唱音声データの音の特徴とGMデータにより示される音の特徴との差分に基づいて評価を行う)構成であってもよい。
上述の実施形態において、通信ネットワークで接続された2以上の装置が、上記実施形態のカラオケ装置100に係る機能を分担するようにし、それら複数の装置を備えるシステムが同実施形態のカラオケ装置100を実現するようにしてもよい。例えば、マイクロホンやスピーカ、表示装置及び操作部等を備えるコンピュータ装置と、採点処理を実行するサーバ装置とが通信ネットワークで接続されたシステムとして構成されていてもよい。この場合は、例えば、コンピュータ装置が、マイクロホンで収音された音声をオーディオ信号に変換してサーバ装置に送信し、サーバ装置が、受信したオーディオ信号を解析して採点し、採点結果をコンピュータ装置に送信してもよい。この態様によれば、カラオケ端末の処理負荷が軽減され、また、サーバにおける統計処理が可能になる。
本発明は、評価装置以外にも、これらを実現するための方法や、コンピュータに音声評価機能を実現させるためのプログラムとしても把握される。かかるプログラムは、これを記憶させた光ディスク等の記録媒体の形態で提供されたり、インターネット等を介して、コンピュータにダウンロードさせ、これをインストールして利用させるなどの形態でも提供されたりする。この態様によれば、家庭のPC(Personal Computer)や携帯端末等(スマートフォンを含む)で、上述した実施形態に係るサービスを提供できる。
Claims (5)
- 音声の波形を示す音声データを取得する音声取得部と、
模範となる音の特徴を示す模範音データを取得する模範音取得部と、
前記音声取得部により取得された音声データにより示される音の特徴を特定する特徴特定部と、
前記特徴特定部により特定された特徴の変化量と、前記模範音データにより示される音の特徴の変化量のそれぞれの変化量の差分を特定する差分特定部と、
前記差分特定部により特定された差分に基づき前記音声データにより示される音を評価し、評価結果を出力する評価部と、
音の特徴の時間的変化を表すグラフの傾きが予め定められた閾値以上変化する箇所を変位点とするとき、 前記特徴特定部により特定された特徴の変位点を特定する変位点特定部と、
前記模範音データにより示される特徴に関する変位点と、当該変位点の時刻から所定の時間差内に現れる前記変位点特定部により特定された前記音声データの変位点とを互いに対応付ける対応付け部とを具備し、
前記差分特定部は、前記差分の特定において、前記対応付け部により対応付けられた前記音声データに関する変位点における特徴の変化量と前記模範音データに関する変位点における特徴の変化量との差分を特定する
することを特徴とする音声評価装置。 - 前記音声データに関する変位点の時刻と、前記模範音データに関する変位点の時刻との差分を特定する時刻変位特定部を有し、
前記評価部は、前記差分特定部により特定された差分及び前記時刻変位特定部により特定された差分に基づき前記音声データにより示される音を評価し、評価結果を出力する
ことを特徴とする請求項1に記載の音声評価装置。 - 前記評価部は、前記差分特定部により特定された差分が予め定められた閾値以内である場合には同一の評価結果を出力する一方、それ以外の場合には、該特定された差分が大きいほど低い評価を示す評価結果を出力する
ことを特徴とする請求項1又は2に記載の音声評価装置。 - 前記音声データにおいて予め定められた歌唱態様による歌唱を行う区間を表す区間データを取得する区間データ取得部
を具備し、
前記評価部は、前記区間データ取得部によって取得された区間データの示す区間内においては、前記差分特定部によって特定された差分に基づく評価を行う一方、該区間データの示す区間以外の区間においては、前記特徴特定部によって特定された特徴と、前記模範音データにより示される音の特徴との差分に基づく評価を行う
ことを特徴とする請求項1に記載の音声評価装置。 - 前記音声データを予め定められたアルゴリズムに従って解析し、解析結果に応じて、予め定められた歌唱態様による歌唱を行う区間を特定する区間特定部
を具備し、
前記評価部は、前記区間特定部によって特定された区間内においては、前記差分特定部によって特定された差分に基づく評価を行う一方、該特定された区間以外の区間においては、前記特徴特定部によって特定された特徴と、前記模範音データにより示される音の特徴との差分に基づく評価を行う
ことを特徴とする請求項1に記載の音声評価装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012056044A JP6024130B2 (ja) | 2012-03-13 | 2012-03-13 | 音声評価装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012056044A JP6024130B2 (ja) | 2012-03-13 | 2012-03-13 | 音声評価装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013190564A JP2013190564A (ja) | 2013-09-26 |
JP6024130B2 true JP6024130B2 (ja) | 2016-11-09 |
Family
ID=49390896
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012056044A Expired - Fee Related JP6024130B2 (ja) | 2012-03-13 | 2012-03-13 | 音声評価装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6024130B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6514874B2 (ja) * | 2014-10-03 | 2019-05-15 | 株式会社第一興商 | リファレンスの音高差と歌唱音声の音高差を比較して採点を行うカラオケ採点装置 |
JP6759545B2 (ja) * | 2015-09-15 | 2020-09-23 | ヤマハ株式会社 | 評価装置およびプログラム |
KR102107588B1 (ko) * | 2018-10-31 | 2020-05-07 | 미디어스코프 주식회사 | 가창 평가 방법 및 이를 수행하기 위한 컴퓨팅 장치 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5287789A (en) * | 1991-12-06 | 1994-02-22 | Zimmerman Thomas G | Music training apparatus |
JPH11224094A (ja) * | 1998-02-09 | 1999-08-17 | Yamaha Corp | カラオケ採点装置 |
JP3587200B2 (ja) * | 2002-06-10 | 2004-11-10 | ヤマハ株式会社 | カラオケ採点装置 |
JP4116849B2 (ja) * | 2002-09-10 | 2008-07-09 | ヤマハ株式会社 | 動作評価装置、カラオケ装置およびプログラム |
JP2008015214A (ja) * | 2006-07-06 | 2008-01-24 | Dds:Kk | 歌唱力評価方法及びカラオケ装置 |
JP2008020677A (ja) * | 2006-07-13 | 2008-01-31 | Casio Comput Co Ltd | 歌唱採点装置および歌唱採点プログラム |
JP2008039833A (ja) * | 2006-08-01 | 2008-02-21 | Yamaha Corp | 音声評価装置 |
JP2008040258A (ja) * | 2006-08-08 | 2008-02-21 | Yamaha Corp | 楽曲練習支援装置、動的時間整合モジュールおよびプログラム |
JP4906776B2 (ja) * | 2008-04-16 | 2012-03-28 | 株式会社アルカディア | 音声制御装置 |
US8148621B2 (en) * | 2009-02-05 | 2012-04-03 | Brian Bright | Scoring of free-form vocals for video game |
JP5122598B2 (ja) * | 2010-03-30 | 2013-01-16 | 株式会社コナミデジタルエンタテインメント | 音声入力評価システム、音声入力評価システムの制御方法、及びプログラム |
-
2012
- 2012-03-13 JP JP2012056044A patent/JP6024130B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013190564A (ja) | 2013-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101521451B1 (ko) | 표시 제어 장치 및 방법 | |
JP6060867B2 (ja) | 情報処理装置,データ生成方法,及びプログラム | |
JP2007310204A (ja) | 楽曲練習支援装置、制御方法及びプログラム | |
JP6024130B2 (ja) | 音声評価装置 | |
JP4163584B2 (ja) | カラオケ装置 | |
JP6288197B2 (ja) | 評価装置及びプログラム | |
JP4910854B2 (ja) | こぶし検出装置、こぶし検出方法及びプログラム | |
JP6102076B2 (ja) | 評価装置 | |
JP2007271977A (ja) | 評価基準判定装置、制御方法及びプログラム | |
JP5772054B2 (ja) | 歌唱評価装置 | |
JP4048249B2 (ja) | カラオケ装置 | |
JP5618743B2 (ja) | 歌唱音声評価装置 | |
JP5585320B2 (ja) | 歌唱音声評価装置 | |
JP5125957B2 (ja) | 音域特定システム、プログラム | |
JP6365483B2 (ja) | カラオケ装置,カラオケシステム,及びプログラム | |
JP5034642B2 (ja) | カラオケ装置 | |
JP6380305B2 (ja) | データ生成装置、カラオケシステム、及びプログラム | |
JP6406182B2 (ja) | カラオケ装置、及びカラオケシステム | |
JP6074835B2 (ja) | 楽曲練習支援装置 | |
JP2007233078A (ja) | 評価装置、制御方法及びプログラム | |
JP6144593B2 (ja) | 歌唱採点システム | |
JP5805474B2 (ja) | 音声評価装置,音声評価方法,及びプログラム | |
JP5012269B2 (ja) | 演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラム | |
JP5262908B2 (ja) | 歌詞表示装置,プログラム | |
JP2023049513A (ja) | カラオケ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160216 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160913 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160926 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6024130 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |