JP6060867B2 - 情報処理装置,データ生成方法,及びプログラム - Google Patents
情報処理装置,データ生成方法,及びプログラム Download PDFInfo
- Publication number
- JP6060867B2 JP6060867B2 JP2013204484A JP2013204484A JP6060867B2 JP 6060867 B2 JP6060867 B2 JP 6060867B2 JP 2013204484 A JP2013204484 A JP 2013204484A JP 2013204484 A JP2013204484 A JP 2013204484A JP 6060867 B2 JP6060867 B2 JP 6060867B2
- Authority
- JP
- Japan
- Prior art keywords
- music
- data
- singing
- evaluation
- technique
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
Description
このため、特許文献1に記載されたカラオケ装置において、歌唱音声から検出した歌唱技巧を、予め生成した評価データに照合した結果、一致している場合に、付加点数を付与することが考えられる。ここで言う評価データとして、例えば、楽曲を歌唱する際に用いるべき歌唱技巧の内容を、その歌唱技巧を用いるべきタイミングと対応付けたものとすることが考えられる。このような評価データは、通常、人の手によって楽曲ごとに予め生成する必要があり、従来の技術では、楽曲データに基づいて評価データを自動的に生成することが困難であるという課題があった。
本発明の楽曲データ取得手段は、歌唱した歌唱音を含む楽曲データが記憶された第一記憶部から、楽曲データを取得する。抽出手段は、楽曲データ取得手段により取得された楽曲データから、歌唱した歌唱音を表すボーカルデータを抽出する。
本発明の情報処理装置によれば、評価データとしての特徴歌唱技巧を自動的に生成することができる。しかも、本発明の情報処理装置において、楽曲における特徴的な歌唱技巧であることを所定の条件とすれば、生成する評価データとしての特徴歌唱技巧を、楽曲における特徴的な歌唱技巧とすることができる。
この場合、本発明における実行手段は、歌唱取得手段により取得された歌唱データについて、第2決定手段により決定された特徴歌唱技巧を用いて、楽曲に対する歌唱の評価を実行しても良い。
さらに、本発明における抽出手段は、楽曲データから、ボーカルデータと、楽曲における伴奏音を表す伴奏データとを抽出しても良い。
また、本発明における実行手段は、歌唱データにおける技巧特徴量と特徴歌唱技巧との差分を導出し、その導出した差分が大きいほど、楽曲に対する歌唱の評価を高くしても良い。
すなわち、情報処理装置では、歌唱データにおける技巧特徴量と特徴歌唱技巧との差分が大きい場合、歌唱時の技巧が特徴歌唱技巧よりも強く表れているものと言える。
本発明の情報処理装置は、さらに、標準算出手段と、評価情報生成手段と、格納制御手段とを備えていても良い。
なお、ここで言う数値処理とは、例えば、算術平均や標準偏差を求めることである。
この場合のデータ生成方法は、第一記憶部から楽曲データを取得する楽曲データ取得過程と、その取得された楽曲データからボーカルデータを抽出する抽出過程と、その抽出されたボーカルデータについて、複数の歌唱技巧についての技巧特徴量を決定する第1決定過程と、第二記憶部に記憶された評価情報に基づいて、第1決定過程により決定された技巧特徴量の中で、所定の条件を満たす特徴歌唱技巧を決定する第2決定過程と、その決定された特徴歌唱技巧を用いて、楽曲に対する歌唱の評価を実行する実行過程とを備えている。
また、本発明は、コンピュータが実行するプログラムとしてなされていても良い。
〈カラオケシステムの構成〉
図1に示すカラオケシステム1は、ユーザ(利用者)が指定した楽曲を演奏し、その演奏に合わせてユーザが歌唱するシステムである。
〈情報処理サーバ〉
情報処理サーバ10は、通信部12と、記憶部14と、制御部16とを備えている。
制御部16は、ROM18,RAM20,CPU22を備えた周知のマイクロコンピュータを中心に構成された周知の制御装置である。ROM18は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを格納する。RAM20は、処理プログラムやデータを一時的に格納する。CPU22は、ROM18やRAM20に記憶された処理プログラムに従って各処理(各種演算)を実行する。
記憶部14は、記憶内容を読み書き可能に構成された周知の記憶装置である。この記憶部14には、少なくとも、複数の楽曲データMDが格納される。
楽器(例えば、ピアノ)の演奏音,及び管楽器(例えば、トランペットやクラリネットなど)の演奏音がある。一般的な楽曲においては、通常、打楽器やベースがリズム楽器として用いられる。
〈カラオケ装置〉
カラオケ装置30は、通信部32と、入力受付部34と、楽曲再生部36と、記憶部38と、音声制御部40と、映像制御部46と、制御部50とを備えている。
制御部50は、ROM52,RAM54,CPU56を少なくとも有した周知のコンピュータを中心に構成されている。ROM52は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを格納する。RAM54は、処理プログラムやデータを一時的に格納する。CPU56は、ROM52やRAM54に記憶された処理プログラムに従って各処理(各種演算)を実行する。
マイク62を介して入力された音声を歌唱データとして取得する。さらに、カラオケ装置30では、カラオケ採点処理に従って、その取得した歌唱データを採点して評価する。
〈標準特徴量算出処理〉
次に、カラオケ装置30の制御部50が実行する標準特徴量算出処理について説明する。
標準特徴量算出処理では、制御部50は、さらに、複数の歌唱技巧についての評価を表す技巧特徴量を、楽曲における音符区間ごとに決定する(S150)。ここで言う複数の歌唱技巧には、“ビブラート”,“ため”,“しゃくり”,“フォール”,“こぶし”を含む。
部50は、歌唱旋律を構成する各音符区間の終了タイミングnft(a,i)から、その特定したタイミングまでの区間におけるボーカルデータの音高時間変化と、予め規定された模範曲線との相互相関値を、フォール特徴量fall(a,i)として導出する。
つまり、本実施形態の標準特徴量算出処理では、制御部50が、複数の楽曲のボーカルデータについての各歌唱技巧の評価を表す技巧特徴量を算出する。さらに、標準特徴量算出処理では、制御部50が、その算出された技巧特徴量を数値処理し、その数値処理の結果を標準特徴量として、情報処理サーバ10の記憶部14に格納する。
〈評価データ生成処理〉
次に、カラオケ装置30の制御部50が実行する評価データ生成処理について説明する。
そして、評価データ生成処理では、図3に示すように、起動されると、まず、制御部50は、情報処理サーバ10に格納されている全ての楽曲データMDの中から、一つの楽曲データMDを取得する(S210)。続いて、制御部50は、S210にて取得した楽曲データMDに含まれる原盤波形データを取得する(S220)。
dirvib=sign(nsvib−msvib)
dirtt=sign(nstt−mstt)
dirrise=sign(nsrise−msrise)
dirfall=sign(nsfall−msfall)
dirkob=sign(nskob−mskob)
ただし、ここで言う“sign”は、符号関数であり、括弧内の符号に応じて、「1」,「−1」を返す関数である。つまり、向きdirvib,dirtt,dirrise,dirfall,dirkobは、それぞれ、「1」または「−1」となる。
つまり、評価データ生成処理では、制御部50が、楽曲における特徴的な歌唱技巧ほど大きな値となる重みを含む情報を評価特徴量として生成する。さらに、評価データ生成処理では、制御部50は、リファレンスデータを生成し、評価データと共に情報処理サーバ10の記憶部14に格納する。
〈カラオケ採点処理〉
次に、カラオケ装置30の制御部50が実行するカラオケ採点処理について説明する。
そして、カラオケ採点処理では、起動されると、図4に示すように、制御部50は、まず、入力受付部34を介して指定された楽曲に対応する楽曲データMDを、情報処理サーバ10の記憶部14から取得する(S510)。続いて、制御部50は、S510にて取得した楽曲データMDに含まれている伴奏データを抽出する(S520)。
部50は、照合の結果、一致度が高いほど高い点数とした基準評価点を算出する。
ただし、上記の技巧評価点を求める式おいて、Σの対象は、歌唱技巧であり、上記の式における向きは「1」または「−1」である。また、上記の技巧評価点を求める式における符号αは、技巧評価点に与えられる重みであり、予め規定された定数である。
つまり、カラオケ採点処理では、制御部50は、楽曲の演奏中に入力された音声を歌唱データとして記憶する。そして、カラオケ採点処理では、制御部50は、記憶した歌唱データを解析して歌唱特徴量を算出する。さらに、カラオケ採点処理では、制御部50は、評価データとしての重みに基づいて、楽曲における特徴的な技巧が強く表れているほど、大きな点数となるように重みを付与した重み付き演算により、技巧評価点を算出する。
[実施形態の効果]
以上説明したように、カラオケシステム1によれば、楽曲データMDを解析することで評価データを自動的に生成することができる。
そして、カラオケシステム1によれば、このような評価データを用いて歌唱を評価でき、利用者が楽曲を歌唱した際に用いた歌唱技巧が特徴技巧であるか否かを評価できる。
すなわち、歌唱特徴量と楽曲特徴量の平均値との差分が大きいほど、楽曲にて特徴的な技巧がより強く表れているものと言える。
[その他の実施形態]
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
最後に、上記実施形態の記載と、特許請求の範囲の記載との関係を説明する。
力部 44…マイク入力部 46…映像制御部 50…制御部 52…ROM 54…RAM 56…CPU 60…スピーカ 62…マイク 64…表示部
Claims (7)
- 歌唱した歌唱音を含む楽曲データが記憶された第一記憶部から、前記楽曲データを取得する楽曲データ取得手段と、
前記楽曲データ取得手段により取得された楽曲データから、歌唱した歌唱音を表すボーカルデータを抽出する抽出手段と、
前記抽出手段により抽出されたボーカルデータについて、複数の歌唱技巧についての評価を表す技巧特徴量を決定する第1決定手段と、
複数の楽曲のボーカルデータと、前記複数の楽曲のボーカルデータについて、前記複数の歌唱技巧について評価した評価情報とを対応付けて記憶する第二記憶部に記憶された前記評価情報に基づいて、前記第1決定手段により決定された技巧特徴量の中で、所定の条件を満たす特徴歌唱技巧を決定する第2決定手段と、
前記第2決定手段により決定された特徴歌唱技巧を用いて、楽曲に対する歌唱の評価を実行する実行手段と、
複数の楽曲のボーカルデータについての歌唱技巧の標準的な評価を表す標準特徴量を算出する標準算出手段と、
前記標準算出手段で導出された標準特徴量を数値処理し、その数値処理の結果を前記評価情報として算出する評価情報生成手段と、
前記評価情報生成手段で算出された評価情報を、複数の楽曲のボーカルデータと対応付けて、前記第二記憶部に格納する格納制御手段と、
を備えることを特徴とする情報処理装置。 - 楽曲の演奏中に入力された音声を表す歌唱データを取得する歌唱取得手段を備え、
前記実行手段は、
前記歌唱取得手段により取得された前記歌唱データについて、前記第2決定手段により決定された特徴歌唱技巧を用いて、楽曲に対する歌唱の評価を実行する
ことを特徴とする請求項1に記載の情報処理装置。 - 前記抽出手段は、前記楽曲データから、前記ボーカルデータと、楽曲における伴奏音を表す伴奏データとを抽出し、
前記情報処理装置は、さらに、
前記抽出手段で抽出した伴奏データに基づいて、前記楽曲を演奏する演奏手段を備え、
前記歌唱取得手段は、前記演奏手段にて楽曲の演奏中に入力された音声を前記歌唱データとして取得する
ことを特徴とする請求項2に記載の情報処理装置。 - 前記実行手段は、
前記歌唱データにおける技巧特徴量と前記特徴歌唱技巧との差分を導出し、その導出した差分が大きいほど、楽曲に対する歌唱の評価を高くする
ことを特徴とする請求項2又は請求項3に記載の情報処理装置。 - 前記第1決定手段は、前記技巧特徴量を前記歌唱技巧ごとに決定し、
前記第2決定手段は、前記特徴歌唱技巧を前記歌唱技巧ごとに決定し、
前記実行手段は、
前記歌唱データにおける技巧特徴量と前記特徴歌唱技巧との差分を前記歌唱技巧ごとに導出し、前記楽曲における特徴を強く表す歌唱技巧ほど大きな重みを付与して、その導出した差分を重み付き平均することで、前記楽曲の歌唱を評価する
ことを特徴とする請求項4に記載の情報処理装置。 - 歌唱した歌唱音を含む楽曲データが記憶された第一記憶部から、前記楽曲データを取得する楽曲データ取得過程と、
前記楽曲データ取得過程により取得された楽曲データから、歌唱した歌唱音を表すボーカルデータを抽出する抽出過程と、
前記抽出過程により抽出されたボーカルデータについて、複数の歌唱技巧についての評価を表す技巧特徴量を決定する第1決定過程と、
複数の楽曲のボーカルデータと、前記複数の楽曲のボーカルデータについて、前記複数の歌唱技巧について評価した評価情報とを対応付けて記憶する第二記憶部に記憶された前記評価情報に基づいて、前記第1決定過程により決定された技巧特徴量の中で、所定の条件を満たす特徴歌唱技巧を決定する第2決定過程と、
前記第2決定過程により決定された特徴歌唱技巧を用いて、楽曲に対する歌唱の評価を実行する実行過程と、
複数の楽曲のボーカルデータについての歌唱技巧の標準的な評価を表す標準特徴量を算出する標準算出過程と、
前記標準算出過程で導出された標準特徴量を数値処理し、その数値処理の結果を前記評価情報として算出する評価情報生成過程と、
前記評価情報生成過程で算出された評価情報を、複数の楽曲のボーカルデータと対応付けて、前記第二記憶部に格納する格納制御過程と、
を備えることを特徴とするデータ生成方法。 - 歌唱した歌唱音を含む楽曲データが記憶された第一記憶部から、前記楽曲データを取得する楽曲データ取得手順と、
前記楽曲データ取得手順により取得された楽曲データから、歌唱した歌唱音を表すボーカルデータを抽出する抽出手順と、
前記抽出手順により抽出されたボーカルデータについて、複数の歌唱技巧についての評価を表す技巧特徴量を決定する第1決定手順と、
複数の楽曲のボーカルデータと、前記複数の楽曲のボーカルデータについて、前記複数の歌唱技巧について評価した評価情報とを対応付けて記憶する第二記憶部に記憶された前記評価情報に基づいて、前記第1決定手順により決定された技巧特徴量の中で、所定の条件を満たす特徴歌唱技巧を決定する第2決定手順と、
前記第2決定手順により決定された特徴歌唱技巧を用いて、楽曲に対する歌唱の評価を実行する実行手順と、
複数の楽曲のボーカルデータについての歌唱技巧の標準的な評価を表す標準特徴量を算出する標準算出手順と、
前記標準算出手順で導出された標準特徴量を数値処理し、その数値処理の結果を前記評価情報として算出する評価情報生成手順と、
前記評価情報生成手順で算出された評価情報を、複数の楽曲のボーカルデータと対応付けて、前記第二記憶部に格納する格納制御手順とを
コンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013204484A JP6060867B2 (ja) | 2013-09-30 | 2013-09-30 | 情報処理装置,データ生成方法,及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013204484A JP6060867B2 (ja) | 2013-09-30 | 2013-09-30 | 情報処理装置,データ生成方法,及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015069082A JP2015069082A (ja) | 2015-04-13 |
JP6060867B2 true JP6060867B2 (ja) | 2017-01-18 |
Family
ID=52835774
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013204484A Active JP6060867B2 (ja) | 2013-09-30 | 2013-09-30 | 情報処理装置,データ生成方法,及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6060867B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101692303B1 (ko) * | 2016-03-04 | 2017-01-03 | 주식회사 비츠로씨앤씨 | 수처리시설의 플록 모니터링 장치 |
KR101692302B1 (ko) * | 2016-03-23 | 2017-01-03 | 주식회사 비츠로씨앤씨 | 수처리시설의 플록 모니터링 장치 |
KR101692304B1 (ko) * | 2016-03-23 | 2017-01-03 | 주식회사 비츠로씨앤씨 | 수처리시설의 플록 모니터링 장치 |
KR101715613B1 (ko) * | 2016-03-04 | 2017-03-13 | 주식회사 비츠로씨앤씨 | 수처리시설의 플록 모니터링 장치 |
KR101715611B1 (ko) * | 2016-01-26 | 2017-03-13 | 주식회사 비츠로씨앤씨 | 수처리시설의 플록 모니터링 장치 |
KR101715614B1 (ko) * | 2016-03-23 | 2017-03-13 | 주식회사 비츠로씨앤씨 | 수처리시설의 플록 모니터링 장치 |
KR101715612B1 (ko) * | 2016-01-26 | 2017-03-13 | 주식회사 비츠로씨앤씨 | 수처리시설의 플록 모니터링 장치 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6788560B2 (ja) * | 2017-09-05 | 2020-11-25 | 株式会社エクシング | 歌唱評価装置、歌唱評価プログラム、歌唱評価方法及びカラオケ装置 |
CN113744708B (zh) * | 2021-09-07 | 2024-05-14 | 腾讯音乐娱乐科技(深圳)有限公司 | 模型训练方法、音频评价方法、设备及可读存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008020677A (ja) * | 2006-07-13 | 2008-01-31 | Casio Comput Co Ltd | 歌唱採点装置および歌唱採点プログラム |
JP5034642B2 (ja) * | 2007-04-17 | 2012-09-26 | ヤマハ株式会社 | カラオケ装置 |
JP2011095437A (ja) * | 2009-10-29 | 2011-05-12 | Daiichikosho Co Ltd | カラオケ採点システム |
-
2013
- 2013-09-30 JP JP2013204484A patent/JP6060867B2/ja active Active
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101715611B1 (ko) * | 2016-01-26 | 2017-03-13 | 주식회사 비츠로씨앤씨 | 수처리시설의 플록 모니터링 장치 |
KR101715612B1 (ko) * | 2016-01-26 | 2017-03-13 | 주식회사 비츠로씨앤씨 | 수처리시설의 플록 모니터링 장치 |
KR101692303B1 (ko) * | 2016-03-04 | 2017-01-03 | 주식회사 비츠로씨앤씨 | 수처리시설의 플록 모니터링 장치 |
KR101715613B1 (ko) * | 2016-03-04 | 2017-03-13 | 주식회사 비츠로씨앤씨 | 수처리시설의 플록 모니터링 장치 |
KR101692302B1 (ko) * | 2016-03-23 | 2017-01-03 | 주식회사 비츠로씨앤씨 | 수처리시설의 플록 모니터링 장치 |
KR101692304B1 (ko) * | 2016-03-23 | 2017-01-03 | 주식회사 비츠로씨앤씨 | 수처리시설의 플록 모니터링 장치 |
KR101715614B1 (ko) * | 2016-03-23 | 2017-03-13 | 주식회사 비츠로씨앤씨 | 수처리시설의 플록 모니터링 장치 |
Also Published As
Publication number | Publication date |
---|---|
JP2015069082A (ja) | 2015-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6060867B2 (ja) | 情報処理装置,データ生成方法,及びプログラム | |
JP5598516B2 (ja) | カラオケ用音声合成システム,及びパラメータ抽出装置 | |
JP6252420B2 (ja) | 音声合成装置、及び音声合成システム | |
JP5125958B2 (ja) | 音域特定システム、プログラム | |
JP6075313B2 (ja) | プログラム,情報処理装置,及び評価データ生成方法 | |
JP6098422B2 (ja) | 情報処理装置、及びプログラム | |
JP6075314B2 (ja) | プログラム,情報処理装置,及び評価方法 | |
JP6056799B2 (ja) | プログラム、情報処理装置、及びデータ生成方法 | |
JP5782972B2 (ja) | 情報処理システム,プログラム | |
JP6011506B2 (ja) | 情報処理装置,データ生成方法,及びプログラム | |
JP6260565B2 (ja) | 音声合成装置、及びプログラム | |
JP2008040260A (ja) | 楽曲練習支援装置、動的時間整合モジュールおよびプログラム | |
JP6365483B2 (ja) | カラオケ装置,カラオケシステム,及びプログラム | |
JP2013210501A (ja) | 素片登録装置,音声合成装置,及びプログラム | |
JP5810947B2 (ja) | 発声区間特定装置、音声パラメータ生成装置、及びプログラム | |
JP4048249B2 (ja) | カラオケ装置 | |
JP5983670B2 (ja) | プログラム、情報処理装置、及びデータ生成方法 | |
JP6406182B2 (ja) | カラオケ装置、及びカラオケシステム | |
JP6380305B2 (ja) | データ生成装置、カラオケシステム、及びプログラム | |
JP5125957B2 (ja) | 音域特定システム、プログラム | |
JP2008040258A (ja) | 楽曲練習支援装置、動的時間整合モジュールおよびプログラム | |
JP6252408B2 (ja) | 表示制御装置,及び表示制御システム | |
JP6281447B2 (ja) | 音声合成装置,及び音声合成システム | |
JP6365561B2 (ja) | カラオケシステム、カラオケ装置、及びプログラム | |
JP6260499B2 (ja) | 音声合成システム、及び音声合成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160426 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160617 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161128 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6060867 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |