JP5626793B2 - 基本周波数モデルパラメータ推定装置、方法、及びプログラム - Google Patents
基本周波数モデルパラメータ推定装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP5626793B2 JP5626793B2 JP2011043706A JP2011043706A JP5626793B2 JP 5626793 B2 JP5626793 B2 JP 5626793B2 JP 2011043706 A JP2011043706 A JP 2011043706A JP 2011043706 A JP2011043706 A JP 2011043706A JP 5626793 B2 JP5626793 B2 JP 5626793B2
- Authority
- JP
- Japan
- Prior art keywords
- time series
- fundamental frequency
- acoustic signal
- order differential
- target value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Electrophonic Musical Instruments (AREA)
Description
まず、本発明で提案する基本周波数モデルパラメータ推定装置で用いる合唱歌唱モデルについて説明する。
次に、当該歌唱者の歌声音響信号、歌唱者と同時に歌唱する他者の歌声音響信号、及び音高目標値時系列を入力として、当該歌唱者の基本周波数生成系のフィルタ特性パラメータを推定して出力する基本周波数モデルパラメータ推定装置に、本発明を適用した場合を例にして、本発明の実施の形態を説明する。なお、当該歌唱者の歌声音響信号は、第1音響信号の一例であり、他者の歌声音響信号は、第2音響信号の一例であり、
次に、本実施の形態に係る基本周波数モデルパラメータ推定装置の作用について説明する。まず、分析対象の音響信号として、観測された当該歌唱者の歌声音響信号の時系列データ、歌唱者と同時に歌唱する他者の歌声音響信号の時系列データ、及び音高目標値の時系列データが、基本周波数モデルパラメータ推定装置に入力され、記憶部1に格納される。そして、基本周波数モデルパラメータ推定装置において、図3に示す音響信号分析処理ルーチンが実行される。
2 基本周波数抽出部
3 数値微分算出部
4 フィルタ特性パラメータ推定部
5 パラメータ出力部
Claims (7)
- 歌唱者の歌声を示す第1音響信号と、前記歌唱者と同時に合唱する他者の歌声を示す第2音響信号と、歌唱旋律を示す音高目標値時系列とを入力として、前記第1音響信号の基本周波数時系列、前記第2音響信号の基本周波数時系列、及び前記音高目標値時系列の基本周波数時系列を各々抽出する基本周波数抽出手段と、
前記基本周波数抽出手段によって抽出された前記第1音響信号の基本周波数時系列の1階微分時系列及び2階微分時系列を各々算出する数値微分算出手段と、
前記第2音響信号の基本周波数時系列に対する前記第1音響信号の基本周波数時系列の引き込み現象をモデル化し、かつ、前記第1音響信号の基本周波数時系列、前記第2音響信号の基本周波数時系列、及び前記音高目標値時系列の基本周波数時系列、前記1階微分時系列、及び前記2階微分時系列の関係を表わす2階の微分方程式を用いて、前記基本周波数抽出手段によって抽出された前記第1音響信号の基本周波数時系列、前記第2音響信号の基本周波数時系列、及び前記音高目標値時系列の基本周波数時系列と、前記数値微分算出手段によって算出された前記1階微分時系列及び前記2階微分時系列とに基づいて、前記2階の微分方程式のパラメータを、基本周波数生成系のフィルタ特性のパラメータとして推定するパラメータ推定手段と、
を含み、
前記2階の微分方程式を、以下の式で表した
基本周波数モデルパラメータ推定装置。
ただし、F 0 (t)は、前記第1音響信号の基本周波数時系列を表わし、V(t)は、前記第2音響信号の基本周波数時系列を表わし、U(t)は、前記音高目標値時系列の基本周波数時系列を表わす。d 2 F 0 (t)/dt 2 は、前記2階微分時系列を表わし、dF 0 (t)/dtは、前記1階微分時系列を表わす。a 1 、a 2 、a 3 、a 4 は、前記基本周波数生成系のフィルタ特性のパラメータである。 - 前記パラメータ推定手段は、前記基本周波数抽出手段によって抽出された前記第1音響信号の基本周波数時系列、前記第2音響信号の基本周波数時系列、及び前記音高目標値時系列の基本周波数時系列と、前記数値微分算出手段によって算出された前記1階微分時系列及び前記2階微分時系列とを用いた重回帰分析により、前記2階の線形微分方程式のパラメータを推定する請求項1記載の基本周波数モデルパラメータ推定装置。
- 前記基本周波数抽出手段によって抽出された前記第1音響信号の基本周波数時系列、前記第2音響信号の基本周波数時系列、及び前記音高目標値時系列の基本周波数時系列と、前記数値微分算出手段によって算出された前記1階微分時系列及び前記2階微分時系列とを正規化する正規化手段を更に含み、
前記パラメータ推定手段は、前記正規化手段によって正規化された前記第1音響信号の基本周波数時系列、前記第2音響信号の基本周波数時系列、及び前記音高目標値時系列の基本周波数時系列と、前記数値微分算出手段によって算出された前記1階微分時系列及び前記2階微分時系列とに基づいて、前記2階の線形微分方程式のパラメータを推定する請求項1又は2記載の基本周波数モデルパラメータ推定装置。 - 基本周波数抽出手段と、数値微分算出手段と、パラメータ推定手段とを含む基本周波数モデルパラメータ推定装置における基本周波数モデルパラメータ推定方法であって、
前記基本周波数モデルパラメータ推定装置は、
前記基本周波数抽出手段によって、歌唱者の歌声を示す第1音響信号と、前記歌唱者と同時に合唱する他者の歌声を示す第2音響信号と、歌唱旋律を示す音高目標値時系列とを入力として、前記第1音響信号の基本周波数時系列、前記第2音響信号の基本周波数時系列、及び前記音高目標値時系列の基本周波数時系列を各々抽出するステップと、
前記数値微分算出手段によって、前記基本周波数抽出手段によって抽出された前記第1音響信号の基本周波数時系列の1階微分時系列及び2階微分時系列を各々算出するステップと、
前記パラメータ推定手段によって、前記第2音響信号の基本周波数時系列に対する前記第1音響信号の基本周波数時系列の引き込み現象をモデル化し、かつ、前記第1音響信号の基本周波数時系列、前記第2音響信号の基本周波数時系列、及び前記音高目標値時系列の基本周波数時系列、前記1階微分時系列、及び前記2階微分時系列の関係を表わす2階の微分方程式を用いて、前記基本周波数抽出手段によって抽出された前記第1音響信号の基本周波数時系列、前記第2音響信号の基本周波数時系列、及び前記音高目標値時系列の基本周波数時系列と、前記数値微分算出手段によって算出された前記1階微分時系列及び前記2階微分時系列とに基づいて、前記2階の微分方程式のパラメータを、基本周波数生成系のフィルタ特性のパラメータとして推定するステップと、
を含んで実行し、
前記2階の微分方程式を、以下の式で表した
基本周波数モデルパラメータ推定方法。
ただし、F 0 (t)は、前記第1音響信号の基本周波数時系列を表わし、V(t)は、前記第2音響信号の基本周波数時系列を表わし、U(t)は、前記音高目標値時系列の基本周波数時系列を表わす。d 2 F 0 (t)/dt 2 は、前記2階微分時系列を表わし、dF 0 (t)/dtは、前記1階微分時系列を表わす。a 1 、a 2 、a 3 、a 4 は、前記基本周波数生成系のフィルタ特性のパラメータである。 - 前記基本周波数生成系のフィルタ特性のパラメータを推定するステップは、前記パラメータ推定手段によって、前記基本周波数抽出手段によって抽出された前記第1音響信号の基本周波数時系列、前記第2音響信号の基本周波数時系列、及び前記音高目標値時系列の基本周波数時系列と、前記数値微分算出手段によって算出された前記1階微分時系列及び前記2階微分時系列とを用いた重回帰分析により、前記2階の線形微分方程式のパラメータを推定する請求項4記載の基本周波数モデルパラメータ推定方法。
- 正規化手段によって、前記基本周波数抽出手段によって抽出された前記第1音響信号の基本周波数時系列、前記第2音響信号の基本周波数時系列、及び前記音高目標値時系列の基本周波数時系列と、前記数値微分算出手段によって算出された前記1階微分時系列及び前記2階微分時系列とを正規化するステップを更に含み、
前記基本周波数生成系のフィルタ特性のパラメータを推定するステップは、前記パラメータ推定手段によって、前記正規化手段によって正規化された前記第1音響信号の基本周波数時系列、前記第2音響信号の基本周波数時系列、及び前記音高目標値時系列の基本周波数時系列と、前記数値微分算出手段によって算出された前記1階微分時系列及び前記2階微分時系列とに基づいて、前記2階の線形微分方程式のパラメータを推定する請求項4又は5記載の基本周波数モデルパラメータ推定方法。 - コンピュータを、請求項1〜請求項3の何れか1項記載の基本周波数モデルパラメータ推定装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011043706A JP5626793B2 (ja) | 2011-03-01 | 2011-03-01 | 基本周波数モデルパラメータ推定装置、方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011043706A JP5626793B2 (ja) | 2011-03-01 | 2011-03-01 | 基本周波数モデルパラメータ推定装置、方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012181320A JP2012181320A (ja) | 2012-09-20 |
JP5626793B2 true JP5626793B2 (ja) | 2014-11-19 |
Family
ID=47012577
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011043706A Active JP5626793B2 (ja) | 2011-03-01 | 2011-03-01 | 基本周波数モデルパラメータ推定装置、方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5626793B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102277952B1 (ko) * | 2019-01-11 | 2021-07-19 | 브레인소프트주식회사 | 디제이 변환에 의한 주파수 추출 방법 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000099014A (ja) * | 1998-09-22 | 2000-04-07 | Ntt Data Corp | 音楽自動採点装置、音楽自動採点モデル作成装置、音楽自動採点モデル作成方法、音楽自動採点方法、及び、記録媒体 |
JP5188300B2 (ja) * | 2008-07-14 | 2013-04-24 | 日本電信電話株式会社 | 基本周波数軌跡モデルパラメータ抽出装置、基本周波数軌跡モデルパラメータ抽出方法、プログラム及び記録媒体 |
-
2011
- 2011-03-01 JP JP2011043706A patent/JP5626793B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012181320A (ja) | 2012-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11551708B2 (en) | Label generation device, model learning device, emotion recognition apparatus, methods therefor, program, and recording medium | |
Pirker et al. | A Pitch Tracking Corpus with Evaluation on Multipitch Tracking Scenario. | |
JP6523893B2 (ja) | 学習装置、音声合成装置、学習方法、音声合成方法、学習プログラム及び音声合成プログラム | |
Tarunika et al. | Applying machine learning techniques for speech emotion recognition | |
JP6004358B1 (ja) | 音声合成装置および音声合成方法 | |
CN103915093B (zh) | 一种实现语音歌唱化的方法和装置 | |
US9852743B2 (en) | Automatic emphasis of spoken words | |
Pravena et al. | Development of simulated emotion speech database for excitation source analysis | |
JP5807921B2 (ja) | 定量的f0パターン生成装置及び方法、f0パターン生成のためのモデル学習装置、並びにコンピュータプログラム | |
JP2016090775A (ja) | 応答生成装置、応答生成方法およびプログラム | |
He et al. | Study of wavelet packet energy entropy for emotion classification in speech and glottal signals | |
RU2510954C2 (ru) | Способ переозвучивания аудиоматериалов и устройство для его осуществления | |
JP5626793B2 (ja) | 基本周波数モデルパラメータ推定装置、方法、及びプログラム | |
Koriyama et al. | A comparison of speech synthesis systems based on GPR, HMM, and DNN with a small amount of training data. | |
Xue et al. | Emotional speech synthesis system based on a three-layered model using a dimensional approach | |
Saheer et al. | Combining vocal tract length normalization with hierarchical linear transformations | |
Lee et al. | A comparative study of spectral transformation techniques for singing voice synthesis. | |
JP2017097332A (ja) | 音声合成装置および音声合成方法 | |
Přibil et al. | GMM-based evaluation of emotional style transformation in czech and slovak | |
JP5771575B2 (ja) | 音響信号分析方法、装置、及びプログラム | |
Athanasopoulos et al. | 3D immersive karaoke for the learning of foreign language pronunciation | |
JP5318042B2 (ja) | 信号解析装置、信号解析方法及び信号解析プログラム | |
Pravena et al. | Significance of natural elicitation in developing simulated full blown speech emotion databases | |
JP6137708B2 (ja) | 定量的f0パターン生成装置、f0パターン生成のためのモデル学習装置、並びにコンピュータプログラム | |
Lee et al. | A study of F0 modelling and generation with lyrics and shape characterization for singing voice synthesis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20121001 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20121001 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20121002 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130925 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20130925 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140513 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140520 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140716 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140826 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140924 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5626793 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |