JP6044119B2 - 音響解析装置およびプログラム - Google Patents
音響解析装置およびプログラム Download PDFInfo
- Publication number
- JP6044119B2 JP6044119B2 JP2012123780A JP2012123780A JP6044119B2 JP 6044119 B2 JP6044119 B2 JP 6044119B2 JP 2012123780 A JP2012123780 A JP 2012123780A JP 2012123780 A JP2012123780 A JP 2012123780A JP 6044119 B2 JP6044119 B2 JP 6044119B2
- Authority
- JP
- Japan
- Prior art keywords
- harmonic
- variable
- volume
- expressed
- transfer function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Auxiliary Devices For Music (AREA)
Description
数式(4)の記号hは倍音成分の次数(整数)を意味し、記号σ2はガウス分布の分散を意味する。分散σ2は、例えば単一の所定値に設定される。数式(4)の調波構造Gn,f kによれば、基本周波数μn kに応じてガウス関数列が時刻n毎に周波数軸上で伸縮されるから、ビブラート等の微細な音高の変動も適切に表現できる。
数式(6)から理解されるように、音響モデルのスペクトログラムXn,fは、各要素成分(各調波要素EAn j,k,各非調波要素EBl)に対応するM個((JK+L)個)のスペクトルパターンWn,f mと各要素成分に対応するM個の時変な音量Un mとで表現される。
図2の音響モデルを評価する評価関数Qに数式(8)のIダイバージェンスを適用する場合、全極型伝達関数(1/|Af j|,1/|Bf l|)の各係数(αp j,βq l)を推定するための更新式の導出が問題となる。そこで、変数解析部24による具体的な処理の説明に先立ち、数式(9)で表現されるように、時間軸上の1個の時刻(したがって時刻nは省略される)での振幅スペクトルYfを全極型伝達関数γ/|Af|で近似する場合を仮定して、全極型伝達関数γ/|Af|の係数αpを推定するという小課題を便宜的に検討する。
数式(9)の記号「〜」は近似を意味する。また、数式(9)の記号γは、小課題の検討のために便宜的に導入した音量を意味する。振幅スペクトルYfと全極型伝達関数γ/|Af|との乖離の度合をIダイバージェンスで規定する評価関数Qは、以下の数式(10)で表現される。ただし、数式(10)では、係数αpの推定に関係しない要素を省略した。
数式(11)の右辺は、変数|Af|2が変数ρfとなる地点での接線に相当するから、変数ρfを補助変数とする補助関数として利用できる。数式(11)の等号が成立するのは、補助変数ρfが変数|Af|2に合致する場合(ρf←|Af|2)である。
数式(12)の右辺は目的関数1/|Af|を下回る可能性があるため、補助関数の要件を厳密には充足しないが、変数τfを変数|Af|に合致させれば凸関数に対するニュートン法と同形になるから、変数τfを補助変数と見做した効率的かつ安定的な最適化が可能である。
数式(14)の記号Re[ ]は実部を意味し、記号*は複素共役を意味する。
数式(18)は対称テプリッツ(Toeplitz)型の方程式であり、レビンソン-ダービン(Levinson-Durbin)アルゴリズムを利用することで高速に演算することが可能である。
評価関数Qを定義する数式(8)のうち括弧内の第1項の対数関数log(1/Xn,f)(=−logXn,f)に着目する。音響モデルのスペクトログラムXn,fを表現する数式(6)を考慮すると、対数関数−logXn,fは、対数関数が総和(Σ)を内包する形式であると理解できる。以上の形式を解消する(対数関数内から総和を除去する)ためにイェンゼン(Jensen)の不等式を適用すると、以下の数式(19)が導出される。
数式(19)の変数λn,f mは、任意の変数n,f,mについて正数であり(∀n,f,m:λn,f m>0)、任意の変数nおよびfについて総和が1となる変数(∀n,f:Σλn,f m=1)である。数式(19)で等号が成立する条件は、ラグランジュ(Lagrange)の未定乗数法を利用して導出される以下の数式(20)で表現される。
数式(22)をゼロとすることで、数式(8)の評価関数Q(スペクトログラムXn,fとスペクトログラムYn,fとのIダイバージェンス)が最小化されるように音量Un mを更新する以下の更新式(23)が導出される。
前掲の数式(21)を変形すると、各調波成分のスペクトル包絡VAf jを表現する全極型伝達関数1/|Af j|の係数αp jに関連する要素は以下の数式(24)で表現される。
各調波構造Gn,f kの基本周波数μn kの更新式を導出するために、前掲の数式(21)の第1項のみに着目する。すなわち、数式(21)の第2項Σm,n,fWn,f mUn mは、基本周波数μn kに対する依存が無視できるほど微小であると仮定して省略する。数式(21)の第1項のうち基本周波数μn kに関連する要素は以下の数式(27)で表現される。
信号処理部28は、数式(31)で算定されたスペクトログラムZn,fを時間領域の音響信号Szに変換する。例えば、信号処理部28は、スペクトログラムZn,fと音響信号Syの位相スペクトログラムとを適用した短時間逆フーリエ変換で音響信号Szを生成する。なお、公知の位相復元法で音響信号Szを生成することも可能である。信号処理部28が生成した音響信号Szが放音装置18に供給されて音波として再生される。
数式(32)のフィルタFn,fの分母は、音響モデルのスペクトログラムXn,f(数式(6))に相当する。他方、数式(32)の分子の変数un mは、音響モデルにおけるM個((JK+L)個)の要素成分(調波要素EAn j,kおよび非調波要素EBl)の音量(以下「調整音量」という)に対応する。M個の調整音量un mのうち利用者からの指示に応じた要素成分に対応する各調整音量un mは所定値εに設定され、残余の各調整音量un mは変数解析部24が推定した音量Un mに設定される。所定値εは例えばゼロ(またはゼロに近い正数)に設定される。以上の説明から理解されるように、数式(32)のフィルタFn,fの分子は、音響モデルのスペクトログラムXn,fのうち利用者からの指示に応じた特定の要素成分の音量Un mを所定値εに変更したスペクトログラムに相当する。したがって、フィルタFn,fを音響信号Syに作用させる数式(31)の演算により、音響信号Syから特定の要素成分を抑圧(除去)した音響信号Szが生成される。
以上に例示した形態には様々な変形が加えられる。例えば、前述の形態では、J個の調波成分とL個の非調波成分とを含む音響モデルを例示したが、L個の非調波成分を省略することも可能である。
Claims (6)
- 第1全極型伝達関数で表現されて相異なる音色の調波成分に対応する複数のスペクトル包絡の各々と、ガウス関数列で表現されて相異なる基本周波数に対応する複数の調波構造の各々との組合せに対応する複数の調波要素と、第2全極型伝達関数でスペクトル包絡が表現されて相異なる音色に対応する複数の非調波要素とを、要素毎の音量で混合した音響モデルのスペクトログラムが、対象音響信号のスペクトログラムに近似するように、前記第1全極型伝達関数および前記第2全極型伝達関数の各係数と、前記各調波要素および前記各非調波要素の音量と、前記各調波構造の基本周波数とを、反復的な更新で推定する変数解析手段
を具備する音響解析装置。 - 前記調波成分に対応する各スペクトル包絡と前記非調波要素に対応する各スペクトル包絡とは時不変である
請求項1の音響解析装置。 - 前記第1全極型伝達関数で表現される調波成分のスペクトル包絡と、当該調波成分の基本周波数の時間変化と、前記第2全極型伝達関数で表現される非調波要素のスペクトル包絡と、当該非調波要素の音量の時間変化とを含む解析結果画像を表示装置に表示させる表示制御手段
を具備する請求項1または請求項2の音響解析装置。 - 第1全極型伝達関数で表現されて相異なる音色の調波成分に対応する複数のスペクトル包絡の各々と、ガウス関数列で表現されて相異なる基本周波数に対応する複数の調波構造の各々との組合せに対応する複数の調波要素を、要素毎の音量で混合した音響モデルのスペクトログラムが、対象音響信号のスペクトログラムに近似するように、前記第1全極型伝達関数の係数と前記各調波要素の音量と前記各調波構造の基本周波数とを反復的な更新で推定する変数解析手段を具備し、
前記変数解析手段は、複数の基本周波数の各々の初期化後に前記音響モデルの各変数の更新処理を反復し、更新処理の反復過程で閾値を下回る音量となった調波構造に対応する各変数の更新を以後の更新処理での更新対象から除外する音響解析装置。 - 第1全極型伝達関数で表現されて相異なる音色の調波成分に対応する複数のスペクトル包絡の各々と、ガウス関数列で表現されて相異なる基本周波数に対応する複数の調波構造の各々との組合せに対応する複数の調波要素と、第2全極型伝達関数でスペクトル包絡が表現されて相異なる音色に対応する複数の非調波要素とを、要素毎の音量で混合した音響モデルのスペクトログラムが、対象音響信号のスペクトログラムに近似するように、前記第1全極型伝達関数および前記第2全極型伝達関数の各係数と、前記各調波要素および前記各非調波要素の音量と、前記各調波構造の基本周波数とを、反復的な更新で推定する解析処理
をコンピュータに実行させるプログラム。 - 第1全極型伝達関数で表現されて相異なる音色の調波成分に対応する複数のスペクトル包絡の各々と、ガウス関数列で表現されて相異なる基本周波数に対応する複数の調波構造の各々との組合せに対応する複数の調波要素を、要素毎の音量で混合した音響モデルのスペクトログラムが、対象音響信号のスペクトログラムに近似するように、前記第1全極型伝達関数の係数と前記各調波要素の音量と前記各調波構造の基本周波数とを反復的な更新で推定する解析処理
をコンピュータに実行させるプログラムであって、
前記解析処理においては、複数の基本周波数の各々の初期化後に前記音響モデルの各変数の更新処理を反復し、更新処理の反復過程で閾値を下回る音量となった調波構造に対応する各変数の更新を以後の更新処理での更新対象から除外するプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012123780A JP6044119B2 (ja) | 2012-05-30 | 2012-05-30 | 音響解析装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012123780A JP6044119B2 (ja) | 2012-05-30 | 2012-05-30 | 音響解析装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013250357A JP2013250357A (ja) | 2013-12-12 |
JP6044119B2 true JP6044119B2 (ja) | 2016-12-14 |
Family
ID=49849119
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012123780A Expired - Fee Related JP6044119B2 (ja) | 2012-05-30 | 2012-05-30 | 音響解析装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6044119B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6329408B2 (ja) * | 2014-03-19 | 2018-05-23 | Pioneer DJ株式会社 | 音声処理装置、音声処理装置の解析方法およびプログラム |
WO2016208000A1 (ja) * | 2015-06-24 | 2016-12-29 | Pioneer DJ株式会社 | 表示制御装置、表示制御方法および表示制御プログラム |
JP7072165B2 (ja) * | 2018-03-09 | 2022-05-20 | 学校法人早稲田大学 | モード分解装置、モード分解方法、プログラム |
CN112037812B (zh) * | 2020-09-01 | 2021-06-15 | 深圳爱卓软科技有限公司 | 音频处理方法 |
CN116762124A (zh) * | 2021-02-05 | 2023-09-15 | 雅马哈株式会社 | 音响解析系统、电子乐器及音响解析方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005066927A1 (ja) * | 2004-01-09 | 2005-07-21 | Toudai Tlo, Ltd. | 多重音信号解析方法 |
-
2012
- 2012-05-30 JP JP2012123780A patent/JP6044119B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013250357A (ja) | 2013-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4660739B2 (ja) | 音分析装置およびプログラム | |
JP5088030B2 (ja) | 演奏音の類似度を評価する方法、装置およびプログラム | |
JP6044119B2 (ja) | 音響解析装置およびプログラム | |
Nakano et al. | Bayesian nonparametric spectrogram modeling based on infinite factorial infinite hidden Markov model | |
Fuentes et al. | Adaptive harmonic time-frequency decomposition of audio using shift-invariant PLCA | |
Benetos et al. | Automatic transcription of pitched and unpitched sounds from polyphonic music | |
Rodriguez-Serrano et al. | Online score-informed source separation with adaptive instrument models | |
JP6197569B2 (ja) | 音響解析装置 | |
Hayes et al. | A review of differentiable digital signal processing for music and speech synthesis | |
Şimşekli et al. | Score guided audio restoration via generalised coupled tensor factorisation | |
JP2013164584A (ja) | 音響処理装置 | |
Macret et al. | Automatic calibration of modified fm synthesis to harmonic sounds using genetic algorithms | |
Gabrielli et al. | A multi-stage algorithm for acoustic physical model parameters estimation | |
Ye et al. | NAS-FM: neural architecture search for tunable and interpretable sound synthesis based on frequency modulation | |
JP5771575B2 (ja) | 音響信号分析方法、装置、及びプログラム | |
JP2012027196A (ja) | 信号分析装置、方法、及びプログラム | |
JP6733487B2 (ja) | 音響解析方法および音響解析装置 | |
Boccardi et al. | Sound morphing with Gaussian mixture models | |
Vanhatalo et al. | Neural Network-Based Virtual Analog Modeling | |
Hjerrild et al. | Physical models for fast estimation of guitar string, fret and plucking position | |
Igarashi et al. | Evaluation of sinusoidal modeling for polyphonic music signal | |
JP6564744B2 (ja) | 信号解析装置、方法、及びプログラム | |
Hahn | Expressive sampling synthesis. Learning extended source-filter models from instrument sound databases for expressive sample manipulations | |
Kim et al. | Digital waveguide synthesis of the geomungo with a time-varying loss filter | |
US20210383816A1 (en) | Sound signal generation method, generative model training method, sound signal generation system, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150324 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150410 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160412 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160512 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161018 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161031 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6044119 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |