JP7439432B2 - 音響処理方法、音響処理装置およびプログラム - Google Patents
音響処理方法、音響処理装置およびプログラム Download PDFInfo
- Publication number
- JP7439432B2 JP7439432B2 JP2019177965A JP2019177965A JP7439432B2 JP 7439432 B2 JP7439432 B2 JP 7439432B2 JP 2019177965 A JP2019177965 A JP 2019177965A JP 2019177965 A JP2019177965 A JP 2019177965A JP 7439432 B2 JP7439432 B2 JP 7439432B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- observation
- envelope
- sound source
- envelopes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 224
- 238000003672 processing method Methods 0.000 title claims description 13
- 239000011159 matrix material Substances 0.000 claims description 170
- 230000005236 sound signal Effects 0.000 claims description 131
- 238000004458 analytical method Methods 0.000 claims description 90
- 238000000034 method Methods 0.000 description 81
- 230000008569 process Effects 0.000 description 67
- 108091006146 Channels Proteins 0.000 description 53
- 238000010586 diagram Methods 0.000 description 27
- 230000006870 function Effects 0.000 description 22
- 238000003860 storage Methods 0.000 description 13
- 238000011156 evaluation Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 101100377097 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) yth-1 gene Proteins 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000009527 percussion Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
- Stereophonic System (AREA)
Description
図1は、本開示の第1実施形態に係る音響処理システム100の構成を例示するブロック図である。音響処理システム100は、N個(Nは2以上の自然数)の音源S[1]~S[N]から発生する音響を収音および処理する音楽制作用の録音システムである。各音源S[n](n=1~N)は、例えば演奏により発音する楽器である。例えばドラムセットを構成する複数の打楽器(例えばシンバル,キックドラム,スネアドラム,ハイハットおよびフロアタム等)の各々が音源S[n]に相当する。N個の音源S[1]~S[N]は、ひとつの音響空間内に相互に近接して設置される。なお、2個以上の楽器の組合せを音源S[n]としてもよい。
制御装置11は、推定処理プログラムP1を実行することで推定処理部31として機能する。推定処理部31は、Nチャネルの音信号A[1]~A[N]を解析する。具体的には、推定処理部31は、包絡線取得部311と信号処理部312とを具備する。
Ex[n]≒q[n,1]Ey[1]+q[n,2]Ey[2]+…+q[n,N]Ey[N] (2)
すなわち、観測包絡線Ex[n]に対応するN個の混合比q[n,1]~q[n,N]は、当該観測包絡線Ex[n]をNチャネルの出力包絡線Ey[1]~Ey[N]の加重和で近似的に表現した場合における各出力包絡線Ey[n]の加重値に相当する。
図3に例示される通り、制御装置11は、学習処理プログラムP2を実行することで学習処理部32として機能する。学習処理部32は、推定処理Saに使用される混合行列Qを生成する。混合行列Qは、推定処理Saの実行前の任意の時点において生成(ないし訓練)される。具体的には、初期的な混合行列Qが新規に生成されるほか、生成済の混合行列Qが訓練(再訓練)される。学習処理部32は、包絡線取得部321と信号処理部322とを具備する。
図3に例示される通り、制御装置11は、表示制御プログラムP3を実行することで表示制御部33として機能する。表示制御部33は、推定処理Saまたは学習処理Sbによる処理の結果を表す画像(以下「解析画像」という)Zを表示装置13に表示させる。具体的には、表示制御部33は、複数の解析画像Z(Za~Zd)の何れかを、例えば操作装置14に対する利用者からの指示に応じて表示装置13に表示させる。表示装置13による解析画像Zの表示は、操作装置14に対する利用者からの指示を契機として開始され、N個の音源S[1]~S[N]による発音に並行して実行される。すなわち、音響処理システム100の利用者は、N個の音源S[1]~S[N]による発音(例えば楽器の演奏)に並行して実時間的に解析画像Zを視認することが可能である。なお、解析画像Zにおける各数値は、例えばデシベル値で表示される。
図8は、解析画像Zaの模式図である。解析画像Zaは、相異なるチャネル(CH)に対応するN個の単位画像Ga[1]~Ga[N]を含む。各単位画像Ga[n]は、音量を表す画像である。具体的には、各単位画像Ga[n]は、最小値Lminを表す下端と最大値Lmaxを表す上端とにわたる帯状の画像である。最小値Lminは無音(-∞dB)を意味する。なお、解析画像Zaは「第4画像」の一例である。
図9は、解析画像Zbの模式図である。解析画像Zbは、相異なるチャネル(CH)に対応するN個の単位画像Gb[1]~Gb[N]を含む。各チャネルは音源S[n]に対応するから、N個の単位画像Gb[1]~Gb[N]は、相異なる音源S[n]に対応する画像とも換言される。各単位画像Gb[n]は、単位画像Ga[n]と同様に、最小値Lminを表す下端と最大値Lmaxを表す上端とにわたる帯状の画像である。なお、解析画像Zbは「第1画像」の一例である。
図10は、解析画像Zcの模式図である。解析画像Zcは、相異なるチャネル(CH)に対応するN個の単位画像Gc[1]~Gc[N]を含む。N個の単位画像Gc[1]~Gc[N]は、相異なる音源S[n]に対応する画像とも換言される。各単位画像Gc[n]は、単位画像Ga[n]と同様に、最小値Lminを表す下端と最大値Lmaxを表す上端とにわたる帯状の画像である。なお、解析画像Zcは「第2画像」の一例である。
図11は、解析画像Zdの模式図である。解析画像Zdは、混合行列Qを表す画像である。具体的には、解析画像Zdは、混合行列Qと同様にN行N列に行列状に配列されたN2個の単位画像Gd[1,1]~Gd[N,N]を含む。
図3に例示される通り、制御装置11は、音響処理プログラムP4を実行することで音響処理部34として機能する。音響処理部34は、Nチャネルの音信号A[1]~A[N]の各々に対して音響処理を実行することで音信号B[n](B[1]~B[N])を生成する。具体的には、音響処理部34は、推定処理部31が生成した出力包絡線Ey[n]のレベルy[n,m]に応じた音響処理を、音信号A[n]に対して実行する。出力包絡線Ey[n]は、前述の通り、音信号A[n]における音源S[n]からの目的音の概形を表す包絡線である。具体的には、音響処理部34は、出力包絡線Ey[n]のレベルy[n,m]に応じて音信号A[n]に設定された複数の処理期間Hの各々について音響処理を実行する。
図12は、音響処理のうちゲート処理の説明図である。利用者がゲート処理を選択した場合、音響処理部34は、出力包絡線Ey[n]のレベルy[n,m]が所定の閾値yTH1を下回る可変長の期間を処理期間Hとして設定する。閾値yTH1は、例えば操作装置14に対する利用者からの指示に応じた可変値である。ただし、閾値yTH1を所定値に固定してもよい。
図13は、音響処理のうちコンプレッサ処理の説明図である。利用者がコンプレッサ処理を選択した場合、音響処理部34は、第nチャネルの出力包絡線Ey[n]のレベルy[n,m]が所定の閾値yTH2を上回る処理期間Hにおいて、当該第nチャネルの音信号A[n]のゲインを低下させる。閾値yTH2は、例えば操作装置14に対する利用者からの指示に応じた可変値である。ただし、閾値yTH2を所定値に固定してもよい。
第2実施形態について説明する。なお、以下に例示する各形態において機能が第1実施形態と同様である要素については、第1実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
図16は、第3実施形態における推定処理Saの説明図である。第1実施形態の推定処理部31における包絡線取得部311は、相異なる音源S[n]に対応するNチャネルの観測包絡線Ex[1]~Ex[N]を生成する。第3実施形態の包絡線取得部311は、相異なる周波数帯域に対応する3系統の観測包絡線Ex[n](Ex[n]_L,Ex[n]_M,Ex[n]_H)をチャネル毎に生成する。観測包絡線Ex[n]_Lは低周波数帯域に対応し、観測包絡線Ex[n]_Mは中周波数帯域に対応し、観測包絡線Ex[n]_Hは高周波数帯域に対応する。低周波数帯域は中周波数帯域の低域側に位置し、高周波数帯域は中周波数帯域の高域側に位置する。具体的には、低周波数帯域は中周波数帯域の下端値を下回る周波数帯域であり、高周波数帯域は中周波数帯域の上端値を上回る周波数帯域である。なお、観測包絡線Ex[n]が算定される周波数帯域の総数は3に限定されず任意である。なお、低周波数帯域と中周波数帯域と高周波数帯域とは、部分的に相互に重複してもよい。
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
以上に例示した形態から、例えば以下の構成が把握される。
Claims (10)
- 第1音源からの音を収音した第1音信号の時間軸上における波形の概形を表す第1観測包絡線と、第2音源からの音を収音した第2音信号の時間軸上における波形の概形を表す第2観測包絡線と、を含む複数の観測包絡線を取得し、
前記第1観測包絡線における前記第2音源からの被り音の混合比と、前記第2観測包絡線における前記第1音源からの被り音の混合比と、を含む混合行列を利用して、前記複数の観測包絡線から、前記第1観測包絡線における前記第1音源からの音の時間軸上における波形の概形を表す第1出力包絡線と、前記第2観測包絡線における前記第2音源からの音の時間軸上における波形の概形を表す第2出力包絡線と、を含む複数の出力包絡線を生成する
コンピュータにより実現される音響処理方法。 - 前記複数の出力包絡線の生成においては、
前記複数の観測包絡線を表す非負の観測行列に対する非負値行列因子分解により、事前に用意された非負の前記混合行列と、前記複数の出力包絡線を表す非負の係数行列とを生成する
請求項1の音響処理方法。 - 前記複数の観測包絡線の取得と、前記複数の出力包絡線の生成とは、時間軸上の複数の解析期間の各々について、前記第1音源および前記第2音源からの収音に並行して順次に実行される
請求項1または請求項2の音響処理方法。 - 前記複数の解析期間の各々は、前記複数の観測包絡線の各々における1個のレベルが算定される単位期間である
請求項3の音響処理方法。 - 前記単位期間毎に、当該単位期間における前記第1観測包絡線のレベルと、当該単位期間における前記第1出力包絡線のレベルとを、表示装置に表示させる
請求項4の音響処理方法。 - 第1音源からの音を収音した第1音信号の時間軸上における波形の概形を表す第1観測包絡線と、第2音源からの音を収音した第2音信号の時間軸上における波形の概形を表す第2観測包絡線と、を含む複数の観測包絡線を取得し、
前記第1観測包絡線における前記第2音源からの被り音の混合比、および、前記第2観測包絡線における前記第1音源からの被り音の混合比、を含む混合行列と、
前記第1観測包絡線における前記第1音源からの音の時間軸上における波形の概形を表す第1出力包絡線と、前記第2観測包絡線における前記第2音源からの音の時間軸上における波形の概形を表す第2出力包絡線と、を含む複数の出力包絡線と、
を前記複数の観測包絡線から生成する
コンピュータにより実現される音響処理方法。 - 第1音源からの音を収音した第1音信号の時間軸上における波形の概形を表す第1観測包絡線と、第2音源からの音を収音した第2音信号の時間軸上における波形の概形を表す第2観測包絡線と、を含む複数の観測包絡線を取得する包絡線取得部と、
前記第1観測包絡線における前記第2音源からの被り音の混合比と、前記第2観測包絡線における前記第1音源からの被り音の混合比と、を含む混合行列を利用して、前記複数の観測包絡線から、前記第1観測包絡線における前記第1音源からの音の時間軸上における波形の概形を表す第1出力包絡線と、前記第2観測包絡線における前記第2音源からの音の時間軸上における波形の概形を表す第2出力包絡線と、を含む複数の出力包絡線を生成する信号処理部と
を具備する音響処理装置。 - 第1音源からの音を収音した第1音信号の時間軸上における波形の概形を表す第1観測包絡線と、第2音源からの音を収音した第2音信号の時間軸上における波形の概形を表す第2観測包絡線と、を含む複数の観測包絡線を取得する包絡線取得部と、
前記第1観測包絡線における前記第2音源からの被り音の混合比、および、前記第2観測包絡線における前記第1音源からの被り音の混合比、を含む混合行列と、
前記第1観測包絡線における前記第1音源からの音の時間軸上における波形の概形を表す第1出力包絡線と、前記第2観測包絡線における前記第2音源からの音の時間軸上における波形の概形を表す第2出力包絡線と、を含む複数の出力包絡線と、
を前記複数の観測包絡線から生成する信号処理部と
を具備する音響処理装置。 - 第1音源からの音を収音した第1音信号の時間軸上における波形の概形を表す第1観測包絡線と、第2音源からの音を収音した第2音信号の時間軸上における波形の概形を表す第2観測包絡線と、を含む複数の観測包絡線を取得する包絡線取得部、および、
前記第1観測包絡線における前記第2音源からの被り音の混合比と、前記第2観測包絡線における前記第1音源からの被り音の混合比と、を含む混合行列を利用して、前記複数の観測包絡線から、前記第1観測包絡線における前記第1音源からの音の時間軸上における波形の概形を表す第1出力包絡線と、前記第2観測包絡線における前記第2音源からの音の時間軸上における波形の概形を表す第2出力包絡線と、を含む複数の出力包絡線を生成する信号処理部
としてコンピュータを機能させるプログラム。 - 第1音源からの音を収音した第1音信号の時間軸上における波形の概形を表す第1観測包絡線と、第2音源からの音を収音した第2音信号の時間軸上における波形の概形を表す第2観測包絡線と、を含む複数の観測包絡線を取得する包絡線取得部、および、
前記第1観測包絡線における前記第2音源からの被り音の混合比、および、前記第2観測包絡線における前記第1音源からの被り音の混合比、を含む混合行列と、
前記第1観測包絡線における前記第1音源からの音の時間軸上における波形の概形を表す第1出力包絡線と、前記第2観測包絡線における前記第2音源からの音の時間軸上における波形の概形を表す第2出力包絡線と、を含む複数の出力包絡線と、
を前記複数の観測包絡線から生成する信号処理部
としてコンピュータを機能させるプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019177965A JP7439432B2 (ja) | 2019-09-27 | 2019-09-27 | 音響処理方法、音響処理装置およびプログラム |
CN202080064954.2A CN114402387A (zh) | 2019-09-27 | 2020-09-23 | 音响处理方法及音响处理系统 |
PCT/JP2020/035723 WO2021060251A1 (ja) | 2019-09-27 | 2020-09-23 | 音響処理方法および音響処理システム |
EP20868500.8A EP4036915A1 (en) | 2019-09-27 | 2020-09-23 | Acoustic treatment method and acoustic treatment system |
US17/703,697 US20220215822A1 (en) | 2019-09-27 | 2022-03-24 | Audio processing method, audio processing system, and computer-readable medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019177965A JP7439432B2 (ja) | 2019-09-27 | 2019-09-27 | 音響処理方法、音響処理装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021056318A JP2021056318A (ja) | 2021-04-08 |
JP7439432B2 true JP7439432B2 (ja) | 2024-02-28 |
Family
ID=75270546
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019177965A Active JP7439432B2 (ja) | 2019-09-27 | 2019-09-27 | 音響処理方法、音響処理装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7439432B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006510017A (ja) | 2002-12-18 | 2006-03-23 | キネティック リミテッド | 信号分離 |
JP2006337415A (ja) | 2005-05-31 | 2006-12-14 | Nec Corp | 雑音抑圧の方法及び装置 |
WO2008133097A1 (ja) | 2007-04-13 | 2008-11-06 | Kyoto University | 音源分離システム、音源分離方法及び音源分離用コンピュータプログラム |
JP2013066079A (ja) | 2011-09-17 | 2013-04-11 | Yamaha Corp | かぶり音除去装置 |
JP2019159012A (ja) | 2018-03-09 | 2019-09-19 | ヤマハ株式会社 | 音処理方法および音処理装置 |
-
2019
- 2019-09-27 JP JP2019177965A patent/JP7439432B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006510017A (ja) | 2002-12-18 | 2006-03-23 | キネティック リミテッド | 信号分離 |
JP2006337415A (ja) | 2005-05-31 | 2006-12-14 | Nec Corp | 雑音抑圧の方法及び装置 |
WO2008133097A1 (ja) | 2007-04-13 | 2008-11-06 | Kyoto University | 音源分離システム、音源分離方法及び音源分離用コンピュータプログラム |
JP2013066079A (ja) | 2011-09-17 | 2013-04-11 | Yamaha Corp | かぶり音除去装置 |
JP2019159012A (ja) | 2018-03-09 | 2019-09-19 | ヤマハ株式会社 | 音処理方法および音処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2021056318A (ja) | 2021-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5057535B1 (ja) | ミキシング装置、ミキシング信号処理装置、ミキシングプログラム及びミキシング方法 | |
US11227572B2 (en) | Accompaniment control device, electronic musical instrument, control method and storage medium | |
EP3244636B1 (en) | Evaluation method for audio device, device for evaluation method, audio device, and speaker device | |
WO2017057530A1 (ja) | 音響処理装置及び音響処理方法 | |
JP2006251375A (ja) | 音声処理装置およびプログラム | |
RU2673599C2 (ru) | Способ передачи информации музыкального исполнения и система передачи информации музыкального исполнения | |
JP5262324B2 (ja) | 音声合成装置およびプログラム | |
US20220215822A1 (en) | Audio processing method, audio processing system, and computer-readable medium | |
JP7439432B2 (ja) | 音響処理方法、音響処理装置およびプログラム | |
WO2021166531A1 (ja) | 推定モデル構築方法、演奏解析方法、推定モデル構築装置、および演奏解析装置 | |
JP7439433B2 (ja) | 表示制御方法、表示制御装置およびプログラム | |
WO2014025041A1 (ja) | 発音割り当てのための装置及び方法 | |
JP7484118B2 (ja) | 音響処理方法、音響処理装置およびプログラム | |
JP6520162B2 (ja) | 伴奏教習装置および伴奏教習プログラム | |
JP2015018112A (ja) | 楽音発生装置、楽音発生方法およびプログラム | |
JP7443823B2 (ja) | 音響処理方法 | |
CN106847249B (zh) | 一种发音处理方法及系统 | |
WO2018055892A1 (ja) | 電子打楽器の音源 | |
WO2017135350A1 (ja) | 記録媒体、音響処理装置および音響処理方法 | |
JP4544183B2 (ja) | 電子鍵盤楽器 | |
JP7419666B2 (ja) | 音信号処理装置および音信号処理方法 | |
JP6337698B2 (ja) | 音響処理装置 | |
JP6409417B2 (ja) | 音響処理装置 | |
JP7184218B1 (ja) | 音響機器および該音響機器のパラメータ出力方法 | |
US20230260490A1 (en) | Selective tone shifting device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231030 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240129 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7439432 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |