JP6196320B2 - 複数の瞬間到来方向推定を用いるインフォ−ムド空間フィルタリングのフィルタおよび方法 - Google Patents
複数の瞬間到来方向推定を用いるインフォ−ムド空間フィルタリングのフィルタおよび方法 Download PDFInfo
- Publication number
- JP6196320B2 JP6196320B2 JP2015548311A JP2015548311A JP6196320B2 JP 6196320 B2 JP6196320 B2 JP 6196320B2 JP 2015548311 A JP2015548311 A JP 2015548311A JP 2015548311 A JP2015548311 A JP 2015548311A JP 6196320 B2 JP6196320 B2 JP 6196320B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- time
- weight
- noise
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 40
- 238000001914 filtration Methods 0.000 title description 7
- 238000012546 transfer Methods 0.000 claims description 31
- 239000011159 matrix material Substances 0.000 claims description 27
- 239000013598 vector Substances 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 8
- 230000001419 dependent effect Effects 0.000 claims description 6
- 230000003595 spectral effect Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 36
- 238000004364 calculation method Methods 0.000 description 22
- 230000000875 corresponding effect Effects 0.000 description 21
- 230000002238 attenuated effect Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 238000009792 diffusion process Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000010363 phase shift Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 101100521334 Mus musculus Prom1 gene Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/18—Methods or devices for transmitting, conducting or directing sound
- G10K11/26—Sound-focusing or directing, e.g. scanning
- G10K11/34—Sound-focusing or directing, e.g. scanning using electrical steering of transducer arrays, e.g. beam steering
- G10K11/341—Circuits therefor
- G10K11/346—Circuits therefor using phase variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Otolaryngology (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Circuit For Audible Band Transducer (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Description
複数の時間-周波数ビン((k, n))の各々について、1つ以上の音源の1つ以上の音成分の到来方向情報、または1つ以上の音源の位置情報を受信するステップと、
複数の時間-周波数ビンの各々について、重み情報を、その時間-周波数ビンの1つ以上の音源の1つ以上の音成分の到来方向情報に依存して、またはその時間-周波数ビンの1つ以上の音源の位置情報に依存して発生するステップと、
オ-ディオ出力信号を、複数の時間-周波数ビン((k, n))の各々について、複数のオ-ディオ出力信号サンプルのうちの1つを発生することにより発生するステップと、を含み、複数の時間-周波数ビン((k, n))の各々について発生されられるオ-ディオ出力信号サンプルは、その時間-周波数ビン((k, n))の重み情報に依存して、かつその時間-周波数ビン((k, n))へ割り当てられる、2つ以上の入力マイクロフォン信号の各々のオ-ディオ入力サンプルに依存して、その時間-周波数ビン((k, n))へ割り当てられる。
x(k, n)=[X1(k, n)X2(k, n)…XM(k, n)]T
によって与えられる。
Y(k, n)=wH(k, n)x(k, n) (1)
を用いて実行することにより、発生される。
と書くことができる。但し、xι(k, n)=[Xι(k, n, d1)…Xι(k, n, dM)]Tは、ι番目の平面波の音圧に比例するマイクロフォン信号を含み、xd(k, n)は測定された非定常雑音(例えば、拡散音)であり、xn(k, n)は定常雑音/ゆっくりと変動する雑音(例えば、マイクロフォン自己雑音)である。
によって記述することができる。但し、
Φd(k, n)=φd(k, n)Γd(k) (4)
である。ここで、Φn(k, n)は、定常雑音/ゆっくりと変動する雑音のPSD行列であり、φd(k, n)は非定常雑音の期待電力であり、時間および周波数にわたって急速に変動する可能性がある。コヒ-レンス行列Γd(k)のij番目の要素は、γij(k)で示され、非定常雑音から結果的に生じるマイクロフォンiとjとの間のコヒ-レンスである。例えば、球状等方性の拡散音場の場合、γij(k)=sinc(κ rij)[非特許文献20]である。κは波数、rij=||dj-di||である。コヒ-レンス行列Γn(k)のij番目の要素は、定常雑音/ゆっくりと変動する雑音から結果的に生じるマイクロフォンiとjとの間のコヒ-レンスである。マイクロフォン自己雑音の場合、Φn(k, n)=φn(k, n)Iであり、ここで、Iは恒等行列、φn(k, n)は自己雑音の期待電力である。
xι(k, n)=a[k|ρι(k, n)]Xι(k,n,d1) (5)
と書くことができる。但し、ριはι番目の平面波のDOAの方位角(ρ=0はマイクロフォンアレイの並び方向(broadside)を示す)であり、
a[k|ρι(k, n)]=[a1[k|ρι(k, n)]…aM[k|ρι(k, n)]]Tは伝搬ベクトルである。a[k|ρι(k, n)]のi番目の要素、
ai[k|ρι(k, n)]=exp{jκrisinρι(k, n)} (6)
は、ι番目の平面波による第1のマイクロフォンからi番目のマイクロフォンまでの位相シフトを記述する。ri=||di-d1||が、第1のマイクロフォンとi番目のマイクロフォンとの距離に等しいことは、留意されるべきである。
と表すことができる。ここで、G[k|ρ(k, n)]は、周波数依存性であることが可能な実数値または複素数値の任意の、例えば予め定義された指向性関数である。
によって得られる。但し、w(k, n)は長さMの複素重みベクトルである。対応する最適重みベクトルw(k, n)は、次のように導出される。以下では、簡潔さのために、重みw(k, n)のkおよびnに対する依存性は除外する。
wH(k, n)a[k|ρι(k, n)]=G[k|ρι(k, n)],
ι∈{1,2,…,L}
(9)
を満たさなければならないことになる。
Φd(k, n)=φd(k, n)Γd(k)
を適用することによって決定するように構成することができる。
によって求められる。
として表すことができる。ここで、
は、マイクロフォンにおける時変性入力DNRである。制約(9)が与えられたとすると、式(10)および式(12)の解は、
wnd=Φu -1A[AHΦu -1A]-1g (14)
=C-1A[AHC-1A]-1g (15)
である[非特許文献21]。ここで、
A(k, n)=[a[k|ρ1(k, n)]…a[k|ρι(k, n)]]は、伝搬ベクトルに関連するL個の平面波のDOA情報を含む。対応する所望される利得は、
g(k, n)=[G[k|ρ1(k, n)]…G[k|ρι(k, n)]]T (16)
によって与えられる。
=[g-AH(k, n)w]HΦs(k, n)[g-AH(k, n)w]
+wHΦu(k, n)w (19)
と書くことができる。ここで、Φs(k, n)=E{xs(k, n)xs(k, n)H}は指向性の音PSDを含み、xs(k, n)=[X1(k,n,d1)X2(k,n,d1)….XL(k,n,d1)]は参照マイクロフォンにおけるL個の平面波の音圧に比例する信号を含む。Φs(k, n)は対角行列であって、対角要素diag{Φs(k, n)}=[φ1(k, n)…φL(k, n)]Tは到来する平面波の電力であることに留意されたい。導入される信号歪に対する制御を有するために、時間と周波数に依存性の制御パラメ-タ
diag{Λ}=[λ1(k, n)λ2(k, n)…λL(k, n)]T、即ち、
CPW(k, n)=
[g-AH(k, n)w]HΛ(k, n)Φs(k, n)[g-AH(k, n)w]
+wHΦu(k, n)w (20)
を含む対角行列Λ(k, n)を包含することができる。
w=[AHΛ(k, n)Φs(k, n)A+Φu]-1AΛ(k, n)Φs(k, n)g
(21)
である。これは、
w=Φu -1A[Λ-1Φs -1+AHΦu -1A]-1g (22)
に等しい。
λι -1(k, n)=f(J(k, n)) (23)
として定義される。但し、f(・)はユ-ザが定義する任意の関数である。例えば、
λ1…L(k, n)を、
に従って選ぶことができる。但し、φι(k, n)はι番目の信号(ι番目の平面波)の電力、φu(k, n)=φn(k, n)+φd(k, n)は望ましくない信号(定常雑音/ゆっくりと変動する雑音および非定常雑音)の電力である。これにより、パラメトリック・ウィ-ナ・フィルタは2つ以上の入力マイクロフォン信号の信号成分に関する統計的情報に依存し、よって、パラメトリック・ウィ-ナ・フィルタは、さらに、2つ以上の入力マイクロフォン信号の雑音成分に関する統計的情報にも依存する。
によって求められる。但し、
wHa[k|ρι(k, n)]=0, ι∈{1,2,…,L} (26)
wHa[k|ρ0(k, n)]=1 (27)
を条件とする。
が選択される。但し、
である。重みWΨが与えられたとすると、追加的な空間フィルタの出力電力は、
によって与えられる。
を用いて推定することができる。但し、WΨは先の段落で定義している。定常雑音/ゆっくりと変動する雑音のPSD行列Φn(k, n)は、無音の間(即ち、信号および非定常雑音が存在しない間)に推定することができ、すなわち、
Φn(k, n)=E{x(k, n)xH(k, n)} (32)
となることは留意されるべきである。但し、期待値は無音フレ-ムnにわたって平均することにより近似される。無音フレ-ムは、最新技術による方法によって検出することができる。
Φu(k, n)=φn(k, n)(Ψ(k, n)Γd(k)+Γn(k)) (33)
を用いて、または、より一般的には、
Φu(k, n)=φd(k, n)Γd(k)+Φn(k, n) (34)
を用いて得ることができる。但し、Γd(k)とΓn(k)は先験的情報として入手できる(上記参照)。DNR Ψ(k, n)、定常雑音/ゆっくりと変動する雑音の電力φn(k, n)および必要とされる他の量は前述のように計算することができる。したがって、Φu(k, n)の推定は、モジュ-ル201によって得られるDOA情報を活用する。
を用いて計算することができる。但し、重みwιは、ι番目の波を除く、到来する全ての平面波を抑制し、すなわち、
となる。
となる。Φs(k, n)の推定は、モジュ-ル(201)において得られるDOA情報を活用する。必要とされる、望ましくない信号のPSD行列Φu(k, n)は、先の段落で説明したように計算することができる。
によって得られる。
によって、かつ二次制約wH w<βに従って得られる。パラメ-タβ-1は、最小WNGを画定し、かつフィルタの達成可能DIを決定する。実際には、低SNR状況における十分なWNGと、高SNR状況における十分に高いDIとの間の最適なトレ-ドオフを発見することは、困難である場合が多い。さらに、式(39)を解くことは、二次制約に起因して非凸最適化問題(non-convex optimization problem)に繋がり、解くには時間を要する。これは、時変性制約(9)に起因して各kおよびnの複素重みベクトルを計算し直す必要があるという理由で、特に問題である。
で表される。ここで、Yi(k, n)は音響再生システムのi番目(i={1,…,N})のチャネルの信号であり、Xd,i(k,n,d)はラウドスピ-カiから再生されるべき任意のポイントに(例えば、第1のマイクロフォンd1における)おける測定された拡散音であり、Gd(k, n)は、再生中の拡散音の適正電力を保証するための、拡散音の利得関数
である。理想的には、信号Xd,i(k, n)は、適正な拡散音電力を有し、かつチャネルi間では互いに相関されず、よって、
となる。
になり、即ち、指向性の音は両ラウドスピ-カから等しい電力で再生される。あるいは、ステレオ再生が所望される場合は、Gi[k|ρι(k, n)]はHRTFに相当することができる。
として推定される。重みwi(k, n)の制約と計算については次の小項目で説明する。
wi H(k, n)a[k|ρι(k, n)]=Gi[k|ρι(k, n)],
ι∈{1,2,…,L},
i∈{1,2,…,N}
(43)
を満たすべきであるということになる。
wi HΓd(k, n)wi=|Gd(k, n)]2, ∀i (44)
を満たすことができる。
と計算することができる。これは、例えば周知の数値的方法[非特許文献29]を用いて解くことのできる凸最適化問題に帰着する。
Claims (15)
- 複数のオーディオ出力信号サンプルを含むオーディオ出力信号を、2つ以上の入力マイクロフォン信号に基づいて発生するためのフィルタ(100)であって、前記オーディオ出力信号および前記2つ以上の入力マイクロフォン信号は時間−周波数領域において表現され、前記複数のオーディオ出力信号サンプルの各々は複数の時間−周波数ビン((k, n))のうちの1つの時間−周波数ビン((k, n))へ割り当てられ、
該フィルタ(100)は、
前記複数の時間−周波数ビン((k, n))の各々について、1つ以上の音源の1つ以上の音成分の到来方向情報または1つ以上の音源の位置情報を受信するように適合化され、かつ前記複数の時間−周波数ビン((k, n))の各々に関する重み情報を、前記時間−周波数ビン((k, n))の前記1つ以上の音源の前記1つ以上の音成分の前記到来方向情報に依存して、または前記時間−周波数ビン((k, n))の前記1つ以上の音源の前記位置情報に依存して発生するように適合化されている重み発生器(110)と、
前記オーディオ出力信号を、前記複数の時間−周波数ビン((k, n))の各々について前記複数のオーディオ出力信号サンプルのうちの1つを発生することにより発生するための出力信号発生器(120)であって、前記複数の時間−周波数ビン((k, n))の各々について発生されられるオーディオ出力信号サンプルは、前記時間−周波数ビン((k, n))の前記重み情報に依存して、かつ前記時間−周波数ビン((k, n))へ割り当てられる、前記2つ以上の入力マイクロフォン信号の各々のオーディオ入力サンプルに依存して、前記時間−周波数ビン((k, n))へ割り当てられる出力信号発生器(120)と、を備え、
前記重み発生器(110)は、前記複数の時間−周波数ビン((k, n))の各々の前記重み情報を、前記2つ以上の入力マイクロフォン信号の第1の雑音成分の第1のコヒーレンス行列に関する情報を示す第1の雑音情報に依存して、かつ前記2つ以上の入力マイクロフォン信号の第2の雑音成分の第2のコヒーレンス行列に関する情報を示す第2の雑音情報に依存して発生するように適合化されているフィルタ(100)。 - 前記重み発生器(110)は、前記第1の雑音情報を、統計的情報を使用することによって発生するように構成され、かつ前記重み発生器(110)は、前記第2の雑音情報を、前記統計的情報を使用することなく発生するように構成されており、前記統計的情報は予め規定されている請求項1に記載のフィルタ(100)。
- 前記重み発生器(110)は、前記重み発生器(110)は、前記複数の時間−周波数ビン((k, n))の各々の前記重み情報を、式
wnd=Φu -1A[AHΦu -1A]-1g
に依存して発生するように適合化されている請求項1または2に記載のフィルタ(100)。
ただし、Φu=Φd+Φnであり、
Φdは前記2つ以上の入力マイクロフォン信号の前記第1の雑音成分の第1の電力スペクトル密度行列であり、
Φnは前記2つ以上の入力マイクロフォン信号の前記第2の雑音成分の第2の電力スペクトル密度行列であり、
Aは前記到来方向情報を示し、
wndは前記重み情報を示すベクトルであり、
g(k, n)=[G[k|ρ1(k, n)]…G[k|ρι(k, n)]]T
であり、[G[k|ρ1(k, n)]は前記到来方向情報に依存する第1の実数値または複素数値の予め規定された指向性関数であり、G[k|ρι(k, n)]は前記到来方向情報に依存するさらなる実数値または複素数値の予め規定された指向性関数である、 - 前記重み発生器(110)は、前記第1の雑音情報を、前記2つ以上の入力マイクロフォン信号の前記第1の雑音成分のうちの少なくとも幾つかの間の1つ以上のコヒーレンスに依存して決定するように構成されており、前記1つ以上のコヒーレンスは予め規定されている請求項1から3のいずれか一項に記載のフィルタ(100)。
- 前記重み発生器(110)は、前記第1の雑音情報を、前記2つ以上の入力マイクロフォン信号の前記第1の雑音成分から結果的に生じるコヒーレンスを示すコヒーレンス行列Γd(k)に依存して決定するように構成されており、前記コヒーレンス行列Γd(k)は予め規定されている請求項1から4のいずれか一項に記載のフィルタ(100)。
- 前記重み発生器(110)は、前記第1の雑音情報を、式
Φd(k, n)=φd(k, n)Γd(k)
に従って決定するように構成されている請求項5に記載のフィルタ(100)。
ただし、Γd(k)は前記コヒーレンス行列であり、前記コヒーレンス行列は予め規定されたものであり、
Φd(k, n)は前記第1の雑音情報であり、かつ、
φd(k, n)は前記2つ以上の入力マイクロフォン信号の前記第1の雑音成分の期待電力である。 - 前記重み発生器(110)は、前記第1の雑音情報を、前記第2の雑音情報に依存して、かつ前記到来方向情報に依存して決定するように構成されている請求項1から6のいずれか一項に記載のフィルタ(100)。
- 前記重み発生器(110)は、前記第1の重み情報を決定するために、拡散対雑音情報または拡散成分電力を、前記第2の重み情報に依存して、かつ前記2つ以上の入力マイクロフォン信号に依存して発生するように構成されている請求項8に記載のフィルタ(100)。
- 前記重み発生器(110)は、前記重み情報を、パラメトリック・ウィーナ・フィルタを適用することによって決定するように構成されており、前記パラメトリック・ウィーナ・フィルタは前記2つ以上の入力マイクロフォン信号の信号成分に関する統計的情報に依存し、かつ前記パラメトリック・ウィーナ・フィルタは前記2つ以上の入力マイクロフォン信号の雑音成分に関する統計的情報に依存する請求項1から請求項3のいずれか一項に記載のフィルタ(100)。
- 前記重み発生器(110)は、前記重み情報を、1つ以上の平面波の到来方向を示す前記到来方向情報に依存して決定するように構成されている請求項1から10のいずれか一項に記載のフィルタ(100)。
- 前記重み発生器(110)は予め規定された伝達関数を提供するための伝達関数選択モジュール(104)を備え、かつ、
前記重み発生器(110)は、前記重み情報を、前記到来方向情報に依存して、かつ前記予め規定された伝達関数に依存して発生するように構成されている請求項1から11のいずれか一項に記載のフィルタ(100)。 - 前記伝達関数選択モジュール(104)は、前記予め規定された伝達関数を、前記予め規定された伝達関数が前記到来方向情報に依存して任意のピックアップパターンを示すように、前記予め規定された伝達関数が前記到来方向情報に依存してラウドスピーカ利得を示すように、または前記予め規定された伝達関数が前記到来方向情報に依存して頭部伝達関数を示すように提供すべく構成されている請求項12に記載のフィルタ(100)。
- 複数のオーディオ出力信号サンプルを含むオーディオ出力信号を、2つ以上の入力マイクロフォン信号に基づいて発生するための方法であって、前記オーディオ出力信号および前記2つ以上の入力マイクロフォン信号は時間−周波数領域において表現され、前記複数のオーディオ出力信号サンプルの各々は複数の時間−周波数ビン((k, n))のうちの1つの時間−周波数ビン((k, n))へ割り当てられ、
該方法は、
前記複数の時間−周波数ビン((k, n))の各々について、1つ以上の音源の1つ以上の音成分の到来方向情報、または1つ以上の音源の位置情報を受信するステップと、
前記複数の時間−周波数ビン((k, n))の各々に関する重み情報を、前記時間−周波数ビン((k, n))の前記1つ以上の音源の前記1つ以上の音成分の前記到来方向情報に依存して、または前記時間−周波数ビン((k, n))の前記1つ以上の音源の前記位置情報に依存して発生するステップと、
前記オーディオ出力信号を、前記複数の時間−周波数ビン((k, n))の各々について前記複数のオーディオ出力信号サンプルのうちの1つを発生することにより発生するステップであって、前記複数の時間−周波数ビン((k, n))の各々について発生されられるオーディオ出力信号サンプルは、前記時間−周波数ビン((k, n))の前記重み情報に依存して、かつ前記時間−周波数ビン((k, n))へ割り当てられる、前記2つ以上の入力マイクロフォン信号の各々のオーディオ入力サンプルに依存して、前記時間−周波数ビン((k, n))へ割り当てられるステップと、を含み、
前記複数の時間−周波数ビン((k, n))の各々について前記重み情報を発生するステップは、前記2つ以上の入力マイクロフォン信号の第1の雑音成分の第1のコヒーレンス行列に関する情報を示す第1の雑音情報に依存して、かつ前記2つ以上の入力マイクロフォン信号の第2の雑音成分の第2のコヒーレンス行列に関する情報を示す第2の雑音情報に依存して実行される方法。 - コンピュータまたは信号プロセッサ上で実行されると、請求項14に記載の方法を実装するためのコンピュータプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261740866P | 2012-12-21 | 2012-12-21 | |
US61/740,866 | 2012-12-21 | ||
EP13169163.6A EP2747451A1 (en) | 2012-12-21 | 2013-05-24 | Filter and method for informed spatial filtering using multiple instantaneous direction-of-arrivial estimates |
EP13169163.6 | 2013-05-24 | ||
PCT/EP2013/074650 WO2014095250A1 (en) | 2012-12-21 | 2013-11-25 | Filter and method for informed spatial filtering using multiple instantaneous direction-of-arrivial estimates |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016506664A JP2016506664A (ja) | 2016-03-03 |
JP6196320B2 true JP6196320B2 (ja) | 2017-09-13 |
Family
ID=48607016
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015548311A Active JP6196320B2 (ja) | 2012-12-21 | 2013-11-25 | 複数の瞬間到来方向推定を用いるインフォ−ムド空間フィルタリングのフィルタおよび方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US10331396B2 (ja) |
EP (2) | EP2747451A1 (ja) |
JP (1) | JP6196320B2 (ja) |
CN (1) | CN105165026B (ja) |
BR (1) | BR112015014380B1 (ja) |
ES (1) | ES2612528T3 (ja) |
RU (1) | RU2641319C2 (ja) |
WO (1) | WO2014095250A1 (ja) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9788128B2 (en) * | 2013-06-14 | 2017-10-10 | Gn Hearing A/S | Hearing instrument with off-line speech messages |
GB2521649B (en) * | 2013-12-27 | 2018-12-12 | Nokia Technologies Oy | Method, apparatus, computer program code and storage medium for processing audio signals |
EP2975609A1 (en) | 2014-07-15 | 2016-01-20 | Ecole Polytechnique Federale De Lausanne (Epfl) | Optimal acoustic rake receiver |
US9949041B2 (en) † | 2014-08-12 | 2018-04-17 | Starkey Laboratories, Inc. | Hearing assistance device with beamformer optimized using a priori spatial information |
JP6604331B2 (ja) * | 2014-10-10 | 2019-11-13 | ソニー株式会社 | 音声処理装置および方法、並びにプログラム |
EP3230981B1 (en) | 2014-12-12 | 2020-05-06 | Nuance Communications, Inc. | System and method for speech enhancement using a coherent to diffuse sound ratio |
WO2017158105A1 (en) * | 2016-03-18 | 2017-09-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Encoding by reconstructing phase information using a structure tensor on audio spectrograms |
EP3220386A1 (en) | 2016-03-18 | 2017-09-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for harmonic-percussive-residual sound separation using a structure tensor on spectrograms |
CN106028227B (zh) * | 2016-07-08 | 2019-05-24 | 乐鑫信息科技(上海)股份有限公司 | 分布式麦克风阵列及其适用的声源定位系统 |
CN106060743A (zh) * | 2016-08-03 | 2016-10-26 | 上海山景集成电路股份有限公司 | 麦克风、麦克风组合及麦克风信号处理方法 |
CN106569773A (zh) * | 2016-10-31 | 2017-04-19 | 努比亚技术有限公司 | 一种终端和语音交互的处理方法 |
CN106782590B (zh) * | 2016-12-14 | 2020-10-09 | 南京信息工程大学 | 基于混响环境下麦克风阵列波束形成方法 |
GB2563606A (en) | 2017-06-20 | 2018-12-26 | Nokia Technologies Oy | Spatial audio processing |
GB2563952A (en) * | 2017-06-29 | 2019-01-02 | Cirrus Logic Int Semiconductor Ltd | Speaker identification |
EP3460795A1 (en) * | 2017-09-21 | 2019-03-27 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Signal processor and method for providing a processed audio signal reducing noise and reverberation |
WO2019078816A1 (en) | 2017-10-17 | 2019-04-25 | Hewlett-Packard Development Company, L.P. | ELIMINATION OF SPACE COLLISIONS DUE TO ESTIMATED SPEECH DIRECTION OF SPEECH |
US10679617B2 (en) | 2017-12-06 | 2020-06-09 | Synaptics Incorporated | Voice enhancement in audio signals through modified generalized eigenvalue beamformer |
TWI690218B (zh) | 2018-06-15 | 2020-04-01 | 瑞昱半導體股份有限公司 | 耳機 |
CN110636400B (zh) * | 2018-06-25 | 2021-03-16 | 瑞昱半导体股份有限公司 | 耳机 |
US11335357B2 (en) * | 2018-08-14 | 2022-05-17 | Bose Corporation | Playback enhancement in audio systems |
CN109839612B (zh) * | 2018-08-31 | 2022-03-01 | 大象声科(深圳)科技有限公司 | 基于时频掩蔽和深度神经网络的声源方向估计方法及装置 |
CN109286875B (zh) * | 2018-09-29 | 2021-01-01 | 百度在线网络技术(北京)有限公司 | 用于定向拾音的方法、装置、电子设备和存储介质 |
JP7407580B2 (ja) | 2018-12-06 | 2024-01-04 | シナプティクス インコーポレイテッド | システム、及び、方法 |
US20200184994A1 (en) * | 2018-12-07 | 2020-06-11 | Nuance Communications, Inc. | System and method for acoustic localization of multiple sources using spatial pre-filtering |
CN111025233B (zh) * | 2019-11-13 | 2023-09-15 | 阿里巴巴集团控股有限公司 | 一种声源方向定位方法和装置、语音设备和系统 |
US11064294B1 (en) | 2020-01-10 | 2021-07-13 | Synaptics Incorporated | Multiple-source tracking and voice activity detections for planar microphone arrays |
CN111175693A (zh) * | 2020-01-19 | 2020-05-19 | 河北科技大学 | 一种波达方向估计方法及波达方向估计装置 |
CN112116920B (zh) * | 2020-08-10 | 2022-08-05 | 北京大学 | 一种说话人数未知的多通道语音分离方法 |
CN113203987A (zh) * | 2021-07-05 | 2021-08-03 | 成都启英泰伦科技有限公司 | 一种基于k均值聚类的多声源方位估计方法 |
US11823707B2 (en) | 2022-01-10 | 2023-11-21 | Synaptics Incorporated | Sensitivity mode for an audio spotting system |
US12057138B2 (en) | 2022-01-10 | 2024-08-06 | Synaptics Incorporated | Cascade audio spotting system |
DE202022105574U1 (de) | 2022-10-01 | 2022-10-20 | Veerendra Dakulagi | Ein System zur Klassifizierung mehrerer Signale für die Schätzung der Ankunftsrichtung |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2793629B1 (fr) * | 1999-05-12 | 2001-08-03 | Matra Nortel Communications | Procede et dispositif d'annulation d'echo stereophonique a filtrage dans le domaine frequentiel |
CA2354858A1 (en) * | 2001-08-08 | 2003-02-08 | Dspfactory Ltd. | Subband directional audio signal processing using an oversampled filterbank |
US8098844B2 (en) * | 2002-02-05 | 2012-01-17 | Mh Acoustics, Llc | Dual-microphone spatial noise suppression |
CA2399159A1 (en) * | 2002-08-16 | 2004-02-16 | Dspfactory Ltd. | Convergence improvement for oversampled subband adaptive filters |
JP4247037B2 (ja) * | 2003-01-29 | 2009-04-02 | 株式会社東芝 | 音声信号処理方法と装置及びプログラム |
EP1538867B1 (en) * | 2003-06-30 | 2012-07-18 | Nuance Communications, Inc. | Handsfree system for use in a vehicle |
EP1524879B1 (en) * | 2003-06-30 | 2014-05-07 | Nuance Communications, Inc. | Handsfree system for use in a vehicle |
US20070050441A1 (en) * | 2005-08-26 | 2007-03-01 | Step Communications Corporation,A Nevada Corporati | Method and apparatus for improving noise discrimination using attenuation factor |
US20080004729A1 (en) * | 2006-06-30 | 2008-01-03 | Nokia Corporation | Direct encoding into a directional audio coding format |
ATE430975T1 (de) * | 2006-07-10 | 2009-05-15 | Harman Becker Automotive Sys | Reduzierung von hintergrundrauschen in freisprechsystemen |
RS49875B (sr) * | 2006-10-04 | 2008-08-07 | Micronasnit, | Sistem i postupak za slobodnu govornu komunikaciju pomoću mikrofonskog niza |
US8180062B2 (en) * | 2007-05-30 | 2012-05-15 | Nokia Corporation | Spatial sound zooming |
US20080298610A1 (en) * | 2007-05-30 | 2008-12-04 | Nokia Corporation | Parameter Space Re-Panning for Spatial Audio |
JP4455614B2 (ja) * | 2007-06-13 | 2010-04-21 | 株式会社東芝 | 音響信号処理方法及び装置 |
ES2461601T3 (es) * | 2007-10-09 | 2014-05-20 | Koninklijke Philips N.V. | Procedimiento y aparato para generar una señal de audio binaural |
US8457328B2 (en) * | 2008-04-22 | 2013-06-04 | Nokia Corporation | Method, apparatus and computer program product for utilizing spatial information for audio signal enhancement in a distributed network environment |
US8724829B2 (en) * | 2008-10-24 | 2014-05-13 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for coherence detection |
RU2511672C2 (ru) * | 2008-12-16 | 2014-04-10 | Конинклейке Филипс Электроникс Н.В. | Оценка местоположения источника звука с использованием фильтрования частиц |
EP2375779A3 (en) * | 2010-03-31 | 2012-01-18 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Apparatus and method for measuring a plurality of loudspeakers and microphone array |
WO2011129725A1 (en) * | 2010-04-12 | 2011-10-20 | Telefonaktiebolaget L M Ericsson (Publ) | Method and arrangement for noise cancellation in a speech encoder |
US8639499B2 (en) * | 2010-07-28 | 2014-01-28 | Motorola Solutions, Inc. | Formant aided noise cancellation using multiple microphones |
WO2012072804A1 (en) | 2010-12-03 | 2012-06-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for geometry-based spatial audio coding |
WO2012158168A1 (en) * | 2011-05-18 | 2012-11-22 | Google Inc. | Clock drift compensation method and apparatus |
-
2013
- 2013-05-24 EP EP13169163.6A patent/EP2747451A1/en not_active Withdrawn
- 2013-11-25 CN CN201380073406.6A patent/CN105165026B/zh active Active
- 2013-11-25 WO PCT/EP2013/074650 patent/WO2014095250A1/en active Application Filing
- 2013-11-25 EP EP13802283.5A patent/EP2936830B8/en active Active
- 2013-11-25 JP JP2015548311A patent/JP6196320B2/ja active Active
- 2013-11-25 BR BR112015014380-6A patent/BR112015014380B1/pt active IP Right Grant
- 2013-11-25 RU RU2015129784A patent/RU2641319C2/ru active
- 2013-11-25 ES ES13802283.5T patent/ES2612528T3/es active Active
-
2015
- 2015-06-18 US US14/743,896 patent/US10331396B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
ES2612528T3 (es) | 2017-05-17 |
BR112015014380B1 (pt) | 2022-10-11 |
RU2641319C2 (ru) | 2018-01-17 |
US10331396B2 (en) | 2019-06-25 |
US20150286459A1 (en) | 2015-10-08 |
EP2936830B8 (en) | 2017-01-25 |
RU2015129784A (ru) | 2017-01-27 |
CN105165026A (zh) | 2015-12-16 |
EP2936830A1 (en) | 2015-10-28 |
EP2936830B1 (en) | 2016-10-05 |
WO2014095250A1 (en) | 2014-06-26 |
BR112015014380A2 (pt) | 2020-01-28 |
JP2016506664A (ja) | 2016-03-03 |
CN105165026B (zh) | 2019-08-13 |
EP2747451A1 (en) | 2014-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6196320B2 (ja) | 複数の瞬間到来方向推定を用いるインフォ−ムド空間フィルタリングのフィルタおよび方法 | |
TWI713844B (zh) | 用於語音處理的方法及積體電路 | |
US10079026B1 (en) | Spatially-controlled noise reduction for headsets with variable microphone array orientation | |
Thiergart et al. | An informed parametric spatial filter based on instantaneous direction-of-arrival estimates | |
US10827263B2 (en) | Adaptive beamforming | |
JP5007442B2 (ja) | 発話改善のためにマイク間レベル差を用いるシステム及び方法 | |
US10250975B1 (en) | Adaptive directional audio enhancement and selection | |
RU2760097C2 (ru) | Способ и устройство для захвата аудиоинформации с использованием формирования диаграммы направленности | |
Thiergart et al. | An informed LCMV filter based on multiple instantaneous direction-of-arrival estimates | |
JP2011527025A (ja) | ヌル処理雑音除去を利用した雑音抑制を提供するシステム及び方法 | |
US10283139B2 (en) | Reverberation suppression using multiple beamformers | |
Braun et al. | A multichannel diffuse power estimator for dereverberation in the presence of multiple sources | |
CN111078185A (zh) | 录制声音的方法及设备 | |
CN111354368B (zh) | 补偿处理后的音频信号的方法 | |
JP2001309483A (ja) | 収音方法および収音装置 | |
Thiergart et al. | An informed MMSE filter based on multiple instantaneous direction-of-arrival estimates | |
CN110140171B (zh) | 使用波束形成的音频捕获 | |
As’ad et al. | Beamforming designs robust to propagation model estimation errors for binaural hearing aids | |
Moore et al. | Improving robustness of adaptive beamforming for hearing devices | |
Reindl et al. | An acoustic front-end for interactive TV incorporating multichannel acoustic echo cancellation and blind signal extraction | |
Kowalczyk et al. | On the extraction of early reflection signals for automatic speech recognition | |
Thiergart | Flexible Multi-Microphone Acquisition and Processing of Spatial Sound Using Parametric Sound Field Representations | |
Habets | Towards multi-microphone speech dereverberation using spectral enhancement and statistical reverberation models | |
Braun et al. | Directional interference suppression using a spatial relative transfer function feature | |
US10204638B2 (en) | Integrated sensor-array processor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160728 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160809 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20161005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20161005 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20161102 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170817 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6196320 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |