JP6466968B2 - インフォームド空間のフィルタリングに基づく矛盾しない音響場面再生のためのシステムおよび装置および方法 - Google Patents
インフォームド空間のフィルタリングに基づく矛盾しない音響場面再生のためのシステムおよび装置および方法 Download PDFInfo
- Publication number
- JP6466968B2 JP6466968B2 JP2016564300A JP2016564300A JP6466968B2 JP 6466968 B2 JP6466968 B2 JP 6466968B2 JP 2016564300 A JP2016564300 A JP 2016564300A JP 2016564300 A JP2016564300 A JP 2016564300A JP 6466968 B2 JP6466968 B2 JP 6466968B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- straight
- audio output
- function
- gain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 53
- 238000001914 filtration Methods 0.000 title claims description 11
- 230000006870 function Effects 0.000 claims description 497
- 238000004091 panning Methods 0.000 claims description 171
- 230000001419 dependent effect Effects 0.000 claims description 55
- 238000004364 calculation method Methods 0.000 claims description 54
- 238000000354 decomposition reaction Methods 0.000 claims description 30
- 238000009792 diffusion process Methods 0.000 claims description 27
- 230000005236 sound signal Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 16
- 238000005259 measurement Methods 0.000 claims description 14
- 238000009499 grossing Methods 0.000 claims description 7
- 230000003111 delayed effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 claims description 4
- 230000007480 spreading Effects 0.000 description 25
- 238000003892 spreading Methods 0.000 description 25
- 230000000694 effects Effects 0.000 description 24
- 238000000605 extraction Methods 0.000 description 15
- 239000003607 modifier Substances 0.000 description 15
- 239000013598 vector Substances 0.000 description 13
- 238000012545 processing Methods 0.000 description 8
- 238000013459 approach Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 239000002131 composite material Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 235000009508 confectionery Nutrition 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003278 mimic effect Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 208000001992 Autosomal Dominant Optic Atrophy Diseases 0.000 description 2
- 206010011906 Death Diseases 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 208000016354 hearing loss disease Diseases 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 206010011878 Deafness Diseases 0.000 description 1
- 208000032041 Hearing impaired Diseases 0.000 description 1
- 241000712899 Lymphocytic choriomeningitis mammarenavirus Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000010370 hearing loss Effects 0.000 description 1
- 231100000888 hearing loss Toxicity 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo five- or more-channel type, e.g. virtual surround
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/40—Arrangements for obtaining a desired directivity characteristic
- H04R25/407—Circuits for combining signals of a plurality of transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/307—Frequency adjustment, e.g. tone control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
- H04R25/552—Binaural
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
Description
2つ以上の音声入力信号を受信し、
2つ以上の音声入力信号の直進信号コンポーネントを含む直進コンポーネント信号を生成し、
2つ以上の音声入力信号の拡散信号コンポーネントを含む拡散コンポーネント信号を生成し、
2つ以上の音声入力信号の直進信号コンポーネントの到来方向に依存している方向情報を受信し、
拡散コンポーネント信号に依存している1つ以上の処理された拡散信号を生成し、
1つ以上の音声出力信号のそれぞれの音声出力信号のために、到来方向に依存して直進利得を決定し、処理された直進信号を得るために直進コンポーネント信号に前記直進利得を適用し、そして、前記音声出力信号を生成するために、処理された直進信号と1つ以上の処理された拡散信号の1つとを結合し、そして、
1つ以上の音声出力信号を出力すること、を含む。
2つ以上のオリジナル音声信号の直進信号コンポーネントを含む直進コンポーネント信号を受信し、
2つ以上のオリジナル音声信号の拡散信号コンポーネントを含む拡散コンポーネント信号を受信し、
方向情報を受信し、前記方向情報は2つ以上の音声入力信号の直進信号コンポーネントの到来方向に依存し、
拡散コンポーネント信号に依存している1つ以上の処理された拡散信号を生成し、
1つ以上の音声出力信号のそれぞれの音声出力信号のために、到来方向に依存して直進利得を決定し、処理された直進信号を得るために直進コンポーネント信号に前記直進利得を適用し、そして、音声出力信号を生成するために、処理された直進信号と1つ以上の処理された拡散信号の1つとを結合し、そして、
1つ以上の音声出力信号を出力すること、を含む。
2つ以上の音声入力信号を受信し、
2つ以上の音声入力信号の直進信号コンポーネントを含む直進コンポーネント信号を生成し、
2つ以上の音声入力信号の拡散信号コンポーネントを含む拡散コンポーネント信号を生成し、
2つ以上の音声入力信号の直進信号コンポーネントの到来方向に依存している方向情報を受信し、
拡散コンポーネント信号に依存している1つ以上の処理された拡散信号を生成し、
1つ以上の音声出力信号のそれぞれの音声出力信号のために、到来方向に依存して直進利得を決定し、処理された直進信号を得るために直進コンポーネント信号に前記直進利得を適用して、そして、前記音声出力信号を生成するために、処理された直進信号と1つ以上の処理された拡散信号の1つとを結合し、そして、
1つ以上の音声出力信号を出力すること、を含む。
2つ以上のオリジナル音声信号の直進信号コンポーネントを含む直進コンポーネント信号を受信し、
2つ以上のオリジナル音声信号の拡散信号コンポーネントを含む拡散コンポーネント信号を受信し、
方向情報を受信し、方向情報は2つ以上の音声入力信号の直進信号コンポーネントの到来方向に依存し、
拡散コンポーネント信号に依存している1つ以上の処理された拡散信号を生成し、
1つ以上の音声出力信号のそれぞれの音声出力信号のために、到来方向に依存して直進利得を決定し、処理された直進信号を得るために直進コンポーネント信号に前記直進利得を適用して、そして、前記音声出力信号を生成するために、処理された直進信号と1つ以上の処理された拡散信号の1つとを結合し、そして、
1つ以上の音声出力信号を出力すること、を含む。
到来方向に依存して、直進利得Gi(k,n)を決定し、
処理された直進信号Ydir,i(k,n)を得るために、前記直進利得Gi(k,n)を直進コンポーネント信号Xdir(k,n)に適用し、
前記音声出力信号Yi(k,n)を生成するために、前記処理された直進信号Ydir,i(k,n)と1つ以上の処理された拡散信号Ydiff,1(k,n)、Ydiff,2(k,n)、…、Ydiff,v(k,n)の1つYdiff,i(k,n)とを結合する。
Xm(k,n)=Xdir,m(k,n)+Xdiff,m(k,n)+Xn,m(k,n) (1)
ここで、Xdir,m(k,n)は、測定された直進音(平面波)であり、Xdiff,m(k,n)は、測定された拡散音であり、Xn,m(k,n)は、雑音コンポーネント(例えば、マイクロフォン自身の雑音)である。
Gi(k,n)=gi(φ,r) (3a)
Q(k,n)=q(r) (3b)
信号プロセッサ105は、例えば、2つ以上の直進コンポーネント信号Xdir1(k,n)、Xdir2(k,n)、…、Xdir q(k,n)のグループのそれぞれの直進コンポーネント信号Xdir j(k,n)のために、前記直進コンポーネント信号Xdir j(k,n)の到来方向に依存している直進利得Gj,i(k,n)を決定するように構成され、
信号プロセッサ105は、例えば、2つ以上の直進コンポーネント信号Xdir1(k,n)、Xdir2(k,n)、…、Xdir q(k,n)のグループのそれぞれの直進コンポーネント信号Xdir j(k,n)のために、前記直進コンポーネント信号Xdir j(k,n)の直進利得Gj,i(k,n)を前記直進コンポーネント信号Xdir j(k,n)に適用することによって、2つ以上の処理された直進信号Ydir1,i(k,n)、Ydir2,i(k,n)、…、Ydir q,i(k,n)のグループを生成するように構成され、そして、
信号プロセッサ105は、例えば、前記音声出力信号Yi(k,n)を生成するために、1つ以上の処理された拡散信号Ydiff,1(k,n)、Ydiff,2(k,n)、…、Ydiff,v(k,n)の1つYdiff,i(k,n)と、2つ以上の処理された信号Ydir1,i(k,n)、Ydir2,i(k,n)、…、Ydir q,i(k,n)のグループのそれぞれの処理された信号Ydir j,i(k,n)とを結合するように構成されている。
Xm(k,n)=Xdir1,m(k,n)+Xdir2,m(k,n)+…+Xdir q,m(k,n)+Xdiff,m(k,n)+ Xn,m(k,n)
そして、重み付けは、例えば、式(2a)および式(2b)に相似して、次のように計算される。
Yi(k,n)=G1,i(k,n)Xdir1(k,n)+G2,i(k,n)Xdir2(k,n)+…+Gq,i(k,n)Xdir q(k,n)+QXdiff,m(k,n)
=Ydir1,i(k,n)+Ydir2,i(k,n)+…+Ydir q,i(k,n)+Ydiff,i(k,n)
a(k,φl)=[a1(k,φl)・・・aM(k,φl)]T
ここで、φlは、l番目の平面波の到来方向の方位角度である。従って、配列伝播ベクトルは到来方向に依存する。仮に、1つの平面波mのみが存在するか、または考慮されるならば、インデックスlは省略される。
ai(k,φl)=exp{jkrisinφl(k,n)}
例えば、riは、1番目とi番目のマイクロフォンとの間の距離に等しく、κは平面波の波数を示し、jは虚数である。
ここで、Φu(k,n)は、2つ以上の音声入力信号の雑音および拡散音のパワースペクトル密度行列を示す。a(k,φ)は配列伝播ベクトルを示す。そして、φは、2つ以上の音声入力信号の直進信号コンポーネントの到来方向の方位角度を示す。
Gi(k,n)=gi(φ(k,n)) (15)
ここで、gi(φ)=pi(φ)は、i番目のスピーカーのために全てのDOAに亘ってパンニング利得を戻す関数である。パンニング利得関数pi(φ)は、スピーカーセットアップとパンニング体系に依存する。
Q=qi=1/√I (16)
ここで、Iは、出力スピーカーチャンネルの数である。これは、利得関数計算モジュール104が、再生で利用可能なスピーカーの数に依存しているi番目のスピーカー(または、ヘッドホーンチャンネル)のための1つの出力値を提供することを意味する、この値は、全ての周波数に亘る拡散利得Qとして使われる。i番目のスピーカーチャンネルのための最終的な拡散音Ydiff,i(k,n)は、式(2b)の中に得られたYdiff(k,n)を無関連にすることによって得られる。
tanφb(k,n)=c tanφ(k,n) (17)
ここで、cは、前記の未知のパラメータを補償している未知の定数である。仮に、全ての音源位置がx軸に対して同じ距離gを持つなら、cは定数のみであることは注目するべきである。
φb(k,n)=tan-1[c tan(φ(k,n))]) (18)
Gi(k,n)=gi(φ(k,n)) (19)
gi(φ)=pb,i(φ) (20)
ここで、pb,i(φ)は、全ての可能な音源DOAに亘るi番目のスピーカーのためのパンニング利得を戻している、矛盾のないパンニング関数である。cの固定値に対して、そのような矛盾のないパンニング関数は、利得関数計算モジュール104の中で、以下の式(21)のようなオリジナル(例えばVBAP)のパンニング利得表から計算される。
pb,i(φ)=pi(tan-1[c tanφ]) (21)
Gi(k,n)=pi(tan-1[c tan(φ(k,n))])
ここで、iは前記音声出力信号のインデックスを示す。kは周波数を示す。nは時間を示す。Gi(k,n)は直進利得を示す。φ(k,n)は、到来方向(例えば、到来方向の方位角度)に依存している角度を示す。cは定数値を示す。piはパンニング関数を示す。
pb,i(φ(k,n))=pi(φb(k,n)) (22)
tanφb(k,n)=βc tanφ(k,n) (23)
ここで、cは、未知の光学パラメータを補償する測定パラメータである。β≧1は、ユーザーコントロールされたズーミングファクターである。映像カメラにおいて、ファクターβでのズーミングは、βをxb(k,n)に乗算することと等しいことに注目するべきである。さらに、仮に、全ての音源位置が、x軸まで同じ距離gを持つならば、cは定数のみである。この場合において、cは、映像イメージと音響イメージとが位置合わせされるように、1回適合される測定パラメータとして考慮される。直進音利得Gi(k,n)は、式(24)および(25)のように、直進利得関数gi(φ)から選択される。
Gi(k,n)=gi(φ(k,n)) (24)
gi(φ)=pb,i(φ)wb(φ) (25)
ここで、pb,i(φ)は、パンニング利得関数を示す。wb(φ)は、矛盾のない音声−映像ズームのための窓利得関数である。矛盾のない音声−映像ズームのためのパンニング利得関数は、利得関数計算モジュール104の中で、以下の式(26)のように、オリジナル(例えばVBAP)のパンニング利得関数pi(φ)から計算される。
pb,i(φ)=pi(tan-1[βc tanφ]) (26)
wb(φ)=w(tan-1[βc tanφ]) (27)
ここで、仮に、音源が、ズームファクターβのための映像イメージの外の位置に写像されるならば、wb(φ)は、直進音を弱める音響ズームのための窓利得関数である。
wb(φ)=w(tan-1[βc tanφ]) (27)
到来方向φの方位角度は、窓利得関数wb(φ)の窓関数議論値である。窓利得関数wb(φ)は、ズーム情報、ここでは、ズームファクターβに依存する。
pb,i(φ(k,n))=pi(φb(k,n)) (28)
wb(φ(k,n))=w(φb(k,n)) (29)
別の実施の形態と対比すると、全ての音源がカメラレンズから同じ距離gに置かれることは仮定されない。従って、例えば位置P′は、x軸に対して任意の距離R(k,n)を持つことができる。
(k,n)が変更するという発見に基づく。すなわち、仮に、音源がY軸に対して平行に移動するならば、実施の形態によって採用された発見に基づいて、推定されたDOA φ’
(k,n)は、xb(それから、音が再生されるべきDOA φb(k,n))が同じであり続ける間は、変化する。その結果、仮に、推定されたDOA φ’(k,n)が遠端
側に送信されて、前の実施の形態において示された音の再生のために使われるならば、仮に音源がその距離R(k,n)を変更するならば、音響および映像イメージはもう位置合わせされない。
とgとからφ(k,n)を計算する。
φ=arctan[tanφ´・(r+g)/g]
tanφb(k,n)=βc tanφ(k,n) (30)
ここで、cは測定パラメータである。β≧1は、ユーザーコントロールされたズームファクターである。φ(k,n)は、(写像された)DOAであり、例えば、パラメータ推定モジュール102の中で推定される。前述したように、そのような実施の形態の直進利得Gi(k,n)は、例えば、複数の直進利得関数gi,jから計算される。特に、2つの利得関数gi,1(φ(k,n))およびgi,2(r(k,n))が、例えば使われる。最初の利得関数はDOA φ(k,n)に依存し、2番目の利得関数は距離r(k,n)に依存する。直進利得Gi(k,n)は、式(31)と式(32)と式(33)とで計算される。
Gi(k,n)=gi、1(φ(k,n))gi、2(r(k,n)) (31)
gi、1(φ)=pb,i(φ)wb(φ) (32)
gi、2(r)=b(r) (33)
ここで、pb,i(φ)は、パンニング利得関数を示す(音が右の方向から再生されることを保証するために)。wb(φ)は、窓利得関数である(仮に音源が映像の中で見えないならば、直進音が弱められることを保証するために)。b(r)は、ぼけ関数である(仮に、それらが焦点面上に置かれないならば、音源を音響的にぼやけさせるために)。
b(r,k)=1+α(r)e-jωτ(r) (34)
ここで、αは、繰り返された音のための減衰利得を示す。τは、直進音が繰り返される後の遅延である。(m秒の)例示遅延曲線は、図10cの中で示される。小さな距離に対して、遅延された信号は繰り返されない。αは0に設定される。より大きい距離に対して、時間遅延は増加する距離と共に増大する。それは、音源を知覚的に拡げることを引き起こす。
[1] Y. Ishigaki, M. Yamamoto, K. Totsuka, and N. Miyaji, "Zoom microphone," in Audio Engineering Society Convention 67, Paper 1713, October 1980.
[2] M. Matsumoto, H. Naono, H. Saitoh, K. Fujimura, and Y. Yasuno, "Stereo zoom microphone for consumer video cameras," Consumer Electronics, IEEE Transactions on, vol. 35, no. 4, pp. 759-766, November 1989. August 13, 2014
[3] T. van Waterschoot, W. J. Tirry, and M. Moonen, "Acoustic zooming by multi microphone sound scene manipulation," J. Audio Eng. Soc, vol. 61, no. 7/8, pp. 489-507, 2013.
[4] V. Pulkki, "Spatial sound reproduction with directional audio coding," J. Audio Eng. Soc, vol. 55, no. 6, pp. 503-516, June 2007.
[5] R. Schultz-Amling, F. Kuech, O. Thiergart, and M. Kallinger, "Acoustical zooming based on a parametric sound field representation," in Audio Engineering Society Convention 128, Paper 8120, London UK, May 2010.
[6] O. Thiergart, G. Del Galdo, M. Taseska, and E. Habets, "Geometry-based spatial sound acquisition using distributed microphone arrays," Audio, Speech, and Language Processing, IEEE Transactions on, vol. 21, no. 12, pp. 2583-2594, December 2013.
[7] K. Kowalczyk, O. Thiergart, A. Craciun, and E. A. P. Habets, "Sound acquisition in noisy and reverberant environments using virtual microphones," in Applications of Signal Processing to Audio and Acoustics (WASPAA), 2013 IEEE Workshop on, October 2013.
[8] O. Thiergart and E. A. P. Habets, "An informed LCMV filter based on multiple instantaneous direction-of-arrival estimates," in Acoustics Speech and Signal Processing (ICASSP), 2013 IEEE International Conference on, 2013, pp. 659-663.
[9] O. Thiergart and E. A. P. Habets, "Extracting reverberant sound using a linearly constrained minimum variance spatial filter," Signal Processing Letters, IEEE, vol. 21, no. 5, pp. 630-634, May 2014.
[10] R. Roy and T. Kailath, "ESPRIT-estimation of signal parameters via rotational invariance techniques," Acoustics, Speech and Signal Processing, IEEE Transactions on, vol. 37, no. 7, pp. 984-995, July 1989.
[11] B. Rao and K. Hari, "Performance analysis of root-music," in Signals, Systems and Computers, 1988. Twenty-Second Asilomar Conference on, vol. 2, 1988, pp. 578-582.
[12] H. Teutsch and G. Elko, "An adaptive close-talking microphone array," in Applications of Signal Processing to Audio and Acoustics, 2001 IEEE Workshop on the, 2001, pp. 163-166.
[13] O. Thiergart, G. D. Galdo, and E. A. P. Habets, "On the spatial coherence in mixed sound fields and its application to signal-to-diffuse ratio estimation," The Journal of the Acoustical Society of America, vol. 132, no. 4, pp. 2337-2346, 2012.
[14] V. Pulkki, "Virtual sound source positioning using vector base amplitude panning," J. Audio Eng. Soc, vol. 45, no. 6, pp. 456-466, 1997.
[15] J. Blauert, Spatial hearing, 3rd ed. Hirzel-Verlag, 2001.
[16] T. May, S. van de Par, and A. Kohlrausch, "A probabilistic model for robust localization based on a binaural auditory front-end," IEEE Trans. Audio, Speech, Lang. Process., vol. 19, no. 1, pp. 1-13, 2011.
[17] J. Ahonen, V. Sivonen, and V. Pulkki, "Parametric spatial sound processing applied to bilateral hearing aids," in AES 45th International Conference, Mar. 2012.
Claims (15)
- 2つ以上の音声出力信号を生成するためのシステムであって、
分解モジュール(101)と、
信号プロセッサ(105)と、
出力インタフェース(106)と、を備え、
前記分解モジュール(101)は、2つ以上の音声入力信号を受信するように構成され、前記分解モジュール(101)は、前記2つ以上の音声入力信号の直進信号コンポーネントを含む直進コンポーネント信号を生成するように構成され、そして、前記分解モジュール(101)は、前記2つ以上の音声入力信号の拡散信号コンポーネントを含む拡散コンポーネント信号を生成するように構成され、
前記信号プロセッサ(105)は、前記直進コンポーネント信号および前記拡散コンポーネント信号および方向情報を受信するように構成され、前記方向情報は、前記2つ以上の音声入力信号の前記直進信号コンポーネントの到来方向に依存し、
前記信号プロセッサ(105)は、前記拡散コンポーネント信号に依存している1つ以上の処理された拡散信号を生成するように構成され、
前記2つ以上の音声出力信号のそれぞれの音声出力信号について、前記信号プロセッサ(105)は、前記到来方向に依存して直進利得を決定するように構成され、前記信号プロセッサ(105)は、処理された直進信号を得るために、前記直進利得を前記直進コンポーネント信号に適用するように構成され、そして、前記信号プロセッサ(105)は、前記音声出力信号を生成するために、前記処理された直進信号と前記1つ以上の処理された拡散信号のうちの1つとを結合するように構成され、そして
前記出力インタフェース(106)は、前記2つ以上の音声出力信号を出力するように構成され、
前記2つ以上の音声出力信号のそれぞれの音声出力信号について、パンニング利得関数が前記音声出力信号に割り当てられ、
前記2つ以上の音声出力信号のそれぞれの前記パンニング利得関数は、複数のパンニング関数議論値を含み、パンニング関数リターン値は、前記パンニング関数議論値のそれぞれに割り当てられ、前記パンニング利得関数が、前記パンニング関数議論値のうちの1つを受信するとき、前記パンニング利得関数は、前記パンニング関数議論値のうちの前記1つに割り当てられている前記パンニング関数リターン値を戻すように構成され、前記パンニング利得関数は、到来方向に依存する方向依存議論値を含み、
前記信号プロセッサ(105)は、前記音声出力信号の直進利得を決定するために、前記音声出力信号に割り当てられている前記パンニング利得関数に依存して、かつ、窓利得関数に依存している前記2つ以上の音声出力信号のそれぞれについて、直進利得関数を計算するための利得関数計算モジュール(104)を備え、そして、
前記信号プロセッサ(105)は、カメラの視方向の角度シフトを示している配向情報をさらに受信するように構成され、そして、前記パンニング利得関数と前記窓利得関数のうちの少なくとも1つは、前記配向情報に依存する、または、
前記利得関数計算モジュール(104)は、ズーム情報をさらに受信するように構成され、そして、前記ズーム情報は前記カメラの開口角度を示し、そして、前記パンニング利得関数と前記窓利得関数のうちの少なくとも1つは、前記ズーム情報に依存すること、
を特徴とするシステム。 - 前記2つ以上の音声出力信号のそれぞれの前記パンニング利得関数は、前記パンニング関数議論値のうちの1つである1つ以上のグローバル最大値を持ち、それぞれのパンニング利得関数の前記1つ以上のグローバル最大値のそれぞれについて、前記パンニング利得関数が前記グローバル最大値に対してよりも大きいパンニング関数リターン値を戻す別のパンニング関数議論値は存在せず、そして、
前記2つ以上の音声出力信号の第1の音声出力信号および第2の音声出力信号のペアのそれぞれについて、前記第1の音声出力信号の前記パンニング利得関数の前記1つ以上のグローバル最大値の少なくとも1つが、前記第2の音声出力信号の前記パンニング利得関数の前記1つ以上のグローバル最大値の何れとも異なること、
を特徴とする請求項1に記載のシステム。 - 前記信号プロセッサ(105)は、窓利得関数に依存して、前記2つ以上の音声出力信号のそれぞれの音声出力信号を生成するように構成され、
前記窓利得関数は、窓関数議論値を受信するとき、窓関数リターン値を戻すように構成され、
仮に前記窓関数議論値が、下部の窓閾値より大きく、かつ、上部の窓閾値より小さいならば、前記窓利得関数は、何れの窓関数リターン値よりも大きい窓関数リターン値を戻すように構成され、仮に前記窓関数議論値が、前記下部の窓閾値より小さく、あるいは、前記上部の窓閾値より大きいならば、前記窓利得関数は、前記窓利得関数によって戻されるように構成されていること、
を特徴とする請求項1又は請求項2に記載のシステム。 - 前記利得関数計算モジュール(104)は、測定パラメータをさらに受信するように構成され、前記パンニング利得関数と前記窓利得関数との少なくとも1つが、前記測定パラメータに依存すること、
を特徴とする請求項1〜請求項3のいずれかに記載のシステム。 - 前記信号プロセッサ(105)は、距離情報を受信するように構成され、
前記信号プロセッサ(105)は、前記距離情報に依存している前記2つ以上の音声出力信号のそれぞれの音声出力信号を生成するように構成されていること、
を特徴とする請求項1〜請求項4のいずれかに記載のシステム。 - 前記信号プロセッサ(105)は、前記2つ以上の音声入力信号の前記直進信号コンポーネントの前記到来方向であるオリジナルの到来方向に依存して、オリジナルの角度値を受信するように構成され、かつ、前記距離情報を受信するように構成され、
前記信号プロセッサ(105)は、前記オリジナル角度値に依存して、かつ、前記距離情報に依存して、修正された角度値を計算するように構成され、そして、
前記信号プロセッサ(105)は、前記修正された角度値に依存して、前記2つ以上の音声出力信号のそれぞれの音声出力信号を生成するように構成されていること、
を特徴とする請求項5に記載のシステム。 - 前記信号プロセッサ(105)は、ローパスフィルタリングを実行することによって、または、遅延直進音を追加することによって、または、直進音の減衰を実行することによって、または、時間的円滑化を実行することによって、または、到来方向の拡がりを実行することによって、または、非相関性を実行することによって、前記2つ以上の音声出力信号を生成するように構成されていること、
を特徴とする請求項5または請求項6に記載のシステム。 - 前記信号プロセッサ(105)は、2つ以上の音声出力チャンネルを生成するように構成され、
前記信号プロセッサ(105)は、中間的拡散信号を得るために、拡散利得を前記拡散コンポーネント信号に適用するように構成され、そして、
前記信号プロセッサ(105)は、非相関性を実行することによって、前記中間的拡散信号から1つ以上の非相関性信号を生成するように構成され、
前記1つ以上の非相関性信号は、前記1つ以上の処理された拡散信号を形成する、または、前記中間的拡散信号および前記1つ以上の非相関性信号は、前記1つ以上の処理された拡散信号を形成すること、
を特徴とする請求項1〜請求項7のいずれかに記載のシステム。 - 前記直進コンポーネント信号および1つ以上の別の直進コンポーネント信号は、2つ以上の直進コンポーネント信号のグループを形成し、前記分解モジュール(101)は、前記2つ以上の音声入力信号の別の直進信号コンポーネントを含む前記1つ以上の別の直進コンポーネント信号を生成するように構成され、
前記到来方向および1つ以上の別の到来方向は、2つ以上の到来方向のグループを形成し、前記2つ以上の到来方向の前記グループのそれぞれの到来方向は、前記2つ以上の直進コンポーネント信号の前記グループの正確に1つの直進コンポーネント信号に割り当てられ、前記2つ以上の直進コンポーネント信号の直進コンポーネント信号の数と前記2つの到達方向の前記到来方向の数とが等しく、
前記信号プロセッサ(105)は、前記2つ以上の直進コンポーネント信号の前記グループと前記2つ以上の到達方向の前記グループとを受信するように構成され、そして、
前記2つ以上の音声出力信号のそれぞれの音声出力信号について、
前記信号プロセッサ(105)は、前記2つ以上の直進コンポーネント信号の前記グループのそれぞれの直進コンポーネント信号毎に、前記直進コンポーネント信号の前記到来方向に依存して、直進利得を決定するように構成され、
前記信号プロセッサ(105)は、前記2つ以上の直進コンポーネント信号の前記グループのそれぞれの直進コンポーネント信号毎に、前記直進コンポーネント信号の前記直進利得を前記直進コンポーネント信号に適用することによって、2つ以上の処理された直進信号のグループを生成するように構成され、そして、
前記信号プロセッサ(105)は、前記音声出力信号を生成するために、前記1つ以上の処理された拡散信号のうちの1つと、前記2つ以上の処理された信号の前記グループのそれぞれの処理された信号と、を結合するように構成されていること、
を特徴とする請求項1〜請求項8のいずれかに記載のシステム。 - 前記2つ以上の直進コンポーネント信号の前記グループの前記直進コンポーネント信号の数プラス1は、前記システムの受信インタフェース(101)によって受信されている前記音声入力信号の数より小さいこと、を特徴とする請求項9に記載のシステム。
- 請求項1〜請求項10のいずれか1つに記載されたシステムを含むことを特徴とする補聴器または補助聞き取り装置。
- 2つ以上の音声出力信号を生成するための装置であって、
信号プロセッサ(105)と、
出力インタフェース(106)と、を備え、
前記信号プロセッサ(105)は、2つ以上のオリジナル音声信号の直進信号コンポーネントを含む直進コンポーネント信号を受信するように構成され、前記信号プロセッサ(105)は、前記2つ以上のオリジナル音声信号の拡散信号コンポーネントを含む拡散コンポーネント信号を受信するように構成され、前記信号プロセッサ(105)は、方向情報を受信するように構成され、前記方向情報は、前記2つ以上の音声入力信号の前記直進信号コンポーネントの到来方向に依存し、
前記信号プロセッサ(105)は、前記拡散コンポーネント信号に依存して、1つ以上の処理された拡散信号を生成するように構成され、
前記2つ以上の音声出力信号のそれぞれの音声出力信号について、前記信号プロセッサ(105)は、前記到来方向に依存して直進利得を決定するように構成され、前記信号プロセッサ(105)は、処理された直進信号を得るために、前記直進利得を前記直進コンポーネント信号に適用するように構成され、そして、前記信号プロセッサ(105)は、前記音声出力信号を生成するために、前記処理された直進信号と前記1つ以上の処理された拡散信号のうちの1つとを結合するように構成され、そして、
前記出力インタフェース(106)は、前記2つ以上の音声出力信号を出力するように構成され、
前記2つ以上の音声出力信号のそれぞれの音声出力信号について、パンニング利得関数が前記音声出力信号に割り当てられ、
前記2つ以上の音声出力信号のそれぞれの前記パンニング利得関数は、複数のパンニング関数議論値を含み、パンニング関数リターン値は、前記パンニング関数議論値のそれぞれに割り当てられ、前記パンニング利得関数は、前記パンニング関数議論値のうちの1つを受信するとき、前記パンニング利得関数は、前記パンニング関数議論値のうちの前記1つに割り当てられている前記パンニング関数リターン値を戻すように構成され、前記パンニング利得関数は、到来方向に依存する方向依存議論値を含み、
前記信号プロセッサ(105)は、前記音声出力信号の直進利得を決定するために、前記音声出力信号に割り当てられている前記パンニング利得関数に依存し、かつ、窓利得関数に依存している前記2つ以上の音声出力信号のそれぞれのために、直進利得関数を計算するための利得関数計算モジュール(104)を備え、そして、
前記信号プロセッサ(105)は、カメラの視方向の角度シフトを示している配向情報をさらに受信するように構成され、そして、前記パンニング利得関数と前記窓利得関数のうちの少なくとも1つは、前記配向情報に依存する、または、
前記利得関数計算モジュール(104)は、ズーム情報をさらに受信するように構成され、そして、前記ズーム情報は前記カメラの開口角度を示し、そして、前記パンニング利得関数と前記窓利得関数のうちの少なくとも1つは、前記ズーム情報に依存すること、
を特徴とする装置。 - 2つ以上の音声出力信号を生成するための方法であって、
2つ以上の音声入力信号を受信し、
前記2つ以上の音声入力信号の直進信号コンポーネントを含む直進コンポーネント信号を生成し、
前記2つ以上の音声入力信号の拡散信号コンポーネントを含む拡散コンポーネント信号を生成し、
前記2つ以上の音声入力信号の前記直進信号コンポーネントの到来方向に依存している方向情報を受信し、
前記拡散コンポーネント信号に依存している1つ以上の処理された拡散信号を生成し、
前記2つ以上の音声出力信号のそれぞれの音声出力信号について、前記到来方向に依存して直進利得を決定し、処理された直進信号を得るために、前記直進コンポーネント信号に前記直進利得を適用し、そして、前記音声出力信号を生成するために、前記処理された直進信号と前記1つ以上の処理された拡散信号のうちの1つとを結合し、そして、
前記2つ以上の音声出力信号を出力し、
前記2つ以上の音声出力信号のそれぞれの音声出力信号について、パンニング利得関数が前記音声出力信号に割り当てられ、前記2つ以上の音声出力信号のそれぞれの前記パンニング利得関数は、複数のパンニング関数議論値を含み、パンニング関数リターン値は、前記パンニング関数議論値のそれぞれに割り当てられ、前記パンニング利得関数は、前記パンニング関数議論値のうちの1つを受信するとき、前記パンニング利得関数は、前記パンニング関数議論値のうちの前記1つに割り当てられている前記パンニング関数リターン値を戻すように構成され、前記パンニング利得関数は、到来方向に依存する方向依存議論値を含み、そして、
前記方法は、前記音声出力信号の直進利得を決定するために、前記音声出力信号に割り当てられている前記パンニング利得関数に依存して、かつ、窓利得関数に依存して、前記2つ以上の音声出力信号のそれぞれについて、直進利得関数を計算することをさらに含み、
前記方法は、カメラの視方向の角度シフトを示している配向情報をさらに受信するように構成され、そして、前記パンニング利得関数と前記窓利得関数との少なくとも1つは、前記配向情報に依存する、または、
前記方法は、ズーム情報をさらに受信するように構成され、そして、前記ズーム情報は前記カメラの開口角度を示し、そして、前記パンニング利得関数と前記窓利得関数のうちの少なくとも1つは、前記ズーム情報に依存すること、
を特徴とする方法。 - 2つ以上の音声出力信号を生成するための方法であって、
2つ以上のオリジナル音声信号の直進信号コンポーネントを含む直進コンポーネント信号を受信し、
前記2つ以上のオリジナル音声信号の拡散信号コンポーネントを含む拡散コンポーネント信号を受信し、
方向情報を受信し、前記方向情報は前記2つ以上の音声入力信号の前記直進信号コンポーネントの到来方向に依存し、
前記拡散コンポーネント信号に依存している1つ以上の処理された拡散信号を生成し、
前記2つ以上の音声出力信号のそれぞれの音声出力信号について、前記到来方向に依存して直進利得を決定し、処理された直進信号を得るために、前記直進コンポーネント信号に前記直進利得を適用し、そして、前記音声出力信号を生成するために、前記処理された直進信号と前記1つ以上の処理された拡散信号のうちの1つとを結合し、そして、
前記2つ以上の音声出力信号を出力し、
前記2つ以上の音声出力信号のそれぞれの音声出力信号について、パンニング利得関数が前記音声出力信号に割り当てられ、
前記2つ以上の音声出力信号のそれぞれの前記パンニング利得関数は、複数のパンニング関数議論値を含み、パンニング関数リターン値は、前記パンニング関数議論値のそれぞれに割り当てられ、前記パンニング利得関数が、前記パンニング関数議論値のうちの1つを受信するとき、前記パンニング利得関数は、前記パンニング関数議論値のうちの前記1つに割り当てられている前記パンニング関数リターン値を戻すように構成され、前記パンニング利得関数は、到来方向に依存する方向依存議論値を含み、そして、
前記方法は、前記音声出力信号の直進利得を決定するために、前記音声出力信号に割り当てられている前記パンニング利得関数に依存して、かつ、窓利得関数に依存して、前記2つ以上の音声出力信号のそれぞれについて、直進利得関数を計算することをさらに含み、
前記方法は、カメラの視方向の角度シフトを示している配向情報をさらに受信するように構成され、そして、前記パンニング利得関数と前記窓利得関数との少なくとも1つは、前記配向情報に依存する、または、
前記方法は、ズーム情報をさらに受信するように構成され、そして、前記ズーム情報は前記カメラの開口角度を示し、そして、前記パンニング利得関数と前記窓利得関数のうちの少なくとも1つは、前記ズーム情報に依存すること、
を特徴とする方法。 - コンピュータプログラムがコンピュータ上もしくは信号プロセッサ上で実行されると、前記コンピュータもしくは前記信号プロセッサが請求項13または請求項14の方法を実行する、コンピュータプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP14167053.9 | 2014-05-05 | ||
EP14167053 | 2014-05-05 | ||
EP14183855.7 | 2014-09-05 | ||
EP14183855.7A EP2942982A1 (en) | 2014-05-05 | 2014-09-05 | System, apparatus and method for consistent acoustic scene reproduction based on informed spatial filtering |
PCT/EP2015/058859 WO2015169618A1 (en) | 2014-05-05 | 2015-04-23 | System, apparatus and method for consistent acoustic scene reproduction based on informed spatial filtering |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017517947A JP2017517947A (ja) | 2017-06-29 |
JP2017517947A5 JP2017517947A5 (ja) | 2018-08-16 |
JP6466968B2 true JP6466968B2 (ja) | 2019-02-06 |
Family
ID=51485417
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016564300A Active JP6466968B2 (ja) | 2014-05-05 | 2015-04-23 | インフォームド空間のフィルタリングに基づく矛盾しない音響場面再生のためのシステムおよび装置および方法 |
JP2016564335A Active JP6466969B2 (ja) | 2014-05-05 | 2015-04-23 | 適応性のある関数に基づく矛盾しない音響場面再生のためのシステムおよび装置および方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016564335A Active JP6466969B2 (ja) | 2014-05-05 | 2015-04-23 | 適応性のある関数に基づく矛盾しない音響場面再生のためのシステムおよび装置および方法 |
Country Status (7)
Country | Link |
---|---|
US (2) | US10015613B2 (ja) |
EP (4) | EP2942981A1 (ja) |
JP (2) | JP6466968B2 (ja) |
CN (2) | CN106664501B (ja) |
BR (2) | BR112016025771B1 (ja) |
RU (2) | RU2663343C2 (ja) |
WO (2) | WO2015169618A1 (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108604454B (zh) * | 2016-03-16 | 2020-12-15 | 华为技术有限公司 | 音频信号处理装置和输入音频信号处理方法 |
US10187740B2 (en) * | 2016-09-23 | 2019-01-22 | Apple Inc. | Producing headphone driver signals in a digital audio signal processing binaural rendering environment |
CN110447238B (zh) * | 2017-01-27 | 2021-12-03 | 舒尔获得控股公司 | 阵列麦克风模块及系统 |
US10219098B2 (en) * | 2017-03-03 | 2019-02-26 | GM Global Technology Operations LLC | Location estimation of active speaker |
JP6472824B2 (ja) * | 2017-03-21 | 2019-02-20 | 株式会社東芝 | 信号処理装置、信号処理方法および音声の対応づけ提示装置 |
US9820073B1 (en) | 2017-05-10 | 2017-11-14 | Tls Corp. | Extracting a common signal from multiple audio signals |
GB2563606A (en) | 2017-06-20 | 2018-12-26 | Nokia Technologies Oy | Spatial audio processing |
CN109857360B (zh) * | 2017-11-30 | 2022-06-17 | 长城汽车股份有限公司 | 车内音频设备音量控制系统及控制方法 |
GB2571949A (en) | 2018-03-13 | 2019-09-18 | Nokia Technologies Oy | Temporal spatial audio parameter smoothing |
US11854566B2 (en) | 2018-06-21 | 2023-12-26 | Magic Leap, Inc. | Wearable system speech processing |
CN109313909B (zh) * | 2018-08-22 | 2023-05-12 | 深圳市汇顶科技股份有限公司 | 评估麦克风阵列一致性的方法、设备、装置和系统 |
JP7208365B2 (ja) * | 2018-09-18 | 2023-01-18 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | 仮想3dオーディオを現実の室内に適応させる装置及び方法 |
CN117809663A (zh) * | 2018-12-07 | 2024-04-02 | 弗劳恩霍夫应用研究促进协会 | 从包括至少两个声道的信号产生声场描述的装置、方法 |
CN113748462A (zh) | 2019-03-01 | 2021-12-03 | 奇跃公司 | 确定用于语音处理引擎的输入 |
WO2020221431A1 (en) * | 2019-04-30 | 2020-11-05 | Huawei Technologies Co., Ltd. | Device and method for rendering a binaural audio signal |
CN113597777B (zh) | 2019-05-15 | 2023-07-07 | 苹果公司 | 音频处理 |
US11328740B2 (en) | 2019-08-07 | 2022-05-10 | Magic Leap, Inc. | Voice onset detection |
WO2021086624A1 (en) * | 2019-10-29 | 2021-05-06 | Qsinx Management Llc | Audio encoding with compressed ambience |
EP4070284A4 (en) | 2019-12-06 | 2023-05-24 | Magic Leap, Inc. | ENVIRONMENTAL ACOUSTIC PERSISTENCE |
EP3849202B1 (en) * | 2020-01-10 | 2023-02-08 | Nokia Technologies Oy | Audio and video processing |
US11917384B2 (en) | 2020-03-27 | 2024-02-27 | Magic Leap, Inc. | Method of waking a device using spoken voice commands |
US11595775B2 (en) * | 2021-04-06 | 2023-02-28 | Meta Platforms Technologies, Llc | Discrete binaural spatialization of sound sources on two audio channels |
WO2023069946A1 (en) * | 2021-10-22 | 2023-04-27 | Magic Leap, Inc. | Voice analysis driven audio parameter modifications |
CN114268883A (zh) * | 2021-11-29 | 2022-04-01 | 苏州君林智能科技有限公司 | 一种选择麦克风布放位置的方法与系统 |
WO2023118078A1 (en) | 2021-12-20 | 2023-06-29 | Dirac Research Ab | Multi channel audio processing for upmixing/remixing/downmixing applications |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7644003B2 (en) * | 2001-05-04 | 2010-01-05 | Agere Systems Inc. | Cue-based audio coding/decoding |
US7583805B2 (en) * | 2004-02-12 | 2009-09-01 | Agere Systems Inc. | Late reverberation-based synthesis of auditory scenes |
KR100981699B1 (ko) | 2002-07-12 | 2010-09-13 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 오디오 코딩 |
WO2007127757A2 (en) * | 2006-04-28 | 2007-11-08 | Cirrus Logic, Inc. | Method and system for surround sound beam-forming using the overlapping portion of driver frequency ranges |
US20080232601A1 (en) * | 2007-03-21 | 2008-09-25 | Ville Pulkki | Method and apparatus for enhancement of audio reconstruction |
US9015051B2 (en) * | 2007-03-21 | 2015-04-21 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Reconstruction of audio channels with direction parameters indicating direction of origin |
US8180062B2 (en) * | 2007-05-30 | 2012-05-15 | Nokia Corporation | Spatial sound zooming |
US8064624B2 (en) * | 2007-07-19 | 2011-11-22 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Method and apparatus for generating a stereo signal with enhanced perceptual quality |
EP2154911A1 (en) * | 2008-08-13 | 2010-02-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | An apparatus for determining a spatial output multi-channel audio signal |
EP2346028A1 (en) * | 2009-12-17 | 2011-07-20 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | An apparatus and a method for converting a first parametric spatial audio signal into a second parametric spatial audio signal |
WO2011104146A1 (en) * | 2010-02-24 | 2011-09-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus for generating an enhanced downmix signal, method for generating an enhanced downmix signal and computer program |
US8908874B2 (en) * | 2010-09-08 | 2014-12-09 | Dts, Inc. | Spatial audio encoding and reproduction |
EP2464146A1 (en) * | 2010-12-10 | 2012-06-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for decomposing an input signal using a pre-calculated reference curve |
EP2600343A1 (en) * | 2011-12-02 | 2013-06-05 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for merging geometry - based spatial audio coding streams |
-
2014
- 2014-09-05 EP EP14183854.0A patent/EP2942981A1/en not_active Withdrawn
- 2014-09-05 EP EP14183855.7A patent/EP2942982A1/en not_active Withdrawn
-
2015
- 2015-04-23 CN CN201580036158.7A patent/CN106664501B/zh active Active
- 2015-04-23 WO PCT/EP2015/058859 patent/WO2015169618A1/en active Application Filing
- 2015-04-23 BR BR112016025771-5A patent/BR112016025771B1/pt active IP Right Grant
- 2015-04-23 JP JP2016564300A patent/JP6466968B2/ja active Active
- 2015-04-23 EP EP15720034.6A patent/EP3141000B1/en active Active
- 2015-04-23 CN CN201580036833.6A patent/CN106664485B/zh active Active
- 2015-04-23 RU RU2016147370A patent/RU2663343C2/ru active
- 2015-04-23 BR BR112016025767-7A patent/BR112016025767B1/pt active IP Right Grant
- 2015-04-23 JP JP2016564335A patent/JP6466969B2/ja active Active
- 2015-04-23 RU RU2016146936A patent/RU2665280C2/ru active
- 2015-04-23 EP EP15721604.5A patent/EP3141001B1/en active Active
- 2015-04-23 WO PCT/EP2015/058857 patent/WO2015169617A1/en active Application Filing
-
2016
- 2016-11-04 US US15/344,076 patent/US10015613B2/en active Active
- 2016-11-04 US US15/343,901 patent/US9936323B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN106664485A (zh) | 2017-05-10 |
RU2016146936A3 (ja) | 2018-06-06 |
EP2942982A1 (en) | 2015-11-11 |
EP2942981A1 (en) | 2015-11-11 |
JP6466969B2 (ja) | 2019-02-06 |
US20170078819A1 (en) | 2017-03-16 |
RU2016147370A (ru) | 2018-06-06 |
JP2017517947A (ja) | 2017-06-29 |
EP3141001B1 (en) | 2022-05-18 |
CN106664501B (zh) | 2019-02-15 |
BR112016025771B1 (pt) | 2022-08-23 |
BR112016025767B1 (pt) | 2022-08-23 |
WO2015169617A1 (en) | 2015-11-12 |
EP3141000B1 (en) | 2020-06-17 |
RU2663343C2 (ru) | 2018-08-03 |
RU2665280C2 (ru) | 2018-08-28 |
BR112016025767A2 (ja) | 2017-08-15 |
RU2016147370A3 (ja) | 2018-06-06 |
US10015613B2 (en) | 2018-07-03 |
BR112016025771A2 (ja) | 2017-08-15 |
JP2017517948A (ja) | 2017-06-29 |
WO2015169618A1 (en) | 2015-11-12 |
US20170078818A1 (en) | 2017-03-16 |
EP3141001A1 (en) | 2017-03-15 |
CN106664485B (zh) | 2019-12-13 |
CN106664501A (zh) | 2017-05-10 |
RU2016146936A (ru) | 2018-06-06 |
US9936323B2 (en) | 2018-04-03 |
EP3141000A1 (en) | 2017-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6466968B2 (ja) | インフォームド空間のフィルタリングに基づく矛盾しない音響場面再生のためのシステムおよび装置および方法 | |
CN107925815B (zh) | 空间音频处理装置 | |
JP6703525B2 (ja) | 音源を強調するための方法及び機器 | |
JP2017517947A5 (ja) | ||
JP2017517948A5 (ja) | ||
WO2017064368A1 (en) | Distributed audio capture and mixing | |
KR20130116271A (ko) | 다중 마이크에 의한 3차원 사운드 포착 및 재생 | |
US9807534B2 (en) | Device and method for decorrelating loudspeaker signals | |
JP7378575B2 (ja) | 空間変換領域における音場表現を処理するための装置、方法、またはコンピュータプログラム | |
US11632643B2 (en) | Recording and rendering audio signals | |
JP2013110633A (ja) | トランスオーラルシステム | |
Thiergart et al. | An acoustical zoom based on informed spatial filtering | |
US10602297B2 (en) | Processing audio signals | |
Beracoechea et al. | On building immersive audio applications using robust adaptive beamforming and joint audio-video source localization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180109 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180406 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20180705 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181211 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6466968 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |