JP7434668B2 - テレプレゼンス会議用マイクロフォンアレイの自動較正 - Google Patents
テレプレゼンス会議用マイクロフォンアレイの自動較正 Download PDFInfo
- Publication number
- JP7434668B2 JP7434668B2 JP2023526352A JP2023526352A JP7434668B2 JP 7434668 B2 JP7434668 B2 JP 7434668B2 JP 2023526352 A JP2023526352 A JP 2023526352A JP 2023526352 A JP2023526352 A JP 2023526352A JP 7434668 B2 JP7434668 B2 JP 7434668B2
- Authority
- JP
- Japan
- Prior art keywords
- microphone
- speaker
- array
- impulse response
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003491 array Methods 0.000 title description 9
- 230000015654 memory Effects 0.000 claims description 62
- 238000000034 method Methods 0.000 claims description 52
- 230000003595 spectral effect Effects 0.000 claims description 47
- 238000005316 response function Methods 0.000 claims description 45
- 230000005236 sound signal Effects 0.000 claims description 20
- 230000004044 response Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 238000001228 spectrum Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 9
- 230000036962 time dependent Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims 2
- 230000009466 transformation Effects 0.000 claims 2
- 230000002238 attenuated effect Effects 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 9
- 238000005311 autocorrelation function Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/004—Monitoring arrangements; Testing arrangements for microphones
- H04R29/005—Microphone arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
- H04R29/002—Loudspeaker arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
Landscapes
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Circuit For Audible Band Transducer (AREA)
- Stereophonic System (AREA)
Description
テレプレゼンス会議システムは、ユーザからの指向性音声信号を検出するための大量のマイクロフォンと、指向性音声信号をユーザに提供するための複数のスピーカーとを備えることができる。
ある全体的な態様では、方法は、マイクロフォンアレイの各マイクロフォンを介して、スピーカーアレイの各スピーカーが生成した音声信号に基づいて反響音場を受信することを含み得る。また、この方法はマイクロフォンアレイのマイクロフォンごとおよびスピーカーアレイのスピーカーごとに、そのスピーカーが生成してそのマイクロフォンが受信した各反響音場に基づいてそのマイクロフォンおよびそのスピーカーの各パワースペクトル密度を生成することを含み得る。方法は、スピーカーアレイおよびマイクロフォンアレイについて平均化されたパワースペクトル密度とスピーカーアレイについて平均化されたパワースペクトル密度との割合として、各較正フィルターをマイクロフォンアレイのマイクロフォンごとに生成することをさらに含み得る。方法は、マイクロフォンアレイごとに生成された各較正フィルターを使用するマイクロフォンアレイによってユーザからの音響信号を記録することをさらに含み得、各較正フィルターを使用するマイクロフォンアレイの各々は、音響信号の本質的に同じスペクトルを記録する。
高品質かつ指向性感度が高い音声信号を生成するために用いることができるマイクロフォンからの信号を正確にキャプチャするために、アレイの各マイクロフォン(たとえば、マイクロフォンの利得)をその他のマイクロフォンと比べて較正する場合がある。また、テレプレゼンスシステムにおいてリアルに空間化された出力を正確にレンダリングするために、各スピーカー(たとえば、スピーカーの利得)もその他のスピーカーと比べて較正しなければならない。このような較正を実行するための従来の手法は、外付けハードウェア、たとえば、音源と、テレプレゼンス会議システムにおけるユーザ/話者の想定位置に設置されたマイクロフォンの利用が必要である。
Claims (15)
- マイクロフォンアレイの各マイクロフォンを介して、スピーカーアレイの各スピーカーが生成した音声信号に基づいて反響音場を受信することと、
前記マイクロフォンアレイのマイクロフォンごとおよび前記スピーカーアレイのスピーカーごとに、そのスピーカーが生成してそのマイクロフォンが受信した前記各反響音場に基づいてそのマイクロフォンおよびそのスピーカーの各パワースペクトル密度を生成することと、
前記マイクロフォンアレイのマイクロフォンごとに、前記スピーカーアレイおよび前記マイクロフォンアレイについて平均化された前記パワースペクトル密度と前記スピーカーアレイについて平均化された当該マイクロフォンにとってのパワースペクトル密度との割合として、各較正フィルターを生成することと、
前記マイクロフォンアレイのマイクロフォンごとに生成された前記各較正フィルターを使用する前記マイクロフォンアレイによってユーザからの音響信号を記録することとを含み、前記各較正フィルターを使用する前記マイクロフォンアレイの各マイクロフォンは、前記音響信号の本質的に同じスペクトルを記録する、方法。 - 前記マイクロフォンアレイのマイクロフォンごとおよび前記スピーカーアレイのスピーカーごとに前記各パワースペクトル密度を生成することは、
そのスピーカーが生成してそのマイクロフォンが受信した前記各反響音場に基づいてそのマイクロフォンおよびスピーカーの各インパルス応答関数を生成することを含む、請求項1に記載の方法。 - 前記マイクロフォンアレイのマイクロフォンごとおよび前記スピーカーアレイのスピーカーごとに前記各パワースペクトル密度を生成することは、
そのマイクロフォンおよびスピーカーの前記各インパルス応答関数の自己相関を実行して自己相関インパルス応答関数を生成することと、
前記自己相関インパルス応答関数に対して周波数空間への変換を実行してそのマイクロフォンおよびスピーカーの前記パワースペクトル密度を生成することとをさらに含む、請求項2に記載の方法。 - 前記自己相関インパルス応答関数に対して前記周波数空間への変換を実行することは、
指定された時間間隔内で定数に等しく、前記指定された時間間隔外で0に等しい窓関数を生成することと、
前記窓関数と前記自己相関インパルス応答関数との積に対するフーリエ変換操作を実行することとを含む、請求項3に記載の方法。 - 前記各インパルス応答関数を生成する前に、
第1周波数と第2周波数との間の周波数を有するスイープサインチャープ信号を前記音声信号としてそのスピーカーにおいて生成することをさらに含み、前記スイープサインチャープ信号は、そのマイクロフォンにおいて受信される、請求項2~4のいずれか1項に記載の方法。 - 前記各インパルス応答関数を生成することは、
前記マイクロフォンアレイのマイクロフォンごとおよび前記スピーカーアレイのスピーカーごとに、
そのマイクロフォンとそのスピーカーとに対応するRAWインパルス応答関数を計測することと、
そのRAWインパルス応答関数に関連する、時間依存エネルギー計量を生成することと、
前記マイクロフォンアレイおよび前記スピーカーアレイについての、前記マイクロフォンアレイの各マイクロフォンと前記スピーカーアレイの各スピーカーとに関連する前記各時間依存エネルギー計量の平均に基づく正規化係数を生成することと、
前記マイクロフォンアレイの各マイクロフォンと前記スピーカーアレイの各スピーカーとに対応する前記RAWインパルス応答関数を前記正規化係数で除算して、そのマイクロフォンとそのスピーカーとに対応する減衰正規化インパルス応答関数を生成することとを含む、請求項2~5のいずれか1項に記載の方法。 - 前記マイクロフォンアレイの各マイクロフォンと前記スピーカーアレイの各スピーカーとに対応する前記各RAWインパルス応答関数に関連する前記時間依存エネルギー計量を生成することは、
そのマイクロフォンとそのスピーカーとに対応する前記各RAWインパルス応答関数の絶対値の第1のべき乗を生成することと、
前記各RAWインパルス応答関数の前記絶対値の前記第1のべき乗に対して平滑化操作を実行して、そのマイクロフォンとそのスピーカーとに対応する前記各RAWインパルス応答関数に関連する前記時間依存エネルギー計量を生成することとを含む、請求項6に記載の方法。 - 前記平滑化操作を実行することは、
指定された期間中の前記各RAWインパルス応答関数の前記絶対値の前記第1のべき乗の移動平均を生成することを含む、請求項7に記載の方法。 - 前記正規化係数を生成することは、
前記マイクロフォンアレイの各マイクロフォンと前記スピーカーアレイの各スピーカーとに対応する前記各RAWインパルス応答関数に関連する前記時間依存エネルギー計量の第2のべき乗を生成することを含み、前記第2のべき乗は、前記第1のべき乗の逆数である、請求項7または8に記載の方法。 - 前記各インパルス応答関数を生成することは、
そのマイクロフォンとそのスピーカーとに対応する前記減衰正規化インパルス応答関数のサブセグメントを前記マイクロフォンアレイの各マイクロフォンと前記スピーカーアレイの各スピーカーとに対応する前記各インパルス応答関数として取得することを含み、前記サブセグメントは、第1の時間に開始し、第2の時間に終了する、請求項6~9のいずれか1項に記載の方法。 - 前記第1の時間は、前記反響音場の反響波が伝わる最短距離に基づく、請求項10に記載の方法。
- 前記第2の時間は、前記各RAWインパルス応答関数の前記計測に関連するノイズフロアまで前記各RAWインパルス応答関数が減衰するのにかかる時間の長さの推定値に基づく、請求項10または11に記載の方法。
- マイクロフォンアレイの各マイクロフォンを介して、スピーカーアレイの各スピーカーが生成した音声信号に基づいて反響音場を受信することと、
前記マイクロフォンアレイのマイクロフォンごとおよび前記スピーカーアレイのスピーカーごとに、そのスピーカーが生成してそのマイクロフォンが受信した前記各反響音場に基づいてそのマイクロフォンおよびそのスピーカーの各パワースペクトル密度を生成することと、
前記スピーカーアレイのスピーカーごとに、前記スピーカーアレイおよび前記マイクロフォンアレイについて平均化された前記パワースペクトル密度と前記マイクロフォンアレイについて平均化された当該スピーカーにとってのパワースペクトル密度との割合として、各較正フィルターを生成することと、
前記スピーカーアレイのスピーカーごとに生成された前記各較正フィルターを使用する前記スピーカーアレイによって音響信号を生成することとを含み、前記各較正フィルターを使用する前記スピーカーアレイの各スピーカーは、前記音響信号の本質的に同じスペクトルを同じ出力刺激に応答して生成する、方法。 - コンピュータプログラムであって、前記コンピュータプログラムは、コードを含み、前記コードは、コンピューティングデバイスの処理回路によって実行されると、前記処理回路に請求項1~13のいずれか1項に記載の方法を実行させる、コンピュータプログラム。
- 請求項14に記載のコンピュータプログラムを格納するメモリと、
前記メモリに連結された制御回路とを備える、電子機器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2024017209A JP2024063009A (ja) | 2020-10-30 | 2024-02-07 | テレプレゼンス会議用マイクロフォンアレイの自動較正 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2020/070723 WO2022093295A1 (en) | 2020-10-30 | 2020-10-30 | Automatic calibration of microphone array for telepresence conferencing |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024017209A Division JP2024063009A (ja) | 2020-10-30 | 2024-02-07 | テレプレゼンス会議用マイクロフォンアレイの自動較正 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023546257A JP2023546257A (ja) | 2023-11-01 |
JP7434668B2 true JP7434668B2 (ja) | 2024-02-20 |
Family
ID=73646612
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023526352A Active JP7434668B2 (ja) | 2020-10-30 | 2020-10-30 | テレプレゼンス会議用マイクロフォンアレイの自動較正 |
JP2024017209A Pending JP2024063009A (ja) | 2020-10-30 | 2024-02-07 | テレプレゼンス会議用マイクロフォンアレイの自動較正 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024017209A Pending JP2024063009A (ja) | 2020-10-30 | 2024-02-07 | テレプレゼンス会議用マイクロフォンアレイの自動較正 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20240007810A1 (ja) |
EP (1) | EP4238317A1 (ja) |
JP (2) | JP7434668B2 (ja) |
KR (1) | KR20230096050A (ja) |
CN (1) | CN116472724A (ja) |
WO (1) | WO2022093295A1 (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9241228B2 (en) * | 2011-12-29 | 2016-01-19 | Stmicroelectronics Asia Pacific Pte. Ltd. | Adaptive self-calibration of small microphone array by soundfield approximation and frequency domain magnitude equalization |
EP2829081B1 (en) * | 2012-03-23 | 2015-12-09 | Dolby Laboratories Licensing Corporation | Conferencing device self test |
US10708701B2 (en) * | 2015-10-28 | 2020-07-07 | Music Tribe Global Brands Ltd. | Sound level estimation |
US10735887B1 (en) * | 2019-09-19 | 2020-08-04 | Wave Sciences, LLC | Spatial audio array processing system and method |
-
2020
- 2020-10-30 WO PCT/US2020/070723 patent/WO2022093295A1/en active Application Filing
- 2020-10-30 US US18/249,924 patent/US20240007810A1/en active Pending
- 2020-10-30 CN CN202080106843.3A patent/CN116472724A/zh active Pending
- 2020-10-30 JP JP2023526352A patent/JP7434668B2/ja active Active
- 2020-10-30 KR KR1020237017702A patent/KR20230096050A/ko active Search and Examination
- 2020-10-30 EP EP20816861.7A patent/EP4238317A1/en active Pending
-
2024
- 2024-02-07 JP JP2024017209A patent/JP2024063009A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2023546257A (ja) | 2023-11-01 |
CN116472724A (zh) | 2023-07-21 |
JP2024063009A (ja) | 2024-05-10 |
US20240007810A1 (en) | 2024-01-04 |
WO2022093295A1 (en) | 2022-05-05 |
EP4238317A1 (en) | 2023-09-06 |
KR20230096050A (ko) | 2023-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10939225B2 (en) | Calibrating listening devices | |
US11706582B2 (en) | Calibrating listening devices | |
US9544706B1 (en) | Customized head-related transfer functions | |
US9924291B2 (en) | Distributed wireless speaker system | |
US10798514B2 (en) | Method of determining a personalized head-related transfer function and interaural time difference function, and computer program product for performing same | |
US8693713B2 (en) | Virtual audio environment for multidimensional conferencing | |
US10278002B2 (en) | Systems and methods for non-parametric processing of head geometry for HRTF personalization | |
CN110574398B (zh) | 使用定向分解和路径距离估计的环境立体声声场导航 | |
US9826332B2 (en) | Centralized wireless speaker system | |
Geronazzo et al. | Applying a single-notch metric to image-guided head-related transfer function selection for improved vertical localization | |
Yang et al. | Personalizing head related transfer functions for earables | |
KR20210008062A (ko) | 시뮬레이션을 사용하는 머리 전달 함수 개인화 | |
CN110663081A (zh) | 基于网格偏移方法的联合宽带源定位和获取 | |
Ranjan et al. | Fast continuous acquisition of HRTF for human subjects with unconstrained random head movements in azimuth and elevation | |
US10921446B2 (en) | Collaborative mapping of a space using ultrasonic sonar | |
JP7434668B2 (ja) | テレプレゼンス会議用マイクロフォンアレイの自動較正 | |
US11770670B2 (en) | Generating spatial audio and cross-talk cancellation for high-frequency glasses playback and low-frequency external playback | |
US20230247383A1 (en) | Information processing apparatus, operating method of information processing apparatus, and non-transitory computer readable medium | |
US20220329960A1 (en) | Audio capture using room impulse responses | |
US9794685B2 (en) | Video audio recording system, video audio recording device, and video audio recording method | |
CN118250628A (en) | Audio signal processing method, system, equipment and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230921 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230921 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230921 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231006 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240207 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7434668 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |