JP7211498B2 - 音響処理装置、音響処理方法、およびプログラム - Google Patents

音響処理装置、音響処理方法、およびプログラム Download PDF

Info

Publication number
JP7211498B2
JP7211498B2 JP2021519933A JP2021519933A JP7211498B2 JP 7211498 B2 JP7211498 B2 JP 7211498B2 JP 2021519933 A JP2021519933 A JP 2021519933A JP 2021519933 A JP2021519933 A JP 2021519933A JP 7211498 B2 JP7211498 B2 JP 7211498B2
Authority
JP
Japan
Prior art keywords
acoustic
microphone
speaker
signal
hands
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021519933A
Other languages
English (en)
Other versions
JPWO2020234991A1 (ja
Inventor
和則 小林
翔一郎 齊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2020234991A1 publication Critical patent/JPWO2020234991A1/ja
Application granted granted Critical
Publication of JP7211498B2 publication Critical patent/JP7211498B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17813—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the acoustic paths, e.g. estimating, calibrating or testing of transfer functions or cross-terms
    • G10K11/17817—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the acoustic paths, e.g. estimating, calibrating or testing of transfer functions or cross-terms between the output signals and the error signals, i.e. secondary path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17813—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the acoustic paths, e.g. estimating, calibrating or testing of transfer functions or cross-terms
    • G10K11/17819—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the acoustic paths, e.g. estimating, calibrating or testing of transfer functions or cross-terms between the output signals and the reference signals, e.g. to prevent howling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1783—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase handling or detecting of non-standard events or conditions, e.g. changing operating modes under specific operating conditions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785—Methods, e.g. algorithms; Devices
    • G10K11/17857—Geometric disposition, e.g. placement of microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787—General system configurations
    • G10K11/17879—General system configurations using both a reference signal and an error signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787—General system configurations
    • G10K11/17885—General system configurations additionally using a desired external signal, e.g. pass-through audio such as music or speech
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2200/00—Details of methods or devices for transmitting, conducting or directing sound in general
    • G10K2200/10—Beamforming, e.g. time reversal, phase conjugation or similar
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/108—Communication systems, e.g. where useful sound is kept and noise is cancelled
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/128—Vehicles
    • G10K2210/1282—Automobiles
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3019—Cross-terms between multiple in's and out's
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/50—Miscellaneous
    • G10K2210/505—Echo cancellation, e.g. multipath-, ghost- or reverberation-cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Telephone Function (AREA)

Description

この発明は、音響信号を処理する技術に関し、特に自動車等の乗り物内での会話をサポートする技術に関する。
自動車内にスピーカとマイクロホンを設置し、前列シートから後列シートもしくは後列シートから前列シートへ音声を拡声することにより、走行中などの騒音下での会話をしやすくするインカーコミュニケーション（ICC: In Car Communication）が利用されている（非特許文献１参照）。また、自動車内に設置されたスピーカとマイクロホンとを用いて自動車内の乗員と自動車外の人物とで通話をするハンズフリー通話が利用されている（非特許文献１参照）。ここで、自動車内に設置された複数のマイクロホンと複数のスピーカとを用いて全座席でハンズフリー通話を可能とするシステムを考える。このシステムを用いれば、多人数対一人や多人数対多人数の通話が可能となり、多人数が複数の自動車に分乗して旅行する場合などに全員で会話を行うことができる。この場合、同一自動車内の乗員の声であっても走行音などにより聞き取りにくくなるため、ハンズフリー通話とインカーコミュニケ―ションを併用することが望ましい。
図１は、自動車内に設置された複数のマイクロホンと複数のスピーカとを用いて、走行中の自動車内で前列シートの乗員と後列シートの乗員とで会話を容易に行うインカーコミュニケーション機能の一例である。図１の例では、自動車９０内に運転席９１および助手席９２からなる前列シートと、後部座席９３，９４からなる後列シートとが設置されており、前列シート近傍にマイクロホンＭ１とスピーカＳ１とが配置され、後列シート近傍にマイクロホンＭ２とスピーカＳ２とが配置されている。マイクロホンＭ１で収音した音声信号はスピーカＳ２から放音され、マイクロホンＭ２で収音した音声信号はスピーカＳ１から放音されるように設定される。これにより、前列シート９１，９２の乗員と後列シート９３，９４の乗員とが会話可能となっている。
図２は、自動車内の乗員が自動車外の人物とハンズフリーで通話をするハンズフリー通話機能の一例である。この例では、自動車９０の外から入力される音声信号は前列シート近傍のスピーカＳ１および後列シート近傍のスピーカＳ２から放音され、自動車９０内の乗員の音声は前列シート近傍のマイクロホンＭ１または後列シート近傍のマイクロホンＭ２で収音され自動車９０外へ送信される。これにより、自動車９０内の乗員と自動車９０外の人物とが会話可能となっている。
インカーコミュニケーション機能やハンズフリー通話機能のように、マイクロホンとスピーカを使って会話をする機能を実現するためには、スピーカからマイクロホンへの音の回り込み（以下「音響エコー」とも呼ぶ）をキャンセルする必要がある。図３に示すように、スピーカからマイクロホンへの回り込みはすべてのスピーカとマイクロホンとの組み合わせで発生する。図３の例では、２個のスピーカＳ１，Ｓ２と２個のマイクロホンＭ１，Ｍ２とがある場合、スピーカＳ１からマイクロホンＭ１およびマイクロホンＭ２への回り込みが発生し、スピーカＳ２からマイクロホンＭ１およびマイクロホンＭ２への回り込みが発生することが示されている。なお、図３において、Hxx(ω)は矢印で示したスピーカからマイクロホンへの経路における伝達関数を表している。
従来のインカーコミュニケーションでは、図４に示すように、２個の適応フィルタ（ADF: Adaptive Filter）を用いて会話をサポートしている。適応フィルタ１１は、前列シート近傍のスピーカＳ１から前列シート近傍のマイクロホンＭ１への経路の回り込みをキャンセルする。適応フィルタ１２は、後列シート近傍のスピーカＳ２から後列シート近傍のマイクロホンＭ２への経路の回り込みをキャンセルする。従来のハンズフリー通話では、図５に示すように、通話相手への送信信号に含まれる音響エコーを、受信信号と送信信号との間に配置した適応フィルタ１３を用いてキャンセルする。従来技術では、このような構成により、インカーコミュニケーション機能とハンズフリー通話機能とを実現している。
NTT持株会社ニュースリリース、"自動車内の音声操作やコミュニケーションを快適にする集音技術を開発"、［online］、［平成31年4月26日検索］、インターネット<URL: http://www.ntt.co.jp/news2018/1802/180219c.html>
しかしながら、インカーコミュニケーションとハンズフリー通話の両方を同時に用いる場合、単に組み合わせただけでは音響エコーのキャンセルが不十分となる問題がある。ハンズフリー通話では、インカーコミュニケーションにより前後の座席間で会話をしている信号のキャンセルが行われないため、ハンズフリー通話の音声にインカーコミュニケーションの音声が加算されることで、音が二重になったり、響いたりしてしまう。例えば、後列シートの乗員が発話したときに後列シート近傍のマイクロホンで収音された音の他に、インカーコミュニケーションにより前列シート近傍のスピーカで再生された音が前列シート近傍のマイクロホンで収音された音も混合して再生されてしまう。また、ハンズフリー通話の受信信号が前列シートと後列シートのスピーカそれぞれから再生され、その再生された音がさらにインカーコミュニケーションの経路で前列シートと後列シートのスピーカで再生されるため、音が二重になってしまう。
この発明の目的は、上記のような技術的課題を鑑みて、インカーコミュニケーションとハンズフリー通話の両方を同時に利用する場合に、すべての音響経路で発生する音響エコーを効率よく適応フィルタでキャンセルし、音質の良いインカーコミュニケーションとハンズフリー通話を実現することである。
上記の課題を解決するために、この発明の一態様の音響処理装置は、予め定められた複数の音響領域に複数のマイクロホンと複数のスピーカとを配置した乗り物で使用される音響処理装置であって、音響領域毎に少なくとも１個のスピーカと１個のマイクロホンとが配置され、第一の音響領域に配置された第一のマイクロホンにより収音された音響信号は第二の音響領域に配置された第二のスピーカから放音され、第二の音響領域に配置された第二のマイクロホンにより収音された音響信号は第一の音響領域に配置された第一のスピーカから放音され、第一のマイクロホンは第二のスピーカから放音される音を集音しづらいよう設計されている。
この発明によれば、音質の良いインカーコミュニケーションとハンズフリー通話を実現することができる。
図１はインカーコミュニケーション機能を説明するための図である。 図２はハンズフリー通話機能を説明するための図である。 図３は音響エコーが発生する経路を説明するための図である。 図４は従来のインカーコミュニケーション機能を実現する音響処理装置の機能構成を例示する図である。 図５は従来のハンズフリー通話機能を実現する音響処理装置の機能構成を例示する図である。 図６は第一実施形態の音響処理装置の機能構成を例示する図である。 図７は第二実施形態の音響処理装置の機能構成を例示する図である。 図８は第三実施形態の音響処理装置の機能構成を例示する図である。 図９は第四実施形態の音響処理装置の機能構成を例示する図である。
以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
［第一実施形態］
第一実施形態の音響処理装置は、自動車等の乗り物に設置され、インカーコミュニケーション機能とハンズフリー通話機能を同時に実現するシステムにおいて、伝達する音響信号から音響エコーをキャンセルする信号処理装置である。本実施形態では、乗り物内に予め定められた、少なくとも１個のマイクロホンおよび１個のスピーカが設置された２個の音響領域と、乗り物外の少なくとも１個の音響領域との間で会話を行うことを想定する。第一実施形態の音響処理装置１は、図６に示すように、第一音響領域１００に設置されたマイクロホンＭ１で収音された音響信号と、第二音響領域２００に設置されたマイクロホンＭ２で収音された音響信号と、第三音響領域３００から受信した音響信号とを入力とし、各音響信号に所定の信号処理を行った音響信号を、第一音響領域１００に設置されたスピーカＳ１と第二音響領域２００に設置されたスピーカＳ２とから出力し、かつ、第三音響領域３００へ送信する。例えば、第一音響領域１００を自動車の前列シート近傍の空間とし、第二音響領域２００を自動車の後列シート近傍の空間とし、第三音響領域３００を自動車外の空間（例えば、他の自動車など）として実装すれば、インカーコミュニケーション機能とハンズフリー通話機能を同時に実現することができる。この音響処理装置１が後述の各処理を行うことにより第一実施形態の音響処理方法が実現される。
音響処理装置１は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。音響処理装置１は、例えば、中央演算処理装置の制御のもとで各処理を実行する。音響処理装置１に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。音響処理装置１は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。
音響処理装置１は、第一音響領域に設置されたマイクロホンＭ１のための適応フィルタ１１と、第二音響領域に設置されたマイクロホンＭ２のための適応フィルタ１２と、マイクロホンＭ１で収音した音響信号から適応フィルタ１１の出力を減算する減算器２１と、マイクロホンＭ２で収音した音響信号から適応フィルタ１２の出力を減算する減算器２２と、第三音響領域３００から受信した音響信号と減算器２１の出力とを加算してスピーカＳ２へ出力する加算器２３と、第三音響領域３００から受信した音響信号と減算器２２の出力とを加算してスピーカＳ１へ出力する加算器２４と、減算器２１の出力と減算器２２の出力とを加算して第三音響領域３００へ送信する加算器２５とを備える。適応フィルタは、スピーカから出力されマイクロホンに収音された信号である音響エコーをキャンセルするために、スピーカから出力される前の信号を参照信号として入力とし、それをフィルタリングして疑似エコーを生成する。この疑似エコーをマイクロホン収音信号から減算した誤差信号のパワーが小さくなるようにフィルタ係数をアップデートすることで、音響エコーがキャンセルされる。適応フィルタ１１の参照信号は、第三音響領域３００に設置されたマイクロホン（図示せず）で収音した音響信号（すなわち、ハンズフリー通話の受信信号）と、マイクロホンＭ２で収音した音響信号（すなわち、インカーコミュニケーションで前列シートから再生する信号）とを加算した信号とする。この構成により、適応フィルタ１１は、ハンズフリー通話の受信信号とインカーコミュニケーションの再生信号の両方から音響エコーをキャンセルできる。適応フィルタ１２の参照信号は、第三音響領域３００に設置されたマイクロホン（図示せず）で収音した音響信号（すなわち、ハンズフリー通話の受信信号）と、マイクロホンＭ１で収音した音響信号（すなわち、インカーコミュニケーションで後列シートから再生する信号）とを加算した信号とする。この構成により、適応フィルタ１２は、ハンズフリー通話の受信信号とインカーコミュニケーションの再生信号の両方から音響エコーをキャンセルできる。第三音響領域３００に設置されたスピーカ（図示せず）から出力する信号（すなわち、ハンズフリー通話の送信信号）は２個の適応フィルタ１１，１２の出力を加算したものとする。これにより、前列シートの乗員の発話と後列シートの乗員の発話との両方を、ハンズフリー通話の通話信号とすることができる。
適応フィルタ１１，１２は、例えば、ＬＭＳ（Least Mean Square）やＮＬＭＳ（Normalized LMS）などのアルゴリズムが用いられる。図６では各音響領域に配置されるスピーカを１個のみ記載しているが、各音響領域に複数のスピーカが配置されても構わない。また、各スピーカにイコライザーの処理があってもよい。
［第二実施形態］
第一実施形態では、ハンズフリー通話の通話信号のエコーキャンセルとインカーコミュニケーションの再生信号のエコーキャンセルとを、同一の適応フィルタで行っていた。同一の音響領域内に配置されたスピーカからマイクロホンへの音響経路（例えば、前列シートのスピーカＳ１からマイクロホンＭ１や、後列シートのスピーカＳ２からマイクロホンＭ２）は、ハンズフリー通話の通話信号とインカーコミュニケーションの再生信号とで同じであるため、１個の適応フィルタでキャンセル可能である。しかしながら、ハンズフリー通話の通話信号の方は、前列シートのスピーカＳ１から後列シートのマイクロホンＭ２へ、および、後列シートのスピーカＳ２から前列シートのマイクロホンＭ１への経路が追加で存在している。このため、第一実施形態では、キャンセル性能に劣化が生じる。第二実施形態では、第一実施形態に対して適応フィルタを追加することにより、このキャンセル性能の低下を防止する。
第二実施形態の音響処理装置２は、図７に示すように、ハンズフリー通話のための適応フィルタとインカーコミュニケーションのための適応フィルタとを個々に用意し、計４個の適応フィルタを備える。また、第一実施形態の音響処理装置１と同様に減算器２１，２２と加算器２３－２５とを備える。ただし、減算器２１はマイクロホンＭ１で収音した音響信号から適応フィルタ１１Ａの出力と適応フィルタ１１Ｂの出力とを減算し、減算器２２はマイクロホンＭ２で収音した音響信号から適応フィルタ１２Ａの出力と適応フィルタ１２Ｂの出力とを減算する。ハンズフリー通話のための適応フィルタ１１Ａは、第三音響領域３００からの受信信号であるハンズフリー通話の通話信号を参照信号として、第一音響領域１００のスピーカＳ１から第一音響領域１００のマイクロホンＭ１への経路と、第二音響領域２００のスピーカＳ２から第一音響領域１００のマイクロホンＭ１への経路とを推定して、マイクロホンＭ１で収音された音響エコーのうちハンズフリー通話の通話信号成分をキャンセルする。ハンズフリー通話のための適応フィルタ１２Ａは、第三音響領域３００からの受信信号であるハンズフリー通話の通話信号を参照信号として、第二音響領域２００のスピーカＳ２から第二音響領域２００のマイクロホンＭ２への経路と、第一音響領域１００のスピーカＳ１から第二音響領域２００のマイクロホンＭ２への経路とを推定して、マイクロホンＭ２で収音された音響エコーのうちハンズフリー通話の通話信号成分をキャンセルする。インカーコミュニケーションのための適応フィルタ１１Ｂは、第一音響領域１００のスピーカＳ１から出力するインカーコミュニケーションの再生信号、すなわち、スピーカＳ１の前段にあるハンズフリー通話の通話信号とインカ―コミュニケーションの再生信号をミキシングする加算器２４の入力信号のうちインカ―コミュニケーションの再生信号のほうを参照信号とし、第一音響領域１００のスピーカＳ１から第一音響領域１００のマイクロホンＭ１への経路を推定して、マイクロホンＭ１で収音された音響エコーのうちインカーコミュニケーションの再生信号成分をキャンセルする。インカーコミュニケーションのための適応フィルタ１２Ｂは、第二音響領域２００のスピーカＳ２から出力するインカーコミュニケーションの再生信号、すなわち、スピーカＳ２の前段にあるハンズフリー通話の通話信号とインカ―コミュニケーションの再生信号をミキシングする加算器２３の入力信号のうちインカ―コミュニケーションの再生信号のほうを参照信号とし、第二音響領域２００のスピーカＳ２から第二音響領域２００のマイクロホンＭ２への経路を推定して、マイクロホンＭ２で収音された音響エコーのうちインカーコミュニケーションの再生信号成分をキャンセルする。
第二実施形態の音響処理装置２は、適応フィルタが追加になる分、演算量が多くなるが、第一実施形態より高いキャンセル性能を得ることができる。
［第三実施形態］
第三実施形態は、第一実施形態と第二実施形態の中間の方法である。第三実施形態の音響処理装置３は、図８に示すように、第一実施形態の音響処理装置１が備える２個の適応フィルタ１１，１２に加えて、ハンズフリー通話の通話信号のための適応フィルタ１３を追加し、計３個の適応フィルタを用いる。また、第一実施形態の音響処理装置１と同様に減算器２１，２２と加算器２３，２４とを備え、減算器２１の出力と減算器２２の出力とを加算する加算器２６と、加算器２６の出力から適応フィルタ１３の出力を減算して第三音響領域３００へ送信する減算器２７とをさらに備える。適応フィルタ１３の参照信号は、第三音響領域３００からの受信信号であるハンズフリー通話の通話信号とする。この構成により、適応フィルタ１３は、ハンズフリー通話の送信信号から音響エコーをキャンセルできる。第一実施形態の通話経路部分に適応フィルタ１３を追加することで、第一実施形態の適応フィルタ１１，１２で消し残った通話音をさらに抑圧して高いキャンセル性能を得ることができる。第三実施形態では必要となる適応フィルタが３個のため、第二実施形態よりも演算量が少ないというメリットがある。
［第四実施形態］
第四実施形態は、インカーコミュニケーションに用いるマイクロホンを複数のマイクロホンからなるマイクロホンアレーで構成する。第四実施形態の音響処理装置４は、図９に示すように、第一実施形態の音響処理装置１が備える２個の適応フィルタ１１，１２と２個の減算器２１，２２と３個の加算器２３－２５とに加えて、各マイクロホンアレーの後段に指向性を制御するためのビームフォーミング（BF: Beamforming）４１，４２を配置する。第一音響領域１００に設置されたマイクロホンアレーＭ１のためのビームフォーミング４１は、第二音響領域２００に設置されたスピーカＳ２から放音される音を極力集音しないように設計する。第二音響領域２００に設置されたマイクロホンアレーＭ２のためのビームフォーミング４２は、第一音響領域１００に設置されたスピーカＳ１から放音される音を極力集音しないように設計する。マイクロホンアレーＭ１がスピーカＳ２から放音される音を極力集音しないようにビームフォーミング４１を設計することと、マイクロホンアレーＭ２がスピーカＳ１から放音される音を極力集音しないようにビームフォーミング４２を設計することとは、両方が行われていてもよいし、いずれか一方のみが行われていてもよい。
ビームフォーミング４１，４２は、例えば、以下に示すようにフィルタ係数を計算し、マイクロホンアレーＭ１，Ｍ２を構成する各マイクロホンの出力に乗じて和をとることでビームフォーミングの出力を得る。第二音響領域２００のスピーカＳ２から第一音響領域１００のマイクロホンアレーＭ１までの伝達関数をH(ω)とし、第一音響領域１００のスピーカＳ１から第一音響領域１００のマイクロホンアレーＭ１までの伝達関数をG(ω)とし、マイクロホンアレー処理のフィルタ係数をW(ω)とする。ただし、ωは周波数、H(ω), G(ω), W(ω)はマイクロホン数の要素を持つベクトルである。第二音響領域２００のスピーカＳ２から第一音響領域１００のマイクロホンアレーＭ１の出力までの伝達関数は、H(ω)HW(ω)で計算される。ここで、・H（上付き添え字のH）は共役転置を表す。理想的には、この伝達関数が０となればよい。また、第一音響領域１００のスピーカＳ１から第一音響領域１００のマイクロホンアレーＭ１の出力までの伝達関数は、G(ω)HW(ω)で計算される。この伝達関数が１となるのが理想的である。すなわち、以下の連立方程式を満たすフィルタW(ω)を求めればよい。
H(ω)HW(ω)=0
G(ω)HW(ω)=1
しかしながら、この連立方程式を完全に満たす解が得られることはまれである。そのため、最小二乗法などを用いてフィルタ係数W(ω)を求める。
このように、マイクロホンアレーを用いてスピーカから出力される音を極力集音しないようにビームフォーミングを行うことで、より音の回り込みを防ぐことができ、より大きな音でインカーコミュニケーションを行うことができる。
以上、この発明の実施の形態について説明したが、具体的な構成は、これらの実施の形態に限られるものではなく、この発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、この発明に含まれることはいうまでもない。実施の形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
［プログラム、記録媒体］
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (3)

  1. 予め定められた複数の音響領域に複数のマイクロホンと複数のスピーカとを配置した乗り物で使用される音響処理装置であって、
    前記音響領域毎に少なくとも１個のスピーカと１個のマイクロホンとが配置され、
    第一の音響領域に配置された第一のマイクロホンにより収音された音響信号は第二の音響領域に配置された第二のスピーカから放音され、
    前記第二の音響領域に配置された第二のマイクロホンにより収音された音響信号は前記第一の音響領域に配置された第一のスピーカから放音され、
    第一のハンズフリー適応フィルタにより、前記乗り物の外に定められた第三音響領域からの受信信号であるハンズフリー通話の通話信号を参照信号として、前記第一のスピーカから前記第一のマイクロホンへの経路と、第二のスピーカから前記第一のマイクロホンへの経路とを推定して、前記第一のマイクロホンで収音された音響エコーのうちの前記ハンズフリー通話の通話信号成分が生成され、
    第一のインカーコミュニケーション適応フィルタにより、前記第一のスピーカから出力する前記第一の音響領域と前記第二の音響領域との間のコミュニケーションであるインカーコミュニケーションの再生信号を参照信号とし、前記第一のスピーカから前記第一のマイクロホンへの経路を推定して、前記第一のマイクロホンで収音された音響エコーのうちの前記インカーコミュニケーションの再生信号成分が生成され、
    第二のハンズフリー適応フィルタにより、前記ハンズフリー通話の通話信号を参照信号として、前記第二のスピーカから前記第二のマイクロホンへの経路と、前記第一のスピーカから前記第二のマイクロホンへの経路とを推定して、前記第二のマイクロホンで収音された音響エコーのうちの前記ハンズフリー通話の通話信号成分が生成され、
    第二のインカーコミュニケーション適応フィルタにより、前記第二のスピーカから出力する前記インカーコミュニケーションの再生信号を参照信号とし、前記第二のスピーカから前記第二のマイクロホンへの経路を推定して、前記第二のマイクロホンで収音された音響エコーのうちの前記インカーコミュニケーションの再生信号成分が生成され、
    前記第一のマイクロホンで収音された音響信号から前記第一のハンズフリー適応フィルタが生成した通話信号成分と前記第一のインカーコミュニケーション適応フィルタが生成した再生信号成分とがキャンセルされた音響信号と、前記第二のマイクロホンで収音された音響信号から前記第二のハンズフリー適応フィルタが生成した通話信号成分と前記第二のインカーコミュニケーション適応フィルタが生成した再生信号成分とがキャンセルされた音響信号とを前記第三の音響領域へ送信する、
    音響処理装置。
  2. 予め定められた複数の音響領域に複数のマイクロホンと複数のスピーカとを配置した乗り物で使用される音響処理装置が実行する音響処理方法であって、
    前記音響領域毎に少なくとも１個のスピーカと１個のマイクロホンとが配置されており、
    前記音響処理装置が、第一の音響領域に配置された第一のマイクロホンにより収音された音響信号を第二の音響領域に配置された第二のスピーカから放音し、
    前記音響処理装置が、前記第二の音響領域に配置された第二のマイクロホンにより収音された音響信号を前記第一の音響領域に配置された第一のスピーカから放音し、
    第一のハンズフリー適応フィルタが、前記乗り物の外に定められた第三音響領域からの受信信号であるハンズフリー通話の通話信号を参照信号として、前記第一のスピーカから前記第一のマイクロホンへの経路と、第二のスピーカから前記第一のマイクロホンへの経路とを推定して、前記第一のマイクロホンで収音された音響エコーのうちの前記ハンズフリー通話の通話信号成分を生成し、
    第一のインカーコミュニケーション適応フィルタが、前記第一のスピーカから出力する前記第一の音響領域と前記第二の音響領域との間のコミュニケーションであるインカーコミュニケーションの再生信号を参照信号とし、前記第一のスピーカから前記第一のマイクロホンへの経路を推定して、前記第一のマイクロホンで収音された音響エコーのうちの前記インカーコミュニケーションの再生信号成分を生成し、
    第二のハンズフリー適応フィルタが、前記ハンズフリー通話の通話信号を参照信号として、前記第二のスピーカから前記第二のマイクロホンへの経路と、前記第一のスピーカから前記第二のマイクロホンへの経路とを推定して、前記第二のマイクロホンで収音された音響エコーのうちの前記ハンズフリー通話の通話信号成分を生成し、
    第二のインカーコミュニケーション適応フィルタが、前記第二のスピーカから出力する前記インカーコミュニケーションの再生信号を参照信号とし、前記第二のスピーカから前記第二のマイクロホンへの経路を推定して、前記第二のマイクロホンで収音された音響エコーのうちの前記インカーコミュニケーションの再生信号成分を生成し、
    前記第一のマイクロホンで収音された音響信号から前記第一のハンズフリー適応フィルタが生成した通話信号成分と前記第一のインカーコミュニケーション適応フィルタが生成した再生信号成分とがキャンセルされた音響信号と、前記第二のマイクロホンで収音された音響信号から前記第二のハンズフリー適応フィルタが生成した通話信号成分と前記第二のインカーコミュニケーション適応フィルタが生成した再生信号成分とがキャンセルされた音響信号とを前記第三の音響領域へ送信する、
    音響処理方法。
  3. 請求項１に記載の音響処理装置としてコンピュータを機能させるためのプログラム。
JP2021519933A 2019-05-21 2019-05-21 音響処理装置、音響処理方法、およびプログラム Active JP7211498B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/020081 WO2020234991A1 (ja) 2019-05-21 2019-05-21 音響処理装置、音響処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2020234991A1 JPWO2020234991A1 (ja) 2020-11-26
JP7211498B2 true JP7211498B2 (ja) 2023-01-24

Family

ID=73459285

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021519933A Active JP7211498B2 (ja) 2019-05-21 2019-05-21 音響処理装置、音響処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US11729550B2 (ja)
JP (1) JP7211498B2 (ja)
WO (1) WO2020234991A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318636A (ja) 2004-04-29 2005-11-10 Harman Becker Automotive Systems Gmbh 車両用キャビンのための屋内通信システム
WO2017064839A1 (ja) 2015-10-16 2017-04-20 パナソニックＩｐマネジメント株式会社 双方向会話補助装置及び双方向会話補助方法
JP2019001313A (ja) 2017-06-15 2019-01-10 アルパイン株式会社 車内通話装置、車内通話システム、及び車内通話の制御方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2211564B1 (en) * 2009-01-23 2014-09-10 Harman Becker Automotive Systems GmbH Passenger compartment communication system
EP3103204B1 (en) * 2014-02-27 2019-11-13 Nuance Communications, Inc. Adaptive gain control in a communication system
US9881632B1 (en) * 2017-01-04 2018-01-30 2236008 Ontario Inc. System and method for echo suppression for in-car communications

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318636A (ja) 2004-04-29 2005-11-10 Harman Becker Automotive Systems Gmbh 車両用キャビンのための屋内通信システム
WO2017064839A1 (ja) 2015-10-16 2017-04-20 パナソニックＩｐマネジメント株式会社 双方向会話補助装置及び双方向会話補助方法
JP2019001313A (ja) 2017-06-15 2019-01-10 アルパイン株式会社 車内通話装置、車内通話システム、及び車内通話の制御方法

Also Published As

Publication number Publication date
WO2020234991A1 (ja) 2020-11-26
US20220240009A1 (en) 2022-07-28
US11729550B2 (en) 2023-08-15
JPWO2020234991A1 (ja) 2020-11-26

Similar Documents

Publication Publication Date Title
JP6311136B2 (ja) 双方向会話補助装置及び双方向会話補助方法
US9883286B2 (en) Managing telephony and entertainment audio in a vehicle audio platform
US8165310B2 (en) Dereverberation and feedback compensation system
JP5123473B2 (ja) 結合されたノイズ低減およびエコー補償による音声信号処理
US6748086B1 (en) Cabin communication system without acoustic echo cancellation
US20120201396A1 (en) Audio signal component compensation system
JP2007235943A (ja) 音声信号取得のためのハンドフリーシステム
US11678114B2 (en) Sound collection loudspeaker apparatus, method and program for the same
EP3833045B1 (en) Conversation assistance system, method therefor, and program
JP7211498B2 (ja) 音響処理装置、音響処理方法、およびプログラム
JP2005247181A (ja) 車載ハンズフリー装置
US11516584B2 (en) Sound collection loudspeaker apparatus, method and program for the same
JPH09130306A (ja) 拡声通話装置およびエコーキャンセラ
US20230274723A1 (en) Communication support system
US11462205B2 (en) In-vehicle communication support system
JP7147849B2 (ja) 集音拡声装置、その方法、およびプログラム
JP2009100187A (ja) 音制御装置
JP2022138484A (ja) 能動型騒音制御システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221226

R150 Certificate of patent or registration of utility model

Ref document number: 7211498

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150