JP6635396B1 - 音響ノイズ抑圧装置及び音響ノイズ抑圧方法 - Google Patents

音響ノイズ抑圧装置及び音響ノイズ抑圧方法 Download PDF

Info

Publication number
JP6635396B1
JP6635396B1 JP2019073493A JP2019073493A JP6635396B1 JP 6635396 B1 JP6635396 B1 JP 6635396B1 JP 2019073493 A JP2019073493 A JP 2019073493A JP 2019073493 A JP2019073493 A JP 2019073493A JP 6635396 B1 JP6635396 B1 JP 6635396B1
Authority
JP
Japan
Prior art keywords
acoustic noise
signal
filter
sound
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019073493A
Other languages
English (en)
Other versions
JP2020173290A (ja
Inventor
正成 宮本
正成 宮本
田中 直也
直也 田中
宏正 大橋
宏正 大橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2019073493A priority Critical patent/JP6635396B1/ja
Application granted granted Critical
Publication of JP6635396B1 publication Critical patent/JP6635396B1/ja
Priority to US16/841,199 priority patent/US11152010B2/en
Priority to CN202010270852.8A priority patent/CN111798861A/zh
Publication of JP2020173290A publication Critical patent/JP2020173290A/ja
Priority to US17/472,171 priority patent/US11676617B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10Applications
    • G10K2210/128Vehicles
    • G10K2210/1282Automobiles
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166Microphone arrays; Beamforming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

【課題】急な環境変動や複数人物による同時発話等があった場合でも、出力される音声の音質劣化を抑制できる音響ノイズ抑圧装置を提供する。【解決手段】音響ノイズ抑圧装置は、マイクmc1により収音された音声信号に含まれる音響ノイズを、適応フィルタ23に基づいて抑圧した第1の抑圧音声信号を出力する第1の抑圧ユニット20と、マイクmc1により収音された音声信号に含まれる音響ノイズを、適応フィルタ33に基づいて抑圧した第2の抑圧音声信号を出力する第2の抑圧ユニット30と、第1の抑圧音声信号及び第2の抑圧音声信号のうちいずれかを選択してスピーカから出力する出力信号選択部53と、を備える。第1の抑圧ユニット20と第2の抑圧ユニット30は、第1のフィルタと第2のフィルタとを異なる手法を用いて学習させる。【選択図】図3

Description

本開示は、環境内の音響ノイズを抑圧する音響ノイズ抑圧装置及び音響ノイズ抑圧方法に関する。
例えばミニバン、ワゴン車、ワンボックスカー等、前後方向に複数(例えば3列以上)の座席が配置された比較的大きな車両における会話支援システムが検討されている。具体的には、運転席に座る運転者と後部座席に座る乗員(例えば運転者の友人)とが円滑に会話できるように、それぞれの席に設置されたマイクとスピーカを使って音声を伝える仕組みが会話支援システムとして検討されている。
会話支援システムでは、運転者が発した音声が運転席に設置されたマイクで収音され、後部座席に設置されたスピーカから出力される。これにより、車両が振動し易い舗装されていない道路や、騒音が多い街中を走行中でも、後方の乗員は運転者の話声を聞き易くなる。また、後方の乗員が発した音声が後部座席に設置されたマイクで収音され、運転席に設置されたスピーカから出力されることで、運転者は、後方の乗員の話声を聞き易くなる。
このような会話支援システムでは、スピーカから出力される再生音がマイクに収音されることや複数人物の発話が同時にマイクに収音されることがある。この場合、本来収音したい音である人物の現在の話声とは異なる音までマイクに収音されてしまうことになる。このような音がスピーカからそのまま出力されると、話声が聞き取りにくくなり、スムーズな会話が困難となる場合がある。このため、スピーカから出力される音の品質(音質)の改善が望まれている。
このような課題を解決する技術として、特許文献1に記載のような音響除去装置が知られている。この音響除去装置では、車室内の状況として乗員の配置パターンを予め想定し、各配置パターンそれぞれに対して音の伝達特性を測定しておく。そして、その測定により得られ、メモリ等に記憶された各伝達特性を用いて、スピーカから出力される音声信号に含まれる音響を推定して除去する。この音響除去装置によれば、乗員の配置が配置パターンのいずれかを満たす限り、音響の除去または抑圧が可能である。
特開2009−216835号公報
しかしながら、特許文献1に記載の音響除去装置では、車室内の状況として、想定し得る乗員の配置パターン毎に、予め音の伝達特性を測定してメモリ等に記憶して用意しておく必要があった。音の伝達特性は、車内における乗員の配置パターンの他の要因(例えば、乗員の背の高さ、体形、乗員がシートを倒すこと、乗員が車窓若しくはドアを開閉すること)によって大きく変化する。また、会話における話者人数も一定ではないことも想定される。従って、乗員の配置パターンに限らず、車内の環境の変動や同時に発話する人数も考慮した上で、車内のあらゆる状況における音の伝達特性を用意しておくことは、特許文献1の構成では現実的には困難であった。
また、走行中に、乗員が窓を開閉したり、シートを倒したり、顔を大きく移動させる等、車内の音場における音の伝達特性が大きく変わる場合(言い換えると、急な環境の変動があった場合)もある。これらの場合、車内の音場における音の伝達特性は、予め用意しておいた音の伝達特性から逸脱してしまう。すなわち、予め伝達特性を用意しておく特許文献1の構成では、伝達特性の変化に追従することが困難なため、音響を十分に除去または抑圧できず、スピーカから出力される音声の音質劣化が生じる。
本開示は、上述した従来の状況に鑑みて案出され、急な環境変動や発話者による同時発話があった場合でも、出力される音声の音質劣化を抑制する音響ノイズ抑圧装置及び音響ノイズ抑圧方法を提供することを目的とする。
本開示に係る音響ノイズ抑圧装置は、車室内や会議室などの閉空間における複数の人物の発話を、それぞれの人物に対応させて前記閉空間内に配置される複数の収音部により収音された各音声信号に含まれる音響ノイズを抑圧する音響ノイズ抑圧装置であって、前記音響ノイズの音源信号を、前記音響ノイズの音源と前記収音部との間の距離に基づいて算出された時間分遅延させて得られる第1遅延信号と、複数の話者が発話している場合に有効な第1のアルゴリズムにより更新される第1のフィルタと、に基づいて生成された第1疑似ノイズ信号を前記収音された音声信号より減算することにより前記音響ノイズを抑圧した第1の抑圧音声信号を出力する第1の抑圧ユニットと、前記音響ノイズの音源信号を、前記音響ノイズの音源と前記収音部との間の距離に基づいて算出された時間分遅延させて得られる第2遅延信号と、一人の話者が発話している場合に有効な第2のアルゴリズムにより更新される第2のフィルタと、に基づいて生成された第2疑似ノイズ信号を前記収音された音声信号から減算することにより前記音響ノイズを抑圧した第2の抑圧音声信号を出力する第2の抑圧ユニットと、第1の抑圧音声信号及び第2の抑圧音声信号のうち、前記音響ノイズが抑圧されていると判断した抑圧音声信号を出力する出力信号選択部と、を備える
本開示に係る音響ノイズ抑圧方法は、車室内や会議室などの閉空間における複数の人物の発話を、それぞれの人物に対応させて前記閉空間内に配置される複数の収音部により収音された各音声信号に含まれる音響ノイズを抑圧する音響ノイズ抑圧方法であって、前記音響ノイズの音源信号を、前記音響ノイズの音源と前記収音部との間の距離に基づいて算出された時間分遅延させて得られる第1遅延信号と、複数の話者が発話している場合に有効な第1のアルゴリズムにより更新される第1のフィルタと、に基づいて生成された第1疑似ノイズ信号を前記収音された音声信号より減算することにより前記音響ノイズを抑圧した第1の抑圧音声信号を出力する第1の抑圧ステップと、前記音響ノイズの音源信号を、前記音響ノイズの音源と前記収音部との間の距離に基づいて算出された時間分遅延させて得られる第2遅延信号と、一人の話者が発話している場合に有効な第2のアルゴリズムにより更新される第2のフィルタと、に基づいて生成された第2疑似ノイズ信号を前記収音された音声信号から減算することにより前記音響ノイズを抑圧した第2の抑圧音声信号を出力する第2の抑圧ステップと、第1の抑圧音声信号及び第2の抑圧音声信号のうち、前記音響ノイズが抑圧されていると判断した抑圧音声信号を出力する選択ステップと、を有する
本開示によれば、急な環境変動や複数人物による同時発話等があった場合でも、出力される音声の音質劣化を抑制できる。
実施の形態1における会話支援システム3の概要を示す図 実施の形態1における車室内での直接波及び間接波の伝達経路の一例を説明する図 実施の形態1における音響ノイズ抑圧装置の機能的構成を示すブロック図 実施の形態1における音響ノイズ抑圧装置の動作を示すフローチャート 初回起動時の適応フィルタの成長過程の一例を示すグラフ 初回起動時の適応フィルタの成長過程の一例を示すグラフ 初回起動時の適応フィルタの成長過程の一例を示すグラフ 初回起動時の適応フィルタの成長過程の一例を示すグラフ 初回起動時の適応フィルタの成長過程の一例を示すグラフ 環境変動時の適応フィルタの変化過程の一例を示すグラフ 環境変動時の適応フィルタの変化過程の一例を示すグラフ 環境変動時の適応フィルタの変化過程の一例を示すグラフ 環境変動時の適応フィルタの変化過程の一例を示すグラフ 環境変動時の適応フィルタの変化過程の一例を示すグラフ 実施の形態2における車室内での直接波及び間接波の伝達経路を説明する図 実施の形態2における音響ノイズ抑圧装置の機能的構成を示すブロック図 実施の形態2における音響ノイズ抑圧装置の動作を示すフローチャート 実施の形態3における音響ノイズ抑圧装置の機能的構成を示すブロック図 実施の形態3における音響ノイズ抑圧装置の動作を示すフローチャート 実施の形態4における車室内での直接波及び間接波の伝達経路の一例を説明する図 実施の形態4における車室内での直接波及び間接波の伝達経路の一例を説明する図 実施の形態4における音響ノイズ抑圧装置の機能的構成を示すブロック図 実施の形態4における音響ノイズ抑圧装置の動作を示すフローチャート 実施の形態5における車室内での直接波及び間接波の伝達経路を説明する図 実施の形態5における音響ノイズ抑圧装置の機能的構成を示すブロック図 実施の形態5における音響ノイズ抑圧装置の動作を示すフローチャート 実施の形態6における音響ノイズ抑圧装置の機能的構成を示すブロック図 実施の形態6における音響ノイズ抑圧装置の動作を示すフローチャート
以下、適宜図面を参照しながら、本開示に係る音響ノイズ抑圧装置及び音響ノイズ抑圧方法を具体的に開示した各実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
各実施の形態の音響ノイズ抑圧装置は、例えば車両の車室内で行われる乗員同士の会話を支援する車内向け会話支援システムに適用される。但し、以下の各実施の形態の音響ノイズ抑圧装置は、上述した車両向け会話支援システムに適用されることに限定されるものでないことは言うまでもない。
(実施の形態1)
[会話支援システムの概要]
図1は、実施の形態1における会話支援システム3の一例を示す図である。実施の形態1における会話支援システム3は車両8に搭載され、運転席の近傍に配置されたマイクmc1及びスピーカsp1と、後部座席の近傍に配置されたマイクmc2及びスピーカsp2と、図示していない音響ノイズ抑圧装置05を含む。
マイクmc1は、運転者hm1が発話する音声を収音することを目的としたマイクである。スピーカsp1は、運転者hm1に音声を出力することを目的としたスピーカである。マイクmc2は、乗員hm2が発生する音声を収音することを目的としたマイクである。スピーカsp2は、乗員hm2に音声を出力することを目的としたスピーカである。マイクmc1、マイクmc2は、収音部の一例であり、指向性マイク、無指向性マイクのいずれでもよい。また、スピーカsp1、スピーカsp2は音声出力部の一例であり、指向性スピーカ、無指向性スピーカのいずれでもよい。
音響ノイズ抑圧装置05は、車両8内で発生する音響ノイズを抑圧する。ここで、音響ノイズとは、マイクmc1が収音対象としている音声以外の音声を意味する。実施の形態1では、音響ノイズとして、他のスピーカが出力した音声を想定する。音響ノイズ抑圧装置05の詳細については後述する。
[音声の伝達環境]
図2は、実施の形態1における車室8z内での音声の伝達経路の一例を説明する図である。運転者hm1が発話した音声はマイクmc1で収音される。ここで、スピーカsp2からも再生音が出力されていると、運転者hm1の音声と同時にスピーカsp2から出力される再生音もマイクmc1で収音される。図2に示した例では、スピーカsp2から出力された再生音は、車室8z内の伝達経路pt1〜pt4を経由して直接にあるいは間接に、音響ノイズとしてマイクmc1で収音される。
伝達経路pt1は、スピーカsp2から出力される音がマイクmc1に直接到達する直接波の伝達経路である。伝達経路pt2は、スピーカsp2から出力される音が運転席側のドアで反射されてマイクmc1に到達する間接波の伝達経路である。伝達経路pt3は、スピーカsp2から出力される音が車室8z内の天井で反射されてマイクmc1に到達する間接波の伝達経路である。伝達経路pt4は、スピーカsp2から出力される音が後部座席側のドアで反射され、更に、運転席のサイドボックスで反射されてマイクmc1に到達する間接波の伝達経路である。なお、図2に示した伝達経路は一例であり、スピーカsp2から出力される音は様々な伝達経路を通ってマイクmc1に収音される。説明を簡単にするため、以下では、スピーカsp2とマイクmc1の間の伝達経路はpt1〜pt4であるものとして説明するが、現実には多様な伝達経路が存在することは言うまでもない。また、これらの伝達経路(pt1〜pt4及び図示していない様々な伝達経路)を統合したものが、実施の形態1における車室8z内の伝達特性である。この伝達特性は変化することもある。例えば、図2の運転者hm1Aのように、運転者hm1が大きく体を移動させた場合には、伝達経路pt4はなくなりまたは大きく変動することになり、車室8z内の音場の伝達特性が変化する。他にも窓を開くなど様々な要因によって車室8z内の伝達特性は変化し得る。
実施の形態1において、マイクmc1が収音する音は、運転者hm1が発話した音声のみではなく、伝達経路pt1〜pt4を経由して届くスピーカsp2の再生音を含む。このマイクmc1が収音した音声をそのままスピーカsp2から出力すると、スピーカsp2から出力される再生音には音響ノイズ(スピーカsp2の再生音)が含まれる。音響ノイズ抑圧装置05は、このような事情で発生した音響ノイズを抑圧することで音質を向上させる。
[音響ノイズ抑圧装置の構成]
図3は、実施の形態1における音響ノイズ抑圧装置05の機能的構成を示すブロック図である。
音響ノイズ抑圧装置05には、マイクmc1及びスピーカsp2が接続され、主にDSP(Digital Signal Processor)10及びメモリ50、メモリ51から構成される。なお、マイクmc1及びスピーカsp2を音響ノイズ抑圧装置05に含んでも構わない。同様に、マイクmc2及びスピーカsp1を音響ノイズ抑圧装置05に含んでも構わない。
音響ノイズ抑圧装置05の処理の概要は以下の通りである。音響ノイズ抑圧装置05は、それぞれ異なる性質を持つアルゴリズムで動作する二つの処理系統で音響ノイズを抑圧した信号を生成し、出力信号選択部53にて最終的に出力すべき音声を決定する。各処理系統では、過去にスピーカsp2から出力された音声を信号処理することによって、音響ノイズを再現した疑似ノイズ信号を生成する。実施の形態1においてマイクmc1に収音される音に含まれる音響ノイズは、スピーカsp2から出力されマイクmc1に収音された過去の音声である。したがって、スピーカsp2から出力された過去の音声を用いることで、音響ノイズが再現できる。そして、マイクmc1で収音された音声からその疑似ノイズ信号を除去することによって音響ノイズ抑圧後の信号を生成する。
以下、図3を用いて音響ノイズ抑圧装置05の機能的構成を説明する。
メモリ50、メモリ51は、過去にスピーカsp2で出力された音声の信号を保持する。この信号は、各系統での音響ノイズの再現に用いられる。なお、音響ノイズ抑圧装置05は、音声を信号処理するので、以下、処理の対象となる音声の信号を音声信号とも呼ぶ。また、以下、メモリ50が保持する参照信号を第1参照信号と、メモリ51が保持する参照信号を第2参照信号と呼ぶ。
DSP10は、マイクmc1で収音された音声の音声信号に対して、上述した二つの処理系統による音響ノイズ抑圧を行い、出力すべき音響ノイズ抑圧後の音声信号を決定する処理を行うプロセッサである。図3に示す通り、DSP10は、機能的には、二つの処理系統それぞれに対応する第1の抑圧ユニット20及び第2の抑圧ユニット30を有し、また、スピーカsp2に出力すべき信号を決定する出力信号選択部53を有する。
第1の抑圧ユニット20は、加算器22、適応フィルタ23、第1フィルタ更新部25及びディレイ29を有する。第1の抑圧ユニット20は、マイクmc1で収音された音声の音声信号に、適応フィルタ23より生成された擬似ノイズ信号を加算器22で減算することで、マイクmc1で収音された音声に含まれる音響ノイズを抑圧する。そして、音響ノイズを抑圧した後の音声に対応する第1の音響ノイズ抑圧信号を出力信号選択部53に出力する。なお、上述したとおり、加算器22が行う処理は厳密には減算であるが、疑似ノイズ信号を減算する処理であっても、反転した疑似ノイズ信号を加算する処理であっても良く、減算としても加算としても実現できる。そのため、本明細書では、この処理は、加算器22が行う処理として記載する。
以下、第1の抑圧ユニット20による音響ノイズ抑圧の処理を、第1の抑圧ユニット20の構成に基づき、より詳細に説明する。
第1の抑圧ユニット20が抑圧すべき音響ノイズは、過去にスピーカsp2から出力されマイクmc1に到達した音声である。この音声は、図2に示した伝達経路pt1〜pt4等を経由してマイクmc1に到達する。すなわち、マイクmc1が収音する音響ノイズは、スピーカsp2から出力された音声が、各伝達経路を通過するために要した時間分ずれて混合された音声である。そこで、過去にスピーカsp2が出力した音声を保持しておき、これに信号処理を施すことによって、この混合された音声を再現した疑似ノイズ信号を生成することを目指す。
適応フィルタ23は、第1の参照信号から疑似ノイズ信号を生成する処理を行うフィルタであり、具体的には、特許文献1や特開2007−19595号公報等に記載されているFIR(Finite Impulse Response)フィルタを用いる。適応フィルタ23にスピーカsp2とマイクmc1との間の伝達特性を再現し、第1参照信号を処理することにより、疑似ノイズ信号を生成することができる。ただし、車室8z内の伝達特性は定常的なものではないため、適応フィルタ23の特性も随時変化させる必要がある。そこで、実施の形態1では、第1フィルタ更新部25によって、FIRフィルタの係数またはタップ数を制御することによって、適応フィルタ23の特性が、スピーカsp2とマイクmc1の間の最新の伝達特性に近づくよう変化させる。以下、適応フィルタの更新を、学習と表現することもある。
ここで、スピーカsp2から再生音として出力され、マイクmc1で収音される音声は、スピーカsp2とマイクmc1の間を移動する時間分遅延する。これに対し、第1参照信号は、スピーカsp2から出力される直前にメモリ50に保持されるため、スピーカsp2とマイクmc1の間の遅延が反映されていない。そのため、実施の形態1では、ディレイ29により、この時間差を吸収し、マイクmc1で収音されたタイミングに合致する第1参照信号を得る。すなわち、スピーカsp2及びマイクmc1間の距離を音速で除算した時間分、第1参照信号をディレイ29によって遅延させることで、マイクmc1にて実際に収音されたタイミングの再生音を再現する。ディレイ29の値は、予めスピーカsp2とマイクmc1の間の距離を実測し、それを音速で除算することによって得ることができる。例えば、車室内の運転席と後部座席との間が4m程度である場合、ディレイ29の値は約10msecである。
続いて、第1フィルタ更新部25の詳細を説明する。第1フィルタ更新部25は、更新量計算部26、非線形処理部27及びノルム算出部28を有する。
非線形処理部27は、スピーカsp2から出力されるべき音響ノイズ抑圧後の信号に対して非線形変換を行う。この非線形変換は、音響ノイズ抑圧後の信号をフィルタの更新すべき方向(正か負)を指し示す情報へと変換する処理である。非線形処理部27は、非線形変換した後の信号を更新量計算部26に出力する。
ノルム算出部28は、過去にスピーカsp2から出力された音声信号のノルムを算出する。スピーカ信号のノルムとは、過去の所定時間内のスピーカ信号の大きさの総和であり、この時間内の信号の大きさの度合いを示す値である。ノルムは、更新量計算部26にて、スピーカsp2から過去に出力された音声の音量の影響を正規化するために用いられる。一般に、音量が大きいほどフィルタの更新量も大きく算出されてしまうため、正規化を行わなくては、適応フィルタ23の特性が大きな音声の特性に過剰に影響されてしまう。そこで、実施の形態1では、ディレイ29から出力された音声信号を、ノルム算出部28が算出したノルムを用いて正規化することで適応フィルタ23の更新量を安定させている。
更新量計算部26は、非線形処理部27とノルム算出部28とディレイ29とから受け取る信号から、適応フィルタ23のフィルタ特性の更新量(具体的には、FIRフィルタの係数またはタップ数の更新量)を計算する。具体的には、ディレイ29から受け取る、過去にスピーカsp2から出力された音声をノルム算出部28で算出したノルムに基づき正規化する。そして、この過去にスピーカsp2から出力された音声を正規化した結果に、非線形処理部27から得られた情報に基づき正または負の情報を付加することで更新量を決定する。実施の形態1では、更新量計算部26は、ICA(独立成分解析)アルゴリズムによりフィルタ特性の更新量を計算する。
この更新量計算部26、非線形処理部27及びノルム算出部28の処理を随時実行していくことにより、第1フィルタ更新部は、適応フィルタ23の特性を、スピーカsp2とマイクmc1の間の伝達特性に近づけることができる。
続いて、第2の抑圧ユニット30の詳細について説明する。第2の抑圧ユニット30は、加算器32、適応フィルタ33、第2フィルタ更新部35及びディレイ39を有する。また、第2フィルタ更新部35は、更新量計算部36、非線形処理部37及びノルム算出部38を有する。なお、第2の抑圧ユニット30による音響ノイズ抑圧の原理は第1の抑圧ユニットと同様であるため、以下、各構成要素の動作のみを説明する。
第2の抑圧ユニット30は、マイクmc1で収音された音声に、適応フィルタ33より生成された擬似ノイズ信号を加算器32で加算(減算)することで、マイクmc1で収音された音声に含まれる音響ノイズを抑圧する。
以下、第2の抑圧ユニット30による音響ノイズ抑圧の処理を、第2の抑圧ユニット30の構成に基づき、より詳細に説明する。
適応フィルタ33は、第2の参照信号から疑似ノイズ信号を生成する処理を行うフィルタであり、具体的には、FIRフィルタを用いる。第2の抑圧ユニット30は、第2フィルタ更新部35によって、FIRフィルタの係数またはタップ数を制御することによって、適応フィルタ33の特性が、スピーカsp2とマイクmc1の間の最新の伝達特性に近づくよう変化させる。
続いて、第2フィルタ更新部35の詳細を説明する。第2フィルタ更新部35は、更新量計算部36、非線形処理部37及びノルム算出部38を有する。
非線形処理部37は、スピーカsp2から出力されるべき音響ノイズ抑圧後の信号に対して非線形変換を行う。非線形処理部37は、非線形変換によって得られたフィルタ特性を変更すべき方向を示す信号を更新量計算部36に出力する。
ノルム算出部38は、過去にスピーカsp2から出力された音声のノルムを算出する。
更新量計算部36は、非線形処理部37とノルム算出部38とディレイ39とから受け取る信号から、適応フィルタ33のフィルタ特性の更新量(具体的には、FIRフィルタの係数またはタップ数の更新量)を計算する。具体的には、ディレイ39から受け取る過去にスピーカsp2から出力された音声の音声信号をノルム算出部38で算出したノルムに基づき正規化する。そして、この過去にスピーカsp2から出力された音声の音声信号を正規化した結果に、非線形処理部27から得られた情報に基づき正または負の情報を付加することで更新量を決定する。ここで、更新量計算部36は、更新量計算部26とは異なり、NLMS(Normalized Least Mean Square)アルゴリズムによりフィルタ特性の更新量を計算する。
出力信号選択部53は、第1の抑圧ユニット20を含む処理系統から出力された音声信号と第2の抑圧ユニットを含む処理系統から出力された音声信号とのうち、スピーカsp2から出力すべき音声に対応する音声信号を選択する。例えば、出力信号選択部53は、音圧が小さい方をスピーカsp2に出力する。これは、音響ノイズが適切に抑圧されている方が、その分音圧が小さくなっていると考えられるためである。また、音圧による判断に替えて、統計的に音響ノイズが抑圧されているか否かを判断するようにしてもよい。統計的に選択することで判断の精度を向上させることができる。
なお、上述したとおり、第1の抑圧ユニット20と第2の抑圧ユニット30とでは、適応フィルタ23及び適応フィルタ33の更新に用いるアルゴズムが異なる。第1の抑圧ユニット20が使用するICAは、複数の話者が車室8z内で発話している場合に有効なアルゴリムである。また、第2の抑圧ユニット30が使用するNLMSは一人の話者が発話している場合に有効なアルゴリズムである。したがって、これらの性質の異なるアルゴリズムをそれぞれ使用して音響ノイズが抑圧された音声信号のうち、より音響ノイズが抑圧されていると判断されている方を出力することによって環境の変化に適応して適切な音声を出力することができる。
[音響ノイズ抑圧の動作]
図4は、実施の形態1における音響ノイズ抑圧装置05の音響ノイズ抑圧動作の手順を詳細に示すフローチャートである。図4に示す各処理は、例えば車両8内に搭載されたイグニッションキースイッチのオンによって音響ノイズ抑圧装置に電源が供給されると、DSP10によって繰り返し実行される。
DSP10は、マイクmc1で収音された音声の音声信号を取得する(S1)。
DSP10は、第1の抑圧ユニット20、第2の抑圧ユニット30のそれぞれに、時間的に並行して処理を実行するように指示する。これにより、第1の抑圧ユニット20と第2の抑圧ユニット30は、ステップS13〜S15とステップS23〜S25を時間的に並行して処理する(S2)。
第1の抑圧ユニット20は、メモリ50から第1参照信号を取得する(S13)。
第1の抑圧ユニット20は、ディレイ29でスピーカsp2とマイクmc1の間の距離に対応する所定時間分だけ遅延させた第1参照信号を用いて適応フィルタ23により擬似ノイズ信号を生成する。そして、この擬似ノイズ信号を、マイクmc1で収音された音声の音声信号に加算器22において加算(減算)する。これにより、第1の抑圧ユニット20は、マイクmc1で収音された音声の音声信号から擬似ノイズ信号を差し引くことで、音響ノイズ抑圧後の信号を生成する。なお、生成した音響ノイズ抑圧後の信号は、次回のフィルタ係数の更新処理に用いられるので、最終的にスピーカsp2から出力されるか否かにかかわらず第1フィルタ更新部25に出力される(S14)。
第1フィルタ更新部25は、上述した手順の通り、フィルタ特性の更新量を算出し、適応フィルタ23の特性を更新する。ここで、第1フィルタ更新部25は、ICAによりフィルタ特性の更新量を算出する(S15)。
一方、第2の抑圧ユニット30は、メモリ51に保持された第2参照信号を取得する(S23)。
第2の抑圧ユニット30は、ディレイ39でスピーカsp2とマイクmc1の間の距離に対応する所定時間分だけ遅延させた第2参照信号を用いて適応フィルタ33により擬似ノイズ信号を生成する。そして、この擬似ノイズ信号を、マイクmc1で収音された音声信号に加算器32において加算(減算)する。これにより、第2の抑圧ユニット30は、マイクmc1で収音された音声信号から擬似ノイズ信号を差し引くことで、音響ノイズ抑圧後の信号を生成する。なお、生成した音響ノイズ抑圧後の信号は、次回のフィルタ係数の更新処理に用いられるので、最終的にスピーカsp2から出力されるか否かにかかわらず第2フィルタ更新部35に出力される(S24)。
第2フィルタ更新部35は、上述した手順の通り、フィルタ特性の更新量を算出し、適応フィルタ33の特性を更新する。ここで、第2フィルタ更新部35は、NLMSよりフィルタ特性の更新量を算出する(S25)。
出力信号選択部53は、第1の抑圧ユニット20から出力される音響ノイズ抑圧後の音声信号と第2の抑圧ユニット30から出力される音響ノイズ抑圧後の音声信号とのうち、出力すべき音声信号を選択する。例えば、出力信号選択部53は、それぞれの音声信号の音圧を比較し、音圧が小さい方をスピーカsp2に出力する音声信号として選択する(S3)。
また、スピーカに出力される信号として選択された信号をメモリ50、メモリ51それぞれにて、第1参照信号、第2参照信号としてそれぞれ保持する(S4)。
上述したとおり、DSP10は、この一連の処理を繰り返し実行する。
[適応フィルタの更新例]
図5A、図5B、図5C、図5D、図5Eは、それぞれ初回起動時の適応フィルタ23の成長過程の一例を示すグラフである。
各グラフの縦軸は音圧を表し、横軸は周波数を表す。初回起動時の初期状態では、図5Aに示すように、マイクmc1で収音される音響ノイズ信号gh1に対し、適応フィルタ23では擬似ノイズ信号gh2は生成されない。
その後、時間の経過とともに、図5B、図5C、図5Dに示すように、適応フィルタ23が成長し(言い換えると、適応フィルタ23のフィルタ係数が学習されて)、適応フィルタ23で生成される擬似ノイズ信号gh2は、マイクmc1で収音される音響ノイズ信号gh1に近づいていく。安定状態では、図5Eに示すように、適応フィルタ23で生成される擬似ノイズ信号gh2は、マイクmc1で収音される音響ノイズ信号gh1と略一致する。
なお、図5A〜図5Eでは、適応フィルタ23の成長過程の一例を示したが、適応フィルタ33も、変化の速度や最終的な音響ノイズ信号gh1との一致度合いは異なるものの、適応フィルタ23と同様に音響ノイズ信号gh1と略一致するように成長する。
図6A、図6B、図6C、図6D、図6Eは、それぞれ環境変動時の適応フィルタ23の変化過程の一例を示すグラフである。
車室8z内の状況(例えば車窓の開閉等)が変化し、音場が急に変動した場合、つまり急な環境変動時、適応フィルタ23で生成される擬似ノイズ信号gh2は、マイクmc1で収音される音響ノイズ信号gh1から大きく乖離する。図6Aでは、擬似ノイズ信号gh2の音圧が音響ノイズ信号gh1の音圧を超えている周波数域が多く存在する。
その後、時間の経過とともに、図6B、図6C、図6Dに示すように、適応フィルタ23が成長し(言い換えると、適応フィルタ23のフィルタ係数またはタップ数が学習されて)、適応フィルタ23で生成される擬似ノイズ信号gh2は、マイクmc1で収音される音響ノイズ信号gh1に近づいていく。環境変動が起きてから暫時経過した安定状態では、図6Eに示すように、適応フィルタ23で生成される擬似ノイズ信号gh2は、マイクmc1で収音される音響ノイズ信号gh1と略一致する。
なお、図6A〜図6Eでは、適応フィルタ23の変化過程の一例を示したが、適応フィルタ33の変化過程も、変化の速度や最終的な音響ノイズ信号gh1との一致度合いは異なるものの、適応フィルタ23と同様に音響ノイズ信号gh1と略一致するように変化する。
[実施の形態1のまとめ]
以上により、実施の形態1の音響ノイズ抑圧装置では、マイクmc1は、車室8z内の運転者hm1(人物)の音声を収音する。加算器22は、マイクmc1で収音された運転者hm1の音声信号と、メモリ50に保持されたスピーカ信号(第1参照信号)とに基づいて、音声信号に含まれる音響ノイズを抑圧した第1の抑圧後の音声信号(第1の抑圧音声信号)を出力する。加算器32は、マイクmc1で収音された運転者hm1の音声信号と、メモリ51に保持されたスピーカ信号(第2参照信号)とに基づいて、音声信号に含まれる音響ノイズを抑圧した第2の抑圧後の音声信号(第2の抑圧音声信号)を出力する。出力信号選択部53は、第1の抑圧後の音声信号及び第2の抑圧後の音声信号それぞれの音圧を比較して、音圧が小さい方を選択してスピーカsp2から出力する。
ここで、音響ノイズ抑圧装置05は、第1フィルタ更新部25と第2フィルタ更新部35それぞれを異なるアルゴリズムを用いる構成にしている。そのため適応フィルタ23と適応フィルタ33をそれぞれ異なった特性を持ったフィルタにすることができる。したがって、環境が、一方の適応フィルタによる音響ノイズ抑圧に適していないものになったとしても、他方の適応フィルタで音響ノイズ抑圧することができるので、音質の劣化を抑えることができる。
なお、実施の形態1では、車内向け会話支援システム3は、運転者hm1向けのマイクmc1が収音した音声に含まれる、スピーカsp2によって発生する音響ノイズを抑制する構成を説明した。しかし、上記の例で説明した構成は、乗員hm2向けのマイクmc2が収音した音声に含まれる、スピーカsp2によって発生する音響ノイズを抑制する構成にも応用できる。
実施の形態1では、では、車内向け会話支援システム3は、運転者hm1と後部座席に着座する乗員hm2との会話を支援するものを想定した。しかし、会話する乗員の組み合わせは任意である。例えば、前後方向に3列の座席を有する車両の場合における、助手席に座る乗員と中央座席に座る乗員との会話等に適用する場合も同様の構成となる。
すなわち、実施の形態1の音響ノイズ抑圧装置05は、環境に設置された任意のスピーカから出力される再生音によって生じる音響を抑圧して音質を向上させるものとして構成してもよい。音響ノイズ抑圧装置05は、マイクとスピーカの組み合わせの数に相当する数の、音響ノイズの抑制機能を有する。各組合せにおける構成及び処理手順は、上述した実施の形態の構成において使用するスピーカとマイクの組合せが変わるのみであるため、説明を省略する。
(実施の形態2)
実施の形態1では、スピーカから出力された音を音響ノイズとして抑圧する例を示した。これに対し、実施の形態2では、マイクの収音対象として想定されている人物以外の人が発話した音声(例えば、実施の形態1における乗員hm2が発話した音声)を音響ノイズとして抑圧する例を示す。
[音声の伝達環境]
実施の形態2において想定する音声の伝達環境を、図7を用いて説明する。なお、説明を簡単にするため一部の伝達経路のみを例として示している点は、実施の形態1と同様である。
運転者hm1が発話した音声は、マイクmc1で収音される。このマイクmc1における収音と同時に、後部座席にいる乗員hm2から発話される声は、車室8z内の伝達経路pt5〜pt7を経由して直接にあるいは間接に、音響ノイズとしてマイクmc1で収音される。
伝達経路pt5は、乗員hm2から発話される声が直接にマイクmc1に到達する直接波の伝達経路である。伝達経路pt6は、乗員hm2から発話される音が運転席側のドアで反射されてマイクmc1に到達する間接波の伝達経路である。伝達経路pt7は、乗員hm2から発話される音が後部座席側のドアで反射され、さらに、運転席のサイドボックスで反射されてマイクmc1に到達する間接波の伝達経路である。なお、図7に示した伝達経路は一例であり、様々な伝達経路によって乗員hm2から発話される声はマイクmc1に収音される。説明を簡単にするため、以下では、乗員hm2とマイクmc1の間の伝達経路はpt5〜pt7であるものとして説明するが、現実には多様な伝達経路が存在することは言うまでもない。また、これらの伝達経路(pt5〜pt7及び図示していない様々な伝達経路)を統合したものが、実施の形態2における車室8z内の伝達特性である。なお、この伝達特性が変化し得るものであることは実施の形態1と同様である。
実施の形態2において、マイクmc1が収音する音は、運転者hm1が発話した音声のみではなく、伝達経路pt5〜pt7を経由して届く乗員hm2の音声を含む。このマイクmc1が収音した音声をそのままスピーカsp2から出力すると、スピーカsp2から出力される再生音に音響ノイズ(乗員hm2の音声)が含まれる。音響ノイズ抑圧装置05Aは、このような事情で発生した音響ノイズを抑圧することで音質を向上させる。
[音響ノイズ抑圧装置の構成]
図8は、実施の形態2における音響ノイズ抑圧装置05Aの機能的構成を示すブロック図である。なお、実施の形態1と同一の構成要素については図3と同一の符号を用い、その説明を省略する。
音響ノイズ抑圧装置05Aの基本的な構成及び音響ノイズ抑圧の原理は、実施の形態1における音響ノイズ抑圧装置05と同様であるので、以下、音響ノイズ抑圧装置05との相違点を中心に説明する。
実施の形態1が、スピーカsp2の出力する音声を基に音響ノイズを再現していたのに対し、実施の形態2では、乗員hm2の発話した音声を基に音響ノイズを再現する。
実施の形態1では、スピーカsp2の出力する音声の音声信号をメモリ50、メモリ51に保持していたが、スピーカsp2の出力する音声の音声信号を音響ノイズとして扱わない実施の形態2では、この処理は行われない。その代わり、実施の形態2では、メモリ50A、メモリ51Aが乗員hm2の発話した音声の音声信号を、第1参照信号、第2参照信号としてそれぞれ保持する。ここで、乗員hm2の発話した音声の音声信号の取得には、マイクmc2を用いる。
また、スピーカsp2の出力する音声を音響ノイズとして扱う実施の形態1では、ディレイ29及びディレイ39として、スピーカsp2とマイクmc1との間の距離を音速で除算した遅延を発生させていた。これに対し、乗員hm2の発話する音声を音響ノイズとして扱う実施の形態2では、ディレイ29A及びディレイ39Aとして、乗員hm2とマイクmc1との間の距離を音速で除算した遅延を用いる。ここで、乗員hm2とマイクmc1との間の距離は、例えば、乗員hm2が着席することが想定されている座席とマイクmc1との間の距離を実測することで求められる。
なお、厳密には、乗員hm2とマイクmc2との距離も実測値に含めた方がより正確な距離および遅延を計算できるが、実施の形態2では、マイクmc2が乗員hm2の目の前にあると想定しているためこの距離計算については省略する。
他の構成については、実施の形態1と同様であるため説明を省略する。
[音響ノイズ抑圧の動作]
図9は、実施の形態2における音響ノイズ抑圧装置05Aの動作を示すフローチャートである。なお、実施の形態1と同一の処理については図4と同一の符号を用い、その説明を省略する。
実施の形態2における音響ノイズ抑圧動作は、疑似ノイズを生成する基となる信号がマイクmc2で収音された乗員hm2の音声であること以外は、実施の形態1における音響ノイズ抑圧の動作と同様である。そのため、メモリ50A、メモリ51Aから取得され、また保持される乗員hm2の音声に係る処理以外は、実施の形態1と同様である。以下、実施の形態1との相違点のみを説明する。
実施の形態2では、メモリ50A、メモリ51Aに保持された、マイクmc2で収音された音声信号を第1参照信号、第2参照信号として取得する(S13A、S23A)。
また、マイクmc2で収音された音声信号をメモリ50A、メモリ51Aそれぞれ第1参照信号、第2参照信号としてそれぞれ保持する(S4A)。
なお、実施の形態1の処理にならい、メモリ50A、メモリ51Aに保持される乗員hm2の音声は、出力信号の選択の後に更新されている。しかし、乗員hm2の音声は、スピーカsp2から出力される音声とは無関係であるため、他のタイミングで更新してもよい。
[実施の形態2のまとめ]
以上により、実施の形態2の音響ノイズ抑圧装置05Aでは、マイクmc1は、車室8z内の運転者hm1(人物)の音声を収音する。加算器22は、マイクmc1で収音された運転者hm1の音声信号と、メモリ50Aに保持されたマイクmc2に収音された乗員hm2の音声(第1参照信号)とに基づいて、音声信号に含まれる音響ノイズを抑圧した第1の抑圧後の音声信号(第1の抑圧音声信号)を出力する。加算器32は、マイクmc1で収音された運転者hm1の音声信号と、メモリ51Aに保持されたマイクmc2に収音された乗員hm2の音声(第2参照信号)とに基づいて、音声信号に含まれる音響ノイズを抑圧した第2の抑圧後の音声信号(第2の抑圧音声信号)を出力する。出力信号選択部53は、第1の抑圧後の音声信号及び第2の抑圧後の音声信号それぞれの音圧を比較して、音圧が小さい方を選択してスピーカsp2から出力する。
ここで、音響ノイズ抑圧装置05Aは、第1フィルタ更新部25と第2フィルタ更新部35を異なるアルゴリズムにしているので、適応フィルタ23と適応フィルタ33をそれぞれ異なった特性を持ったフィルタにすることができる。したがって、環境が、一方の適応フィルタによる音響ノイズ抑圧に適していないものになったとしても、他方の適応フィルタで音響ノイズ抑圧することができるので、音質の劣化を抑えることができる。
なお、実施の形態2における車内向け会話支援システム3は、運転者hm1向けのマイクmc1が収音した音声に含まれる、乗員hm2の発話によって発生する音響ノイズを抑制する構成を説明した。しかし、上記の例で説明した構成は、乗員hm2向けのマイクmc2が収音した音声に含まれる、運転者hm1の発話によって発生する音響ノイズを抑制する構成にも応用できる。
実施の形態2における車内向け会話支援システム3は、運転者hm1と後部座席に着座する乗員hm2との会話を支援するものを想定した。しかし、会話する乗員の組み合わせは任意である。例えば、前後方向に3列の座席を有する車両の場合における、助手席に座る乗員と中央座席に座る乗員との会話等に適用する場合も同様の構成となる。
すなわち、実施の形態2の音響ノイズ抑圧装置05Aは、環境に存在する任意の乗員(運転者含む)の発話する音声による音響ノイズを抑圧して音質を向上させるよう構成してもよい。この場合、音響ノイズ抑圧装置05Aは、マイクと乗員の組み合わせの数に相当する数の、音響ノイズの抑制機能を有する。各組合せにおける構成及び処理手順は、上述した実施の形態の構成において対象となる乗員及び使用するマイクの組合せが変わるのみであるため、説明を省略する。
(実施の形態3)
実施の形態3では、同時に発話した話者の人数を特定する情報に基づいて、適応フィルタを更新すべきか否かを判定する例を示す。なお、適応フィルタの更新に話者人数情報を用いる以外については、他の実施の形態と同様であるため説明を省略する。
[音響ノイズ抑圧の構成]
図10に実施の形態3における音響ノイズ抑圧装置05Bの構成を示す。以下、実施の形態2と異なる点のみを説明する。
情報取得手段70Bは、話者人数情報を取得する。ここで、話者人数情報は、同時に発話した話者の人数を特定する情報である。この情報はマイクが収音した音声、または、カメラ等による撮影結果に基づいて、推定され、生成される。具体的には、複数のマイクにおいて音量が所定の閾値を超えた数を数えることで、話者の人数を推定することができる。また、カメラを使う場合には、口に相当する部分が動いている乗員の人数を数えることで、話者の人数を推定することができる。
第1フィルタ更新部25B及び第2フィルタ更新部35Bは、それぞれの適応フィルタを更新すべきか否かを話者の人数に応じて切り替える。なお、適応フィルタの更新の手順自体は実施の形態2と同様であるため、説明を省略する。
[音響ノイズ抑圧の動作]
図11は、実施の形態3における音響ノイズ抑圧装置05Bの動作を示すフローチャートである。なお、実施の形態2と同一の処理については図9と同一の符号を用い、その説明を省略する。
情報取得手段70Bは、話者人数情報を取得する(S1B)。
第1フィルタ更新部25Bおよび第2フィルタ更新部35Bは、ステップS5にて取得した話者人数情報に基づいて、マイクmc2が取得した音声信号が各適応フィルタの更新に適した音声信号であるかを判定する(S16B、S26B)。より具体的には、第1フィルタ更新部25Bは、話者人数情報が一人または複数人を示す場合に、適応フィルタ23の更新に適した音声信号であると判定する。また、第2フィルタ更新部35Bは、話者人数情報が一人のみを示す場合に、適応フィルタ33の更新に適した音声信号であると判定する。これは、第1フィルタ更新部25Bが用いるICAは、一人または複数人が話している状態で学習が可能であるのに対して、第2フィルタ更新部35Bが用いるNLMSは、一人のみが発話している状態で特に精度の高い更新を行うことができるためである。
第1フィルタ更新部25Bおよび第2フィルタ更新部35Bは、それぞれ、マイクmc2が取得した音声信号が自身の担当する適応フィルタの更新に適した音声信号であると判定された場合、適応フィルタを更新する(S17B、S27B)。また、更新に適していないと判定された場合は、適応フィルタを更新せずに音響ノイズ抑圧後の音声信号を出力信号選択部へ出力する。
[実施の形態3のまとめ]
以上により、実施の形態3の音響ノイズ抑圧装置05Bは、取得した参照信号が適応フィルタの更新に適切な音声信号であるか否かを判定し、適切であると判定された場合にのみ適応フィルタを更新する。これにより、特にNLMSについては、ICAに比べて適応フィルタを更新する機会が減るものの、より精度の高い更新を行うことができる。
また、環境が、一方の適応フィルタによる音響ノイズ抑圧に適していないものになったとしても、他方の適応フィルタで音響ノイズ抑圧することができるので、音質の劣化を抑えることができる。
なお、上記では、実施の形態2を基準にして、その差分を説明する形で実施の形態3を説明した。しかし、実施の形態3で説明した、話者人数情報に基づいて各適応フィルタを更新すべきか否かを切り替える思想は、実施の形態1に適用されてもよい。すなわち、上述の思想は、抑圧すべき音響ノイズが、スピーカから出力された過去の音声であるか他の乗員の発話した音声であるかにかかわらず適用することができる。
(実施の形態4)
実施の形態4では、発話している話者が変化した場合により精度よく音響ノイズを抑圧することのできる例を示す。
[音声の伝達環境]
実施の形態4では、発話している話者が図12と図13の間で変化する状況を想定する。すなわち、図12に示す乗員hm2が発話している環境と図13に示す乗員hm3が発話している環境が切り替わる状況を想定する。
図12および図13において、マイクmc3は、助手席に座っている乗員hm3の目の前に設置されており、乗員hm3の発話した音声を収音する。
図12は、乗員hm2の発話した音声がマイクmc1に収音される例を示す。マイクmc1は、運転者hm1が発話した音声と同時に、乗員hm2が発話し、車室8z内の伝達経路pt5、pt6、pt7を経由して直接にあるいは間接に届く音声を収音する。各伝達経路の詳細は、実施の形態2と同様であるので、説明を省略する。
図13は、乗員hm3の発話した音声がマイクmc1に収音される例を示している。マイクmc1は、運転者hm1が発話した音声と同時に、助手席にいる乗員hm3が発話し、車室8z内の伝達経路pt8、pt9を経由して直接にあるいは間接に届く音声を収音する。伝達経路pt8は、乗員hm3から発話される声が直接にマイクmc1に到達する直接波の伝達経路である。伝達経路pt9は、乗員hm3から発話される声が助手席側のドアで反射されてマイクmc1に到達する間接波の伝達経路である。
なお、図12及び図13に示した伝達経路は一例であり、様々な伝達経路によって乗員hm2または乗員hm3から発話される声はマイクmc1に収音される。説明を簡単にするため、以下では、乗員hm2とマイクmc1の伝達経路はpt5〜pt7であり、乗員hm3とマイクmc1の間の伝達経路はpt8〜pt9であるものとして説明するが、現実には多様な伝達経路が存在することは言うまでもない。また、車室8z内の伝達特性は、乗員ごとによって異なる。例えば、乗員hm2にとっては、pt5〜pt7及び図示していない伝達経路を統合したものが車室8z内の伝達特性であり、乗員hm3にとっては、pt8〜pt9及び図示していない伝達経路を統合したものが車室8z内の伝達特性である。なお、この伝達特性が変化し得るものであることは他の実施の形態と同様である。
実施の形態4において、マイクmc1が収音する音は、運転者hm1が発話した音声のみではなく、伝達経路pt5〜pt7を経由して届く乗員hm2の音声、あるいは、伝達経路pt8、pt9を経由して届く乗員hm3の音声を含む。このマイクmc1が収音した音声をそのままスピーカsp2から出力すると、スピーカsp2から出力される再生音に乗員hm2の発話した音声または乗員hm3が発話した音声が音響ノイズとして含まれる。音響ノイズ抑圧装置05Cは、このような音響ノイズを抑圧することで音質を向上させる。
以下、音響ノイズ抑圧装置05Cが行う処理の概要を説明する。図12および図13のそれぞれにおいて音響ノイズ抑圧に用いられる適応フィルタは、各伝達環境で学習される。そのため、図12及び図13のように話者が切り替わる場合、一方の環境で学習した適応フィルタを他の環境における学習のベースとして用いると、音響ノイズが抑圧されるまで時間がかかるおそれがある。そこで、音響ノイズ抑圧装置05Cは、各環境で学習した適応フィルタのフィルタ係数を保持しておき、発話者が切り替わるごとに、保持していた適応フィルタのフィルタ係数を再現して、音響ノイズ抑圧および適応フィルタの学習を行う。
[音響ノイズ抑圧装置の構成]
図14に実施の形態4における音響ノイズ抑圧装置05Cの構成を示す。以下、実施の形態2と異なる点のみを説明する。
情報取得手段70Cは、話者特定情報を取得する。ここで、話者特定情報は、発話している話者を特定する情報である。この情報はマイクが収音した音声、または、カメラ等による撮影結果に基づいて、推定され、生成される。具体的には、音量が所定の閾値を超えたマイクがあれば、そのマイクが想定している話者が発話していると推定できる。また、カメラを用いて、口に相当する部分が動いている乗員の位置を特定することで話者を特定することもできる。
第1フィルタ更新部25C及び第2フィルタ更新部35Cは、話者特定情報が示す話者に応じて、適応フィルタのフィルタ係数を切り替える。具体的には、適応フィルタのフィルタ係数をメモリ50Cおよびメモリ51Cに、話者特定情報と対応付けて保持しておき、現在の話者特定情報に応じて読みだす。そして、読みだした係数を適応フィルタ23および適応フィルタ33に復元した上で、各適応フィルタを学習させる。また、各メモリに保持するフィルタ係数は、適応フィルタの学習が進むごとに更新する。
ディレイ29C及びディレイ39Cは、遅延時間を話者特定情報に対応した遅延時間に切り替える。すなわち、話者特定情報が示す話者がhm2であればhm2とマイクmc1との間の距離に対応する遅延時間を用い、話者特定情報が示す話者がhm3であればhm3とマイクmc1との間の距離に対応する遅延時間を用いる。これにより、各話者に対応する時間分、参照信号が遅延される。
適応フィルタの学習そのものの動作、および、他の構成要素の動作は、他の実施の形態と同様であるため、説明を省略する。
[音響ノイズ抑圧の動作]
図15は、実施の形態4における音響ノイズ抑圧装置05Cの動作を示すフローチャートである。なお、実施の形態2と同一の処理については図9と同一の符号を用い、その説明を省略する。
情報取得手段70Cは、話者特定情報を取得する(S1C)。
第1フィルタ更新部25C及び第2フィルタ更新部35Cは、それぞれ、メモリ50Cおよび51Cから第1参照信号および第2参照信号を取得する。この際、ディレイ29Cおよびディレイ39Cにおける遅延時間は、話者特定情報の示す話者に対応する遅延時間に切り替えられる。また、適応フィルタ23および適応フィルタ33の過去のフィルタ係数のうち、取得された話者特定情報に対応するフィルタ係数をメモリ50Cおよびメモリ51Cから取得する。そして、第1フィルタ更新部25C及び第2フィルタ更新部35Cは、取得したフィルタ係数を、適応フィルタ23および適応フィルタ33に反映する(S13C、S23C)。
DSP10は、各適応フィルタが更新され、出力信号を選択した後、第1参照信号、第2参照信号をメモリ50Cおよびメモリ51Cに保存する。また、DSP10は、適応フィルタ23および適応フィルタ33それぞれの最新のフィルタ係数を、現在の話者特定情報と対応付けてメモリ50Cおよびメモリ51Cに保存する(S4C)。
これにより、メモリ50Cおよび51Cには、各話者特定情報に対応する最新のフィルタ係数が常に保持される。したがって、取得した話者特定情報に応じてフィルタ係数を読みだして復元することにより、話者が切り替わった場合であっても、それぞれの話者に応じた係数の適応フィルタにより音響ノイズを抑圧することができる。
[実施の形態4のまとめ]
以上により、実施の形態4の音響ノイズ抑圧装置では、話者特定情報に基づき、フィルタ係数及び参照信号として参照するマイクを切り替える。発話者ごとにフィルタ係数を保持し、発話者の音声を収音しているマイクの音声信号を用いて音響ノイズ抑圧及び適応フィルタの更新を行う。これにより、話者ごとにフィルタ係数を使い分けることができ、話者ごとに対応した音声信号を用いてフィルタを学習することができる。
また、上記の例では、適応フィルタのフィルタ係数を毎回メモリに保存する構成を説明したが、数回に1回、あるいは、話者が切り替わったことを検知した場合に保存する構成などにしてもよい。これにより、メモリに適応フィルタのフィルタ係数を保存する回数を減らすことができるので処理負荷を軽減することができる。
なお、上記の例では、適応フィルタのフィルタ係数を話者ごとに保存して使い分ける構成を説明したが、適応フィルタのタップ数などを話者ごとに保存して使い分ける構成としてもよい。すなわち、適応フィルタのパラメータを話者ごとに使い分ける構成であれば、パラメータの種類は問わない。
(実施の形態5)
実施の形態5では、マイクの収音対象として想定されている人物以外の人が発話した音声を3つのマイクを用いて抑圧する例を示す。
[音声の伝達環境]
実施の形態5において想定する音声の伝達環境を、図16を用いて説明する。なお、マイクmc4が追加された点以外は、実施の形態2と同様であるため、同一の構成要素については図7と同一の符号を用い、その説明を省略する。
実施の形態5では、マイクmc4が車内のどこかに設置されている。今回は一例として、右側の後部座席前に設置されているものとする。これにより、マイクmc4にも、乗員hm2の発話した音声が録音される。
[音響ノイズ抑圧装置の構成]
図17は、実施の形態5における音響ノイズ抑圧装置05Dの機能的構成を示すブロック図である。なお、実施の形態2と同一の構成要素については図8と同一の符号を用い、その説明を省略する。
音響ノイズ抑圧装置05Dの基本的な構成及び音響ノイズ抑圧の原理は、実施の形態2における音響ノイズ抑圧装置05Aと同様であるので、以下、音響ノイズ抑圧装置05Aとの相違点を中心に説明する。
実施の形態5では、マイクmc2で取得された乗員hm2の音声信号をメモリ50Dに第1参照信号として、マイクmc4で取得された乗員hm4の音声信号をメモリ51Dに第2参照信号としてそれぞれ保持する。つまり、音響ノイズ抑圧装置05Dは、マイクmc2、マイクmc4に収音された乗員hm2の音声それぞれに基づいて、音響ノイズを抑圧する。
ディレイ29Dは、第1参照信号を遅延させる。具体的には、ディレイ29Dは、乗員hm2とマイクmc1までの距離に対応する遅延時間Xの分、第1参照信号を遅延させる。この遅延時間Xは、実施の形態2におけるディレイ29Aの遅延時間と同様であるので説明を省略する。
ディレイ39Dは、第2参照信号を遅延させる。遅延させる時間はマイクmc1とマイクmc4と乗員hm2の間の距離に基づく時間である。具体的には、上述した遅延時間Xから、乗員hm2とマイクmc4までの遅延時間Yを差し引いた時間を、ディレイ39Dにて遅延させる。このような遅延時間を用いる理由を以下に説明する。マイクmc4は乗員hm2の音声を収音することを本来の目的としていないマイクであるので、乗員hm2との間には遅延を無視することのできない距離が存在する。そのため、ディレイ39Dにて遅延時間Xを用いると、遅延時間Yの分、余分に遅延させてしまうことになる。そこで、音響ノイズ抑圧に用いる参照信号のタイミングを合わせるために、実施の形態5では、マイクmc4で収音した音声については、遅延時間Xから遅延時間Yを差し引いた時間、遅延させている。
更新量計算部26Dは、ディレイ29Dから受け取るマイクmc2に収音されて遅延された乗員hm2の音声に基づき、適応フィルタ23の更新量を計算する。更新量の計算の詳細は他の実施の形態と同様であるので、説明を省略する。
更新量計算部36Dは、ディレイ39Dから受け取るマイクmc4に収音された乗員hm2の音声に基づき、適応フィルタ33の更新量を計算する。更新量の計算の詳細は他の実施の形態と同様であるので、説明を省略する。
他の構成については、実施の形態2と同様であるため説明を省略する。
[音響ノイズ抑圧の動作]
図18は、実施の形態5における音響ノイズ抑圧装置05Dの動作を示すフローチャートである。なお、実施の形態2と同一の処理については図9と同一の符号を用い、その説明を省略する。
第1フィルタ更新部25は、メモリ50Dに保持され、ディレイ29Dによって遅延された、マイクmc2にて収音された音声を第1参照信号として取得する(S13D)。
第2フィルタ更新部35は、メモリ51Dに保持され、ディレイ39Dによって遅延された、マイクmc4にて収音された音声を第2参照信号として取得する(S23D)。
第1フィルタ更新部25は、第1参照信号に基づき、フィルタ特性の更新量を算出する(S15D)。
第2フィルタ更新部35は、第2参照信号に基づき、フィルタ特性の更新量を算出する(S25D)。
また、マイクmc2で収音された音声信号をメモリ50Dに第1参照信号として保持し、マイクmc4で収音された音声信号をメモリ51Dに第2参照信号として保持する(S4D)。
なお、上記では、メモリ50D、メモリ51Dに保持される乗員hm2の音声は、出力信号の選択の後に更新されている。しかし、乗員hm2の音声の音声は、スピーカsp2から出力される音声とは無関係であるため、他のタイミングで更新してもよい。
[実施の形態5のまとめ]
以上により、実施の形態5の音響ノイズ抑圧装置05Dでは、マイクmc2で収音した音声に基づき音響ノイズを抑圧した結果と、マイクmc4で収音した音声に基づき音響ノイズを抑圧した結果のうち、適切な音声を出力することができる。この構成は、特にマイクmc2と乗員hm2との間に障害物が存在するおそれがある場合など、マイクmc2が必ずしも乗員hm2の音声を最適に収音できるとは限らない場合に有効である。
すなわち、実施の形態5の音響ノイズ抑圧装置05Dは、環境に存在する任意の乗員(運転者含む)の発話する音声による音響ノイズを抑圧して音質を向上させるよう構成してもよい。この場合、音響ノイズ抑圧装置05Dは、マイクと乗員の組み合わせの数に相当する数の、音響ノイズの抑制機能を有する。各組合せにおける構成及び処理手順は、上述した実施の形態の構成において対象となる乗員及び使用するマイクの組合せが変わるのみであるため、説明を省略する。
なお、実施の形態5の音響ノイズ抑圧装置05Dでは、各適応フィルタを更新するアルゴリズムは同一であっても異なっていても構わない。
(実施の形態6)
上述した各実施の形態では、適応フィルタのパラメータを、各抑圧ユニットがそれぞれ更新する例を説明した。しかし、上述した各実施の形態のように、適応フィルタの実装方法が同じ(上述の各実施の形態ではFIRフィルタ)である場合は、一方の適応フィルタのパラメータを他方の適応フィルタに反映することもできる。そこで、実施の形態6では、複数の適応フィルタのうちから、音響ノイズを抑圧することができた適応フィルタのパラメータを次の音響ノイズ抑圧に適用する例を示す。なお、音声の伝達環境については、実施の形態1と同様であるため説明を省略する。また、以下では、フィルタ係数を適応フィルタのパラメータの一例として説明するが、タップ数等の他のパラメータでも構わないことは他の実施の形態と同様である。
以下、実施の形態6に係る音響ノイズ抑圧装置05Eが行う処理の概要を説明する。音響ノイズ抑圧装置05Eは、複数の適応フィルタのうち音響ノイズを抑圧することができた適応フィルタのフィルタ係数を保持しておき、音響ノイズの抑圧を行う前に、保持していた適応フィルタのフィルタ係数を各適応フィルタに復元する。この復元した適応フィルタをもとに適応フィルタの学習を行うことで、前回、音響ノイズの抑圧を行った際により音響ノイズを抑圧できた適応フィルタのパラメータを、他の適応フィルタの学習の基礎として利用することができる。
[音響ノイズ抑圧の構成]
図19は、実施の形態6における音響ノイズ抑圧装置05Eの構成を示す。以下、実施の形態1と異なる点のみを説明する。
図19に示すように、メモリ50Eは、フィルタ係数記憶部60Eと、参照信号記憶部61Eと、を有している。
フィルタ係数記憶部60Eは、適応フィルタ23及び適応フィルタ33へと復元されるべきフィルタ係数を保持する。フィルタ係数記憶部60Eは、出力信号選択部53Eからの音響ノイズ抑圧結果に基づいて、より音響ノイズが抑圧されていた適応フィルタのフィルタ係数を取得し、保持する。ここで、音響ノイズ抑圧結果とは、より音響ノイズが抑圧されていた適応フィルタの情報でもよいし、より音響ノイズが抑圧されていた抑圧ユニットの情報でもよい。つまり、より音響ノイズを抑圧されていた適応フィルタを特定できる情報であれば、内容は問わない。なお、本実施の形態では、メモリ50E内のフィルタ係数記憶部60Eが、保持すべきフィルタ係数を音響ノイズ抑圧結果に基づいて判断しているが、この判断は、DSP10などのメモリ外の構成で行ってもよい。
参照信号記憶部61Eは、ディレイ29及びディレイ39へと送られる参照信号を保持する。実施の形態6における参照信号記憶部61Eでは、過去にスピーカsp2で出力された音声の信号を参照信号として保持する。本実施の形態では、第1の参照信号と第2の参照信号とが同一であるため、同じ記憶部に単独の参照信号として保持するものとして説明するが、他の実施の形態と同様に第1参照信号と第2参照信号とを区別して保持しても構わない。
出力信号選択部53Eは、スピーカsp2に出力すべき音声信号の選択に加え、上述した音響ノイズ抑圧結果をフィルタ係数記憶部60Eに出力する。
[音響ノイズ抑圧の動作]
図20は、実施の形態6における音響ノイズ抑圧装置05Eの動作を示すフローチャートである。なお、実施の形態1と同一の処理については図4と同一の符号を用い、その説明を省略する。
適応フィルタ23及び適応フィルタ33は、フィルタ係数記憶部60Eにて保持されているフィルタ係数を取得し、取得したフィルタ係数を自身に復元する(S1E)。
ディレイ29は、参照信号記憶部61Eにて保持されている参照信号を第1参照信号として取得する(S13E)。
ディレイ39は、参照信号記憶部61Eにて保持されている参照信号を第2参照信号として取得する(S23E)。
第1フィルタ更新部25は、フィルタ特性の更新量を算出し、適応フィルタ23の特性を更新する。ここで、第1フィルタ更新部25は、ICAによりフィルタ特性の更新量を算出する(S14E)。
第2フィルタ更新部35は、フィルタ特性の更新量を算出し、適応フィルタ33の特性を更新する。ここで、第2フィルタ更新部35は、NLMSによりフィルタ特性の更新量を算出する(S24E)。第1の抑圧ユニット20は、ディレイ29でスピーカsp2とマイクmc1の間の距離に対応する所定時間分だけ遅延させた第1参照信号と、更新された適応フィルタ23と、を用いて擬似ノイズ信号を生成する。そして、この擬似ノイズ信号を、マイクmc1で収音された音声の音声信号に加算器22において加算(減算)する。これにより、第1の抑圧ユニット20は、マイクmc1で収音された音声の音声信号から擬似ノイズ信号を差し引くことで、音響ノイズ抑圧後の信号を生成する。なお、生成した音響ノイズ抑圧後の信号は、次回のフィルタ係数の更新処理に用いられるので、最終的にスピーカsp2から出力されるか否かにかかわらず第1フィルタ更新部25に出力される(S15E)。なお、本実施の形態では、ステップS1Eにて、適応フィルタ23および適応フィルタ33のフィルタ特性は同じになる。そのため、生成される疑似ノイズ信号におよび音響ノイズ抑圧後の信号に差を持たせるために、適応フィルタ23および適応フィルタ33の更新を、擬似ノイズ信号の生成よりも前に行っている。
第2の抑圧ユニット30は、ディレイ39でスピーカsp2とマイクmc1の間の距離に対応する所定時間分だけ遅延させた第2参照信号と、更新された適応フィルタ33と、を用いて擬似ノイズ信号を生成する。そして、この擬似ノイズ信号を、マイクmc1で収音された音声信号に加算器32において加算(減算)する。これにより、第2の抑圧ユニット30は、マイクmc1で収音された音声信号から擬似ノイズ信号を差し引くことで、音響ノイズ抑圧後の信号を生成する。なお、生成した音響ノイズ抑圧後の信号は、次回のフィルタ係数の更新処理に用いられるので、最終的にスピーカsp2から出力されるか否かにかかわらず第2フィルタ更新部35に出力される(S25E)。
フィルタ係数記憶部60Eは、出力信号選択部53Eから通知される音響ノイズ抑圧結果に基づいて、適応フィルタ23または適応フィルタ33のフィルタ係数を取得し、保持する(S3E)。
参照信号記憶部61Eは、出力信号選択部53Eにて、スピーカに出力される信号として選択された信号を参照信号として保持する(S4E)。
[実施の形態6のまとめ]
このように、実施の形態6の音響ノイズ抑圧装置05Eは、複数の適応フィルタのうち、より音響ノイズを抑圧できた適応フィルタのフィルタ係数を保持し、保持したフィルタ係数を復元して、次の音響ノイズ抑圧に活用する。これにより、適応フィルタのフィルタ係数の学習速度を高めることができる。
また、実施の形態6の音響ノイズ抑圧装置05Eは、複数の適応フィルタのうち、より音響ノイズを抑圧した適応フィルタのフィルタ係数を更新し、保持する。保持されたフィルタ係数を、第1の抑圧ユニット20及び第2の抑圧ユニット30両方の適応フィルタに適用した後、各抑圧ユニットで適応フィルタの学習を行い、音響ノイズを抑圧する。これにより、前回、音響ノイズをより抑圧できた結果をもとに音響ノイズが抑圧されるので、効率的に音響ノイズを抑圧することができる。
また、実施の形態6の音響ノイズ抑圧装置05Eは、適応フィルタを更新する第1フィルタ更新部25と第2フィルタ更新部35それぞれを異なるアルゴリズムを用いる。そのため第1フィルタ更新部25と第2フィルタ更新部35は、それぞれ適応フィルタを適切に更新できる環境が異なる。したがって、環境が、一方のフィルタ更新部によるフィルタ更新に適していないものになったとしても、他方のフィルタ更新部が適切にフィルタ更新することができるので、適応フィルタの劣化を抑えることができる。
また実施の形態6の音響ノイズ抑圧装置05Eでは、メモリ50Eは、第1の参照信号と第2の参照信号とを同一の参照信号として保持し、各ディレイが、第1参照信号または第2参照信号として取得する。これにより、第1の参照信号と第2の参照信号とを別々に保持する必要がなくなるので、参照信号のデータ量を抑えることができる。なお、メモリ50Eの構成は一例であり、他の要素から様々な情報を取得し、一時的あるいは恒久的にその情報を保持するものであってもよい。
なお、上記では、実施の形態1を基準にして、その差分を説明する形で実施の形態6を説明した。しかし、実施の形態6で説明した、複数の適応フィルタのうち、より音響ノイズを抑圧することができたフィルタ係数を次の音響ノイズ抑圧に適応するという思想は、実施の形態2〜実施の形態5に適用されてもよい。ただし、実施の形態2〜実施の形態5に適用する場合、上述の動作説明にて説明したとおり、音響ノイズ抑圧と、フィルタ更新と、の処理順序を入れ替える必要がある。
また、実施の形態6で説明した、第1の参照信号と第2の参照信号とを1つの参照信号としてメモリに保持し、ディレイにおいて第1の参照信号または第2の参照信号として取得する思想は、他の実施の形態に適用してもよい。実施の形態2および実施の形態3のように第1の参照信号と第2の参照信号とが同一であるのなら、メモリは1つの参照信号として保持すればよい。また、実施の形態4のように、話者ごとに参照信号が異なるのであれば、メモリは話者特定情報ごとに1つの参照信号として保持すればよい。すなわち、実施の形態6で示した各思想は、各実施の形態に示したような音響ノイズ抑圧装置であり、フィルタを更新した後に音響ノイズを抑圧する音響ノイズ抑圧装置に適用することができる。
(その他変形例)
上述した実施の形態1〜実施の形態4では、適応フィルタの更新に用いるアルゴリズムはICAとNLMSであるものとして説明した。しかし、他のアルゴリズムの組合せを用いてもよい。また、同じアルゴリズムであってもパラメータが異なるものを使用してもよい。例えば、第1の処理系統と第2の処理系統とで更新の周期の異なるNLMSを使用してもよい。ここで、更新周期の長いNLMSは、環境変化への追従が遅い代わりに適応フィルタの特性が安定する。また、更新周期の短いNLMSは、環境変化への追従が早い代わりに適応フィルタの特性が不安定である。したがって、これらの処理系統のうち、より音響ノイズが抑制されている出力結果を選択することによって、変化の激しい環境と変化の少ない環境の両方において音響ノイズを抑制できる。なお、特に限定しない限り、パラメータが異なる同じアルゴリズムは、異なるアルゴリズムであるとみなしてもよい。
上述した各実施の形態では、2つの処理系統を用いて説明したが、3つ以上の処理系統を用いてもよい。例えば、第1の処理系統ではICAを使用してフィルタを更新し、第2の処理系統と第3の処理系統ではそれぞれ更新周期の異なるNLMSを使用して更新する。これにより、同時話者人数の変化や環境の急な変化に対応して音響ノイズを抑制できる。
上述した各実施の形態では、マイクmc1が取得した音声信号に対して音響ノイズ抑圧を1回行う構成を用いて説明した。しかし、マイクmc1の音声信号に対して2回以上、音響ノイズを抑圧する構成にしてもよい。例えば、適応フィルタ23を用いて音響ノイズを抑圧した後、適応フィルタ33を用いて音響ノイズを抑圧することなどが考えられる。この場合に、それぞれ特性の異なる適応フィルタを用いることで、片方のフィルタで抑圧しきれなかった音響ノイズをもう片方のフィルタで抑圧することができる。なお、適応フィルタの特性を異ならせる手法としては、上述した各実施の形態のように、更新量の計算に用いるアルゴリズムを異ならせたり、あるいは、同じアルゴリズムを使用する場合であっても適応フィルタの学習環境または更新周期を異ならせたりする手法が考えられる。また、同一の特性を持つ適応フィルタを用いて、複数回、音響ノイズを抑圧してもよい。これにより、その適応フィルタによる音響ノイズ抑圧の効果がより顕著に表れることになる。このように、音声信号に対して音響ノイズ抑圧処理を複数回行うことで、より幅広い環境に対応して音響ノイズを抑制することができる。
また、上述した各実施の形態では、車室における音響ノイズの抑制を例に説明したが、これに限られるものではない。上述した各実施の形態は、会議室など他の環境にも適用することができる。なお、上述した各実施の形態では、ディレイの値を実測に基づいて計算しているため、音響ノイズの音源とマイクまでの距離を計測することが可能であることが望ましい。ただし、ディレイが極端に変動するのでなければ、適応フィルタの学習によってある程度の誤差は吸収できるので、距離の計測が困難な環境であっても各実施の形態による音響ノイズ抑圧の効果は得られる。
また、上述した各実施の形態では、参照信号をディレイによって遅延させることによって、各話者とマイクとの間の距離に応じたタイミングに合わせていた。しかし、メモリにて参照信号を十分な長さ保持できるのであれば、保持している参照信号のうち適切なタイミングに合致する部分を抽出する構成にしても構わない。
各実施の形態において、適応フィルタの更新に用いたアルゴリズムは一例に過ぎない。適応フィルタの更新に用いられるアルゴリズムは、ICA、NLMS以外にも様々なものが知られている。各実施の形態の思想から逸脱しない範囲において、適応フィルタは既知の他のアルゴリズムによって更新されてよい。
実施の形態1〜実施の形態5において、各処理系統は、音響ノイズを抑圧した後にフィルタを更新していたが、フィルタを更新した後に音響ノイズを抑圧してもよい。これらの順序が入れ替わったとしても、音響ノイズを抑圧することができる。
本開示は、音響ノイズ抑圧装置、または制御装置において実行される音響ノイズ抑圧方法として表現することが可能である。また、本開示は、かかる方法をコンピュータにより動作させるためのプログラムとして表現することも可能である。更に、本開示は、かかるプログラムをコンピュータによる読み取りが可能な状態で記録した記録媒体として表現することも可能である。すなわち、本開示は、装置、方法、プログラム、記録媒体のうち、いずれのカテゴリーにおいても表現可能である。
また、各実施の形態(変形例を含む)の説明に用いた各機能ブロックは、部分的にまたは全体的に、集積回路であるLSIとして実現され、上記実施の形態で説明した各プロセスは、部分的にまたは全体的に、一つのLSIまたはLSIの組み合わせによって制御されてもよい。LSIは個々のチップから構成されてもよいし、機能ブロックの一部または全てを含むように一つのチップから構成されてもよい。LSIはデータの入力と出力を備えてもよい。LSIは、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
集積回路化の手法にはLSIに限らず、専用回路または汎用プロセッサを用いて実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)、または、LSI内部の回路セルの接続、設定が再構成可能なリコンフィグラブル・プロセッサーを利用してもよい。本開示は、デジタル処理またはアナログ処理として実現されてもよい。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
更には、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、別技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、本開示における、部材の種類、配置、個数等は前述の実施の形態に限定されるものではなく、その構成要素を同等の作用効果を奏するものに適宜置換する等、発明の要旨を逸脱しない範囲で適宜変更することができる。
また、本開示における装置の構成は一例であり、異なる装置に各構成要素を分けたシステムにより実現しても構わない。例えば、処理負荷の重い機能をクラウドサーバ等で実施し、処理負荷の軽い機能をエッジサーバで実現することができる。
本開示は、急な環境変動や複数人物による同時発話があった場合において、出力される音声の音質劣化を抑制できる音響ノイズ抑圧装置及び音響ノイズ抑圧方法等に有用である。
mc1、mc2、mc3、mc4 マイク
hm1、hm1A 運転者
hm2、hm3、hm4 乗員
sp1、sp2 スピーカ
8 車両
8z 車室
pt1、pt2、pt3、pt4、pt5、pt6、pt7、pt8、pt9 伝達経路
05、05A、05B、05C、05D、05E 音響ノイズ抑圧装置
10 DSP
20 第1の抑圧ユニット
22、32 加算器
23、33 適応フィルタ
25、25B、25C 第1フィルタ更新部
26、36、26D、36D 更新量計算部
27、37 非線形処理部
28、38 ノルム算出部
29、39、29A、39A、29C、39C、29D、39D ディレイ
30 第2の抑圧ユニット
35、35B、35C 第2フィルタ更新部
50、51、50A、51A、50C、51C、50D、51D、50E メモリ
53、53E 出力信号選択部
60E フィルタ係数記憶部
61E 参照信号記憶部
gh1 音響ノイズ信号
gh2 擬似ノイズ信号

Claims (10)

  1. 車室内や会議室などの閉空間における複数の人物の発話を、それぞれの人物に対応させて前記閉空間内に配置される複数の収音部により収音された各音声信号に含まれる音響ノイズを抑圧する音響ノイズ抑圧装置であって、
    前記音響ノイズの音源信号を、前記音響ノイズの音源と前記収音部との間の距離に基づいて算出された時間分遅延させて得られる第1遅延信号と、複数の話者が発話している場合に有効な第1のアルゴリズムにより更新される第1のフィルタと、に基づいて生成された第1疑似ノイズ信号を前記収音された音声信号より減算することにより前記音響ノイズを抑圧した第1の抑圧音声信号を出力する第1の抑圧ユニットと、
    前記音響ノイズの音源信号を、前記音響ノイズの音源と前記収音部との間の距離に基づいて算出された時間分遅延させて得られる第2遅延信号と、一人の話者が発話している場合に有効な第2のアルゴリズムにより更新される第2のフィルタと、に基づいて生成された第2疑似ノイズ信号を前記収音された音声信号から減算することにより前記音響ノイズを抑圧した第2の抑圧音声信号を出力する第2の抑圧ユニットと、
    前記第1の抑圧音声信号及び前記第2の抑圧音声信号のうち、前記音響ノイズが抑圧されていると判断した抑圧音声信号を出力する出力信号選択部と、を備える
    音響ノイズ抑圧装置。
  2. 前記第1の抑圧ユニット、前記第2の抑圧ユニットおよび前記出力信号選択部のそれぞれは、前記複数の収音部により収音された音声信号のそれぞれに対応して備えられる、
    請求項1に記載の音響ノイズ抑圧装置。
  3. 前記音響ノイズは、スピーカからの出力音声であり、前記音源信号は、前記スピーカへの出力信号である、
    請求項1または2に記載の音響ノイズ抑圧装置。
  4. 前記音響ノイズは、前記収音された音声信号の収音部が対応する発話者以外の人物による発話であり、前記音源信号は、前記発話者以外の人物に対応する収音部により収音された音声信号である、
    請求項1または2に記載の音響ノイズ抑圧装置。
  5. 前記第1の抑圧ユニットが前記第1のフィルタの更新に用いる前記第1のアルゴリズムと、前記第2の抑圧ユニットが前記第2のフィルタの更新に用いる前記第2のアルゴリズムとは、異なるアルゴリズムである、
    請求項1に記載の音響ノイズ抑圧装置。
  6. 前記第1のアルゴリズムと前記第2のアルゴリズムとは、学習による更新周期が異なる、
    請求項に記載の音響ノイズ抑圧装置。
  7. 発声している人物を示す話者特定情報を取得する取得部と、
    前記第1のフィルタのパラメータおよび前記第2のフィルタのパラメータを話者特定情報と対応付けて保持するメモリと、を更に備え、
    前記第1の抑圧ユニットおよび前記第2の抑圧ユニットは、取得した前記話者特定情報に対応するパラメータを前記第1のフィルタおよび前記第2のフィルタそれぞれに復元した後、前記第1のフィルタおよび前記第2のフィルタそれぞれを学習させる、
    請求項1に記載の音響ノイズ抑圧装置。
  8. 前記第1の抑圧ユニットは、第1の参照信号を用いて前記音響ノイズを抑圧し、
    前記第2の抑圧ユニットは、第2の参照信号を用いて前記音響ノイズを抑圧し、
    前記第1の参照信号と、前記第2の参照信号とは、それぞれ異なる収音部で収音された音声の音声信号である、
    請求項1に記載の音響ノイズ抑圧装置。
  9. 前記出力信号選択部によって選択された抑圧音声信号に対応するフィルタのパラメータのパラメータを保持する保持部を更に備え、
    前記第1の抑圧ユニットと前記第2の抑圧ユニットは、前記保持部の保持するパラメータを前記第1のフィルタと前記第2のフィルタとに復元した後、それぞれ異なる手法を用いて学習させる、
    請求項1に記載の音響ノイズ抑圧装置。
  10. 車室内や会議室などの閉空間における複数の人物の発話を、それぞれの人物に対応させて前記閉空間内に配置される複数の収音部により収音された各音声信号に含まれる音響ノイズを抑圧する音響ノイズ抑圧方法であって、
    前記音響ノイズの音源信号を、前記音響ノイズの音源と前記収音部との間の距離に基づいて算出された時間分遅延させて得られる第1遅延信号と、複数の話者が発話している場合に有効な第1のアルゴリズムにより更新される第1のフィルタと、に基づいて生成された第1疑似ノイズ信号を前記収音された音声信号より減算することにより前記音響ノイズを抑圧した第1の抑圧音声信号を出力する第1の抑圧ステップと、
    前記音響ノイズの音源信号を、前記音響ノイズの音源と前記収音部との間の距離に基づいて算出された時間分遅延させて得られる第2遅延信号と、一人の話者が発話している場合に有効な第2のアルゴリズムにより更新される第2のフィルタと、に基づいて生成された第2疑似ノイズ信号を前記収音された音声信号から減算することにより前記音響ノイズを抑圧した第2の抑圧音声信号を出力する第2の抑圧ステップと、
    前記第1の抑圧音声信号及び前記第2の抑圧音声信号のうち、前記音響ノイズが抑圧されていると判断した抑圧音声信号を出力する選択ステップと、を有る、
    音響ノイズ抑圧方法。
JP2019073493A 2019-04-08 2019-04-08 音響ノイズ抑圧装置及び音響ノイズ抑圧方法 Active JP6635396B1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019073493A JP6635396B1 (ja) 2019-04-08 2019-04-08 音響ノイズ抑圧装置及び音響ノイズ抑圧方法
US16/841,199 US11152010B2 (en) 2019-04-08 2020-04-06 Acoustic noise suppressing apparatus and acoustic noise suppressing method
CN202010270852.8A CN111798861A (zh) 2019-04-08 2020-04-08 声学噪声抑制设备和声学噪声抑制方法
US17/472,171 US11676617B2 (en) 2019-04-08 2021-09-10 Acoustic noise suppressing apparatus and acoustic noise suppressing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019073493A JP6635396B1 (ja) 2019-04-08 2019-04-08 音響ノイズ抑圧装置及び音響ノイズ抑圧方法

Publications (2)

Publication Number Publication Date
JP6635396B1 true JP6635396B1 (ja) 2020-01-22
JP2020173290A JP2020173290A (ja) 2020-10-22

Family

ID=69166778

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019073493A Active JP6635396B1 (ja) 2019-04-08 2019-04-08 音響ノイズ抑圧装置及び音響ノイズ抑圧方法

Country Status (3)

Country Link
US (2) US11152010B2 (ja)
JP (1) JP6635396B1 (ja)
CN (1) CN111798861A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220328059A1 (en) * 2020-02-21 2022-10-13 Panasonic Intellectual Property Management Co., Ltd. Speech processing device and speech processing method

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022030302A (ja) * 2020-08-06 2022-02-18 アルプスアルパイン株式会社 能動型騒音制御システム及び車載システム
WO2022080430A1 (ja) 2020-10-14 2022-04-21 富士フイルム株式会社 化合物、その互変異性体又はそれらの塩及びその製造方法、着色組成物、染色方法、並びに、染色物

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4561222B2 (ja) * 2004-07-30 2010-10-13 日産自動車株式会社 音声入力装置
JP5130895B2 (ja) * 2007-12-13 2013-01-30 ソニー株式会社 音声処理装置、音声処理システム、音声処理プログラム及び音声処理方法
JP2009216835A (ja) 2008-03-07 2009-09-24 Fujitsu Ten Ltd 音響エコー除去装置、車載装置および音響エコー除去方法
US9613632B2 (en) * 2010-10-12 2017-04-04 Nec Corporation Signal processing device, signal processing method and signal processing program
JP2012134923A (ja) 2010-12-24 2012-07-12 Sony Corp 音声処理装置および方法、並びにプログラム
CN102820036B (zh) * 2012-09-07 2014-04-16 歌尔声学股份有限公司 一种自适应消除噪声的方法和装置
JP6543957B2 (ja) * 2015-02-26 2019-07-17 ヤマハ株式会社 スピーカアレイ装置
JP2019020678A (ja) * 2017-07-21 2019-02-07 株式会社レイトロン ノイズ低減装置および音声認識装置
US11163834B2 (en) * 2018-08-28 2021-11-02 Box, Inc. Filtering collaboration activity

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220328059A1 (en) * 2020-02-21 2022-10-13 Panasonic Intellectual Property Management Co., Ltd. Speech processing device and speech processing method
US11735201B2 (en) * 2020-02-21 2023-08-22 Panasonic Intellectual Property Management Co., Ltd. Speech processing device and speech processing method

Also Published As

Publication number Publication date
CN111798861A (zh) 2020-10-20
US20200321017A1 (en) 2020-10-08
JP2020173290A (ja) 2020-10-22
US11676617B2 (en) 2023-06-13
US11152010B2 (en) 2021-10-19
US20210407528A1 (en) 2021-12-30

Similar Documents

Publication Publication Date Title
JP6635396B1 (ja) 音響ノイズ抑圧装置及び音響ノイズ抑圧方法
KR102663259B1 (ko) 피드백 보상을 이용한 능동적 노이즈 제어
JP7049803B2 (ja) 車載装置および音声出力方法
JP7186375B2 (ja) 音声処理装置、音声処理方法および音声処理システム
JP6650607B2 (ja) 音響エコー抑圧装置及び音響エコー抑圧方法
US20220415337A1 (en) Acoustic crosstalk suppression device and acoustic crosstalk suppression method
US11323802B2 (en) Signal processing device and signal processing method
EP3833045B1 (en) Conversation assistance system, method therefor, and program
US20220189450A1 (en) Audio processing system and audio processing device
CN114127845A (zh) 用于消除麦克风信号中的道路噪声的系统和方法
WO2021100670A1 (ja) 音響クロストーク抑圧装置および音響クロストーク抑圧方法
JP2020134566A (ja) 音声処理システム、音声処理装置及び音声処理方法
JP6995254B2 (ja) 音場制御装置及び音場制御方法
JP6388256B2 (ja) 車両用通話システム
Quinlan et al. Tracking a varying number of speakers using particle filtering
JP2022026270A (ja) 音声処理システム、音声処理装置、及び音声処理方法
US20240196145A1 (en) Acoustic interference suppression through speaker-aware processing
EP3933837B1 (en) In-vehicle communication support system
JP2021135310A (ja) 音声処理装置および音声処理方法
JP2021135311A (ja) 音声処理装置および音声処理方法
US20210233552A1 (en) Sound collection loudspeaker apparatus, method and program for the same
Freudenberger et al. Noise and feedback suppression for in-car communication systems
JP2006050303A (ja) 音入力装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190531

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190531

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191206

R151 Written notification of patent or utility model registration

Ref document number: 6635396

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151