JP7437650B2 - 音響クロストーク抑圧装置および音響クロストーク抑圧方法 - Google Patents

音響クロストーク抑圧装置および音響クロストーク抑圧方法 Download PDF

Info

Publication number
JP7437650B2
JP7437650B2 JP2019210690A JP2019210690A JP7437650B2 JP 7437650 B2 JP7437650 B2 JP 7437650B2 JP 2019210690 A JP2019210690 A JP 2019210690A JP 2019210690 A JP2019210690 A JP 2019210690A JP 7437650 B2 JP7437650 B2 JP 7437650B2
Authority
JP
Japan
Prior art keywords
signal
suppression
crosstalk
microphone
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019210690A
Other languages
English (en)
Other versions
JP2021081655A (ja
Inventor
正成 宮本
直也 田中
宏正 大橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2019210690A priority Critical patent/JP7437650B2/ja
Priority to CN202080080911.3A priority patent/CN114746936A/zh
Priority to PCT/JP2020/042675 priority patent/WO2021100671A1/ja
Priority to US17/778,277 priority patent/US20220415337A1/en
Publication of JP2021081655A publication Critical patent/JP2021081655A/ja
Application granted granted Critical
Publication of JP7437650B2 publication Critical patent/JP7437650B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/20Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/02Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L2021/02087Noise filtering the noise being separate speech, e.g. cocktail party
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166Microphone arrays; Beamforming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/13Acoustic transducers and sound field adaptation in vehicles

Description

本開示は、音響クロストーク抑圧装置および音響クロストーク抑圧方法に関する。
特許文献1には、車室内の状況として乗員の配置パターンを予め想定し、各配置パターンそれぞれに対して音の伝達特性を測定し、その測定により得られメモリ等に記憶された各伝達特性を用いて、スピーカから出力される音声信号に含まれる音響を推定して除去する音響除去装置が開示されている。この音響除去装置によれば、乗員の配置が配置パターンのいずれかを満たす限り、音響の除去または抑圧が可能である。
特開2009-216835号公報
特許文献1の構成では、ドライバーの発話音声を収音することを目的としたマイクがドライバーの前に1つ配置されているだけであり、例えば他の乗員の前に各乗員の声を収音することを目的としたマイクが配置されていない。車室内には複数人の乗員が存在することも十分に考えられるので、ドライバーだけでなく他の乗員がドライバーとほぼ同時に発話した場合、ドライバーのマイクにはドライバー以外の他の乗員の発話音声も収音される。したがって、特許文献1の構成では、ドライバーのマイクが収音した音声信号に含まれる他の乗員の発話に基づくクロストーク成分を抑圧することはできない。これは、ドライバーのマイクでは他の乗員の発話するクリアな音声の収音が難しく、その他の乗員の発話音声をクロストーク成分として抑圧するための適応フィルタのフィルタ係数の学習が困難なためである。
本開示は、上述した従来の状況に鑑みて案出され、車室等の閉空間に存在するメイン話者の発話音声に含まれ得る音響的なクロストーク成分を適応的に抑圧し、メイン話者の発話音声の音質を改善する音響クロストーク抑圧装置および音響クロストーク抑圧方法を提供することを目的とする。
本開示は、n(n:3以上の整数)人の人物のそれぞれに対応して閉空間内に配置されるn個のマイクのそれぞれにより収音された各音声信号に基づいて、前記閉空間内でのメイン話者を推定する話者推定部と、前記メイン話者の音声信号に含まれる他の話者の発話によるクロストーク成分の抑圧信号を生成するフィルタを有し、前記クロストーク成分を抑圧するための前記フィルタのパラメータを更新してその更新結果を保持する、n個のフィルタ更新部と、前記メイン話者に対応するマイク以外の最大(n-1)個のマイクのそれぞれにより収音された各参照信号に対応する、最大(n-1)個の前記フィルタ更新部のそれぞれにより生成された前記抑圧信号に基づく合成抑圧信号を用いて、前記メイン話者の音声信号に含まれる前記クロストーク成分を抑圧するクロストーク抑圧部と、を備える、音響クロストーク抑圧装置を提供する。
また、本開示は、音響クロストーク抑圧装置により実行される音響クロストーク抑圧方法であって、n(n:3以上の整数)人の人物のそれぞれに対応して閉空間内に配置されるn個のマイクのそれぞれにより収音された各音声信号に基づいて、前記閉空間内でのメイン話者を推定し、n個のフィルタ更新部のそれぞれにより、前記メイン話者の音声信号に含まれる他の話者の発話によるクロストーク成分の抑圧信号を生成するフィルタのパラメータを更新してその更新結果を保持し、前記メイン話者に対応するマイク以外の最大(n-1)個のマイクのそれぞれにより収音された各参照信号に対応する、最大(n-1)個の前記フィルタ更新部のそれぞれにより生成された前記抑圧信号に基づく合成抑圧信号を用いて、前記メイン話者の音声信号に含まれる前記クロストーク成分を抑圧する、音響クロストーク抑圧方法を提供する。
本開示によれば、車室等の閉空間に存在するメイン話者の発話音声に含まれ得る音響的なクロストーク成分を適応的に抑圧し、メイン話者の発話音声の音質を改善できる。
実施の形態1に係る音響クロストーク抑圧装置が搭載される車両の車室内の乗員およびマイクの配置例を示す図 乗員Dの口元とマイクmDとの間に障害物がある場合の車室内の状況例を示す図 実施の形態1に係る音響クロストーク抑圧装置の機能的構成例を示すブロック図 実施の形態1に係る音響クロストーク抑圧装置の動作手順例を示すフローチャート 実施の形態2に係る音響クロストーク抑圧装置の機能的構成例を示すブロック図 実施の形態2に係る音響クロストーク抑圧装置の機能的構成例を示すブロック図 実施の形態2に係る音響クロストーク抑圧装置の動作手順例を示すフローチャート 実施の形態2に係る音響クロストーク抑圧装置の動作手順例を示すフローチャート
(本開示に至る経緯)
例えば閉空間である車両の車室内にいる乗員Aと乗員Dとが双方とも話している状況を想定する(図1参照)。図1に示すように、車室内には、乗員Aの前に置かれたマイクmAと、乗員Dの前に置かれたマイクmDとの他に、助手席の前に置かれたマイクmBと、他の後部座席の前に置かれたマイクmCとが更に配置される。ここで、マイクmDにより収音された乗員Dの声を音声認識する場合を想定する。マイクmDに含まれる、クロストーク成分である乗員Aの発話による音声を抑圧する必要がある。この場合、マイクmDで収音された音声の音声信号を主信号とし、マイクmAで収音された音声の音声信号を参照信号として適応フィルタによりクロストーク成分を抑圧することが考えられるが、マイクmBおよびマイクmCのそれぞれで収音された乗員Aの音声の音声信号を参照信号として用いることで、乗員Aの声であるクロストーク成分の抑圧性能を高められる可能性がある。これは、車室内のような閉空間の場合、反射波等によって乗員Aの声の音声帯域の一部、特に低音域の音が反射等で相殺されてマイクmAで収音されないことがあるためである。音声認識では、人の発話する声の周波数帯に近い低音域の音が重要であるので、音声認識の精度が著しく低下する可能性がある。
また、マイクmDでは、音声認識させたい乗員Dの声が明瞭に収音できない場合がある。この原因として、例えば、乗員Dの口元とマイクmDとの間に何かしらの障害物がある状況(図2参照)、閉空間特有の伝達特性等が考えられる。このような場合、事前に話者の位置を推定し、マイクmDの次に乗員Dの声を明瞭に収音できている可能性が高いマイクmCを使用し、マイクmCで収音された音声からクロストーク成分を抑圧した音声を出力するようにする。このクロストーク抑圧後の音声を音声認識することで、音声認識を高めることが可能になると期待される。
そこで、以下の実施の形態では、クロストーク成分の抑圧量または音声認識結果が想定外である場合、主信号および参照信号を動的に変化させることで、性能の改善を図る音響クロストーク抑圧装置の例を説明する。
以下、適宜図面を参照しながら、本開示に係る音響クロストーク抑圧装置および音響クロストーク抑圧方法を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明および実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
(実施の形態1)
図1は、実施の形態1に係る音響クロストーク抑圧装置105が搭載される車両108の車室108z内の乗員およびマイクの配置例を示す図である。車両108は、車室108z内において、例えば、運転席、助手席、2列目の後部座席および3列目の後部座席を含む、最大7~8人乗りのミニバンである。なお、車両108は、最大7~8人乗りのミニバンに限定されず、例えば5人乗りの乗用車あるいはバス等、特に積載人数あるいは車種は限定されない。
図1では、車両108のドライバーに相当する乗員Aが着座する運転席の前方にマイクmAが配置される。助手席の前方にマイクmBが配置される。例えば3列目の後部座席の右側前方にマイクmCが配置される。例えば乗員Dが着座する3列目の後部座席の左側前方にマイクmDが配置される。なお、乗員の数と配置は、任意に変更可能である。また、マイクは、2列目の後部座席の左右前方等に配置されてもよい。車両108の車室108z内に配置されるマイクの数は、4個に限らず、例えば3個または5個以上であってもよい。
マイクmAは、主に乗員Aが発話する音声を収音するためのマイクである。マイクmDは、主に乗員Dが発話する音声を収音するためのマイクである。なお、図1では、説明を分かり易くするために、助手席、2列目の後部座席、および3列目の後部座席の右側には、乗員が着座していない例が示されているが、それぞれの座席に乗員が着座していても構わない。
マイクmA,mB,mC,mDは、例えば指向性マイクおよび無指向性マイクのいずれでもよい。また、マイクmA,mB,mC,mDは、例えば高音質小型エレクトレットコンデンサーマイクロホン(ECM:Electret Condenser Microphone)の単体、複数のECMで構成されるマイクアレイ等で構成されてもよい。マイクmA,mB,mC,mDは、音響クロストーク抑圧装置105に接続されるが、図1の複雑化を避けるためにマイクmA,mB,mC,mDのそれぞれと音響クロストーク抑圧装置105との配線の図示を省略している。
音響クロストーク抑圧装置105は、各種の電子部品を収容する筐体を有し、例えば車両108の車室108z内のダッシュボードの内側に配置される。音響クロストーク抑圧装置105は、マイクで収音された音声のうち、音声認識の対象となる乗員以外の乗員が発話する音声(いわゆるクロストーク成分)を抑圧する。音声認識の対象となる乗員が発話している音声に対し、対象外の乗員が発話する音声は、音声認識の対象となる音声に含まれるクロストーク成分となる。例えば、乗員Dが発話する音声を収音するためのマイクmDで収音された音に含まれるクロストーク成分は、マイクmDで収音された乗員Aが発話する音声である。
図2は、乗員Dの口元とマイクmDとの間に障害物Obがある場合の車室108z内の状況例を示す図である。乗員Dの口元とマイクmDとの間に障害物Obが存在している場合、マイクmDは、障害物Obでの反射等の影響により、乗員Dが発話した時の音声を明瞭に収音することができない。言い換えると、音声認識の対象となる乗員Dが発話した時の音声信号(主信号)として、マイクmDにより収音された音声信号が適さない。この場合、例えばマイクmDの近く(例えば隣)に配置されるマイクmCが、乗員Dの声を明瞭に収音できる可能性がある。言い換えると、音声認識の対象となる乗員Dが発話した時の音声信号(主信号)として、マイクmCにより収音された音声信号が適する可能性が高くなる。
(音響クロストーク抑圧装置の構成)
図3は、実施の形態1に係る音響クロストーク抑圧装置105の機能的構成例を示すブロック図である。音響クロストーク抑圧装置105は、マイクmDで収音された、音声認識したい乗員Dが発話する音声の音声信号に含まれる、マイクmA,mB,mCで収音された乗員Aが発話する音声の音声信号をそれぞれ畳み込み処理することで、マイクmDで収音された乗員Aの発話によるクロストークを再現したクロストーク抑圧信号(抑圧信号の一例)をそれぞれ生成する。音響クロストーク抑圧装置105は、これらのクロストーク抑圧信号を選択的に組み合わせて合成する。音響クロストーク抑圧装置105は、マイクmDで収音された音声信号から乗員Aの合成されたクロストーク抑圧信号を抑圧(具体的には、除去あるいは減算)することで、クロストーク成分の抑圧後の音声信号を生成する。ここで、音響クロストーク抑圧装置105が音声認識する対象となるメインの乗員の発話による音声信号を主信号と称し、クロストーク抑圧信号が生成された元の音声信号(つまり、クロストーク成分の発声源となるメインの乗員以外の他の乗員の発話による音声信号)を参照信号と称する。
音響クロストーク抑圧装置105は、ハードウェア構成として、例えばDSP110(Digital Signal Processor)およびメモリ150A,150B,150C,150D,152により構成される。なお、音響クロストーク抑圧装置105は、DSP110およびメモリ150A,150B,150C,150D,152の他、マイクmA,mB,mC,mDを含んで構成されてもよい。また、ここでは、マイクmDに対する音響クロストーク抑圧装置105を例示するが、マイクmAに対する音響クロストーク抑圧装置105についても同様である。つまり、マイクmDで収音されたメインの乗員Dの音声信号を主信号(1つ)とし、マイクmA,mB,mCのそれぞれで収音された乗員Aの音声信号を参照信号(3つ)として例示して説明するが、反対にマイクmAで収音されたメインの乗員Aの音声信号を主信号(1つ)とし、マイクmD,mB,mCのそれぞれで収音されたサブの乗員Dの音声信号を参照信号(3つ)としてもよい。
メモリ150Aは、例えばマイクmAで収音されたサブの乗員Aの発話による音声の音声信号を参照信号として保持する。
メモリ150Bは、例えばマイクmBで収音されたサブの乗員Aの発話による音声の音声信号を参照信号として保持する。
メモリ150Cは、例えばマイクmCで収音されたサブの乗員Aの発話による音声の音声信号を参照信号として保持する。
メモリ150Dは、例えばマイクmDで収音されたサブの乗員Aの発話による音声の音声信号を参照信号として保持することも可能である。
メモリ152は、音響クロストーク抑圧装置105のワークメモリとしてのRAM(Random Access Memory)と、音響クロストーク抑圧装置105の処理に関するプログラムを格納するROM(Read Only Memory)とを含む。メモリ152は、音声認識部146による音声認識結果(例えば音声認識データおよびスコア値を含む)、フィルタ更新部125A,125B,125C,125Dのそれぞれで更新された更新結果の一例としてのフィルタ係数を記憶する。音声認識データは、例えばメインの乗員D(メイン話者の一例)の発話による音声の内容をテキスト化したテキストデータである。スコア値は、音声認識部146で行われた音声認識の処理結果であるテキストデータの信頼度(精度)を示す評価値である。例えば、スコア値が所定値を超える場合に成功(OK)とし、スコア値が所定値以下である場合に失敗(NG)として判定される。
DSP110は、例えばマイクmDで収音されたメインの乗員Dの発話による音声の音声信号から、サブの乗員Dの発話による音声のクロストーク成分を抑圧する処理を行うプロセッサである。また、DSP110は、クロストーク成分の抑圧後の音声信号の音声認識処理を行う。ここでは、プロセッサとして、DSPを用いるが、例えばCPU(Central Processing Unit)、GPU(Graphical Processing Unit)等が用いられてもよい。また、ASIC(Application Specific Integrated Circuit)等で設計された専用の電子回路あるいはFPGA(Field Programmable Gate Array)等、再構成可能に設計された電子回路が用いられてもよい。
DSP110は、話者位置推定部161、主信号取得部162、参照信号取得部166、加算器122、フィルタ更新部125A,125B,125C,125D、ディレイ129A,129B,129C,129D、畳み込み信号合成部165、抑圧量推定部143、および音声認識部146を有する。
話者推定部の一例としての話者位置推定部161は、4個のマイクmA,mB,mC,mDのそれぞれで収音された音声の音圧レベルを基に、車室108z内の話者位置(つまりメインに発話している乗員の位置)を推定する。この場合、通常、乗員の前に置かれたマイクで収音された音声の音圧レベルが既定の閾値(音圧)を超えて大きい場合、話者位置推定部161は、その乗員による発話と判断する。主信号取得部162は、この判断結果に基づいて、その乗員による音声信号を主信号として選択して取得する。ただし、乗員の口元とマイクとの間に障害物Obがある場合(図2参照)、車室108z内である閉空間特有の反射等の伝達特性によって、乗員の前に置かれたマイクよりも他のマイク(例えば乗員の前に置かれたマイクの近くに置かれる他のマイク)で収音された、その乗員が発話する音声の音圧レベルが高くなることがある。なお、事前に、そのような状況が把握される場合、話者位置推定部161は、乗員の前に置かれたマイクで収音された音声の音圧レベルよりも他のマイクで収音された音声の音圧レベルが高くなると、その乗員の発話であるとして話者位置を推定してもよい。
また、話者位置推定部161は、乗員を撮像する車室108z内のカメラ(図示略)による撮像画像を入力し、この撮像画像に対し、顔認識を行い、例えば口を開けている乗員を話者と識別し、話者位置を推定してもよい。また、話者位置推定部161は、各マイクで収音された音声の音圧レベルとカメラ(図示略)による乗員の撮像画像との両方を基に、話者位置を高精度に推定してもよい。また、話者位置推定部161は、音声認識部146による音声認識結果を基に、話者位置を推定してもよい。また、話者位置推定部161は、予め各乗員の声紋を取得し、各声紋とこれに対応する乗員の座席位置のデータをメモリ152に登録しておき、各マイクで収音された音声の声紋とメモリ152に登録された声紋とを比較し、一致した場合に話者の座席位置を話者位置と推定してもよい。
メイン信号取得部の一例としての主信号取得部162は、4個のマイクmA,mB,mC,mDのそれぞれで収音された音声の音声信号を入力する。主信号取得部162は、話者位置推定部161での推定結果に基づいて、話者位置の乗員が発話する音声の中からいずれか1つのマイクで収音された音声の音声信号を主信号として選択して取得する。主信号取得部162は、主信号として選択した音声信号を収音したマイクに関する識別情報をメモリ152に記憶する。主信号の音声は、通常、乗員の前に置かれたマイクで収音された音声の音圧レベルが最も大きい音声であるが、障害物Ob等によって音声が遮られ、音声認識の結果、音質が良くない場合、乗員の前に置かれたマイクでなく、他のマイク(例えば乗員の前に置かれたマイクの近くに置かれる他のマイク)で収音された音圧レベルが大きい音声であってもよい。つまり、主信号取得部162は、話者位置推定部161の推定結果に基づいて、各マイクで収音された主信号となる音声信号の音声を切り替えることができる。なお、主信号取得部162は、最も大きい音声の音声信号を主信号としているが、例えば予め主信号となる乗員の音声信号を固定してもよい。
参照信号取得部166は、4個のマイクmA,mB,mC,mDのそれぞれで収音された音声の音声信号を入力する。参照信号取得部166は、メモリ152に記憶される識別情報(つまり主信号として選択された音声信号を収音したマイクに関する識別情報)を参照し、主信号として選択されなかった複数のマイクのそれぞれで収音される音声の音声信号を、参照信号として取得する。更に、参照信号取得部166は、参照信号の組み合わせを選択する。例えば図3の構成では、参照信号取得部166は、マイクの配置数に相当するパラメータn(n:3以上の整数)が「4」である場合に、(n-1)に相当する3個のマイク(具体的には、マイクmA,マイクmB,マイクmC)のそれぞれで収音された参照信号の組み合わせとしてもよいし、(n-2)に相当する2個のマイク(具体的には、マイクmAおよびマイクmB、マイクmAおよびマイクmC、またはマイクmBおよびマイクmC)のそれぞれで収音された参照信号の組み合わせとしてもよい。また、参照信号取得部166は、1個のマイクmA,mB,mCのいずれかで収音された参照信号を選択してもよい。参照信号の音声は、通常、乗員Aの前に置かれたマイクで収音された音声を含むが、障害物Ob等によって音声が遮られ、音声認識の結果、音質が良くない場合、乗員の前に置かれたマイクで収音された音声を含むことなく、他のマイクで収音された音声だけであってもよい。
クロストーク抑圧部の一例としての加算器122は、例えばマイクmDで収音されたメインの乗員Dの発話による音声の音声信号から、フィルタ更新部125A,125B,125Cで生成されたクロストーク抑圧信号が合成されたクロストーク合成抑圧信号を減算することで、マイクmDで収音されたメインの乗員Dの発話による音声に含まれるクロストーク成分を抑圧する。なお、上述したとおり、加算器122が行う処理は厳密には減算であるが、クロストーク合成抑圧信号を減算する処理であっても、クロストーク合成抑圧信号を反転させた上で加算器122において加算する処理と実質的に等価と考えることができる。そのため、本明細書では、このクロストーク成分の抑圧処理は、加算器122あるいは後述する加算器222が行う処理として記載する。
フィルタ更新部125A,125B,125C,125Dの処理を詳細に説明する。音響クロストーク抑圧装置105が抑圧するクロストーク成分は、例えば音声認識の対象外である他の乗員Aが発話した音声が音声認識の対象である乗員Dの前方に配置されたマイクmDに到達した音声である。この音声は、車室108z内の伝達経路を経由して、マイクmDに到達する。したがって、マイクmDが収音する音声は、乗員Aが発話した声が伝達経路を通過するために要した時間(いわゆる遅延時間)分ずれて、乗員Dが発話する声と混合される音声である。
フィルタ更新部125A,125B,125Cのそれぞれは、例えばマイクmDで収音されたクロストーク成分の抑圧後の音声信号と、マイクmA,mB,mCのそれぞれで収音され、それぞれの異なる遅延時間分ずれた参照信号とに基づいて、マイクmDで収音された音声に含まれるクロストーク成分を抑圧(減算)するためのクロストーク抑圧信号を生成する。フィルタ更新部125A,125B,125C,125Dは、畳み込み信号生成部123A,123B,123C,123D、フィルタ係数監視部141A,141B,141C,141D、更新量計算部126A,126B,126C,126D、非線形変換部127A,127B,127C,127D、およびノルム算出部128A,128B,128C,128Dを有する。
フィルタ更新部125A,125B,125C,125Dはそれぞれ同様な構成を有するので、ここでは、フィルタ更新部125Aを例示してその構成を説明して他のフィルタ更新部125B,125C,125Dの説明を簡略化する。例えば、以下のフィルタ更新部125Aの説明において、フィルタ更新部125Aが有する「畳み込み信号生成部123A」、「更新量計算部126A」、「非線形変換部127A」、「ノルム算出部128A」のそれぞれの符号中の「A」の文字は適宜、「B」、「C」、「D」に置き換えてよい。つまり、フィルタ更新部125B、フィルタ更新部125Cおよびフィルタ更新部125Dのそれぞれも、フィルタ更新部125Aの構成と同様である。
フィルタの一例としての畳み込み信号生成部123Aは、例えば適応フィルタにより構成され、更新量計算部126Aで計算されるフィルタ係数(パラメータの一例)を用いて参照信号に対し畳み込み処理を行い、参照信号からクロストーク抑圧信号を生成する処理を行う。この適応フィルタには、例えば、特許文献1あるいは特開2007-19595号公報等に記載されているFIR(Finite Impulse Response)フィルタが用いられる。適応フィルタは、マイクmDとマイクmAとの間の伝達特性を再現し、参照信号を処理することによりクロストーク抑圧信号を生成する。ただし、車室108z内の伝達特性は定常的なものではないため、適応フィルタの特性も随時変化させる必要がある。実施の形態1では、適応フィルタの係数またはタップ数を制御することによって、適応フィルタの特性が、マイクmDとマイクmAの間の最新の伝達特性に近づくよう変化させる。以下、適応フィルタの更新を、学習と表現することもある。
マイクmDで収音されるサブの乗員Aの音声は、マイクmAで収音されるサブの乗員Aの音声に対し、マイクmAからマイクmDに伝わる時間分遅延する。参照信号は、マイクmAで収音されてメモリ150Aに保持されるので、マイクmAからマイクmDまでの遅延時間が反映されていない。このため、実施の形態1では、遅延器としてのディレイ129Aがこの時間差を吸収する。つまり、ディレイ129Aが前述した時間差(要は、マイクmAからマイクmDまでの音声の伝達経路に要する時間)の分だけ、参照信号に遅延処理を施してフィルタ更新部125Aに出力する。これにより、フィルタ更新部125Aは、マイクmDで収音されたタイミングに合致する参照信号を得ることができる。なお、フィルタ更新部125B,125Cのそれぞれでは、ディレイ129B,129CのそれぞれがマイクmBからマイクmDまでの遅延時間の時間差,マイクmCからマイクmDまでの遅延時間の時間差を吸収する。フィルタ更新部125Dでは、マイクmDで収音された音声信号が参照信号として用いられる場合、ディレイ129Dが同様の遅延時間の時間差を吸収する。ディレイ129Aの値は、概ねマイクmAとマイクmDとの間の距離を実測し、それを音速で除算することによって得ることができる。例えば、車室108z内での温度に基づく音速を340m/sとし、かつマイクmAとマイクmDとの間の距離が3.4m程度である場合、ディレイ129Aの値は約10msecである。
より正確には、ディレイ129Aの値(遅延時間)は、参照信号ごとに異なり、次のように求められる。例えば、マイクmAが乗員Aの正面に配置され、マイクmDが乗員Dの正面に配置された車室108z内を想定する。乗員Aが発話しており、マイクmDに含まれる乗員Aの音声を抑圧する場合、マイクmAで収音される音声を参照信号とすると、ディレイ129Aの値は、乗員Aの口元からマイクmAまでの距離と、乗員Aの口元からマイクmDまでの距離との差分から計算される。一方、乗員Dが発話しており、マイクmAに含まれる乗員Dの音声を抑圧する場合、マイクmDで収音される音声を参照信号とすると、ディレイ129Dの値は、乗員Dの口元からマイクmDまでの距離と、乗員Dの口元からマイクmAまでの距離との差分から計算される。
非線形変換部127Aは、クロストーク成分の抑圧後の音声信号に対して非線形変換を行う。この非線形変換は、クロストーク成分の抑圧後の音声信号を適応フィルタの更新すべき方向(正か負)を指し示す情報へと変換する処理である。非線形変換部127Aは、非線形変換した後の信号を更新量計算部126Aに出力する。
ノルム算出部128Aは、マイクmAで収音された音声の音声信号のノルムを算出する。音声信号のノルムとは、過去の所定時間内の音声信号の大きさの総和であり、この時間内の信号の大きさの度合いを示す値である。更新量計算部126Aは、過去にマイクmAで収音された音声の音量の影響を正規化するためにノルムを用いる。一般に、音量が大きいほど適応フィルタの更新量も大きく算出されてしまうため、正規化を行わなくては、適応フィルタの特性が大きな音声の特性に過剰に影響されてしまう。実施の形態1では、ディレイ129Aから出力された音声信号を、ノルム算出部128Aが算出したノルムを用いて正規化することで適応フィルタの更新量を安定させている。
更新量計算部126Aは、非線形変換部127A、ノルム算出部128Aおよびディレイ129Aから受け取る信号を用いて、畳み込み信号生成部123Aのフィルタ特性の更新量(具体的には、適応フィルタの係数またはタップ数の更新量)を計算する。更新量計算部126Aは、ディレイ129Aを経由した、マイクmAで収音された音声の音声信号をノルム算出部128Aで算出したノルムに基づき正規化する。更新量計算部126Aは、マイクmAで収音された音声の音声信号を正規化した結果に、非線形変換部127Aから得られた情報に基づき正または負の情報を付加することで更新量を決定する。実施の形態1では、更新量計算部126Aは、ICA(Independent Component Analysis、独立成分解析)によりフィルタ特性の更新量を計算する。なお、ここでは、更新量計算部は、適応フィルタの係数(以下、フィルタ係数という)を更新する場合を示すが、フィルタ係数の代わりに、あるいはフィルタ係数と共にタップ数を更新してもよい。
フィルタ更新部125Aは、更新量計算部126A、非線形変換部127Aおよびノルム算出部128Aの処理を随時実行していくことで、畳み込み信号生成部123Aの特性を、マイクmAとマイクmDの間の伝達特性に近づける。
合成部の一例としての畳み込み信号合成部165は、4つのフィルタ更新部125A,125B,125C,125Dのうち、主信号に対応するフィルタ更新部(ここでは、フィルタ更新部125D)を除く3つのフィルタ更新部125A,125B,125Cからそれぞれ出力されるクロストーク抑圧信号を全てまたは一部を選択して合成し、合成クロストーク抑圧信号(合成抑圧信号の一例)を加算器122に出力する。畳み込み信号合成部165は、3つのフィルタ更新部125A,125B,125Cのうち、2つのフィルタ更新部(例えばフィルタ更新部125A,125B)から出力されるクロストーク抑圧信号を選択して合成してもよい。例えば、畳み込み信号合成部165は、2つのフィルタ更新部125A,125Bのペア、2つのフィルタ更新部125A,125Cのペア、または2つのフィルタ更新部125B,125Cのペアから出力されるクロストーク抑圧信号を合成してもよい。また、畳み込み信号合成部165は、1つのフィルタ更新部125A、フィルタ更新部125B、またはフィルタ更新部125Cからのクロストーク抑圧信号をそのまま出力してもよい。
なお、ここでは、畳み込み信号合成部165は、主信号に対応するフィルタ更新部125Dからのクロストーク抑圧信号を合成しないが、フィルタ更新部125Dを加え、4つのフィルタ更新部125A,125B,125C,125Dで生成されるクロストーク抑圧信号を全てあるいは上記と同様に選択して合成してもよい。また、畳み込み信号合成部165は、1つのフィルタ更新部125Dからのクロストーク抑圧信号をそのまま出力してもよい。この場合、フィルタ更新部125Dでは、畳み込み信号生成部123Dに入力される参照信号が、マイクmAで収音された乗員Aの発話による音声であるので、フィルタ更新部125Dから出力されるクロストーク抑圧信号は、フィルタ係数が同じであると、フィルタ更新部125Aから出力されるクロストーク抑圧信号と同じであると考えられる。
抑圧量推定部143は、加算器122から出力されるクロストーク成分の抑圧後の音声信号と、マイクmDで収音された音声の音声信号とを基に、これらの差分を抑圧量として算出し、主信号取得部162および参照信号取得部166に出力する。
音声認識部146は、加算器122から出力されるクロストーク成分の抑圧後の音声信号を基に、音声認識を行い、音声認識結果として音声認識データ(例えばテキストデータ)および評価値(スコア値)を出力し、メモリ152に記憶する。例えば、音声認識部146がモニタ(図示略、例えば車両108に搭載されているカーナビゲーション装置のディスプレイ)に接続される場合、音声認識結果は、テキストとして画面に表示される。また、音声認識部146が通信装置に接続される場合、音声認識結果は、通信データとして送信される。また、音声認識部146がスピーカに接続される場合、音声認識結果は、音声として出力される。
なお、音響クロストーク抑圧装置105は、音声認識部146を備える代わりに、ネットワークに接続可能な通信部を備え、ネットワークを介してクラウドサーバ(図示略)に対しクロストーク成分の抑圧後の音声信号に基づく音声データを送信し、クラウドサーバが音声認識を行い、クラウドサーバから音声認識結果を受信してモニタ、スピーカ等に出力してもよい。
(音響クロストーク抑圧装置の動作)
次に、実施の形態1に係る音響クロストーク抑圧装置105の動作を説明する。
ここでは、マイクmDで収音される乗員Dが発話する音声を音声認識の対象とし、マイクmDで収音される乗員Aが発話する音声をクロストーク成分とする場合を示す、なお、マイクmAで収音される乗員Aが発話する音声を音声認識の対象とし、マイクmAで収音される乗員Dが発話する音声をクロストーク成分としてもよい。
図4は、実施の形態1に係る音響クロストーク抑圧装置105の動作手順例を示すフローチャートである。図4の処理は、音響クロストーク抑圧装置105を構成するDSP110により実行され、マイクmDで収音されて音響クロストーク抑圧装置105に入力される音声の音声信号の1サンプルごとに繰り返して実行される。
図4において、主信号取得部162は、4個のマイクmA,mB,mC,mDのうち、例えばマイクmDによって最も大きな音圧レベルで収音された音声の音声信号を、音声認識したい主信号として取得する(S101)。
参照信号取得部166は、主信号となるマイクmD以外の最大3個のマイクmA,mB,mCのそれぞれで収音された音声の音声信号を、参照信号として取得する(S102)。また、マイクmA,mB,mCのそれぞれで収音された音声の音声データは、DSP110によってメモリ150A,150B,150Cに記憶される。
話者位置推定部161は、4個のマイクmA,mB,mC,mDのそれぞれで収音された音声の音声信号を入力し、音声信号の音圧レベルを基に、話者位置を推定する(S103)。ここでは、乗員Dが発話し、その音声信号の音圧レベルを基に、話者位置が乗員Dと推定されるが、乗員Aが発話した場合、話者位置が乗員Aであってもよい。
フィルタ更新部125A,125B,125Cのそれぞれは、メモリ152に記憶されている対応するフィルタ係数を読み込み、畳み込み信号生成部123A,123B,123Cのそれぞれに設定する(S104)。なお、フィルタ更新部125Dは、例えばメモリ152に記憶されている対応するフィルタ係数を読み込み、畳み込み信号生成部123Dに設定してもよい。
フィルタ更新部125A,125B,125Cのそれぞれは、マイクmA,mB,mCのそれぞれで収音され、ディレイ129A,129B,129Cのそれぞれで遅延処理が施された各参照信号を用いて、クロストーク抑圧信号をそれぞれ生成する。すなわち、畳み込み信号生成部123A,123B,123Cのそれぞれは、メモリ152に記憶された対応するフィルタ係数、または更新量計算部126A,126B,126Cで計算されるフィルタ係数を用いて、遅延時間分ずれた参照信号に対し畳み込み処理を行い、遅延時間分ずれた参照信号からクロストーク抑圧信号を生成する。さらに、畳み込み信号合成部165は、参照信号の組み合わせに従い、これらのクロストーク抑圧信号を合成する。加算器122は、マイクmDで収音された音声の音声信号から、畳み込み信号合成部165により生成された合成クロストーク抑圧信号を減算し、マイクmDで収音された音声に含まれるクロストークを抑圧する(S105)。
DSP110は、フィルタ学習期間であるか否かを判別する(S106)。フィルタ学習期間は、音声認識の対象である乗員Dに対し、クロストーク成分の発声源となる乗員Aが少なくとも発話している期間である。また、フィルタ学習期間でない期間は、クロストーク成分の発声源となる乗員Aが発話していない期間である。フィルタ学習期間である場合、フィルタ更新部125A,125B,125Cのそれぞれは、更新量計算部126A,126B,126Cのそれぞれで計算されるフィルタ係数で畳み込み信号生成部123A,123B,123Cのそれぞれのフィルタ係数を更新し、メモリ152に記憶する(S107)。一方、フィルタ学習期間でない場合、DSP110は、ステップS108の処理に進む。
抑圧量推定部143は、加算器122から出力されるクロストーク抑圧後の音声信号と、マイクmDで収音された音声の音声信号とを基に、これらの差分を抑圧量として算出する(S108)。
音声認識部146は、加算器122から出力されるクロストーク抑圧後の音声信号を基に、音声認識を行い、音声認識結果として音声認識データおよびスコア値を出力し、メモリ152に記憶する(S109)。
フィルタ更新部125A,125B,125Cのそれぞれは、フィルタ係数の学習が完了したか否かを判別する(S110)。ここでは、所定期間におけるフィルタ係数の変動幅が第2閾値以内である場合、フィルタ係数の学習が完了していると判断される。フィルタ更新部125A,125B,125Cのそれぞれのうち、少なくとも1つのフィルタ係数が収束していない場合、DSP110は、フィルタ係数の学習が完了していないと判断し、図4に示す処理を終了する。一方、フィルタ更新部125A,125B,125Cのフィルタ係数が全て収束している場合、フィルタ係数の学習が完了していると判断する。
抑圧量推定部143は、ステップS108で算出された抑圧量が第1閾値を超えるか否かを判別する(S111)。抑圧量が第1閾値を超える場合、音声認識部146は、S109で音声認識が成功したか失敗したかを判別する(S112)。音声認識が成功した場合、DSP110は、図4に示す処理を終了する。
一方、ステップS111で抑圧量が第1閾値以下である場合、またはステップS112で音声認識が失敗した場合、DSP110は、主信号、または参照信号の組み合わせを変更する(S113)。参照信号取得部166が、マイクmA,マイクmBおよびマイクmCでそれぞれ収音される各音声の各参照信号の組み合わせを変更する。また、主信号取得部162は、主信号として、例えば、マイクmDで収音される乗員Dによる音声の音声信号から、乗員Dの近傍に配置されたマイクmCで収音される乗員Dによる音声の音声信号に切り替えてもよい。なお、主信号は、マイクmCで収音される乗員Dの音声信号に限らず、マイクmAで収音される乗員Dの音声信号、またはマイクmBで収音される乗員Dの音声信号に切り替えられてもよい。また、乗員Aが発話する音声の音圧レベルが乗員Dが発話する音声の音圧レベルより大きい場合、主信号は、乗員Dが発話する音声の音声信号から、乗員Aが発話する音声の音声信号に切り替えられてもよい。
ここでは、主信号または参照信号の組み合わせを変更する場合、つまり、ステップS111で抑圧量が第1閾値以下である場合、またはステップS112で音声認識が失敗した場合、参照信号取得部166は、主信号取得部162に先行して参照信号の組み合わせを変更する。そして、全ての参照信号の組み合わせを変更しても、抑圧量の第1閾値以下または音声認識の失敗の状態が継続する場合、主信号取得部162は主信号を変更する。なお、主信号取得部162は、参照信号取得部166に先行して主信号を変更し、全ての主信号を変更しても、抑圧量の第1閾値以下または音声認識の失敗の状態が継続する場合、参照信号取得部166が参照信号の組み合わせを変更するようにしてもよい。
また、参照信号取得部166は、合成クロストーク抑圧信号の生成に用いられる各参照信号の組み合わせを、始めに、最大3個のマイクのそれぞれにより収音された最大個の参照信号の組み合わせとし、その後、個数を減らす方向で他の参照信号の組み合わせに入れ替える。これにより、クロストーク成分の抑圧性能が最も高いと考えられる最大個の参照信号の組み合わせでクロストークの抑圧を開始することで、速やかに、クロストーク成分を所望の抑圧量で抑圧でき、またフィルタ更新部のフィルタ係数を収束できる。また、参照信号の組み合わせの個数が同数である場合、例えば音圧レベルが大きいマイク、あるいは他の話者である乗員Aの前に配置されたマイクで収音される音声の参照信号を優先して含むように、参照信号の組み合わせが組まれてもよい。
また、参照信号取得部166は、参照信号の組み合わせを変更する場合、過去の検出結果を基に、つまり、音声認識結果が成功あるいは抑圧量が第1閾値以上となるような参照信号の組み合わせの優先順位を高く設定しデータベースとしてメモリ152に保持しておき、各マイクで収音された各参照信号を基に、登録された優先順位にしたがって参照信号の組み合わせを選択してもよい。また、参照信号取得部166は、各マイクで収音された各参照信号の相互相関または周波数特性を比較し、これらの比較結果を基に、音声認識結果が成功あるいは抑圧量が第1閾値以上となるような参照信号の組み合わせをリアルタイムで学習してもよい。
なお、音響クロストーク抑圧装置105は、抑圧量推定部143によって算出された抑圧量、および音声認識部146による音声認識結果の少なくとも一方を基に、クロストーク成分の抑圧性能を判定したが、これらに限らず、例えば、音質を評価可能なフィルタ係数の収束度合等で判定してもよい。
ステップS113で主信号または参照信号の組み合わせが変更されると、フィルタ更新部125A,125B,125Cは、フィルタ係数を初期化する(S114)。フィルタ係数が初期化されると、DSP110は、図4に示す処理を終了する。この後、フィルタ更新部125A,125B,125Cのそれぞれは、次の1サンプルでフィルタ係数の学習を再開する。
実施の形態1に係る音響クロストーク抑圧装置105は、音声認識の対象となる、乗員Dが発話する音声の音声信号を主信号とし、マイクmA,マイクmBおよびマイクmCのそれぞれで収音された乗員Aが発話する音声の音声信号を参照信号とする場合、乗員Dが発話する音声の主信号に含まれる、乗員Aが発話する音声によるクロストーク成分を、複数の参照信号を用いて効果的に抑圧できる。また、音響クロストーク抑圧装置105は、主信号または参照信号の組み合わせを動的に変更することで、主信号に含まれるクロストーク成分を適応的に抑圧できる。したがって、乗員Dの発話音声の音質を改善できる。
このように、音響クロストーク抑圧装置105は、4人の乗員が着座可能な座席のそれぞれに対応して車室108z内に配置される4個のマイクmA,mB,mC,mDのそれぞれにより収音された各音声信号に基づいて、車室108z内での乗員Dを話者位置推定部161において推定する。音響クロストーク抑圧装置105は、乗員Dが発話する音声の音声信号に含まれる乗員A(他の話者の一例)の発話によるクロストーク成分のクロストーク抑圧信号を生成する畳み込み信号生成部123A,123B,123C,123Dのそれぞれを有し、クロストーク成分を抑圧するための畳み込み信号生成部123A,123B,123C,123Dのフィルタ係数(パラメータ)を更新してその更新結果を、対応する4個のフィルタ更新部125A,125B,125C,125Dにおいて保持する。音響クロストーク抑圧装置105は、乗員Dに対応するマイク以外の最大3個のマイクのそれぞれにより収音された各参照信号に対応する、最大3個のフィルタ更新部125A,125B,125Cのそれぞれにより生成されたクロストーク抑圧信号に基づく合成クロストーク抑圧信号を用いて、乗員Dの音声信号に含まれるクロストーク成分を加算器122において抑圧する。
これにより、音響クロストーク抑圧装置105は、乗員Dが発話する音声の音声信号(主信号の一例)に含まれる、乗員Aが発話する音声によるクロストーク成分を、複数の参照信号を用いて効果的に抑圧できる。また、音響クロストーク抑圧装置105は、主信号または参照信号の組み合わせを動的に変更することで、主信号に含まれるクロストーク成分を適応的に抑圧できる。したがって、音響クロストーク抑圧装置105は、車室108z等の閉空間に存在するメイン話者の発話音声に含まれ得る音響的なクロストーク成分を適応的に抑圧でき、メイン話者の発話音声の音質を改善できる。
また、音響クロストーク抑圧装置105は、最大3個のフィルタ更新部125A,125B,125Cのそれぞれにより生成されたクロストーク抑圧信号を合成して合成クロストーク抑圧信号を生成する畳み込み信号合成部165を更に備える。これにより、音響クロストーク抑圧装置105は、最大3個のマイクに対応する最大3個のフィルタ更新部125A,125B,125Cのそれぞれにより生成された全てのクロストーク抑圧信号を用いてクロストーク成分を抑圧できる。したがって、クロストーク成分の抑圧性能の向上が期待できる。
また、最大3個の前記フィルタ更新部125A,125B,125Cのそれぞれが有する畳み込み信号生成部123A,123B,123Cは、それぞれ保持されている最新のフィルタ係数を用いて、クロストーク抑圧信号を生成する。これにより、音響クロストーク抑圧装置105は、現在の車室108z内の状況に最も近い状況を反映したクロストーク抑圧信号を生成できる。したがって、クロストーク成分の抑圧性能が向上する。
また、クロストーク成分の発声源となる乗員Aに対応するマイクmAにより収音された参照信号に対応するフィルタ更新部125Aは、その参照信号を用いて、自己が有する畳み込み信号生成部123Aのフィルタ係数を更新し、その更新結果をメモリ152に保持する。これにより、フィルタ更新部は、対応するマイクにより収音された音声の参照信号を用いて、フィルタ係数を適応的に更新できる。
また、音響クロストーク抑圧装置105は、クロストーク成分の抑圧量を推定する抑圧量推定部143と、抑圧量が第1閾値以下であると判定した場合に、4個のマイクmA,mB,mC,mDのうち乗員Dの近傍に配置された他のマイクmA,マイクmBまたはマイクmCにより収音された音声信号を、乗員Dの音声信号として入れ替える主信号取得部162と、を更に備える。これにより、音響クロストーク抑圧装置105は、クロストーク成分の抑圧量が少ない場合、乗員Dの近傍に配置された他のマイクで収音される乗員Dの音声の音声信号を主信号とすることで、クロストーク成分の抑圧量を増加させることができる。したがって、話者である乗員Dの前に置かれたマイクと乗員の口元の間に障害物Obがある、車室108z内の閉空間に特有な伝達特性などの車室108z内の状況によらず、所望のクロストーク成分の抑圧が期待できる。
また、音響クロストーク抑圧装置105は、クロストーク成分の抑圧量を推定する抑圧量推定部143と、抑圧量が第1閾値以下であると判定した場合に、合成クロストーク抑圧信号の生成に用いられる各参照信号の組み合わせを他の参照信号の組み合わせに入れ替える参照信号取得部166と、を更に備える。入れ替え後の他の参照信号のそれぞれに対応するフィルタ更新部は、入力された他の参照信号に基づいてクロストーク抑圧信号を再生成する。これにより、音響クロストーク抑圧装置105は、クロストーク成分の抑圧量が少ない場合であっても、合成クロストーク抑圧信号の生成に用いられる各参照信号の組み合わせを変えることで、クロストーク成分の抑圧量を増加させることができる。したがって、他の話者である乗員Aの前に置かれたマイクと乗員Aの口元の間に障害物Obがある、車室108z内の閉空間に特有な伝達特性などの車室内の状況によらず、所望のクロストーク成分の抑圧が期待できる。
また、音響クロストーク抑圧装置105は、クロストーク抑圧後の音声信号(クロストーク成分が抑圧されたメイン話者の音声信号の一例)に基づいて、乗員Dの発話内容を音声認識する音声認識部146と、音声認識が失敗したと判定した場合に、4個のマイクのうち乗員Dの近傍に配置された他のマイクにより収音された音声信号を、乗員Dの音声信号として切り替える主信号取得部162と、を更に備える。これにより、音響クロストーク抑圧装置105は、乗員Dの近傍に配置された他のマイクで収音される乗員Dの音声の音声信号を主信号とすることで、音声認識を成功させることができる。したがって、乗員Dの前に置かれたマイクと乗員Dの口元の間に障害物がある、車室108z内の閉空間に特有な伝達特性などの車室108z内の状況によらず、音声認識の成功が期待できる。
また、音響クロストーク抑圧装置105は、クロストーク抑圧後の音声信号に基づいて、乗員Dの発話内容を音声認識する音声認識部146と、音声認識が失敗したと判定した場合に、合成クロストーク抑圧信号の生成に用いられる各参照信号の組み合わせを他の参照信号の組み合わせに入れ替える参照信号取得部166と、を更に備える。入れ替え後の他の参照信号のそれぞれに対応するフィルタ更新部は、入力された他の参照信号に基づいてクロストーク抑圧信号を再生成する。これにより、音響クロストーク抑圧装置105は、音声認識が失敗した場合であっても、合成クロストーク抑圧信号の生成に用いられる各参照信号の組み合わせを変えることで、音声認識を成功させることができる。したがって、乗員Dの前に置かれたマイクと乗員Dの口元の間に障害物Obがある、車室108z内の閉空間に特有な伝達特性などの車室108z内の状況によらず、音声認識の成功が期待できる。
また、参照信号取得部166は、合成ストローク抑圧信号の生成に用いられる各参照信号の組み合わせを、始めに、最大3個のマイクのそれぞれにより収音された最大個の参照信号の組み合わせとし、その後、個数を減らす方向で他の参照信号の組み合わせに入れ替える。これにより、クロストーク成分の抑圧性能が最も高いと考えられる最大個の参照信号の組み合わせでクロストークの抑圧を開始することで、音響クロストーク抑圧装置105は、速やかにクロストーク成分を所望の抑圧量で抑圧でき、またフィルタ更新部のフィルタ係数の収束を早めることができる。
(実施の形態2)
実施の形態1では、音響クロストーク抑圧装置105クロストーク成分の抑圧性能が高くなかった場合に主信号または参照信号の組み合わせを変更し、フィルタ係数を初期化した。この場合、音響クロストーク抑圧装置105が新たなフィルタ係数を学習するまでの間、クロストーク成分の抑圧ができない空白期間があった。実施の形態2では、この空白期間が生じないようにする音響クロストーク抑圧装置105Aの例を説明する。
図5および図6は、実施の形態2に係る音響クロストーク抑圧装置105Aの機能的構成例を示すブロック図である。音響クロストーク抑圧装置105Aの構成の図示が図5および図6の両方に亘るので、丸記号内にアルファベットを記載した記号によって各部の接続関係を図示している。
実施の形態2に係る音響クロストーク抑圧装置105Aの説明において、実施の形態1に係る音響クロストーク抑圧装置105と同一の構成要素については同一の符号を用いることで、その説明を簡略化あるいは省略し、異なる内容について説明する。ここで、実施の形態1に係る参照信号取得部166、4つのディレイ129A,129B,129C,129D、4つのフィルタ更新部125A,125B,125C,125D、畳み込み信号合成部165、加算器122、および抑圧量推定部143を含む部分の構成を第1信号処理部180と称する。つまり、第1信号処理部180は、参照信号取得部166、4つのディレイ129A,129B,129C,129D、4つのフィルタ更新部125A,125B,125C,125D、畳み込み信号合成部165、加算器122、および抑圧量推定部143を含む。それぞれの構成は実施の形態1と同様であるため、説明を簡略化する。
音響クロストーク抑圧装置105Aは、第1信号処理部180と、第1信号処理部180の内部構成と同等の内部構成を有する第2信号処理部180Aと、出力選択部148とを含む構成である。第2信号処理部180Aの内部構成において、第1信号処理部180の同等の内部構成の符号については、符号の末尾に「A」を付す、あるいは対応する200番台の符号とする。すなわち、第2信号処理部180Aは、参照信号取得部166A、4つのディレイ229A,229B,229C,229D、4つのフィルタ更新部225A,225B,225C,225D、畳み込み信号合成部165A、加算器122A、および抑圧量推定部143Aを含む。
4つのフィルタ更新部225A,225B,225C,225Dのそれぞれは、実施の形態1と同様、畳み込み信号生成部223A,223B,223C,223Dのそれぞれと、フィルタ係数監視部241A,241B,241C,241Dのそれぞれと、更新量計算部226A,226B,226C,226Dのそれぞれと、非線形変換部227A,227B,227C,227Dのそれぞれと、ノルム算出部228A,228B,228C,228Dのそれぞれとを対応するように有する。
出力選択部148は、第1信号処理部180の加算器122から出力される第1クロストーク成分抑圧後の信号と、第2信号処理部180Aの加算器122Aから出力される第2クロストーク成分の抑圧後の信号とのいずれかを選択し、音声認識部146に出力する。出力選択部148は、クロストーク成分の抑圧後の音声信号を選択する際、第1信号処理部180および第2信号処理部180Aの一方がフィルタ係数を学習中である場合、学習中のクロストーク成分の抑圧後の音声信号では主信号に含まれるクロストーク成分が抑圧されないと判断して、他方の学習済みであるフィルタ係数を用いて生成されたクロストーク成分の抑圧後の音声信号を選択する。
次に、実施の形態2に係る音響クロストーク抑圧装置105Aの動作を示す。
図7および図8は、実施の形態2に係る音響クロストーク抑圧装置105Aの動作手順例を示すフローチャートである。実施の形態1に係る音響クロストーク抑圧装置105の処理と同一の処理については、同一のステップ番号を付すことでその説明を簡略化あるいは省略し、異なる内容について説明する。実施の形態2では、音響クロストーク抑圧装置105Aは、第1信号処理部180が行う信号処理(以下、「第1信号処理」と称する)と並行して、第2信号処理部180Aが信号処理(以下、「第2信号処理」と称する)を行う。第1信号処理は、実施の形態1に係るステップS101~S108の一連の処理と同一であるので、図7あるいは図8において同一のステップ番号を付すことでその説明を省略する。一方、第2信号処理は、主信号あるいは参照信号の組み合わせが第1信号処理と異なる点を除けば第1信号処理と実質的に同様の処理である。このため、第1信号処理におけるステップS101~S108の一連の処理のステップ番号に対応するステップ番号(ここでは、末尾「A」を付加)を付すことでその説明を簡略化あるいは省略する。
図7において、音響クロストーク抑圧装置105Aでは、第1信号処理部180の抑圧量推定部143が、ステップS108で主信号に含まれるクロストーク成分の第1抑圧量を算出し、第2信号処理部180Aの抑圧量推定部143Aが、ステップS108と対応するステップS108Aで主信号に含まれるクロストーク成分の第2抑圧量を算出する。この後、出力選択部148は、これらの第1抑圧量および第2抑圧量のうち、クロストーク抑圧性能のより良い方(つまり、クロストーク成分の抑圧量が大きい方)のクロストーク成分の抑圧後の音声信号を選択する(S151)。
音声認識部146は、出力選択部148で選択されたクロストーク成分の抑圧後の音声信号を入力し、この音声信号に音声認識処理を行う(S152)。
第1信号処理部180のフィルタ更新部125A,125B,125Cのそれぞれは、フィルタ係数の学習が完了したか否かを判別する(S153)。ここでは、実施の形態1と同様、所定期間におけるフィルタ係数の変動幅が第2閾値以内である場合、フィルタ係数の学習が完了していると判断される。フィルタ更新部125A,125B,125Cのうち、少なくとも1つのフィルタ係数が収束していない場合、フィルタ係数の学習は完了していないと判断される。一方、フィルタ更新部125A,125B,125Cのフィルタ係数が全て収束している場合、フィルタ係数の学習は完了していると判断される。フィルタ係数の学習が完了していないと判断された場合(S153、NO)、DSP110Aは、図8の処理を終了する。
フィルタ係数の学習が完了している場合(S153、YES)、第2信号処理部180Aのフィルタ更新部225A,225B,225Cのそれぞれは、フィルタ係数の学習が完了したか否かを判別する(S154)。フィルタ係数の学習の完了の有無は、ステップS153の処理と同様に判断される。フィルタ係数の学習が完了していないと判断された場合(S154、NO)、DSP110Aは、図8の処理を終了する。
フィルタ係数の学習が完了している場合(S154、YES)、DSP110Aは、第1信号処理部180によるクロストーク成分の抑圧性能(以下、「第1信号処理部180の抑圧性能」と称する)と、第2信号処理部180Aによるクロストーク成分の抑圧性能(以下、「第2信号処理部180Aの抑圧性能」と称する)とを比較する。つまり、DSP110Aは、第1信号処理部180の抑圧性能より第2信号処理部180Aの抑圧性能が良いか否かを判別する(S155)。クロストーク成分の抑圧性能は、例えばステップS108,S108Aのそれぞれで算出されるクロストーク成分の抑圧量で判断されてもよい。また、クロストーク成分の抑圧性能は、音声認識部146が第1信号処理部180および第2信号処理部180Aのそれぞれから出力されるクロストーク成分の抑圧後の音声信号の双方に対し音声認識を行う場合、音声認識結果であるスコア値で判断されてもよい。
第1信号処理部180の抑圧性能より第2信号処理部180Aの抑圧性能が良い場合(S155、YES)、参照信号取得部166は、第1信号処理部180に、参照信号の組み合わせの変更を指示する(S156)。参照信号取得部166は、この指示に応じて、参照信号の組み合わせを変更する。また、主信号取得部162は、第1信号処理部180に、主信号の変更を指示してもよい。主信号取得部162は、この指示に応じて、主信号を変更する。なお、主信号または参照信号の組み合わせの変更手順は、実施の形態1と同様の手順で行われる。
主信号または参照信号の組み合わせが変更されると、第1信号処理部180のフィルタ更新部125A,125B,125Cは、フィルタ係数を初期化する(S157)。フィルタ係数が初期化されると、DSP110Aは、図8の処理を終了する。この後、フィルタ更新部125A,125B,125Cは、次の1サンプルでフィルタ係数の学習を再開する。第1信号処理部180がフィルタ係数を学習している期間、第2信号処理部180Aによるクロストーク成分の抑圧が行われる。
一方、第2信号処理部180Aの抑圧性能より第1信号処理部180の抑圧性能が良い場合(S155、NO)、参照信号取得部166Aは、第2信号処理部180Aに、参照信号の組み合わせの変更を指示する(S158)。参照信号取得部166Aは、この指示に応じて、参照信号の組み合わせを変更する。また、主信号取得部162は、第2信号処理部180Aに、主信号の変更を指示してもよい。主信号取得部162は、この指示に応じて、主信号を変更する。なお、主信号または参照信号の組み合わせの変更手順は、実施の形態1と同様の手順で行われる。
主信号または参照信号の組み合わせが変更されると、第2信号処理部180Aのフィルタ更新部225A,225B,225Cは、フィルタ係数を初期化する(S159)。フィルタ係数が初期化されると、DSP110Aは、図8に示す処理を終了する。この後、フィルタ更新部225A,225B,225Cは、次の1サンプルでフィルタ係数の学習を再開する。第2信号処理部180Aがフィルタ係数を学習している期間、第1信号処理部180によるクロストーク成分の抑圧が行われる。
なお、主信号および参照信号の組み合わせは、第1信号処理部180と第2信号処理部180Aとで同じ組み合わせに変更されてもよい。同じ組み合わせに変更される場合、第1信号処理部180と第2信号処理部180Aとでは、学習済みとなるまでこれらのフィルタ係数が異なる。
実施の形態2に係る音響クロストーク抑圧装置105Aは、第1信号処理部180および第2信号処理部180Aの双方でフィルタ係数が十分に学習された場合、音響クロストーク抑圧装置105Aは、クロストーク成分の抑圧性能を比較し、抑圧性能の劣る方に対し、主信号または参照信号の組み合わせを変更する。音響クロストーク抑圧装置105Aは、抑圧性能の劣る方で新たなフィルタ係数が学習されるまでの間、第1信号処理部180および第2信号処理部180Aのうち、抑圧性能の優る方で得られたフィルタ係数を用いてクロストーク成分を抑圧する。したがって、音響クロストーク抑圧装置105Aは、クロストーク成分を抑圧できない空白期間を省くことができる。また、第1信号処理部180および第2信号処理部180Aのいずれに対しても、抑圧性能を高めることができる。また、抑圧性能の優る方からクロストーク成分の抑圧後の音声信号に対し、音声認識が行われるので、音声認識率が向上する。
このように、音響クロストーク抑圧装置105Aは、4個のフィルタ更新部125A,125B,125C,125Dおよび加算器122を少なくとも含む第1信号処理部180と、4個のフィルタ更新部225A,225B,225C,225Dおよび加算器122Aを少なくとも含む第2信号処理部180Aと、を含む。また、音響クロストーク抑圧装置105Aは、第1信号処理部180により生成されたクロストーク抑圧後の音声信号(つまり、第1合成抑圧信号を用いてクロストーク成分が抑圧された後のメイン話者の第1音声信号)と、第2信号処理部180Aにより生成されたクロストーク抑圧後の音声信号(つまり、第2合成抑圧信号を用いてクロストーク成分が抑圧された後のメイン話者の第2音声信号)とのうちいずれかを出力選択部148において選択して出力する。第1信号処理部180で抑圧される乗員Dの音声信号および各参照信号の組み合わせと、第2信号処理部180Aで抑圧される乗員Dの音声信号および各参照信号の組み合わせとが異なる。
これにより、音響クロストーク抑圧装置105Aは、第1信号処理部180または第2信号処理部180Aのいずれかの抑圧性能が低い場合、第1信号処理部または第2信号処理部のうち、抑圧性能の低い一方の、マイクで収音される乗員Dの音声信号および/または各参照信号の組み合わせを選択し直してフィルタ係数を再学習する際、他方を用いてクロストーク成分を抑圧することで、一方のフィルタ更新部のフィルタ係数が再学習されるまでの間、クロストーク成分を抑圧できない状況を回避できる。また、第1信号処理部180と第2信号処理部180Aとでは、マイクで収音される乗員Dの音声信号および/または各参照信号の組み合わせが異なるので、抑圧性能が優る方の第1信号処理部180または第2信号処理部180Aを使用することで、クロストーク成分の抑圧性能が向上する。
また、第1信号処理部180は、クロストーク抑圧後の音声信号(第1合成抑圧信号の一例)に基づくクロストーク成分の第1抑圧量を推定する抑圧量推定部143を有する。第2信号処理部180Aは、クロストーク抑圧後の音声信号(第2合成抑圧信号の一例)に基づくクロストーク成分の第2抑圧量を推定する抑圧量推定部143Aを有する。第1信号処理部180は、第1抑圧量が第2抑圧量より少ない場合に、第1信号処理部180で抑圧される乗員Dの主信号あるいは各参照信号の組み合わせのいずれかを変更する。これにより、音響クロストーク抑圧装置105Aは、第1信号処理部180または第2信号処理部180Aのうち、クロストーク成分の抑圧量が少ない第1信号処理部180の、主信号および参照信号の組み合わせのいずれかを変更することで、第1信号処理部180の抑圧性能を向上できる。
また、第2信号処理部180Aは、第2抑圧量が第1抑圧量より少ない場合に、第2信号処理部180Aで抑圧される乗員Dの主信号あるいは各参照信号の組み合わせのいずれかを変更する。これにより、音響クロストーク抑圧装置105Aは、第1信号処理部180または第2信号処理部180Aのうち、クロストーク成分の抑圧量が少ない第2信号処理部180Aの、主信号および参照信号の組み合わせのいずれかを変更することで、第2信号処理部180Aの抑圧性能を向上できる。
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
例えば、上述した実施の形態では、車室内に配置されるマイクの数が4個である場合を示したが、3個または5個以上の数のマイクが車室内に配置されてもよい。3個または5個以上の数のマイクが配置される場合、音響クロストーク抑圧装置には、それと同数のディレイおよびフィルタ更新部の組が設けられる。
また、上述した実施の形態では、合成クロストーク抑圧信号を生成する際、マイクの数より1つ少ないディレイおよびフィルタ更新部の組の数が使用された。例えば、マイクの数が4個である場合、3組のディレイおよびフィルタ更新部が使用されたが、マイクの数と同数のディレイおよびフィルタ更新部の組の数が使用されてもよい。
なお、上述した実施の形態では、クロストーク成分が抑圧された後の音声信号は音声認識部146に入力されているが、本開示に係る音響クロストーク抑圧装置は音声認識の用途に限定したものではなく、音声認識部146の構成は省略されてもよい。本開示に係る音響クロストーク抑圧装置は、例えばハンズフリー通話に使用することも可能であり、通話相手の発話音声に含まれるクロストーク成分(例えば車室108z内の乗員(例えば乗員D)の発話音声)を抑圧することもできる。
本開示は、車室等の閉空間に存在するメイン話者の発話音声に含まれ得る音響的なクロストーク成分を適応的に抑圧してメイン話者の発話音声の音質を改善し、有用である。
105、105A 音響クロストーク抑圧装置
110、110A DSP
122、122A 加算器
123A、123B、123C、123D、223A、223B、223C、223D 畳み込み信号生成部
125A、125B、125C、125D、225A、225B、225C、225D フィルタ更新部
126A、126B、126C、126D、226A、226B、226C、226D 更新量計算部
127A、127B、127C、127D、227A、227B、227C、227D 非線形変換部
128A、128B、128C、128D、228A、228B、228C、228D ノルム算出部
129A、129B、129C、129D、229A、229B、229C、229D ディレイ
143、143A 抑圧量推定部
146 音声認識部
150A、150B、150C、150D、152 メモリ
161 話者位置推定部
162 主信号取得部
165、156A 畳み込み信号合成部
166、166A 参照信号取得部
180 第1信号処理部
180A 第2信号処理部
mA、mB、mC、mD マイク

Claims (13)

  1. n(n:3以上の整数)人の人物のそれぞれに対応して閉空間内に配置されるn個のマイクのそれぞれにより収音された各音声信号に基づいて、前記閉空間内でのメイン話者を推定する話者推定部と、
    前記メイン話者の音声信号に含まれる他の話者の発話によるクロストーク成分の抑圧信号を生成するフィルタを有し、前記クロストーク成分を抑圧するための前記フィルタのパラメータを更新してその更新結果を保持する、n個のフィルタ更新部と、
    前記メイン話者に対応するマイク以外の最大(n-1)個のマイクのそれぞれにより収音された各参照信号に対応する、最大(n-1)個の前記フィルタ更新部のそれぞれにより生成された前記抑圧信号に基づく合成抑圧信号を用いて、前記メイン話者の音声信号に含まれる前記クロストーク成分を抑圧するクロストーク抑圧部と、を備える、
    音響クロストーク抑圧装置。
  2. 前記最大(n-1)個の前記フィルタ更新部のそれぞれにより生成された前記抑圧信号を合成する合成部、を更に備える、
    請求項1に記載の音響クロストーク抑圧装置。
  3. 前記最大(n-1)個の前記フィルタ更新部のそれぞれが有するフィルタは、保持されている最新の前記パラメータを用いて、前記抑圧信号を生成する、
    請求項1に記載の音響クロストーク抑圧装置。
  4. 前記他の話者に対応するマイクにより収音された参照信号に対応するフィルタ更新部は、その参照信号を用いて、自己が有するフィルタのパラメータを更新し、その更新結果を保持する、
    請求項1に記載の音響クロストーク抑圧装置。
  5. 前記クロストーク成分の抑圧量を推定する抑圧量推定部と、
    前記抑圧量が第1閾値以下であると判定した場合に、前記n個のマイクのうち前記メイン話者の近傍に配置された他のマイクにより収音された音声信号を、前記メイン話者の音声信号として入れ替えるメイン信号取得部と、を更に備える、
    請求項1に記載の音響クロストーク抑圧装置。
  6. 前記クロストーク成分の抑圧量を推定する抑圧量推定部と、
    前記抑圧量が第1閾値以下であると判定した場合に、前記合成抑圧信号の生成に用いられる前記各参照信号の組み合わせを他の参照信号の組み合わせに入れ替える参照信号取得部と、を更に備え、
    入れ替え後の前記他の参照信号のそれぞれに対応する前記フィルタ更新部は、入力された前記他の参照信号に基づいて前記抑圧信号を再生成する、
    請求項1に記載の音響クロストーク抑圧装置。
  7. 前記クロストーク成分が抑圧された前記メイン話者の音声信号に基づいて、前記メイン話者の発話内容を音声認識する音声認識部と、
    前記音声認識が失敗したと判定した場合に、前記n個のマイクのうち前記メイン話者の近傍に配置された他のマイクにより収音された音声信号を、前記メイン話者の音声信号として切り替えるメイン信号取得部と、を更に備える、
    請求項1に記載の音響クロストーク抑圧装置。
  8. 前記クロストーク成分が抑圧された前記メイン話者の音声信号に基づいて、前記メイン話者の発話内容を音声認識する音声認識部と、
    前記音声認識が失敗したと判定した場合に、前記合成抑圧信号の生成に用いられる前記各参照信号の組み合わせを他の参照信号の組み合わせに入れ替える参照信号取得部と、を更に備え、
    入れ替え後の前記他の参照信号のそれぞれに対応する前記フィルタ更新部は、入力された前記他の参照信号に基づいて前記抑圧信号を再生成する、
    請求項1に記載の音響クロストーク抑圧装置。
  9. 前記n個のマイクのそれぞれにより収音された各音声信号が入力され、請求項1に記載の前記話者推定部、前記n個のフィルタ更新部および前記クロストーク抑圧部を少なくとも含む第1信号処理部および第2信号処理部と、
    前記第1信号処理部により生成された第1合成抑圧信号を用いてクロストーク成分が抑圧された後のメイン話者の第1音声信号と、前記第2信号処理部により生成された第2合成抑圧信号を用いてクロストーク成分が抑圧された後のメイン話者の第2音声信号とのうちいずれかを選択して出力する出力選択部と、を備え、
    前記第1信号処理部で抑圧されるメイン話者の音声信号および各参照信号の組み合わせと、前記第2信号処理部で抑圧されるメイン話者の音声信号および各参照信号の組み合わせとが異なる、
    音響クロストーク抑圧装置。
  10. 前記第1信号処理部は、前記第1合成抑圧信号に基づく前記クロストーク成分の第1抑圧量を推定する第1抑圧量推定部を有し、
    前記第2信号処理部は、前記第2合成抑圧信号に基づく前記クロストーク成分の第2抑圧量を推定する第2抑圧量推定部を有し、
    前記第1信号処理部は、前記第1抑圧量が前記第2抑圧量より少ない場合に、前記第1信号処理部で抑圧されるメイン話者の音声信号あるいは前記各参照信号の組み合わせのいずれかを変更する、
    請求項9に記載の音響クロストーク抑圧装置。
  11. 前記第1信号処理部は、前記第1合成抑圧信号に基づく前記クロストーク成分の第1抑圧量を推定する抑圧量推定部を有し、
    前記第2信号処理部は、前記第2合成抑圧信号に基づく前記クロストーク成分の第2抑圧量を推定する抑圧量推定部を有し、
    前記第2信号処理部は、前記第2抑圧量が前記第1抑圧量より少ない場合に、前記第2信号処理部で抑圧されるメイン話者の音声信号あるいは前記各参照信号の組み合わせのいずれかを変更する、
    請求項9に記載の音響クロストーク抑圧装置。
  12. 前記参照信号取得部は、前記合成抑圧信号の生成に用いられる前記各参照信号の組み合わせとして、前記最大(n-1)個のマイクのそれぞれにより収音された最大個の参照信号の組み合わせを最初に選択し、その後、選択される参照信号の組み合わせの個数を減らして前記他の参照信号の組み合わせに入れ替える、
    請求項6または8に記載の音響クロストーク抑圧装置。
  13. 音響クロストーク抑圧装置により実行される音響クロストーク抑圧方法であって、
    n(n:3以上の整数)人の人物のそれぞれに対応して閉空間内に配置されるn個のマイクのそれぞれにより収音された各音声信号に基づいて、前記閉空間内でのメイン話者を推定し、
    n個のフィルタ更新部のそれぞれにより、前記メイン話者の音声信号に含まれる他の話者の発話によるクロストーク成分の抑圧信号を生成するフィルタのパラメータを更新してその更新結果を保持し、
    前記メイン話者に対応するマイク以外の最大(n-1)個のマイクのそれぞれにより収音された各参照信号に対応する、最大(n-1)個の前記フィルタ更新部のそれぞれにより生成された前記抑圧信号に基づく合成抑圧信号を用いて、前記メイン話者の音声信号に含まれる前記クロストーク成分を抑圧する、
    音響クロストーク抑圧方法。
JP2019210690A 2019-11-21 2019-11-21 音響クロストーク抑圧装置および音響クロストーク抑圧方法 Active JP7437650B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019210690A JP7437650B2 (ja) 2019-11-21 2019-11-21 音響クロストーク抑圧装置および音響クロストーク抑圧方法
CN202080080911.3A CN114746936A (zh) 2019-11-21 2020-11-16 声响串扰抑制装置和声响串扰抑制方法
PCT/JP2020/042675 WO2021100671A1 (ja) 2019-11-21 2020-11-16 音響クロストーク抑圧装置および音響クロストーク抑圧方法
US17/778,277 US20220415337A1 (en) 2019-11-21 2020-11-16 Acoustic crosstalk suppression device and acoustic crosstalk suppression method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019210690A JP7437650B2 (ja) 2019-11-21 2019-11-21 音響クロストーク抑圧装置および音響クロストーク抑圧方法

Publications (2)

Publication Number Publication Date
JP2021081655A JP2021081655A (ja) 2021-05-27
JP7437650B2 true JP7437650B2 (ja) 2024-02-26

Family

ID=75965109

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019210690A Active JP7437650B2 (ja) 2019-11-21 2019-11-21 音響クロストーク抑圧装置および音響クロストーク抑圧方法

Country Status (4)

Country Link
US (1) US20220415337A1 (ja)
JP (1) JP7437650B2 (ja)
CN (1) CN114746936A (ja)
WO (1) WO2021100671A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024070079A1 (ja) * 2022-09-28 2024-04-04 パナソニックIpマネジメント株式会社 エコー除去装置、及び、エコー除去方法
CN115291089B (zh) * 2022-10-08 2023-08-08 本源量子计算科技(合肥)股份有限公司 一种串扰测试组件和串扰测试方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005064968A (ja) 2003-08-15 2005-03-10 Nippon Telegr & Teleph Corp <Ntt> 収音方法、その装置、そのプログラム、およびその記録媒体。
JP2006039108A (ja) 2004-07-26 2006-02-09 Nippon Hoso Kyokai <Nhk> 特定話者音声出力装置及び特定話者判定プログラム
JP2011248025A (ja) 2010-05-25 2011-12-08 Nippon Telegr & Teleph Corp <Ntt> チャネル統合方法、チャネル統合装置、プログラム
JP2015014675A (ja) 2013-07-04 2015-01-22 株式会社日立システムズ 音声認識装置、方法、プログラム、システム及び端末
WO2017064840A1 (ja) 2015-10-16 2017-04-20 パナソニックIpマネジメント株式会社 音源分離装置および音源分離方法
JP2017083600A (ja) 2015-10-27 2017-05-18 パナソニックIpマネジメント株式会社 車載収音装置及び収音方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005064968A (ja) 2003-08-15 2005-03-10 Nippon Telegr & Teleph Corp <Ntt> 収音方法、その装置、そのプログラム、およびその記録媒体。
JP2006039108A (ja) 2004-07-26 2006-02-09 Nippon Hoso Kyokai <Nhk> 特定話者音声出力装置及び特定話者判定プログラム
JP2011248025A (ja) 2010-05-25 2011-12-08 Nippon Telegr & Teleph Corp <Ntt> チャネル統合方法、チャネル統合装置、プログラム
JP2015014675A (ja) 2013-07-04 2015-01-22 株式会社日立システムズ 音声認識装置、方法、プログラム、システム及び端末
WO2017064840A1 (ja) 2015-10-16 2017-04-20 パナソニックIpマネジメント株式会社 音源分離装置および音源分離方法
JP2017083600A (ja) 2015-10-27 2017-05-18 パナソニックIpマネジメント株式会社 車載収音装置及び収音方法

Also Published As

Publication number Publication date
JP2021081655A (ja) 2021-05-27
US20220415337A1 (en) 2022-12-29
WO2021100671A1 (ja) 2021-05-27
CN114746936A (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
EP1933303B1 (en) Speech dialog control based on signal pre-processing
JP7437650B2 (ja) 音響クロストーク抑圧装置および音響クロストーク抑圧方法
EP2058803A1 (en) Partial speech reconstruction
US20060031067A1 (en) Sound input device
JP6545419B2 (ja) 音響信号処理装置、音響信号処理方法、及びハンズフリー通話装置
JP2012025270A (ja) 車両用の音量制御装置および音量制御装置用のプログラム
CN111464918B (zh) 耳机及耳机组
US11676617B2 (en) Acoustic noise suppressing apparatus and acoustic noise suppressing method
JP6635394B1 (ja) 音声処理装置および音声処理方法
WO2021100670A1 (ja) 音響クロストーク抑圧装置および音響クロストーク抑圧方法
JP2006234888A (ja) 残響除去装置、残響除去方法、残響除去プログラムおよび記録媒体
US20220189450A1 (en) Audio processing system and audio processing device
US20230169987A1 (en) Reduced-bandwidth speech enhancement with bandwidth extension
JP2020134566A (ja) 音声処理システム、音声処理装置及び音声処理方法
Lemercier et al. Neural Network-augmented Kalman Filtering for Robust Online Speech Dereverberation in Noisy Reverberant Environments
JP6650607B2 (ja) 音響エコー抑圧装置及び音響エコー抑圧方法
CN101083078A (zh) 强鲁棒性语音分离方法
Prasad et al. Two microphone technique to improve the speech intelligibility under noisy environment
US20220406286A1 (en) Audio processing system, audio processing device, and audio processing method
WO2021260868A1 (ja) 音源分離モデル学習装置、音源分離装置、プログラム、音源分離モデル学習方法及び音源分離方法
JP2021135310A (ja) 音声処理装置および音声処理方法
WO2021019717A1 (ja) 情報処理装置、制御方法、及び制御プログラム
CN116189701A (zh) 通话降噪方法、终端及计算机可读存储介质
JP2021135447A (ja) 音声処理装置および音声処理方法
JP2021135311A (ja) 音声処理装置および音声処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240201

R151 Written notification of patent or utility model registration

Ref document number: 7437650

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151