JPWO2017064839A1 - 双方向会話補助装置及び双方向会話補助方法 - Google Patents

双方向会話補助装置及び双方向会話補助方法 Download PDF

Info

Publication number
JPWO2017064839A1
JPWO2017064839A1 JP2017545085A JP2017545085A JPWO2017064839A1 JP WO2017064839 A1 JPWO2017064839 A1 JP WO2017064839A1 JP 2017545085 A JP2017545085 A JP 2017545085A JP 2017545085 A JP2017545085 A JP 2017545085A JP WO2017064839 A1 JPWO2017064839 A1 JP WO2017064839A1
Authority
JP
Japan
Prior art keywords
transfer function
signal
microphone
speaker
output signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017545085A
Other languages
English (en)
Other versions
JP6311136B2 (ja
Inventor
良二 鈴木
良二 鈴木
宏正 大橋
宏正 大橋
田中　直也
直也 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Application granted granted Critical
Publication of JP6311136B2 publication Critical patent/JP6311136B2/ja
Publication of JPWO2017064839A1 publication Critical patent/JPWO2017064839A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/002—Applications of echo suppressors or cancellers in telephonic connections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/40—Applications of speech amplifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/085—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using digital techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02087—Noise filtering the noise being separate speech, e.g. cocktail party
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Abstract

双方向会話補助装置は、第１話者の第１音声を入力するための第１マイクと、第１音声を出力するための第１スピーカと、第２話者の第２音声を入力するための第２マイクと、第２音声を出力するための第２スピーカと、第１エコー・クロストークキャンセラと、を備える。第１エコー・クロストークキャンセラは、第２スピーカへの入力信号を用いて、第２スピーカから出力された第２音声が第１マイクに入力される第１エコー、及び、第２音声が第１マイクに入力される第１クロストークの程度を示す第１妨害信号を推定して算出し、算出した第１妨害信号を、第１マイクの出力信号から除去する。

Description

本開示は、第１話者と第２話者による双方向の会話を拡声して補助する双方向会話補助装置及び双方向会話補助方法に関する。
特許文献１は、２線伝送路を介してハンズフリー通話が可能な拡声電話回路を開示する。この拡声電話回路は、２線４線変換回路における回線反響信号を消去する第１のエコーキャンセラと、スピーカからマイクへの空間伝播による室内反響信号を消去する第２のエコーキャンセラと、第１のエコーキャンセラの送信出力側と第２のエコーキャンセラの受信入力側の間に可変利得増幅回路とを備える。これにより、安定してスピーカからの受話音量の調整がなされたハンズフリー通話品質を得ることができる。
特開昭６１−１９４９５８号公報
本開示は、エコー（反響）だけでなくクロストーク（漏話）を含む音響的雑音を除去したうえで双方向の会話を拡声して補助する双方向会話補助装置及び双方向会話補助方法を提供する。
本開示における双方向会話補助装置は、第１話者と第２話者による双方向の会話を拡声して補助する双方向会話補助装置であって、第１話者の第１音声を入力するための第１マイクと、第１音声を出力するための第１スピーカと、第２話者の第２音声を入力するための第２マイクと、第２音声を出力するための第２スピーカと、第１エコー・クロストークキャンセラと、を備える。第１エコー・クロストークキャンセラは、第２スピーカへの入力信号を用いて、第２スピーカから出力された第２音声が第１マイクに入力される第１エコー、及び、第２音声が第１マイクに入力される第１クロストークの程度を示す第１妨害信号を推定して算出し、算出した第１妨害信号を、第１マイクの出力信号から除去する。
本開示における双方向会話補助方法は、会話システムにおいて第１話者と第２話者による双方向の会話を拡声して補助する双方向会話補助方法であって、会話システムは、第１話者の第１音声を入力するための第１マイクと、第１音声を出力するための第１スピーカと、第２話者の第２音声を入力するための第２マイクと、第２音声を出力するための第２スピーカとを備える。双方向会話補助方法は、第２スピーカへの入力信号を用いて、第２スピーカから出力された第２音声が第１マイクに入力される第１エコー、及び、第２音声が第１マイクに入力される第１クロストークの程度を示す第１妨害信号を推定して算出し、算出した第１妨害信号を、第１マイクの出力信号から除去する第１エコー・クロストークキャンセルステップを含む。
本開示における双方向会話補助装置及び双方向会話補助方法は、エコー（反響）だけでなくクロストーク（漏話）を含む音響的雑音を除去したうえで双方向の会話を拡声して補助するのに有効である。
実施の形態１における双方向会話補助装置の適用例を示す図 図１に示された双方向会話補助装置の構成を示すブロック図 実施の形態２における双方向会話補助装置の構成を示すブロック図 実施の形態３における双方向会話補助装置の構成を示すブロック図 実施の形態４における双方向会話補助装置の構成を示すブロック図 実施の形態５における双方向会話補助装置の構成を示すブロック図
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
（実施の形態１）
以下、図１及び図２を用いて、実施の形態１を説明する。
［１−１．適用例］
図１は、実施の形態１における双方向会話補助装置２０の適用例を示す図である。ここでは、双方向会話補助装置２０を車１０における双方向の会話を拡声して補助する装置（車室内会話補助装置）として適用した例が示されている。
双方向会話補助装置２０は、第１話者１１（ここでは、運転者）と第２話者１２（ここでは、後部乗員）による双方向の会話を拡声して補助する装置である。運転席の天井には、第１話者１１の音声（第１音声）を入力するための第１マイク２１が設けられ、後部座席横の両側の内側面には、その音声を出力するための第１スピーカ２２が設けられている。また、後部座席の天井には、第２話者１２の音声（第２音声）を入力するための第２マイク２３が設けられ、２つの前扉の内側面には、その音声を出力するための第２スピーカ２４が設けられている。
第１話者１１と第２話者１２とは、この双方向会話補助装置２０を用いることで、車における一つの狭い空間であっても、ハウリング（鳴音）、エコー（反響）及びクロストーク（漏話）を含む音響的雑音が除去された双方向会話を楽しむことができる。
なお、ハウリングとは、ある話者の音声を出力するスピーカから出力された音声がその話者の音声が入力されるマイクに帰還して入力される現象をいい、ここでは、第１スピーカ２２から出力された音声が第１マイク２１に帰還して入力される現象、及び、第２スピーカ２４から出力された音声が第２マイク２３に帰還して入力される現象である。
また、エコーとは、ある話者に向けて出力された音声がその話者の音声を入力するためのマイクに回り込んで入力される現象をいい、ここでは、第２スピーカ２４から出力された音声が第１マイク２１に回り込んで入力される現象、及び、第１スピーカ２２から出力された音声が第２マイク２３に回り込んで入力される現象である。
また、クロストークとは、ある話者の音声が他人の音声を入力するためのマイクに入力される現象をいい、ここでは、第２話者１２の音声が第１マイク２１に入力される現象、及び、第１話者１１の音声が第２マイク２３に入力される現象である。
［１−２．構成］
図２は、図１に示された双方向会話補助装置２０の構成を示すブロック図である。この双方向会話補助装置２０は、第１マイク２１、第１スピーカ２２、第２マイク２３、第２スピーカ２４、第１ハウリングキャンセラ４０、第１エコー・クロストークキャンセラ５０、第２ハウリングキャンセラ６０、及び、第２エコー・クロストークキャンセラ７０を備える。なお、双方向会話補助装置２０の各構成要素は、有線又は無線で接続されている。また、第１ハウリングキャンセラ４０、第１エコー・クロストークキャンセラ５０、第２ハウリングキャンセラ６０、及び、第２エコー・クロストークキャンセラ７０は、例えば、車１０のヘッドユニットの一部として実装される。
第１マイク２１は、第１話者１１の音声を入力するためのマイクであり、例えば、図１に示されるように、車１０の運転席の天井に設けられる。なお、第１マイク２１から出力される音声信号は、例えば、第１マイク２１に内蔵又は直後に設けられたＡ／Ｄ変換器で生成されるデジタル音声データである。
第１スピーカ２２は、第１話者１１の音声を出力するためのスピーカであり、例えば、図１に示されるように、車１０の後部座席横の内側面に設けられる。なお、第１スピーカ２２は、例えば、入力されたデジタル音声データを第１スピーカ２２に内蔵又は直前に設けられたＤ／Ａ変換器でアナログ信号に変換した後に音声として出力する。
第２マイク２３は、第２話者１２の音声を入力するためのマイクであり、例えば、図１に示されるように、後部座席の天井に設けられる。なお、第２マイク２３から出力される音声信号は、例えば、第２マイク２３に内蔵又は直後に設けられたＡ／Ｄ変換器で生成されるデジタル音声データである。
第２スピーカ２４は、第２話者１２の音声を出力するためのスピーカであり、例えば、図１に示されるように、車１０の２つの前扉の内側面に設けられる。なお、第２スピーカ２４は、例えば、入力されたデジタル音声データを第２スピーカ２４に内蔵又は直前に設けられたＤ／Ａ変換器でアナログ信号に変換した後に音声として出力する。
［１−２−１．第１ハウリングキャンセラ４０］
第１ハウリングキャンセラ４０は、第２スピーカ２４から出力された音声が第２マイク２３に帰還して入力される第１ハウリング３０の程度を示す第１ハウリング信号を推定して算出し、算出した第１ハウリング信号を、第２マイク２３の出力信号から除去する回路である。本実施の形態では、第１ハウリングキャンセラ４０は、第２マイク２３の出力信号から後述する第２妨害信号が除去された第２エコー・クロストークキャンセラ７０の出力信号から、さらに第１ハウリング信号を除去し、除去後の信号を第２スピーカ２４に出力する回路であり、デジタル音声データを時間軸領域で処理するデジタル信号処理回路である。
より詳しくは、第１ハウリングキャンセラ４０は、第１伝達関数記憶回路４４、第１遅延器４６、第１記憶回路４２、第１畳み込み演算器４３、第１減算器４１、及び、第１伝達関数更新回路４５を有する。
第１伝達関数記憶回路４４は、第１ハウリング３０の伝達関数として推定された伝達関数を記憶する。
第１遅延器４６は、第１ハウリングキャンセラ４０の出力信号を遅延させる。
第１記憶回路４２は、第１遅延器４６から出力された信号を記憶する。
第１畳み込み演算器４３は、第１記憶回路４２に記憶された信号と第１伝達関数記憶回路４４に記憶された伝達関数とを畳み込むことで第１ハウリング信号を生成する。例えば、第１畳み込み演算器４３は、以下の式１に示される畳み込み演算を行うＮタップのＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタである。
Figure 2017064839
ここで、ｙ１’ｔは、時刻ｔにおける第１ハウリング信号である。Ｎは、ＦＩＲフィルタのタップ数である。Ｈ１（ｉ）ｔは、時刻ｔにおいて第１伝達関数記憶回路４４に記憶されたＮ個の伝達関数のうちのｉ番目の伝達関数である。ｘ１（ｔ−ｉ−τ１）は、第１記憶回路４２に記憶された信号のうち、（ｔ−ｉ−τ１）番目の信号である。τ１は、第１遅延器４６による遅延時間である。
第１減算器４１は、第２エコー・クロストークキャンセラ７０の出力信号から、第１畳み込み演算器４３から出力された第１ハウリング信号を除去し、第１ハウリングキャンセラ４０の出力信号として出力する。例えば、第１減算器４１は、以下の式２に示される減算を行う。
Figure 2017064839
ここで、ｅ１ｔは、時刻ｔにおける第１減算器４１の出力信号である。ｙ１ｔは、時刻ｔにおける第２エコー・クロストークキャンセラ７０の出力信号である。
第１伝達関数更新回路４５は、第１減算器４１の出力信号と第１記憶回路４２に記憶された信号とに基づいて第１伝達関数記憶回路４４に記憶された伝達関数を更新する。例えば、第１伝達関数更新回路４５は、以下の式３に示されるように、独立成分分析を用いて、第１減算器４１の出力信号と第１記憶回路４２に記憶された信号とに基づいて、第１減算器４１の出力信号と第１記憶回路４２に記憶された信号とが相互に独立となるように、第１伝達関数記憶回路４４に記憶された伝達関数を更新する。
Figure 2017064839
ここで、Ｈ１（ｊ）ｔ＋１は、時刻ｔ＋１における（つまり、更新後の）第１伝達関数記憶回路４４に記憶されるＮ個の伝達関数のうちのｊ番目の伝達関数である。Ｈ１（ｊ）ｔは、時刻ｔ（つまり、更新前の）第１伝達関数記憶回路４４に記憶されたＮ個の伝達関数のうちのｊ番目の伝達関数である。α１は、第１ハウリング３０の伝達関数の推定における学習速度を制御するためのステップサイズパラメータである。φ１は、非線形関数（例えば、シグモイド関数（ｓｉｇｍｏｉｄ関数）、双曲線正接関数（ｔａｎｈ関数）、正規化線形関数又は符号関数（ｓｉｇｎ関数））である。
このように、第１伝達関数更新回路４５は、第１減算器４１の出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して第１記憶回路４２に記憶された信号と、第１ハウリング３０の伝達関数の推定における学習速度を制御するための第１ステップサイズパラメータとを乗じることで第１更新係数を算出する。そして、算出した第１更新係数を第１伝達関数記憶回路４４に記憶された伝達関数に加算することで更新を行う。
［１−２−２．第１エコー・クロストークキャンセラ５０］
第１エコー・クロストークキャンセラ５０は、第１ハウリングキャンセラ４０の出力信号を用いて、第２スピーカ２４から出力された音声が第１マイク２１に回り込んで入力される第１エコー３１、及び、第２話者１２の音声が第１マイク２１に入力される第１クロストーク３２の程度を示す第１妨害信号を推定して算出し、算出した第１妨害信号を、第１マイク２１の出力信号から除去する回路である。本実施の形態では、第１エコー・クロストークキャンセラ５０は、第１妨害信号が除去された信号を第２ハウリングキャンセラ６０に出力する回路であり、デジタル音声データを時間軸領域で処理するデジタル信号処理回路である。ここで、第１ハウリングキャンセラ４０の出力信号は、図２示すように、第２スピーカ２４への入力信号である。
より詳しくは、第１エコー・クロストークキャンセラ５０は、第２伝達関数記憶回路５４、第２記憶回路５２、第２畳み込み演算器５３、第２減算器５１、及び、第２伝達関数更新回路５５を有する。
第２伝達関数記憶回路５４は、第１エコー３１と第１クロストーク３２とを合わせた伝達関数として推定された伝達関数を記憶する。
第２記憶回路５２は、第１ハウリングキャンセラ４０の出力信号を記憶する。
第２畳み込み演算器５３は、第２記憶回路５２に記憶された信号と第２伝達関数記憶回路５４に記憶された伝達関数とを畳み込むことで第１妨害信号を生成する。例えば、第２畳み込み演算器５３は、以下の式４に示される畳み込み演算を行うＮタップのＦＩＲフィルタである。
Figure 2017064839
ここで、ｙ２’ｔは、時刻ｔにおける第１妨害信号である。Ｎは、ＦＩＲフィルタのタップ数である。Ｈ２（ｉ）ｔは、時刻ｔにおいて第２伝達関数記憶回路５４に記憶されたＮ個の伝達関数のうちのｉ番目の伝達関数である。ｘ２（ｔ−ｉ）は、第２記憶回路５２に記憶された信号のうち、（ｔ−ｉ）番目の信号である。
第２減算器５１は、第１マイク２１の出力信号から、第２畳み込み演算器５３から出力された第１妨害信号を除去し、第１エコー・クロストークキャンセラ５０の出力信号として出力する。例えば、第２減算器５１は、以下の式５に示される減算を行う。
Figure 2017064839
ここで、ｅ２ｔは、時刻ｔにおける第２減算器５１の出力信号である。ｙ２ｔは、時刻ｔにおける第１マイク２１の出力信号である。
第２伝達関数更新回路５５は、第２減算器５１の出力信号と第２記憶回路５２に記憶された信号とに基づいて第２伝達関数記憶回路５４に記憶された伝達関数を更新する。例えば、第２伝達関数更新回路５５は、以下の式６に示されるように、独立成分分析を用いて、第２減算器５１の出力信号と第２記憶回路５２に記憶された信号とに基づいて、第２減算器５１の出力信号と第２記憶回路５２に記憶された信号とが相互に独立となるように、第２伝達関数記憶回路５４に記憶された伝達関数を更新する。
Figure 2017064839
ここで、Ｈ２（ｊ）ｔ＋１は、時刻ｔ＋１における（つまり、更新後の）第２伝達関数記憶回路５４に記憶されるＮ個の伝達関数のうちのｊ番目の伝達関数である。Ｈ２（ｊ）ｔは、時刻ｔ（つまり、更新前の）第２伝達関数記憶回路５４に記憶されたＮ個の伝達関数のうちのｊ番目の伝達関数である。α２は、第１エコー３１と第１クロストーク３２とを合わせた伝達関数の推定における学習速度を制御するためのステップサイズパラメータである。φ２は、非線形関数（例えば、シグモイド関数（ｓｉｇｍｏｉｄ関数）、双曲線正接関数（ｔａｎｈ関数）、正規化線形関数又は符号関数（ｓｉｇｎ関数））である。
このように、第２伝達関数更新回路５５は、第２減算器５１の出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して第２記憶回路５２に記憶された信号と、第１エコー３１と第１クロストーク３２とを合わせた伝達関数の推定における学習速度を制御するための第２ステップサイズパラメータとを乗じることで第２更新係数を算出する。そして、算出した第２更新係数を第２伝達関数記憶回路５４に記憶された伝達関数に加算することで更新を行う。
なお、本実施の形態における双方向会話補助装置２０では、第２話者１２の同一時刻における音声について、第１ハウリングキャンセラ４０の出力信号が第１エコー・クロストークキャンセラ５０に入力される時刻は、第２話者１２の音声が第１マイク２１に入力される時刻と同一、又は、より早くなるように、設計されている。つまり、第１エコー・クロストークキャンセラ５０が第１クロストーク３２をキャンセルできるように、因果律が保持されている。これは、第１ハウリングキャンセラ４０の出力信号が第１エコー・クロストークキャンセラ５０に入力される時刻を決定づける要因（Ａ／Ｄ変換の速度、第２エコー・クロストークキャンセラ７０での処理速度、第１ハウリングキャンセラ４０での処理速度等）と、第２話者１２の音声が第１マイク２１に入力される時刻を決定づける要因（第２話者１２と第１マイク２１との位置関係等）とを考慮することで適宜、実現し得る。
［１−２−３．第２ハウリングキャンセラ６０］
第２ハウリングキャンセラ６０は、第１エコー・クロストークキャンセラ５０と第１スピーカ２２との間に設けられ、第１スピーカ２２から出力された音声が第１マイク２１に帰還して入力される第２ハウリング３３の程度を示す第２ハウリング信号を推定して算出し、算出した第２ハウリング信号を、第１マイク２１の出力信号から除去する回路である。本実施の形態では、第２ハウリングキャンセラ６０は、第１マイク２１の出力信号から第１妨害信号が除去された第１エコー・クロストークキャンセラ５０の出力信号から、さらに第２ハウリング信号を除去し、除去後の信号を第１スピーカ２２に出力する回路であり、デジタル音声データを時間軸領域で処理するデジタル信号処理回路である。
より詳しくは、第２ハウリングキャンセラ６０は、第３伝達関数記憶回路６４、第２遅延器６６、第３記憶回路６２、第３畳み込み演算器６３、第３減算器６１、及び、第３伝達関数更新回路６５を有する。
第３伝達関数記憶回路６４は、第２ハウリング３３の伝達関数として推定された伝達関数を記憶する。
第２遅延器６６は、第２ハウリングキャンセラ６０の出力信号を遅延させる。
第３記憶回路６２は、第２遅延器６６から出力された信号を記憶する。
第３畳み込み演算器６３は、第３記憶回路６２に記憶された信号と第３伝達関数記憶回路６４に記憶された伝達関数とを畳み込むことで第２ハウリング信号を生成する。例えば、第３畳み込み演算器６３は、以下の式７に示される畳み込み演算を行うＮタップのＦＩＲフィルタである。
Figure 2017064839
ここで、ｙ３’ｔは、時刻ｔにおける第２ハウリング信号である。Ｎは、ＦＩＲフィルタのタップ数である。Ｈ３（ｉ）ｔは、時刻ｔにおいて第３伝達関数記憶回路６４に記憶されたＮ個の伝達関数のうちのｉ番目の伝達関数である。ｘ３（ｔ−ｉ−τ２）は、第３記憶回路６２に記憶された信号のうち、（ｔ−ｉ−τ２）番目の信号である。τ２は、第２遅延器６６による遅延時間である。
第３減算器６１は、第１エコー・クロストークキャンセラ５０の出力信号から、第３畳み込み演算器６３から出力された第２ハウリング信号を除去し、第２ハウリングキャンセラ６０の出力信号として出力する。例えば、第３減算器６１は、以下の式８に示される減算を行う。
Figure 2017064839
ここで、ｅ３ｔは、時刻ｔにおける第３減算器６１の出力信号である。ｙ３ｔは、時刻ｔにおける第１エコー・クロストークキャンセラ５０の出力信号である。
第３伝達関数更新回路６５は、第３減算器６１の出力信号と第３記憶回路６２に記憶された信号とに基づいて第３伝達関数記憶回路６４に記憶された伝達関数を更新する。例えば、第３伝達関数更新回路６５は、以下の式９に示されるように、独立成分分析を用いて、第３減算器６１の出力信号と第３記憶回路６２に記憶された信号とに基づいて、第３減算器６１の出力信号と第３記憶回路６２に記憶された信号とが相互に独立となるように、第３伝達関数記憶回路６４に記憶された伝達関数を更新する。
Figure 2017064839
ここで、Ｈ３（ｊ）ｔ＋１は、時刻ｔ＋１における（つまり、更新後の）第３伝達関数記憶回路６４に記憶されるＮ個の伝達関数のうちのｊ番目の伝達関数である。Ｈ３（ｊ）ｔは、時刻ｔ（つまり、更新前の）第３伝達関数記憶回路６４に記憶されたＮ個の伝達関数のうちのｊ番目の伝達関数である。α３は、第２ハウリング３３の伝達関数の推定における学習速度を制御するためのステップサイズパラメータである。φ３は、非線形関数（例えば、シグモイド関数（ｓｉｇｍｏｉｄ関数）、双曲線正接関数（ｔａｎｈ関数）、正規化線形関数又は符号関数（ｓｉｇｎ関数））である。
このように、第３伝達関数更新回路６５は、第３減算器６１の出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して第３記憶回路６２に記憶された信号と、第２ハウリング３３の伝達関数の推定における学習速度を制御するための第３ステップサイズパラメータとを乗じることで第３更新係数を算出する。そして、算出した第３更新係数を第３伝達関数記憶回路６４に記憶された伝達関数に加算することで更新を行う。
［１−２−４．第２エコー・クロストークキャンセラ７０］
第２エコー・クロストークキャンセラ７０は、第２ハウリングキャンセラ６０の出力信号を用いて、第１スピーカ２２から出力された音声が第２マイク２３に回り込んで入力される第２エコー３４、及び、第１話者１１の音声が第２マイク２３に入力される第２クロストーク３５の程度を示す第２妨害信号を推定して算出し、算出した第２妨害信号を、第２マイク２３の出力信号から除去する回路である。本実施の形態では、第２エコー・クロストークキャンセラ７０は、第２妨害信号が除去された信号を第１ハウリングキャンセラ４０に出力する回路であり、デジタル音声データを時間軸領域で処理するデジタル信号処理回路である。ここで、第２ハウリングキャンセラ６０の出力信号は、図２示すように、第１スピーカ２２への入力信号である。
より詳しくは、第２エコー・クロストークキャンセラ７０は、第４伝達関数記憶回路７４、第４記憶回路７２、第４畳み込み演算器７３、第４減算器７１、及び、第４伝達関数更新回路７５を有する。
第４伝達関数記憶回路７４は、第２エコー３４と第２クロストーク３５とを合わせた伝達関数として推定された伝達関数を記憶する。
第４記憶回路７２は、第２ハウリングキャンセラ６０の出力信号を記憶する。
第４畳み込み演算器７３は、第４記憶回路７２に記憶された信号と第４伝達関数記憶回路７４に記憶された伝達関数とを畳み込むことで第２妨害信号を生成する。例えば、第４畳み込み演算器７３は、以下の式１０に示される畳み込み演算を行うＮタップのＦＩＲフィルタである。
Figure 2017064839
ここで、ｙ４’ｔは、時刻ｔにおける第２妨害信号である。Ｎは、ＦＩＲフィルタのタップ数である。Ｈ４（ｉ）ｔは、時刻ｔにおいて第４伝達関数記憶回路７４に記憶されたＮ個の伝達関数のうちのｉ番目の伝達関数である。ｘ４（ｔ−ｉ）は、第４記憶回路７２に記憶された信号のうち、（ｔ−ｉ）番目の信号である。
第４減算器７１は、第２マイク２３の出力信号から、第４畳み込み演算器７３から出力された第２妨害信号を除去し、第２エコー・クロストークキャンセラ７０の出力信号として出力する。例えば、第４減算器７１は、以下の式１１に示される減算を行う。
Figure 2017064839
ここで、ｅ４ｔは、時刻ｔにおける第４減算器７１の出力信号である。ｙ４ｔは、時刻ｔにおける第２マイク２３の出力信号である。
第４伝達関数更新回路７５は、第４減算器７１の出力信号と第４記憶回路７２に記憶された信号とに基づいて第４伝達関数記憶回路７４に記憶された伝達関数を更新する。例えば、第４伝達関数更新回路７５は、以下の式１２に示されるように、独立成分分析を用いて、第４減算器７１の出力信号と第４記憶回路７２に記憶された信号とに基づいて、第４減算器７１の出力信号と第４記憶回路７２に記憶された信号とが相互に独立となるように、第４伝達関数記憶回路７４に記憶された伝達関数を更新する。
Figure 2017064839
ここで、Ｈ４（ｊ）ｔ＋１は、時刻ｔ＋１における（つまり、更新後の）第４伝達関数記憶回路７４に記憶されるＮ個の伝達関数のうちのｊ番目の伝達関数である。Ｈ４（ｊ）ｔは、時刻ｔ（つまり、更新前の）第４伝達関数記憶回路７４に記憶されたＮ個の伝達関数のうちのｊ番目の伝達関数である。α４は、第２エコー３４と第２クロストーク３５とを合わせた伝達関数の推定における学習速度を制御するためのステップサイズパラメータである。φ４は、非線形関数（例えば、シグモイド関数（ｓｉｇｍｏｉｄ関数）、双曲線正接関数（ｔａｎｈ関数）、正規化線形関数又は符号関数（ｓｉｇｎ関数））である。
このように、第４伝達関数更新回路７５は、第４減算器７１の出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して第４記憶回路７２に記憶された信号と、第２エコー３４と第２クロストーク３５とを合わせた伝達関数の推定における学習速度を制御するための第４ステップサイズパラメータとを乗じることで第４更新係数を算出する。そして、算出した第４更新係数を第４伝達関数記憶回路７４に記憶された伝達関数に加算することで更新を行う。
なお、本実施の形態における双方向会話補助装置２０では、第１話者１１の同一時刻における音声について、第２ハウリングキャンセラ６０の出力信号が第２エコー・クロストークキャンセラ７０に入力される時刻は、第１話者１１の音声が第２マイク２３に入力される時刻と同一、又は、より早くなるように、設計されている。つまり、第２エコー・クロストークキャンセラ７０が第２クロストーク３５をキャンセルできるように、因果律が保持されている。これは、第２ハウリングキャンセラ６０の出力信号が第２エコー・クロストークキャンセラ７０に入力される時刻を決定づける要因（Ａ／Ｄ変換の速度、第１エコー・クロストークキャンセラ５０での処理速度、第２ハウリングキャンセラ６０での処理速度等）と、第１話者１１の音声が第２マイク２３に入力される時刻を決定づける要因（第１話者１１と第２マイク２３との位置関係等）とを考慮することで適宜、実現し得る。
［１−３．動作］
以上のように構成された本実施の形態における双方向会話補助装置２０では、第１話者１１の音声及び第２話者１２の音声は次のように、処理される。
第１話者１１の音声は、第１マイク２１に入力される。第１マイク２１の出力信号は、第１エコー・クロストークキャンセラ５０において、第１妨害信号が除去される。第１妨害信号は、第１エコー３１及び第１クロストーク３２の程度を示す（推定された）信号である。よって、第１エコー・クロストークキャンセラ５０の出力信号は、第１マイク２１に入力された音声から、第１エコー３１及び第１クロストーク３２の影響が除去された音声を示す信号となる。
続いて、第１エコー・クロストークキャンセラ５０の出力信号は、第２ハウリングキャンセラ６０において、第２ハウリング信号が除去される。第２ハウリング信号は、第２ハウリング３３の程度を示す（推定された）信号である。よって、第２ハウリングキャンセラ６０の出力信号は、第１エコー・クロストークキャンセラ５０の出力信号から、第２ハウリング３３の影響が除去された信号となる。この信号が第１スピーカ２２に入力され音声となって出力される。
よって、第１スピーカ２２から出力される音声は、第１マイク２１に入力された音声のうち、第１エコー３１、第１クロストーク３２及び第２ハウリング３３の影響が除去された音声、つまり、音響的雑音が除去された第１話者１１の音声だけとなる。
同様に、第２話者１２の音声は、第２マイク２３に入力される。第２マイク２３の出力信号は、第２エコー・クロストークキャンセラ７０において、第２妨害信号が除去される。第２妨害信号は、第２エコー３４及び第２クロストーク３５の程度を示す（推定された）信号である。よって、第２エコー・クロストークキャンセラ７０の出力信号は、第２マイク２３に入力された音声から、第２エコー３４及び第２クロストーク３５の影響が除去された音声を示す信号となる。
続いて、第２エコー・クロストークキャンセラ７０の出力信号は、第１ハウリングキャンセラ４０において、第１ハウリング信号が除去される。第１ハウリング信号は、第１ハウリング３０の程度を示す（推定された）信号である。よって、第１ハウリングキャンセラ４０の出力信号は、第２エコー・クロストークキャンセラ７０の出力信号から、第１ハウリング３０の影響が除去された信号となる。この信号が第２スピーカ２４に入力され音声となって出力される。
よって、第２スピーカ２４から出力される音声は、第２マイク２３に入力された音声のうち、第２エコー３４、第２クロストーク３５及び第１ハウリング３０の影響が除去された音声、つまり、音響的雑音が除去された第２話者１２の音声だけとなる。
なお、音響的雑音が除去される程度は、第１ハウリングキャンセラ４０、第１エコー・クロストークキャンセラ５０、第２ハウリングキャンセラ６０、及び、第２エコー・クロストークキャンセラ７０に保持された伝達関数の精度、上記式３、式６、式９及び式１２に示される伝達関数の更新式におけるパラメータ等に依存するのは言うまでもない。
［１−４．効果等］
以上のように、本実施の形態における双方向会話補助装置２０は、第１マイク２１及び第１エコー・クロストークキャンセラ５０を備える。そして、双方向会話補助装置２０では、第２話者１２の同一時刻における音声について、信号が第１エコー・クロストークキャンセラ５０に入力される時刻は、第２話者１２の音声が第１マイク２１に入力される時刻と同一、又は、より早くなるように、設計されている。よって、第１エコー・クロストークキャンセラ５０は、第２スピーカ２４から出力された音声が第１マイク２１に回り込んで入力される第１エコー３１だけでなく、第２話者１２の音声が第１マイク２１に入力される第１クロストーク３２をも推定して、第１マイク２１の出力信号から除去する。
これにより、例えば音源分離技術を使って、第１マイク２１に入力される第１話者１１の音声と第２話者１２の音声（第１クロストーク３２）とを分離して第１話者１１の音声だけを抽出することなく、第１マイク２１の出力信号から第１エコー３１及び第１クロストーク３２による音響的雑音が除去される。そのため、ハードウェアを増加することなく、第１クロストーク３２による音声が第２話者１２側の第１スピーカ２２から拡声されてしまうことが抑制される。
同様に、本実施の形態における双方向会話補助装置２０は、第２マイク２３及び第２エコー・クロストークキャンセラ７０を備える。そして、双方向会話補助装置２０では、第１話者１１の同一時刻における音声について、信号が第２エコー・クロストークキャンセラ７０に入力される時刻は、第１話者１１の音声が第２マイク２３に入力される時刻と同一、又は、より早くなるように、設計されている。よって、第２エコー・クロストークキャンセラ７０は、第１スピーカ２２から出力された音声が第２マイク２３に回り込んで入力される第２エコー３４だけでなく、第１話者１１の音声が第２マイク２３に入力される第２クロストーク３５をも推定して、第２マイク２３の出力信号から除去する。
これにより、例えば音源分離技術を使って、第２マイク２３に入力される第２話者１２の音声と第１話者１１の音声（第２クロストーク３５）とを分離して第２話者１２の音声だけを抽出することなく、第２マイク２３の出力信号から第２エコー３４及び第２クロストーク３５による音響的雑音が除去される。そのため、ハードウェアを増加することなく、第２クロストーク３５による音声が第１話者１１側の第２スピーカ２４から拡声されてしまうことが抑制される。
また、本実施の形態における双方向会話補助装置２０は、第１マイク２１、第１スピーカ２２、第２マイク２３、第２スピーカ２４、第１ハウリングキャンセラ４０、第１エコー・クロストークキャンセラ５０、第２ハウリングキャンセラ６０、及び、第２エコー・クロストークキャンセラ７０を備える。
一般に、第１話者１１側に設置される第１マイク２１と第２スピーカ２４との距離は、第１話者１１の音声を処理する第１マイク２１と第１スピーカ２２との距離よりも小さく、同様に、第２話者１２側に設置される第２マイク２３と第１スピーカ２２との距離は、第２話者１２の音声を処理する第２マイク２３と第２スピーカ２４との距離よりも小さい。
よって、本実施の形態における双方向会話補助装置２０では、第１マイク２１に入力された音声に対して、まず、第１エコー・クロストークキャンセラ５０で第１エコー３１と第１クロストーク３２とが除去され、次に、第２ハウリングキャンセラ６０で第２ハウリング３３が除去される。同様に、第２マイク２３に入力された音声に対して、まず、第２エコー・クロストークキャンセラ７０で第２エコー３４と第２クロストーク３５とが除去され、次に、第１ハウリングキャンセラ４０で第１ハウリング３０が除去される。
このように、距離が近くて音響結合の強い第２スピーカ２４から第１マイク２１への第１エコー３１と、第１スピーカ２２から第２マイク２３への第２エコー３４がそれぞれ第１エコー・クロストークキャンセラ５０と第２エコー・クロストークキャンセラ７０とによって最初に除去される。これにより、第１マイク２１及び第２マイク２３に入力される最も強い第１エコー３１と第２エコー３４とが最初に除去されるために、第１エコー・クロストークキャンセラ５０の後段に位置する第２ハウリングキャンセラ６０による第２ハウリング３３の除去と、第２エコー・クロストークキャンセラ７０の後段に位置する第１ハウリングキャンセラ４０による第１ハウリング３０の除去が容易になる。そのため、音響的雑音の効率的な除去が可能になる。
さらに、このようなエコーの除去に加えて、第１マイク２１に入力された音声に対して、第１エコー・クロストークキャンセラ５０によって第１クロストーク３２が除去され、第２ハウリングキャンセラ６０よって第２ハウリング３３が除去される。同様に、第２マイク２３に入力された音声に対して、第２エコー・クロストークキャンセラ７０によって第２クロストーク３５が除去され、第１ハウリングキャンセラ４０によって第１ハウリング３０が除去され、第１マイク２１及び第２マイク２３に入力される不要な信号が全て除去される。そのため、ハウリング、エコー及びクロストークを起こすことなく、車内のような同一空間において、音響的雑音を除去した状態で、双方向に音声を拡声することが可能になる。
また、本実施の形態における双方向会話補助装置２０では、第１ハウリングキャンセラ４０、第１エコー・クロストークキャンセラ５０、第２ハウリングキャンセラ６０、及び、第２エコー・クロストークキャンセラ７０に畳み込み演算器が設けられているので、周波数領域ではなく、時間軸領域で音響的雑音を除去する信号処理が行われ、高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）等の処理が不要となり、その結果、高速な信号処理によって確実に音響的雑音が除去される。
［１−５．変形例］
上記実施の形態では、第１伝達関数更新回路４５は、上記式３に従って伝達関数を更新したが、以下の式１３又は式１４に示されるように、正規化された式に従って伝達関数を更新してもよい。
Figure 2017064839
ここで、Ｎは、第１伝達関数記憶回路４４に記憶される伝達関数の個数である。｜ｘ１（ｔ−ｉ−τ１）｜は、ｘ１（ｔ−ｉ−τ１）の絶対値である。
Figure 2017064839
これにより、第１伝達関数更新回路４５による推定伝達関数の更新が、入力信号ｘ１（ｔ−ｊ）の振幅に依存せず、安定して実施される。
同様に、第２伝達関数更新回路５５は、上記式６に従って伝達関数を更新したが、以下の式１５又は式１６に示されるように、正規化された式に従って伝達関数を更新してもよい。
Figure 2017064839
ここで、Ｎは、第２伝達関数記憶回路５４に記憶される伝達関数の個数である。｜ｘ２（ｔ−ｉ）｜は、ｘ２（ｔ−ｉ）の絶対値である。
Figure 2017064839
これにより、第２伝達関数更新回路５５による推定伝達関数の更新が、入力信号ｘ２（ｔ−ｊ）の振幅に依存せず、安定して実施される。
同様に、第３伝達関数更新回路６５は、上記式９に従って伝達関数を更新したが、以下の式１７又は式１８に示されるように、正規化された式に従って伝達関数を更新してもよい。
Figure 2017064839
ここで、Ｎは、第３伝達関数記憶回路６４に記憶される伝達関数の個数である。｜ｘ３（ｔ−ｉ−τ３）｜は、ｘ３（ｔ−ｉ−τ３）の絶対値である。
Figure 2017064839
これにより、第３伝達関数更新回路６５による推定伝達関数の更新が、入力信号ｘ３（ｔ−ｊ）の振幅に依存せず、安定して実施される。
同様に、第４伝達関数更新回路７５は、上記式１２に従って伝達関数を更新したが、以下の式１９又は式２０に示されるように、正規化された式に従って伝達関数を更新してもよい。
Figure 2017064839
ここで、Ｎは、第４伝達関数記憶回路７４に記憶される伝達関数の個数である。｜ｘ４（ｔ−ｉ−τ）｜は、ｘ４（ｔ−ｉ−τ）の絶対値である。
Figure 2017064839
これにより、第４伝達関数更新回路７５による推定伝達関数の更新が、入力信号ｘ４（ｔ−ｊ）の振幅に依存せず、安定して実施される。
また、上記実施の形態は、双方向会話補助装置であったが、以下のような双方向会話補助方法であってもよい。
つまり、会話システムにおいて第１話者１１と第２話者１２による双方向の会話を拡声して補助する双方向会話補助方法であって、会話システムは、第１話者１１の音声を入力するための第１マイク２１と、第１話者１１の音声を出力するための第１スピーカ２２と、第２話者１２の音声を入力するための第２マイク２３と、第２話者１２の音声を出力するための第２スピーカ２４とを備える。双方向会話補助方法は、第１ハウリングキャンセルステップと、第１エコー・クロストークキャンセルステップと、第２ハウリングキャンセルステップと、第２エコー・クロストークキャンセルステップと、を含む。
第１ハウリングキャンセルステップでは、第２スピーカ２４から出力された音声が第２マイク２３に帰還して入力される第１ハウリング３０の程度を示す第１ハウリング信号を推定して算出し、算出した第１ハウリング信号を、第２マイク２３からの信号から除去し、除去後の信号を第２スピーカ２４に出力する。ここで、第２マイク２３からの信号は第２エコー・クロストークキャンセルステップで得られた信号である。
第１エコー・クロストークキャンセルステップでは、第２スピーカ２４に入力される信号を用いて、第２スピーカ２４から出力された音声が第１マイク２１に回り込んで入力される第１エコー３１、及び、第２話者１２の音声が第１マイク２１に入力される第１クロストーク３２の程度を示す第１妨害信号を推定して算出し、算出した第１妨害信号を、第１マイク２１の出力信号から除去する。ここで、第２スピーカ２４に入力される信号は、第１ハウリングキャンセルステップで得られた信号である。
第２ハウリングキャンセルステップでは、第１スピーカ２２から出力された音声が第１マイク２１に帰還して入力される第２ハウリング３３の程度を示す第２ハウリング信号を推定して算出し、算出した第２ハウリング信号を、第１マイク２１からの信号から除去し、除去後の信号を第１スピーカ２２に出力する。ここで、第１マイク２１からの信号は第１エコー・クロストークキャンセルステップで得られた信号である。
第２エコー・クロストークキャンセルステップでは、第１スピーカ２２に入力される信号を用いて、第１スピーカ２２から出力された音声が第２マイク２３に回り込んで入力される第２エコー３４、及び、第１話者１１の音声が第２マイク２３に入力される第２クロストーク３５の程度を示す第２妨害信号を推定して算出し、算出した第２妨害信号を、第２マイク２３の出力信号から除去する。ここで、第１スピーカ２２に入力される信号は、第２ハウリングキャンセルステップで得られた信号である。
このような双方向会話補助方法は、例えば、プログラムを実行するプロセッサによって行われる。つまり、上記実施の形態における第１ハウリングキャンセラ４０、第１エコー・クロストークキャンセラ５０、第２ハウリングキャンセラ６０、及び、第２エコー・クロストークキャンセラ７０は、プログラムを実行するプロセッサによって実現されてもよい。そのプロセッサには、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ−Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、及び、マイクロプロセッサが含まれる。
また、このような双方向会話補助方法は、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体に記録されるプログラム、及び、そのプログラムが記録された記録媒体で実現されてもよい。
（実施の形態２）
次に、実施の形態２における双方向会話補助装置について説明する。本実施の形態における双方向会話補助装置は、実施の形態１における双方向会話補助装置と同様に、第１話者と第２話者による双方向の会話を拡声して補助する装置であるが、実施の形態１における第２ハウリング３３、第２エコー３４及び第２クロストーク３５が無視できる程度に小さい場合に、好適な装置である。
［２−１．構成］
図３は、実施の形態２における双方向会話補助装置２０ａの構成を示すブロック図である。この双方向会話補助装置２０ａは、実施の形態１における双方向会話補助装置２０の構成から、第２ハウリングキャンセラ６０及び第２エコー・クロストークキャンセラ７０を除外した構成に相当する。以下、実施の形態１と同じ構成要素については、実施の形態１と同じ符号を付し、その説明を省略する。
この双方向会話補助装置２０ａは、第１マイク２１、第１スピーカ２２、第２マイク２３、第２スピーカ２４、第１ハウリングキャンセラ４０、及び、第１エコー・クロストークキャンセラ５０を備える。いずれの構成要素も、実施の形態１における対応する構成要素と同一である。
ただし、この双方向会話補助装置２０ａでは、実施の形態１における第２ハウリングキャンセラ６０及び第２エコー・クロストークキャンセラ７０が備えられていないので、第１エコー・クロストークキャンセラ５０の出力信号は第１スピーカ２２に入力され、第２マイク２３の出力信号は第１ハウリングキャンセラ４０に入力される。
また、第２話者１２が使用する第１スピーカ２２及び第２マイク２３は、典型的には、第２話者１２の頭部に装着されるヘッドセットである。
［２−２．動作］
このような構成を備える本実施の形態における双方向会話補助装置２０ａは、実施の形態１における双方向会話補助装置２０と比較して、第１ハウリングキャンセラ４０及び第１エコー・クロストークキャンセラ５０を備えるが、第２ハウリングキャンセラ６０及び第２エコー・クロストークキャンセラ７０を備えない。よって、この双方向会話補助装置２０ａは、実施の形態１における双方向会話補助装置２０が有する音響的雑音の除去機能のうち、第１ハウリング３０、第１エコー３１及び第１クロストーク３２の除去機能を有し、第２ハウリング３３、第２エコー３４及び第２クロストーク３５の除去機能を有しない。
本実施の形態では、第２話者１２が使用する第１スピーカ２２及び第２マイク２３がヘッドセットであるので、第１スピーカ２２が第２話者１２の耳に密着して装着され、その結果、第１スピーカ２２からの音漏れが少ない。よって、実施の形態１における第２ハウリング３３及び第２エコー３４を無視し得る。また、第２マイク２３が第２話者１２の口元に保持されることから、第１話者１１の音声が第２マイク２３に入力される第２クロストーク３５の影響も無視し得る。
［２−３．効果等］
本実施の形態における双方向会話補助装置２０ａは、第２話者１２が使用する第１スピーカ２２及び第２マイク２３がヘッドセットである場合に必要となる最低限の音響的雑音（第１ハウリング３０、第１エコー３１及び第１クロストーク３２）の除去機能だけを有するので、実施の形態１と比べて、少ない構成要素で、つまり、安価で、かつ、コンパクトな構成で、必要最低限の音響的雑音を除去することができる。
なお、本実施の形態も、実施の形態１と同様に、双方向会話補助方法及びプログラムとして実現されてもよい。そのような双方向会話補助方法は、上述した第１ハウリングキャンセルステップと、第１エコー・クロストークキャンセルステップとを含む。
（実施の形態３）
次に、実施の形態３における双方向会話補助装置について説明する。本実施の形態における双方向会話補助装置は、実施の形態１における双方向会話補助装置と同様に、第１話者と第２話者による双方向の会話を拡声して補助する装置であるが、実施の形態１における第１ハウリング３０、第２ハウリング３３、第２エコー３４及び第２クロストーク３５が無視できる程度に小さい場合に、好適な装置である。
［３−１．構成］
図４は、実施の形態３における双方向会話補助装置２０ｂの構成を示すブロック図である。この双方向会話補助装置２０ｂは、実施の形態１における双方向会話補助装置２０の構成から、第１ハウリングキャンセラ４０、第２ハウリングキャンセラ６０及び第２エコー・クロストークキャンセラ７０を除外した構成、言い換えると、実施の形態２における双方向会話補助装置２０ａの構成から、第１ハウリングキャンセラ４０を除外した構成に相当する。以下、実施の形態１と同じ構成要素については、実施の形態１と同じ符号を付し、その説明を省略する。
この双方向会話補助装置２０ｂは、第１マイク２１、第１スピーカ２２、第２マイク２３、第２スピーカ２４、及び、第１エコー・クロストークキャンセラ５０を備える。いずれの構成要素も、実施の形態１における対応する構成要素と同一である。
ただし、この双方向会話補助装置２０ｂでは、実施の形態１における第１ハウリングキャンセラ４０、第２ハウリングキャンセラ６０及び第２エコー・クロストークキャンセラ７０が備えられていないので、第１エコー・クロストークキャンセラ５０の出力信号は第１スピーカ２２に入力され、第２マイク２３の出力信号は第２スピーカ２４及び第１エコー・クロストークキャンセラ５０に入力される。
また、第２話者１２が使用する第１スピーカ２２及び第２マイク２３は、典型的には、第２話者１２の頭部に装着されるヘッドセットである。さらに、第２マイク２３と第２スピーカ２４とは、第２スピーカ２４から出力された音声が第２マイク２３に帰還して入力される第１ハウリング３０が無視できる程度に小さい環境に設置されている。例えば、第２スピーカ２４は、第２マイク２３が存在する方向とは反対の方向に向けて音声を出力する位置に設けられている（あるいは、そのような音声出力の指向特性を有する）。
［３−２．動作］
このような構成を備える本実施の形態における双方向会話補助装置２０ｂは、実施の形態１における双方向会話補助装置２０と比較して、第１エコー・クロストークキャンセラ５０を備えるが、第１ハウリングキャンセラ４０、第２ハウリングキャンセラ６０及び第２エコー・クロストークキャンセラ７０を備えない。よって、この双方向会話補助装置２０ｂは、実施の形態１における双方向会話補助装置２０が有する音響的雑音の除去機能のうち、第１エコー３１及び第１クロストーク３２の除去機能を有し、第１ハウリング３０、第２ハウリング３３、第２エコー３４及び第２クロストーク３５の除去機能を有しない。
本実施の形態では、第２話者１２が使用する第１スピーカ２２及び第２マイク２３がヘッドセットであるので、第１スピーカ２２が第２話者１２の耳に密着して装着され、その結果、第１スピーカ２２からの音漏れが少ない。よって、実施の形態１における第２ハウリング３３及び第２エコー３４を無視し得る。また、第２マイク２３が第２話者１２の口元に保持されることから、第１話者１１の音声が第２マイク２３に入力される第２クロストーク３５の影響も無視し得る。さらに、第２マイク２３と第２スピーカ２４とは、第２スピーカ２４から出力された音声が第２マイク２３に帰還して入力される第１ハウリング３０が無視できる程度に小さい環境に設置されている。
［３−３．効果等］
本実施の形態における双方向会話補助装置２０ｂは、第２話者１２が使用する第１スピーカ２２及び第２マイク２３がヘッドセットであり、かつ、第２マイク２３と第２スピーカ２４とが第１ハウリング３０が無視できる程度に音響結合が小さい環境に設置されている場合に必要となる最低限の音響的雑音（第１エコー３１及び第１クロストーク３２）の除去機能だけを有する。そのため、実施の形態１及び２と比べて、少ない構成要素で、つまり、安価で、かつ、コンパクトな構成で、必要最低限の音響的雑音を除去することができる。
なお、本実施の形態も、実施の形態１と同様に、双方向会話補助方法及びプログラムとして実現されてもよい。そのような双方向会話補助方法は、上述した第１エコー・クロストークキャンセルステップを含む。
（実施の形態４）
次に、実施の形態４における双方向会話補助装置について説明する。本実施の形態における双方向会話補助装置は、実施の形態１における双方向会話補助装置と同様に、第１話者と第２話者による双方向の会話を拡声して補助する装置であるが、実施の形態１における第１ハウリング３０及び第２ハウリング３３が無視できる程度に小さい場合に、好適な装置である。
［４−１．構成］
図５は、実施の形態４における双方向会話補助装置２０ｃの構成を示すブロック図である。この双方向会話補助装置２０ｃは、実施の形態１における双方向会話補助装置２０の構成から、第１ハウリングキャンセラ４０及び第２ハウリングキャンセラ６０を除外した構成に相当する。以下、実施の形態１と同じ構成要素については、実施の形態１と同じ符号を付し、その説明を省略する。
この双方向会話補助装置２０ｃは、第１マイク２１、第１スピーカ２２、第２マイク２３、第２スピーカ２４、第１エコー・クロストークキャンセラ５０及び第２エコー・クロストークキャンセラ７０を備える。いずれの構成要素も、実施の形態１における対応する構成要素と同一である。
ただし、この双方向会話補助装置２０ｃでは、実施の形態１における第１ハウリングキャンセラ４０及び第２ハウリングキャンセラ６０が備えられていないので、第１エコー・クロストークキャンセラ５０の出力信号は第１スピーカ２２及び第２エコー・クロストークキャンセラ７０に入力され、第２エコー・クロストークキャンセラ７０の出力信号は第２スピーカ２４及び第１エコー・クロストークキャンセラ５０に入力される。
また、第１マイク２１と第１スピーカ２２とは、第１スピーカ２２から出力された音声が第１マイク２１に帰還して入力される第２ハウリング３３が無視できる程度に小さい環境に設置されている。例えば、第１スピーカ２２は、第１マイク２１が存在する方向とは反対の方向に向けて音声を出力する位置に設けられている（あるいは、そのような音声出力の指向特性を有する）。
同様に、第２マイク２３と第２スピーカ２４とは、第２スピーカ２４から出力された音声が第２マイク２３に帰還して入力される第１ハウリング３０が無視できる程度に小さい環境に設置されている。例えば、第２スピーカ２４は、第２マイク２３が存在する方向とは反対の方向に向けて音声を出力する位置に設けられている（あるいは、そのような音声出力の指向特性を有する）。
［４−２．動作］
このような構成を備える本実施の形態における双方向会話補助装置２０ｃは、実施の形態１における双方向会話補助装置２０と比較して、第１エコー・クロストークキャンセラ５０及び第２エコー・クロストークキャンセラ７０を備えるが、第１ハウリングキャンセラ４０及び第２ハウリングキャンセラ６０を備えない。よって、この双方向会話補助装置２０ｃは、実施の形態１における双方向会話補助装置２０が有する音響的雑音の除去機能のうち、第１エコー３１、第１クロストーク３２、第２エコー３４及び第２クロストーク３５の除去機能を有し、第１ハウリング３０及び第２ハウリング３３の除去機能を有しない。
本実施の形態では、第１マイク２１と第１スピーカ２２とは、第１スピーカ２２から出力された音声が第１マイク２１に帰還して入力される第２ハウリング３３が無視できる程度に小さい環境に設置されている。さらに、第２マイク２３と第２スピーカ２４とは、第２スピーカ２４から出力された音声が第２マイク２３に帰還して入力される第１ハウリング３０が無視できる程度に小さい環境に設置されている。
［４−３．効果等］
本実施の形態における双方向会話補助装置２０ｃは、第１マイク２１と第１スピーカ２２とが第２ハウリング３３が無視できる程度に音響結合が小さい環境に設置され、かつ、第２マイク２３と第２スピーカ２４とが第１ハウリング３０が無視できる程度に音響結合が小さい環境に設置されている場合に必要となる最低限の音響的雑音（第１エコー３１、第１クロストーク３２、第２エコー３４及び第２クロストーク３５）の除去機能だけを有する。そのため、実施の形態１と比べて、少ない構成要素で、つまり、安価で、かつ、コンパクトな構成で、必要最低限の音響的雑音を除去することができる。
なお、本実施の形態も、実施の形態１と同様に、双方向会話補助方法及びプログラムとして実現されてもよい。そのような双方向会話補助方法は、上述した第１エコー・クロストークキャンセルステップと、第２エコー・クロストークキャンセルステップとを含む。
（実施の形態５）
次に、実施の形態５における双方向会話補助装置について説明する。本実施の形態における双方向会話補助装置は、実施の形態１における双方向会話補助装置と同様に、第１話者と第２話者による双方向の会話を拡声して補助する装置であるが、その拡声機能に加えて、ラジオ、ＴＶ及びミュージックプレーヤ等の音響再生器からの音響を第１話者及び第２話者に出力する機能も有する。
［５−１．構成］
図６は、実施の形態５における双方向会話補助装置２０ｄの構成を示すブロック図である。この双方向会話補助装置２０ｄは、実施の形態１における双方向会話補助装置２０の構成に加えて、音響再生器１００、第１ビームフォーマ１０２、第２ビームフォーマ１０６、第１ノイズ抑圧器１０４、第２ノイズ抑圧器１０８、第１音響キャンセラ１５０及び第２音響キャンセラ１７０を備える。以下、実施の形態１と同じ構成要素については、実施の形態１と同じ符号を付し、その説明を省略する。
第１ビームフォーマ１０２は、複数のマイクで構成される第１マイク２１から入力される音声の指向特性を目的とする方向（第１話者１１の口元）に定める音響ビームフォーミングを行う回路である。
第２ビームフォーマ１０６は、複数のマイクで構成される第２マイク２３から入力される音声の指向特性を目的とする方向（第２話者１２の口元）に定める音響ビームフォーミングを行う回路である。
第１ノイズ抑圧器１０４は、第１マイク２１に飛び込んだ外来ノイズを除去する回路であり、第２ハウリングキャンセラ６０の出力信号から音声以外の信号成分を除去する。
第２ノイズ抑圧器１０８は、第２マイク２３に飛び込んだ外来ノイズを除去する回路であり、第１ハウリングキャンセラ４０の出力信号から音声以外の信号成分を除去する。
音響再生器１００は、第１話者１１及び第２話者１２に提供する音響の音源であり、例えば、ラジオ、ＴＶ及びミュージックプレーヤ等である。
第１音響キャンセラ１５０は、第２ノイズ抑圧器１０８の出力信号に音響再生器１００の出力信号（音響信号）を加算して第２スピーカ２４に出力するとともに、第１ビームフォーマ１０２の出力信号から、第２スピーカ２４から出力された音響が第１マイク２１に回り込んで入力される第１音響エコーの程度を示す第１音響エコー信号を推定して算出する。そして、算出した第１音響エコー信号を、第１ビームフォーマ１０２の出力信号から除去し、除去後の信号を第１エコー・クロストークキャンセラ５０に出力する回路である。
この第１音響キャンセラ１５０は、第５伝達関数記憶回路１５４、第５記憶回路１５２、第５畳み込み演算器１５３、第５減算器１５１、第５伝達関数更新回路１５５、及び、第１加算器１５６を有する。この構成は、実施の形態１で説明した第１エコー・クロストークキャンセラ５０の構成に、第１加算器１５６を加えたものに相当する。
第１音響キャンセラ１５０の各構成要素（第５伝達関数記憶回路１５４、第５記憶回路１５２、第５畳み込み演算器１５３、第５減算器１５１、第５伝達関数更新回路１５５）は、第１エコー・クロストークキャンセラ５０の対応する構成要素と同様の機能を有する。
ただし、第５記憶回路１５２は、音響再生器１００の出力信号（音響信号）を記憶する。また、第５畳み込み演算器１５３は、上述した第１音響エコー信号を生成する。
さらに、第１加算器１５６は、第２ノイズ抑圧器１０８の出力信号に音響再生器１００の出力信号（音響信号）を加算して第２スピーカ２４に出力する。
第２音響キャンセラ１７０は、第１ノイズ抑圧器１０４の出力信号に音響再生器１００の出力信号（音響信号）を加算して第１スピーカ２２に出力するとともに、第２ビームフォーマ１０６の出力信号から、第１スピーカ２２から出力された音響が第２マイク２３に回り込んで入力される第２音響エコーの程度を示す第２音響エコー信号を推定して算出する。そして、算出した第２音響エコー信号を、第２ビームフォーマ１０６の出力信号から除去し、除去後の信号を第２エコー・クロストークキャンセラ７０に出力する回路である。
この第２音響キャンセラ１７０は、第６伝達関数記憶回路１７４、第６記憶回路１７２、第６畳み込み演算器１７３、第６減算器１７１、第６伝達関数更新回路１７５、及び、第２加算器１７６を有する。この構成は、実施の形態１で説明した第２エコー・クロストークキャンセラ７０の構成に、第２加算器１７６を加えたものに相当する。
第２音響キャンセラ１７０の各構成要素（第６伝達関数記憶回路１７４、第６記憶回路１７２、第６畳み込み演算器１７３、第６減算器１７１、第６伝達関数更新回路１７５）は、第２エコー・クロストークキャンセラ７０の対応する構成要素と同様の機能を有する。
ただし、第６記憶回路１７２は、音響再生器１００の出力信号（音響信号）を記憶する。また、第６畳み込み演算器１７３は、上述した第２音響エコー信号を生成する。
さらに、第２加算器１７６は、第１ノイズ抑圧器１０４の出力信号に音響再生器１００の出力信号（音響信号）を加算して第１スピーカ２２に出力する。
［５−２．動作及び効果等］
このような構成を備える本実施の形態における双方向会話補助装置２０ｄは、実施の形態１における双方向会話補助装置２０の構成に加えて、第１音響キャンセラ１５０及び第２音響キャンセラ１７０を備えるので、実施の形態１における双方向会話補助装置２０の機能に加えて、音響再生器１００からの音響が、音響エコー信号が除去された状態で、第１話者１１及び第２話者１２に提供される。
さらに、本実施の形態における双方向会話補助装置２０ｄは、第１ビームフォーマ１０２、第２ビームフォーマ１０６、第１ノイズ抑圧器１０４及び第２ノイズ抑圧器１０８を備えるので、第１話者１１及び第２話者１２以外の外来ノイズが抑圧されたクリアな会話が拡声される。
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜５及び変形例を説明した。しかしながら、本開示における技術は、これらに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１〜５及び変形例で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
例えば、実施の形態５における双方向会話補助装置２０ｄは、実施の形態１における双方向会話補助装置２０に、付加的な構成（音響再生器１００、第１ビームフォーマ１０２、第２ビームフォーマ１０６、第１ノイズ抑圧器１０４、第２ノイズ抑圧器１０８、第１音響キャンセラ１５０及び第２音響キャンセラ１７０）が追加されたが、これらの付加的な構成は、実施の形態２〜４のいずれかにおける双方向会話補助装置に対して追加されてもよい。
また、これらの付加的な構成（音響再生器１００、第１ビームフォーマ１０２、第２ビームフォーマ１０６、第１ノイズ抑圧器１０４、第２ノイズ抑圧器１０８、第１音響キャンセラ１５０及び第２音響キャンセラ１７０）は、一部の構成だけ（例えば、第１ビームフォーマ１０２及び第２ビームフォーマ１０６だけ）が実施の形態１〜４のいずれかに追加されてもよい。例えば、実施の形態１における双方向会話補助装置２０に、第１音響キャンセラ１５０及び第２音響キャンセラ１７０だけが追加される場合、第１音響キャンセラ１５０の第５減算器１５１には第１マイク２１の出力信号が入力され、第２音響キャンセラ１７０の第６減算器１７１には第２マイク２３の出力信号が直接入力される。また、第１音響キャンセラ１５０の第１加算器１５６には第２マイク２３からの信号として第１ハウリングキャンセラ４０の出力信号が入力され、第２音響キャンセラ１７０の第２加算器１７６には第１マイク２１からの信号として第２ハウリングキャンセラ６０の出力信号が入力される。
また、実施の形態１〜５では、双方向会話補助装置は、車室内会話補助装置として適用された例が示されたが、このような適用例に限られず、会議室等における部屋内会話補助装置として適用したり、運転者とドライブスルーの店員との会話を補助する装置として適用したりしてもよい。本開示における双方向会話補助装置によれば、双方向会話におけるクロストークが除去されるので、クロストークが発生し易い環境での会話（例えば、同一空間での会話）を補助する装置として、本開示における双方向会話補助装置は好適である。
また、実施の形態１〜５では、第１ハウリングキャンセラ４０、第１エコー・クロストークキャンセラ５０、第２ハウリングキャンセラ６０、及び、第２エコー・クロストークキャンセラ７０が有する畳み込み演算器は、いずれも、ＮタップのＦＩＲフィルタを例として、畳み込み演算を行ったが、それぞれが異なるタップ数の異なるタイプのデジタルフィルタであってもよい。つまり、いかなる種類のデジタルフィルタにするかは、キャンセルする音響的雑音の伝達関数等に依存して適宜、独立して設計してもよい。
また、実施の形態１〜５では、第１ハウリングキャンセラ４０、第１エコー・クロストークキャンセラ５０、第２ハウリングキャンセラ６０、及び、第２エコー・クロストークキャンセラ７０が有する伝達関数更新回路による伝達関数の更新アルゴリズムは、上記式３、式６、式９、式１２に示されるように、同一のアルゴリズムであってもよいし、同一のアルゴリズムであるがステップサイズパラメータが異なってもよいし、異なるアルゴリズムであってもよい。つまり、伝達関数の更新アルゴリズムは、キャンセルする音響的雑音の大きさ等に依存して適宜、独立して設計してもよい。
また、実施の形態１、５の双方向会話補助装置では、マイクから入力された音声信号に対し、エコーとクロストークの除去を行った後、ハウリングを除去するような構成としていたが、ハウリングを除去した後、エコーとクロストークの除去を行うような構成にしてもよい。即ち、第１エコー・クロストークキャンセラ５０と第２ハウリングキャンセラ６０との順序、及び、第２エコー・クロストークキャンセラ７０と第１ハウリングキャンセラ４０との順序は、それぞれ入れ替えることができる。この場合も、実施の形態１、５の双方向会話補助装置と同等の効果が得られる。
また、実施の形態５では、第１音響エコー信号を、第１ビームフォーマ１０２の出力信号から除去する例を示したが、第１エコー・クロストークキャンセラ５０または第２ハウリングキャンセラ６０の出力信号から除去してもよい。同様に、第２音響エコー信号についても、第２エコー・クロストークキャンセラ７０または第１ハウリングキャンセラ４０の出力信号から除去してもよい。
また、上記実施の形態では、双方向会話補助装置が備えるマイク及びスピーカの例として、車に組み込まれたタイプ、車に取り付けられたタイプ、ヘッドセット等が挙げられたが、これらに限られず、スマートフォン等の携帯型情報端末が有するマイク及び／又はスピーカであってもよい。例えば、車における後部乗員の音声を第２マイク２３としてのスマートフォンで収音し、無線でヘッドユニット（双方向会話補助装置）に送信し、第２スピーカ２４としての前部スピーカから、ハウリング、エコー及びクロストークを抑制した状態で拡声する。また、第１マイク２１としての前部マイクで収音した運転者の音声を無線で後部乗員のスマートフォンに送信し、第１スピーカ２２としてのスマートフォンのスピーカから、ハウリング、エコー及びクロストークを抑制した状態で拡声する。これにより、後部乗員がスマートフォンを用いて運転者と円滑に会話できるとともに、車における後部マイクが不要となる。
また、このようなスマートフォン等の携帯型情報端末が有するマイク及び／又はスピーカを用いた双方向会話補助装置は、講演会等で用いられるＰＡ（Ｐｕｂｌｉｃ Ａｄｄｒｅｓｓ）システムとしても有用である。講演会における質問者の声を自身のスマートフォンで収音して無線でＰＡシステムに転送し、ハウリングやエコーを抑制した状態で拡声することができる。これにより、講演会において、質問者にマイクを手渡すのに要する時間が短縮され、質疑応答がスムーズに実施されて手際良い講演会の進行が可能になる。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、エコーだけでなくクロストークを含む音響的雑音を除去したうえで双方向の会話を拡声して補助する双方向会話補助装置に適用可能である。具体的には、車室内会話補助装置、ＰＡシステム等に、本開示は適用可能である。
１０ 車
１１ 第１話者
１２ 第２話者
２０，２０ａ，２０ｂ，２０ｃ，２０ｄ 双方向会話補助装置
２１ 第１マイク
２２ 第１スピーカ
２３ 第２マイク
２４ 第２スピーカ
３０ 第１ハウリング
３１ 第１エコー
３２ 第１クロストーク
３３ 第２ハウリング
３４ 第２エコー
３５ 第２クロストーク
４０ 第１ハウリングキャンセラ
４１ 第１減算器
４２ 第１記憶回路
４３ 第１畳み込み演算器
４４ 第１伝達関数記憶回路
４５ 第１伝達関数更新回路
４６ 第１遅延器
５０ 第１エコー・クロストークキャンセラ
５１ 第２減算器
５２ 第２記憶回路
５３ 第２畳み込み演算器
５４ 第２伝達関数記憶回路
５５ 第２伝達関数更新回路
６０ 第２ハウリングキャンセラ
６１ 第３減算器
６２ 第３記憶回路
６３ 第３畳み込み演算器
６４ 第３伝達関数記憶回路
６５ 第３伝達関数更新回路
６６ 第２遅延器
７０ 第２エコー・クロストークキャンセラ
７１ 第４減算器
７２ 第４記憶回路
７３ 第４畳み込み演算器
７４ 第４伝達関数記憶回路
７５ 第４伝達関数更新回路
１００ 音響再生器
１０２ 第１ビームフォーマ
１０４ 第１ノイズ抑圧器
１０６ 第２ビームフォーマ
１０８ 第２ノイズ抑圧器
１５０ 第１音響キャンセラ
１５１ 第５減算器
１５２ 第５記憶回路
１５３ 第５畳み込み演算器
１５４ 第５伝達関数記憶回路
１５５ 第５伝達関数更新回路
１５６ 第１加算器
１７０ 第２音響キャンセラ
１７１ 第６減算器
１７２ 第６記憶回路
１７３ 第６畳み込み演算器
１７４ 第６伝達関数記憶回路
１７５ 第６伝達関数更新回路
１７６ 第２加算器

Claims (20)

  1. 第１話者と第２話者による双方向の会話を拡声して補助する双方向会話補助装置であって、
    前記第１話者の第１音声を入力するための第１マイクと、
    前記第１音声を出力するための第１スピーカと、
    前記第２話者の第２音声を入力するための第２マイクと、
    前記第２音声を出力するための第２スピーカと、
    前記第２スピーカへの入力信号を用いて、前記第２スピーカから出力された前記第２音声が前記第１マイクに入力される第１エコー、及び、前記第２音声が前記第１マイクに入力される第１クロストークの程度を示す第１妨害信号を推定して算出し、算出した前記第１妨害信号を、前記第１マイクの出力信号から除去する第１エコー・クロストークキャンセラと、を備える、
    双方向会話補助装置。
  2. さらに、前記第２スピーカから出力された前記第２音声が前記第２マイクに入力される第１ハウリングの程度を示す第１ハウリング信号を推定して算出し、算出した前記第１ハウリング信号を、前記第２マイクの出力信号から除去する第１ハウリングキャンセラを備える、
    請求項１記載の双方向会話補助装置。
  3. さらに、
    前記第１スピーカから出力された前記第１音声が前記第１マイクに入力される第２ハウリングの程度を示す第２ハウリング信号を推定して算出し、算出した前記第２ハウリング信号を、前記第１マイクの前記出力信号から除去する第２ハウリングキャンセラと、
    前記第１スピーカへの入力信号を用いて、前記第１スピーカから出力された前記第１音声が前記第２マイクに入力される第２エコー、及び、前記第１音声が前記第２マイクに入力される第２クロストークの程度を示す第２妨害信号を推定して算出し、算出した前記第２妨害信号を、前記第２マイクの前記出力信号から除去する第２エコー・クロストークキャンセラと、を備える、
    請求項２記載の双方向会話補助装置。
  4. 前記第１話者の同一時刻における前記第１音声について、前記第１マイクの前記出力信号が前記第２エコー・クロストークキャンセラに入力される時刻は、前記第１音声が前記第２マイクに入力される時刻と同一、又は、より早く、
    前記第２話者の同一時刻における前記第２音声について、前記第２マイクの前記出力信号が前記第１エコー・クロストークキャンセラに入力される時刻は、前記第２音声が前記第１マイクに入力される時刻と同一、又は、より早い、
    請求項３記載の双方向会話補助装置。
  5. 前記第１ハウリングキャンセラは、
    前記第１ハウリングの伝達関数として推定された伝達関数を記憶する第１伝達関数記憶回路と、
    当該第１ハウリングキャンセラの出力信号を遅延させる第１遅延器と、
    前記第１遅延器から出力された信号を記憶する第１記憶回路と、
    前記第１記憶回路に記憶された前記信号と前記第１伝達関数記憶回路に記憶された前記伝達関数とを畳み込むことで前記第１ハウリング信号を生成する第１畳み込み演算器と、
    前記第２マイクの前記出力信号から、前記第１畳み込み演算器から出力された前記第１ハウリング信号を除去し、当該第１ハウリングキャンセラの前記出力信号を出力する第１減算器と、
    前記第１減算器の前記出力信号と前記第１記憶回路に記憶された前記信号とに基づいて前記第１伝達関数記憶回路に記憶された前記伝達関数を更新する第１伝達関数更新回路と、を有する、
    請求項３記載の双方向会話補助装置。
  6. 前記第１エコー・クロストークキャンセラは、
    前記第１エコーと前記第１クロストークとを合わせた伝達関数として推定された伝達関数を記憶する第２伝達関数記憶回路と、
    前記第２マイクの前記出力信号を記憶する第２記憶回路と、
    前記第２記憶回路に記憶された前記出力信号と前記第２伝達関数記憶回路に記憶された前記伝達関数とを畳み込むことで前記第１妨害信号を生成する第２畳み込み演算器と、
    前記第１マイクの出力信号から、前記第２畳み込み演算器から出力された前記第１妨害信号を除去し、当該第１エコー・クロストークキャンセラの出力信号を出力する第２減算器と、
    前記第２減算器の前記出力信号と前記第２記憶回路に記憶された前記出力信号とに基づいて前記第２伝達関数記憶回路に記憶された前記伝達関数を更新する第２伝達関数更新回路と、を有する、
    請求項５記載の双方向会話補助装置。
  7. 前記第２ハウリングキャンセラは、
    前記第２ハウリングの伝達関数として推定された伝達関数を記憶する第３伝達関数記憶回路と、
    当該第２ハウリングキャンセラの出力信号を遅延させる第２遅延器と、
    前記第２遅延器から出力された信号を記憶する第３記憶回路と、
    前記第３記憶回路に記憶された前記信号と前記第３伝達関数記憶回路に記憶された前記伝達関数とを畳み込むことで前記第２ハウリング信号を生成する第３畳み込み演算器と、
    前記第１マイクの前記出力信号から、前記第３畳み込み演算器から出力された前記第２ハウリング信号を除去し、当該第２ハウリングキャンセラの前記出力信号を出力する第３減算器と、
    前記第３減算器の前記出力信号と前記第３記憶回路に記憶された前記信号とに基づいて前記第３伝達関数記憶回路に記憶された前記伝達関数を更新する第３伝達関数更新回路と、を有する、
    請求項６記載の双方向会話補助装置。
  8. 前記第２エコー・クロストークキャンセラは、
    前記第２エコーと前記第２クロストークとを合わせた伝達関数として推定された伝達関数を記憶する第４伝達関数記憶回路と、
    前記第１マイクの前記出力信号を記憶する第４記憶回路と、
    前記第４記憶回路に記憶された前記出力信号と前記第４伝達関数記憶回路に記憶された前記伝達関数とを畳み込むことで前記第２妨害信号を生成する第４畳み込み演算器と、
    前記第２マイクの出力信号から、前記第４畳み込み演算器から出力された前記第２妨害信号を除去し、当該第２エコー・クロストークキャンセラの出力信号を出力する第４減算器と、
    前記第４減算器の前記出力信号と前記第４記憶回路に記憶された前記出力信号とに基づいて前記第４伝達関数記憶回路に記憶された前記伝達関数を更新する第４伝達関数更新回路と、を有する、
    請求項７記載の双方向会話補助装置。
  9. 前記第１伝達関数更新回路は、独立成分分析を用いて、前記第１減算器の前記出力信号と前記第１記憶回路に記憶された前記信号とに基づいて、前記第１減算器の前記出力信号と前記第１記憶回路に記憶された前記信号とが相互に独立となるように、前記第１伝達関数記憶回路に記憶された前記伝達関数を更新し、
    前記第２伝達関数更新回路は、独立成分分析を用いて、前記第２減算器の前記出力信号と前記第２記憶回路に記憶された前記出力信号とに基づいて、前記第２減算器の前記出力信号と前記第２記憶回路に記憶された前記出力信号とが相互に独立となるように、前記第２伝達関数記憶回路に記憶された前記伝達関数を更新し、
    前記第３伝達関数更新回路は、独立成分分析を用いて、前記第３減算器の前記出力信号と前記第３記憶回路に記憶された前記信号とに基づいて、前記第３減算器の前記出力信号と前記第３記憶回路に記憶された前記信号とが相互に独立となるように、前記第３伝達関数記憶回路に記憶された前記伝達関数を更新し、
    前記第４伝達関数更新回路は、独立成分分析を用いて、前記第４減算器の前記出力信号と前記第４記憶回路に記憶された前記出力信号とに基づいて、前記第４減算器の前記出力信号と前記第４記憶回路に記憶された前記出力信号とが相互に独立となるように、前記第４伝達関数記憶回路に記憶された前記伝達関数を更新する、
    請求項８記載の双方向会話補助装置。
  10. 前記第１伝達関数更新回路は、前記第１減算器の前記出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して前記第１記憶回路に記憶された前記信号と、前記第１ハウリングの前記伝達関数の推定における学習速度を制御するための第１ステップサイズパラメータとを乗じることで第１更新係数を算出し、算出した前記第１更新係数を前記第１伝達関数記憶回路に記憶された前記伝達関数に加算することで更新を行い、
    前記第２伝達関数更新回路は、前記第２減算器の前記出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して前記第２記憶回路に記憶された前記出力信号と、前記第１エコーと前記第１クロストークとを合わせた前記伝達関数の推定における学習速度を制御するための第２ステップサイズパラメータとを乗じることで第２更新係数を算出し、算出した前記第２更新係数を前記第２伝達関数記憶回路に記憶された前記伝達関数に加算することで更新を行い、
    前記第３伝達関数更新回路は、前記第３減算器の前記出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して前記第３記憶回路に記憶された前記信号と、前記第２ハウリングの前記伝達関数の推定における学習速度を制御するための第３ステップサイズパラメータとを乗じることで第３更新係数を算出し、算出した前記第３更新係数を前記第３伝達関数記憶回路に記憶された前記伝達関数に加算することで更新を行い、
    前記第４伝達関数更新回路は、前記第４減算器の前記出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して前記第４記憶回路に記憶された前記出力信号と、前記第２エコーと前記第２クロストークとを合わせた前記伝達関数の推定における学習速度を制御するための第４ステップサイズパラメータとを乗じることで第４更新係数を算出し、算出した前記第４更新係数を前記第４伝達関数記憶回路に記憶された前記伝達関数に加算することで更新を行う、
    請求項９記載の双方向会話補助装置。
  11. 前記第１伝達関数更新回路、前記第２伝達関数更新回路、前記第３伝達関数更新回路及び前記第４伝達関数更新回路が用いる前記非線形関数は、シグモイド関数、双曲線正接関数、正規化線形関数又は符号関数である、
    請求項１０記載の双方向会話補助装置。
  12. さらに、前記第１スピーカへの入力信号を用いて、前記第１スピーカから出力された前記第１音声が前記第２マイクに入力される第２エコー、及び、前記第１音声が前記第２マイクに入力される第２クロストークの程度を示す第２妨害信号を推定して算出し、算出した前記第２妨害信号を、前記第２マイクの出力信号から除去する第２エコー・クロストークキャンセラを備える、
    請求項１記載の双方向会話補助装置。
  13. さらに、
    音響信号を用いて、前記第２スピーカから出力された音響が前記第１マイクに入力される第１音響エコーの程度を示す第１音響エコー信号を推定して算出し、算出した前記第１音響エコー信号を、前記第１マイクの前記出力信号から除去する第１音響キャンセラと、
    前記音響信号を用いて、前記第１スピーカから出力された前記音響が前記第２マイクに入力される第２音響エコーの程度を示す第２音響エコー信号を推定して算出し、算出した前記第２音響エコー信号を、前記第２マイクの前記出力信号から除去する第２音響キャンセラと、を備える、
    請求項３記載の双方向会話補助装置。
  14. 前記第１音響キャンセラは、
    前記第１音響エコーの伝達関数として推定された伝達関数を記憶する第５伝達関数記憶回路と、
    前記音響信号を記憶する第５記憶回路と、
    前記第５記憶回路に記憶された前記音響信号と前記第５伝達関数記憶回路に記憶された前記伝達関数とを畳み込むことで前記第１音響エコー信号を生成する第５畳み込み演算器と、
    前記第１マイクの前記出力信号から、前記第５畳み込み演算器から出力された前記第１音響エコー信号を除去し、前記第１音響キャンセラの出力信号を出力する第５減算器と、
    前記第５減算器の前記出力信号と前記第５記憶回路に記憶された前記音響信号とに基づいて前記第５伝達関数記憶回路に記憶された前記伝達関数を更新する第５伝達関数更新回路と、を有し、
    前記第２音響キャンセラは、
    前記第２音響エコーの伝達関数として推定された伝達関数を記憶する第６伝達関数記憶回路と、
    前記音響信号を記憶する第６記憶回路と、
    前記第６記憶回路に記憶された前記音響信号と前記第６伝達関数記憶回路に記憶された前記伝達関数とを畳み込むことで前記第２音響エコー信号を生成する第６畳み込み演算器と、
    前記第２マイクの前記出力信号から、前記第６畳み込み演算器から出力された前記第２音響エコー信号を除去し、前記第２音響キャンセラの出力信号を出力する第６減算器と、
    前記第６減算器の前記出力信号と前記第６記憶回路に記憶された前記音響信号とに基づいて前記第６伝達関数記憶回路に記憶された前記伝達関数を更新する第６伝達関数更新回路と、を有する、
    請求項１３記載の双方向会話補助装置。
  15. 前記第１音響キャンセラは、
    さらに、前記第２スピーカへの前記入力信号に前記音響信号を加算する第１加算器を有し、
    前記第２音響キャンセラは、
    さらに、前記第１スピーカへの前記入力信号に前記音響信号を加算する第２加算器を有する、
    請求項１４記載の双方向会話補助装置。
  16. 会話システムにおいて第１話者と第２話者による双方向の会話を拡声して補助する双方向会話補助方法であって、
    前記会話システムは、
    前記第１話者の第１音声を入力するための第１マイクと、
    前記第１音声を出力するための第１スピーカと、
    前記第２話者の第２音声を入力するための第２マイクと、
    前記第２音声を出力するための第２スピーカと、を備え、
    前記双方向会話補助方法は、
    前記第２スピーカへの入力信号を用いて、前記第２スピーカから出力された前記第２音声が前記第１マイクに入力される第１エコー、及び、前記第２音声が前記第１マイクに入力される第１クロストークの程度を示す第１妨害信号を推定して算出し、算出した前記第１妨害信号を、前記第１マイクの出力信号から除去する第１エコー・クロストークキャンセルステップを含む、
    双方向会話補助方法。
  17. さらに、前記第２スピーカから出力された前記第２音声が前記第２マイクに入力される第１ハウリングの程度を示す第１ハウリング信号を推定して算出し、算出した前記第１ハウリング信号を、前記第２マイクの出力信号から除去する第１ハウリングキャンセルステップを含む、
    請求項１６記載の双方向会話補助方法。
  18. さらに、
    前記第１スピーカから出力された前記第１音声が前記第１マイクに入力される第２ハウリングの程度を示す第２ハウリング信号を推定して算出し、算出した前記第２ハウリング信号を、前記第１マイクの前記出力信号から除去する第２ハウリングキャンセルステップと、
    前記第１スピーカへの入力信号を用いて、前記第１スピーカから出力された前記第１音声が前記第２マイクに入力される第２エコー、及び、前記第１音声が前記第２マイクに入力される第２クロストークの程度を示す第２妨害信号を推定して算出し、算出した前記第２妨害信号を、前記第２マイクの前記出力信号から除去する第２エコー・クロストークキャンルステップと、を含む、
    請求項１７記載の双方向会話補助方法。
  19. さらに、前記第１スピーカへの入力信号を用いて、前記第１スピーカから出力された前記第１音声が前記第２マイクに入力される第２エコー、及び、前記第１音声が前記第２マイクに入力される第２クロストークの程度を示す第２妨害信号を推定して算出し、算出した前記第２妨害信号を、前記第２マイクの出力信号から除去する第２エコー・クロストークキャンセルステップを含む、
    請求項１６記載の双方向会話補助方法。
  20. さらに、
    音響信号を用いて、前記第２スピーカから出力された音響が前記第１マイクに入力される第１音響エコーの程度を示す第１音響エコー信号を推定して算出し、算出した前記第１音響エコー信号を、前記第１マイクの前記出力信号から除去する第１音響キャンセルステップと、
    前記音響信号を用いて、前記第１スピーカから出力された音響が前記第２マイクに入力される第２音響エコーの程度を示す第２音響エコー信号を推定して算出し、算出した前記第２音響エコー信号を、前記第２マイクの前記出力信号から除去する第２音響キャンセルステップと、を備える、
    請求項１８記載の双方向会話補助方法。
JP2017545085A 2015-10-16 2016-09-29 双方向会話補助装置及び双方向会話補助方法 Active JP6311136B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015205018 2015-10-16
JP2015205018 2015-10-16
PCT/JP2016/004390 WO2017064839A1 (ja) 2015-10-16 2016-09-29 双方向会話補助装置及び双方向会話補助方法

Publications (2)

Publication Number Publication Date
JP6311136B2 JP6311136B2 (ja) 2018-04-18
JPWO2017064839A1 true JPWO2017064839A1 (ja) 2018-05-10

Family

ID=58517542

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017545085A Active JP6311136B2 (ja) 2015-10-16 2016-09-29 双方向会話補助装置及び双方向会話補助方法

Country Status (4)

Country Link
US (1) US10542154B2 (ja)
EP (1) EP3312839B1 (ja)
JP (1) JP6311136B2 (ja)
WO (1) WO2017064839A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017064840A1 (ja) * 2015-10-16 2017-04-20 パナソニックＩｐマネジメント株式会社 音源分離装置および音源分離方法
WO2019181758A1 (ja) 2018-03-19 2019-09-26 パナソニックＩｐマネジメント株式会社 会話支援装置
US10694285B2 (en) 2018-06-25 2020-06-23 Biamp Systems, LLC Microphone array with automated adaptive beam tracking
US10433086B1 (en) 2018-06-25 2019-10-01 Biamp Systems, LLC Microphone array with automated adaptive beam tracking
US10210882B1 (en) 2018-06-25 2019-02-19 Biamp Systems, LLC Microphone array with automated adaptive beam tracking
EP3833045B1 (en) * 2018-08-02 2023-10-25 Nippon Telegraph And Telephone Corporation Conversation assistance system, method therefor, and program
EP3890288A4 (en) * 2018-11-30 2022-05-18 Panasonic Intellectual Property Management Co., Ltd. TRANSLATION DEVICE AND TRANSLATION METHOD
CN110033773B (zh) * 2018-12-13 2021-09-14 蔚来(安徽)控股有限公司 用于车辆的语音识别方法、装置、系统、设备以及车辆
US11234088B2 (en) 2019-04-16 2022-01-25 Biamp Systems, LLC Centrally controlling communication at a venue
US11729550B2 (en) 2019-05-21 2023-08-15 Nippon Telegraph And Telephone Corporation Echo cancelation method, apparatus, program and recording medium
CN110738995B (zh) * 2019-10-11 2022-11-11 北京地平线机器人技术研发有限公司 一种声音信号采集方法及装置
US10811029B1 (en) * 2019-10-31 2020-10-20 Amazon Technologies, Inc. Cascade echo cancellation for asymmetric references
WO2023013019A1 (ja) * 2021-08-06 2023-02-09 日本電信電話株式会社 発話フィードバック装置、発話フィードバック方法、プログラム
US20230319488A1 (en) * 2022-03-29 2023-10-05 The Board Of Trustees Of The University Of Illinois Crosstalk cancellation and adaptive binaural filtering for listening system using remote signal sources and on-ear microphones
CN115604630A (zh) * 2022-09-29 2023-01-13 歌尔科技有限公司（Cn） 声场扩展方法、音频设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050025273A1 (en) * 2003-06-27 2005-02-03 Wolfgang Tschirk Method and apparatus for echo compensation
JP2005333270A (ja) * 2004-05-18 2005-12-02 Sony Corp マイクロフォン信号生成方法および通話装置
JP2010163054A (ja) * 2009-01-15 2010-07-29 Fujitsu Ten Ltd 会話支援装置及び会話支援方法
JP2012195801A (ja) * 2011-03-17 2012-10-11 Panasonic Corp 会話支援装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61194958A (ja) 1985-02-22 1986-08-29 Nippon Telegr & Teleph Corp <Ntt> エコ−キヤンセラ形拡声電話回路
US4677676A (en) 1986-02-11 1987-06-30 Nelson Industries, Inc. Active attenuation system with on-line modeling of speaker, error path and feedback pack
US5033082A (en) 1989-07-31 1991-07-16 Nelson Industries, Inc. Communication system with active noise cancellation
US6496581B1 (en) * 1997-09-11 2002-12-17 Digisonix, Inc. Coupled acoustic echo cancellation system
US6505057B1 (en) * 1998-01-23 2003-01-07 Digisonix Llc Integrated vehicle voice enhancement system and hands-free cellular telephone system
DE19938158C1 (de) 1999-08-16 2001-01-11 Daimler Chrysler Ag Verfahren und Vorrichtung sowie ihre Verwendung zur Kompensation von Verlusten eines akustischen Signals
US6934387B1 (en) * 1999-12-17 2005-08-23 Marvell International Ltd. Method and apparatus for digital near-end echo/near-end crosstalk cancellation with adaptive correlation
US7039197B1 (en) * 2000-10-19 2006-05-02 Lear Corporation User interface for communication system
US7388904B2 (en) * 2003-06-03 2008-06-17 Vativ Technologies, Inc. Near-end, far-end and echo cancellers in a multi-channel transceiver system
JP4333369B2 (ja) 2004-01-07 2009-09-16 株式会社デンソー 雑音除去装置、及び音声認識装置、並びにカーナビゲーション装置
US7688968B1 (en) * 2004-09-16 2010-03-30 Marvell International Ltd. Adaptive analog echo/next cancellation
TWI414154B (zh) * 2009-09-11 2013-11-01 Realtek Semiconductor Corp 通訊裝置與其接收方法
DE102009051508B4 (de) * 2009-10-30 2020-12-03 Continental Automotive Gmbh Vorrichtung, System und Verfahren zur Sprachdialogaktivierung und -führung
JP5887535B2 (ja) * 2012-02-17 2016-03-16 パナソニックＩｐマネジメント株式会社 エコー消去装置、エコー消去方法、及び、通話装置
WO2017064840A1 (ja) * 2015-10-16 2017-04-20 パナソニックＩｐマネジメント株式会社 音源分離装置および音源分離方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050025273A1 (en) * 2003-06-27 2005-02-03 Wolfgang Tschirk Method and apparatus for echo compensation
JP2005333270A (ja) * 2004-05-18 2005-12-02 Sony Corp マイクロフォン信号生成方法および通話装置
JP2010163054A (ja) * 2009-01-15 2010-07-29 Fujitsu Ten Ltd 会話支援装置及び会話支援方法
JP2012195801A (ja) * 2011-03-17 2012-10-11 Panasonic Corp 会話支援装置

Also Published As

Publication number Publication date
EP3312839A4 (en) 2018-05-09
US20180115650A1 (en) 2018-04-26
EP3312839B1 (en) 2020-08-05
US10542154B2 (en) 2020-01-21
WO2017064839A1 (ja) 2017-04-20
EP3312839A1 (en) 2018-04-25
JP6311136B2 (ja) 2018-04-18

Similar Documents

Publication Publication Date Title
JP6311136B2 (ja) 双方向会話補助装置及び双方向会話補助方法
JP6318376B2 (ja) 音源分離装置および音源分離方法
CN107636758B (zh) 声学回声消除系统和方法
JP4957810B2 (ja) 音処理装置、音処理方法及び音処理プログラム
KR20040019362A (ko) 후처리기로서 멀티 마이크로폰 에코 억제기를 가지는 음향보강 시스템
JP5391103B2 (ja) 多チャネルエコー消去方法、多チャネルエコー消去装置、多チャネルエコー消去プログラム及びその記録媒体
JP2012195801A (ja) 会話支援装置
US10297245B1 (en) Wind noise reduction with beamforming
JP6821126B2 (ja) ノイズ除去装置、ノイズ除去方法およびノイズ除去プログラム
KR101587844B1 (ko) 마이크로폰의 신호 보상 장치 및 그 방법
JP5908170B2 (ja) エコー消去装置
EP3833045B1 (en) Conversation assistance system, method therefor, and program
JP5937451B2 (ja) エコー消去装置、エコー消去方法及びプログラム
JP7259092B2 (ja) モジュール式エコーキャンセルユニット
JP4162860B2 (ja) 不要音信号除去装置
EP3667662A1 (en) Acoustic echo cancellation device, acoustic echo cancellation method and acoustic echo cancellation program
Saremi Spatial audio signal processing for speech telecommunication inside vehicles
JP5631523B2 (ja) エコー消去装置
JP2012205161A (ja) 音声通話装置
US20230274723A1 (en) Communication support system
JP2019165276A (ja) エコーキャンセル装置、エコーキャンセル方法およびエコーキャンセルプログラム
JP6356087B2 (ja) エコー消去装置、その方法及びプログラム
TW202331701A (zh) 雙麥克風陣列回音消除方法、雙麥克風陣列回音消除裝置、電子設備、及非揮發性電腦可讀儲存媒體
JP2021097292A (ja) エコーキャンセル装置、エコーキャンセル方法およびエコーキャンセルプログラム
CN113519169A (zh) 用于音频啸叫衰减的方法和装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171211

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171211

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20171211

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180219

R151 Written notification of patent or utility model registration

Ref document number: 6311136

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03