JP5003531B2 - Audio conference system - Google Patents
Audio conference system Download PDFInfo
- Publication number
- JP5003531B2 JP5003531B2 JP2008045359A JP2008045359A JP5003531B2 JP 5003531 B2 JP5003531 B2 JP 5003531B2 JP 2008045359 A JP2008045359 A JP 2008045359A JP 2008045359 A JP2008045359 A JP 2008045359A JP 5003531 B2 JP5003531 B2 JP 5003531B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- signal
- unit
- echo cancellation
- sound emission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Telephone Function (AREA)
- Telephonic Communication Services (AREA)
Description
この発明は、エコーキャンセル機能を有する音声会議システムに関する。 The present invention relates to an audio conference system having an echo cancellation function.
従来、音声会議装置や音声会議システムが各種考案されている。例えば、特許文献1には、入力される放音信号毎に収音信号に対するエコーキャンセル部を備えた装置が開示されている。すなわち、音声会議装置には、当該音声会議装置にネットワーク等を介して接続する他の音声会議装置の数量分のエコーキャンセル部が備えられている。
このような音声会議装置のエコーキャンセル部では、複雑な信号処理を行うため、多くのリソース量が必要になる。ましてや、複数のエコーキャンセル部を備える場合には、さらに多くのリソース量が必要になる。このため、音声会議装置自体を小型化するような場合や、コスト的に高処理能力のDSP等を搭載できない場合のようにリソース量に限りがある場合には、十分なエコーキャンセル効果を有する処理を行えない。 Such an echo canceling unit of the audio conference apparatus performs a complicated signal processing, and thus requires a large amount of resources. In addition, when a plurality of echo cancellation units are provided, a larger amount of resources is required. For this reason, when the amount of resources is limited, such as when the audio conference apparatus itself is downsized or when a high-performance DSP or the like cannot be installed in terms of cost, a process having a sufficient echo cancellation effect Cannot be performed.
従って、この発明の目的は、リソース量に限りがあるような場合であっても、十分なエコーキャンセル効果が得られる音声会議システムを提供することにある。 Accordingly, an object of the present invention is to provide an audio conference system capable of obtaining a sufficient echo cancellation effect even when the amount of resources is limited.
この発明の音声会議システムは、放収音装置と情報処理装置とからなる音声会議システムであって、前記放収音装置は、前記情報処理装置と通信する第1通信手段と、前記第1通信手段からの放音信号をスピーカから放音する放音手段と、マイクでの収音に基づいて収音信号を生成する収音手段と、前記放音信号に基づく疑似回帰音信号を生成し、該疑似回帰音信号に基づいて、前記収音手段が生成した収音信号のエコーキャンセルを行う第1エコーキャンセル手段と、を備え、前記情報処理装置は、前記放収音装置、及びネットワークに対して通信する第2通信手段と、前記第1エコーキャンセル手段と異なる処理を行う第2エコーキャンセル手段と、を備え、前記情報処理装置の第2エコーキャンセル手段が選択されると、前記放収音装置の第1エコーキャンセル手段を動作させず、前記情報処理装置の第2通信手段は、前記ネットワークを介して受信した放音信号に時間情報を付与して前記放収音装置へ出力し、前記放収音装置の第1通信手段は、前記第2通信手段から入力された時間情報を、前記放音信号に対応する前記収音手段が生成した収音信号に付与して前記情報処理装置へ出力し、前記情報処理装置の第2エコーキャンセル手段は、前記第2通信手段により前記放収音装置から入力された前記収音信号に付与された時間情報と一致する時間情報が付与された放音信号に基づく疑似回帰音信号を生成し、該疑似回帰音信号に基づいて、前記収音信号のエコーキャンセルを行うことを特徴とする。 The audio conference system according to the present invention is an audio conference system including a sound emission and collection device and an information processing device, wherein the sound emission and collection device includes a first communication unit that communicates with the information processing device, and the first communication. A sound emission means for emitting a sound emission signal from the means from a speaker, a sound collection means for generating a sound collection signal based on sound collection by a microphone, and a pseudo regression sound signal based on the sound emission signal, First echo canceling means for performing echo cancellation of the sound pickup signal generated by the sound pickup means based on the pseudo-regression sound signal, and the information processing device for the sound emission pickup device and the network Second communication means for communicating with each other, and second echo cancellation means for performing processing different from that of the first echo cancellation means, and when the second echo cancellation means of the information processing apparatus is selected, Dress And the second communication means of the information processing apparatus adds time information to the sound emission signal received via the network and outputs it to the sound emission and collection apparatus. The first communication unit of the sound collection device adds the time information input from the second communication unit to the sound collection signal generated by the sound collection unit corresponding to the sound emission signal, and outputs it to the information processing device The second echo canceling means of the information processing apparatus emits sound to which time information that matches time information given to the sound collection signal input from the sound emission and collection apparatus by the second communication means is added. A pseudo-regression sound signal based on the signal is generated, and echo cancellation of the collected sound signal is performed based on the pseudo-regression sound signal.
この構成では、音声会議システムは、放収音装置と情報処理装置とから構成される。放収音装置は、情報処理装置と通信可能であり、情報処理装置から入力された放音信号を放音する放音手段と、収音信号を生成する収音手段と、前記放音信号に基づく疑似回帰音信号を生成し、該疑似回帰音信号に基づいて前記収音信号のエコーキャンセルを行う第1エコーキャンセル手段を備える。また、情報処理装置は、放収音装置と通信可能で、且つネットワークを介して通信可能であり、第1エコーキャンセル手段と異なる処理を行う第2エコーキャンセル手段を備える。 In this configuration, the audio conference system includes a sound emission and collection device and an information processing device. The sound emission and collection device is communicable with the information processing device, and emits a sound emission signal input from the information processing device, a sound collection device that generates a sound collection signal, and the sound emission signal. A first echo canceling unit configured to generate a pseudo-regression sound signal based on the echo-recovery sound signal and perform echo cancellation of the collected sound signal based on the pseudo-regression sound signal. In addition, the information processing apparatus includes a second echo canceling unit that can communicate with the sound emission and collection device and can communicate via a network, and performs processing different from the first echo canceling unit.
情報処理装置の第2エコーキャンセル手段が選択されると、放収音装置の第1エコーキャンセル手段を動作させないで、第2エコーキャンセル手段によりエコーキャンセルが行われる。情報処理装置は、ネットワークを介して他の音声会議システムから放音信号を受信すると、該放音信号に時間情報を付与して放収音装置へ出力する。放収音装置は、情報装置から放音信号が入力されると、該放音信号に付与された時間情報を、該放音信号の放音タイミングに応じた収音信号に付与して、該収音信号を情報処理装置へ出力する。情報処理装置は、放収音装置から収音信号が入力されると、収音信号と放音信号との同期処理を行い、収音信号に付与された時間情報と一致する時間情報が付与された放音信号に基づく疑似回帰音信号を生成し、該疑似回帰音信号に基づいて、収音信号のエコーキャンセルを行う。 When the second echo cancellation unit of the information processing apparatus is selected, the second echo cancellation unit performs echo cancellation without operating the first echo cancellation unit of the sound emission and collection device. When the information processing apparatus receives a sound emission signal from another audio conference system via the network, the information processing apparatus gives time information to the sound emission signal and outputs the sound emission signal to the sound emission and collection apparatus. When the sound emission signal is input from the information device, the sound emission / collection device assigns the time information given to the sound emission signal to the sound collection signal according to the sound emission timing of the sound emission signal, and The collected sound signal is output to the information processing apparatus. When the sound collection signal is input from the sound emission and collection device, the information processing device performs synchronization processing between the sound collection signal and the sound emission signal, and is given time information that matches the time information given to the sound collection signal. A pseudo regression sound signal based on the sound emission signal is generated, and echo cancellation of the collected sound signal is performed based on the pseudo regression sound signal.
これにより、情報処理装置でエコーキャンセル処理を行う場合でも、疑似回帰音信号の最適化が可能となり、最適なエコーキャンセル効果が得られる。この際、使用用途に応じて、放収音装置の第1エコーキャンセル手段又は情報処理装置の第2エコーキャンセル手段を選択することで、高精度なエコーキャンセルが実現される。 Thereby, even when the echo cancellation processing is performed by the information processing apparatus, the pseudo-regression sound signal can be optimized, and an optimal echo cancellation effect can be obtained. At this time, high-accuracy echo cancellation is realized by selecting the first echo cancellation means of the sound emission and collection device or the second echo cancellation means of the information processing device according to the intended use.
また、放収音装置の第1エコーキャンセル手段のリソース量に限りがあるような場合であっても、情報処理装置の第2エコーキャンセル手段にてエコーキャンセルを行うことで、十分なエコーキャンセル効果を得ることができる。 Further, even when the resource amount of the first echo canceling unit of the sound emission and collection device is limited, by performing echo cancellation by the second echo canceling unit of the information processing device, a sufficient echo canceling effect can be obtained. Can be obtained.
また、この発明の音声会議システムの前記放収音装置は、前記第1エコーキャンセル手段にてエコーキャンセルを行う第1モードと、前記第2エコーキャンセル手段にてエコーキャンセルを行う第2モードと、の入力を受け付けるモード受付手段を更に備え、前記モード受付手段が受け付けたモードに応じて、第1エコーキャンセル手段又は第2エコーキャンセル手段のどちらか1方が選択され、エコーキャンセルを行うことを特徴とする。 The sound emission and collection device of the audio conference system of the present invention includes a first mode in which echo cancellation is performed by the first echo cancellation unit, and a second mode in which echo cancellation is performed by the second echo cancellation unit, Mode receiving means for receiving the input of the input signal, and either one of the first echo canceling means and the second echo canceling means is selected according to the mode received by the mode receiving means to perform echo cancellation. And
この構成では、放収音装置は、放収音装置の第1エコーキャンセル手段でエコーキャンセルを行う第1モードと、情報処理装置の第2エコーキャンセル手段でエコーキャンセルを行う第2モードと、から実行するモードの入力を受け付けるモード受付手段を備える。音声会議システムは、モード受付手段が受け付けたモードに応じて、放収音装置の第1エコーキャンセル手段と情報処理装置の第2エコーキャンセル手段とのどちらか一方が選択されて、エコーキャンセルを行う。これにより、放収音装置の第1エコーキャンセル手段及び情報処理装置の第2エコーキャンセル手段のどちらでエコーキャンセルを行うか、ユーザが指定することができる。 In this configuration, the sound emission and collection device includes a first mode in which echo cancellation is performed by the first echo cancellation unit of the sound emission and collection device, and a second mode in which echo cancellation is performed by the second echo cancellation unit of the information processing device. Mode receiving means for receiving an input of a mode to be executed is provided. The audio conference system performs echo cancellation by selecting either the first echo cancellation unit of the sound emission and collection device or the second echo cancellation unit of the information processing device according to the mode received by the mode reception unit. . Accordingly, the user can specify which of the first echo cancellation unit of the sound emission and collection device and the second echo cancellation unit of the information processing device performs the echo cancellation.
更に、この発明の音声会議システムの前記情報処理装置は、エコーキャンセルプログラムを記憶する記憶手段と、前記記憶手段が記憶するエコーキャンセルプログラムを実行する演算処理手段と、を更に備え、前記第2エコーキャンセル手段は、前記記憶手段が記憶するエコーキャンセルプログラムと前記演算処理手段と、から構成されることを特徴とする。 Furthermore, the information processing apparatus of the audio conference system according to the present invention further comprises storage means for storing an echo cancellation program, and arithmetic processing means for executing an echo cancellation program stored in the storage means, wherein the second echo The canceling means comprises an echo cancellation program stored in the storage means and the arithmetic processing means.
この構成では、第2のエコーキャンセル手段は、ソフトエコーキャンセラであり、情報処理装置の性能に応じてエコーキャンセル精度及び演算速度が決定する。これにより、情報処理装置の性能を向上すれば、エコーキャンセル精度及び演算速度を容易に向上させることができる。 In this configuration, the second echo canceling means is a soft echo canceller, and the echo cancellation accuracy and calculation speed are determined according to the performance of the information processing apparatus. Thereby, if the performance of the information processing apparatus is improved, the echo cancellation accuracy and the calculation speed can be easily improved.
この発明によれば、実際に放収音を行う放収音装置とは別体の情報処理装置でエコーキャンセル処理を行う場合でも、疑似回帰音信号の最適化が可能となり、最適なエコーキャンセル効果が得られる。また、放収音装置の第1エコーキャンセル手段のリソース量に限りがあるような場合であっても、情報処理装置の第2エコーキャンセル手段にてエコーキャンセルを行うことで、十分なエコーキャンセル効果を得ることができる。 According to the present invention, even when the echo cancellation processing is performed by an information processing device separate from the sound emitting and collecting device that actually emits and collects sound, the pseudo-regression sound signal can be optimized, and the optimal echo canceling effect can be obtained. Is obtained. Further, even when the resource amount of the first echo canceling unit of the sound emission and collection device is limited, by performing echo cancellation by the second echo canceling unit of the information processing device, a sufficient echo canceling effect can be obtained. Can be obtained.
本発明の実施形態に係る音声会議システムについて、図1を参照して説明する。図1は、音声会議システムの機能、構成を示すブロック図である。図1に示すように音声会議システム100は、放収音機能を備える放収音装置1と、通信機能を備えるパーソナルコンピュータ2(以下、PCと称し、本発明の情報処理装置に相当する。)と、から構成される。音声会議システム100は、放収音装置1にてエコーキャンセルを行う通常モードと、PC2にてエコーキャンセルを行う高機能モードと、を有し、ユーザにより実行するモードが指定される。
An audio conference system according to an embodiment of the present invention will be described with reference to FIG. FIG. 1 is a block diagram showing the function and configuration of the audio conference system. As shown in FIG. 1, the
放収音装置1は、操作部10、メイン制御部11、通信制御部12、音声信号処理部13、放音制御部14、収音制御部15、アレイ化された複数のスピーカSP、及びアレイ化された複数のマイクMICから構成される。
The sound emission and
操作部10は、ユーザからの操作入力を受け付け、操作信号をメイン制御部11へ出力する。例えば、操作部10は、実行するモードの入力を受け付け、モード指定信号をメイン制御部11へ出力する。また、操作部10は、音量調整の入力を受け付けると、音量調整信号をメイン制御部11へ出力し、マイクミュートの入力を受け付けると、ミュート信号をメイン制御部11へ出力する。
The
メイン制御部11は、操作部10からの操作信号に基づいて、通信制御部12、及び音声信号処理部13を制御する。すなわち、メイン制御部11は、操作部10から入力された各種操作信号を通信制御部12及び音声信号処理部13へ出力する。
The
通信制御部12は、少なくともUSB端子を備え、USBケーブルに接続する。なお、図1に示すように、通信制御部12は、オーディオ入出力端子及びA/Dコンバータ、D/Aコンバータを備え、アナログ音声信号ラインに接続するようにしてもよい。通信制御部12は、メイン制御部11から入力されたモード指定信号に応じて、以下の処理を行う。
The
<モード指定信号が通常モードを指定する場合>
通信制御部12は、メイン制御部11から入力されたモード指定信号や、音声信号処理部13から入力された収音ビーム信号MBe1等を、USBケーブルを介してPC2へ出力する。また、通信制御部12は、PC2から入力された放音信号FE1〜FE3を音声信号処理部13を介して放音制御部14へ出力する。
<When the mode specification signal specifies the normal mode>
The
<モード指定信号が高機能モードを指定する場合>
通信制御部12は、メイン制御部11から入力されたモード指定信号や、音声信号処理部13から入力された収音ビーム信号MB等をPC2へ出力する。また、通信制御部12は、PC2から入力された放音信号FE1〜FE3から時間情報を取り除いて音声信号処理部13を介して放音制御部14へ出力する。この際、放音信号FE1〜FE3から取り除いた時間情報は、音声信号処理部13から入力された収音ビーム信号MBに付与される。この時間情報とは、PC2の通信制御部20が放音信号FE1〜FE3を受信した時刻を示す情報である。
<When the mode specification signal specifies the high function mode>
The
音声信号処理部13は、ボリューム制御部131、エコーキャンセル部132、及びミュート処理部133を備え、放音信号のボリューム調整や、収音ビーム信号のミュート処理や、メイン制御部11から入力されたモード指定信号に応じたエコーキャンセル処理を行う。収音制御部15から入力された収音ビーム信号MBは、モード指定信号が通常モードを指定する場合は、エコーキャンセル部132へ出力され、モード指定信号が高機能モードを指定する場合は、ミュート処理部133へ出力される。すなわち、モード指定信号が通常モードを指定する場合のみ収音ビーム信号MBに対してエコーキャンセルを行う。
The audio
ボリューム制御部131は、メイン制御部11から入力された音量調整信号に基づいて、通信制御部12から入力された放音信号FE1〜FE3のゲインを調整する。
The
エコーキャンセル部132(本発明の第1エコーキャンセル手段に相当する。)は、適応型フィルタを備え、ボリューム制御部131からの放音信号FE1〜FE3に基づいて疑似回帰音信号を生成し、収音制御部15からの収音ビーム信号MBに対して差分演算を行うことで、エコーキャンセルを行う。エコーキャンセル部132は、エコーキャンセル後の収音ビーム信号MBe1をミュート処理部133へ出力する。
The echo cancellation unit 132 (corresponding to the first echo cancellation means of the present invention) includes an adaptive filter, generates pseudo regression sound signals based on the sound emission signals FE1 to FE3 from the
ミュート処理部133は、メイン制御部11からミュート信号が入力されている間、通信制御部12へ収音ビーム信号MB,MBe1の出力を停止する。
The
放音制御部14は、音声信号処理部13から入力された放音信号FE1〜FE3に対して、遅延処理等の音声信号処理を行いスピーカSP毎の個別放音信号を生成する。放音制御部14は、生成した個別放音信号をそれぞれのスピーカSPへ出力する。
The sound
複数のスピーカSPは、入力された個別放音信号を放音する。 The plurality of speakers SP emit the inputted individual sound emission signals.
複数のマイクMICは、収音信号を生成して、収音制御部15へ出力する。
The plurality of microphones MIC generate sound collection signals and output them to the sound
収音制御部15は、各マイクMICから入力された収音信号に対して、それぞれ異なるパターンからなる複数の遅延処理や加算処理等を行うことで、異なる収音指向性からなる複数の収音ビーム信号を生成する。収音制御部15は、最も信号レベルが高い信号を収音ビーム信号MBとして、音声信号処理部13へ出力する。
The sound
また、PC2は、通信制御部20、操作部21、情報処理部22、及び記憶装置23から構成される。
The
通信制御部20は、USB端子とネットワーク接続端子とを備え、USB端子を介してUSBケーブルに接続し、ネットワーク接続端子を介してLANケーブル等のネットワークケーブルに接続する。通信制御部20は、放収音装置1から入力されたモード指定信号に応じて、以下の処理を行う。
The
<モード指定信号が通常モードを指定する場合>
通信制御部20は、ネットワークを介して受信した放音信号FE1〜FE3をUSBケーブルを介して放収音装置1へ出力し、USBケーブルを介して放収音装置1から入力された収音ビーム信号MBe1をネットワークに接続された他の音声会議システムへ送信する。
<When the mode specification signal specifies the normal mode>
The
<モード指定信号が高機能モードを指定する場合>
通信制御部20は、ネットワークを介して受信した放音信号FE1〜FE3に時間情報を付与して、USBケーブルを介して放収音装置1へ出力するとともに、時間情報を付与した放音信号FE1〜FE3を情報処理部22へ出力する。
<When the mode specification signal specifies the high function mode>
The
また、通信制御部20は、USBケーブルを介して放収音装置1から入力された収音ビーム信号MBを情報処理部22へ出力し、情報処理部22から入力された収音ビーム信号MBe2をネットワークに接続された他の音声会議システムへ送信する。
Further, the
操作部21は、ユーザからの各種操作入力を受け付け、操作信号を情報処理部22へ出力する。
The
情報処理部22は、バッファ221、同期処理部222、ソフトエコーキャンセル部223を備え、操作部21の操作等により装置が起動すると、モード指定信号に応じて、記憶装置23に記憶した音声会議用API及びエコーキャンセルAPIを起動する。
The
バッファ221は、通信制御部20から入力された放音信号を一時記憶する。
The
同期処理部222は、通信制御部20から入力された収音ビーム信号MBと、バッファ221から入力された放音信号FE1〜FE3と、の同期処理を行う。すなわち、同期処理部222は、収音ビーム信号MBと、該収音ビーム信号MBに付与された時間情報と一致する時間情報が付与された放音信号FE1〜FE3と、を同期させて(同じタイミングで)ソフトエコーキャンセル部223へ出力する。
The
ソフトエコーキャンセル部223(本発明の第2エコーキャンセル手段に相当する。)は、放音信号FE1〜FE3に基づいて、予め設定された伝搬係数等を用いて疑似回帰音信号を生成する。そして、収音ビーム信号MBからこの疑似回帰音信号を差分演算することで、収音ビーム信号MBe2を生成する。ソフトエコーキャンセル部223は、エコーキャンセル後の収音ビーム信号MBe2を通信制御部20へ出力する。
The soft echo canceling unit 223 (corresponding to the second echo canceling means of the present invention) generates a pseudo regression sound signal using a preset propagation coefficient or the like based on the sound emission signals FE1 to FE3. Then, the sound collection beam signal MBe2 is generated by calculating a difference between the pseudo regression sound signal and the sound collection beam signal MB. The soft echo cancellation unit 223 outputs the collected sound beam signal MBe2 after echo cancellation to the
記憶装置23は、音声会議用API及びエコーキャンセルAPI(本発明のエコーキャンセルプログラムに相当する。)を記憶する。音声会議用APIは、ネットワークに接続された他の音声会議システムと通信確立処理を行うプログラムである。エコーキャンセルAPIは、ソフトエコーキャンセル部223の機能を実現するプログラムである。
The
次に、モード(通常モード、高機能モード)に応じた信号処理について、図2,3を参照して説明する。図2は、通常モードを選択した場合の各信号の流れを示す図である。図3は、高機能モードを選択した場合の各信号の流れを示す図である。 Next, signal processing according to the mode (normal mode, high function mode) will be described with reference to FIGS. FIG. 2 is a diagram illustrating the flow of each signal when the normal mode is selected. FIG. 3 is a diagram showing the flow of each signal when the high function mode is selected.
(1)通常モード(放収音装置1にてエコーキャンセルを行う)
図2に示すように、通常モードが指定されると、PC2の情報処理部22は、記憶装置23から音声会議用APIのみを読み出して、バッファ221、同期処理部222、及びソフトエコーキャンセル部223の機能を実行しない。
(1) Normal mode (echo cancellation is performed by the sound emission and collection device 1)
As shown in FIG. 2, when the normal mode is designated, the
この場合、PC2は、ネットワークケーブルを介して受信した放音信号FE1〜FE3及び放音指向性データ等を含む制御系信号をUSBケーブルを介して放収音装置1へ出力する。
In this case, the
放収音装置1は、入力された放音信号に対して、放音指向性データ等の制御系信号に基づいて放音指向性制御を行い、各スピーカSPから放音する。また、放収音装置1は、各マイクMICでの収音信号から生成した収音ビーム信号MBに対して、エコーキャンセル部132でエコーキャンセル処理を行い、収音ビーム信号MBe1を生成する。放収音装置1は、収音ビーム信号MBe1を、収音指向性データ等を含む制御系信号とともに、USBケーブルを介してPC2へ送信する。
The sound emission and
PC2は、受信した収音ビーム信号MBe1と制御系信号とを、ネットワークケーブルを介して他の音声会議システムへ送信する。
The
(2)高機能モード(PC2にてエコーキャンセルを行う)
図3に示すように、高機能モードが指定されると、放収音装置1は、エコーキャンセル部132の機能を実行しない。また、PC2の情報処理部22は、記憶装置23から音声会議用API及びエコーキャンセルAPIを読み出して、バッファ221、同期処理部222、及びソフトエコーキャンセル部223の機能を実行する。
(2) High function mode (Echo cancellation is performed by PC2)
As shown in FIG. 3, when the high function mode is designated, the sound emitting and collecting
この場合、PC2は、ネットワークケーブルを介して受信した放音信号FE1〜FE3に、放音信号FE1〜FE3の受信時刻を示す時間情報を付与して、放音指向性データ等を含む制御系信号とともに、USBケーブルを介して放収音装置1へ出力する。PC2は、時間情報を付与した放音信号FE1〜FE3をバッファ221に一時記憶する。
In this case, the
放収音装置1は、入力された放音信号FE1〜FE3から時間情報を除去するとともに、該放音信号FE1〜FE3に対して、放音指向性データ等の制御系信号に基づいて放音指向性制御を行い、各スピーカSPから放音する。また、放収音装置1は、放音と同じタイミングで各マイクMICが収音した収音信号から生成した収音ビーム信号MBに、放音信号から除去した時間情報を付与する。放収音装置1は、時間情報を付与した収音ビーム信号MBと音量調整信号及び収音指向性データ等を含む制御系信号とを、USBケーブルを介してPC2へ送信する。
The sound emission and
PC2の同期処理部222は、入力された収音ビーム信号MBに付与された時間情報を検出する。同期処理部22は、バッファ221に一時記憶されている放音信号FE1〜FE3から、検出した時間情報と一致する時間情報が付与された放音信号を取得する。同期処理部22は、入力された収音ビーム信号MBと取得した放音信号とを同じタイミングでソフトエコーキャンセル部223に出力する(同期処理)。PC2は、同期処理を行った収音ビーム信号MBと放音信号FE1〜FE3とを用いて、ソフトエコーキャンセル部223にて、収音ビーム信号MBのエコーキャンセルを行い、収音ビーム信号MBe2を生成する。PC2は、エコーキャンセル後の収音ビーム信号MBe2と収音指向性データ等を含む制御系信号とを、関連付けし、ネットワークケーブルを介して他の音声会議システムへ送信する。
The
なお、本実施形態では、放収音装置1にてモードの入力を行ったが、PC2にてモードの入力を行ってもよい。この場合、モード指定信号は、PC2から放収音装置1へ出力される。
In the present embodiment, the mode input is performed by the sound emitting and collecting
また、本実施形態では、放収音装置1とPC2とからなる音声会議システムを例にあげて説明したが、放収音装置1と他の情報処理装置からなる音声会議システムでもよい。また、放収音装置1とPC2とをUSBケーブルを介して接続するとしたが、他の通信形式であってもよい。
In this embodiment, the audio conference system including the sound emitting and collecting
更に、本実施形態では、3つの放音信号FE1〜FE3を放音するとしたが、1つ以上の放音信号FEを放音すればよい。 Further, in the present embodiment, the three sound emission signals FE1 to FE3 are emitted, but one or more sound emission signals FE may be emitted.
加えて、本実施形態では、収音制御部15にて最も信号レベルが高い収音ビーム信号MBを選択するとしたが、所定閾値以上の信号レベルを有する収音ビーム信号を選択してもよい。所定閾値以上の信号レベルを有する収音ビーム信号が複数存在する場合は、複数の収音ビーム信号が選択される。
In addition, in the present embodiment, the sound
また、本実施形態において、放音信号の受信時刻を時間情報として放音信号に付与したが、これに限らず、音声の再生時刻や通話開始時刻をt=0としたタイムスタンプであってもよい。 In the present embodiment, the reception time of the sound emission signal is given to the sound emission signal as time information. However, the present invention is not limited to this, and even a time stamp with t = 0 as the sound reproduction time or the call start time is used. Good.
上述の構成を備え、上述の処理を行うことで、放収音装置1のエコーキャンセル部132のリソースが制限されているような状況であっても、放収音装置1のエコーキャンセル部132よりも高い処理能力を有するPC2の情報処理部22でエコーキャンセルが行われる。これにより、放収音装置1のエコーキャンセル部132を用いる場合よりも、高精度で且つ高速にエコーキャンセルを行うことができる。この結果、放収音装置1の小型化や低コスト化の理由によりエコーキャンセル部132のリソースが制限されることがあっても、十分なエコーキャンセル効果を得ることができる。また、収音ビーム信号数や放音信号数が増加すると、更に多いリソース量及び高い処理性能が要求されるので、上述の効果を更に明確に得ることができる。
Even when the resources of the
なお、本実施形態では、放収音装置1のエコーキャンセル部132よりもPC2の情報処理部22が高い処理能力を有するとした。しかし、放収音装置1のエコーキャンセル部132及びPC2の情報処理部22は、使用用途に応じてそれぞれ異なる態様に最適化されたものであってもよい。
In the present embodiment, the
例えば、放収音装置1のエコーキャンセル部132は、ダブルトークを自然に行う態様に最適化し、PC2の情報処理部22はダブルトークを想定せず放音量を大きくする態様に最適化する。このような組合せにすることで、同時会話を行うときは、放収音装置1のエコーキャンセル部132を選択し、同時会話を行わないときは、PC2の情報処理部22を選択する。また、放収音装置1のエコーキャンセル部132は、音質を重視した態様に最適化し、PC2の情報処理部22は音質を重視せず、音声認識を重視した態様に最適化する。このような組合せにすることで、音声会議を行うときは、放収音装置1のエコーキャンセル部132を選択し、会議の議事録やメモを文字情報として記憶させるときは、音質を多少変えてでも認識しやすい音声の方がよいので、PC2の情報処理部22を選択する。以上のように、使用用途に応じて異なる態様に放収音装置1のエコーキャンセル部132及びPC2の情報処理部22を最適化することで、使用用途に応じたエコーキャンセル効果を適切に得ることができる。
For example, the
1…放収音装置,2…PC,10…操作部,11…メイン制御部,12…通信制御部,13…音声信号処理部,14…放音制御部,15…収音制御部,20…通信制御部,21…操作部,22…情報処理部,23…記憶装置,100…音声会議システム,131…ボリューム制御部,132…エコーキャンセル部,133…ミュート処理部,221…バッファ,222…同期処理部,223…ソフトエコーキャンセル部,MB,MBe1,MBe2…収音ビーム信号,FE1〜FE3…放音信号,MIC…マイク,SP…スピーカ
DESCRIPTION OF
Claims (3)
前記放収音装置は、前記情報処理装置と通信する第1通信手段と、前記第1通信手段からの放音信号をスピーカから放音する放音手段と、マイクでの収音に基づいて収音信号を生成する収音手段と、前記放音信号に基づく疑似回帰音信号を生成し、該疑似回帰音信号に基づいて、前記収音手段が生成した収音信号のエコーキャンセルを行う第1エコーキャンセル手段と、を備え、
前記情報処理装置は、前記放収音装置、及びネットワークに対して通信する第2通信手段と、前記第1エコーキャンセル手段と異なる処理を行う第2エコーキャンセル手段と、を備え、
前記情報処理装置の第2エコーキャンセル手段が選択されると、
前記放収音装置の第1エコーキャンセル手段を動作させず、
前記情報処理装置の第2通信手段は、前記ネットワークを介して受信した放音信号に時間情報を付与して前記放収音装置へ出力し、
前記放収音装置の第1通信手段は、前記第2通信手段から入力された時間情報を、前記放音信号に対応する前記収音手段が生成した収音信号に付与して前記情報処理装置へ出力し、
前記情報処理装置の第2エコーキャンセル手段は、前記第2通信手段により前記放収音装置から入力された前記収音信号に付与された時間情報と一致する時間情報が付与された放音信号に基づく疑似回帰音信号を生成し、該疑似回帰音信号に基づいて、前記収音信号のエコーキャンセルを行う音声会議システム。 An audio conference system comprising a sound emission and collection device and an information processing device,
The sound emission and collection device collects sound based on sound collection by a first communication unit that communicates with the information processing device, a sound emission unit that emits a sound emission signal from the first communication unit, and a microphone. A sound collecting means for generating a sound signal; a pseudo regression signal based on the sound emission signal; and a first echo canceling of the sound collection signal generated by the sound collection means based on the pseudo regression signal. Echo canceling means, and
The information processing apparatus includes a second communication unit that communicates with the sound emission and collection device and a network, and a second echo cancellation unit that performs processing different from the first echo cancellation unit,
When the second echo cancellation means of the information processing apparatus is selected,
Without operating the first echo cancellation means of the sound emission and collection device,
The second communication means of the information processing device gives time information to the sound emission signal received via the network and outputs the time information to the sound emission and collection device,
The first communication unit of the sound emission and collection device adds the time information input from the second communication unit to the sound collection signal generated by the sound collection unit corresponding to the sound emission signal, and the information processing device Output to
The second echo canceling means of the information processing apparatus applies a sound output signal to which time information that matches time information given to the sound collection signal input from the sound emission and collection apparatus by the second communication means is added. An audio conference system that generates a pseudo-regression sound signal based on the echo-recovery signal and performs echo cancellation of the collected sound signal based on the pseudo-regression sound signal.
前記モード受付手段が受け付けたモードに応じて、第1エコーキャンセル手段又は第2エコーキャンセル手段のどちらか1方が選択され、エコーキャンセルを行う請求項1に記載の音声会議システム。 The sound emission and collection device further includes a mode reception unit that receives inputs of a first mode in which echo cancellation is performed by the first echo cancellation unit and a second mode in which echo cancellation is performed by the second echo cancellation unit. Prepared,
2. The audio conference system according to claim 1, wherein either one of the first echo canceling unit and the second echo canceling unit is selected in accordance with the mode received by the mode receiving unit to perform echo cancellation.
前記第2エコーキャンセル手段は、前記記憶手段が記憶するエコーキャンセルプログラムと前記演算処理手段と、から構成される請求項1又は請求項2に記載の音声会議システム。 The information processing apparatus further comprises storage means for storing an echo cancellation program, and arithmetic processing means for executing an echo cancellation program stored in the storage means,
3. The audio conference system according to claim 1, wherein the second echo cancellation unit includes an echo cancellation program stored in the storage unit and the arithmetic processing unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008045359A JP5003531B2 (en) | 2008-02-27 | 2008-02-27 | Audio conference system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008045359A JP5003531B2 (en) | 2008-02-27 | 2008-02-27 | Audio conference system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009206671A JP2009206671A (en) | 2009-09-10 |
JP5003531B2 true JP5003531B2 (en) | 2012-08-15 |
Family
ID=41148531
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008045359A Expired - Fee Related JP5003531B2 (en) | 2008-02-27 | 2008-02-27 | Audio conference system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5003531B2 (en) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5883751B2 (en) * | 2011-09-22 | 2016-03-15 | パナソニックIpマネジメント株式会社 | Input / output device and call terminal |
JP6038635B2 (en) * | 2012-12-21 | 2016-12-07 | 株式会社東芝 | Signal processing apparatus and signal processing method |
US9565493B2 (en) | 2015-04-30 | 2017-02-07 | Shure Acquisition Holdings, Inc. | Array microphone system and method of assembling the same |
US9554207B2 (en) | 2015-04-30 | 2017-01-24 | Shure Acquisition Holdings, Inc. | Offset cartridge microphones |
US10367948B2 (en) | 2017-01-13 | 2019-07-30 | Shure Acquisition Holdings, Inc. | Post-mixing acoustic echo cancellation systems and methods |
WO2019231632A1 (en) | 2018-06-01 | 2019-12-05 | Shure Acquisition Holdings, Inc. | Pattern-forming microphone array |
US11297423B2 (en) | 2018-06-15 | 2022-04-05 | Shure Acquisition Holdings, Inc. | Endfire linear array microphone |
WO2020061353A1 (en) | 2018-09-20 | 2020-03-26 | Shure Acquisition Holdings, Inc. | Adjustable lobe shape for array microphones |
EP3942842A1 (en) | 2019-03-21 | 2022-01-26 | Shure Acquisition Holdings, Inc. | Housings and associated design features for ceiling array microphones |
US11558693B2 (en) | 2019-03-21 | 2023-01-17 | Shure Acquisition Holdings, Inc. | Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality |
CN113841421A (en) | 2019-03-21 | 2021-12-24 | 舒尔获得控股公司 | Auto-focus, in-region auto-focus, and auto-configuration of beamforming microphone lobes with suppression |
EP3973716A1 (en) | 2019-05-23 | 2022-03-30 | Shure Acquisition Holdings, Inc. | Steerable speaker array, system, and method for the same |
WO2020243471A1 (en) | 2019-05-31 | 2020-12-03 | Shure Acquisition Holdings, Inc. | Low latency automixer integrated with voice and noise activity detection |
CN114467312A (en) | 2019-08-23 | 2022-05-10 | 舒尔获得控股公司 | Two-dimensional microphone array with improved directivity |
US12028678B2 (en) | 2019-11-01 | 2024-07-02 | Shure Acquisition Holdings, Inc. | Proximity microphone |
US11552611B2 (en) | 2020-02-07 | 2023-01-10 | Shure Acquisition Holdings, Inc. | System and method for automatic adjustment of reference gain |
USD944776S1 (en) | 2020-05-05 | 2022-03-01 | Shure Acquisition Holdings, Inc. | Audio device |
US11706562B2 (en) | 2020-05-29 | 2023-07-18 | Shure Acquisition Holdings, Inc. | Transducer steering and configuration systems and methods using a local positioning system |
WO2022165007A1 (en) | 2021-01-28 | 2022-08-04 | Shure Acquisition Holdings, Inc. | Hybrid audio beamforming system |
CN113726966A (en) * | 2021-07-28 | 2021-11-30 | 台湾立讯精密有限公司 | Communication terminal, communication system and audio information processing method |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002043985A (en) * | 2000-07-25 | 2002-02-08 | Matsushita Electric Ind Co Ltd | Acoustic echo canceller device |
JP4247158B2 (en) * | 2004-06-01 | 2009-04-02 | 日本電信電話株式会社 | Multi-channel acoustic echo cancellation method, multi-channel acoustic echo cancellation apparatus, multi-channel acoustic echo cancellation program, recording medium |
-
2008
- 2008-02-27 JP JP2008045359A patent/JP5003531B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009206671A (en) | 2009-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5003531B2 (en) | Audio conference system | |
JP5012387B2 (en) | Speech processing system | |
JP6299895B2 (en) | Microphone unit, host device, and signal processing system | |
JP5169986B2 (en) | Telephone device, echo canceller and echo cancellation program | |
JP4929740B2 (en) | Audio conferencing equipment | |
US20110181452A1 (en) | Usage of Speaker Microphone for Sound Enhancement | |
KR20120101457A (en) | Audio zoom | |
JP4802708B2 (en) | Sound emission and collection device | |
US10129409B2 (en) | Joint acoustic echo control and adaptive array processing | |
CN101031956A (en) | Headset for separation of speech signals in a noisy environment | |
JP2007151103A (en) | Teleconference device | |
JP2011199699A (en) | Headphone | |
JP5130895B2 (en) | Audio processing apparatus, audio processing system, audio processing program, and audio processing method | |
JP2009141560A (en) | Sound signal processor, and sound signal processing method | |
JPWO2020017518A1 (en) | Audio signal processor | |
US9729967B2 (en) | Feedback canceling system and method | |
US20130137480A1 (en) | Background sound removal for privacy and personalization use | |
JPH09233198A (en) | Method and device for software basis bridge for full duplex voice conference telephone system | |
JP2009081613A (en) | Sound emission/collection apparatus | |
JP5289128B2 (en) | Signal processing method, apparatus and program | |
JP5024010B2 (en) | Audio conferencing system | |
US20240223947A1 (en) | Audio Signal Processing Method and Audio Signal Processing System | |
JP2008294600A (en) | Sound emission and collection apparatus and sound emission and collection system | |
JP2008294599A (en) | Sound emitting and collecting apparatus and system | |
CN115705847A (en) | Method for processing audio watermark and audio watermark generating device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120413 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120424 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120507 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150601 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |