JP5045751B2 - 音声ミキシング装置およびその雑音抑圧方法、ならびにプログラム - Google Patents

Description

（関連出願）本出願は、２００７年８月７日に出願された日本特許出願２００７−２０５４４３に基づく優先権を主張するものであり、該日本出願の全部を引用により本書に繰込む。
本発明は、音声ミキシング装置およびその雑音抑圧方法、ならびにプログラムに関し、特に、多地点会議において音声に重畳する雑音を抑圧する技術に関する。

多地点会議サービスでは、各参加者の音声データが多地点会議サーバに送信される。多地点会議サーバは、各参加者に自分以外の全参加者の音声信号をミキシングした音声信号を送信する。図４は、多地点会議の音声ミキシング装置における典型的な構成例を示す図である（特許文献１、２等参照）。図４において、会議の参加人数をＭ（Ｍは２以上の正の整数）人とし、１、２、・・Ｍ番目の話者に対する音声信号をそれぞれ音声入力端子５０１、５０２、・・・５０Ｍから入力する。入力されたそれぞれの音声信号は、全加算器５２０および加算器５３１、５３２、・・・５３Ｍのそれぞれに入力される。全加算器５２０は、入力された全ての音声信号を加算した音声信号を加算器５３１、５３２、・・・５３Ｍに出力する。加算器５３１、５３２、・・・５３Ｍは、それぞれ入力された音声信号を、全加算器５２０から入力された音声信号から減算し、減算された音声信号をそれぞれ音声出力端子５７１、５７２、・・・５７Ｍに出力する。このような音声ミキシング装置によれば、自分自身以外の人の音声信号をミキシングして聴取することができる。

ところで、多地点会議サービスにおいて、特に参加者が携帯電話端末を使用しているような場合は、音声信号に背景雑音が重畳されていることが多い。このような携帯電話端末等において、雑音抑圧処理が有効となる。雑音抑圧処理としては、例えば、入力音声に対してフーリエ変換等による周波数領域分析を行った後、重畳している雑音を推定して、入力音声から雑音成分を減算する方法が知られている（例えば、非特許文献１参照）。

特開２００５−２６９３４７号公報 特開平１０−７５３１０号公報 Ｙａｍａｔｏ Ｋａｚｕｈｉｒｏ，Ｓｕｇｉｙａｍａ Ａｋｉｈｉｋｏ，Ｋａｔｏ Ｍａｓａｎｏｒｉ，"Ｐｏｓｔ−Ｐｒｏｃｅｓｓｉｎｇ Ｎｏｉｓｅ Ｓｕｐｐｒｅｓｓｏｒ ｗｉｔｈ Ａｄａｐｔｉｖｅ Ｇａｉｎ−Ｆｌｏｏｒｉｎｇ ｆｏｒ Ｃｅｌｌ−Ｐｈｏｎｅ Ｈａｎｄｓｅｔｓ ａｎｄ ＩＣ Ｒｅｃｏｒｄｅｒｓ，"Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ（ＩＣＣＥ），２００７，ｐｐ．１−２．

以上の特許文献１及び２並びに非特許文献１の開示事項は、本書に引用をもって繰り込み記載されているものとする。以下に本発明による関連技術の分析を与える。
以下の分析は本発明において与えられる。

多地点会議サービスにおいて、特に参加者が携帯端末を使用しているような場合では、音声信号に背景雑音が重畳されていることが多い。したがって、受信した各参加者の音声信号に対して、雑音抑圧処理を施した後、音声ミキシングを行うことが好ましい。雑音抑圧処理では、保持しておいた過去の情報に基づいて背景雑音の推定や平滑化処理が行われている。

従来の多地点会議では、全ての参加者の音声に対して雑音抑圧処理を行う構成とされるため、参加者の増加に伴って雑音抑圧処理に対する演算量が増大することがある。これを解決する方法として、発声している話者を検出して、検出した話者の音声信号のみをミキシングすることにより、動作させる雑音抑圧処理の数を削減する方法が考えられる。

しかしながら、この方法に雑音抑圧処理を適用すると、話者の切替わり時に、雑音抑圧処理で保持しておいた過去の雑音抑圧の情報との間に不整合が生じることで異音が発生する虞がある。

本発明の１つのアスペクト（側面）に係る音声ミキシング装置は、複数の音声信号をミキシングする音声ミキシング装置であって、複数の音声信号のうち少なくとも一つの音声信号を選択する話者選択手段と、話者選択手段において選択した少なくとも一つの音声信号を全て加算する全信号加算手段と、全信号加算手段の加算結果から選択された一つの音声信号のみを減算する各減算手段と、全信号加算手段の加算結果である共通音声信号の雑音を抑圧する共通雑音抑圧手段と、減算手段の減算結果である個別音声信号の雑音をそれぞれ抑圧する個別雑音抑圧手段と、話者選択手段の選択結果に基づいて共通雑音抑圧手段において得られる雑音抑圧の情報を個別雑音抑圧手段における雑音抑圧の情報にコピーするメモリ切替手段と、を備える。

本発明の音声ミキシング装置において、話者選択手段の選択結果に基づいて、共通雑音抑圧手段および個別雑音抑圧手段のいずれかで得られる雑音抑圧された音声信号を切り替えて出力する音声データ切替手段を、さらに備えるようにしてもよい。

本発明の音声ミキシング装置において、複数の音声信号のそれぞれに対して雑音抑圧を行うか否かを選択可能とする前置雑音抑圧手段を、さらに備えるようにしてもよい。

本発明の音声ミキシング装置において、話者選択手段は、少なくとも一つの音声信号を該音声信号のパワーに基づいて選択するようにしてもよい。

本発明の音声ミキシング装置において、話者選択手段は、少なくとも一つの音声信号を該音声信号が有音か無音かに基づいて選択するようにしてもよい。

本発明の多地点会議システムにおいて、上記の音声ミキシング装置を備えていてもよい。

本発明の他のアスペクト（側面）に係る雑音抑圧方法は、複数の音声信号をミキシングする音声ミキシング装置における雑音抑圧方法であって、複数の音声信号のうち少なくとも一つの音声信号を選択する第１ステップと、第１ステップにおいて選択した少なくとも一つの音声信号を全て加算する第２ステップと、第２ステップの加算結果から選択された一つの音声信号のみを減算する第３ステップと、第２ステップの加算結果である共通音声信号の雑音を抑圧する第４ステップと、第３ステップの減算結果である個別音声信号の雑音を抑圧する第５ステップと、第１ステップの選択結果に基づいて第４ステップにおいて得られる雑音抑圧の情報を第５ステップにおける雑音抑圧の情報にコピーする第６ステップと、を含む。

本発明の雑音抑圧方法において、第１ステップにおける選択結果に基づいて、第４ステップおよび第５ステップのいずれかにおいて得られる雑音抑圧された音声信号を切り替えて出力する第７ステップを、さらに含むようにしてもよい。

本発明の雑音抑圧方法において、第１ステップの前に、複数の音声信号のそれぞれに対して雑音抑圧を行うか否かを選択する第８ステップを、さらに含むようにしてもよい。

本発明の雑音抑圧方法において、第１ステップにおいて、少なくとも一つの音声信号を該音声信号のパワーに基づいて選択するようにしてもよい。

本発明の雑音抑圧方法において、第１ステップにおいて、少なくとも一つの音声信号を該音声信号が有音か無音かに基づいて選択するようにしてもよい。

本発明のさらに他のアスペクト（側面）に係るプログラムは、複数の音声信号をミキシングする音声ミキシング装置を構成するコンピュータに、複数の音声信号のうち少なくとも一つの音声信号を選択する第１ステップと、第１ステップにおいて選択した少なくとも一つの音声信号を全て加算する第２ステップと、第２ステップの加算結果から選択された一つの音声信号のみを減算する第３ステップと、第２ステップの加算結果である共通音声信号の雑音を抑圧する第４ステップと、第３ステップの減算結果である個別音声信号の雑音を抑圧する第５ステップと、第１ステップの選択結果に基づいて第４ステップにおいて得られる雑音抑圧の情報を第５ステップにおける雑音抑圧の情報にコピーする第６ステップと、を実行させる

本発明のプログラムにおいて、第１ステップにおける選択結果に基づいて、第４ステップおよび前記第５ステップのいずれかにおいて得られる雑音抑圧された音声信号を切り替えて出力する第７ステップを、さらに実行させてもよい。

本発明のプログラムにおいて、第１ステップの前に、複数の音声信号のそれぞれに対して雑音抑圧を行うか否かを選択する第８ステップを、さらに実行させてもよい。

本発明のプログラムにおいて、第１ステップにおいて、少なくとも一つの音声信号を該音声信号のパワーに基づいて選択してもよい。

本発明のプログラムにおいて、第１ステップにおいて、少なくとも一つの音声信号を該音声信号が有音か無音かに基づいて選択してもよい。

本発明によれば、話者の切替わり時に合わせて雑音抑圧手段を切替える際に、切替え後の雑音抑圧の情報を切替え前の雑音抑圧の情報と同じにするので、異音の発生を低減することができる。

本発明の実施形態に係る音声ミキシング装置は、Ｍ個のパワー計算部と話者選択部とＭ個の音声信号入力切替器と全信号加算器と共通雑音抑圧部とＭ個の加算器とＭ個の雑音抑圧部とＭ個のメモリ切替器とＭ個の出力音声データ切替器で構成され、多地点会議における雑音抑圧処理を含む音声ミキシング動作を行う。

パワー計算部は、Ｍ人分の入力音声信号に対し、それぞれパワーを計算して話者選択部に出力する。話者選択部は、入力された各話者のパワーに基づいて発声している話者を選択する。次に、選択された全ての話者の入力音声信号が、全信号加算器でミキシングされ、ミキシングされた音声信号が、共通雑音抑圧部に入力される。

共通雑音抑圧部は、入力された音声信号に含まれる雑音を抑圧した音声信号を出力する。一方、加算器によってミキシング音声から選択された各話者の音声信号を減算した音声信号が雑音抑圧部に入力される。雑音抑圧部は、入力された音声信号に含まれる雑音を抑圧した音声信号を出力する。メモリ切替器は、話者選択部の選択結果に基づいて、共通雑音抑圧部の過去の情報を雑音抑圧部にコピーする。出力音声データ切替器は、話者選択部の選択結果に基づいて、出力する音声信号の切替えを行う。

以上のような音声ミキシング装置によれば、話者の切替わり時に合わせて雑音抑圧手段を切替える際に、切替え後の雑音抑圧手段が持つ過去の背景雑音に関する情報を切替え前の雑音抑圧手段がもつ情報と同じにする。したがって、切替えに伴う雑音の変化である異音の発生を防ぐことができる。このような装置は、多地点会議システムあるいは多地点会議サーバに好適である。

以下、実施例に即し、図面を参照して詳しく説明する。

本発明の第１の実施例に係る音声ミキシング装置の構成を示す図である。 本発明の第１の実施例に係る音声ミキシング装置の動作を示すフローチャートである。 本発明の第２の実施例に係る音声ミキシング装置の構成を示す図である。 従来の音声ミキシング装置の構成を示す図である。

符号の説明

１０１、１０２、・・・１０Ｍ 音声入力端子
１１１、１１２、・・・１１Ｍ パワー計算部
１２１、１２２、・・・１２Ｍ 音声信号入力切替器
１３１、１３２、・・・１３Ｍ 加算器
１４１、１４２、・・・１４Ｍ、１９１、１９２、・・・１９Ｍ 雑音抑圧部
１５１、１５２、・・・１５Ｍ メモリ切替器
１６１、１６２、・・・１６Ｍ 音声データ切替器
１７１、１７２、・・・１７Ｍ 音声出力端子
１８１、１８２、・・・１８Ｍ 雑音抑圧切替器
２００ 話者選択部
３００ 全信号加算器
４００ 共通雑音抑圧部

図１は、本発明の第１の実施例に係る音声ミキシング装置の構成を示すブロック図である。図１において、多地点会議システムは、音声入力端子１０１、１０２、・・・１０Ｍ、パワー計算部１１１、１１２、・・・１１Ｍ、話者選択部２００、音声信号入力切替器１２１、１２２、・・・１２Ｍ、全信号加算器３００、加算器１３１、１３２、・・・１３Ｍ、共通雑音抑圧部４００、雑音抑圧部（個別雑音抑圧部）１４１、１４２、・・・１４Ｍ、メモリ切替器１５１、１５２、・・・１５Ｍ、音声データ切替器１６１、１６２、・・・１６Ｍ、音声出力端子１７１、１７２、・・・１７Ｍを備える。

パワー計算部１１１、１１２、・・・１１Ｍは、それぞれ話者１、話者２、・・・及び話者Ｍにそれぞれ対応する音声入力端子１０１、１０２、・・・１０Ｍから入力される音声信号のパワーを算出して話者選択部２００に出力する。パワーＰの計算は、例えば８ｋＨｚサンプリングの入力音声信号ｓ（ｎ）に対して、２０ミリ秒（１６０サンプル）毎に、以下の式（１）を用いて計算する。

ここで、Ｌ＝１６０である。

話者選択部２００は、計算されたそれぞれの話者のパワーを用いて発声している話者に対応する音声信号を選択し、選択結果、すなわち選択したか否かをそれぞれ音声信号入力切替器１２１、１２２、・・・１２Ｍ、メモリ切替器１５１、１５２、・・・１５Ｍ、及び音声データ切替器１６１、１６２、・・・１６Ｍに出力する。

ここで、発声している話者の選択方法として、音声信号のパワーが大きい順に予め定めた上位Ｎ人（１≦Ｎ＜Ｍ）の話者を選択する方法や、予め定めた閾値を超えるパワーの音声信号を選択する方法がある。また、入力されたパワーをそのまま利用するのではなく、過去に入力されたパワーを保存しておいて、ある時間でリーク積分した値を用いる方法も考えられる。さらに、音声信号が有音か無音かに基づいて音声信号を選択するようにしてもよい。

音声信号入力切替器１２１、１２２、・・・１２Ｍは、話者選択部２００の選択結果に基づいて、それぞれの入力音声信号を出力するか否かの切替えを行う。話者選択部２００によって選択された音声信号は、それぞれ対応する加算器１３１、１３２、・・・１３Ｍに出力されるとともに、全信号加算器３００へ出力される。

全信号加算器３００は、話者選択部２００で選択された話者に対する音声信号を全て加算して、加算器１３１、１３２、・・・１３Ｍ、及び共通雑音抑圧部４００に出力する。

加算器１３１、１３２、・・・１３Ｍは、それぞれ選択された話者自身の音声信号を、全信号加算器３００から出力された音声信号から減算して出力する。すなわち、加算器１３１、１３２、・・・１３Ｍは、話者選択部２００で選択された話者に対応する音声信号に対してのみ、全信号加算器３００から入力した音声信号からそれぞれ音声信号入力切替器１２１、１２２、・・・１２Ｍから出力した音声信号を減算してそれぞれ雑音抑圧部１４１、１４２、・・・１４Ｍに出力する。

共通雑音抑圧部４００は、全信号加算器３００から出力された音声信号に重畳した雑音を抑圧し、音声データ切替器１６１、１６２、・・・１６Ｍに出力する。

雑音抑圧部１４１、１４２、・・・１４Ｍは、それぞれ加算器１３１、１３２、・・・１３Ｍから出力された音声信号に重畳した雑音を抑圧する。すなわち、雑音抑圧部１４１、１４２、・・・１４Ｍは、それぞれ加算器１３１、１３２、・・・１３Ｍから音声信号が入力された場合のみ、その音声信号に重畳した雑音を抑圧し、それぞれ音声データ切替器１６１、１６２、・・・１６Ｍに出力する。

メモリ切替器１５１、１５２、・・・１５Ｍは、話者選択部２００の選択結果に基づいて、共通雑音抑圧部４００が雑音抑圧の情報として持つ情報をそれぞれ雑音抑圧部１４１、１４２、・・・１４Ｍにコピーする。すなわち、メモリ切替器１５１、１５２、・・・１５Ｍは、話者選択部２００において発声した話者として選択されてない状態から選択された状態に遷移した場合にのみ、共通雑音抑圧部４００が持つ過去の情報をそれぞれ雑音抑圧部１４１、１４２、・・・１４Ｍに出力する。

音声データ切替器１６１、１６２、・・・１６Ｍは、話者選択部２００の選択結果に基づいて、それぞれ出力する音声データの切替えを行って、それぞれ音声出力端子１７１、１７２、・・・１７Ｍから出力する。すなわち、音声データ切替器１６１、１６２、・・・１６Ｍは、話者選択部２００において発声した話者として選択された場合、それぞれ雑音抑圧部１４１、１４２、・・・１４Ｍから入力された音声信号を出力し、話者選択部２００において発声した話者として選択されなかった場合、共通雑音抑圧部４００から入力された音声信号を出力する。

図２は、本発明の第１の実施例に係る音声ミキシング装置の動作を示すフローチャートである。

ステップＳ１において、パワー計算部１１１、１１２、・・・１１Ｍは、それぞれの話者に対応する音声信号のパワーを計算する。

ステップＳ２において、話者選択部２００は、各パワーに基づき発声している話者（一人または複数）に対応する音声信号を選択する。

ステップＳ３において、音声信号入力切替器１２１、１２２、・・・１２Ｍは、話者選択結果に基づき、それぞれの話者の音声信号を出力するか否かを切替える。

ステップＳ４において、全信号加算器３００は、選択された話者（一人または複数）の音声信号を全て加算し、加算結果を出力する。

ステップＳ５において、加算器１３１、１３２、・・・１３Ｍは、それぞれ選択された各話者の音声信号を全加算結果から減算し、減算結果を出力する。

ステップＳ６において、共通雑音抑圧部４００は、全加算結果の雑音を抑圧する。

ステップＳ７において、雑音抑圧部１４１、１４２、・・・１４Ｍは、それぞれ加算器１３１、１３２、・・・１３Ｍの出力結果の雑音を抑圧する。

ステップＳ８において、メモリ切替器１５１、１５２、・・・１５Ｍは、それぞれ各話者選択結果に基づき共通雑音抑圧部４００の結果をそれぞれ雑音抑圧部１４１、１４２、・・・１４Ｍにコピーする。

ステップＳ９において、音声データ切替器１６１、１６２、・・・１６Ｍは、それぞれ各話者についての話者選択結果に基づき雑音抑圧部１４１、１４２、・・・１４Ｍまたは共通雑音抑圧部４００の出力する音声データを切替えて出力する。

なお、ステップＳ１、Ｓ２において、音声信号が有音か無音かに基づいて音声信号を選択するようにしてもよい。

また、別途指示された話者の音声信号をミキシングするようにしてもよい。

さらに、以上のような複数の音声信号をミキシングする音声ミキシング装置を構成するコンピュータに、プログラムを実行させて音声ミキシング装置を実現するようにしてもよい。

図３は、本発明の第２の実施例に係る音声ミキシング装置の構成を示すブロック図である。図３において、図１の音声ミキシング装置に対して、雑音抑圧切替器１８１、１８２、・・・１８Ｍ、雑音抑圧部（前置雑音抑圧部）１９１、１９２、・・・１９Ｍが追加される。以下、説明を簡略化するために、第１の実施例との差分のみを説明する。

雑音抑圧切替器１８１、１８２、・・・１８Ｍは、それぞれ音声入力端子１０１、１０２、・・・１０Ｍから入力される音声信号を、それぞれ雑音抑圧部１９１、１９２、・・・１９Ｍに出力するか、それぞれパワー計算部１１１、１１２、・・・１１Ｍ、及び音声信号入力切替器１２１、１２２、・・・１２Ｍに出力するかについての切替えを行う。この切替えは、例えば、参加者の使用する端末が携帯電話端末である場合には、背景雑音が重畳していると考えられるため、入力信号を雑音抑圧部に入力するという具合に、参加者毎に独立に設定する。具体的には、電話番号の最初の３つの数字が携帯電話端末を示す０９０又は０８０であれば、携帯電話端末と判断するような方法であってもよい。或いは、話者選択部２００で選択された話者の入力信号を雑音抑圧部に入力する方法も考えられる。

雑音抑圧部１９１、１９２、・・・１９Ｍは、音声信号が入力された場合にのみ、入力された音声信号の雑音を抑圧し、雑音が抑圧された音声信号をそれぞれパワー計算部１１１、１１２、・・・１１Ｍ、及び音声信号入力切替器１２１、１２２、・・・１２Ｍに出力する。

以降の動作は、実施例１で説明した内容と同じであるため説明を省略する。

本実施例によれば、入力される音声信号を、ミキシングする前に雑音抑圧しておくので、より雑音低減効果を高めることができる。

以上の記載は、実施例に基づいて行ったが、本発明は、上記実施例に限定されるものではない。
本発明の全開示(請求の範囲を含む)の枠内において、更にその基本的技術思想に基づいて、実施態様ないし実施例の変更・調整が可能である。また本発明の請求の範囲(クレーム)の枠内において、種々開示要素の多様な組合せ・置換ないし選択が可能である。
本発明の更なる課題・目的及び展開形態は、クレームを含む本発明の全開示事項からも、明らかにされる。

Claims (11)

1. 複数の音声信号をミキシングする音声ミキシング装置であって、
   前記複数の音声信号のうち少なくとも一つの音声信号を選択する話者選択手段と、
   前記話者選択手段において選択した少なくとも一つの音声信号を全て加算する全信号加算手段と、
   前記全信号加算手段の加算結果から前記選択された一つの音声信号のみを減算する各減算手段と、
   前記全信号加算手段の加算結果である共通音声信号の雑音を抑圧する共通雑音抑圧手段と、
   前記減算手段の減算結果である個別音声信号の雑音をそれぞれ抑圧する個別雑音抑圧手段と、
   前記話者選択手段の選択結果に基づいて前記共通雑音抑圧手段において得られる雑音抑圧の情報を前記個別雑音抑圧手段における雑音抑圧の情報にコピーするメモリ切替手段と、
   を備えることを特徴とする音声ミキシング装置。
2. 前記話者選択手段の選択結果に基づいて、前記共通雑音抑圧手段および前記個別雑音抑圧手段のいずれかで得られる雑音抑圧された音声信号を切り替えて出力する音声データ切替手段を、さらに備えることを特徴とする請求項１記載の音声ミキシング装置。
3. 前記複数の音声信号のそれぞれに対して雑音抑圧を行うか否かを選択可能とする前置雑音抑圧手段を、さらに備えることを特徴とする請求項１または２記載の音声ミキシング装置。
4. 前記話者選択手段は、前記少なくとも一つの音声信号を該音声信号のパワーに基づいて選択することを特徴とする請求項１乃至３のいずれか一に記載の音声ミキシング装置。
5. 前記話者選択手段は、前記少なくとも一つの音声信号を該音声信号が有音か無音かに基づいて選択することを特徴とする請求項１乃至４のいずれか一に記載の音声ミキシング装置。
6. 請求項１乃至５のいずれか一に記載の音声ミキシング装置を備える多地点会議システム。
7. 複数の音声信号をミキシングする音声ミキシング装置における雑音抑圧方法であって、
   前記複数の音声信号のうち少なくとも一つの音声信号を選択する第１ステップと、
   前記第１ステップにおいて選択した少なくとも一つの音声信号を全て加算する第２ステップと、
   前記第２ステップの加算結果から前記選択された一つの音声信号のみを減算する第３ステップと、
   前記第２ステップの加算結果である共通音声信号の雑音を抑圧する第４ステップと、
   前記第３ステップの減算結果である個別音声信号の雑音を抑圧する第５ステップと、
   前記第１ステップの選択結果に基づいて前記第４ステップにおいて得られる雑音抑圧の情報を前記第５ステップにおける雑音抑圧の情報にコピーする第６ステップと、
   を含むことを特徴とする雑音抑圧方法。
8. 前記第１ステップにおける選択結果に基づいて、前記第４ステップおよび前記第５ステップのいずれかにおいて得られる雑音抑圧された音声信号を切り替えて出力する第７ステップを、さらに含むことを特徴とする請求項７記載の雑音抑圧方法。
9. 前記第１ステップの前に、前記複数の音声信号のそれぞれに対して雑音抑圧を行うか否かを選択する第８ステップを、さらに含むことを特徴とする請求項７または８記載の雑音抑圧方法。
10. 前記第１ステップにおいて、前記少なくとも一つの音声信号を該音声信号のパワーに基づいて選択することを特徴とする請求項７乃至９のいずれか一に記載の雑音抑圧方法。
11. 前記第１ステップにおいて、前記少なくとも一つの音声信号を該音声信号が有音か無音かに基づいて選択することを特徴とする請求項７乃至１０のいずれか一に記載の雑音抑圧方法。

Images