JP5022459B2

JP5022459B2 - 収音装置、収音方法及び収音プログラム

Info

Publication number: JP5022459B2
Application number: JP2010046311A
Authority: JP
Inventors: 裕輔日岡; 澄宇阪内; 賢一古家; 陽一羽田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2010-03-03
Filing date: 2010-03-03
Publication date: 2012-09-12
Anticipated expiration: 2030-03-03
Also published as: JP2011182292A

Description

本発明は、ＴＶ会議や音声会議、電話、遠隔講義などの収音技術、特に複数の収音再生装置を縦続接続して使用する際の収音技術に関する。

ハンズフリー通話を行う際には、一般にマイクロホンから話者までの距離が離れているため、十分聞き取りやすい音量にするためにはマイクロホンの感度を上げる必要がある。特に複数の話者がいる場合には、話者ごとに距離が異なるため、話者ごとに感度を変える必要がある。このような目的を実現する従来技術として特許文献１の実施例１に示す技術が知られている。従来技術では複数のマイクロホンからなるマイクロホンアレーを用いて、話者の方向ごとに異なる感度を持った指向性パターンを形成する。すなわち図１に示すように、Ｍ個のマイクロホン１１_ｍからなるマイクロホンアレー１１の近傍に位置する話者Ａに対しては感度を低めに、マイクロホンアレー１１から離れた場所に位置する話者Ｂに対しては感度を高めになるように、指向性を形成する。但し、Ｍは２以上の自然数であり、ｍ＝１，２，…，Ｍである。

従来技術では話者の方向を自動的に検知して感度を調整するが、従来技術による収音装置をハンズフリー通話において利用する場合、スピーカの再生音（通話相手から送られてきた音）に対する感度をも上げてしまうため、音響エコーが発生してしまい最悪の場合にはハウリングを起こしてしまうという問題がある。この問題に対し、特許文献１の実施例３の方法によれば、音響エコーを発するスピーカに指向性の死角を向け音響エコーを抑圧しながら話者に対する感度を上げることが可能である。すなわち、図２に示すようにマイクロホンアレー１１から見て、話者Ａとスピーカ２の方向が十分異なる場合には、音響エコーを抑圧しながら話者の感度を上げるような指向性を形成できる。また非特許文献１が音響エコーの抑圧と音量調整を同時に行うような指向性形成方法として知られている。

特許４１０４６２６号公報

小林和則、古家賢一、羽田陽一、片岡章俊、"方向別自動音量調整マイクロホンアレー"、電子情報通信学会論文誌Ａ、社団法人電子情報通信学会、2004、Vol.J87-A, No.12、pp.1491-1501

しかし、従来技術は、スピーカと話者の位置に制約が生じる。すなわち、図３のように話者Ａとスピーカ２が同じまたは近接した方向に位置する場合には、両者の区別がつかないため適切な指向性を形成することができない。このためスピーカの位置が任意に決められるような装置の場合には、従来技術は利用できない。

特に図４のように、複数の収音再生装置１０_１、１０_２及び１０_３を縦続に接続し、対地側の話者Ｚ（通話相手）から送られてくる音が全ての収音再生装置の備えるスピーカ２から再生されるような形態では、話者とスピーカの方向は近接しているうえ、収音再生装置の位置はユーザが任意に決めるためこの問題が顕在化する。

上記の課題を解決するために、本発明の第一の態様によれば、収音装置は、各音源から発せられ、音響空間に配置された複数チャネルのマイクロホンにより収音された受音信号を用いて、送信信号を生成し送話端に出力する。収音装置は、受話端から受話信号を受け取り、この受話信号から受話区間を判定する受話判定部と、受話判定部が受話区間ではないと判定した場合には、音源の位置を検出し、音源の位置に対応する共分散行列を算出して共分散行列記憶部に記憶し、共分散行列を用いて各音源に対する送話信号レベルが各々所望のレベルとなるよう複数チャネルのフィルタ係数を算出し、受話判定部が受話区間であると判定した場合には、フィルタ係数を算出することを停止し、停止時のフィルタ係数算出に用いた共分散行列を記憶部に保存する指向性形成フィルタ算出部と、マイクロホンの受音信号を、複数チャネルのフィルタ係数で、各々フィルタリングする複数チャネルのフィルタと、複数チャネルのフィルタの出力信号を加算し、送話信号として出力する加算部と、受話判定部が受話区間であると判定した場合には、フィルタの入力信号、または、加算部の入力信号、または、加算部の出力信号を０とするスイッチとを備える。指向性形成フィルタ算出部は、受話判定部が受話区間であると判定した後に受話区間ではないと判定した場合には、停止時のフィルタ係数算出に用いた共分散行列を記憶部から読み出してフィルタ係数の算出に用いる。
上記の課題を解決するために、本発明の第二の態様によれば、収音装置は、各音源から発せられ、音響空間に配置された複数チャネルのマイクロホンにより収音された受音信号を用いて、送信信号を生成し送話端に出力する。収音装置は、受話端から受話信号を受け取り、この受話信号から受話区間を判定する受話判定部と、受話判定部が受話区間ではないと判定した場合には、音源の位置を検出し、音源の位置に対応する共分散行列を算出して共分散行列記憶部に記憶し、共分散行列を用いて各音源に対する送話信号レベルが各々所望のレベルとなるよう複数チャネルのフィルタ係数を算出し、受話判定部が受話区間であると判定した場合には、フィルタ係数を算出することを停止し、停止時のフィルタ係数算出に用いた共分散行列を記憶部に保存する指向性形成フィルタ算出部と、受話判定部が受話区間ではないと判定した場合には、マイクロホンの受音信号を、指向性形成フィルタ算出部で算出した複数チャネルのフィルタ係数で各々フィルタリングし、受話判定部が受話区間であると判定した場合には、マイクロホンの受音信号を、全ての値が０の複数チャネルのフィルタ係数で各々フィルタリングするフィルタと、複数チャネルのフィルタの出力信号を加算し、送話信号として出力する加算部、とを備える。指向性形成フィルタ算出部は、受話判定部が受話区間であると判定した後に受話区間ではないと判定した場合には、停止時のフィルタ係数算出に用いた共分散行列を記憶部から読み出してフィルタ係数の算出に用いる。
上記の課題を解決するために、本発明の第三の態様によれば、収音方法は、各音源から発せられ、音響空間に配置された複数チャネルのマイクロホンにより収音された受音信号を用いて、送信信号を生成し送話端に出力する。収音方法は、受話端から受話信号を受け取り、この受話信号から受話区間を判定する受話判定ステップと、受話判定ステップにおいて受話区間ではないと判定した場合には、音源の位置を検出し、音源の位置に対応する共分散行列を算出して共分散行列記憶部に記憶し、共分散行列を用いて各音源に対する送話信号レベルが各々所望のレベルとなるよう複数チャネルのフィルタ係数を算出し、受話判定ステップにおいて受話区間であると判定した場合には、フィルタ係数を算出することを停止し、停止時のフィルタ係数算出に用いた共分散行列を記憶部に保存する指向性形成フィルタ算出ステップと、マイクロホンの受音信号を、複数チャネルのフィルタ係数で、各々フィルタリングするフィルタリングステップと、複数チャネルのフィルタの出力信号を加算し、送話信号として出力する加算ステップと、受話判定ステップにおいて受話区間であると判定した場合には、フィルタリングステップにおける入力信号、または、加算ステップにおける入力信号、または、加算ステップにおける出力信号を０とするステップとを備える。指向性形成フィルタ算出ステップは、受話判定ステップにおいて受話区間であると判定した後に受話区間ではないと判定した場合には、停止時のフィルタ係数算出に用いた共分散行列を記憶部から読み出してフィルタ係数の算出に用いる。
上記の課題を解決するために、本発明の第四の態様によれば、収音方法は、各音源から発せられ、音響空間に配置された複数チャネルのマイクロホンにより収音された受音信号を用いて、送信信号を生成し送話端に出力する。収音方法は、受話端から受話信号を受け取り、この受話信号から受話区間を判定する受話判定ステップと、受話判定ステップにおいて受話区間ではないと判定した場合には、音源の位置を検出し、音源の位置に対応する共分散行列を算出して共分散行列記憶部に記憶し、共分散行列を用いて各音源に対する送話信号レベルが各々所望のレベルとなるよう複数チャネルのフィルタ係数を算出し、受話判定ステップにおいて受話区間であると判定した場合には、フィルタ係数を算出することを停止し、停止時のフィルタ係数算出に用いた共分散行列を記憶部に保存する指向性形成フィルタ算出ステップと、受話判定ステップにおいて受話区間ではないと判定した場合には、マイクロホンの受音信号を、指向性形成フィルタ算出ステップで算出した複数チャネルのフィルタ係数で各々フィルタリングし、受話判定ステップにおいて受話区間であると判定した場合には、マイクロホンの受音信号を、全ての値が０の複数チャネルのフィルタ係数で各々フィルタリングするフィルタリングステップと、複数チャネルのフィルタの出力信号を加算し、送話信号として出力する加算ステップとを備える。収音方法は、指向性形成フィルタ算出ステップは、受話判定ステップにおいて受話区間であると判定した後に受話区間ではないと判定した場合には、停止時のフィルタ係数算出に用いた共分散行列を記憶部から読み出してフィルタ係数の算出に用いる。

本発明は、ネットワークから送られてくる通話相手の音（受話信号）を観測し、マイクロホンアレーの動作を制御するので、音響エコーを抑えることができ、さらに、スピーカ及び話者の位置を任意に決めることができ、計算量を減らすことができるという効果を奏する。

話者の位置関係とマイクロホンアレー１１の指向性パターンの例を示す図。話者の位置関係及びスピーカとマイクロホンアレー１１の指向性パターンの例を示す図。話者とスピーカがマイクロホンアレー１１から見て同方向に位置する場合の指向性パターンの例を示す図。（Ａ）は複数の収音再生装置１０_１、１０_２及び１０_３を縦続に接続し、対地側の話者Ｚ（通話相手）から送られてくる音が全ての収音再生装置の備えるスピーカ２から再生されるような形態を示し、（Ｂ）は収音再生装置１０の構成例を示す図。収音装置１００及び２００の構成例を示す図。収音装置１００の処理フローを示す図受話判定部１１０の構成例を示す図。従来技術及び実施例１の収音装置の発話及び受話状態による処理の変化を示す図。指向性形成フィルタ算出部１２０の構成例を示す図。指向性形成フィルタ算出部１２０の処理フローを示す図。受話判定部２１０の構成例を示す図。

以下、本発明の実施の形態について、詳細に説明する。

＜収音装置１００＞
図５及び６を用いて実施例１に係る収音装置１００を説明する。収音装置１００は２以上のフィルタ１２_１、１２_２、…、１２_Ｍと、受話判定部１１０と、指向性形成フィルタ算出部１２０と、加算部１３と、を備える。

また、例えば、Ｍ個のマイクロホン１１_１、１１_２、…、１１_Ｍからなるマイクロホンアレー１１、または、マイクロホンアレー１１の出力を受け取る図示しない入力部を備える。本実施例では収音装置１００は図示しない入力部を備える。また、ＳＷ１３１〜１３３の何れか一つを備えてもよい。本実施例ではＳＷ１３３を備える。

収音装置１００は、各音源９_１、９_２、…、９_Ｋから発せられ、音響空間に配置された複数チャネルのマイクロホン１１_１、１１_２、…、１１_Ｍにより収音された受音信号を用いて、送信信号を生成し送話端４に出力する。なお、マイクロホン１１_１〜１１_Ｍの各出力受音信号は特に図示しないがディジタルアナログ変換器により予め決められたサンプリング周波数でディジタル値に変換して得られたディジタルの受音信号であるものとする。

＜受話判定部１１０＞
受話判定部１１０は、ネットワーク１と接続されている図示しない受話端から受話信号を受け取り、この受話信号から受話区間を判定する（ｓ１１０）。
受話判定部１１０は、受話区間であると判定した場合には、後述する指向性形成フィルタ算出部１２０において、フィルタ係数を算出することを停止するように制御信号を出力する。また、送話端４に出力する送話信号を０とするために、ＳＷ１３３に対し制御信号を出力し、スイッチをオフにし、送話信号を出力しないようにする。

図７を用いて、受話区間を判定する方法を例示する。受話判定部１１０は、例えば、短時間平均パワー算出部１１０Ｂと、長時間平均パワー算出部１１０Ｃと、割算部１１０Ｄと、判定部１１０Ｇとを備える。

短時間平均パワー算出部１１０Ｂは、受け取った受話信号の短時間平均パワー（例えば０．１〜１ｓ間程度の平均パワー）Ｐ_ａｖＳＲを算出し、出力する。長時間平均パワー算出部１１０Ｃは、受け取った受話信号の長時間平均パワー（例えば１〜１００ｓ間程度の平均パワー）Ｐ_ａｖＬＲを算出し、出力する。割算部１１０Ｄは、短時間平均パワーと長時間平均パワーを入力とし、その比Ｒ_ｐＲ＝Ｐ_ａｖＳＲ／Ｐ_ａｖＬＲを求め、出力する。判定部１１０Ｇは、割算部１１０Ｄにおいて求めた比Ｒ_ｐＲと、予め定めた閾値Ｒ_ｔｈＵＲとを入力とし、これを比較し、比Ｒ_ｐＲが閾値Ｒ_ｔｈＵＲを超える場合に受話区間と判定し、上述したフィルタ係数の算出の停止を指示する制御信号やＳＷ１３３をオフにする制御信号を出力する。それ以外の場合には、フィルタ係数の算出を指示する制御信号やＳＷ１３３をオンにする制御信号を出力してもよい。なお、閾値Ｒ_ｔｈＵＲは、経験的に一意に決定するものであり、少なくとも１以上の値であり、例えば５〜１００程度の値をとる。

図８は、フィルタの更新状態及び収音装置の出力の時間変化を表している。図中の「ｏｎ」はフィルタの更新及び送信信号を出力することを表し、「ｏｆｆ」は更新及び送信信号の出力がなされないことを表す。特許文献１の実施例３の場合には、受話状態（区間Ａ）において、スピーカ方向に指向性のヌルを向けるように学習を続ける。しかし発話区間と受話区間が頻繁に変わる場合（区間Ｂ）には、フィルタの学習が効果的に行われない。一方、本発明による方法では、受話区間ではフィルタの学習を行わず出力信号が０になるような処理を行うことで、区間Ｂのようなケースでも音量調整の効果を損なうことなく、音響エコーの抑圧を行うことができる。

＜指向性形成フィルタ算出部１２０＞
受話判定部１１０において、受話区間ではないと判定した場合には、指向性形成フィルタ算出部１２０は、マイクロホンアレー１１の受音信号を入力とし、各音源９_１、９_２、…、９_Ｋに対する送話信号レベルが各々所望のレベルとなるよう複数チャネルのフィルタ係数を算出し（ｓ１２０）、このフィルタ係数をフィルタ１２_１、１２_２、…、１２_Ｍに出力する。例えば、特許文献１記載の方法により、音源位置を検出し、その音源からの収音レベルを推定して指向性を形成し、フィルタ係数を算出する。詳細は後述する。受話判定部１１０において、受話区間であると判定した場合には、指向性形成フィルタ算出部１２０は、受話判定部１１０から受け取る制御信号に従って、フィルタ係数の算出を停止する。

＜フィルタ１２_１、１２_２、…、１２_Ｍ＞
フィルタ１２_１、１２_２、…、１２_Ｍは、指向性形成フィルタ算出部１２０からフィルタ係数を受け取り、設定する。さらに、マイクロホン１１_１、１１_２、…、１１_Ｍの受音信号を、複数チャネルのフィルタ係数で、各々フィルタリングする（ｓ１２５）。

＜加算部１３＞
加算部１３は、複数チャネルのフィルタの出力信号を入力とし、これを全て加算し、得られた値を送話信号として送話端４に出力する（ｓ１３０）。

＜指向性形成フィルタ算出部１２０の処理概要＞
指向性形成フィルタ算出部１２０は、例えば特許文献１と同様の方法により、音源位置を検出し、その音源からの収音レベルを推定して指向性を形成する。図９及び１０を用いて指向性形成フィルタ算出部１２０の概要を説明する。指向性形成フィルタ算出部１２０は、状態判定部１４と、音源位置検出部１５と、周波数領域変換部１６と、共分散行列算出部１７と、共分散行列記憶部１８と、収音レベル推定部１９と、フィルタ係数算出部２１を有する。

図１０に示すように、まず、ステップＳ１で音源数ＫをＫ=０に初期設定する。次にステップＳ２で状態判定部１４により定期的に発話検出を行い、発話が検出されるとステップＳ３で音源位置検出部１５により音源位置検出を実行する。ステップＳ４で、検出された音源位置が以前に検出された音源位置の何れかと一致するか判定し、一致するものがあればステップＳ５でその音源位置に対応する共分散行列Ｒ_ＸＸ（ω）を共分散行列算出部１７で新たに計算し、ステップＳ６で共分散行列記憶部１８の対応する領域の共分散行列を更新する。

ステップＳ４で以前に検出された音源位置と一致しなかった場合は、ステップＳ７でＫを１だけ増加させ、ステップＳ８でその音源位置に対応する共分散行列Ｒ_ＸＸ（ω）を共分散行列算出部１７で新たに計算し、ステップＳ９で共分散行列記憶部１８の新たな領域に共分散行列を記憶する。

次に、ステップＳ１０で記憶されている共分散行列から、収音レベル推定部１９により収音レベルを推定し、ステップＳ１１で推定収音レベルと共分散行列を使ってフィルタ係数算出部２１によりフィルタ係数の算出を行い、ステップＳ１２でフィルタ１２_１〜１２_Mの設定フィルタ係数を更新する。なお、指向性を形成する方法は他の従来技術を用いてもよい。

ここで、ステップＳ８の詳細を説明する。なお、他のステップの処理については、特許文献１に詳しく記載されている。共分散行列算出部１７では、マイクロホンの受音信号の共分散を求め、共分散行列を生成する。各音源９_ｋ（但しｋ＝１，２，…，Ｋであり、Ｋは音源の数である）に対し周波数領域変換部１６で得られたマイクロホンの受音信号の周波数領域変換信号をＸ_１（ω）〜Ｘ_Ｍ（ω）とすると、これらの信号のＭ×Ｍ共分散行列Ｒ_ＸＸ（ω）は一般に以下の式で表される。

但し、^＊は複素共役を表す。特許文献１の実施例３による方法では、話者に対する感度を上げながら、スピーカに死角を向ける指向性を形成するために共分散行列Ｒ_ＸＸ（ω）を求める。このとき、時間平均を行うため一定時間以上の発話区間と受話区間の信号データが必要になる。しかしながら、図８の区間Ｂのように、一般に会話をする際に話者は頻繁に交代することから、所望の指向性を形成するために十分な信号データを得られないうちに話者位置が変わってしまうことが多く、結果として共分散行列を求めるため大きな計算量を要する割に十分な音響エコー抑圧効果を得られないことがある。

一方、本実施例においては、受話区間であると判定した場合には、指向性形成フィルタ算出部１２０は、フィルタ係数の算出を停止するように制御信号を受け取った場合には、各部の処理を停止する。従って、共分散行列Ｒ_ＸＸ（ω）の算出も停止するため、受話区間ではないと判定した場合には、停止時のフィルタ係数の算出に用いた情報（共分散行列等）に基づき、フィルタ係数を算出する。よって、単に計算量を減らすことができるだけではなく、受話区間後の発話にも迅速に追従することができるという効果を奏する。
＜効果＞
このような構成とすることによって、本発明は、ネットワークから送られてくる通話相手の音（受話信号）を観測し、マイクロホンアレーの動作を制御するので、音響エコーを抑えることができる。言い換えると、観測した受話信号が十分小さい時のみマイクロホンアレーの指向性の学習を行い、得られたデータを用いて収音処理を行う。一方、受話信号が大きい場合にはマイクロホンアレーの指向性の学習を停止し、さらにマイクロホンアレーの出力を小さくする処理を行う。これにより従来技術の課題として述べたようにスピーカと話者位置が近接する場合も、音響エコーの抑圧性能を失うことなく指向性形成による音量調整が可能になる。さらに、スピーカ及び話者の位置を任意に決めることができ、計算量を減らすことができる。また、話者が頻繁に交代するような場合にも、計算量を要することなく音響エコー抑圧効果を得ることができる。

上述した収音装置１００は、コンピュータにより機能させることもできる。この場合はコンピュータに、目的とする装置として機能させるためのプログラム、又はその処理手順の各過程をコンピュータに実行させるためのプログラムを、ＣＤ−ＲＯＭ、磁気ディスク、半導体記憶装置などの記録媒体から、あるいは通信回線を介してそのコンピュータ内にダウンロードし、そのプログラムを実行させればよい。

［変形例］
なお、マイクロホンアレー１１は収音装置１００に含まれる（内蔵）構成であってもよい。
なお、ＳＷ１３３に代えて、ＳＷ１３１またはＳＷ１３２を備えてもよい。受話判定部１１０の制御信号により、何れのＳＷもｏｎ，ｏｆｆの制御が可能な構成とする。ＳＷ１３２を用いた場合には加算部で行われる加算処理を省くことができ、ＳＷ１３１を用いた場合にはさらにフィルタで行われるフィルタリング処理を省くことができる。

受話判定部１１０は、他の方法によって、受話区間を判定してもよい。例えば、受話判定部１１０は、短時間平均パワー算出部１１０Ｂと、判定部１１０Ｇとを備え、短時間平均パワー算出部１１０Ｂは、受け取った受話信号の短時間平均パワー（例えば０．１〜１ｓ間程度の平均パワー）Ｐ_ａｖＳＲを算出する。判定部１１０Ｇは、短時間平均パワー算出部１１０Ｂにおいて算出した短時間平均パワーＰ_ａｖＳＲと、予め定めた閾値Ｒ_ｔｈＵＲとを比較し、それを超える場合に受話区間と判定し、フィルタ係数の更新を停止する制御信号及び送話信号の出力を停止する制御信号を出力する構成としてもよい。短時間平均パワーによって、十分に受話区間を推定できる場合には、このような構成により実施例１と同様の効果が得られ計算量が少ない収音装置とすることができる。

また、ＳＷ１３１〜１３３の何れも有さず、フィルタ１２_１、１２_２、…、１２_Ｍにフィルタ係数として０を設定する構成としてもよい。この場合、制御信号に代えてフィルタ係数を送信してもよい。例えば、受話判定部１１０において、受話区間であると判定した場合には、指向性形成フィルタ算出部１２０に制御信号を出力し、指向性形成フィルタ算出部１２０において、フィルタ係数を算出することを停止し、停止時のフィルタ係数の算出に用いた情報（共分散行列Ｒ_ＸＸ（ω）など）を図示しない記憶部に保存する。その後、受話判定部１１０は、フィルタ１２_１、１２_２、…、１２_Ｍのフィルタ係数を全て０にするように制御信号を出力するか、または、全て０のフィルタ係数をフィルタ１２_１、１２_２、…、１２_Ｍに送信する。フィルタ１２_１、１２_２、…、１２_Ｍでは、このフィルタ係数とマイクロホン１１_１、１１_２、…、１１_Ｍの受音信号を用いて、フィルタリングを行い、送話端に出力する送話信号を０とする。その後に、受話判定部１１０において、受話区間ではないと判定した場合には、指向性形成フィルタ算出部１１０において、記憶部から停止時のフィルタ係数の算出に用いた情報を取り出し、これに基づきフィルタ係数を更新する。このような構成とすることで、十分な信号データを得られないうちに話者位置が変わってしまい、結果として共分散行列を求めるため大きな計算量を要する割に十分な音響エコー抑圧効果を得られないという問題を解消できる。

＜収音装置２００＞
図５及び１１を用いて実施例２に係る収音装置２００を説明する。実施例１と異なる部分についてのみ説明する。
収音装置２００は、受話判定部２１０の構成が実施例１の収音装置１００と異なる。

＜受話判定部２１０＞
受話判定部２１０は、マイクロホン１１_１、１１_２、…、１１_Ｍのうちの少なくとも１つ（例えばマイクロホン１１_１の受音信号）から受音信号を受け取り（図５中破線で示す）、ネットワーク１と接続されている図示しない受話端から受話信号を受け取る。

受話判定部２１０は、受話区間であると判定した場合であって、受音信号と受話信号が類似している場合には、指向性形成フィルタ算出部１２０において、フィルタ係数を算出することを停止するように制御信号を出力する。また、送話端４に出力する送話信号を０とするために、ＳＷ１３３に対し制御信号を出力し、スイッチをオフにし、送話信号を出力しないようにする。

図１１を用いて、受話区間を判定する方法を例示する。受話判定部２１０は、例えば、短時間平均パワー算出部１１０Ｂと、長時間平均パワー算出部１１０Ｃと、割算部１１０Ｄと、類似度判定部２１０Ｈと、判定部２１０Ｇとを備える。

短時間平均パワー算出部１１０Ｂと、長時間平均パワー算出部１１０Ｃと、割算部１１０Ｄにおける処理は実施例１と同様である。

類似度判定部２１０Ｈは、マイクロホン１１_１により収音された受音信号と受話端から受け取った受話信号を入力とし、これを用いて、受音信号と受話信号が類似しているか否かを判定する。例えば、受話信号と受音信号の相互相関や、振幅スペクトルの相関などを用いて、類似度を求める。このとき類似度は０から１の間の値をとるように正規化されており、０の時は全く類似性がない、１の時は完全に一致することを表す。さらに、類似度と予め定めた閾値Ｒ_ｔｈＵＳとを比較し、類似度が閾値Ｒ_ｔｈＵＳを超える場合には、類似している旨の類似度判定結果を出力する。なお、閾値Ｒ_ｔｈＵＳは、０〜１の間の値であり、経験的に一意に決定するものであり、例えば、０．５程度の値をとる。

判定部１１０Ｇは、割算部１１０Ｄにおいて求めた比Ｒ_ｐＲと、予め定めた閾値Ｒ_ｔｈＵＲとを入力とし、比Ｒ_ｐＲと閾値Ｒ_ｔｈＵＲを比較し、比Ｒ_ｐＲが閾値Ｒ_ｔｈＵＲを超え、かつ、類似している旨の類似度判定結果を受け取った場合には、フィルタ係数の算出の停止する制御信号とＳＷ１３３をオフにする制御信号を出力する。それ以外の場合には、フィルタ係数の算出を指示する制御信号やＳＷ１３３をオンにする制御信号を出力してもよい。
＜効果＞
このような構成とすることで、受話信号が再生されるスピーカが話者と近接した方向にある場合でも、例えばスピーカが話者に比べて非常に遠くに位置する場合や、スピーカとマイクロホンの間に大きな遮蔽物がある場合など、音響エコーの影響がほとんどないような場合において、受話信号が存在する場合でも音量調整を行うことができるという効果を奏する。音響エコーの影響がほとんどないような場合には、指向性形成による音量調整を停止する必要が無いので、このような構成が有効である。

本発明は、複数の収音再生装置を縦続接続して使用する際の収音技術等に利用することができる。

１００，２００収音装置
１２フィルタ
１３加算部
１１０受話判定部
１２０指向性形成フィルタ算出部

Claims

各音源から発せられ、音響空間に配置された複数チャネルのマイクロホンにより収音された受音信号を用いて、送信信号を生成し送話端に出力する収音装置であって、
受話端から受話信号を受け取り、この受話信号から受話区間を判定する受話判定部と、
前記受話判定部が受話区間ではないと判定した場合には、音源の位置を検出し、前記音源の位置に対応する共分散行列を算出して共分散行列記憶部に記憶し、前記共分散行列を用いて各音源に対する送話信号レベルが各々所望のレベルとなるよう複数チャネルのフィルタ係数を算出し、前記受話判定部が受話区間であると判定した場合には、前記フィルタ係数を算出することを停止し、停止時のフィルタ係数算出に用いた共分散行列を記憶部に保存する指向性形成フィルタ算出部と、
前記マイクロホンの受音信号を、前記複数チャネルのフィルタ係数で、各々フィルタリングする複数チャネルのフィルタと、
前記複数チャネルのフィルタの出力信号を加算し、送話信号として出力する加算部と、
前記受話判定部が受話区間であると判定した場合には、前記フィルタの入力信号、または、前記加算部の入力信号、または、前記加算部の出力信号を０とするスイッチとを備え、
前記指向性形成フィルタ算出部は、前記受話判定部が受話区間であると判定した後に受話区間ではないと判定した場合には、前記停止時のフィルタ係数算出に用いた共分散行列を前記記憶部から読み出してフィルタ係数の算出に用いる、
収音装置。
各音源から発せられ、音響空間に配置された複数チャネルのマイクロホンにより収音された受音信号を用いて、送信信号を生成し送話端に出力する収音装置であって、
受話端から受話信号を受け取り、この受話信号から受話区間を判定する受話判定部と、
前記受話判定部が受話区間ではないと判定した場合には、音源の位置を検出し、前記音源の位置に対応する共分散行列を算出して共分散行列記憶部に記憶し、前記共分散行列を用いて各音源に対する送話信号レベルが各々所望のレベルとなるよう複数チャネルのフィルタ係数を算出し、前記受話判定部が受話区間であると判定した場合には、前記フィルタ係数を算出することを停止し、停止時のフィルタ係数算出に用いた共分散行列を記憶部に保存する指向性形成フィルタ算出部と、
前記受話判定部が受話区間ではないと判定した場合には、前記マイクロホンの受音信号を、前記指向性形成フィルタ算出部で算出した前記複数チャネルのフィルタ係数で各々フィルタリングし、前記受話判定部が受話区間であると判定した場合には、前記マイクロホンの受音信号を、全ての値が０の前記複数チャネルのフィルタ係数で各々フィルタリングするフィルタと、
前記複数チャネルのフィルタの出力信号を加算し、送話信号として出力する加算部、とを備え、
前記指向性形成フィルタ算出部は、前記受話判定部が受話区間であると判定した後に受話区間ではないと判定した場合には、前記停止時のフィルタ係数算出に用いた共分散行列を前記記憶部から読み出してフィルタ係数の算出に用いる、
収音装置。
請求項１または２記載の収音装置であって、
前記受話判定部は、
前記受話信号の短時間平均パワーを算出する短時間平均パワー算出部と、
前記受話信号の長時間平均パワーを算出する長時間平均パワー算出部と、
短時間平均パワーと長時間平均パワーの比を求める割算部と、
前記割算部において求めた比と、予め定めた閾値とを比較することにより受話区間か否かを判定する判定部と、を備える、
ことを特徴とする収音装置。
請求項１または２記載の収音装置であって、
前記受話判定部は、
前記受話信号の短時間平均パワーを算出する短時間平均パワー算出部と、
前記短時間平均パワーと、予め定めた閾値とを比較することにより受話区間か否かを判定する判定部と、を備える、
ことを特徴とする収音装置。
請求項１から４の何れかに記載の収音装置であって、
前記受話判定部は、
前記マイクロホンにより収音された受音信号と前記受け取った受話信号を用いて、受音信号と受話信号が類似しているか否かを判定する類似度判定部を備え、
前記受話判定部において、受話区間であり、かつ、受音信号と受話信号が類似していると判定した場合には、
前記指向性形成フィルタ算出部において、フィルタ係数を算出することを停止し、送話端に出力する送話信号を０とする、
ことを特徴とする収音装置。
各音源から発せられ、音響空間に配置された複数チャネルのマイクロホンにより収音された受音信号を用いて、送信信号を生成し送話端に出力する収音方法であって、
受話端から受話信号を受け取り、この受話信号から受話区間を判定する受話判定ステップと、
前記受話判定ステップにおいて受話区間ではないと判定した場合には、音源の位置を検出し、前記音源の位置に対応する共分散行列を算出して共分散行列記憶部に記憶し、前記共分散行列を用いて各音源に対する送話信号レベルが各々所望のレベルとなるよう複数チャネルのフィルタ係数を算出し、前記受話判定ステップにおいて受話区間であると判定した場合には、前記フィルタ係数を算出することを停止し、停止時のフィルタ係数算出に用いた共分散行列を記憶部に保存する指向性形成フィルタ算出ステップと、
前記マイクロホンの受音信号を、前記複数チャネルのフィルタ係数で、各々フィルタリングするフィルタリングステップと、
前記複数チャネルのフィルタの出力信号を加算し、送話信号として出力する加算ステップと、
前記受話判定ステップにおいて受話区間であると判定した場合には、前記フィルタリングステップにおける入力信号、または、前記加算ステップにおける入力信号、または、前記加算ステップにおける出力信号を０とするステップとを備え、
前記指向性形成フィルタ算出ステップは、前記受話判定ステップにおいて受話区間であると判定した後に受話区間ではないと判定した場合には、前記停止時のフィルタ係数算出に用いた共分散行列を前記記憶部から読み出してフィルタ係数の算出に用いる、
収音方法。
各音源から発せられ、音響空間に配置された複数チャネルのマイクロホンにより収音された受音信号を用いて、送信信号を生成し送話端に出力する収音方法であって、
受話端から受話信号を受け取り、この受話信号から受話区間を判定する受話判定ステップと、
前記受話判定ステップにおいて受話区間ではないと判定した場合には、音源の位置を検出し、前記音源の位置に対応する共分散行列を算出して共分散行列記憶部に記憶し、前記共分散行列を用いて各音源に対する送話信号レベルが各々所望のレベルとなるよう複数チャネルのフィルタ係数を算出し、前記受話判定ステップにおいて受話区間であると判定した場合には、前記フィルタ係数を算出することを停止し、停止時のフィルタ係数算出に用いた共分散行列を記憶部に保存する指向性形成フィルタ算出ステップと、
前記受話判定ステップにおいて受話区間ではないと判定した場合には、前記マイクロホンの受音信号を、前記指向性形成フィルタ算出ステップで算出した前記複数チャネルのフィルタ係数で各々フィルタリングし、前記受話判定ステップにおいて受話区間であると判定した場合には、前記マイクロホンの受音信号を、全ての値が０の前記複数チャネルのフィルタ係数で各々フィルタリングするフィルタリングステップと、
前記複数チャネルのフィルタの出力信号を加算し、送話信号として出力する加算ステップとを備え、
前記指向性形成フィルタ算出ステップは、前記受話判定ステップにおいて受話区間であると判定した後に受話区間ではないと判定した場合には、前記停止時のフィルタ係数算出に用いた共分散行列を前記記憶部から読み出してフィルタ係数の算出に用いる、
収音方法。
請求項６または７記載の収音方法であって、
前記受話判定ステップは、
前記受話信号の短時間平均パワーを算出する短時間平均パワー算出ステップと、
前記受話信号の長時間平均パワーを算出する長時間平均パワー算出ステップと、
短時間平均パワーと長時間平均パワーの比を求める割算ステップと、
前記割算ステップにおいて求めた比と、予め定めた閾値とを比較することにより受話区間か否かを判定する判定ステップと、を備える、
ことを特徴とする収音方法。
請求項６または７記載の収音方法であって、
前記受話判定ステップは、
前記受話信号の短時間平均パワーを算出する短時間平均パワー算出ステップと、
前記短時間平均パワーと、予め定めた閾値とを比較することにより受話区間か否かを判定する判定ステップと、を備える、
ことを特徴とする収音方法。
請求項６から９の何れかに記載の収音方法であって、
前記受話判定ステップは、
前記マイクロホンにより収音された受音信号と前記受け取った受話信号を用いて、受音信号と受話信号が類似しているか否かを判定する類似度判定ステップを備え、
前記受話判定ステップにおいて、受話区間であり、かつ、受音信号と受話信号が類似していると判定した場合には、
前記指向性形成フィルタ算出ステップにおいて、フィルタ係数を算出することを停止し、送話端に出力する送話信号を０とする、
ことを特徴とする収音方法。
請求項１から５の何れかに記載の収音装置として、コンピュータを機能させるためのプログラム。