JP5167706B2

JP5167706B2 - 放収音装置

Info

Publication number: JP5167706B2
Application number: JP2007180693A
Authority: JP
Inventors: 幸生多田
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2007-07-10
Filing date: 2007-07-10
Publication date: 2013-03-21
Anticipated expiration: 2027-07-10
Also published as: JP2009021658A

Description

この発明は、接続されている他の装置から受信した音声を放音するとともに、自装置で収音した音声を他の装置に送信する放収音装置に関する。

従来、周囲の環境音（騒音音量）を検出し、騒音音量に応じて着信通知の手段を切り替える携帯通信端末が提案されている（例えば特許文献１参照）。また、接続されている装置のパターンに応じて出力先等を制御する装置が提案されている（例えば特許文献２参照）。
特開２００７−１１６５３０号公報特開２００６−３０９８８０号公報

しかし、特許文献１の装置は、騒音音量に応じて着信通知音声の音量が制御されるものではなかった。また、特許文献２の装置は、接続態様により出力先を切り替えるだけであり、環境音に応じて制御を行うものではなかった。

すなわち、同じ音源の音声を複数のユーザで聞く場合、聞く場所や環境によって聞き易い、聞き難いといった状況が発生するが、特許文献１および特許文献２の装置ではこの問題を解決することができなかった。

例えば、テレビの近くにいるユーザと離れた場所にいるユーザでは、最適な音量値が異なる。テレビの近くにいるユーザに最適な音量に設定すると、離れた場所にいるユーザはテレビの音を聞き難くなる。また、離れた場所にいるユーザの周囲に騒音源（例えばキッチンシンクの水が流れる音）が有った場合にはさらにテレビの音を聞き難くなる。一方で離れた場所にいるユーザに最適な音量に設定すると、テレビの近くにいるユーザに耳障りとなる。

そこで、この発明は、音源の音声を聴きとり易い環境下にいるユーザも、聞き取り難い環境下にいるユーザも、最適な音量で聞き取ることができる放収音装置を提供することを目的とする。

この発明の放収音装置は、音声を収音して収音音声信号を出力する収音部と、前記収音音声信号を同一空間内に設置された他の装置に送信するとともに、前記他の装置から放音音声信号を受信する通信部と、前記通信部が受信した放音音声信号に基づいて音声を放音する放音部と、前記収音音声信号と前記放音音声信号との相関を求め、前記相関が高いほど前記放音音声信号のレベルを小さく設定し、前記相関が低いほど前記放音音声信号のレベルを高く設定する設定部と、を備えたことを特徴とする。

この構成では、他装置から入力される放音音声信号と、自装置で収音した収音音声信号の相関を求め、この相関に基づいて放音レベルを設定する。例えば、相関が高ければレベルを小さくし、相関が低ければレベルを大きくする。相関が小さいということは、同じ音源の音声を収音していても自装置側ではノイズが多く、音源の音声を高いＳ／Ｎ比で収音できていない状態を示している。そのため、自装置の近くにいるユーザは、音源の音声を聞き取り難い環境にいると判断することができ、放音レベルを大きくしてユーザに聞き取りやすくする。一方で、相関が高い場合は、音源の音声を聞き取り易い環境にいると判断することができ、放音レベルを小さくしてユーザに耳障りとならないようにする。

また、この発明は、さらに、前記収音音声信号を所定時間保持する収音音声保持部と、前記放音音声信号を所定時間保持する受信音声保持部と、を備え、前記設定部は、前記収音音声保持部が保持する収音音声信号と前記受信音声保持部が保持する放音音声信号を比較して、これらの信号の遅延時間差を求め、前記遅延時間差で収音音声信号または放音音声信号を補正してから相関を求めることを特徴とする。

この構成では、収音音声信号と放音音声信号をバッファする。装置が複数有る場合、異なる位置に配置されているため、同じ音源の音声を収音しても時間差が発生する。つまり、通信部を介して受信される他装置（音源に近い装置）で収音された放音音声信号と、自装置（音源に遠い装置）で収音された収音音声信号と、で時間差が生じる。そこで、収音音声信号と放音音声信号をバッファし、この時間差を求めて補正してから相関を求めることで、高精度に相関を求めることができる。

また、この発明は、さらに、前記設定部は、前記収音音声信号のレベルを検出し、検出したレベルに基づいて前記放音音声信号のレベルを設定することを特徴とする。

この構成では、収音音声信号のレベルが低い場合についても放音レベルを大きく設定する。収音音声信号レベルが低い場合にはノイズが少なくても音源の音声が聞こえ難いと判断することができ、放音レベルを大きくしてユーザに聞き取りやすくする。一方で、収音音声信号レベルが高い場合は、音源の音声を聞き取り易いと判断することができ、放音レベルを小さくしてユーザに耳障りとならないようにする。

この発明によれば、音源の音声を聴きとり易い環境下にいるユーザも、聞き取り難い環境下にいるユーザも、最適な音量で聞き取ることができる。

以下、図面を参照してこの発明の実施形態である放収音システムについて説明する。図１は放収音システムの構成例として、家庭内のリビング、ダイニングに複数の端末を設置した場合を示す図である。図２は、同システムに用いられる端末の構成を示すブロック図である。この放収音システムは、ＰＬＣ（Power Line Communications）ネットワークを介して接続される複数の端末１Ａおよび端末１Ｂにより実現される。なお、本発明におけるネットワークの態様はＰＬＣに限るものではない。なお、本実施形態においてはＡ／Ｄコンバータ、Ｄ／Ａコンバータ等を省略し、特に記載なき場合、装置内を伝達する音声信号は、全てデジタル音声信号とする。

図１において、この放収音システムは、２つの端末１Ａおよび端末１Ｂを備えている。端末１Ａは、テレビ２１の近くに設置され、端末１Ｂは、キッチン３１の近くに設置されている。端末１Ａの近くにはユーザＨ１が存在し、端末１Ｂの近くにはユーザＨ２が存在する。端末１Ａおよび１Ｂは同じ構成、機能を有しており、図２においては、代表して端末１Ａの構成を示す。なお、端末の数はこの例に限るものではない。

端末１Ａは、スピーカ１１、マイク１２、収音信号処理部３、エコーキャンセラ４、制御部５、放音信号処理部６、収音信号バッファ７、放音信号バッファ８、入出力インタフェース（Ｉ／Ｆ）９、および操作部１５を備えている。

操作部１５は、ユーザが行った操作に応じて操作信号を制御部５に送信する。制御部５は、入力された操作信号に応じて種々の動作を行う。例えばユーザが操作部１５を操作してマイク入力レベルの変更を行うと、この制御信号に応じて制御部５が収音信号処理部３の音量（収音した音声信号の増幅量）を設定する。

入出力Ｉ／Ｆ９は、電源ケーブルや音声入力端子等を有する。この端末は、ＰＬＣによりネットワーク通信を行う端末であるため、家庭内のコンセントに接続される電源ケーブルがネットワークＩ／Ｆとなる。端末１Ａは、これらのＩ／Ｆから音声信号を入出力する。図１において端末１Ａは、入出力Ｉ／Ｆ９を介して、端末１Ｂと所定のプロトコルに準じた音声情報として音声信号を送受信する。なお、この端末１Ａは、入出力Ｉ／Ｆ９の音声入力端子から音声信号（アナログ、またはデジタル音声信号）を入力し、スピーカ１１を用いて放音することができるが、無論この構成は本発明において必須ではない。

マイク１２は、音声を収音し、収音信号を収音信号処理部３に出力する。なお、マイク１２は、指向性マイクであってもよいし、無指向性マイクであってもよい。また、マイク１２にかえて、複数のマイクユニットを配列してなるマイクアレイを構成してもよい。この場合、各マイクユニットの収音した音声信号に所定の遅延を付与してから合成することで収音の方向を制御することができる。また、無指向性マイク、指向性マイク、または双指向性マイク等を組み合わせて設置し、これらのマイクが収音した音声信号の位相、レベルを制御してから合成することにより、収音の方向性を制御することもできる。

収音信号処理部３は、収音信号を増幅し、収音信号バッファ７を介して後段のエコーキャンセラ４に出力する。収音信号の増幅量は、制御部５により設定される。収音信号バッファ７は、収音信号を所定時間保持し、後段のエコーキャンセラ４および制御部５に出力する。保持する時間や出力タイミングは制御部５により設定される。

エコーキャンセラ４は、適応型フィルタ４１、および加算器４２を含み、放音信号バッファ８を介して入出力Ｉ／Ｆ９から入力された音声信号（放音信号）を適応型フィルタ４１、および後段の放音信号処理部６に入力する。放音信号バッファ８は、放音信号を所定時間保持し、エコーキャンセラ４および制御部５に出力する。適応型フィルタ４１は、この放音信号をフィルタ処理し、スピーカからマイクに回り込む回帰音声信号を擬似した擬似回帰音信号を生成する。加算器４２は、この擬似回帰音信号を収音信号から減算することでエコー成分を除去する。エコー成分を除去された収音信号は入出力Ｉ／Ｆ９を介して端末１Ｂに送信される。なお、エコー成分を除去した収音信号は、適応型フィルタ４１に入力され、フィルタ係数の更新に用いられる。

次に、放音信号処理部６は、エコーキャンセラ４から入力した放音信号を増幅し、スピーカ１１に供給する。放音信号の増幅量は、制御部５により設定される。制御部５は、放音信号および収音信号を、放音信号バッファ８および収音信号バッファ７を介して入力し、これらの信号を比較した結果に基づいて放音信号処理部６の増幅量を設定する。

図３は、収音信号と放音信号の比較態様を示す図である。同図（Ａ）は、端末１Ａから送信されてきた放音信号（端末１Ａの収音信号）を示す図であり、同図（Ｂ）は、端末１Ｂの収音信号を示す図である。同図（Ｃ）は、収音信号と放音信号の相関を示す図である。同図（Ａ）および同図（Ｂ）に示すグラフの縦軸はレベルを表し、同図（Ｃ）に示すグラフの縦軸は相互相関係数γを表す。また、同図（Ａ）〜（Ｃ）に示すグラフの横軸は時間ｔを表す。同図（Ａ）〜（Ｃ）においては、端末１Ａおよび端末１Ｂにおいて同じ音源の音声（図１におけるテレビ２１の音声）を収音した場合の例を示す。

図３（Ａ）および同図（Ｂ）の例では、端末１Ａおよび端末１Ｂにおいてノイズ音を全く収音せず、テレビ２１の音声のみを収音した場合について説明する。図１に示したように、端末１Ａはテレビ２１の近くに設置されており、端末１Ｂは端末１Ａよりもテレビ２１から遠い位置に設置されている。したがって、図３（Ａ）および同図（Ｂ）に示すように、端末１Ｂの収音信号は、端末１Ａから送信される放音信号（端末１Ａで収音した収音信号）よりもレベルが低く、遅延τが生じる。

制御部５は、これらの収音信号および放音信号のマッチングを行う。まず、各信号のピークを検出し、遅延τを求める。この遅延τで収音信号または放音信号を時間補正する。すなわち、収音信号バッファ７または放音信号バッファ８のいずれかに保持されている音声信号について時間τだけ過去のものを読み出し、マッチングする。マッチングとは、例えば相互相関係数γを求めることである。なお、信号の比較を行うことができるものであれば、相互相関係数に限るものではない。この相互相関係数γを示した例が図３（Ｃ）のグラフである。同図（Ｃ）では、ノイズが無い場合の相互相関係数を示しているため、時間τ経過後の相互相関係数γは高く、ほぼ一定である。

この場合、制御部５は、放音信号処理部６の増幅量を小さく（あるいはゼロに）設定する。端末１Ｂにおいて相関が高いということは、図１においてテレビ２１の音声が端末１Ａおよび端末１Ｂにおいて高いＳ／Ｎ比で収音されており、ユーザＨ２の位置でもテレビ２１の音声が聞き取りやすい状態となっている。そのため、放音音量を小さく設定する。

一方、端末１Ｂの付近にノイズ音があると、図３（Ｄ）に示すように、相互相関係数γが低くなる。図１の例ではノイズ音としてキッチン３１のシンク音（水の音）が存在する。なお、この場合においても制御部５は、遅延τを求めてから各信号のマッチングを行っている。ノイズが発生してもテレビ２１の音声レベルは変わらないため、各信号のピークを検出して遅延τを求めることができる。

この場合、制御部５は、放音信号処理部６の増幅量を大きく設定する。端末１Ｂにおいて相関が低いということは、図１において、テレビ２１の音声が端末１Ａにおいては高いＳ／Ｎ比で収音されているが、端末１Ｂにおいては低いＳ／Ｎ比で収音されており、ユーザＨ２の位置でテレビ２１の音声を聞き取り難い状態となっている。そのため、端末１Ｂで放音音量を大きく設定し、ユーザがテレビ２１の音声を聞き取りやすくする。

なお、制御部５は、放音信号バッファ８および収音信号バッファ７の保持時間と出力タイミングを設定するが、上記遅延τに基づいて放音信号または収音信号の出力タイミングを設定すればよい。例えば図１において、テレビ２１の音声がユーザＨ２に到達するよりも前に端末１Ａから送信された放音信号が放音されると、ユーザに聴感上の違和感を与える。そのため、一旦遅延τを算出すれば、放音信号を遅延τだけ遅延してから出力させることにより、テレビ２１の到達音声と、スピーカ１１の放音音声とのタイミングを合わせ、聴感上の違和感を低減する。

また、増幅量の変更は時間平均等をとり、緩やかに変更されるようにし、ユーザの聴感上の違和感を低減することもできる。

次に、図４は、音量制御の他の例を示すものである。同図（Ａ）は、端末１Ａから送信されてきた放音信号（端末１Ａの収音信号）を示す図であり、同図（Ｂ）は、端末１Ｂの収音信号を示す図である。同図（Ｃ）は、収音信号と放音信号の相関を示す図である。同図（Ａ）および同図（Ｂ）に示すグラフの縦軸はレベルを表し、同図（Ｃ）に示すグラフの縦軸は相互相関係数γを表す。また、同図（Ａ）〜（Ｃ）に示すグラフの横軸は時間ｔを表す。同図（Ａ）〜（Ｃ）においても、端末１Ａおよび端末１Ｂにおいて同じ音源の音声（図１におけるテレビ２１の音声）を収音した場合の例を示す。

この例では、端末１Ａおよび端末１Ｂにおいてノイズ音を収音せず、テレビ２１の音声のみを収音した場合について説明する。ただし、図３の例に比べ、テレビ２１の音声の音量が小さい場合を示す。この例においても、端末１Ａはテレビ２１の近くに設置されており、端末１Ｂは端末１Ａよりもテレビ２１から遠い位置に設置されている。したがって、図４（Ａ）および同図（Ｂ）に示すように、端末１Ｂの収音信号は、端末１Ａから送信される放音信号（端末１Ａで収音した収音信号）よりもレベルが低く、遅延τが生じる。

制御部５は、これらの収音信号および放音信号のマッチングを行い、相互相関係数γを求めるが、さらに収音信号のレベルを検出し、所定の閾値以上であるか否かを判断する。制御部５は、収音信号のレベルが閾値未満であった場合、放音信号処理部６の増幅量を大きく設定する。この例では、同図（Ｃ）に示すように、相互相関係数γが高いが、収音信号のレベルが閾値未満であるため、ユーザＨ２の位置でテレビ２１の音声を聞き取り難い状態となっていると判断し、端末１Ｂで放音音量を大きく設定する。このように、相関が高くとも、収音信号のレベルが低い場合には放音音量を大きくするように設定してもよい。

以上のように、本実施形態の放収音システムによれば、他装置から入力された放音信号と自装置で収音した収音信号とのマッチングを行い、相関が低い場合に放音音量を大きくすることで、ノイズの無い場所にいるユーザは音源の音声をそのまま聞くことができ、ノイズの近くにいるユーザは端末から放音される放音音声を高レベルで聞くことができ、いずれも最適な音量で音源の音声を聞き取ることができる。

なお、本発明においてスピーカは１つに限るものではない。複数のスピーカユニットを配列してなるスピーカアレイを構成してもよい。この場合、各スピーカユニットに供給する音声信号のレベル、遅延量を制御することで放音の方向を制御することができる。また、複数のスピーカを近接して、これらのスピーカに供給する音声信号のレベル、遅延量を制御し、放音指向性を制御することもできる。また、収音側で音源の方向を検出することができる場合、この音源方向を示す情報を送受信し、放音側において音源の方向から音声が聞こえるように仮想音源を設定するようにしてもよい。

なお、本実施形態において、ユーザの設定操作により端末１Ｂから端末１Ａへの収音信号の送信を停止するようにしてもよい。端末１Ｂは、ノイズの近くに設置されているため、端末１Ａにおいてノイズ音が放音されるおそれがあるが、端末１Ｂの送信を停止することで、端末１Ａにおける不要な放音を防止することができる。なお、この場合、端末１Ａにおいては図３、図４に示した信号の比較処理を行わないようにすることが望ましい。

放収音システムの構成を示すブロック図である。端末の構成を示すブロック図である。収音信号と放音信号の比較態様を示す図である。音量制御の他の例を示す図である。

符号の説明

１−端末
３−収音信号処理部
４−エコーキャンセラ
５−制御部
６−放音信号処理部
９−入出力Ｉ／Ｆ
１１−スピーカ
１２−マイク
１５−操作部

Claims

音声を収音して収音音声信号を出力する収音部と、
前記収音音声信号を同一空間内に設置された他の装置に送信するとともに、前記他の装置から放音音声信号を受信する通信部と、
前記通信部が受信した放音音声信号に基づいて音声を放音する放音部と、
前記収音音声信号と前記放音音声信号との相関を求め、前記相関が高いほど前記放音音声信号のレベルを小さく設定し、前記相関が低いほど前記放音音声信号のレベルを高く設定する設定部と、
を備えた放収音装置。
前記収音音声信号を所定時間保持する収音音声保持部と、
前記放音音声信号を所定時間保持する受信音声保持部と、を備え、
前記設定部は、前記収音音声保持部が保持する収音音声信号と前記受信音声保持部が保持する放音音声信号を比較して、これらの信号の遅延時間差を求め、
前記遅延時間差で収音音声信号または放音音声信号を補正してから相関を求める請求項１に記載の放収音装置。
前記設定部は、前記収音音声信号のレベルを検出し、
検出したレベルに基づいて前記放音音声信号のレベルを設定する請求項１、または請求項２に記載の放収音装置。