JP3829485B2 - 音声通話装置、音声通話システム、および音声通話方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、例えば、３人以上の話者の間において音声通話する際に用いられ、電話会議や遠隔テレビ会議等に用いて好適な音声通話装置、音声通話システム、および音声通話方法に関する。
【０００２】
【従来の技術】
コミュニケーションを目的とし、遠隔地に音声や映像を伝送することが可能な各種装置およびシステムが提案されているが、実際に広く普及しているのは電話装置である。近年、通信方式のディジタル化に伴い、電話装置においても各種サービスを受けることができ、然も、画像等が送れる高機能な電話装置が実用化されている。従来の電話装置において画像を伝送する場合には、例えば、現行のアナログ回線が使用され、静止画のみが伝送される。また、通信サービスにおいては、通常の回線交換接続以外にも、３者同時通話が可能な接続サービスが提供されつつある。このようなサービスは、今後、さらに通信網の整備や通信方式の高度化に伴って、複雑多岐にわたるものとなることが予想され、高度な情報通信サービスの一つとして多地点間におけるテレビ会議や３人以上の話者が同時通話可能な電話会議等が考えられる。
【０００３】
【発明が解決しようとする課題】
しかしながら、一つの電話装置の受話器を用いて複数の人と会話しようとしても、本来の会話のように相手の方を向いて声の大きさを調節したり、顔の表情を確認しながら会話を進めることができないため、通常の会話とは感覚が異なり、円滑にコミュニケーションを図ることができない問題点があった。また、同時に会話する人数が多くなるにつれて、会話の中心となる相手の話を聞き分けることが困難になり使い勝手が悪い問題点があった。
【０００４】
また、多地点間におけるテレビ会議や３人以上の話者が同時通話可能な電話会議等を行う場合には、その場所毎にマイクの状態やマイクと話者との距離が異なるためにそれぞれ音量レベルが異なり、音量レベル等を全体として調整する必要が生じ、制御情報や制御系が複雑になる問題点を有していた。
【０００５】
従って、この発明の目的は、会話の中心となる相手の話を聞き分けることが容易で使い勝手が良く、然も、各話者の音量レベルが自動的に適正レベルとすることができる音声通話装置、音声通話システム、および音声通話方法を提供することにある。
【０００６】
以上の問題を解決するために、請求項１の発明は、通信を介して複数の人が音声通話するようになされた音声通話システムに用いられる音声通話装置において、
通話中に各人の音声の音量を検出する音量検出手段と、
音量検出手段により検出される音量を所定のしきい値で２値化することにより音声の有無を判別する判別手段と、
判別手段の判別結果により、通話中の各人の音声の重なりを判定し、所定区間の音声の重なり時間と話相手と想定される人の発声時間とによる演算結果に基づいて通話中の各人の音声のレベルを調整する音量調整手段と
を備えたことを特徴とする音声通話装置ある。
【０００７】
請求項２の発明は、通信を介して複数の人が音声通話するようになされた音声通話システムにおいて、
双方向通信路を介して複数の音声通話装置が結合され、
音声通話装置は、
他の音声通話装置との通信のための通信手段と、
通話中に各人の音声の音量を検出する音量検出手段と、
音量検出手段により検出される音量を所定のしきい値で２値化することにより音声の有無を判別する判別手段と、
判別手段の判別結果により、通話中の各人の音声の重なりを判定し、所定区間の音声の重なり時間と話相手と想定される人の発声時間とによる演算結果に基づいて通話中の各人の音声のレベルを調整する音量調整手段と
を備えたことを特徴とする音声通話システムである。
【０００８】
この発明では、制御部において、処理対象区間における各話者の音量レベルの検出がなされ、所定のしきい値で以て音量レベルを２値化することで発声時間が検出されると共に、重なり時間が検出される。そして、音声の重なり時間をＴ１とし、話相手と想定される人の発声時間をＴ２としてレベル抑制の重みＷが（Ｗ＝Ｔ１／Ｔ２）により算出される。重みＷが各話者の対応して設けられたゲインコントロールアンプのそれぞれに供給され、ゲインコントロールアンプが重みＷにより制御されることにより、会話の相手以外の話者の発声音量が抑えられると共に、自分が主に話をしている場合には、自然に他の人全体の音量が抑えられて通話環境が快適なものとされる。
【０００９】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図１は、この発明による音声通話装置によって構成される電話会議システムの一例を示し、図２は、この発明の一実施形態の全体構成を示す。なお、図１および図２において対応する箇所に関しては、同一の参照符号が付されている。
【００１０】
図１に示すように多地点に位置する話者Ａ，Ｂ，Ｃ，Ｄの４人によって電話会議がなされるものとする。この場合においては、話者Ａ，Ｂ，Ｃ，Ｄのそれぞれに対して同一の構成の音声通話装置１ａ，１ｂ，１ｃ，１ｄが設置される。音声通話装置１ａ，１ｂ，１ｃ，１ｄのそれぞれは、制御ユニット１０、アンプ１２、スピーカ１３およびマイクロホン１４により構成される。音声通話装置１ａ，１ｂ，１ｃ，１ｄの制御ユニット１０は、出力端子１１と入力端子１５とを有し、出力端子１１にアンプ１２を介してスピーカ１３が接続され、入力端子１５にマイクロホンが接続される。音声通話装置１ａ，１ｂ，１ｃ，１ｄのそれぞれが双方向通信路としてのネットワーク／電話回線２に接続され、話者Ａ，Ｂ，Ｃ，Ｄの４者間においてネットワーク／電話回線２を介して互いに通話が可能な状態とされる。
【００１１】
音声通話装置１ａ，１ｂ，１ｃ，１ｄの制御ユニット１９のそれぞれは、図２に示すようにネットワークインターフェース回路２１、伝送符号／復号器２２、制御部２３、４個のＤ／Ａ変換器２４ａ，２４ｂ，２４ｃ，２４ｄ、４個のゲインコントロールアンプ２６ａ，２６ｂ，２６ｃ，２６ｄ、Ａ／Ｄ変換器２５および加算器２７により構成されている。なお、Ｄ／Ａ変換器およびゲインコントロールアンプは、会議システムに含まれる人数に応じて設けられている。
【００１２】
制御ユニット１０内の制御部２３は、音声処理用のメモリ３１、音量検出回路３２、発生区間判定回路３３、重なり区間判定回路３４、重み発生部３５、Ｄ／Ａ変換器３６および図示せずもマイクロコンピュータ等により構成されており、会話が行われている組を自動的に検出することによって話者の音量を調節するための重みＷを形成し、この重みをゲインコントロールアンプ２６ａ〜２６ｄの制御端子に供給する。この例では、重みＷは、音量を抑制するものであり、ゲインコントロールアンプ２６ａ〜２６ｄは、重みＷが大きな値ほどそのゲインが小に制御される。
【００１３】
話者Ａ，Ｂ，Ｃ，Ｄの４者のいずれの地点の音声通話装置１ａ，１ｂ，１ｃ，１ｄにおいても同様であるため、話者Ａの地点の音声通話装置１ａを例に挙げてその構成と動作について以下に説明する。ネットワーク／電話回線２およびネットワークインターフェース回路２１を介して他の話者Ｂ，Ｃ，Ｄの音声情報が伝送符号／復号器２２に供給される。
【００１４】
伝送符号／復号器２２において所定の伝送形態とされている音声情報が復号され、復号後の音声情報がさらに識別情報に基づいて話者Ｂ，Ｃ，Ｄそれぞれの音声情報Ｄ２，Ｄ３，Ｄ４に分離される。音声情報Ｄ２が制御部２３の音声処理用のメモリ３１に供給されると共に、Ｄ／Ａ変換器２４ｂに供給され、音声情報Ｄ３が制御部２３の音声処理用のメモリ３１に供給されると共に、Ｄ／Ａ変換器２４ｃに供給され、音声情報Ｄ４が制御部２３の音声処理用のメモリ３１に供給されると共に、Ｄ／Ａ変換器２４ｄに供給される。
【００１５】
Ｄ／Ａ変換器２４ｂにおいて、音声情報Ｄ２がディジタル・アナログ変換され、アナログの音声信号Ｓ２が形成される。この音声信号Ｓ２がゲインコントロールアンプ２６ｂに供給される。同様にＤ／Ａ変換器２４ｃおよび２４ｄにおいて、音声情報Ｄ３およびＤ４のそれぞれがディジタル・アナログ変換され、アナログの音声信号Ｓ３およびＳ４が形成される。この音声信号Ｓ３がゲインコントロールアンプ２６ｃに供給され、音声信号Ｓ４がゲインコントロールアンプ２６ｄに供給される。
【００１６】
一方、マイクロホン１４が接続されている入力端子１５には、自分（話者Ａ）の音声信号が供給される。入力端子１５を介して話者Ａの入力音声信号がＡ／Ｄ変換器２５に供給される。Ａ／Ｄ変換器２５において、入力音声信号がアナログ・ディジタル変換され、音声情報Ｄ１が形成される。この音声情報Ｄ１が伝送符号／復号器２２に供給される。伝送符号／復号器２２において、音声情報がさらに所定の伝送形態に符号化され、この出力がネットワークインターフェース回路２１およびネットワーク／電話回線２を介して接続地点のそれぞれに対して送出される。また、音声情報Ｄ１は、伝送符号化されることなく、伝送符号／復号器２２を介して制御部２３の音声処理用のメモリ３１に供給されると共に、Ｄ／Ａ変換器２４ａに供給される。Ｄ／Ａ変換器２４ａにおいて、音声情報Ｄ１がディジタル・アナログ変換され、アナログの音声信号Ｓ１が形成される。この音声信号Ｓ１がゲインコントロールアンプ２６ａに供給される。
【００１７】
ゲインコントロールアンプ２６ａ，２６ｂ，２６ｃ，２６ｄのそれぞれは、制御端子を有しており、この制御端子に供給される制御信号（重みＷ）に応じてそれぞれの信号レベルを調整して出力する。ゲインコントロールアンプ２６ａの制御端子には、制御部２３からの制御信号Ｃ１が供給されており、音声信号Ｓ１が所定レベルに制御されて加算器２７の第１の入力端子に供給される。同様にゲインコントロールアンプ２６ｂの制御端子には、制御部２３からの制御信号Ｃ２が供給され、ゲインコントロールアンプ２６ｃの制御端子には、制御部２３からの制御信号Ｃ３が供給され、ゲインコントロールアンプ２６ｄの制御端子には、制御部２３からの制御信号Ｃ４が供給される。従って、音声信号Ｓ２が所定レベルに制御されて加算器２７の第２の入力端子に供給され、音声信号Ｓ３が所定レベルに制御されて加算器２７の第３の入力端子に供給され、音声信号Ｓ４が所定レベルに制御されて加算器２７の第４の入力端子に供給される。
【００１８】
加算器２７において、ゲインコントロールアンプ２６ａ，２６ｂ，２６ｃ，２６ｄのそれぞれの出力が加算され、合成音声信号が形成される。この合成音声信号が出力端子１１を介して取り出され、スピーカ１３が接続されたアンプ１２に供給される。後述するように、制御部２３において、各人の音声信号のレベルを制御することによって、スピーカ１３により再生される音声は、会話の組以外の話者（すなわち、会話のタイミングが合っていない話者）の発声音量が抑えられると共に、自分が主に話をしている場合には、自然に自分以外の話者の音量が抑えられたものとされる。なお、他の地点の音声通話装置１ｂ，１ｃ，１ｄにおいても同様に処理がなされ、各地点においてそれぞれに快適な会話環境が形成される。
【００１９】
上述した制御部２３の動作について詳細に説明する。通常、多人数で会話をする時には、自分の発声と重なるように話す人の声は煩わしく、また、それでも自分の話を聞かせたい場合には、重なって発声している相手よりも大きな声で発声するように心掛けるものであり、逆に、聞きたい相手の発声中には、自分の発声を控えるものである。さらに、聞こえる音量が少々低くても、興味のある話題には、敏感に反応するという面もある。このように会話時の発声音量は、円滑にコミュニケーションを図る上で重要な要素である。この発明は、制御部２３の処理によって、各話者の音声レベルを制御し、自然なユーザーインターフェースを実現しようとするものである。
【００２０】
制御部２３の音声処理用のメモリ３１には、上述したように伝送符号／復号器２２からの音声情報Ｄ１，Ｄ２，Ｄ３，Ｄ４が供給されており、逐次音声情報Ｄ１，Ｄ２，Ｄ３，Ｄ４がメモリ３１に蓄積される。メモリ３１の蓄積時間、即ち、処理対象区間Ｃｔは、必要に応じて可変することができ、例えば、（Ｃｔ＝３０sec ）に設定されている。つまり、メモリ３１において、現時刻から３０sec 前までの区間の音声情報Ｄ１，Ｄ２，Ｄ３，Ｄ４のそれぞれがメモリ３１に書き込まれて一時的に保持される。この処理対象区間Ｃｔで処理を行うことで、制御部２３の反応が必要以上に過敏になることが防止される。なお、この説明においては、処理対象区間Ｃｔが予め設定されたものであるが、処理対象区間Ｃｔを可変するようにしても良い。メモリ３１に蓄積された音声情報Ｄ１，Ｄ２，Ｄ３，Ｄ４のそれぞれが読み出され、音量検出回路３２に供給される。
【００２１】
音量検出回路３２において、各話者Ａ，Ｂ，Ｃ，Ｄの音量レベルの検出がなされ、音量検出回路３２の出力が発声区間判定回路３３に供給される。発声区間判定回路３３は、所定のしきい値で以て音量レベルを２値化することで発声区間を判定すると共に、処理対象区間Ｃｔ内の発声時間をカウントする。発声区間判定回路３３において、音声レベルが所定値以上である場合には、例えば、ハイレベルとされる発声区間情報と発声時間を示す情報とが形成される。各話者Ａ，Ｂ，Ｃ，Ｄのそれぞれの発声区間情報と発声時間を示す情報とが重なり区間判定回路３４に供給される。
【００２２】
重なり区間判定回路３４は、例えば、発声区間判定回路３３からの各話者Ａ，Ｂ，Ｃ，Ｄのそれぞれの発声区間情報の論理積により重なり区間を判定し、その重なり時間をカウントする。重なり区間判定回路３３において、発声区間の重なり合う関係を示す情報と、重なり時間を示す情報とが形成され、この情報が重み発生部３５に供給される。また、音声区間判定回路３３からの発声時間を示す情報がそのまま重み発生部３５に供給される。
【００２３】
重み発生部３５において、所定の演算による重みＷが生成される。例えば、音声の重なり時間をＴ１とし、話相手と想定される人の発声時間をＴ２とした場合には、下式に示される演算により重みＷが算出される。なお、予め重みＷの最大値Ｗmax が設定されており、重みＷが（Ｗ＜Ｗmax ）とされる。
【００２４】
Ｗ＝Ｔ１／Ｔ２ （Ｗ＜Ｗmax ）
話者Ａ，Ｂ，Ｃ，Ｄの各組み合わせでそれぞれに重みＷが算出され、得られた重みＷに応じた制御情報が形成される。この制御情報がＤ／Ａ変換器３６に供給される。Ｄ／Ａ変換器３６において、重み発生部３５からの制御情報がディジタル・アナログ変換され、各話者Ａ，Ｂ，Ｃ，Ｄの音声レベルを制御する４つの制御信号Ｃ１，Ｃ２，Ｃ３，Ｃ４が形成される。
【００２５】
この制御信号Ｃ１，Ｃ２，Ｃ３，Ｃ４のそれぞれが前述したゲインコントロールアンプ２６ａ，２６ｂ，２６ｃ，２６ｄのそれぞれに供給される。ゲインコントロールアンプ２６ａ，２６ｂ，２６ｃ，２６ｄのそれぞれが制御信号Ｃ１，Ｃ２，Ｃ３，Ｃ４により制御されることにより、会話のタイミングが合っていない話者の発声音量が抑えられると共に、自分が主に話をしている場合には、自然に他の人全体の音量が抑えられる。また、逆に発声タイミングを合わせることで話相手以外の他の話者の音量を抑えることができる。
【００２６】
なお、上述した制御部２３の動作は、自動的になされるものであるが、例えば、制御部２３が手動モードに設定された場合には、各話者Ａ，Ｂ，Ｃ，Ｄに対する重みＷをそれぞれに設定して手動で調整することが可能とされている。
【００２７】
上述した制御部２３の動作に関してさらに具体的な会話例を挙げて詳細に説明する。各話者Ａ，Ｂ，Ｃ，Ｄの全員が会話に参加しており、例えば、図３で示すように発声区間が検出されているものとする。なお、図３においては、横軸が時間の経過を示し、最上段から話者Ａ，Ｂ，Ｃ，Ｄの発声区間が示されている。また、図３において矢印５１で示される数値が発声区間判定回路３３において、カウントされた処理対象区間Ｃｔ内の各話者Ａ，Ｂ，Ｃ，Ｄの発声時間である。
【００２８】
重なり区間判定回路３４において、発声区間判定回路３３からの各話者Ａ，Ｂ，Ｃ，Ｄのそれぞれの発声区間情報の論理積により重なり区間が判定され、その重なり時間がカウントされる。図３に示すタイミングで会話がなされている場合には、図４に示すように各話者Ａ，Ｂ，Ｃ，Ｄの全ての組み合わせで重なり時間Ｔ１が検出される。なお、図４において、各数値の単位は秒であり、( ) で括って表示されている数値は、発声区間判定回路３３において、カウントされた処理対象区間Ｃｔ内の各話者Ａ，Ｂ，Ｃ，Ｄの発声時間である。
【００２９】
各話者Ａ，Ｂ，Ｃ，Ｄの全ての組み合わせで重なり時間Ｔ１が検出されると、次に、重み発生部３５において、各話者Ａ，Ｂ，Ｃ，Ｄの全ての組み合わせで重みＷが算出される。重みＷを図５に示す。例えば、話者Ａの地点において話者Ｂに対する重みＷを算出する場合には、重なり時間Ｔ１が２．５秒であり、話者Ｂの発声時間Ｔ２が１０秒であるため、（２．５／１０＝０．２５）が算出される。また、話者ＡとＤとの重みＷを算出する場合には、重なり時間Ｔ１が１２．５秒であり、話者Ｄの発声時間Ｔ２が２５秒であるため、（１２．５／２５＝０．５）が算出される。同様に各話者Ａ，Ｂ，Ｃ，Ｄの全ての組み合わせで重みＷが算出される。なお、重み付けを行う場合においては、予め重みＷの最大値Ｗmax が０．９に設定されており、それによって、会話に支障をきたさない範囲での音量レベルの制御が可能とされる。
【００３０】
そして、図５に示す重みＷに応じてアナログの制御信号Ｃ１〜Ｃ４がＤ／Ａ変換器３６から発生する。制御信号Ｃ１〜Ｃ４によって、重みＷが大きいほどゲインが小さくなるように、ゲインコントロールアンプ２６ａ，２６ｂ，２６ｃ，２６ｄのそれぞれのゲインが制御される。
【００３１】
なお、上述した一実施形態の説明においては、発声区間情報の論理積により重なり区間の判定を行って重なり時間Ｔ１を検出する場合について説明したが、例えば、重なっていない区間を検出しても演算により重なり時間Ｔ１を算出することができ、重なり時間Ｔ１の検出方法としては、種々のものが可能である。
【００３２】
さらに、上述した一実施形態の説明においては、話者が４人の場合について説明したが、当然のことながら、３人以上で４人以外の場合においてもこの発明を適用することができ、この場合においては、Ｄ／Ａ変換器およびゲインコントロールアンプのそれぞれが対応して増設される。
【００３３】
【発明の効果】
この発明では、制御部が設けられ、制御部において、処理対象区間Ｃt における各話者の音量レベルの検出がなされ、所定のしきい値で以て音量レベルを２値化することで発声時間が検出されると共に、重なり時間が検出される。そして、音声の重なり時間をＴ１とし、話相手と想定される人の発声時間をＴ２として重みＷが（Ｗ＝Ｔ１／Ｔ２）により算出される。従って、この発明に依れば、会話のタイミングが合っていない話者の発声音量が抑えられると共に、自分が主に話をしている場合には、自然に他の人全体の音量が抑えられて円滑にコミュニケーションを図ることができる。
【図面の簡単な説明】
【図１】この発明による音声通話装置を用いた電話会議システムのブロック図である。
【図２】この発明の一実施形態の主要な部分の構成を示すブロック図である。
【図３】この発明の一実施形態の動作説明に用いる略線図である。
【図４】この発明の一実施形態の動作説明に用いる略線図である。
【図５】この発明の一実施形態の動作説明に用いる略線図である。
【符号の説明】
１ａ，１ｂ，１ｃ，１ｄ・・・音声通話装置、２・・・ネットワーク／電話回線、１０・・・制御ユニット、２１・・・ネットワークインターフェース回路、２３・・・制御部、２６ａ，２６ｂ，２６ｃ，２６ｄ・・・ゲインコントロールアンプ、３１・・・音声処理用のメモリ、３２・・・音量検出回路、３３・・・発声区間判定回路、３４・・・重なり区間判定回路、３５・・・重み発生部

Claims (5)

1. 通信を介して複数の人が音声通話するようになされた音声通話システムに用いられる音声通話装置において、
   通話中に各人の音声の音量を検出する音量検出手段と、
   上記音量検出手段により検出される音量を所定のしきい値で２値化することにより音声の有無を判別する判別手段と、
   上記判別手段の判別結果により、通話中の各人の音声の重なりを判定し、所定区間の音声の重なり時間と話相手と想定される人の発声時間とによる演算結果に基づいて通話中の各人の音声のレベルを調整する音量調整手段と
   を備えたことを特徴とする音声通話装置。
2. 通信を介して複数の人が音声通話するようになされた音声通話システムにおいて、
   双方向通信路を介して複数の音声通話装置が結合され、
   上記音声通話装置は、
   他の音声通話装置との通信のための通信手段と、
   通話中に各人の音声の音量を検出する音量検出手段と、
   上記音量検出手段により検出される音量を所定のしきい値で２値化することにより音声の有無を判別する判別手段と、
   上記判別手段の判別結果により、通話中の各人の音声の重なりを判定し、所定区間の音声の重なり時間と話相手と想定される人の発声時間とによる演算結果に基づいて通話中の各人の音声のレベルを調整する音量調整手段と
   を備えたことを特徴とする音声通話システム。
3. 請求項１において、
   上記音量調整手段は、過去の所定区間の音声信号に基づいて音量調整を行うことを特徴とする装置。
4. 請求項１において、
   上記音量調整手段の音声の重なりに応じた処理に用いられる演算結果は、音声の重なり時間をＴ１とし、話相手と想定される人の発声時間をＴ２として、下式により算出されるＷであることを特徴とする装置。
   Ｗ＝Ｔ１／Ｔ２
5. 通信を介して複数の人が音声通話するようになされた音声通話に用いられる音声通話方法において、
   通話中に各人の音声の音量を検出する音量検出工程と、
   上記音量検出工程により検出される音量を所定のしきい値で２値化することにより音声の有無を判別する判別工程と、
   上記判別工程の判決結果により、通話中の各人の音声の重なりを判定し、所定区間の音声の重なり時間と話相手と想定される人の発声時間とによる演算結果に基づいて通話中の各人の音声のレベルを調整する音量調整工程とを備えたことを特徴とする音声通話方法。

Images