JP6392161B2 - 音声会議システム、音声会議装置、その方法及びプログラム - Google Patents

Description

本発明は、遠隔地を結んで行う音声会議で使用される音声会議システム、音声会議装置、その方法及びプログラムに関する。

遠隔地を結んで行う音声会議で使用される音声会議システムの従来技術として特許文献１が知られている。特許文献１では、会議室（自地点）の２つのエリアの音声を分けて収音し、相手側（他地点）で分けて再生するステレオ音声会議システムを示す。

特開２０１０−２８８１１４号公報

グループディスカッションを一つの会議室（拠点Ａ）に集まって行うケースを考える（図１参照）。図１の場合、同じ空間（会議室内）にいる複数のグループ（例えば２〜４）は、それぞれのグループ内での会話を行いながら、隣のグループともコミュニケーションを取ることができる。しかしながら、図２のようにメンバの一部が遠隔地（拠点Ｂ）にいる場合にハンズフリー通話（送受話器を手に持つことなく通話を行うことができるように設計された通信機を利用して遠隔地を結んで行う音声通話）で同じことを実現しようとすると、グループ内の会話とグループ間の会話とが、同じ音声信号内に混ざってしまい、遠隔地（拠点Ｂ）のメンバは聞き分けることができず、会話が破綻してしまう。特許文献１の音声会議システムを用いた場合であっても、この問題を解決することはできない。なお、拠点とは、音波の存在する空間（音場）を意味し、例えば、同じ建物内であっても、音波が届かない空間（例えば別の部屋）であれば、別の拠点とする。

本発明は、ハンズフリー通話において、1つの会議室などの1つの共通の音場において二つ以上の独立の会話を同時に行えるようにする音声会議システム、音声会議装置、その方法及びプログラムを提供することを目的とする。

上記の課題を解決するために、本発明の一態様によれば、音声会議システムは、K_sを2以上の整数の何れかとし、共通の音場に配置されるK_s個の音声収音再生装置と、K_s個の音声収音再生装置に接続された音声分離通信装置とを含む。音声収音再生装置は、音を収音し、収音信号を得、さらに、再生信号に基づき、音を再生する。音声分離通信装置は、K_s個の音声収音再生装置からそれぞれ得られるK_s個の収音信号を用いて、各音声収音再生装置の近傍に存在する話者の音声を強調したK_s個の音声信号を得る音声分離部と、K_s個の音声収音再生装置のうちの1つである第一音声収音再生装置を介して指定された他地点に配置された音声分離通信装置に、K_s個の音声信号のうちの1個の音声信号であって、第一音声収音再生装置の近傍に存在する話者の音声を強調した音声信号である第一音声信号を送信せず、残りの(K_s−1)個のうちの1個以上の音声信号からなる第二音声信号を他地点に配置された全ての音声分離送信装置に送信する送信部と、第二音声信号の送信先から受信した再生信号を、第一音声収音再生装置以外の(K_s−1)個の音声収音再生装置のうちの少なくとも１つで再生させる受信部とを含む。

上記の課題を解決するために、本発明の他の態様によれば、音声会議装置は、K_sを2以上の整数の何れかとし、共通の音場に配置されるK_s個の音声収音再生部と、K_s個の音声収音再生部に接続された音声分離通信部とを含む。音声収音再生部は、音を収音し、収音信号を得、さらに、再生信号に基づき、音を再生する。音声分離通信部は、K_s個の音声収音再生部からそれぞれ得られるK_s個の収音信号を用いて、各音声収音再生部の近傍に存在する話者の音声を強調したK_s個の音声信号を得る音声分離部と、K_s個の音声収音再生部のうちの1つである第一音声収音再生部を介して指定された他地点に配置された音声分離通信部に、K_s個の音声信号のうちの1個の音声信号であって、第一音声収音再生部の近傍に存在する話者の音声を強調した音声信号である第一音声信号を送信せず、残りの(K_s−1)個のうちの1個以上の音声信号からなる第二音声信号を他地点に配置された全ての音声分離送信部に送信する送信部と、第二音声信号の送信先から受信した再生信号を、第一音声収音再生部以外の(K_s−1)個の音声収音再生部のうちの少なくとも１つで再生させる受信部とを含む。

上記の課題を解決するために、本発明の他の態様によれば、音声会議方法は、K_sを2以上の整数の何れかとし、共通の音場に配置されるK_s個の音声収音再生部と、K_s個の音声収音再生部に接続された音声分離通信部とを用いる。音声会議方法は、音声収音再生部は、音を収音し、収音信号を得、さらに、再生信号に基づき、音を再生するものとし、音声分離通信部が、K_s個の音声収音再生部からそれぞれ得られるK_s個の収音信号を用いて、各音声収音再生部の近傍に存在する話者の音声を強調したK_s個の音声信号を得る音声分離ステップと、K_s個の音声収音再生部のうちの1つである第一音声収音再生部を介して指定された他地点に配置された音声分離通信部に、K_s個の音声信号のうちの1個の音声信号であって、第一音声収音再生部の近傍に存在する話者の音声を強調した音声信号である第一音声信号を送信せず、残りの(K_s−1)個のうちの1個以上の音声信号からなる第二音声信号を他地点に配置された全ての音声分離送信部に送信する送信ステップと、第二音声信号の送信先から受信した再生信号を、第一音声収音再生部以外の(K_s−1)個の音声収音再生部のうちの少なくとも１つで再生させる受信ステップとを含む。

本発明によれば、ハンズフリー通話において、1つの会議室などの1つの共通の音場において二つ以上の独立の会話を同時に行うことができるという効果を奏する。

発明が解決しようとする課題を説明するための図。 発明が解決しようとする課題を説明するための図。 第一実施形態のポイントを説明するための図。 第一実施形態のポイントを説明するための図。 第一実施形態のポイントを説明するための図。 第一実施形態に係る音声会議システムの機能ブロック図。 図７Ａは音声会議システムの収音及び送信時の処理フローを示す図、図７Ｂは音声会議システムの受信及び再生の処理フローを示す図。 音声収音再生装置の機能ブロック図。 音声分離通信装置の機能ブロック図。 アドレステーブルの例を示す図。 セッションテーブルの例を示す図。 音声分離部の機能ブロック図。 入出力先選択部１２４Ａの機能ブロック図。 タッチパネルに表示される画面の例を示す図。 音声収音再生装置の配置例を示す図。 拠点Ｂの音声収音再生装置の通話先の設定変更の画面遷移例を示す図。 図１６中の※部分での拠点Ｃの端末状態を示す図。 拠点Ｂの様子をさらに詳細に記載した図。 音声収音再生装置の配置例を示す図。 音声収音再生装置の配置例を示す図。 音声収音再生装置の配置例を示す図。

以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。

＜第一実施形態のポイント＞
まず、ハンズフリー通話において、1つの共通の音場において二つ以上の独立の会話を同時に行えるようにすることの目的について説明する。例えば、本実施形態の音声会議システムは、以下のような場面で利用される。
(1)複数の遠隔地でのグループディスカッションを、グループごとに会議室を設ける（図３）ことなく、同一の会議室で行いたい（図４、図中、太線の矢印間、及び、一点鎖線の矢印間でそれぞれ独立して会話を行いたい）。例えば、図３では、拠点Ｂ、拠点Ｃのメンバとそれぞれグループディスカッションを行うために、２つの会議室（拠点Ａ及びＤ）を設けている。
(2)３地点以上の拠点間会議を行っていて、一部の拠点間会議を他の拠点に対して秘匿したい。例えば、拠点Ａが発話を行っているが、それに対する意見を拠点Ｂと拠点Ｃで事前相談してから拠点Ａへ発言したい。つまり、図５に示すように拠点Ａ，拠点Ｂ，拠点Ｃで１つのグループ３（図中、太線の矢印間で会話を行いたい）を作り、さらに、拠点Ｂ，拠点Ｃで１つのグループ４（図中、一点鎖線の矢印間で会話を行いたい）を作り、グループ４の発話内容を拠点Ａに対して秘匿したい。

通常の電話回線によるハンズフリー通話では、上述の(2)の場面で目的を達成しようとした場合、ハンズフリー通話の１つの回線に宛先の違う音声信号を混在させることはできないため、拠点Ａ，拠点Ｂ，拠点Ｃ間でハンズフリー通話を行う回線とは別に、拠点Ｂ，拠点Ｃ間で別途通話回線を設定する必要がある。しかし、ハンズフリー通話を開催した当人でない場合は各拠点の電話番号を把握していない場合が多く、また通話回線の別設定自体が手間のかかる作業である。

また、近年主流になりつつある、IP網での通話を利用すると、通話先の制御は技術的には音声パケットの宛先の変更により可能となる。しかし、実際に上述の(2)の場面で利用しようとした場合、発話ごとにソフトウェアを操作して手動で宛先を変更するのは煩雑な作業であり、また手動での宛先変更では異なる宛先への通話を同時に行うことはできず、どちらかを選択的にしか実行できない。

上述の(1),(2)の場面で、発話音声と宛先を自動的に判定する方法として、音声会議装置などに付属する拡張マイクを、それぞれの話者グループの近くへ持ってくる方法が考えられる。例えば、図４の場合、拠点Ａにおいて、グループ４のメンバがいるテーブルに拡張マイク５を設置し、拡張マイク５で収音した音声信号を拠点Ｂに送信する。また、拠点Ａにおいて、グループ３のメンバがいるテーブルに拡張マイク６を設置し、拡張マイク６で収音した音声信号を拠点Ｃに送信する。この方法の場合、拡張マイク５、６で収音した収音信号には意図した発話者以外の声も混入する（つまり、グループ４のメンバが発した声が共通の音場に存在する拡張マイク６で収音され、また、グループ３のメンバが発した声が共通の音場に存在する拡張マイク５で収音される）ため通話が分離されない。特に、一方のグループの通話内容が他方のグループのメンバに聞かれたくない内容の通話だった場合（例えば、グループ４の通話内容が、拠点Ｃにいるグループ３のメンバに聞かれたくない内容だった場合）に問題となる。

拠点Ｃにいるグループ３のメンバに、グループ４の通話内容が漏れることを完全に遮断したい場合は、図３のように、会議に使う部屋（拠点）を２つ用意してそれぞれの部屋（拠点Ａ，Ｄ）で、それぞれ拠点Ｂ，Ｃにいるメンバと通話をすることが考えられる。しかし、会議室（拠点）を２つ用意することがそれだけ手間である。

特許文献１のステレオシステムを使えば、エリアごとに話者の音声を分けて収音することはできるが、そもそも両方の音声を同時に受聴するのが目的なので両方の音声が再生されるため、両方の音声は完全に分離されず、二つ以上の独立の会話を同時に行えるようにするという目的では利用できない。またステレオシステムのため同一の拠点に３つ以上のグループが存在する場合には対応できない。また、特許文献１の音声会議システムは、一体型であることから、二つのグループの物理的な距離を離すことが出来ないため、(1)の場面には不向きである。

本実施形態では、複数のマイクロホンから、特定の発話者の音声のみを強調する技術とマルチチャネルエコーキャンセラ技術とを組み合わせ、共通の音場における複数の発話を分離して送信できるようにすることにより、発話者に応じて音声の送受信先を制御し、複数のハンズフリー通話ないし会議を共通の音場で行えるようにする。

＜第一実施形態に係る音声会議システム１００_ｓ＞
図６は第一実施形態に係る音声会議システム１００_ｓの機能ブロック図を、図７Ａは音声会議システム１００_ｓの収音及び送信時の処理フローを、図７Ｂは音声会議システム１００_ｓの受信及び再生の処理フローを示す。

音声会議システム１００_ｓは、K_s個（K_sは２以上）の音声収音再生装置１１０−ｋ_ｓ（以下、「端末」ともいう）と、少なくとも１つの音声分離通信装置１２０_ｓ（以下、「本体」ともいう）とを含む。ただし、sは拠点を表すインデックスであり、s=1,2,…,Sであり、Sは拠点の総数を表し、K_sは拠点s毎の音声収音再生装置の個数を表し、k_s=1,2,…,K_sである。ただし、音声収音再生装置１１０−１_ｓ,音声収音再生装置１１０−２_ｓ，…，音声収音再生装置１１０−Ｋ_ｓと示した場合、拠点sに配置された音声収音再生装置であることを示す。音声収音再生装置１１０−ｋ_ｓは各拠点sの各グループに対して少なくとも２つ配置される。

K_s個の音声収音再生装置１１０−ｋ_ｓは、共通の音場に配置される。

音声分離通信装置１２０_ｓとK_ｓ個の音声収音再生装置１１０−ｋ_ｓとは、通信可能に接続される。例えば、無線通信(例えばBluetooth(登録商標))により接続されてもよい。無線通信とすることで、配線の手間を省略することができ、配線による制限を受けずに自由に配置することができ、配線により美観を損なわないというメリットがある。

図８は、音声収音再生装置１１０−ｋ_ｓの機能ブロック図を示す。音声収音再生装置１１０−ｋ_ｓは、送受信情報設定部１１１と、収音部１１２と、音声送信部１１３と音声受信部１１４と再生部１１５とを含む。

音声収音再生装置１１０−ｋ_ｓは、音を収音し、収音信号を得、さらに、音声信号に基づき、音を再生する。例えば、収音部１１２は音を収音し、収音信号x_k,sを得、音声送信部１１３を介して音声分離通信装置１２０_ｓに出力する。例えば、収音部１１２は１個以上のマイクロホンからなる。また、音声収音再生装置１１０−ｋ_ｓは、音声受信部１１４を介して、再生信号z_k,sを受け取り、再生部１１５は受け取った再生信号z_k,sに基づき、音を再生する。例えば、再生部１１５は１個以上のスピーカからなる。音声収音再生装置１１０−ｋ_sとして、例えば、スマートフォン等を利用してもよい。

図９は、音声分離通信装置１２０_ｓの機能ブロック図を示す。音声分離通信装置１２０_ｓは、K個の音声受信部１２１−ｋと、音声分離部１２３と、送受信部１２４と、K個の音声送信部１２６−ｋとを含む。送受信部１２４は、入出力先選択部１２４Ａと、通話制御部１２４Ｂとを含む。各部の処理内容については、処理の流れに沿って説明する。

≪会議開始時の設定について≫
音声分離通信装置１２０_ｓの通話制御部１２４Ｂを操作することにより、拠点間の通話を開始する。通話に関しては、相手先の音声収音再生装置と音声のRTP(Real-time Transport Protocol)パケット（参考文献１参照）を送受信するなどにより実現する。
(参考文献１)：”RTP: A Transport Protocol for Real-Time Applications,” IETF Network Working Group Request for Comments: 3550, July 2003.

音声分離通信装置１２０_ｓは、通信中の他地点（他の拠点）のアドレス・ポート番号と通話単位となるセッション(以下「通話セッション」ともいう)のID(以下「セッションID」ともいう)の組み合わせが格納されたアドレステーブルを記憶する。図１０は、アドレステーブルの例を示す。なお、IPアドレスが他地点の音声分離通信装置１２０_ｓ'のアドレスを表し(ただし、s'=1,2,…,Sであり、s≠s'とする)、同一拠点に対し複数の通話セッションを設定する場合はポート番号により区別する。他地点の音声分離通信装置１２０_ｓ'では、ポート番号で通話セッションを区別し、通話セッションに括り付けられた端末を判定する。

まず、通話を開始する際に、アドレステーブルにおける通話セッション(図中、セッションIDとする)=「１」に対して、全拠点（全他地点）のアドレスが登録される。また、セッションテーブルにおける自地点のすべての音声収音再生装置１１０−ｋ（図中、端末番号情報とする）に対して通話セッション=「１」が登録される。図１１は、通話セッション=「１」に登録されている音声収音再生装置を表すセッションテーブルの例を示す。言い換えると、通話を開始する際に、新たにセッションを作成し、全拠点の全音声収音再生装置を登録する。

同じセッションIDが付与された自地点の音声収音再生装置と他地点の音声収音再生装置の間で通話でき、会議開始時には、すべての音声収音再生装置１１０−ｋ_ｓはすべての拠点と通話できる状態、もしくは音声分離通信装置１２０_ｓのアドレステーブルに残っている拠点と通話できる状態になっている。

≪会議中の動作について≫
システム全体の動作を示す。K_s個の音声収音再生装置１１０−ｋ_ｓの収音部１１２が、音を収音し（図７ＡのＳ１１）、収音信号x_k,sを得、出力する。音声収音再生装置１１０−ｋ_ｓの収音部１１２で収音された収音信号x_k,sは、音声送信部１１３を経て音声分離通信装置１２０_ｓの音声受信部１２１−ｋへ伝達される。K_s個の音声収音再生装置１１０−ｋ_ｓからそれぞれ収音されたK_s個の収音信号x_k,sを、音声分離部１２３で特定の発話者（特定の音声収音再生装置の近傍に存在する発話者）ごとの音声信号y_k,sに分離する（Ｓ１２）。その音声信号y_k,sと特定の音声収音再生装置を示す情報である端末番号情報k_c,sとを入出力先選択部１２４Ａへ入力し、入出力先選択部１２４Ａは端末番号情報k_c,sを用いて、上述の設定の値(セッションテーブル及びアドレステーブル)に従い音声信号からなるパケットの送信先を設定する。通話制御部１２４Ｂは入出力先選択部１２４Ａから渡されたパケットを宛先へ送信する（Ｓ１３）。

また、通話制御部１２４Ｂは、音声パケットを受信すると（図７ＢのＳ２１）、入出力先選択部１２４Ａに渡す。入出力先選択部１２４Ａは再生信号と宛先情報（送信先アドレスとポート番号）とをパケットから取り出す。宛先情報から、再生対象の音声収音再生装置を選択し、選択された音声収音再生装置に対する再生信号を出力して音声分離部１２３へ渡す。なお、音声分離部１２３内のエコーキャンセラ部１２３Ｃで再生信号を利用する。音声分離部１２３は、音声送信部１２６−ｋを介して再生対象の音声収音再生装置１１０−ｋに再生信号z_k,sを出力する。K_s個の音声収音再生装置１１０−ｋ_ｓの再生部１１５は、音声受信部１１４を介してそれぞれ再生信号z_k,sを受け取り、再生する（Ｓ２２）。

＜音声分離部１２３＞
音声分離部１２３は、K_s個の音声収音再生装置からそれぞれ得られるK_s個の収音信号x_k,sを受け取り、これらの収音信号x_k,sを用いて、各音声収音再生装置の近傍に存在する話者の音声を強調したK_s個の音声信号y_k,sを得（Ｓ１２３）、送受信部１２４に出力する。

音声分離部１２３の動作を説明する。音声分離部１２３ではたとえば参考文献２，３の技術を用いる（図１２に構成を示す）。
（参考文献２）特開２０１４−９２７０５号
（参考文献３）特開２０１４−１１２１９０号
なお、本実施形態では音声分離部１２３の概要を説明する。詳細については参考文献２，３に記載の技術を用いればよい。なお、以下の音声分離部１２３内の処理において、下付き添え字ｓを省略する。

＜サンプリング周波数変換部１２３Ａ＞
サンプリング周波数変換部１２３Ａは、K個の収音信号x_k(i_k)を受け取り、サンプリング周波数変換し、特定のサンプリング周波数のK個の変換後の収音信号cx_k(i_k)を得、出力する。ただし、i_kは時間領域のサンプル点を表す整数のインデックスである。すなわち、x_k(i_k)は、インデックスi_kで表されるサンプル点の収音信号を表す。

＜信号同期部１２３Ｂ＞
信号同期部１２３Ｂは、K個の変換後の収音信号cx_k(i_k)を受け取り、K個の変換後の収音信号cx_k(i_k)をチャネル間で同期させ、K個の収音信号tx_k(i_k)を得て出力する。

＜エコーキャンセラ部１２３Ｃ＞
エコーキャンセラ部１２３Ｃは、K個の収音信号tx_k(i_k)とK個の再生信号z_kとを受け取り、収音信号tx_k(i_k)に含まれる、K個の再生信号z_kに基づき再生した音に由来する成分を抑圧し、抑圧後の収音信号sx_k(i_k)を得て出力する。この部分に関しては、既存のマルチチャネルエコーキャンセラ等を利用する（例えば参考文献４参照）。
（参考文献４）特開２００５−３４７９５７号公報

このとき、エコーキャンセラの参照信号としては、後述する入出力先選択部１２４Ａから送られてくるK個の再生信号z_kを利用する。K個の音声収音再生装置１１０−ｋで再生された音に由来する成分も収音信号x_kに含まれているため、その再生音の影響を除去するためにエコーキャンセラ部１２３Ｃを設ける。

なお、参照信号として利用したK個の再生信号z_kは、それぞれK個の音声送信部１２６−ｋに出力する。

＜フレーム分割部１２３Ｄ＞
フレーム分割部１２３Ｄは、エコー抑圧後のK個の収音信号sx_k(i_k)を受け取り、所定の時間区間であるフレームに分割する。以下では、チャネルkのｒ番目のフレームrに属する収音信号をsx_k(i_k,r,0),・・・,sx_k(i_k,r,L-1)と表現する。ただし、Lはフレーム長を表す。

＜ＶＡＤ判定部１２３Ｅ＞
ＶＡＤ判定部１２３Ｅは、各チャネルk（k=1,2,…,K）の各フレームrに属する収音信号sx_k(i_k,r,0),・・・,sx_k(i_k,r,L-1)を受け取り、各フレームrが音声区間であるか非音声区間であるかを判定する。各フレームrに判定結果を表すラベルθ_rを付与し、出力する。例えば、また、音声区間であることを表すラベルの例はθ_r=1であり、非音声区間であることを表すラベルの例はθ_r=0である。

＜Ｓ／Ｎベクトル生成部１２３Ｇ＞
Ｓ／Ｎベクトル生成部１２３Ｇは、各チャネルk（k=1,2,…,K）の各フレームrに属する収音信号sx_k(i_k,r,0),・・・,sx_k(i_k,r,L-1)とラベルθ_rとを受け取り、チャネルkごとに音声区間の収音信号の大きさを非音声区間の収音信号の大きさで正規化した特徴量を得、チャネルk=1,・・・,Kに対して得られた特徴量を要素とするＳ／Ｎベクトル（特徴量列）を得て出力する。「特徴量」の例は、非音声区間の収音信号の大きさに対する音声区間の収音信号の大きさの比を表す値である。本実施形態では、収音信号のパワーの平均値を「収音信号の大きさ」とする。

フレームrに属する収音信号sx_k(i_k,r,0),・・・,sx_k(i_k,r,L-1)の平均パワーP_N(k,r)を計算し、平均パワーP_N(k,r)をｋ番目の要素とする平均パワーベクトルP_N(r)=(P_N(1,r),・・・,P_N(K,r))を非音声パワー記憶部１２３Ｆに格納する。

ラベルθ_rが音声区間を表す場合、Ｓ／Ｎベクトル生成部１２３Ｇは、非音声パワー記憶部１２３Ｆに格納されている非音声区間のフレームr’の平均パワーベクトルP_N(r’)=(P_N(1,r’),・・・,P_N(K,r’))を取り出す。

さらにＳ／Ｎベクトル生成部１２３Ｇは、すべてのチャネルkについて、音声区間のフレームrに属する収音信号sx_k(i_k,r,0),・・・,sx_k(i_k,r,L-1)の平均パワーをP_N(k,r’)で除算し、正規化平均パワーP_V(k,r)を得る。Ｓ／Ｎベクトル生成部１２３Ｇは、得られた正規化平均パワーP_V(k,r)をk番目の要素とするＳ／ＮベクトルP_V(r)=(P_v(1,r),・・・,P_v(K,r))を出力する。上述の処理を全てのフレームrに対して行う。Ｓ／ＮベクトルP_V(r)=(P_v(1,r),・・・,P_v(K,r))が「音声区間の収音信号の大きさを非音声区間の収音信号の大きさで正規化した特徴量」に相当する。

＜非音声パワー記憶部１２３Ｆ＞
前述のように、非音声パワー記憶部１２３Ｆは、Ｓ／Ｎベクトル生成部１２３Ｇで得られた平均パワーベクトルP_N(r)を格納する。

＜ベクトル分類部１２３Ｈ＞
ベクトル分類部１２３Ｈは、複数個のＳ／ＮベクトルP_V(r)（K個のチャネルに対して得られた特徴量からなる特徴量列）を受け取り、複数個のＳ／ＮベクトルP_V(r)をクラスタリングし、各Ｓ／ＮベクトルP_V(r)が属する信号区間分類（クラスタ）を決定する。ここでは、各クラスタのラベルをCLとし、ラベルCLは非音声区間を表すラベルθ_r（本実施形態では0）以外の値（本実施形態では1以上の整数）をとる。例えば、コサイン類似度を距離関数とするクラスタリングによって得られたラベルCLが、入力されたＳ／ＮベクトルP_V(r)が属する信号区間分類を表す。ベクトル分類部１２３Ｈは、入力されたＳ／ＮベクトルP_V(r)に対して得られたラベルCLをラベルθ_rに代入してラベルθ_rを更新する。これにより、音声区間のフレームrのラベルθ_rはラベルCLの値となり、非音声区間のフレームrのラベルθ_rは非音声区間を表す値となる。ベクトル分類部１２３Ｈは各フレームrのラベルθ_rを出力する。

＜スペクトル算出部１２３Ｋ＞
スペクトル算出部１２３Ｋは、フレーム分割部１２３Ｄで分割された、各チャネルkの各フレームrに属する収音信号sx_k(i_k,r,0),・・・,sx_k(i_k,r,L-1)を受け取る。ここで、フレームrでの各チャネルkの収音信号sx_k(i_k,r,j)を要素とするK次元の縦ベクトルをx(j,r)=[sx₁(i₁,r,j),・・・,sx_K(i_K,r,j)]^Tと記述する。ただし、［η］^Ｔは［η］の転置を表す。また、フレームrに属するK次元ベクトルx(0,r),・・・,x(L-1,r)の要素を周波数領域に変換して得られる値を要素とするK次元の縦ベクトルをX(f,r)と記述する。すなわち、フレームrに属するsx_k(i_k,r,0),・・・,sx_k(i_k,r,L-1)を周波数領域に変換して得られる値X(k,f,r)をk番目の要素とするK次元の縦ベクトルをスペクトルベクトルX(f,r)=[X(1,f,r),・・・,X(K,f,r)]^Tと記述する。ただし、fは離散周波数を表すインデックスである。周波数領域への変換方法の例は、ＦＦＴ（Fast Fourier Transform）などの離散フーリエ変換である。また、X(k,f,r)の振幅スペクトルA(k,f,r)をk番目の要素とするK次元の縦ベクトルを振幅スペクトルベクトルA(f,r)=[A(1,f,r),・・・,A(K,f,r)]^Tと記述する。さらに、X(k,f,r)の位相スペクトルφ(k,f,r)をk番目の要素とするK次元の縦ベクトルを位相スペクトルベクトルφ(f,r)=[φ(1,f,r),・・・,φ(K,f,r)]^Tと記述する。スペクトル算出部１２３Ｋは、x(j,r)=[sx₁(i₁,r,j),・・・,sx_K(i_K,r,j)]^Tを周波数領域に変換し、フレームrごとに、k個の振幅スペクトルA(k,f,r)からなる振幅スペクトルベクトルA(f,r)と、k個の位相スペクトルφ(k,f,r)からなる位相スペクトルベクトルφ(f,r)を得て出力する。

＜振幅スペクトル記憶部１２３Ｌ及び位相スペクトル記憶部１２３Ｍ＞
振幅スペクトルベクトルA(f,r)は振幅スペクトル記憶部１２３Ｌに格納され、位相スペクトルベクトルφ(f,r)は位相スペクトル記憶部１２３Ｍに格納される。

＜フィルタ係数算出部１２３Ｉ及びフィルタ係数記憶部１２３Ｊ＞
フィルタ係数算出部１２３Ｉは、ベクトル分類部１２３Ｈから出力された各フレームrのラベルθ_r、および振幅スペクトル記憶部１２３Ｌから読み出した振幅スペクトルベクトルA(f,r)を受け取る。ここでラベルθ_rがとり得る値（分類ラベル番号）のうち、音を強調する信号区間分類（強調信号区間分類）を表す分類ラベル番号をcとする。１個の分類ラベル番号cのみが設定されてもよいし、複数個の分類ラベル番号cが設定されてもよい。よって、θ_r=cは、フレームrが強調信号区間分類に分類されていることを表す。

フィルタ係数算出部１２３Ｉは、強調信号区間分類に属するＳ／ＮベクトルP_V(r)に対応する振幅スペクトルA(k,f,r)を強調するフィルタリングのためのフィルタ係数w_c(f)を算出し、出力する。なお、このフィルタ係数w_c(f)は、収音信号に含まれる各分類ラベル番号cの音声を強調するフィルタ係数である。またフィルタ係数w_c(f)は、チャネルkに対応する係数w_c(f,k)をk番目の要素とするK次元の横ベクトル[w_c(f,1),・・・,w_c(f,K)]である。フィルタ係数算出部１２３Ｉは、各インデックスfおよび各分類ラベル番号cについてフィルタ係数w_c(f)を得て出力する。さらにフィルタ係数算出部１２３Ｉは、θ_r=cである各フレームrのＳ／ＮベクトルP_V(r)の要素のうち最大の要素に対応するチャネルを、最大チャネル番号k_c,rとして得る。なお、以下、「最大チャネル番号」を「端末番号情報」ともいう。フィルタ係数算出部１２３Ｉは、フィルタ係数w_c(f)と端末番号情報k_c,rとを各分類ラベル番号cに対応付け、フィルタ係数記憶部１２３Ｊに格納する。k_c,rはフレームrにおいて音声を最もよく収音している音声収音再生装置を表す。

＜フィルタリング部１２３Ｎ＞
フィルタリング部１２３Ｎは、フィルタ係数記憶部１２３Ｊから読み出したフィルタ係数w_c(f)、および振幅スペクトル記憶部１２３Ｌから読み出した振幅スペクトルベクトルA(f,r)を入力として受け取る。フィルタリング部１２３Ｎは、振幅スペクトルベクトルA(f,r)を構成する複数個の振幅スペクトルA(1,f,r),・・・,A(K,f,r)に対し、フィルタ係数w_c(f)=[w_c(f,1),・・・,w_c(f,K)]によるフィルタリングを行い、処理後振幅スペクトルA_c’(f,r)を得て出力する。例えばフィルタリング部１２３Ｎは、次式のように、フィルタ係数w_c(f)と振幅スペクトルベクトルA(f,r)との内積を処理後振幅スペクトルA_c’(f,r)として得る。
A_c’(f,r)=w_c(f)A(f,r)

上述の処理により複数個の振幅スペクトルA(1,f,r),・・・,A(K,f,r)に対し、強調信号区間分類に属するＳ／ＮベクトルP_V(r)に対応する振幅スペクトルを強調する処理が行われ、複数個の処理後振幅スペクトルA_c’(f,r)が得られる。

＜位相付与部１２３Ｏ＞
位相付与部１２３Ｏは、処理後振幅スペクトルA_c’(f,r)に、それに対応する位相スペクトルを付与して複素スペクトルY_c(f,r)を得て出力する。本実施形態では、位相付与部１２３Ｏは、フィルタ係数記憶部１２３Ｊから各フレームrおよび各分類ラベル番号cに対応する端末番号情報k_c,rを読み出す。位相付与部１２３Ｏは、位相スペクトル記憶部１２３Ｍから全チャネルkに対応する位相スペクトルφ(k,f,r)を読み出し、それらから端末番号情報k_c,rに対応する位相スペクトルφ(k_c,r,f,r)を選択する。さらに位相付与部１２３Ｏは、フィルタリング部１２３Ｎから出力された処理後振幅スペクトルA_c’(f,r)を入力として受け取る。位相付与部１２３Ｏは、以下の次式のように処理後振幅スペクトルA_c’(f,r)に位相スペクトルφ(k_c,r,f,r)を付与し、複素スペクトルY_c(f,r)を得て出力する。
Y_c(f,r)=A_c’(f,r)exp(iφ(k_c,r,f,r))
ただし、iは虚数単位であり、expは指数関数である。

＜時間領域変換部１２３Ｐ及び音声信号記憶部１２３Ｑ＞
時間領域変換部１２３Ｐは、複素スペクトルY_c(f,r)を入力として受け取り、複素スペクトルY_c(f,r)を時間領域に変換して強調音響信号y_c(n,r)(n=0,・・・,L-1)を得る。ただし、nはサンプル点を表すインデックスである。時間領域に変換する方法としては、スペクトル算出部１２３Ｋにおいて用いた周波数領域に変換する方法に対応する方法を用いればよい。さらに時間領域変換部１２３Ｐは、オーバーラップアド法を用いて強調音響信号y_c(n,r)(n=0,・・・,L-1)を合成して時間領域の音声信号を得る。さらに、時間領域変換部１２３Ｐは、端末番号情報k_c,rが一致する音声信号を加算し、音声信号y_kを取得する。

このような構成により、音声分離部１２３は、複数のマイクロホンの収音信号x₁,x₂,…,x_Kから特定の発話者（特定の音声収音再生装置の近傍に存在する発話者）の音声を強調した音声信号y_kと、その過程で推定される発話者のチャネル情報(発話者の音声がどの音声収音再生装置から最も得られるかを示す情報であり、本実施形態では端末番号情報k_cである)を取り出す。参考文献２で分類ラベル番号cが複数出る場合があるため、音声信号の出力が複数になる場合を考慮し、音声信号y_kと端末番号情報k_cとを一度、音声信号記憶部１２３Ｑに記憶させ、音声信号y_kと端末番号情報k_cを１セットずつ入出力先選択部１２４Ａに渡す。音声分離部１２３では、K個の収音信号x_kの特徴量であるＳ／ＮベクトルP_V(r)=(P_v(1,r),・・・,P_v(K,r))に基づいて、ベクトル分類部１２３Ｈでクラスタリングし、各Ｓ／ＮベクトルP_V(r)が属する信号区間分類（クラスタ）を決定し、クラスタを利用してフィルタ係数を算出する。さらに、算出したフィルタ係数を用いて、音声収音再生装置の近傍に存在する話者の音声を強調した音声信号として得る。

＜送受信部１２４＞
送受信部１２４は、送信時には、K_s個の音声信号y_k,sと端末番号情報k_c,sとを受け取る。また、送受信部１２４は、受信時には、通話相手の個数分の再生信号と宛先アドレスとからなる音声パケットを受け取る。前述の通り、会議開始時には、すべての音声収音再生装置１１０−ｋ_ｓはすべての拠点と通話できる状態、もしくは音声分離通信装置１２０_ｓのアドレステーブルに残っている拠点と通話できる状態になっているため、送受信部１２４は、送受信設定情報ｐ_ｋ',sを受け取るまでは、K_s個の音声信号y_k,sを全ての他地点に配置された音声分離通信装置１２０_s’に送信する。また、入出力先選択部１２４Ａの音声信号送出部１２４Ａｉ（図１３参照）は、セッションテーブルを参照して、通話相手の個数分の再生信号を、各再生信号を再生する音声収音再生装置１１０−ｋ_ｓの個数に応じてコピーして、K_s個の再生信号z_k,sを生成する。送受信部１２４は、音声信号送出部１２４Ａｉで生成されたK_s個の再生信号z_k,sをそれぞれK_s個の音声収音再生装置１１０−ｋ_ｓで再生させる。

送受信部１２４は、送受信設定情報ｐ_ｋ',sを受け取ると以下の処理を行う。なお、送受信設定情報ｐ_ｋ',sは、K_s個の音声収音再生装置１１０−ｋ_ｓのうちの1つである音声収音再生装置１１０−ｋ’_ｓを介してユーザの操作により入力される情報であって、音声収音再生装置１１０−ｋ’_ｓの近傍に存在する話者の音声を強調した音声信号y_k',sを送信しない他地点を指定する情報である。例えば、図１４は、ユーザの操作により、二つの拠点ＡとＣのうち、拠点Ａが送信しない他地点として指定された画面状態を表している。

送受信部１２４は、音声収音再生装置１１０−ｋ’_ｓを介して指定された他地点に配置された音声分離通信装置１２０_ｄ（dは1,2,…,Sの何れかであって、d≠s）に、K_s個の音声信号y_k,sのうちの1個の音声信号y_k',sを送信せずに、指定された他地点以外に配置された音声分離通信装置１２０_ｄ’（d'=1,2,…,S、ただしd'≠d,d'≠s）に、音声信号y_k',sを送信する。

また、送受信部１２４は、音声収音再生装置１１０−ｋ’_ｓ以外の音声収音再生装置１１０−ｋ_ｓの近傍に存在する話者の音声を強調した(K_s−1)個の音声信号y_k,sのうちの1個以上の音声信号y_m,s(m∈{1,2,…,K_s}、m≠k'_s)を他地点に配置された全ての音声分離送信装置１２０_s’に送信する。

送受信部１２４は、音声信号y_k',sの送信先（指定された他地点以外に配置された音声分離通信装置１２０_ｄ’）から受信した再生信号z_k',sを音声収音再生装置１１０−ｋ’_ｓで再生させる。

また、送受信部１２４は、音声信号y_m,sの送信先から受信した再生信号z_m,sを、音声収音再生装置１１０−ｋ’_ｓ以外の(K_s−1)個の音声収音再生装置１１０−ｋ_ｓのうちの少なくとも１つで再生させる。

例えば、送受信部１２４は入出力先選択部１２４Ａ及び通話制御部１２４Ｂを用いて以下のように実現する。

＜入出力先選択部１２４Ａ＞
図１３は、入出力先選択部１２４Ａの機能ブロック図を示す。

（送信時）
通話セッション変換部１２４Ａａは、端末番号情報k_c,rを受け取り、セッションテーブル１２４Ａｂを参照して、端末番号情報k_c,rに対応するセッションIDを取得し、出力する。例えば、音声分離部１２３から端末番号情報k_c,rを取得すると、通話セッション変換部１２４Ａａは、セッションテーブル１２４Ａｂを用いてセッション名に変換する。例えば、
(1)セッションID=「１」：端末番号情報=「１」
(2)セッションID=「２」：端末番号情報=「２」
のようなセッションテーブルがあるとき、k_c,r=「２」の場合、セッションID=「２」という情報を出力する。つまり、セッションテーブル１２４Ａｂには、セッションIDとそのセッションに接続される音声収音再生装置とが対応付けられている。

アドレス変換部１２４Ａｃは、セッションIDを受け取り、アドレステーブル１２４Ａｄを参照して、セッションIDに対応する送信先を取得し、出力する。例えば、アドレス変換部１２４Ａｃでは、セッションIDを受信して送信先アドレスへ変換する。通話開始時に入力された「セッションID=「２」」という情報を受け取ると、たとえば
(1)セッションID=「１」：192.168.1.1 :5004,192.168.1.3:5004
(2)セッションID=「２」：129.168.1.3:5005
のようなアドレステーブル１２４Ａｄを参照し、送信先、つまり、宛先アドレスとポート番号「129.168.1.3:5005」を得る。つまり、アドレステーブル１２４Ａｄには、セッションIDと送受信先のアドレスとが対応付けられている。

音声パケット送信部１２４Ａｅは、送信先アドレスと音声信号y_k,sとを受け取り、送信先アドレスに対して、音声信号をペイロードに持つ音声パケット（たとえばRTPパケット）を生成し、送信する。
（受信時）
音声パケット受信部１２４Ａｆは、後述する通話制御部１２４Ｂから音声パケットを受信すると、宛先アドレスとポートの情報をアドレス変換部１２４Ａｇへ渡し、再生信号z_k,sをペイロードに持つ音声パケットを音声信号送出部１２４Ａｉに渡す。

アドレス変換部１２４Ａｇは、宛先アドレスとポートの情報を受け取り、アドレステーブル１２４Ａｄを参照して、宛先アドレスとポートの情報に対応するセッションIDを取得し、出力する。例えば、宛先アドレスとポートの情報をセッションIDに変換して、セッションIDを通話セッション変換部１２４Ａｈに渡す。

通話セッション変換部１２４Ａｈは、セッションIDを受け取り、セッションテーブル１２４Ａｂを参照して、セッションIDに対応する端末番号情報を受得し、音声信号送出部１２４Ａｉに出力する。

音声信号送出部１２４Ａｉは、端末番号情報と音声パケットとを受け取り、端末番号情報に対応する音声収音再生装置へのみ受信した音声パケットを再生信号z_k,sに変換して送信する。

要は、入出力先選択部１２４Ａは、端末番号情報から送信アドレスを特定し、音声信号を送信し、宛先アドレスから自地点の音声収音再生装置を特定し、その音声収音再生装置で再生信号が再生されるように再生信号を送信する。

≪通話先変更の動作について≫
会議中に音声収音再生装置１１０−ｋ’_ｓの送受信情報設定部１１１により、音声送受信先の設定を行う動作を示す。送受信情報設定部１１１は音声収音再生装置に設置されたタッチパネルなどで操作することを想定する。タッチパネルに表示される画面の例を図１４に示す。ここで行う設定は音声分離通信装置１２０_ｓの入出力先選択部１２４Ａに結果が反映される。より詳しくは、セッションテーブル１２４Ａｂ及びアドレステーブル１２４Ａｄの内容を変更する。

拠点Ａ、Ｂ、Ｃ間で通話していると想定し、各地点の音声収音再生装置１１０−ｋは２台とする。図１５は音声収音再生装置１１０−ｋの配置例を示し、拠点Ａには音声分離通信装置１２０_１、音声収音再生装置１１０−１_１、１１０−２_１、拠点Ｂには音声分離通信装置１２０_２、音声収音再生装置１１０−１_２、１１０−２_２、拠点Ｃには音声分離通信装置１２０_３、音声収音再生装置１１０−１_３、１１０−２_３が配置される。図１５中、太線の矢印で接続された音声収音再生装置間で通話可能である。拠点Ｂの音声収音再生装置１１０−１_２，１１０−２_２の通話先の設定変更の画面遷移例を図１６に示す。拠点Ｂの音声収音再生装置１１０−１_２，１１０−２_２には拠点Ａ,Ｃのボタンが表示されている。ここで音声収音再生装置１１０−２_２で拠点Ａを選択し、拠点Ａのハイライト（太線の囲い）を解除すると、「通話先設定を変更しますか？」というメッセージが表示される。OKを押すと、通話先との通信を行い、設定が完了するとメッセージが再度表示され、音声収音再生装置１１０−１_２付近では拠点ＡとＣ、音声収音再生装置１１０−２_２付近では拠点Ｃのみと通話をする設定が完了する。

図１６中の※部分での拠点Ｃの端末状態を図１７に示す。

拠点Ｂが通話先の設定変更を行うと、新しい通話先である拠点Ｃの音声収音再生装置１１０−１_３，１１０−２_３にその旨のメッセージが表示される。拠点Ｂとの新たな通話グループを作成する場合は、通話先設定を変更したい方の音声収音再生装置１１０−ｋ_３で設定変更の依頼を承認する。２拠点間であればただちに、他に通話グループに拠点がある場合は全拠点の承認が出た時点で通話先設定が変更される。通話グループを別に作らない、もともと拠点Ｃに音声収音再生装置１１０−ｋ_３が１台しかなく承認すると全拠点との通話ができなくなる場合は、承認依頼を拒否することも出来る。

この場合の入出力先選択部１２４Ａでの動作を図９に従って説明する。音声収音再生装置１１０−ｋ_ｓから送受信設定情報ｐ_ｋ，ｓを受信した通話制御部１２４Ｂは、対象の拠点へ新たな通話セッションの確立を要求する。要求が承認されるとその旨を音声収音再生装置１１０−ｋ_ｓへ知らせるとともに、対象の拠点での承認を受けて通話セッションの確立を行う。その際に確立された新しいセッションと宛先アドレスのセットを、入出力先選択部１２４Ａのアドレステーブルへ登録する。また、入出力先選択部１２４Ａのセッションテーブルに登録されている音声収音再生装置のうち、新しいセッションへ参加した音声収音再生装置の情報を更新する。

この例で通話状態がどのように変更されるかの簡略図を図１５に示す。初期状態の設定変更前ではすべての音声収音再生装置同士が音声通話できるようになっていたが、設定変更により拠点ＢとＣの音声収音再生装置１１０−２_２，１１０−２_３は全体通話（全拠点においてなされる通話）から切り離され、音声収音再生装置１１０−２_２，１１０−２_３間での通話に切り替わっている。拠点Ｂの様子をさらに詳細に記載したのが図１８である。音声収音再生装置１１０−１_２の近く（実線の丸）にいる会議参加者（メンバ）a〜cは、全拠点との会話を行うことができる。一方、音声収音再生装置１１０−２_２の近く（点線の丸）にいる会議参加者dは、拠点Ｃの音声収音再生装置１１０−２_３の近くにいる参加者とのみ通話でき、その会話内容は拠点Ａには聞こえない。ただし、拠点Ａからの音声は拠点Ｂの音声収音再生装置１１０−１_２から再生されるため、拠点Ａの会話内容は参加者dは多少離れているものの把握することができ、また拠点Ｃの音声収音再生装置１１０−２_３の近くにいる参加者の声も拠点Ｂの参加者a〜cは聞くことができる。そのため、参加者a〜dは両方の会話の内容を把握しながら、部分的に拠点Ｃとだけ会話をすることができる。よって、図２のような場合に、拠点Ａにおいて、独立して二つ以上のグループディスカッション（会話）をすることができる。

この際に、参加者dは音声収音再生装置１１０−１_２から極端に離れているわけではないため、参加者dの声は音声収音再生装置１１０−１_２にも収音される。このままでは拠点Ａに参加者dの会話内容が伝わってしまうが、前述の音声分離部１２３及び送受信部１２４により、拠点Ａへ送信される音声に参加者dの音声は含まれないように処理を行うことが可能である。また、拠点Ｃの音声収音再生装置１１０−２_３の音声についても、拠点Ｂの音声収音再生装置１１０−２_２の再生部１１５を通して音声収音再生装置１１０−１_２に収音されるが、こちらも前述のエコーキャンセル機能により相手に伝わることはない。よって、図１５に示すように拠点Ａ，拠点Ｂ，拠点Ｃで１つのグループを作り、さらに、拠点Ｂ，拠点Ｃで１つのグループを作り、拠点Ｂ，拠点Ｃで作られたグループの発話内容を拠点Ａに対して秘匿することができる。

このような通話先の設定変更は、一度変更を行った後も再度行うことができる。例えば拠点Ｂの音声収音再生装置１１０−２_２が拠点Ｃの音声収音再生装置１１０−２_３とのみ会話していた状態から、拠点Ａの音声収音再生装置１１０−１_１とのみ会話をする状態へセッション状態を変更することが可能である。この場合、拠点Ｃのセッションからの離脱承認と、拠点Ａのセッション参加承認を受けてセッションの再作成を行う。また、作成したセッションを削除し、全拠点通話のみに戻すことも出来る。この場合は拠点Ｂのセッション終了承認を受けてセッションを削除する。

＜効果＞
以上の構成により、ハンズフリー通話において、1つの会議室などの1つの共通の音場において二つ以上の独立の会話を同時に行うことができる。ハンズフリー通話装置において、発話者に応じて音声の送信先を変更することができるようになる。また、送信音声はグループごとに分離されるが、再生音声はある程度拠点内でグループをまたいで聞こえるようにすることも出来るため、３地点以上の拠点間会議を行っていて、拠点Ａが発話を行っているが、それに対する意見を拠点Ｂと拠点Ｃで事前相談してから拠点Ａへ発言したいようなケースで全体の会話を聞きながら部分的な通話を並行して行うということも出来るようになる。

また、このような構成により、発話者に応じて自動で通話相手先を変えることができる装置を実現した。さらに、発話者分離とエコーキャンセラを組み合わせることにより、ハンズフリーで同一空間にいながら２つの通話を独立に行うことを可能にした。
エコーキャンセラ部１２３Ｃでは、収音信号x_k,sに含まれるK_s個の音声収音再生装置１１０−ｋ_sで再生された音に由来する成分を削除する。これにより、遠隔地同士でも会議室と同様のグループディスカッションが行えるようになる。また、音声が他の地点に漏れないことを利用し、多地点遠隔会議中の秘匿通話にも利用することができる。

＜変形例＞
本実施形態では、拠点が３つのときについて説明したが、２つでもよいし、４つ以上であってもよい。例えば、図１９を用いて、拠点が２つの場合について説明する。図１９の場合、会議開始時には拠点間の全ての音声収音再生装置間で会話が可能となっている。例えば、拠点Ａの音声収音再生装置１１０−２_１を介して、拠点Ｂに配置された音声分離通信装置１２０_２に音声信号y_2,1を送信しないと指定され、かつ、拠点Ｂの音声収音再生装置１１０−２_２を介して、拠点Ａに配置された音声分離通信装置１２０_１に音声信号y_2,2を送信しないと指定された場合、拠点Ａの音声収音再生装置１１０−１_１と拠点Ｂの音声収音再生装置１１０−１_２との間で音声パケットの送受信が行われる。この場合には、音声信号y_2,1、y_2,2は何れの拠点にも送信しない構成となり、音声収音再生装置１１０−２_１、１１０−２_２は再生信号を受信せず、再生しない構成となる。この場合であっても、ハンズフリー通話において、1つの会議室などの1つの共通の音場において２つ以上の独立の会話を同時に行うことができる。つまり、拠点Ａ及び拠点Ｂでは、各拠点における会話と、拠点Ａと拠点Ｂとの間の会話とを同時に行うことができる。なお、この場合には、設定変更の依頼を承認するステップを省略してもよい。

３つ以上の拠点の場合、各拠点には、全拠点と通話するための音声収音再生装置と、一部の拠点に対して通話を秘匿するための音声収音再生装置とを備えればよい。例えば、図２０の場合、拠点Ａでは、音声収音再生装置１１０−１_１と音声収音再生装置１１０−１_２との間で拠点Ａ及び拠点Ｂ間の秘匿通話が可能となり、音声収音再生装置１１０−３_１と音声収音再生装置１１０−１_３との間で拠点Ａ及び拠点Ｃ間の秘匿通話が可能となり、音声収音再生装置１１０−２_１と音声収音再生装置１１０−２_２と音声収音再生装置１１０−２_３との間で全拠点間の通話である全体通話が可能となる。このように、1つの拠点において2つ以上の秘匿通話を行ってもよい。

例えば、Nを1以上(K_s-1)以下の整数の何れかとし、n=1,2,…,Nとすると、N個の送受信設定情報ｐ_n,sは、K_s個の音声収音再生装置１１０−ｋ_ｓのうちのN個の音声収音再生装置１１０−ｎ_ｓを介してユーザの操作によりそれぞれ入力される情報であって、音声収音再生装置１１０−ｎ_ｓの近傍に存在する話者の音声を強調した音声信号y_n,sを送信しない他地点ｄ（d∈{1,2,…,S}、d≠s）を指定する情報である。なお、音声収音再生装置１１０−ｎ_ｓ毎に他地点ｄを選択することができる。また、1つの音声収音再生装置１１０−ｎ_ｓを介して2つ以上の他地点ｄを指定してもよい。送受信部１２４は、音声収音再生装置１１０−ｎ_ｓを介して指定された他地点に配置された音声分離通信装置１２０_ｄに、K_s個の音声信号y_k,sのうちの1個の音声信号y_n,sを送信せずに、指定された他地点以外に配置された音声分離通信装置１２０_ｄ’（d'∈{1,2,…,S}、ただしd'≠d,d'≠s）に、音声信号y_n,sを送信する。また、送受信部１２４は、音声収音再生装置１１０−ｎ_ｓ以外の音声収音再生装置１１０−ｋ_ｓの近傍に存在する話者の音声を強調した(K_s−N)個の音声信号y_k,sのうちの1個以上の音声信号y_m,s(m∈{1,2,…,K_s}、m≠n_s)を他地点に配置された全ての音声分離送信装置１２０_s’に送信する。送受信部１２４は、音声信号y_n,sの送信先（指定された他地点以外に配置された音声分離通信装置１２０_ｄ’）から受信した再生信号z_n,sを音声収音再生装置１１０−ｎ_ｓで再生させる。また、送受信部１２４は、音声信号y_m,sの送信先から受信した再生信号z_m,sを、音声収音再生装置１１０−ｎ_ｓ以外の(K_s−N)個の音声収音再生装置１１０−ｋ_ｓのうちの少なくとも１つで再生させる。この場合であっても、Nは1以上の整数であり、第一実施形態と同様の処理を含むことになる。

また、必ずしも全ての拠点で秘匿通話が必要となるわけではない。例えば、拠点Ａでは秘匿通話を必要としない場合には、図２１のような構成としてもよい。

つまり、ハンズフリー通話において、1つの共通の音場において２つ以上の独立の会話を同時に行うためには、少なくとも、２つの音声収音再生装置を含む音声会議システムが、２拠点以上に設置されればよく、全体通話と秘匿通話を実現するためには、３つ以上の拠点を含み、３つ以上の拠点のうちの２拠点以上に２つの音声収音再生装置を含む音声会議システムが設置されればよい。

K_s個の音声収音再生装置１１０−ｋ_sのうちの一つが音声分離通信装置１２０_sの機能を備える構成としてもよい。また、K_s個の音声収音再生装置１１０−ｋ_sと音声分離通信装置１２０_sとを一つの装置により構成してもよい。その場合、音声収音再生装置及び音声分離通信装置をそれぞれ音声収音再生部及び音声分離通信部ともいう。また、送受信部１２４は送信機能を持つ送信部と、受信機能を持つ受信部とに分けて構成してもよいし、本実施形態のように１つの送受信部として構成してもよい。

なお、図１６の説明において、拠点Ａを選択し、拠点Ａのハイライト（太線の囲い）を解除すると説明したが、拠点Ｂを選択し、拠点Ａのハイライト（太線の囲い）を解除してもよい。この場合、通話する拠点として拠点Ｂを選択することは、結果的に、通話しない拠点として拠点Ａを選択することに相当する。要は、インターフェースの違いであって、本実施形態のように、直接、音声信号を送信しない拠点を選択してもよいし、音声信号を送信する拠点を選択することで間接的に音声信号を送信しない拠点を選択してもよい。

なお、本実施形態では、会議開始時には、すべての音声収音再生装置１１０−ｋ_ｓはすべての拠点と通話できる状態、もしくは音声分離通信装置１２０_ｓのアドレステーブルに残っている拠点と通話できる状態になっているが、アドレステーブルとセッションテーブルの設定を予め変更しておくことで、会議開始時に、秘匿通話が行われる構成としてもよい。

＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (7)

1. 共通の音場に配置される複数の音声収音再生装置と、前記音声収音再生装置に接続された音声分離通信装置とを含み、
   前記共通の音場とは異なる第二の音場が２以上であるものとし、
   前記音声収音再生装置は、音を収音し、収音信号を得、さらに、再生信号に基づき、音を再生し、
   前記音声分離通信装置は、
   前記複数の音声収音再生装置からそれぞれ得られる収音信号を用いて、各音声収音再生装置の近傍に存在する話者の音声を強調した複数の音声信号を得る音声分離部と、
   前記音声収音再生装置のうちの1つである第一音声収音再生装置を介して指定された第二の音場以外の第二の音場に配置された複数の音声収音再生装置に、通話セッションの確立を要求し、要求の承認を受けて通話セッションの確立を行う通話制御部と、
   前記第一音声収音再生装置を介して指定された前記第二の音場に配置された音声分離通信装置に、前記音声信号のうちの1個の音声信号であって、前記第一音声収音再生装置の近傍に存在する話者の音声を強調した音声信号である第一音声信号を送信せず、前記第一音声信号を除く音声信号からなる第二音声信号を、第二の音場に配置された全ての音声分離送信装置に送信する送信部と、
   前記第二音声信号の送信先から受信した再生信号の内、前記セッションの確立の要求を承認した音声収音再生装置で得た収音信号に対応しない再生信号を、前記第一音声収音再生装置以外の前記共通の音場に配置される音声収音再生装置のうちの少なくとも１つで再生させる受信部とを含み、
   前記送信部は、前記第一音声収音再生装置を介して指定された第二の音場以外に配置された音声分離通信装置に、前記第一音声信号を送信し、
   前記受信部は、前記第一音声信号の送信先から受信した再生信号の内、前記セッションの確立の要求を承認した音声収音再生装置で得た収音信号に対応する再生信号を前記第一音声収音再生装置で再生させる、
   音声会議システム。
2. 請求項１の音声会議システムであって、
   前記音声分離部は、複数の前記収音信号の特徴量に基づいて、音声収音再生装置の近傍に存在する話者の音声を強調した音声信号として得る、
   音声会議システム。
3. 請求項１または請求項２の音声会議システムであって、
   前記音声分離通信装置は、
   複数の収音信号に含まれる、再生信号に基づき複数の前記音声収音再生装置で再生した音に由来した成分を抑圧する
   エコーキャンセル部を含む、
   音声会議システム。
4. 請求項１から請求項３の何れかの音声会議システムであって、
   前記音声分離通信装置は、前記第二音声信号の送信中に、複数の前記音声収音再生装置の何れかを介してユーザにより、前記第一音声信号を送信しない音声分離通信装置を指定し、切り替え可能である、
   音声会議システム。
5. 共通の音場に配置される複数の音声収音再生部と、前記音声収音再生部に接続された音声分離通信部とを含み、
   前記共通の音場とは異なる第二の音場が２以上であるものとし、
   前記音声収音再生部は、音を収音し、収音信号を得、さらに、再生信号に基づき、音を再生し、
   前記音声分離通信部は、
   前記複数の音声収音再生部からそれぞれ得られる収音信号を用いて、各音声収音再生部の近傍に存在する話者の音声を強調した複数の音声信号を得る音声分離部と、
   前記音声収音再生部のうちの1つである第一音声収音再生部を介して指定された第二の音場以外の第二の音場に配置された複数の音声収音再生部に、通話セッションの確立を要求し、要求の承認を受けて通話セッションの確立を行う通話制御部と、
   前記第一音声収音再生部を介して指定された前記第二の音場に配置された音声分離通信部に、前記音声信号のうちの1個の音声信号であって、前記第一音声収音再生部の近傍に存在する話者の音声を強調した音声信号である第一音声信号を送信せず、前記第一音声信号を除く音声信号からなる第二音声信号を、第二の音場に配置された全ての音声分離送信部に送信する送信部と、
   前記第二音声信号の送信先から受信した再生信号の内、前記セッションの確立の要求を承認した音声収音再生部で得た収音信号に対応しない再生信号を、前記第一音声収音再生部以外の前記共通の音場に配置される音声収音再生部のうちの少なくとも１つで再生させる受信部とを含み、
   前記送信部は、前記第一音声収音再生部を介して指定された第二の音場以外に配置された音声分離通信部に、前記第一音声信号を送信し、
   前記受信部は、前記第一音声信号の送信先から受信した再生信号の内、前記セッションの確立の要求を承認した音声収音再生部で得た収音信号に対応する再生信号を前記第一音声収音再生部で再生させる、
   音声会議装置。
6. 共通の音場に配置される複数の音声収音再生部と、前記音声収音再生部に接続された音声分離通信部とを用いた音声会議方法であって、
   前記共通の音場とは異なる第二の音場が２以上であるものとし、
   前記音声収音再生部は、音を収音し、収音信号を得、さらに、再生信号に基づき、音を再生するものとし、
   前記音声分離通信部が、
   前記複数の音声収音再生部からそれぞれ得られる収音信号を用いて、各音声収音再生部の近傍に存在する話者の音声を強調した複数の音声信号を得る音声分離ステップと、
   前記音声収音再生部のうちの1つである第一音声収音再生部を介して指定された第二の音場以外の第二の音場に配置された複数の音声収音再生部に、通話セッションの確立を要求し、要求の承認を受けて通話セッションの確立を行う通話制御ステップと、
   前記第一音声収音再生部を介して指定された前記第二の音場に配置された音声分離通信部に、前記音声信号のうちの1個の音声信号であって、前記第一音声収音再生部の近傍に存在する話者の音声を強調した音声信号である第一音声信号を送信せず、前記第一音声信号を除く音声信号からなる第二音声信号を、第二の音場に配置された全ての音声分離送信部に送信する送信ステップと、
   前記第二音声信号の送信先から受信した再生信号の内、前記セッションの確立の要求を承認した音声収音再生部で得た収音信号に対応しない再生信号を、前記第一音声収音再生部以外の前記共通の音場に配置される音声収音再生部のうちの少なくとも１つで再生させる受信ステップと、
   前記第一音声収音再生部を介して指定された第二の音場以外に配置された音声分離通信装置に、前記第一音声信号を送信するステップと、
   前記第一音声信号の送信先から受信した再生信号の内、前記セッションの確立の要求を承認した音声収音再生部で得た収音信号に対応する再生信号を前記第一音声収音再生部で再生させるステップとを含む、
   音声会議方法。
7. 請求項１から請求項４の何れかの音声分離通信装置としてコンピュータを機能させるためのプログラム。
   

Images