WO2007088730A1

WO2007088730A1 - 音声会議装置

Info

Publication number: WO2007088730A1
Application number: PCT/JP2007/050617
Authority: WO
Inventors: Toshiaki Ishibashi
Original assignee: Yamaha Corporation
Priority date: 2006-01-31
Filing date: 2007-01-17
Publication date: 2007-08-09
Also published as: CN101379870B; EP2007168B1; JP2007208503A; EP2007168A9; CA2640967C; CN101379870A; US20090052684A1; EP2007168A2; EP2007168A4; US8144886B2; CA2640967A1; JP4929740B2

Abstract

　長尺な略直方体形状の筐体２の長尺な両側面には、それぞれ長尺な方向に沿ってアレイ状に配列されたマイクが形成され、下面には長尺な方向に沿ってアレイ状に配列されたスピーカが形成されている。スピーカアレイは会議環境に応じて設定された放音指向性に基づいて放音ビームを形成する。一方、マイクアレイが収音した収音信号により収音ビームを形成すると、これらから話者方向を検出してこの方向に対応する出力音声信号を形成するとともに、放音指向性の設定に反映させる。また、入力音声信号が複数あれば、放音指向性は複数ある入力音声信号の使用状況に応じて設定される。

Description

明細書

音声会議装置

技術分野

[0001] この発明は、ネットワーク等を介して複数の地点間で音声会議を行う音声会議装置

、特にマイクとスピーカとが一体化された音声会議装置に関するものである。

背景技術

[0002] 従来、遠隔地間で音声会議を行う方法として、音声会議を行う地点毎に音声会議装置を設置して、これら装置をネットワークで接続し、音声信号を通信する方法が多く用いられている。そして、このような音声会議に利用される音声会議装置が各種考案されている。

[0003] 特許文献 1の音声会議装置は、ネットワークを介して入力される音声信号を天面に配置されたスピーカから放音し、側面に配置された異なる複数方向をそれぞれの正面方向とする各マイクで収音した音声信号を、ネットワークを介して外部に送信する。

[0004] また、特許文献 2の音声会議装置は、話者が自身のマイクを選択すると、このマイク位置に対応した擬似エコー信号を生成し、マイクに回り込んで収音される放音音声を打ち消して、該当する話者が発言した音声信号のみを、ネットワークを介して外部に送信する。

特許文献 1：特開平 8 - 298696号公報

特許文献 2：特開平 5 - 158492号公報

発明の開示

発明が解決しょうとする課題

[0005] し力しながら、特許文献 1や特許文献 2の音声会議装置では、 1つのスピーカから全方位に放音を行うため、放音指向性を細力べ制御することができな力つた。例えば、音声会議装置の周囲にいる話者の人数、すなわち一人であるのか、複数人いるのか等に基づいて最適な放音指向性を設定することができな力つた。

[0006] また、特許文献 1や特許文献 2の音声会議装置では、収音時に放音音声の影響を除去することはできるが、その他の話者音声以外のノイズの影響を効果的に除去することはできない。

[0007] さらには、これら特許文献 1や特許文献 2のような音声会議装置では、装置周りの環境 (会議参加者数、会議室環境等)やネットワーク接続される他地点数等により設定される多様な放収音環境およびこの放収音環境の変化に対して、適切な対応を行うことができない。

[0008] したがって、この発明の目的は、放収音環境が多様な状況であり、これらが変化するような状況であっても、速やかに最適な放収音を行うことができる音声会議装置を提供することにある。

課題を解決するための手段

[0009] この発明の音声会議装置は、設置面力筐体下面を所定距離離間させる脚部を備えた筐体の下面力外部方向を放音方向として下面に配列された複数のスピーカを備えたスピーカアレイと、入力音声信号に放音用信号処理を行ってスピーカアレイの放音指向性を制御する放音制御手段と、筐体の側面から外部方向を収音方向として側面に配列された複数のマイクを備えたマイクアレイと、該マイクアレイで収音した収音音声信号に収音用信号処理を行って互いに異なる収音指向性を有する複数の収音ビーム信号を生成し、該複数の収音ビーム信号を比較して収音環境を検出するとともに特定の収音ビーム信号を選択して、出力音声信号として出力する収音制御手段と、入力音声信号と特定の収音ビーム信号とに基づいてスピーカから放音された音声が出力音声信号に含まれないように制御する回帰音除去手段と、を備えたことを特徴としている。

[0010] そして、この発明の音声会議装置の回帰音除去手段は、入力音声信号に基づいて擬似回帰音信号を生成し、特定の収音ビーム信号から擬似回帰音信号を減算することを特徴としている。または、この発明の音声会議装置の回帰音除去手段は、入力音声信号と特定の収音ビーム信号とのレベルを比較する比較手段と、入力音声信号と特定の収音ビーム信号のうち比較手段によって信号レベルが低いと判断された信号のレベルを低減させるレベル低減手段と、を備えたことを特徴として、る。

[0011] これらの構成では、他の音声会議装置から入力音声信号を受信すると、放音制御手段は、スピーカアレイの各スピーカから放音される音声により放音ビームが形成されるように遅延制御等の放音用信号処理を行う。ここで、放音ビームとしては、室内の所定方向で所定距離、例えば会議者が着席している位置に音が収束する設定のサウンドビームや、或る特定位置に仮想点音源が存在し、この仮想点音源カゝら発散させて放音する設定のサウンドビームなどがある。各スピーカは、放音制御手段から与えられる放音信号を室内へ放音する。これにより所望の放音指向性力なる放音が実現される。スピーカから放音された音声は、設置面を反射して、装置横方向の話者側に伝搬される。

[0012] マイクアレイの各マイクは筐体の側面に設置され側面方向からの音を収音し、収音信号を収音制御手段に出力する。このようにスピーカアレイとマイクアレイとが筐体の異なる面に存在することで、スピーカからマイクへの回り込み音が低減される。収音制御手段は、各収音信号に遅延処理等を行って、側面方向のそれぞれに異なる方向に強い指向性を有する複数の収音ビーム信号を生成する。これにより、各収音ビーム信号ではさらに回り込み音が抑圧される。収音制御手段は、各収音ビーム信号の信号レベル等を比較して、特定の収音ビーム信号を選択して、回帰音除去手段に出力する。回帰音除去手段は、入力音声信号と特定の収音ビーム信号とに基づいてスピー力アレイ力放音されてマイクロホンに回り込む音声を出力音声信号に含ませない処理を行う。具体的には、回帰音除去手段は、入力音声信号に基づく擬似回帰音信号を生成し、特定の収音ビーム信号から擬似回帰音信号を減算することで、回り込み音声を抑圧する。または、回帰音除去手段は、入力音声信号と特定の収音ビーム信号との信号レベルを比較して、入力音声信号の信号レベルが高ければ、主に受話中であると判断して特定の収音ビーム信号の信号レベルを低減し、特定の収音ビーム信号の信号レベルが高ければ、主に送話中であると判断して入力音声信号の信号レベルを低減する。

[0013] このような構成により、回り込み音の収音量が低減され、回帰音除去手段による処理負荷が軽減されるとともに、素早く出力音声信号が最適化される。また、放音ビームで仮想点音源を実現する場合、前記回帰音の低減とともに、臨場感の有る会議が実現される。また、放音ビームを収束性にすれば、放音ビームにより放音音声が制御され、収音ビームにより収音音声が制御されることから、回り込み音の収音量が大幅に抑圧され、回帰音除去手段による処理負荷が大幅に軽減されるとともに、より素早く出力音声信号が最適化される。このように、本発明の構成を用いることで、会議者数や接続会議地点数等の会議環境に応じて、最適な放収音が簡単に実現される。

[0014] また、この発明の音声会議装置は、筐体が一方向に長尺な略直方体形状であり、複数のスピーカおよび複数のマイクが長尺な方向に沿って配列されて、ることを特徴としている。

[0015] この構成では、具体的な筐体の構造として長尺な略直方体形状を用いる。この構造で長尺方向にスピーカおよびマイクを配置することで、直線状にスピーカが配列されたスピーカアレイと、直線状にマイクが配列されたマイクアレイとが効率的に配置される。

[0016] また、この発明の音声会議装置は、収音制御手段からの収音環境に基づいて放音指向性を設定して放音制御手段に与える制御手段を備えたことを特徴としている。

[0017] この構成では、収音制御手段が収音ビームに基づいて収音環境を検出する。ここで、収音環境とは、会議者数や装置に対する会議者位置 (方向）、話者方向等である。制御手段はこの情報に基づいて、放音指向性を決定する。ここで、放音指向性とは、話者等の特定の会議者方向に対して放音強度を強めたり、会議者全体に略同じ放音強度を設定するものである。これにより、例えば、会議者 (話者)がー人である場合に、当該会議者にのみ音声を放音し、他方向に音声が漏れない。また、話者と聞いているだけの人とが存在する場合に、全ての会議者に同等に音声を放音する。

[0018] また、この発明の音声会議装置は、制御手段で収音環境の履歴を記憶し、該履歴に基づ!/、て放音指向性および収音環境を推定し、推定した放音指向性を放音制御手段に与えるとともに、推定した収音環境に応じた収音ビーム信号の選択制御を収音制御手段に与えることを特徴としている。

[0019] この構成では、制御手段は、収音環境の履歴を記憶する。例えば、これまでの話者方向の履歴を記憶する。そして、この履歴に基づいて話者方向に殆ど変動がなかつたり、特定の複数方向にのみ話者方向があることを検出すれば、該当する方向にのみ話者がいることを検出し、放音ビームゃ収音ビームを設定する。例えば、話者方向がー方向に限定されれば、この方向にのみ放音ビームゃ収音ビームを固定する。また、話者が 2方向や 3方向である場合には、全ての方位に略同等に放音を行うとともに、これらの方向の収音ビームのみで話者方向を検出する。これにより、会議者数等に応じて適宜放音し、会議者方向にのみ収音の選択を行えばよぐ処理負荷が軽減される。

[0020] また、この発明の音声会議装置は、制御手段で、入力音声信号数を検出し、該入力音声信号数と収音環境とに基づいて放音指向性を設定することを特徴としている。

[0021] この構成では、制御手段は、入力音声信号数を検出し、この検出数力ネットヮークを介して会議に参加している音声会議装置数を検出する。そして、接続している音声会議装置数に応じて、放音指向性を設定する。具体的には、音声会議装置接続数が一つであって、会議者が一対一の場合であれば、特に仮想点音源を必要とせず、前述の収束性の放音を行って、当該会議者にのみ音声を放音させる。これに対して、一つの音声会議装置を使用する会議者が複数の場合は、仮想点音源を該音声会議装置の略中央位置に設定して放音させる。一方、音声会議装置接続数が複数であれば、複数の仮想点音源の設定を行う等して、臨場感のある音声を放音させたり、後述するように接続先毎に異なる方向に放音音声を収束させる。

[0022] また、この発明の音声会議装置は、制御手段で、入力音声信号の履歴と収音環境との履歴とを記憶し、双方の履歴に基づいて入力音声信号と収音環境の変化との関連性を検出し、該関連性に基づいて放音制御手段に推定した放音指向性を与えるとともに、収音制御手段に推定した収音環境に応じた収音ビーム信号の選択制御を与えることを特徴として、る。

[0023] この構成では、制御手段は、入力音声信号の履歴すなわち接続先の履歴と、収音環境の履歴とを記憶し、これらの関連性を検出する。例えば、本装置に対して第 1の方向にいる話者は第 1の接続先と会話をし、本装置に対して第 2の方向にいる話者は第 2の接続先と会話をしている、という情報を取得する。そして、制御手段は、対応する話者へのみ音声が放音されるように入力音声信号 (接続先)毎に収束性の放音指向性を設定する。また、制御手段は、対応する話者方向でのみ収音するように出力音声信号 (接続先)毎に収音ビーム選択 (収音指向性)を設定する。これにより、 1 つの音声会議装置で並行して複数の音声会議が実現され、互いの会議音声同士が干渉し合わない。

発明の効果

[0024] この発明によれば、音声会議に参加する地点数や、 1つの音声会議装置を使用する会議者数等による様々な音声会議の形式や環境に対して、唯一台の音声会議装置により最適な音声会議を実現することができる。

図面の簡単な説明

[0025] [図 1A]本発明の音声会議装置を表す平面図である。

[図 1B]本発明の音声会議装置を表す正面図である。

[図 1C]本発明の音声会議装置を表す側面図である。

[図 2A]図 1Aに示す音声会議装置のスピーカ配列およびマイク配列を示した正面図である。

[図 2B]図 1Bに示す音声会議装置のスピーカ配列およびマイク配列を示した底面図である。

[図 2C]図 1Cに示す音声会議装置のスピーカ配列およびマイク配列を示した裏面図である。

[図 3]本発明の音声会議装置の機能ブロック図である。

[図 4]本発明の音声会議装置 1の収音ビーム MB11〜MB14, MB21〜MB24の分布を示した平面図である。

[図 5A]—人の会議者 Aが音声会議装置 1で会議をした場合を示す図である。

[図 5B]二人の会議者 A, Bが音声会議装置 1で会議をし、会議者 Aが話者となっている場合とを示す図である。

[図 6A]3つの仮想点音源を設定した場合の放音状況を示す概念図である。

[図 6B]2つの仮想点音源を設定した場合の放音状況を示す概念図である。

[図 7]二人の会議者 A, Bがそれぞれ、異なる音声会議装置との間で会話をする状況を示した図である。

[図 8]ボイススィッチ 24を用いた音声会議装置の機能ブロック図である。

発明を実施するための最良の形態

[0026] 本発明の実施形態に係る音声会議装置について、図を参照して説明する。 [0027] 図 1A— 1Cは本実施形態の音声会議装置を表す三面図であり、図 1Aが平面図、図 1Bが正面図 (長尺の側面側力見た図）、図 1Cが側面図（短尺側の側面から見た図）である。

図 2A— 2Cは、図 1A— 1Cに示す音声会議装置のスピーカ配列およびマイク配列を示した図であり、図 2Aが正面図（図 1Bに相当）、図 2Bが底面図、図 2Cが裏面図（図 1Bの反対側の面に相当）である。

図 3は本実施形態の音声会議装置の機能ブロック図である。

[0028] 図 1A乃至図 2Cに示すように、本実施形態の音声会議装置 1は、機構的に、筐体 2 、脚部 3、操作部 4、発光部 5、入出力コネクタ 11を備える。

筐体 2は一方向に長尺な略直方体形状力なり、筐体 2の長尺な辺（面)の両端部には、筐体 2の下面を設置面から所定間隔離間する所定高さの脚部 3が設置されている。なお、以下の説明では、筐体 2の四側面のうち、長尺な面を長尺面、短尺な面を短尺面と称する。

[0029] 筐体 2の上面における長尺な方向の一方端には、複数のボタンや表示画面からなる操作部 4が設置されている。これら操作部 4は筐体 2内に設置された制御部 10に接続し、会議者力もの操作入力を受け付けて、制御部 10に出力するとともに、操作内容ゃ実行モード等を表示画面に表示する。筐体 2の上面中央部には、一点を中心として放射状に配置された LED等の発光素子からなる発光部 5が設置されてヽる。発光部 5は、制御部 10からの発光制御に応じて発光する。例えば、話者方向を示す発光制御が入力されれば、その方向に対応する発光素子を発光する。

[0030] 筐体 2における操作部 4が設置された側の短尺面には、 LANインターフェース、ァナログオーディオ入力端子、アナログオーディオ出力端子、デジタルオーディオ入出力端子を備える入出力コネクタ 11が設置されており、この入出力コネクタ 11は筐体 2 内部に設置された入出力 IZF12に接続する。また、 LANインターフェースにネットヮークケーブルを装着し、ネットワークに接続することで、ネットワーク上の他の音声会議装置に接続する。

[0031] 筐体 2の下面には、同形状からなるスピーカ SP1〜SP16が設置されている。これらスピーカ SP1〜SP16は長尺方向に沿って一定の間隔で直線状に設置されており、これによりスピーカアレイが構成される。筐体 2の一方の長尺面には、同形状力なるマイク MIC 101〜MIC 116が設置されて!、る。これらマイク MIC 101〜MIC 116は長尺方向に沿って一定の間隔で直線状に設置されており、これによりマイクアレイが構成される。また、筐体 2の他方の長尺面にも、同形状からなるマイク MIC201〜MI C216が設置されている。これらマイク MIC201〜MIC216も長尺方向に沿って一定の間隔で直線状に設置されており、これによりマイクアレイが構成される。そして、筐体 2の下面側には、これらスピーカアレイおよびマイクアレイを覆う形状で形成され、パンチメッシュされた下面グリル 6が設置されている。なお、本実施形態では、スピ一力アレイのスピーカ数を 16本とし、各マイクアレイのマイク数をそれぞれ 16本とした力これに限ることなぐ仕様に応じてスピーカ数およびマイク数は適宜設定すればよい。また、スピーカアレイおよびマイクアレイの間隔は一定ではなくてもよぐ例えば、長尺方向に沿って中央部で密に配置され、両端部に、くに従、疎に配置されるような態様でもよい。

[0032] 次に、図 3に示すように、本実施形態の音声会議装置 1は、機能的に、制御部 10、入出力コネクタ 11、入出力 IZF12、放音指向性制御部 13、 DZAコンバータ 14、放音用アンプ 15、スピーカアレイ（スピーカ SP1〜SP16)、マイクアレイ（マイク MIC10 1〜MIC116, MIC201〜MIC216)、収音用アンプ 16、 AZDコンバータ 17、収音ビーム生成部 181、収音ビーム生成部 182、収音ビーム選択部 19、エコーキャンセル部 20、操作部 4を備える。

[0033] 入出力 IZF12は、入出力コネクタ 11を介して入力された、他の音声会議装置からの入力音声信号をネットワークに対応するデータ形式 (プロトコル)から変換して、ェコーキャンセル部 20を介して放音指向性制御部 13に与える。この際、入出力 IZF1 2は、複数の音声会議装置から入力音声信号を受信すると、これらを音声会議装置毎に識別して、それぞれ異なる伝送経路でエコーキャンセル部 20を介して放音指向性制御部 13に与える。また、入出力 IZF12は、エコーキャンセル部 20で生成される出力音声信号をネットワークに対応するデータ形式 (プロトコル）に変換して、入出力コネクタ 11を介して、ネットワークに送信する。

[0034] 放音指向性制御部 13は、指定された放音指向性に基づいて、スピーカアレイの各スピーカ SP 1〜SP 16にそれぞれ固有の遅延処理及び振幅処理等を入力音声信号に対して行い個別放音信号を生成する。ここで、放音指向性としては、音声会議装置 1の長尺な方向における所定位置で放音音声を収束させるものや、仮想点音源を設定して当該仮想点音源力放音音声を発散させるものがあり、これら放音指向性をスピーカ SP1〜SP16からの放音音声で実現するような個別放音信号が生成される。

[0035] そして、放音指向性制御部 13は、これら個別放音信号をスピーカ SP1〜SP16毎に設置された DZAコンバータ 14に出力する。各 DZAコンバータ 14は個別放音信号をアナログ形式に変換して各放音用アンプ 15に出力し、各放音用アンプ 15は個別放音信号を増幅してスピーカ SP1〜SP16に与える。

[0036] スピーカ SP1〜SP16は、無指向性のスピーカからなり、与えられた個別放音信号を音声変換して外部に放音する。この際、スピーカ SP1〜SP16は筐体 2の下面に設置されているので、放音された音声は、音声会議装置 1が設置される机の設置面を反射して、会議者のいる装置の横力斜め上方に向力つて伝搬される。

[0037] マイクアレイの各マイク MIC101〜MIC116、 MIC201〜216は、無指向性であつても有指向性であってもよいが、有指向性であることが望ましぐ音声会議装置 1の外部からの音声を収音して電気変換し、収音信号を各収音用アンプ 16に出力する。各収音用アンプ 16は、収音信号を増幅してそれぞれ AZDコンバータ 17に与え、 AZ Dコンバータ 17は、収音信号をデジタル変換して収音ビーム生成部 181, 182に出力する。ここで、収音ビーム生成部 181には、一方の長尺面に設置されたマイク MIC 101〜MIC116での収音信号が入力され、収音ビーム生成部 182には、他方の長尺面に設置されたマィクMIC201〜MIC216での収音信号が入カされる。

[0038] 図 4は本実施形態に係る音声会議装置 1の収音ビーム MB11〜MB14, MB21〜 MB24の分布を示した平面図である。

[0039] 収音ビーム生成部 181は、各マイク MIC101〜MIC116の収音信号に対して所定の遅延処理等を行い、収音ビーム信号 MB11〜MB14を生成する。収音ビーム信号 MB11〜MB14は、マイク MIC101〜MIC116が設置された長尺面側で、当該長尺面に沿って、それぞれに異なる所定領域が収音強度の中心に設定されている。 [0040] 収音ビーム生成部 182は、各マイク MIC201〜MIC216の収音信号に対して所定の遅延処理等を行い、収音ビーム信号 MB21〜MB24を生成する。収音ビーム信号 MB21〜MB24は、マイク MIC201〜MIC216が設置された長尺面側で、当該長尺面に沿って、それぞれに異なる所定領域が収音強度の中心に設定されている。

[0041] 収音ビーム選択部 19は、収音ビーム信号 MB11〜MB14, MB21〜MB24を入力して信号強度を比較、予め設定した所定条件に適合する収音ビーム信号 MBを選択する。例えば、一人の話者からの音声のみを他の音声会議装置に送信する場合には、収音ビーム選択部 19は、最も信号強度の高い収音ビーム信号を選択し、特定収音ビーム信号 MBとしてエコーキャンセル部 20に出力する。また、複数の音声会議を並行して行う時のように複数の収音ビーム信号が必要であれば、その状況に応じた収音ビーム信号を順次選択して、それぞれを個別の特定収音ビーム信号 MBとしてエコーキャンセル部 20に出力する。また、収音ビーム選択部 19は、選択した特定収音ビーム信号 MBに対応する収音方向（収音指向性)を含む収音環境情報を制御部 10に出力する。制御部 10はこの収音環境情報に基づき、話者方向を特定し、放音指向性制御部 13に与える放音指向性を設定する。

[0042] エコーキャンセル部 20は、それぞれに独立なエコーキャンセラ 21〜23が設置されており、これらが直列接続された構造力もなる。すなわち、収音ビーム選択部 19の出力はエコーキャンセラ 21に入力され、エコーキャンセラ 21の出力はエコーキャンセラ 22に入力される。そして、エコーキャンセラ 22の出力はエコーキャンセラ 23に入力され、エコーキャンセラ 23の出力は入出力 IZF12に入力される。

[0043] エコーキャンセラ 21は適応型フィルタ 211とポストプロセッサ 212とを備える。また、図示していないが、エコーキャンセラ 22, 23は、エコーキャンセラ 21と同じ構成からなり、それぞれ適応型フイノレタ 221, 231とポストプロセッサ 222, 232とを備免る。

[0044] エコーキャンセラ 21の適応型フィルタ 211は、入力音声信号 S1に対して、設定される放音指向性と選択される特定収音ビーム信号 MBの収音指向性とに基づく擬似回帰音信号を生成する。ポストプロセッサ 212は、収音ビーム選択部 19から出力される特定収音ビーム信号から、入力音声信号 S1に対する擬似回帰音信号を減算して、エコーキャンセラ 22のポストプロセッサ 222に出力する。 [0045] エコーキャンセラ 22の適応型フィルタ 221は、入力音声信号 S2に対して、設定される放音指向性と選択される特定収音ビーム信号 MBの収音指向性とに基づく擬似回帰音信号を生成する。ポストプロセッサ 222は、エコーキャンセラ 21のポストプロセッサ 212から出力される第 1減算信号から、入力音声信号 S2に対する擬似回帰音信号を減算して、エコーキャンセラ 23のポストプロセッサ 232に出力する。

[0046] エコーキャンセラ 23の適応型フィルタ 231は、入力音声信号 S3に対して、設定される放音指向性と選択される特定収音ビーム信号 MBの収音指向性とに基づく擬似回帰音信号を生成する。ポストプロセッサ 232は、エコーキャンセラ 22のポストプロセッサ 222から出力される第 2減算信号から、入力音声信号 S3に対する擬似回帰音信号を減算して、出力音声信号として入出力 IZF12に出力する。ここで、入力音声信号が 1つであれば、エコーキャンセラ 21〜23のいずれかが動作し、入力音声信号が 2つであれば、エコーキャンセラ 21〜23のいずれ力 2つが動作する。

[0047] このようなエコーキャンセル処理を行うことにより、適切なエコー除去が行われ、自装置の話者音声のみが出力音声信号として、ネットワークに送信される。この際、放音ビーム処理と収音ビーム処理とが行われた上で、エコーキャンセル処理が行われるので、単に無指向性のスピーカを備える場合や、無指向性のマイクを備える場合よりも、回り込み音を抑圧することができる。さらに、機構的に、前述のようにスピーカとマイクとの間で回り込みが発生しにくい構造であるので、より回り込み音声の抑圧効果が向上するとともに、機構的に回り込みの発生が少ない分、エコーキャンセル処理の処理負荷が低減し、より高速に最適な出力音声信号を生成することができる。

[0048] 次に、このような構成および処理を行う音声会議装置の使用例について、図を参照して説明する。なお、以下に挙げる例は、使用方法の一部であり、これらに類似の使用方法においても本発明の構成および処理が適用することができる。

[0049] (1)ネットワークを介して接続している他の音声会議装置の数力つの場合

接続している他の音声会議装置が 1つの場合、すなわち音声会議装置が一対一で音声会議を行う場合、入出力 IZF12が受信する入力音声信号は 1つであり、制御部 10は、これを検出して、他の音声会議装置力^つであることを検出する。

[0050] また、この入力音声信号の検出とは別の通常処理として、収音ビーム選択部 19は、前述のように、各収音ビーム信号から特定収音ビーム信号を選択するとともに、収音環境情報を生成する。制御部 10は、収音環境情報を取得して話者方向を検出し

、所定の放音指向性制御を行う。例えば、話者に放音音声を収束させて、他の領域に放音音声を伝搬しないような設定を行う場合には、検出した話者方向に収束する放音ビーム信号を形成する放音指向性制御を行う。これにより、会議に関係しない多数の人が無作為にいるような空間内で会議を行っていても、話者からの音声のみを高い SZN比で収音するだけでなぐ話者にのみ相手会議者の音声を放音し、他の人にこの音声が漏れることを防止することができる。

[0051] ところで、この方法では、会議者が複数人!ヽる場合には、話者のみしか相手会議者の音声を聞くことができなくなる。

[0052] したがって、このような場合には、放音指向性を他の方法で制御すればよい。

[0053] 図 5Aは一人の会議者 Aが音声会議装置 1で会議をする場合を示し、図 5Bは二人の会議者 A, Bが音声会議装置 1で会議をし、会議者 Aが話者となっている場合を示す図である。

[0054] 図 5Aに示すように、会議者が A—人である場合は、当然会議者 Aが話者となる。収音ビーム選択部 19は、収音信号力会議者 Aの存在する方向を指向性の中心とする収音ビーム信号 MB 13を選択し、この収音環境情報を制御部 10に与える。制御部 10は、話者方向を検出する。そして、制御部 10は、図 5Aに示すように、検出した話者 A方向にのみ放音を行う放音指向性を設定する。これにより、話者 Aのみに相手会議者の音声を放音し、他の領域に会議音が伝搬する (漏れる)ことを防止することができる。

[0055] 一方、図 5Bに示すように、会議者が A, Bの二人であり、会議者 Aが話者となると、収音ビーム選択部 19は、会議者 Aの存在する方向を指向性の中心とする収音ビーム信号 MB13を選択し、この収音環境情報を制御部 10に与える。制御部 10は、話者方向を検出するとともに、今回の話者方向より以前に検出した話者方向を記憶しておき、その話者方向を読み出して会議者方向として検出する。図 5Bの例であれば、会議者 Bの方向を会議者方向として検出する。

[0056] そして、制御部 10は、図 5Bに示すように、検出した話者 A方向および会議者 B方向に同等に放音されるように、音声会議装置 1の長尺方向の中心に仮想点音源 901 が位置するような放音指向性を設定する。これにより、その時点での話者 Aのみでなぐ会議者 Bへ同等に相手会議者の音声を放音することができる。

[0057] このように、話者の切り替えに応じて収音指向性 (特定収音ビーム信号)を切り替えるとともに、放音指向性を切り替えることで、互いの会議者全員に対して音声が聞き取りやすい音声会議を実現することができる。そして、本装置は、スピーカアレイとマイクアレイとを同時に備えていることにより、この音声会議を容易に行うことができる。

[0058] なお、前述のように制御部 10が話者方向を記憶しておくことにより、制御部 10は、その時点力以前の所定期間内の話者方向を読み出し、主に設定されている話者方向を検出することができる。制御部 10は、この話者方向が限定的であることを検出すると、収音ビーム選択部 19に、対応する収音ビーム信号でのみ選択処理を行う指示をする。収音ビーム選択部 19は、この指示に従い、該当する収音ビーム信号でのみ選択処理を行い、エコーキャンセル部 20に出力する。例えば、常時一方向からのみ話者音声が収音されるのであれば、この一方向の収音ビーム信号に固定し、二方向でのみ話者方向が収音されるのであれば、これら二方向の収音ビーム信号でのみ選択処理を行う。このような処理を行うことで、収音ビーム選択処理負荷が低減されて、より素早く出力音声信号を生成することができる。

[0059] (2)ネットワークを介して接続して、る他の音声会議装置の数が複数の場合

接続している他の音声会議装置の数が複数の場合、入出力 IZF12が受信する入力音声信号は複数であり、制御部 10は、これを検出して、他の音声会議装置が複数あることを検出する。そして、制御部 10は、各音声会議装置に対してそれぞれ異なる位置を仮想点音源に設定して、それぞれの仮想点音源力ゝら各入力音声信号が発声し発散するような放音指向性を設定する。

[0060] 図 6Aは 3つの仮想点音源を設定した場合の放音状態を示す概念図である。また、図 6Bは 2つの仮想点音源を設定した場合の放音状態を示す概念図である。図 6A、 6Bにおいて、実線は仮想点音源 901からの放音音声を示し、破線は仮想点音源 90 2からの放音音声を示し、二点鎖線は仮想点音源 903からの放音音声を示す。

[0061] 例えば、入力音声信号が 3個であれば、図 6Aに示すように、それぞれの入力音声信号に応じた仮想点音源 901, 902, 903を設定する。この際、仮想点音源 901, 9 03を筐体 1の長尺方向の対向する両端部に対応させ、仮想点音源 902を筐体 1の長尺方向の中央部に対応させる。この設定に基づいて放音指向性を設定し、放音指向性制御部 13で、遅延制御および振幅制御等により各スピーカ SP1〜SP16の個別放音信号を生成する。そして、スピーカ SP1〜SP16が個別放音信号を放音することで、異なる 3箇所の仮想点音源 901〜903からそれぞれ音声を発声させた状態を形成することができる。一方、入力音声信号が 2個であれば、図 6Bに示すように、それぞれの入力音声信号に応じた仮想点音源 901, 902を設定する。この際、仮想点音源 901, 902を筐体 1の長尺方向の対向する両端部に対応させる。この設定に基づいて放音指向性を設定することで、今度は異なる 2箇所の仮想点音源 901, 90 2からそれぞれ音声を発声させた状態を形成することができる。なお、これら仮想点音源の位置は、予め固定位置に設定してぉ、てもよ、。

[0062] これらの切り替えは、制御部 10の放音指向性設定の切り替えのみで行うことができるので、接続された他の音声会議装置の数、すなわち接続環境に応じて、容易に最適な放音環境 (放音指向性)を実現することができる。そして、このような仮想点音源を設定することで、より臨場感の有る会議を行うことができる。なお、この際、放音音声は発散するため、若干は収音されるが、エコーキャンセル部 20に予め仮想点音源用の初期パラメータを与えておくことで、回帰音を効果的に除去することができる。

[0063] (3)複数の異なる会議を同時に行う場合

接続している他の音声会議装置の数が複数の場合、入出力 IZF12が受信する入力音声信号は複数であり、制御部 10は、これを検出して他の音声会議装置が複数あることを検出する。また、制御部 10は、各入力音声信号の信号強度を検出して記憶しておき、各入力音声信号の履歴を検出する。ここで、入力音声信号の履歴としては、所定の信号強度があるかないかを検出したものであり、実際に会話が行われているかどうかに対応する。これと同時に、制御部 10は、記憶した収音環境情報に基づいて話者方向の履歴を検出する。制御部 10は、これら入力音声信号履歴と話者方向履歴とを比較して、入力音声信号と話者方向との相関性を検出する。

[0064] 図 7は、二人の会議者 A, Bがそれぞれ、一個の音声会議装置 1を用いて異なる音声会議装置との間で会話をする状況を示した図であり、図 7のブロック矢印は放音ビーム 801, 802を示す。そして、図 7では、会議者 Aが入力音声信号 S1に対応する他の音声会議装置と会話し、会議者 Bが入力音声信号 S2に対応する他の音声会議装置と会話する場合を示す。

[0065] 例えば、図 7に示すような場合では、会議者 Aは入力音声信号 S1による放音に応答する形で発声し、会議者 Bは入力音声信号 S2による放音に応答する形で発声する。このような状況では、入力音声信号 S1が所定信号強度である期間が終了するのと略同時に収音ビーム信号 MB13の信号強度が高くなる。そして、収音ビーム信号 MB13の信号強度が低くなるのと略同時に入力音声信号 S1の信号強度が再び高くなる。同様に、入力音声信号 S2が所定信号強度である期間が終了するのと略同時に収音ビーム信号 MB21の信号強度が高くなる。そして、収音ビーム信号 MB21の信号強度が低くなるのと略同時に入力音声信号 S2の信号強度が再び高くなる。制御部 10はこの信号強度の変化を検出して、入力音声信号 S1と会議者 Aとを関連付けし、入力音声信号 S2と会議者 Bとを関連付けする。そして、制御部 10は、入力音声信号 S1を会議者 Aにのみ放音し、入力音声信号 S2を会議者 Bにのみ放音するような放音指向性を設定する。このため、会議者 A側の相手からの音声は会議者 Bに聞こえず、会議者 B側の相手からの音声は会議者 Aに聞こえない。

[0066] 一方、制御部 10は、収音ビーム選択部 19に、各入力音声信号 SI, S2にそれぞれ対応する収音ビーム信号群毎に収音ビーム信号の選択処理を行うように指示する。図 7の例であれば、収音ビーム選択部 19は、会議者 Aが存在する側のマイク MIC10 1〜MIC 116による収音ビーム信号 MB 11〜MB 14で前述の選択処理を行うとともに、会議者 Bが存在する側のマイク MIC201〜MIC216による収音ビーム信号 MB 21〜MB24で前述の選択処理を行う。そして、収音ビーム選択部 19は、それぞれに選択した収音ビーム信号を入力音声信号 SI, S2にそれぞれ対応する特定収音ビーム信号としてエコーキャンセル部 20に出力する。エコーキャンセル部 20では会議者 A, Bのそれぞれに対応する特定収音ビーム信号を順次エコーキャンセル処理して出力音声信号を生成し、入出力 IZF12ではそれぞれに送信先を指定するデータを添付する。これにより、会議者 Aの発声音は会議者 B側の相手には送信されず、会議者 B側の発声音は会議者 A側の相手には送信されない。これにより、会議者 A, B は、同じ音声会議装置 1を利用しながらも、互いに異なる他の音声会議装置側の会議者と、個別に音声通信を行うことができ、さらに互いに干渉されることなぐ並行して会議を行うことができる。そして、本実施形態の構成を用いることで、このような並行する複数の会議を容易に実現することができる。

[0067] なお、前述の各例では、制御部 10が放音 '収音設定を自動的に行う態様を示した力操作部 4を操作して、会議者が手動で放音 '収音設定を行うようにしてもよい。

[0068] また、前述の実施形態では、回帰音除去手段としてエコーキャンセラ (エコーキャンセル部 20)を用いた例を示した力図 8に示すように、ボイススィッチ 24を用いてもよい。

[0069] 図 8はボイススィッチ 24を用いた音声会議装置の機能ブロック図である。

図 8に示す音声会議装置 1は、図 3に示した音声会議装置 1のエコーキャンセル部 20がボイススィッチ 24に置き換わったものであり、他の構成は同じである。

[0070] ボイススィッチ 24は、比較回路 25、入力側可変損失回路 26、出力側可変

損失回路 27を備える。比較回路 25は、入力音声信号 S1〜S3と、特定収音ビーム信号 MBとを入力して、入力音声信号 S1〜S3の信号レベル (振幅強度)と特定収音ビーム信号 MBの信号レベルとを比較する。

[0071] そして、比較回路 25は、入力音声信号 S1〜S3の信号レベルが特定収音ビーム信号 MBの信号レベルよりも高いことを検出すると、当該音声会議装置 1の会議者が主に受話中であると判断して、出力側可変損失回路 27に低減制御を行う。出力側可変損失回路 27は、この低減制御にしたがって特定収音ビーム信号 MBの信号レベルを低減して、出力音声信号として入出力 IZF12に出力する。

[0072] 一方、比較回路 25は、特定収音ビーム信号 MBの信号レベルが入力音声信号 S1 〜S3の信号レベルよりも高いことを検出すると、当該音声会議装置 1の会議者が主に送話中であると判断して、入力側可変損失回路 26に低減制御を行う。入力側可変損失回路 26は、それぞれ入力音声信号 S1〜S3に対して可変損失処理を行う個別可変損失回路 261〜263を備え、これら個別可変損失回路 261〜263で入力音声信号 S 1〜S3の信号レベルを低減して、放音指向性制御部 13に与える。 [0073] このような処理を行うことで、主に受話時には、スピーカアレイ力マイクアレイに回り込みが発生しても出力音声レベルが抑圧されるので、受話音声 (入力音声信号)を相手の音声会議装置に送信することを防止できる。一方、送話時には、スピーカァレイカも放音される音声が抑圧されるので、マイクアレイに回り込む音声が低減し、受話音声 (入力音声信号)を相手の音声会議装置に送信することを防止できる。

[0074] 以上のように、本実施形態の機構的構成および機能的構成を備えることで、前述のような多種多様の会議環境に、ただ 1つの音声会議装置で対応することができ、さらに、どの会議環境であっても、最適な放収音環境を会議者に提供することができる。

Claims

請求の範囲

[1] 下面、側面及び設置面から前記下面を所定距離離間させる脚部を有する筐体と、前記下面力外部方向を放音方向として、前記下面に配列された複数のスピーカを備えたスピーカアレイと、

入力音声信号に放音用信号処理を行って前記スピーカアレイの放音指向性を制御する放音制御手段と、

前記側面から外部方向を収音方向として、前記側面に配列された複数のマイクを備えたマイクアレイと、

該マイクアレイで収音した収音音声信号に収音用信号処理を行って互いに異なる収音指向性を有する複数の収音ビーム信号を生成し、該複数の収音ビーム信号を比較して収音環境を検出するとともに特定の収音ビーム信号を選択して出力する収音制御手段と、

前記入力音声信号と前記特定の収音ビーム信号とに基づいて、前記スピーカァレィから放音された音声が出力音声信号に含まれな、ように制御する回帰音除去手段と、

を備えたことを特徴とする音声会議装置。

[2] 前記回帰音除去手段は、前記入力音声信号に基づいて擬似回帰音信号を生成し、前記特定の収音ビーム信号から前記擬似回帰音信号を減算する請求項 1に記載の音声会議装置。

[3] 前記回帰音除去手段は、前記入力音声信号と前記特定の収音ビーム信号とのレベルを比較する比較手段と、

前記入力音声信号と前記特定の収音ビーム信号のうち、前記比較手段によって信号レベルが低ヽと判断された信号のレベルを低減させるレベル低減手段と、を備えた請求項 1に記載の音声会議装置。

[4] 前記筐体は一方向に長尺な略直方体形状であり、前記複数のスピーカおよび前記複数のマイクは、前記長尺な方向に沿って配列されている請求項 1〜3のいずれかに記載の音声会議装置。

[5] 前記収音制御手段からの前記収音環境に基づ!、て前記放音指向性を設定し前記放音制御手段に与える制御手段を備えた請求項 1〜4のいずれかに記載の音声会議装置。

[6] 前記制御手段は、前記収音環境の履歴を記憶し、該履歴に基づ!、て放音指向性および収音環境を推定し、前記放音制御手段に推定した放音指向性を与えるとともに、前記収音制御手段に推定した収音環境に応じた収音ビーム信号の選択制御を与える請求項 5に記載の音声会議装置。

[7] 前記制御手段は、入力音声信号数を検出し、該入力音声信号数と前記収音環境とに基づ、て前記放音指向性を設定する請求項 5に記載の音声会議装置。

[8] 前記制御手段は、前記入力音声信号の履歴と前記収音環境との履歴とを記憶し、双方の履歴に基づいて入力音声信号と収音環境の変化との関連性を検出し、該関連性に基づいて前記放音制御手段に推定した放音指向性を与えるとともに、前記収音制御手段に推定した収音環境に応じた収音ビーム信号の選択制御を与える請求項 7に記載の音声会議装置。