JP4522964B2 - 音声会議装置 - Google Patents

Description

本発明は、複数のマイクロホンを用いる音声会議装置に関するもので、異なったマイクロホンに対して同時に発言があった場合でも、音声の頭切れや途切れがないように工夫したものである。

音声会議装置に関する従来技術として、話者の音声を集音し、その話者の音声を示す音声情報を出力するマイクと、マイクの近傍に設けられ、話者を特定する所有者情報を記録した記録媒体から読み出したその所有者情報に基づいて識別情報を出力する識別手段と、音声情報に識別情報を付加する識別情報付加手段と、識別情報が付加された音声情報を送信する送信手段とを有することにより、複数の回線を用いなくても一地点から複数人が音声会議に参加することができ、かつ、話者の識別が容易な音声会議システムが知られている（例えば、特許文献１参照）。

また、ネットワークを利用して音声データを送受信することにより遠隔地の者と会議を行う音声会議システムにおいて、ネットワークと、ネットワーク経由で送信する音声データに識別子を付加して送信する第１の遠隔会議装置と、ネットワーク経由で識別子を付加された音声データを受信し再生される音声データの音像の位置を識別子に基づき変える第２の遠隔会議装置とを設けることにより、受信側において発言者を容易に識別することを可能にした音声会議システムが知られている（例えば、特許文献２参照）。

特開２００５−８０１１０号公報 特開２００４−７２３５４号公報

音声会議装置ないしは音声会議システムでは、複数の発言者が同時にそれぞれのマイクロホンに向かって発した音声をそのまま拡声してスピーカから出力すると、複数人の発言が混在して聞き分けることができないので、一つのマイクロホンのみを選択して発言を許可するようにしたものがある。発言の許可方式には、マイクロホンごとに組み込まれた発言スイッチをオンするようにした手動方式と、発言を捉えたマイクロホンをオンして発言を許可するようにした自動方式がある。
特許文献１記載の発明も特許文献２記載の発明も、自動方式であって、複数あるマイクロホンで捉えられて変換される音声信号ごとに、識別情報ないしは識別子を付加し、識別情報ないしは識別子に基づいて発言者を識別するように構成されている。発言者を識別することができれば、特定の発言者に、換言すれば、その特定の発言者に割り当てられているマイクロホンに発言を許可することができる。

上記のように、自動方式の音声会議装置において、発言があったとき、その発言者を特定してそれに割り当てられているマイクロホンに発言を許可する技術はすでに知られている。しかし、現実の会議においては複数の発言者がたまたま同時に発言することがあり、かかる場合に、上記従来例においては、どの発言者に割り当てられているマイクロホンから音声信号が送られてきているのか判別することができない。そのため、どの発言者ないしはどのマイクロホンに発言を許可すべきか判断することができず、結果的に音声信号をスピーカに送ることができず、音声の頭切れあるいは途切れを起こすことがある。その理由を、図８乃至図１１に示す例を参照しながら順を追って説明する。

図８乃至図１１に示す従来例は、赤外線方式音声会議装置の例であって、複数のマイクロホン１１，１２で変換された音声信号をマスターコントロール部３０に送信するようになっている。マイクロホン１１，１２は、例えば発言者の席ごとに、あるいは二人の発言者につき一つを共用するように配置されている。各マイクロホン１１，１２は赤外線送受信装置を備えていて、それぞれのマイクロホン１１，１２で変換された音声信号を赤外線信号に変換して送信するようになっている。マスターコントロール部３０も赤外線送受信装置３１を備えていて、各マイクロホン１１，１２から送信されてくる赤外線信号を受信して音声信号に復元するようになっている。各マイクロホン１１，１２からは音声信号とともに個々のマイクロホンを識別するための発言データが送信され、マスターコントロール部３０は、上記発言データに基づいて、音声信号の送信元のマイクロホンを特定することができるようになっている。また、マスターコントロール部３０は、送信元のマイクロホンを特定すると、特定したマイクロホンに向けて発言許可信号を赤外線送受信装置３１から送信するようになっている。マスターコントロール部３０側の赤外線送受信装置３１で受信されて復元される各マイクロホン１１，１２からの音声信号は、マスターコントロール部３０で増幅その他の信号処理が行われた後、スピーカ４０から会議場内に、さらに、場合によっては会議場外のスピーカからも、発言者の発言が拡声されて出力されるようになっている。図８乃至図１１ではマイクロホンの数を省略して表されているものと考えてよく、上記の２つのマイクロホン１１，１２はマイクロホンを代表して示されているものとする。

図８は、二つのマイクロホン１１，１２からそれぞれのマイクロホンに対応する二人の発言者が発言した場合のイメージを示す。マイクロホン１１に対応する第１の発言者２１が「あ」と発言し、続いてマイクロホン１２に対応する第２の発言者２２が「か」と発言したとする。このように発言に時間差がある場合は、それぞれの発言が音声信号に変換されてマイクロホン１１，１２からマスターコントロール部３０に送信され、マスターコントロール部３０は音声信号とともに送信されてくる個々のマイクロホンを識別するための発言データに基づいてマイクロホンを識別することができ、発言を許可すべきマイクロホンを特定して、そのマイクロホンに対する発言を許可することができる。スピーカ４０からは上記時間差に応じて「あ」「か」と音声が出力される。このように、マイクロホンごとの発言に時間差がある場合は、なんら不具合は生じない。

ところが、第１、第２の発言者２１，２２が同時に「あ」「か」と発言したとすると、スピーカ４０からは二人の発言者２１，２２の音声が同時に「あ」「か」と出力される。第１、第２の発言者２１，２２はかまわず「い」「き」と発言を続け、スピーカ４０からは二人の発言者２１，２２の音声が同時に「い」「き」と出力される。各マイクロホン１１，１２からは、音声信号とともに発言データも同時に送信しているため、両者の発言データを同時に受信するマスターコントロール部３０では、図９に示すように、発言データを正確に識別して受信することができず、マスターコントロール部３０は特定のマイクロホンに向けた発言許可の信号を出力することができない。マイクロホン１１，１２側では、マスターコントロール部３０から発言許可信号が送信されてこないため、図１０に示すように発言データを再送信（リトライ）する。その間、第１、第２の発言者２１，２２は「う」「く」と発言を続け、スピーカ４０からは二人の発言者２１，２２の音声が同時に「う」「く」と出力される。マイクロホン１１，１２側からの上記発言データの再送信にもかかわらず、第１、第２の発言者２１，２２が同時に発言しており、発言データの再送信のタイミングも同時であるため、マスターコントロール部３０は、やはりマイクロホン１１，１２側からの発言データを受信することができず、受信したとしてもそれを識別することができない。

このようにして、マイクロホン側１１，１２では、マスターコントロール部３０から発言許可信号が送信されてこないため、図１１に示すように、音声信号の送信を停止する。以上の動作をしている間は第１、第２の発言者２１，２２の同時に発言された音声が拡声されてスピーカ４０から出力されるが、マイクロホン１１，１２側から音声信号の送信を停止することによって、第１、第２の発言者２１，２２の音声がスピーカ４０から出力されることもなくなる。このようにして、スピーカ４０から出力される音声が途中で途切れてしまう。あるいは、短時間だけスピーカ４０から音声が出力されたあと音声が途切れ、音声の頭切れと実質的に同じの不具合が生じる。

上に述べたとおり、従来の自動方式の音声会議装置においては、同時に複数の発言があった場合、複数の発言が同時にしばらくの間（例えば、数秒間）スピーカから拡声して出力された後、音声が途切れ、発言内容が出席者に伝わらないという難点がある。

本発明は、このような従来技術の問題点に鑑み、異なる複数のマイクロホンに対して同時に発言があった場合でも、音声の頭切れや途切れのない音声会議装置を提供することを目的とする。

本発明は、発言者の発言を音声信号に変換する複数のマイクロホンと、各マイクロホンに備えられている音声蓄積手段と、各マイクロホンから送られてくる音声信号を受信し拡声してスピーカから出力させるマスターコントロール部と、を有してなり、各マイクロホンは、音声を捉えることにより音声信号に変換してこの音声信号を上記音声蓄積手段に蓄積するとともにマイクロホンを識別するための固有の発言データをマスターコントロール部に送信するように構成され、上記マスターコントロール部は、音声信号を送信してきたマイクロホンに対して発言許可信号を送信するように構成され、上記各マイクロホンはまた、マスターコントロール部から発言許可信号が送信されることによって音声蓄積手段に蓄積された音声信号をマスターコントロール部に送信するとともに、発言データを送信した後マスターコントロール部から発言許可信号が送信されない場合に発言データを再送信するように構成され、発言データの再送信のタイミングがマイクロホン相互間でずれていることを最も主要な特徴とする。

各マイクロホンは、対応する発言者が発言するとこれを音声信号に変換して音声信号を音声蓄積手段に蓄積するとともに、個々のマイクロホンを識別するための発言データをマスターコントロール部に送信する。マスターコントロール部では、発言データを送信してきたマイクロホンに対して発言許可信号を送信する。発言許可信号を受信したマイクロホンでは、音声蓄積手段に蓄積した音声信号をマスターコントロール部に送信する。マスターコントロール部は受信した音声信号を拡声してスピーカから出力させる。
複数のマイクロホンから同時に発言データが送信されてくると、マスターコントロール部はどのマイクロホンに発言許可信号を送信すればよいか判断することができず、発言許可信号を送信することができない。発言データを送信した各マイクロホン側では、発言データを再送信するが、発言データの再送信のタイミングがマイクロホン相互間でずれているため、マスターコントロール部は先に発言データを再送信したマイクロホンを選択して発言許可信号を送信し、発言許可信号を受信したマイクロホンが音声蓄積手段に蓄積した音声信号をマスターコントロール部に送信し、その音声がスピーカから出力される。
このように、複数のマイクロホンに対して同時に発言があっても、いずれかのマイクロホンが選択されて発言が許可されるので、発言の頭切れや途切れが無く、違和感の無い聞き取りやすい音声会議装置を得ることができる。

以下、本発明にかかる音声会議装置の実施例について図面を参照しながら説明する。なお、本発明の実施例を示す図面において、前述の従来例を示す図８乃至図１１で使用した符号の示す構成部分と同じ構成部分には同じ符号を付した。

図１乃至図６において、符号１１，１２はそれぞれ発言者２１，２２の発言を電気的な音声信号に変換するマイクロホンを示す。会議場において、マイクロホンは、通常上記二つのマイクロホン１１，１２以外にも複数用いられるが、図１乃至図６では上記二つのマイクロホン１１，１２が他のマイクロホンを代表して描かれている。各マイクロホン１１，１２は音声蓄積手段５１，５２を備えていて、それぞれのマイクロホンで変換された音声信号はそれぞれの音声蓄積手段５１，５２に蓄積されるようになっている。マイクロホン１１，１２は、例えば発言者の席ごとに、あるいは二人の発言者につき一つを共用するように配置されている。各マイクロホン１１，１２は赤外線送受信装置を備えていて、それぞれのマイクロホン１１，１２で変換された音声信号を赤外線信号に変換して送信するようになっている。マスターコントロール部３０も赤外線送受信装置３１を備えていて、各マイクロホン１１，１２から送信されてくる赤外線信号を受信して音声信号および次に説明する発言データに復元するようになっている。

各マイクロホン１１，１２は、対応する発言者２１，２２が発言したとき、その音声を捕らえて音声信号に変換するとともに、個々のマイクロホンを識別するための発言データを生成してマスターコントロール部３０に向けて送信するように構成されている。マスターコントロール部３０は、上記発言データに基づいて、その送信元のマイクロホンを特定することができるようになっている。また、マスターコントロール部３０は、送信元のマイクロホンを特定すると、特定したマイクロホンに向けて発言許可信号を赤外線送受信装置３１から送信するようになっている。発言許可信号を受信したマイクロホンは、そのマイクロホンの音声蓄積手段に蓄積されている音声信号を読み出してマスターコントロール部３０に向けて送信する。マスターコントロール部３０側の赤外線送受信装置３１で受信されて復元される各マイクロホン１１，１２からの音声信号は、マスターコントロール部３０で増幅その他の信号処理が行われた後、スピーカ４０から会議場内に、さらに、場合によっては会議場外のスピーカからも、発言者の発言が拡声されて出力されるようになっている。

図１乃至図３は、マイクロホン１１が発言者の発言を捉えた後マスターコントロール部３０に音声信号を送信するまでの動作を順に示す。図１に示すように、例えば、発言者２１が「あ」と発言を開始したとする。発言者２１に対応するマイクロホン１１がこの発言を捉えて音声信号に変換し、これを音声蓄積手段５１に蓄積するとともに、発言を捉えることによって発言データを生成し、この発言データ６１を赤外線信号に変換して赤外線送受信装置からマスターコントロール部３０に向けて送信する。上記発言データは、上記のように個々のマイクロホン、この場合はマイクロホン１１を識別するためのデータ（ＩＤ）である。マスターコントロール部３０の赤外線送受信装置３１が上記赤外線信号を受信して発言データに復元し、図２に示すように、赤外線送受信装置３１から発言データによって特定されるマイクロホン１１に発言許可信号６２を送信する。この間、発言者２１は「い」というように発言を続け、音声蓄積手段５１に音声「あい」が蓄積される。

上記発言許可信号をマイクロホン１１が受信すると、マイクロホン１１は図３に示すように音声蓄積手段５１に蓄積していた音声信号を読み出し、この音声信号６３を赤外線送受信装置からなる通信手段を介してマスターコントロール部３０に送信する。マスターコントロール部３０は上記音声信号に従ってスピーカ４０を駆動し、スピーカ４０から音声「あい」を出力する。発言者は引き続き「う」というように発言を続け、この発言も上記と同様にしてマスターコントロール部３０に送信され、スピーカ４０から音声「あい」に続いて「う」が出力される。ここまでの動作は複数のマイクロホンのうちの一つで発言を捉えた場合の動作である。

図４乃至図６は、複数のマイクロホンが同時にそれぞれのマイクロホンに対応する発言者の発言を捉えた場合の動作を示す。図４に示すように、発言者２１が「あ」と発言を開始し、これと同時に発言者２２が「か」と発言を開始したとする。発言「あ」はマイクロホン１１の音声蓄積手段５１に蓄積され、発言「か」はマイクロホン１２の音声蓄積手段５２に蓄積される。各マイクロホン１１，１２は上記発言を捉えることによってそれぞれ固有の発言データを生成し、赤外線送受信装置からなる通信手段を介して二つの発言データ６４，６５をマスターコントロール部３０に送信する。ところが、マスターコントロール部３０では、異なる発言データが同時に送信されると、双方の発言データが混在することによって発言データを送信してきたマイクロホンを特定することができず、発言許可信号を出力することができない。

マイクロホン側では、発言許可信号が送信されてこないことによって発言データを再送信（リトライ）することになるが、二つのマイクロホン１１，１２が再度同時に発言データを送信するとすれば、マスターコントロール部３０はやはり発言許可信号を出力することができないことになる。そこで本発明においては、マイクロホン側から発言データを再送信するに当たり、発言データの再送信のタイミングをマイクロホン相互間で異ならせており、この点が本発明の一つの特徴となっている。図７は、マイクロホン相互間での発言データ再送信タイミングをずらした例をイメージ化して示す。図７において、マイクロホンが１０本あるとすると、それぞれのマイクロホンに、「マイク１」「マイク２」「マイク３」・・・というように識別記号（ＩＤ）を付しておく。図７において横方向を時間軸とする。各マイクロホンの右側に記されている矢印はマイクロホンごとの発言データ再送信タイミングを示しており、各マイクロホン相互間で発言データ再送信タイミングが異なっている。図７は、発言データの再送信タイミングを、どのマイクロホンが優先させるかというイメージで描かれていて、「マイク１」が最優先し、以下、「マイク１０」に向かって優先順位が低くなるように設定されている。したがって、例えば、「マイク１」と「マイク２」との関係では「マイク１」が優先して発言データを送信し、「マイク３」と「マイク８」との関係では「マイク３」が優先して発言データを送信するように設定されている。マイクロホン相互間の発言データ再送信タイミングのずれは、スピーカから出力される音声のタイムラグに違和感のない程度の短いタイミングずれとなるように設定されている。

図４について説明したように、発言データがぶつかり合ってマスターコントロール部３０が正常な発言データを受信することができず、発言許可信号を出力することができない場合は、マイクロホン側において発言データを再送信するにあたり、そのタイミングをマイクロホン相互間でずらす。各マイクロホンからの発言データ再送信タイミングは、例えば、図７に示すような設定に基づいてずらされる。図４に示すようにマイクロホン１１が上記「マイク１」、マイクロホン１２が上記「マイク２」とすると、図５に示すように、マイクロホン１１から、マイクロホン１２よりも優先して発言データ６６が再送信される。この間、発言者２１は発言を続け、音声「あ」に続く音声「い」が音声蓄積手段５１に蓄積される。他方の発言者２２も発言を続け、音声「か」に続く音声「き」が音声蓄積手段５１に蓄積される。

マイクロホン１１から、マイクロホン１２よりも優先してマスターコントロール部３０に向かって発言データが再送信されると、図６に示すように、マスターコントロール部３０からマイクロホン１１に向けて発言許可信号６７が送信され、マイクロホン１１は音声蓄積手段５１に蓄積されている音声信号をマスターコントロール部３０に送信する。この間も発言者２１が発言を続けることにより、音声蓄積手段５１には例えば音声信号「あいう」が蓄積され、この音声信号が読み出されてマスターコントロール部３０に送信される。マスターコントロール部３０は上記音声信号に従ってスピーカ４０を駆動し、スピーカ４０から上記音声「あいう」が出力される。

マイクロホン１１から発言データが再送信された後、図７について説明したようなタイミングのずれをもって他方のマイクロホン１２から発言データ６８が再送信される。このタイミングでは複数の発言データがぶつかることはないから、マスターコントロール部３０からマイクロホン１２に向けて発言許可信号が送信され、マイクロホン１２は音声蓄積手段５２に蓄積されている音声信号をマスターコントロール部３０に送信する。この間も発言者２２が発言を続けることにより、音声蓄積手段５２には例えば音声信号「かきく」が蓄積され、この音声信号が読み出されてマスターコントロール部３０に送信される。マスターコントロール部３０は上記音声信号に従ってスピーカ４０を駆動し、スピーカ４０から上記音声「かきく」が出力される。

以上説明した実施例によれば、マスターコントロール部３０が、複数のマイクロホンから同時に発言データが送信されてくることによって、特定のマイクロホンに発言許可信号を出力することができなくても、マイクロホン相互間で時間的にずらして発言データを再送信するため、マスターコントロール部３０は再送信された発言データを認識することができ、発言データを認識した特定のマイクロホンに向けて発言許可信号を出力し、発言が許可されたマイクロホンからの音声信号をマスターコントロール部３０が受信してその音声をスピーカ４０から出力することができる。このようにして、たまたま複数のマイクロホンから同時に発言データが送信されとしても、音声の頭切れや途切れのない、聞き取りやすい音声会議装置を得ることができる。

複数のマイクロホンから同時に発言データが送信されて、マスターコントロール部３０から発信許可信号の送信がない場合に、発言データ再送信の優先順位をどのように設定するかは任意で、図７に示すように各マイクロホンに与えた識別番号順に設定しても良いし、例えば、乱数表にしたがってランダムな順位に設定しても良い。
図示の実施例では、各マイクロホンとマスターコントロール部との間で信号を授受する通信手段として、無線による通信手段、より具体的に言えば赤外線送受信装置が設けられている。この通信手段の通信方式は任意で、有線方式でも差し支えなく、無線方式の場合も、赤外線方式に限らず、電波方式でも差し支えない。

本発明にかかる音声会議装置の実施例をその動作例とともに概略的に示すブロック図である。 上記実施例の図１に示す動作に続く動作例を示すブロック図である。 上記実施例の図２に示す動作に続く動作例を示すブロック図である。 上記実施例の図３に示す動作に続く動作例を示すブロック図である。 上記実施例の図４に示す動作に続く動作例を示すブロック図である。 上記実施例の図５に示す動作に続く動作例を示すブロック図である。 本発明に使用することができる、マイクロホン相互間での発言データ再送信タイミングをずらした例をイメージ化して示すモデル図である。 従来の音声会議装置の例をその動作例とともに概略的に示すブロック図である。 上記従来例の図８に示す動作に続く動作例を示すブロック図である。 上記従来例の図９に示す動作に続く動作例を示すブロック図である。 上記従来例の図１０に示す動作に続く動作例を示すブロック図である。

符号の説明

１１ マイクロホン
１２ マイクロホン
２１ 発言者
２２ 発言者
３０ マスターコントロール部
３１ 赤外線送受信装置
４０ スピーカ
５１ 音声蓄積手段
５２ 音声蓄積手段

Claims (5)

1. 発言者の発言を音声信号に変換する複数のマイクロホンと、
   各マイクロホンに備えられている音声蓄積手段と、
   各マイクロホンから送られてくる音声信号を受信し拡声してスピーカから出力させるマスターコントロール部と、を有してなり、
   上記各マイクロホンは、音声を捉えることにより音声信号に変換してこの音声信号を上記音声蓄積手段に蓄積するとともにマイクロホンを識別するための固有の発言データをマスターコントロール部に送信するように構成され、
   上記マスターコントロール部は、音声信号を送信してきたマイクロホンに対して発言許可信号を送信するように構成され、
   上記各マイクロホンはまた、マスターコントロール部から発言許可信号が送信されることによって音声蓄積手段に蓄積された音声信号をマスターコントロール部に送信するとともに、発言データを送信した後マスターコントロール部から発言許可信号が送信されない場合に発言データを再送信するように構成され、発言データの再送信のタイミングがマイクロホン相互間でずれていることを特徴とする音声会議装置。
2. 各マイクロホンとマスターコントロール部との間で信号を授受する無線による通信手段が設けられている請求項１記載の音声会議装置。
3. 各マイクロホン相互間の発言データの再送信タイミングずれは、スピーカから出力される音声のタイムラグに違和感のない程度の短いタイミングずれである請求項１記載の音声会議装置。
4. 各マイクロホンはマイクロコンピュータを備えていて、このマイクロコンピュータが、音声信号および発言データの送信部、発言許可信号の受信部、発言データの再送信部、音声蓄積手段として機能する請求項１記載の音声会議装置。
5. 無線による通信手段は赤外線送受信装置である請求項２記載の音声会議装置。
   

Images