JP4501037B2

JP4501037B2 - 通信制御システムと通信装置および通信方法

Info

Publication number: JP4501037B2
Application number: JP03506298A
Authority: JP
Inventors: 淳一石橋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-02-17
Filing date: 1998-02-17
Publication date: 2010-07-14
Anticipated expiration: 2018-02-17
Also published as: JPH11234640A

Description

【０００１】
【発明の属する技術分野】
この発明は、複数の場所を結んで相互通信を行うようにした通信制御システムと通信装置および通信方法に関する。詳しくは、複数の場所を結んで相互通信を行う場合に、話者の目線上に撮影手段を設置して話者の映像を捉えることによって、対話の違和感をなくすと共に、複数の対話者のうち、どの対話者と会話中にあるかを特定し、特定から洩れた対話者の音声を絞り込むことによって、話中にある対話者の音声判読を容易に行えるようにしたものである。
【０００２】
【従来の技術】
テレビ会議などでは２つのスタジオだけでなく、それ以上のスタジオを結んで相互通信（多元スタジオ通信）を行う場合が考えられる。図１２はこのような場合を想定したＴＶ会議システム１０の一例を示す要部の系統図である。
【０００３】
同図においては、Ａスタジオに対して３つのスタジオＢ、Ｃ、Ｄを結んで多元通信を行うＴＶ会議システムを示す。ここに、スタジオを区別するため、便宜的にＡスタジオを話者を被写体としたスタジオＹとし、Ｂ〜Ｄスタジオを対話者を被写体とするスタジオＸとする。
【０００４】
Ａスタジオには１台のビデオカメラ１４が設置され、話者（被写体１２）が撮像されて映像信号Ｓａが得られる。またＡスタジオ内に設置されたマイク１６で集音されて音声信号Ａａが得られる。これら映像信号Ｓａと音声信号ＡａがそれぞれＴＶ会議を行うべきＢスタジオ〜Ｄスタジオに送信される。
【０００５】
Ｂスタジオ〜Ｄスタジオで撮像した対話者の映像信号Ｓｂ〜Ｓｄおよび集音した音声信号Ａｂ〜Ａｄはそれぞれ同一若しくは別々の伝送路を経由してＡスタジオに送られる。受信した映像信号Ｓｂ〜Ｓｄおよび音声信号Ａｂ〜Ａｄは受信装置１８で分離され、受信装置１８に内蔵された画像表示装置に映像信号Ｓｂ〜Ｓｄが供給されてスクリーン２０に投影、表示される。図示のように３つのスタジオＸを結んだＴＶ会議の場合には、図１３に示すようにスクリーン２０にはそれぞれの対話者が３分割されて同時表示される。また音声信号Ａｂ〜Ａｄはスピーカ２２に供給される。
【０００６】
Ｂスタジオ〜Ｄスタジオにおいても、内部に設置されたスクリーンに対話者が分割表示されると共に、それぞれの音声信号が出力される。
【０００７】
【発明が解決しようとする課題】
ところで、このような多元ＴＶ会議システムでは次のような問題を惹起する。
第１には、臨場感のあるＴＶ会議システムを構築できないことである。スタジオでは通常１台のビデオカメラ１４で話者を撮像し、その映像信号を全てのスタジオＸに送信するようにしている。そのため、例えばＡスタジオの話者１２がＢスタジオの対話者と対話していても、話者１２の目線（視線）はＢスタジオの対話者の目線と一致しているとは限らない。通常の場合Ａスタジオ内のビデオカメラ１４とスクリーン２０とは同一位置になく、話者１２はスクリーン２０と対峙した状態で会話しているから、ビデオカメラ１４側には話者１２の目線がないからである。そのため、同じ部屋で会議している実感がわかない。つまり、臨場感が薄れ、違和感が残ってしまう。このような場合、話者との目線を合うようにビデオカメラを設置すればよい。
【０００８】
第２に、複数のスタジオＸと結んで会議を行う場合、発言者が多いと、どの対話者が発言者であるか、特定するのが大変な場合がある。通常、１対１で対話するのが普通であるから、同時に多数の人が発言すると混乱してしまう。このようなときには、１対１で対話している話者の音声を強調し、それ以外の発言者の音声を絞り込むことによって、特定の者との対話をスムースに違和感なく遂行できる。
【０００９】
そこで、この発明はこのような従来の課題を解決したものであって、多元ＴＶ会議などを行う場合でも、臨場感を維持しながら、特定話者の会話内容を容易に判読できるようにした通信制御システムと通信装置および通信方法を提案するものである。
【００１０】
【課題を解決するための手段】
本発明の通信制御システムは、複数の通信場所にそれぞれ設けられた通信装置との間で相互通信を行う通信制御システムにおいて、上記通信装置が、他の通信装置の数と同数の通信ユニットと、各通信ユニットで取得された映像信号および音声信号を対応する他の通信装置に送信する送信手段と、各通信ユニットを制御する制御手段と
を備え、上記通信ユニットは、上記通信装置のユーザである話者を上記話者の目線と同一視できる位置から撮像して上記映像信号を生成する撮像手段と、上記話者が発する音声を取得して上記音声信号を生成する音声取得手段と、対応する上記他の通信装置が設けられている通信場所の映像を映し出すスクリーンと、対応する上記他の通信装置が設けられている通信場所の音声を出力する音声出力手段と、上記話者の目線を検知する目線検知手段とを有し、上記制御手段は、各通信ユニットに設けられた上記目線検知手段の検知結果に基づき、上記話者が現在対話している相手に対応する上記通信ユニットを特定し、特定した上記通信ユニットの音声出力手段から出力される音声を、特定した上記通信ユニットとは異なる他の通信ユニットの音声出力手段から出力される音声よりも強調して出力させる。
また、本発明の通信装置は、複数の通信場所にそれぞれ設けられた他の通信装置との間で相互通信を行う通信装置において、他の通信装置の数と同数の通信ユニットと、各通信ユニットで取得された映像信号および音声信号を対応する他の通信装置に送信する送信手段と、各通信ユニットを制御する制御手段とを備え、上記通信ユニットは、上記通信装置のユーザである話者を上記話者の目線と同一視できる位置から撮像して上記映像信号を生成する撮像手段と、上記話者が発する音声を取得して上記音声信号を生成する音声取得手段と、対応する上記他の通信装置が設けられている通信場所の映像を映し出すスクリーンと、対応する上記他の通信装置が設けられている通信場所の音声を出力する音声出力手段と、上記話者の目線を検知する目線検知手段とを有し、上記制御手段は、各通信ユニットに設けられた上記目線検知手段の検知結果に基づき、上記話者が現在対話している相手に対応する上記通信ユニットを特定し、特定した上記通信ユニットの音声出力手段から出力される音声を、特定した上記通信ユニットとは異なる他の通信ユニットの音声出力手段から出力される音声よりも強調して出力させる。
さらに、本発明の通信方法は、複数の通信場所にそれぞれ設けられた他の通信装置の数と同数の通信ユニットと、各通信ユニットで取得された映像信号および音声信号を対応する他の通信装置に送信する送信手段と、各通信ユニットを制御する制御手段とを備え、上記通信ユニットは、上記通信装置のユーザである話者を上記話者の目線と同一視できる位置から撮像して上記映像信号を生成する撮像手段と、上記話者が発する音声を取得して上記音声信号を生成する音声取得手段と、対応する上記他の通信装置が設けられている通信場所の映像を映し出すスクリーンと、対応する上記他の通信装置が設けられている通信場所の音声を出力する音声出力手段と、上記話者の目線を検知する目線検知手段とを有する通信装置の通信方法において、上記制御手段による、各通信ユニットに設けられた上記目線検知手段の検知結果に基づき、上記話者が現在対話している相手に対応する上記通信ユニットを特定し、特定した上記通信ユニットの音声出力手段から出力される音声を、特定した上記通信ユニットとは異なる他の通信ユニットの音声出力手段から出力される音声よりも強調して出力させる。
本発明においては、通信装置の制御手段により、各通信ユニットに設けられた目線検知手段の検知結果に基づき、話者が現在対話している相手に対応する通信ユニットが特定され、特定された通信ユニットの音声出力手段から出力される音声が、特定された通信ユニットとは異なる他の通信ユニットの音声出力手段から出力される音声よりも強調して出力される。
【００１１】
この発明では、多元中継を行う場所Ｘの数だけ場所Ｙ内にスクリーンを設ける。そして、そのスクリーンに対して場所Ｙ内の話者の目線の方向にビデオカメラを設置する。例えば３つのスタジオＢ、Ｃ、ＤとスタジオＡとが結ばれているときには、３つのスクリーンと３台のビデオカメラを設置する。それぞれのスクリーンには対応するスタジオＢ、Ｃ、Ｄからの映像を映し出す。
【００１２】
例えばスタジオＢの話者と会話しているときには、Ａスタジオの話者はＢスタジオ用スクリーンに映し出されたスタジオＢの話者の目線と一致させながら対話することになるので、スタジオＢの話者と１対１で会話している雰囲気を出すことができる。これによって臨場感のあるＴＶ会議システムを構築できる。
【００１３】
Ｂスタジオ用スクリーンに関連したビデオカメラで撮像された映像信号はＢスタジオに送られるので、Ｂスタジオの話者も同じく臨場感溢れるＴＶ会議を体験できる。
【００１４】
そして、このように特定の話者との会話をしているときには、そのほかの話者からの音声を絞ることによって会話内容の認識を確実に行うことができる。
【００１５】
【発明の実施の形態】
続いて、この発明に係る通信制御システムを上述した多元ＴＶ会議システムに適用した場合につき、その一実施形態を図面を参照して詳細に説明する。説明の都合上４つのスタジオとの間で多元ＴＶ会議を行う場合を説明する。
【００１６】
この場合、Ａスタジオには図１に示すような通信制御システム３０が設けられる。Ａスタジオには３つのスクリーン４１，６１，８１が例えば図２に示すように放射状に配される。そして図２のようにスクリーン４１にはＢスタジオからの映像（対話者Ｂ）が映し出され、スクリーン６１にはＣスタジオからの対話者Ｃの映像が映し出され、そしてスクリーン８１にはＤスタジオからの対話者Ｄの映像が映し出される。
【００１７】
話者Ａがそれぞれのスクリーンと対峙しているとき、その話者Ａの映像が対応するビデオカメラ４６，６６，８６で撮像される。これによって対話者Ｂと会話しているときは対話者Ｂと話者Ａの目線Ｌｂがそれぞれ一致する。同様に、対話者Ｃと会話しているときは対話者Ｃと話者Ａの目線Ｌｃが一致し、また対話者Ｄと会話しているときは対話者Ｄと話者Ａの目線Ｌｄが一致することになる。したがって原則として、話者Ａの目線の延長線上にビデオカメラ４６，６６，８６が設置される（図２参照）。このことから、スクリーン４１，６１，８１としてはハーフミラーや透過型液晶スクリーンなどが好適である。
【００１８】
図１に示す通信制御システム３０において、スタジオＢ〜Ｄに対応してそれぞれＴＶ会議装置４０，６０，８０が設けられる。これらは同一構成であるため、ＴＶ会議装置４０についてのみ説明すると、このＴＶ会議装置４０には上述したスクリーン４１の他に、このスクリーン４１に対話者Ｂの映像を映し出すための画像表示装置４２と、Ｂスタジオ内の音声を出力するスピーカ４５が設けられている。Ｂスタジオからの映像信号Ｓｂおよび音声信号Ａｂは端子４３を介して供給される。
さらに、話者Ａを撮像するビデオカメラ４６と話者Ａの音声を集音するマイク４７が設けられ、ビデオカメラ４６の映像信号Ｓａおよびマイク４７からの音声信号Ａａは端子４４よりＴＶ会議用伝送路に送出される。
【００１９】
なお、３つのＴＶ会議装置４０，６０，８０から得られる３つの映像信号Ｓａ（Ｓａｂ〜Ｓａｄ）のうちの１つを、Ａスタジオから伝送すべき映像信号として利用している。例えば中央のＴＶ会議装置４０から出力された映像信号ＳａｂがＢスタジオ〜Ｄスタジオに向けて送出される。音声信号Ａａ（Ａａｂ〜Ａａｄ）も同様に中央の音声信号Ａａｂが送出される。もちろん、それぞれのＴＶ会議装置４０，６０，８０から得られた映像信号Ｓａｂ〜Ｓａｄおよび音声信号Ａａｂ〜Ａａｄを対応するＢスタジオ〜Ｄスタジオに送るようにしてもよい。
【００２０】
さて、この発明では話者Ａの目線上にビデオカメラを設置するため、スクリーン４１としては図３に示すようなハーフミラー等が使用される。ハーフミラー４１の下部には画像表示装置４２が位置し、画像表示装置４２からの映像がこのハーフミラー４１に映し出されるように構成されている。そして、ハーフミラー４１の背面側であって、話者Ａと対向する目線の延長線上の位置にはビデオカメラ４６が設置される。
【００２１】
これによって話者Ａがハーフミラー４１と対峙しているときはハーフミラー４１に映し出された対話者Ｂの目線が話者Ａと一致するから、話者Ａはあたかも同じ部屋で対話者Ｂと向き合いながら会話しているのと同じ雰囲気を作り出すことができる。そして、この話者Ａの映像はビデオカメラ４６で撮像され、Ｂスタジオに送られるから、Ｂスタジオの対話者Ｂもまた話者Ａとその目線が合った状態で会話を遂行できる。以上のような処理によって多元ＴＶ会議システムであっても臨場感溢れるシステムを構築できる。
【００２２】
この発明ではさらに、話者Ａが会話中の対話者を特定し、特定の対話者の音声を強調し、それ以外の対話者の音声を絞り込むことによって、対話者の音声を明瞭に把握できるようにする構成が採用されている。
【００２３】
話者Ａがどのスタジオの対話者と会話をしているかを特定するため、この発明では目線検知手段がそれぞれのＴＶ会議装置４０，６０，８０に設けられる。図３を参照して説明すると、この例では目線検知手段として赤外光線を発光する赤外光源４９がビデオカメラ４６の光学系の周りを挟むように配される。
【００２４】
図４の例では赤外光源４９として発光ダイオード（ＬＥＤ）などが使用され、トータル８個の赤外光源４９ａ〜４９ｈが光学系４８の周りに等間隔で配され、これらより赤外光線が話者Ａに向けて照射される。赤外光源４９の発光パワーが大きいときは使用する個数を減らすことができる。
【００２５】
目の瞳孔の奥には網膜があり、瞳孔から入射した光は網膜で反射する。このとき入射光と同じ方向からビデオカメラ４６で話者Ａを撮像しているので、話者Ａがハーフミラー４１と対峙しているときには瞳孔が明るく撮像されることはよく知られている。目線検知手段ではこの原理を応用したもので、映像信号Ｓａｂ中より瞳孔の明るさを検知し、瞳孔の存在が確認されたときには話者Ａがビデオカメラ４６と対峙し、対話者Ｂと会話していると判断する。
【００２６】
したがって、赤外光源４９はできるだけビデオカメラ４６のカメラ光軸に近い方が検知精度が向上することから、図４のように光学系４８の周りに赤外光源４９を取り付けたものである。そして、図５のように赤外光線は間欠的に照射される。図の例では４フレームに１回の割合で１フレームの期間にわたり赤外光線が照射され、赤外光線を照射している期間に撮像された映像信号Ｓａｂは目線検知用の映像信号として使用され、それ以外の期間に撮像された映像信号Ｓａｂが通常の映像信号として使用される。
【００２７】
目線が検知されたＴＶ会議装置４０では、これに内蔵されたスピーカ４５に加えるＢスタジオからの音声信号Ａｂの音量の調整が行われる。そのため、図１に示すようにこの通信制御システム３０には中央制御装置１００が設けられ、ＴＶ会議装置４０からの映像信号Ｓｂが供給され、話者Ａの目線がハーフミラー４１を向いているのかの検知が行われる。目線検知結果は再びＴＶ会議装置４０側に戻されて、対応するスピーカ４５の音量が調整される。つまり目線が検知されたときにはその音量を大きくし、目線が検知されないときはその音量を絞り込むような調整が中央制御装置１００からの指令によって行われる。
【００２８】
まず、ＴＶ会議装置４０から図６を参照して説明する。ビデオカメラ４６で撮像された映像信号はアンプなどで構成された入力装置５０を介してＡ／Ｄ変換器５１に供給されてディジタル信号に変換される。ディジタル信号は後述する信号処理回路７７を介して符号化回路５２に供給されてコーディック処理が行われる。
【００２９】
また、マイク４７で集音された音声信号はアンプなどで構成された入力装置５４を介してＡ／Ｄ変換器５５に供給されてディジタル信号に変換される。ディジタル信号は符号化回路５６で符号化される。符号化された映像信号Ｓａ（Ｓａｂ）および音声信号Ａａ（Ａａｂ）は送受信装置５３に供給され、伝送に適した形態に変換されたのち端子４４を経て伝送路に送出される。
【００３０】
一方、端子４３を介して供給されたＢスタジオに関する映像信号Ｓｂおよび音声信号Ａｂは送受信装置５３で分離され、その後映像信号ＳｂはＤ／Ａ変換器７１でアナログ信号に戻され、このアナログ映像信号が画像表示装置４２に供給されることによってスクリーンとして機能するハーフミラー４１にＢスタジオの映像が表示される。同様に、受信された音声信号ＡｂはＤ／Ａ変換器７３においてアナログ化され、このアナログ音声信号がアンプ７４を経てスピーカ４５に供給される。アンプ７４のゲインを調整することで音量調整が行われる。音量調整信号ＳＣｂは中央制御装置１００から供給される。
【００３１】
このＴＶ会議装置４０にはさらに赤外光源４９に対する点灯パターン発生回路７５が設けられ、ここで図５に示すような点灯パターン信号が生成され、これがドライバ７６を介して赤外光源４９に供給される。この点灯パターン信号に基づいて赤外光源４９が駆動される。
【００３２】
点灯パターン信号は映像信号系に設けられた信号処理回路７７に供給され、点灯パターン信号が得られている期間は例えば映像信号Ｓａ（Ｓａｂ）として送信しないように制御される。その代わり、この期間中に得られる映像信号は目線検知信号として中央制御装置１００に供給される。
【００３３】
なお、Ａスタジオで撮像した話者Ａの姿は、このＡスタジオ内に設けられたハーフミラー４１に対話者Ｂと一緒に映し出すこともできる。これは話者Ａ自身がどのような姿で写されているかの確認を込めた意味もある。そのため、ディジタル化された映像信号の一部が加算器７８に供給されて受信したＢスタジオの映像信号Ｓｂと混合される。その出力はスイッチ７９を介して画像表示装置４２に供給される。
【００３４】
加算器７８およびスイッチ７９の代わりに、ビデオミキサー（ビデオスイッチャー、図示はしない）を用意し、このビデオミキサを話者Ａがコントロールするようにしてもよい。
【００３５】
映像混合の一例を図８、図９、図１０および図１１に示す。図８は右下の一部にＡスタジオの映像をはめ込んだ場合であり、図９はそのはめ込み映像を拡大できるようにした例である。図１０は上下に２分割して映し出した場合であり、図１１は左右に２分割して映し出した場合である。はめ込み処理を行うかどうか、つまりスイッチ７９に対する制御やはめ込み映像のサイズ変更などは、何れもＴＶ会議装置４０内に設けられたマイコン（図示はしない）に与える話者Ａからの指令に基づいて行われることになる。
【００３６】
他のＴＶ会議装置６０，８０も同じように構成されているので、対応する箇所には対応する符号を付して示す。
【００３７】
さて、上述した中央制御装置１００では目線検知用の映像信号に基づいて目線が存在するかどうかの検知処理が行われる。この検知処理はソフトウエアによって行うもので、この目線検知は３つのＴＶ会議装置４０，６０，８０からの映像信号Ｓａｂ〜Ｓａｄを利用して行われる。
【００３８】
図７はその一例を示すもので、目線検知から最終的に音量を調整するまでのフローチャートの一例である。まず、各目線検知用の映像信号Ｓａｂ〜Ｓａｄを利用して瞳孔と思われる領域が２つあるかどうかを判断する（ステップ１１０〜１１２）。顔面の領域内での輝度レベルに基づいて瞳孔と思われる領域の有無を判断する。それぞれにおいて瞳孔が２つあると判断されたときは、検出された瞳孔の重心間距離を算出する（ステップ１１３）。そして、そのうちの最も距離の長い瞳孔領域である映像信号がスクリーン４１，６１，８１に対して正対しているときの映像信号つまり正面画像であると判断する。
【００３９】
例えば、図２において話者Ａがスクリーン４１と正対しているときは、映像信号Ｓａｂでの瞳孔重心間距離が最も大きな値となる。これは他のスクリーン６１，８１に対しては話者Ａが横向きとなっているから、そのときの瞳孔重心間距離は正対時よりも短くなるからである。
【００４０】
このようにして正対しているＴＶ会議装置（端末）を特定する。特定されたＴＶ会議装置に対しては音量を上げ、正対していないＴＶ会議装置に対しては音量を下げるような音量調整信号ＳＣｂ〜ＳＣｄが生成される（ステップ１１４）。
例えば上述したように話者Ａがスクリーン４１と正対しているときには、ＴＶ会議装置４０に設けられたスピーカ４５からの音量を大きくし、他のＴＶ会議装置６０，８０に設けられたスピーカ６５，８５からの音量は絞られる。これによって、会話中の対話者を特定でき、その内容を明瞭に把握することができる。
【００４１】
人間の特性として同じところを注視し続けることは負担になるため、無意識のうちに人間は目を一瞬対話者からはずしたりするので、このような場合を想定して、点灯パターン信号を複数回継続させたときに得られる瞳孔重心間距離（平均値）から対話者を特定するようにしてもよい。
【００４２】
何れの映像信号Ｓａｂ〜Ｓａｄから瞳孔が１つあるいは全く見つからなかったときには、瞳孔による正面画像の検知をあきらめる。その代わり音圧レベルを参考にして正面画像が検知される。そのため、それぞれのＴＶ会議装置４０，６０，８０から得られる音声信号Ａａｂ〜Ａａｄの音圧レベルがチェックされる（ステップ１１５〜１１７）。一定値以上の音圧レベルであるときには、そのうちの最大の音圧レベルとなる音声信号Ａａｂ〜Ａａｄが検知される（ステップ１１８）。そして、最大音圧レベルが得られたマイクが置かれたスクリーンに対して話者Ａが正対していると考えられるので、そのスクリーンに関連するスピーカの音量が大きくなるように、その他のスクリーンに関連するスピーカの音量が小さくなるように制御される（ステップ１１９）。
【００４３】
例えば上述したように話者Ａがスクリーン４１と正対しているときには、これからの音声信号Ａａｂが最も大きいので、この場合にはＴＶ会議装置４０に設けられたスピーカ４５からの音量を大きくし、他のＴＶ会議装置６０，８０に設けられたスピーカ６５，８５からの音量は絞られる。これによって、特定した対話者の音声内容を明瞭に把握することができる。
【００４４】
音圧レベルが一定値に満たないときには、現状の音量レベルがそのまま維持される（ステップ１２０）。
【００４５】
音圧レベルは音声信号のレベルであって、一定時間に入力された音声信号に対しての絶対値をとり、一定時間内の平均値に基づいて一定値以上か否かが判定されることになる。
【００４６】
上述した例では点灯パターン信号を生成して目線検知信号として用いるときはこれを映像信号としては用いないようにしているが、目線検知信号をスクリーンに映し出す映像信号として用いることもできる。
【００４７】
この場合には瞳孔の部分が明るく撮像されるため不自然な画像となるから、この不自然な瞳孔部分を補正する必要がある。そのため、瞳孔と思われる領域の相関を前後のフレーム間で調べ、最も相関のありそうな部分を前後のフレームで検出し、その平均値で置換することによって、瞳孔の光った部分を自然な画像に変換することができる。
【００４８】
【発明の効果】
以上説明したようにこの発明では対話中の場所Ｘの個数分の映像情報を個別に映し出す複数のスクリーンを設け、このスクリーンに関して設けられた撮影手段は場所Ｙ内の被写体の目線と同一視できる位置から撮像されるようにしたものである。また、目線検知手段からの出力に基づいて被写体が現在対話している相手側を特定し、特定された対話者が居る場所Ｘより送出された音声が、それ以外の場所Ｘより送出された音声よりも強調処理されるように、音声出力手段に供給される音声信号を制御するようにしたものである。
【００４９】
これによれば、例えばＢスタジオの話者と会話しているときには、Ａスタジオの話者はＢスタジオ用スクリーンに映し出されたＢスタジオの話者の目線と一致させながら対話することになるので、Ｂスタジオの話者と１対１で会話している雰囲気を出すことができる。これによって臨場感のあるＴＶ会議システムを構築できる。
【００５０】
Ｂスタジオ用スクリーンに関連したビデオカメラで撮像された映像信号はＢスタジオに送られるので、Ｂスタジオの話者も同じく臨場感溢れるＴＶ会議を体験できる。
【００５１】
そして、このように特定の話者との会話をしているときには、そのほかの話者からの音声を絞ることによって、特定話者の会話内容の判読を容易になるなどの特徴を有する。したがってこの発明は多元ＴＶ会議システムなどに適用して極めて好適である。
【図面の簡単な説明】
【図１】この発明に係る通信制御システムの一実施形態を示す要部の系統図である。
【図２】ＴＶ会議スタジオ（Ａスタジオ）の構成図である。
【図３】ＴＶ会議装置の一実施形態を示す構成図である。
【図４】ビデオカメラと赤外光源との関係を示す図である。
【図５】点灯パターンを示す図である。
【図６】ＴＶ会議装置の一実施形態を示す系統図である。
【図７】音量制御のためのフローチャートを示す図である。
【図８】はめ込み映像の図（その１）である。
【図９】はめ込み映像の図（その２）である。
【図１０】はめ込み映像の図（その３）である。
【図１１】はめ込み映像の図（その４）である。
【図１２】ＴＶ会議システムの構成図である。
【図１３】分割表示例を示す図である。
【符号の説明】
１０・・・ＴＶ会議システム、４０，６０，８０・・・ＴＶ会議装置、４１，６１，８１・・・スクリーン（ハーフミラー）、４２，６２，８２・・・画像表示装置、４５、６５、８５・・・スピーカ、４７，６７，８７・・・マイク、４６，６６，８６・・・ビデオカメラ、１００・・・中央制御装置

Claims

複数の通信場所にそれぞれ設けられた通信装置との間で相互通信を行う通信制御システムにおいて、
上記通信装置は、
他の通信装置の数と同数の通信ユニットと、
各通信ユニットで取得された映像信号および音声信号を対応する他の通信装置に送信する送信手段と、
各通信ユニットを制御する制御手段と
を備え、
上記通信ユニットは、
上記通信装置のユーザである話者を上記話者の目線と同一視できる位置から撮像して上記映像信号を生成する撮像手段と、
上記話者が発する音声を取得して上記音声信号を生成する音声取得手段と、
対応する上記他の通信装置が設けられている通信場所の映像を映し出すスクリーンと、
対応する上記他の通信装置が設けられている通信場所の音声を出力する音声出力手段と、
上記話者の目線を検知する目線検知手段と
を有し、
上記制御手段は、各通信ユニットに設けられた上記目線検知手段の検知結果に基づき、上記話者が現在対話している相手に対応する上記通信ユニットを特定し、
特定した上記通信ユニットの音声出力手段から出力される音声を、特定した上記通信ユニットとは異なる他の通信ユニットの音声出力手段から出力される音声よりも強調して出力させる
通信制御システム。
上記目線検知手段は、上記話者に対して赤外光線を照射し、上記話者の瞳孔からの上記赤外光線の反射光に基づいて上記目線を検知する
請求項１記載の通信制御システム。
上記目線検知手段は、上記話者に対して赤外光線を所定の点灯パターンに従って照射し、上記話者の瞳孔からの上記赤外光線の反射光に基づいて上記目線を検知する
請求項１記載の通信制御システム。
上記目線検知手段は、上記撮像手段に隣接して設けられている
請求項３記載の通信制御システム。
上記送信手段は、上記赤外光線が照射されていないときに得られる上記映像信号を送信する
請求項３記載の通信制御システム。
上記制御手段は、特定した上記通信ユニットの音声出力手段から出力される音声のレベルを高くし、特定した上記通信ユニットとは異なる他の通信ユニットの音声出力手段から出力される音声のレベルを低くして出力させる
請求項１記載の通信制御システム。
上記制御手段は、各通信ユニットに設けられた上記目線検知手段の検知結果に基づいて上記話者が現在対話している相手に対応する上記通信ユニットを特定できなかった場合、各通信ユニットに設けられた音声取得手段によって取得された音声信号のレベルに基づいて、上記話者が現在対話している相手に対応する上記通信ユニットを特定する
請求項１記載の通信制御システム。
上記制御手段は、各通信ユニットに設けられた上記目線検知手段の検知結果に基づいて上記話者が現在対話している相手に対応する上記通信ユニットを特定できなかった場合、各通信ユニットに設けられた音声取得手段によって取得された音声信号のレベルが最も高い通信ユニットを、上記話者が現在対話している相手に対応する上記通信ユニットを特定する
請求項７記載の通信制御システム。
複数の通信場所にそれぞれ設けられた他の通信装置との間で相互通信を行う通信装置において、
他の通信装置の数と同数の通信ユニットと、
各通信ユニットで取得された映像信号および音声信号を対応する他の通信装置に送信する送信手段と、
各通信ユニットを制御する制御手段と
を備え、
上記通信ユニットは、
上記通信装置のユーザである話者を上記話者の目線と同一視できる位置から撮像して上記映像信号を生成する撮像手段と、
上記話者が発する音声を取得して上記音声信号を生成する音声取得手段と、
対応する上記他の通信装置が設けられている通信場所の映像を映し出すスクリーンと、
対応する上記他の通信装置が設けられている通信場所の音声を出力する音声出力手段と、
上記話者の目線を検知する目線検知手段と
を有し、
上記制御手段は、各通信ユニットに設けられた上記目線検知手段の検知結果に基づき、上記話者が現在対話している相手に対応する上記通信ユニットを特定し、
特定した上記通信ユニットの音声出力手段から出力される音声を、特定した上記通信ユニットとは異なる他の通信ユニットの音声出力手段から出力される音声よりも強調して出力させる
通信装置。
複数の通信場所にそれぞれ設けられた他の通信装置の数と同数の通信ユニットと、
各通信ユニットで取得された映像信号および音声信号を対応する他の通信装置に送信する送信手段と、
各通信ユニットを制御する制御手段と
を備え、
上記通信ユニットは、
上記通信装置のユーザである話者を上記話者の目線と同一視できる位置から撮像して上記映像信号を生成する撮像手段と、
上記話者が発する音声を取得して上記音声信号を生成する音声取得手段と、
対応する上記他の通信装置が設けられている通信場所の映像を映し出すスクリーンと、
対応する上記他の通信装置が設けられている通信場所の音声を出力する音声出力手段と、
上記話者の目線を検知する目線検知手段と
を有する通信装置の通信方法において、
上記制御手段による、
各通信ユニットに設けられた上記目線検知手段の検知結果に基づき、上記話者が現在対話している相手に対応する上記通信ユニットを特定し、
特定した上記通信ユニットの音声出力手段から出力される音声を、特定した上記通信ユニットとは異なる他の通信ユニットの音声出力手段から出力される音声よりも強調して出力させる
通信方法。