JPH07162827A

JPH07162827A - 多地点通信方法および通信端末

Info

Publication number: JPH07162827A
Application number: JP5305129A
Authority: JP
Inventors: Itaru Mimura; 到三村; Taizo Kinoshita; 泰三木下; Mitsuru Ubusawa; 満生澤; Katsumi Tada; 勝己多田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1993-12-06
Filing date: 1993-12-06
Publication date: 1995-06-23

Abstract

(57)【要約】【目的】多地点テレビ会議システムにおいて、会話の
当事者（発言者および発言相手）を特定する。【構成】相関性解析回路９は、自テレビ会議サイト３
２で発生した音響信号ａｓと他テレビ会議サイト１，
２，…で発生した音響信号ａ１〜ａ４との相関関係の強
弱に基づいて、自テレビ会議サイト３２の会話相手を特
定する。システム制御装置１０は、特定された会話相手
の映像の表示位置の近くのカメラで撮影した映像信号を
選択する。【効果】会話相手が互いに目線を合せる感じとなり、
臨場感を高められる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、多地点通信方法および
通信端末に関し、さらに詳しくは、会話の当事者（発言
者および発言相手）を特定することが出来る多地点通信
方法および通信端末に関する。

【０００２】

【従来の技術】図１６に、在席型のテレビ会議システム
の従来例を示す。このテレビ会議システムＳ５１は、通
信ネットワーク５６上のＡ地点〜Ｅ地点に参加者Ａ〜Ｅ
のテレビ会議サイト５１〜５５を配置し、それらテレビ
会議サイト５１〜５５の間で音響信号と映像信号とを送
受信する構成である。

【０００３】図１７は、テレビ会議サイト５５の構成図
である（他のテレビ会議サイト５１〜５４も同じ構成で
ある）。このテレビ会議サイト５５には、カメラ６２
と，集音マイクロフォン６９と，画像表示装置６００
と，スピーカ６０，６１とが設置されている。カメラ６
２はテレビ会議サイト５５の参加者Ｅを撮影し、その映
像信号は他のテレビ会議サイト５１〜５４に送信され
る。また、集音マイクロフォン６９は、テレビ会議サイ
ト５５の参加者Ｅの音声を収集し、その音響信号は他の
テレビ会議サイト５１〜５４に送信される。画像表示装
置６００のウィンドウ６４〜６７には、他のテレビ会議
サイト５１〜５４の参加者Ａ〜Ｄの映像がそれぞれ表示
される。また、スピーカ６０，６１からは、他のテレビ
会議サイト５１〜５４の参加者Ａ〜Ｄの音声が合成出力
される。

【０００４】本発明に関連する他の従来技術としては、
発言中の参加者の映像のみを選択的に送信する技術（特
開昭６１−１０３８１号公報）、発言中の参加者の映像
を拡大して表示する技術（特開昭６０−２０３０８６号
公報）およびカメラを発言中の参加者に向ける技術（特
開昭６３−７７２８２号公報）が知られている。

【０００５】

【発明が解決しようとする課題】図１８の（ａ）（ｂ）
は、上記従来のテレビ会議システムＳ５１において、テ
レビ会議サイト５５の参加者Ｅとテレビ会議サイト５１
の参加者Ａとが会話している時のテレビ会議サイト５
５，５１の状態を示している。図１８の（ａ）に示すよ
うに、テレビ会議サイト５５では、画像表示装置６００
の画面の左端のウィンドウ６４に参加者Ａが表示されて
いるので、参加者Ｅはウィンドウ６４の方を向いてい
る。従って、参加者Ｅの視線とカメラ６２の光軸のなす
視線角度θが大きくなる。一方、図１８の（ｂ）に示す
ように、テレビ会議サイト５１では、画像表示装置６０
０の画面の右端のウィンドウ６７に参加者Ｅが表示され
ているので、参加者Ａはウィンドウ６７の方を向いてい
る。従って、参加者Ａの視線とカメラ６２の光軸のなす
視線角度θが大きくなる。このため、参加者Ｅと参加者
Ａは、話かけている相手にそっぽを向かれている感じを
受け、会議場で議論しているような臨場感が得られな
い。このように、上記従来のテレビ会議システムＳ５１
では、会話の当事者（発言者および発言相手）を特定す
る機能がない問題点があり、臨場感を与えることが出来
なかった。

【０００６】また、上記特開昭６１−１０３８１号公
報，特開昭６０−２０３０８６号公報および特開昭６３
−７７２８２号公報の従来技術は、発言者には着目して
いるが、発言相手には着目しておらず、やはり会話の当
事者（発言者および発言相手）を特定する機能を持たな
い問題点があった。

【０００７】そこで、この発明の目的は、会話の当事者
（発言者および発言相手）を特定して臨場感を与えるこ
とが出来る多地点通信方法および通信端末を提供するこ
とにある。

【０００８】

【課題を解決するための手段】第１の観点では、本発明
は、複数の地点の通信端末を通信回線で接続し、それら
通信端末の間で音響信号と映像信号とを送受信する多地
点通信システムにおいて、一つの通信端末での音響信号
の発生状態と他の通信端末での音響信号の発生状態との
相関関係を解析し、その相関関係の解析結果に基づいて
前記一つの通信端末の会話相手を前記他の通信端末の中
から特定することを特徴とする多地点通信方法を提供す
る。

【０００９】第２の観点では、本発明は、上記多地点通
信方法において、前記一つの通信端末に、他の通信端末
から受信した映像を所定の表示位置にそれぞれ表示する
ディスプレイと、前記各表示位置の近くに設置されて当
該通信端末での参加者を撮影する複数のカメラとを備
え、前記特定された会話相手に対応する前記表示位置の
近くのカメラで撮影した映像信号を選択して少なくとも
前記特定された会話相手の通信端末へ送信することを特
徴とする多地点通信方法を提供する。また、第３の観点
では、本発明は、上記多地点通信方法において、前記会
話相手の特定結果に基づいて、映像の表示態様を制御す
ることを特徴とする多地点通信方法を提供する。

【００１０】第４の観点では、本発明は、複数の他の地
点の通信端末と通信回線を介して接続され、それら通信
端末との間で音響信号と映像信号を送受信する通信端末
において、他の地点の通信端末へ送信する音響信号の発
生状態と他の通信端末から受信した音響信号の発生状態
との相関関係を解析する相関関係解析手段と、その相関
関係の解析結果に基づいて会話相手の通信端末を特定す
る会話相手特定手段とを具備したことを特徴とする通信
端末を提供する。

【００１１】第５の観点では、本発明は、上記通信端末
において、他の通信端末から受信した映像を所定の表示
位置にそれぞれ表示するディスプレイと、前記各表示位
置の近くに設置されて当該通信端末での参加者を撮影す
る複数のカメラと、前記特定された会話相手に対応する
前記表示位置の近くのカメラで撮影した映像信号を選択
する映像信号選択手段とを具備したことを特徴とする通
信端末を提供する。

【００１２】第６の観点では、本発明は、上記通信端末
において、前記会話相手の特定結果に基づいて、映像の
表示態様を制御する映像制御手段を具備したことを特徴
とする通信端末を提供する。

【００１３】第７の観点では、本発明は、上記通信端末
において、前記会話相手の特定結果を他の通信端末へ通
信回線を介して送信する会話相手特定結果送信手段を具
備したことを特徴とする通信端末を提供する。

【００１４】第８の観点では、本発明は、上記第７の観
点による通信端末を含む複数の通信端末と通信回線を介
して接続され、それら通信端末から音響信号と映像信号
を受信する通信端末であって、前記会話相手の特定結果
を通信回線を介して受信する会話相手特定結果受信手段
と、その受信した特定結果に基づいて映像信号の復号化
の内容を制御する映像信号復号化制御手段を具備したこ
とを特徴とする通信端末を提供する。

【００１５】第９の観点では、本発明は、上記通信端末
において、前記会話相手の特定結果に基づいて映像信号
の符号化の内容を制御する映像信号符号化制御手段を具
備したことを特徴とする通信端末を提供する。

【００１６】

【作用】上記第１の観点による多地点通信方法および上
記第４の観点による通信端末では、一つの通信端末での
音響信号の発生状態と他の通信端末での音響信号の発生
状態との相関関係を解析する。会話は若干の遅延時間を
おいた呼応であるから、会話の当事者の間の音響信号の
発生状態は、相関関係が強い。一方、会話の当事者でな
い参加者の間の音響信号の発生状態は、相関関係が弱
い。従って、相関関係の解析結果から、会話の当事者
（発言者および発言相手）を特定できる。

【００１７】上記第２の観点による多地点通信方法およ
び上記第５の観点による通信端末では、特定された会話
相手の映像の表示位置の近くのカメラで撮影した映像信
号を選択する。会話するときは会話相手の映像を見るか
ら、その近くのカメラで撮影すると、映像の目線が正面
向きになる。従って、会話相手が互いに目線を合せる感
じとなり、臨場感を高められる。

【００１８】上記第３の観点による多地点通信方法およ
び上記第６の観点による通信端末では、会話の当事者と
それ以外の参加者の映像の表示態様に変化を付けるか
ら、臨場感を高められる。

【００１９】上記第７の観点による通信端末では、会話
相手の特定結果を他の通信端末へ通信回線を介して送信
するから、会話の当事者でない通信端末でも、誰が会話
の当事者かを知ることが出来る。上記第８の観点による
通信端末では、会話相手の特定結果を通信回線を介して
受信し、その受信した特定結果に基づいて映像信号の復
号化の内容を制御するから、会話の当事者でない通信端
末でも、会話の当事者とそれ以外の参加者の映像の表示
態様に変化を付けることが出来て、臨場感を高められ
る。上記第９の観点による通信端末では、会話相手の特
定結果に基づいて映像信号の符号化の内容を制御するか
ら、会話の当事者とそれ以外の参加者の映像の表示態様
に変化を付けることが出来て、臨場感を高められる。

【００２０】

【実施例】以下、図に示す実施例により本発明をさらに
詳しく説明する。なお、これにより本発明が限定される
ものではない。

【００２１】−第１実施例− 第１実施例は、各テレビ会議サイトにおいて自分の会話
相手を特定し、その会話相手との視線を一致させるよう
にカメラを切り換え、且つ、音場を移動する機能を持つ
テレビ会議システムである。

【００２２】図１は、本発明の第１実施例のテレビ会議
システムの全体構成図である。このテレビ会議システム
Ｓ１は、通信ネットワーク３上の多地点に個人在席型の
テレビ会議サイト１，２，…，３２を配置し、それらテ
レビ会議サイト１〜３２の間で音響信号ａと映像信号ｖ
とを送受信する構成である。テレビ会議サイト１，２，
…，３２は同じ構成であるので、テレビ会議サイト３２
の構成のみを詳細に示してある。

【００２３】テレビ会議サイト３２は、回線インタフェ
ース４と、ＡＶ分離回路５，６，７，８と、相関性解析
回路９と、システム制御装置１０と、音響信号処理回路
１１と、映像表示制御回路１２と、集音マイクロフォン
１３と、撮像装置１４と、音場再生装置１５と、映像表
示装置１６とを具備している。

【００２４】回線インタフェース４は、集音マイクロフ
ォン１３で収集した音響信号ａｓおよび撮像装置１４で
撮影した映像信号ｖｓを復号してＡＶ信号を生成し、そ
のＡＶ信号を通信ネットワーク３へ送信する。また、自
テレビ会議サイト３２に向けられた他テレビ会議サイト
１，２，…からのＡＶ信号を通信ネットワーク３から受
信し、テレビ会議サイト１，２，…ごとに分離し、対応
するＡＶ分離回路５，６，…へ出力する。ＡＶ分離回路
５は、テレビ会議サイト１のＡＶ信号から音響信号ａ１
と映像信号ｖ１を分離し、音響信号ａ１を相関性解析回
路９および音響信号処理回路１１へ出力し、映像信号ｖ
１を映像表示制御回路１２へ出力する。他のＡＶ分離回
路６〜８も同様である。

【００２５】相関性解析回路９は、自テレビ会議サイト
３２で発生した音響信号ａｓと他テレビ会議サイト１，
２，…の音響信号ａ１〜ａ４との相関関係を解析し、相
関関係の最も強い他テレビ会議サイトを会話相手と特定
し、会話相手特定信号Ｒをシステム制御装置１０へ出力
する。システム制御装置１０は、会話相手特定信号Ｒに
応じて、音響制御信号ＣＡを音響信号処理回路１１へ出
力し、映像表示制御信号ＣＶを映像表示制御回路１２へ
出力し、撮像制御信号ＣＣを撮像装置１４へ出力する。

【００２６】音響信号処理回路１１は、音響信号ａ１〜
ａ４を処理して、音響再生信号Ｓｏを音場再生装置１５
へ出力する。映像表示制御回路１２は、映像信号ｖ１〜
ｖ４を合成して、表示信号Ｖｉを映像表示装置１６へ出
力する。図２に示すように、撮像装置１４は、映像表示
装置１６の上部に並べて配置されたテレビカメラ８０〜
８３と，それらテレビカメラ８０〜８３の中の１台の映
像信号を選択して出力する選択スイッチ９４とから構成
されている。

【００２７】図３に示すように、音場再生装置１５は、
音響再生信号Ｓｏに基づき、映像表示装置１６の上部お
よび下部に並べて配置されたスピーカ１０１〜１０６で
音響を再生する。図４に示すように、映像表示装置１６
は、表示信号Ｖｉに基づき、ウィンドウ６４〜６７に、
他テレビ会議サイト１，２，…の参加者Ａ〜Ｄの映像を
それぞれ表示する。

【００２８】図５は、相関性解析回路９の内部構成図で
ある。この相関性解析回路９は、他テレビ会議サイト
１，２，…の音響信号ａ１〜ａ４および自テレビ会議サ
イト３２の音響信号ａｓを音の平均的パワー信号ｐ１〜
ｐ４およびｐｓに変換する発話モニタ１７〜２０および
２６と，平均的パワー信号ｐ１〜ｐ４のそれぞれと平均
的パワー信号ｐｓの相関関係の強弱を検出して相関性評
価信号Ｑ１〜Ｑ４を出力する相関性検出回路２１〜２４
と，他テレビ会議サイト１，２，…の中から最も強い相
関関係を有する他テレビ会議サイトを選び出して会話相
手特定信号Ｒを出力する比較回路２５とから構成されて
いる。

【００２９】図６は、発話モニタ２６のブロック図であ
る。なお、発話モニタ１７〜２０は、発話モニタ２６と
同じ構成である。この発話モニタ２６は、音響信号ａｓ
を２乗する２乗回路２７と，２乗後の信号を積分する積
分回路２８と，積分後の信号を発音継続時間で除算して
音の平均的パワーに変換する平均回路２９と，発話の区
切りの先頭のタイミングに合せて音の平均的パワー信号
ｐｓを出力する同期出力回路３０と，例えば言い切り語
「…です」「…である」などの出現を監視することで発
話の区切りのタイミングを検出する発話区切り検出回路
３１とから構成されている。この発話区切り検出回路３
１は、発話の区切り間の無音時間が所定時間以上続くと
前記積分回路２８をリセットし、また、発音継続時間を
カウントして前記平均回路２９に与え、また、発話の区
切りの先頭のタイミングを前記同期出力回路３０に与え
る。図７に、音響信号ａｓと音の平均的パワー信号ｐｓ
の波形例を示す。

【００３０】図８は、相関検出回路２１のブロック図で
ある。なお、相関検出回路２２〜２４は、相関検出回路
２１と同じ構成である。この相関検出回路２１は、比較
回路４０，４８と、メモリ４１，４７と、差分回路４４
と、アドレス発生回路４５と、アドレスシフト回路４６
と、絶対値回路３５と、積分回路３６と、メモリ４２
と、極小値検出回路４３と、総合評価回路１５０とから
構成されている。

【００３１】比較回路４０は、音の平均的パワー信号ｐ
１（図８の(ｂ)）の値を所定の参照値と比較し、ｐ１＞
参照値ならば、有意な信号と判定して、音の平均的パワ
ー信号ｐ１の値をメモリ４１に書き込む。ｐ１≦参照値
ならば、有意でない信号と判定して、データ値“０”を
メモリ４１に書き込む。同様に、比較回路４８は、音の
平均的パワー信号ｐｓ（図８の(ｂ)）の値を所定の参照
値と比較し、ｐｓ＞参照値ならば、有意な信号と判定し
て、音の平均的パワー信号ｐｓの値をメモリ４７に書き
込む。ｐｓ≦参照値ならば、雑音であると判定して、デ
ータ値“０”をメモリ４７に書き込む。

【００３２】アドレス発生回路４５は、メモリ４１の書
込アドレスＷＡ１と基準読出アドレスＲＡ１’とを発生
し、アドレスシフト回路４６に与える。また、メモリ４
７の書込アドレスＷＡ２と読出アドレスＲＡ２とを発生
し、メモリ４７に与える。さらに、メモリ４２の書込ア
ドレスＷＡ３と読出アドレスＲＡ３とを発生し、メモリ
４２および極小値検出回路４３に与える。アドレスシフ
ト回路４６は、前記書込アドレスＷＡ１をメモリ４１に
与える。また、前記基準読出アドレスＲＡ１’に対応し
た時刻よりシフト時間Δｔだけ遅い時刻のデータを読み
出すように、前記基準読出アドレスＲＡ１’から実際の
読出アドレスＲＡ１を生成し、メモリ４１に与える。

【００３３】差分回路４４は、メモリ４１から読み出さ
れた音の平均的パワー信号Ｐ１の値と、メモリ４７から
読み出された音の平均的パワー信号Ｐｓの値の差分をと
り、差分値Ｍを絶対値回路３５へ出力する。絶対値回路
３５は、差分値Ｍの絶対値をとり、絶対値｜Ｍ｜を積分
回路３６へ出力する。積分回路３６は、絶対値｜Ｍ｜を
積分し、その積分値ＩＭをメモリ４２に書き込む。極小
値検出回路４３は、メモリ４１から読み出された積分値
ＩＭの極小値があれば、その極小値ｍａを検出する。ま
た、読出アドレスＲＡ３を用いて、極小値ｍａとなるま
での遅延時間τを検出する。

【００３４】例えば、図９の（ａ）に示すような音の平
均的パワー信号ｐｓのパワー値Ｈ１があり、図９の
（ｂ）に示すような音の平均的パワー信号ｐ１のパワー
値Ｈａがあるとき、シフト時間Δｔを変化させると、図
９の（ｃ）に示すような積分値ＩＭの変化曲線Ｌが得ら
れる。このとき、極小値ｍａおよび遅延時間τが検出さ
れる。

【００３５】総合評価回路１５０は、音の平均的パワー
信号ｐ１とｐｓとの相関性の強弱を前記極小値ｍａおよ
び遅延時間τに基づいて総合的に評価し、相関性評価信
号Ｑ１を出力する。具体的には、極小値ｍａが小さく，
極小値ｍａの検出頻度が高く，遅延時間τのバラツキが
小さいほど、相関性が強いものと評価する。

【００３６】図１０に、音響信号と、音の平均的パワー
信号と、相関性の強弱の評価例を示す。この場合、相関
性解析回路９の比較回路２５（図５）は、相関性評価信
号Ｑ１，Ｑ２，Ｑ３，Ｑ４の中で相関性評価信号Ｑ１が
最も相関性が強いから、これに対応する他テレビ会議サ
イト１が会話相手であると特定し、会話相手特定信号Ｒ
を出力する。図１１の（ａ）に示すように、システム制
御装置１０（図１）は、前記会話相手特定信号Ｒにより
他テレビ会議サイト１が会話相手であると特定される
と、映像表示装置１６の画面上に表示したウィンドウ６
４〜６７の中で他テレビ会議サイト１に対応するウィン
ドウ６４に最も近い位置にあるテレビカメラ８０の映像
信号を選択するように撮像制御信号ＣＣを入力する。こ
の結果、撮像装置１４からテレビカメラ８０の映像信号
が出力される。テレビ会議サイト３２では、参加者Ｅ
は、会話相手である参加者Ａが表示されているウィンド
ウ６４の方を向いている。従って、参加者Ｅの視線とカ
メラ８０の光軸のなす視線角度θが最も小さくなる。一
方、テレビ会議サイト１では、上記と同様にして、自テ
レビ会議サイト１の会話相手が他テレビ会議サイト３２
であると特定する。そこで、図１１の（ｂ）に示すよう
に、テレビカメラ８３の映像信号が選択され、出力され
る。テレビ会議サイト１では、参加者Ａは、会話相手で
ある参加者Ｅが表示されているウィンドウ６７の方を向
いている。従って、参加者Ａの視線とカメラ８３の光軸
のなす視線角度θが最も小さくなる。このため、参加者
Ｅと参加者Ａは、話かけている相手が自分の方を向いて
いる感じを受け、会議場で議論しているような臨場感を
得られる。

【００３７】また、図１２に示すように、テレビ会議サ
イト３２では、システム制御装置１０（図１）は、会話
相手である参加者Ａが表示されているウィンドウ６４の
中央部ＳＰに音場を定位させるように、音響信号処理回
路１１に音響制御信号ＣＡを入力する。なお、音場を定
位させるには、スピーカ１０１〜１０６による再生音の
チャンネル間のバランス，位相，遅延を制御したり、畳
み込み演算を施せばよい。一方、テレビ会議サイト１で
も、上記と同様にして、会話相手である参加者Ｅが表示
されているウィンドウ６７の中央部に音場を定位させ
る。

【００３８】以上の第１実施例によれば、各テレビ会議
サイトにおいて自分の会話相手を特定し、その会話相手
との視線を一致させるようにカメラを切り換え、且つ、
音場を移動するので、向い合って議論しているような臨
場感を得ることが出来る。

【００３９】−第２実施例− 第２実施例は、会議における発言者および発言相手を特
定し、その両者の映像を高解像度に表示し、他の参加者
の映像は低解像度に表示する機能を持つテレビ会議シス
テムである。

【００４０】図１３は、本発明の第２実施例のテレビ会
議システムＳ２１の全体構成図である。このテレビ会議
システムＳ２１は、通信ネットワーク３上の多地点に個
人在席型のテレビ会議サイト１’，２’，…，３２’を
配置し、それらテレビ会議サイト１’〜３２’の間で音
響信号ａと映像信号ｖと会話相手特定信号Ｒとを送受信
する構成である。テレビ会議サイト１’，２’，…，３
２’は同じ構成であるので、テレビ会議サイト３２’の
構成のみを詳細に示してある。

【００４１】テレビ会議サイト３２’は、回線インタフ
ェース４’と、ＡＶ分離回路５’〜８’と、相関性解析
回路９と、システム制御装置１０’と、音響信号処理回
路１１’と、映像表示制御回路１２’と、集音マイクロ
フォン１３と、撮像装置１４と、音場再生装置１５と、
映像表示装置１６とを具備している。このうち、相関性
解析回路９と、集音マイクロフォン１３と、撮像装置１
４と、音場再生装置１５と、映像表示装置１６とは、第
１実施例と同じ構成要素である。

【００４２】回線インタフェース４’は、集音マイクロ
フォン１３で収集した音響信号ａｓと撮像装置１４で撮
影した映像信号ｖｓと自テレビ会議サイト３２’で生成
した会話相手特定信号Ｒｓとを復号してＡＶＲ信号を生
成し、そのＡＶＲ信号を通信ネットワーク３へ送信す
る。また、自テレビ会議サイト３２’に向けられた他テ
レビ会議サイト１’，２’，…からのＡＶＲ信号を通信
ネットワーク３から受信し、テレビ会議サイト１’，
２’，…ごとに分離し、対応するＡＶ分離回路５’，
６’，…へ出力する。ＡＶ分離回路５’は、テレビ会議
サイト１’のＡＶＲ信号から音響信号ａ１と映像信号ｖ
１と会話相手特定信号Ｒ１を分離し、音響信号ａ１を相
関性解析回路９および音響信号処理回路１１’へ出力
し、映像信号ｖ１を映像表示制御回路１２’へ出力し、
さらに会話相手特定信号Ｒ１をシステム制御装置１０’
へ出力する。他のＡＶ分離回路６’〜８’も同様であ
る。

【００４３】相関性解析回路９は、自テレビ会議サイト
３２’で発生した音響信号ａｓと他テレビ会議サイト
１’，２’，…の音響信号ａ１〜ａ４との相関関係を解
析し、相関関係の最も強い他テレビ会議サイトを会話相
手と特定し、会話相手特定信号Ｒをシステム制御装置１
０’および回線インタフェース４’へ出力する。音響信
号処理回路１１’は、音響信号ａ１〜ａ４を解析して他
テレビ会議サイト１’，２’，…のいずれかが発言中か
否かを判定し、発言中なら、その他テレビ会議サイトを
発言者通知信号ＨＡによりシステム制御装置１０’へ通
知すると共に、その発言者が表示されているウィンドウ
に音場を定位するように音響再生信号Ｓｏを生成して音
場再生装置１５へ出力する。一方、発言中の他テレビ会
議サイトが無いなら、発言中の他テレビ会議サイトが無
い旨を発言者通知信号ＨＡによりシステム制御装置１
０’へ通知すると共に、第１実施例と同様に、システム
制御装置１０’から入力された音響制御信号ＣＡに応じ
た音響再生信号Ｓｏを生成して音場再生装置１５へ出力
する。

【００４４】システム制御装置１０’は、音響信号ａｓ
により自テレビ会議サイト３２’が発言中であると判定
した場合および発言中の他テレビ会議サイトが無い旨を
発言者通知信号ＨＡにより通知された場合は、第１実施
例と同様に、自テレビ会議サイト３２’の発言相手の他
テレビ会議サイトの参加者が表示されているウィンドウ
に最も近いカメラを選択するように撮像制御信号ＣＣを
撮像装置１４へ出力する。一方、自テレビ会議サイト３
２’が発言中でなく且つ発言者通知信号ＨＡにより発言
中の他テレビ会議サイトが通知された場合は、その発言
者が表示されているウィンドウに最も近いカメラを選択
するように撮像制御信号ＣＣを撮像装置１４へ出力す
る。また、システム制御装置１０’は、第１実施例と同
様に、会話相手特定信号Ｒｓに応じて、音響制御信号Ｃ
Ａを音響信号処理回路１１へ出力する。さらに、システ
ム制御装置１０’は、音響信号ａｓにより自テレビ会議
サイト３２’が発言中であると判定した場合および発言
中の他テレビ会議サイトが無い旨を発言者通知信号ＨＡ
により通知された場合は、自テレビ会議サイト３２’の
発言相手の他テレビ会議サイトからの映像信号を高解像
度で表示し、それ以外の他テレビ会議サイトからの映像
信号を低解像度で表示するように制御する映像表示制御
信号ＣＶを映像表示制御回路１２’へ出力する。一方、
自テレビ会議サイト３２’が発言中でなく且つ発言者通
知信号ＨＡにより発言中の他テレビ会議サイトが通知さ
れた場合は、その発言者に対応する他テレビ会議サイト
からの会話相手特定信号Ｒにより発言相手を特定し、そ
の発言相手が自テレビ会議サイトでないときは、発言者
および発言相手に対応する他テレビ会議サイトからの映
像信号を高解像度で表示し、それ以外の他テレビ会議サ
イトからの映像信号を低解像度で表示するように制御す
る映像表示制御信号ＣＶを映像表示制御回路１２’へ出
力する。発言相手が自テレビ会議サイトであるときは、
発言者に対応する他テレビ会議サイトからの映像信号を
高解像度で表示し、それ以外の他テレビ会議サイトから
の映像信号を低解像度で表示するように制御する映像表
示制御信号ＣＶを映像表示制御回路１２’へ出力する。

【００４５】図１４は、映像表示制御回路１２’の構成
図である。この映像表示制御回路１２’は、サブバンド
符合化などの階層符合化方式により符号化された映像信
号ｖ１〜ｖ４を復号する階層復号化装置１２１と、映像
信号ｖ１〜ｖ４の復号結果を所定のウィンドウに対応さ
せる画像表示位置制御回路１２３とを具備している。階
層復号化装置１２１は、ディスクリートコサイン変換
（ＤＣＴ）のようなブロック符号化方式よりも解像度の
制御が容易であり、映像表示制御信号ＣＶにより指定さ
れたウィンドウの映像は高解像度に表示し（使用する階
層数を増やす）、それ以外のウィンドウの映像は低解像
度に表示する（使用する階層数を減らす）。

【００４６】図１５は、テレビ会議サイト３２’の参加
者Ｅが、テレビ会議サイト１’の参加者Ａに対して発言
している状態でのテレビ会議サイト３２’，１’および
２’の様子を示している。図１５の（ａ）に示すよう
に、テレビ会議サイト３２’では、発言相手であるテレ
ビ会議サイト１’に対応するウィンドウ６４に最も近い
位置にあるテレビカメラ８０が選択される。また、ウィ
ンドウ６４が高解像度で表示され、ウィンドウ６５〜６
７が低解像度で表示される。図１５の（ｂ）に示すよう
に、テレビ会議サイト１’では、発言者であるテレビ会
議サイト３２’に対応するウィンドウ６７に最も近い位
置にあるテレビカメラ８３が選択され、音場が定位され
る。また、ウィンドウ６７が高解像度で表示され、ウィ
ンドウ６４〜６６が低解像度で表示される。図１５の
（ｃ）に示すように、テレビ会議サイト２’では、発言
者であるテレビ会議サイト３２’に対応するウィンドウ
６７に最も近い位置にあるテレビカメラ８３が選択さ
れ、音場が定位される。また、そのウィンドウ６７およ
び発言相手であるテレビ会議サイト１’に対応するウィ
ンドウ６４が高解像度で表示され、ウィンドウ６５，６
６が低解像度で表示される。

【００４７】以上の第２実施例によれば、第１実施例の
効果に加えて、会話の当事者を他の参加者より引き立た
せて表示するので、さらに臨場感を得ることが出来る。

【００４８】なお、上記第２実施例では復号化階層を制
御したが、映像の符号化階層を制御してもよい。例え
ば、サブバンド符号化方式を採用したとき、会話の当事
者のテレビ会議サイトについては高次の帯域までの映像
信号ｖｓを送信し、会話の当事者でないテレビ会議サイ
トについては低次の帯域だけの映像信号ｖｓを送信する
ようにする。これにより、通信ネットワーク３の情報伝
送を効率化できる。

【００４９】

【発明の効果】この発明の多地点通信方法および通信端
末によれば、会話の当事者（発言者および発言相手）を
特定することが出来る。そして、この特定結果を利用し
て、目線の不一致などを防止できるので、会議場で議論
しているような臨場感を得ることが出来る。

【図面の簡単な説明】

【図１】本発明の第１実施例に係る多地点テレビ会議シ
ステムの全体構成図である。

【図２】撮像装置の構成図である。

【図３】スピーカの配置図である。

【図４】ウィンドウの配置図である。

【図５】相関性解析回路の内部構成図である。

【図６】発話モニタのブロック図である。

【図７】音響信号と音の平均的パワー信号の波形図であ
る。

【図８】相関検出回路のブロック図である。

【図９】相関性の強弱を検出する原理図である。

【図１０】音響信号と音の平均的パワー信号と相関性の
強さの説明図である。

【図１１】目線の一致の説明図である。

【図１２】音場制御の説明図である。

【図１３】本発明の第２実施例の多地点テレビ会議シス
テムの全体構成図である。

【図１４】映像表示制御回路の構成図である。

【図１５】目線の一致および表示解像度の制御の説明図
である。

【図１６】従来のテレビ会議システムの一例の概念図で
ある。

【図１７】従来のテレビ会議サイトの説明図である。

【図１８】目線の不一致の説明図である。

【符合の説明】

Ｓ１，Ｓ２１多地点テレビ会議
システム１，２，３２，１’，２’，３２’ テレビ会議サイト３通信ネットワーク４，４’ 回線インタフェー
ス５，６，７，８ＡＶ分離回路５’，６’，７’，８’ ＡＶＲ分離回路９相関性解析回路１０，１０’ システム制御回路１１，１１’ 音響信号処理回路１２，１２’ 映像表示制御回路１３集音マイクロフォ
ン１４撮像装置１５音場再生装置１６映像表示装置１７，１８，１９，２０，２６発話モニタ２１，２２，２３，２４相関検出回路２５，４０，４８比較回路２７２乗回路２８積分回路２９平均回路３０同期出力回路３１発話区切り検出回
路４１，４２，４７メモリ４３極小値検出回路４４差分回路４５アドレス発生回路４６アドレスシフト回
路８０，８１，８２，８３テレビカメラ９４選択スイッチ１０１，１０２，１０３，１０４，１０５，１０６
スピーカ１２１階層復号化装置１２３画像表示位置制御
回路

フロントページの続き (72)発明者多田勝己東京都国分寺市東恋ケ窪１丁目280番地株式会社日立製作所中央研究所内

Claims

【特許請求の範囲】

【請求項１】複数の地点の通信端末を通信回線で接続
し、それら通信端末の間で音響信号と映像信号とを送受
信する多地点通信システムにおいて、一つの通信端末での音響信号の発生状態と他の通信端末
での音響信号の発生状態との相関関係を解析し、その相
関関係の解析結果に基づいて前記一つの通信端末の会話
相手を前記他の通信端末の中から特定することを特徴と
する多地点通信方法。
【請求項２】請求項１に記載の多地点通信方法におい
て、前記一つの通信端末に、他の通信端末から受信した
映像を所定の表示位置にそれぞれ表示するディスプレイ
と、前記各表示位置の近くに設置されて当該通信端末で
の参加者を撮影する複数のカメラとを備え、前記特定さ
れた会話相手に対応する前記表示位置の近くのカメラで
撮影した映像信号を選択して少なくとも前記特定された
会話相手の通信端末へ送信することを特徴とする多地点
通信方法。
【請求項３】請求項１または請求項２に記載の多地点
通信方法において、前記会話相手の特定結果に基づい
て、映像の表示態様を制御することを特徴とする多地点
通信方法。
【請求項４】請求項３に記載の多地点通信方法におい
て、前記会話相手の特定結果に基づいて、映像の復号化
の内容を制御することを特徴とする多地点通信方法。
【請求項５】請求項３に記載の多地点通信方法におい
て、前記会話相手の特定結果に基づいて、映像の符号化
の内容を制御することを特徴とする多地点通信方法。
【請求項６】請求項４または請求項５に記載の多地点
通信方法において、映像の復号化・符号化方式が階層復
号化・符号化方式であり、前記会話相手の特定結果に基
づいて、階層を変更することを特徴とする多地点通信方
法。
【請求項７】請求項１から請求項６のいずれかに記載
の多地点通信方法において、前記会話相手の特定結果に
基づいて、音響の再生態様を制御することを特徴とする
多地点通信方法。
【請求項８】複数の他の地点の通信端末と通信回線を
介して接続され、それら通信端末との間で音響信号と映
像信号を送受信する通信端末において、他の地点の通信端末へ送信する音響信号の発生状態と他
の通信端末から受信した音響信号の発生状態との相関関
係を解析する相関関係解析手段と、その相関関係の解析
結果に基づいて会話相手の通信端末を特定する会話相手
特定手段とを具備したことを特徴とする通信端末。
【請求項９】請求項８に記載の通信端末において、他
の通信端末から受信した映像を所定の表示位置にそれぞ
れ表示するディスプレイと、前記各表示位置の近くに設
置されて当該通信端末での参加者を撮影する複数のカメ
ラと、前記特定された会話相手に対応する前記表示位置
の近くのカメラで撮影した映像信号を選択する映像信号
選択手段とを具備したことを特徴とする通信端末。
【請求項１０】請求項８または請求項９に記載の通信
端末において、前記会話相手の特定結果に基づいて、映
像の表示態様を制御する映像制御手段を具備したことを
特徴とする通信端末。
【請求項１１】請求項８から請求項１０のいずれかに
記載の通信端末において、前記会話相手の特定結果を他
の通信端末へ通信回線を介して送信する会話相手特定結
果送信手段を具備したことを特徴とする通信端末。
【請求項１２】請求項１１に記載の通信端末を含む複
数の通信端末と通信回線を介して接続され、それら通信
端末から音響信号と映像信号を受信する通信端末であっ
て、前記会話相手の特定結果を通信回線を介して受信する会
話相手特定結果受信手段と、その受信した特定結果に基
づいて映像信号の復号化の内容を制御する映像信号復号
化制御手段を具備したことを特徴とする通信端末。
【請求項１３】請求項８から請求項１０のいずれかに
記載の通信端末において、前記会話相手の特定結果に基
づいて映像信号の符号化の内容を制御する映像信号符号
化制御手段を具備したことを特徴とする通信端末。
【請求項１４】請求項１２または請求項１３に記載の
通信端末において、前記映像信号復号化制御手段または
映像信号符号化制御手段が、前記会話相手の特定結果に
基づいて、階層復号化・符号化方式の階層を変更するこ
とを特徴とする通信端末。
【請求項１５】請求項８から請求項１４のいずれかに
記載の通信端末において、前記会話相手の特定結果に基
づいて音響の再生態様を制御する音響制御手段を具備し
たことを特徴とする通信端末。