JP3706660B2 - Multipoint communication system and communication terminal device - Google Patents

Multipoint communication system and communication terminal device Download PDF

Info

Publication number
JP3706660B2
JP3706660B2 JP22356295A JP22356295A JP3706660B2 JP 3706660 B2 JP3706660 B2 JP 3706660B2 JP 22356295 A JP22356295 A JP 22356295A JP 22356295 A JP22356295 A JP 22356295A JP 3706660 B2 JP3706660 B2 JP 3706660B2
Authority
JP
Japan
Prior art keywords
voice
connection
video
audio
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP22356295A
Other languages
Japanese (ja)
Other versions
JPH0970029A (en
Inventor
真也 瓜阪
智明 河合
崇 大矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP22356295A priority Critical patent/JP3706660B2/en
Publication of JPH0970029A publication Critical patent/JPH0970029A/en
Application granted granted Critical
Publication of JP3706660B2 publication Critical patent/JP3706660B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、多地点間通信システムおよびこれに用いる通信端末装置に関し、特に、ネットワーク上の遠隔地に存在する複数の端末間で映像および音声の通信を行う際に使用する映像音声通信ツールに用いて好適なものである。
【0002】
【従来の技術】
近年、複数の遠隔地の状況を一ヵ所で把握するためのツールとして、アウェアネスシステムと呼ばれるシステムの研究開発が進んでいる。このシステムでは、通常、計算機制御が可能なビデオカメラと、これを制御し入力された映像および音声をネットワークに送信するための計算機とが複数の地点に置かれる。
【0003】
そして、映像および音声をネットワークから受信する計算機では、上記複数の地点から送信された複数の映像および音声を表示装置に表示したりスピーカに出力したりすることにより、ビデオカメラが設置された場所の状況を把握することができるようになっている。
【0004】
【発明が解決しようとする課題】
しかしながら、従来のアウェアネスシステムでは、送信側から音声送信要求があると、常に通信接続が行われて音声が受信側に送信されるようになっていた。このため、受信側において、何の前ぶれもなく意図しない相手からの音声に突然割り込まれてしまうことがあり、受信側のユーザに不快感を与えてしまうことがあるという問題があった。
【0005】
本発明は、このような問題を解決するために成されたものであり、音声受信側において通信接続の許否を決定することができるようにすることにより、受信側の意思に基づいて音声受信を行うことができるようにし、意図しない相手からの音声に突然割り込まれてしまう不都合をなくすことを目的とする。
【0006】
【課題を解決するための手段】
本発明の多地点間通信システムは、映像音声入力手段と、上記映像音声入力手段から取り込んだ映像および音声をネットワーク上に配送する手段と、上記配送手段によって配送される複数地点からの映像および音声を出力する出力手段とを有する端末装置がそれぞれ上記ネットワーク上に複数存在し、映像および音声を相互に送受信する多地点間通信システムにおいて、上記端末装置は、上記音声を受信する際のモードとして、接続許否の確認なしに即座に接続する第1の接続モードと、音声受信側に対して音声がこれから送信されることを知らせ、受信側の許可が得られたときに接続し、受信側の許可が得られないときには接続しないようにする第2の接続モードと、接続を拒否し、必要に応じてメモを音声送信側に伝える第3の接続モードとを有し、上記接続モードの設定を切り替えるモード設定手段を備えたことを特徴とする。
【0008】
本発明のその他の特徴とするところは、上記モード設定手段は、上記通信接続時のモードの設定を音声送信側の相手ごとに変更可能とすることを特徴としている。
【0009】
本発明のその他の特徴とするところは、上記音声の送信側に対して通信接続の状態を提示する手段を更に備えたことを特徴とする。
【0010】
本発明のその他の特徴とするところは、第2の接続モードにおいて、音声受信側における通信接続の許可は、表示装置に表示されている音声送信側を表すシンボルを、上記音声送信側からの映像に重ねて置くことにより行うことを特徴とする。
【0011】
本発明のその他の特徴とするところは、ネットワーク上の複数地点に接続された端末間で少なくとも音声を相互に送受信するようになされた多地点間通信システムにおいて、上記音声を受信する端末装置は、上記音声を受信する際のモードとして、接続許否の確認なしに即座に接続する第1の接続モードと、音声受信側に対して音声がこれから送信されることを知らせ、受信側の許可が得られたときに接続し、受信側の許可が得られないときには接続しないようにする第2の接続モードと、接続を拒否し、必要に応じてメモを音声送信側に伝える第3の接続モードとを有し、上記接続モードの設定を切り替えるモード設定手段を備えたことを特徴とする。
【0012】
本発明の通信端末装置は、ネットワークを介して少なくとも音声を送受信するための通信端末装置において、上記音声を受信する際のモードとして、接続許否の確認なしに即座に接続する第1の接続モードと、音声受信側に対して音声がこれから送信されることを知らせ、受信側の許可が得られたときに接続し、受信側の許可が得られないときには接続しないようにする第2の接続モードと、接続を拒否し、必要に応じてメモを音声送信側に伝える第3の接続モードとを有し、上記接続モードの設定を切り替えるモード設定手段を備えたことを特徴とする。
【0013】
【作用】
本発明は上記技術手段より成るので、音声受信側で通信接続時のモードを自由に設定できるようになり、受信側のユーザが通信接続を許可した場合にのみ音声を受信するようにすることが可能となる。
【0014】
本発明の他の特徴によれば、音声受信側において、通信接続を許可するかどうかの接続モードを音声送信側の相手ごとに自由に設定できるようになり、これにより、複数の通信相手のうち、通信接続を許可した相手のみから音声を受信するようにすることが可能となる。
【0015】
本発明のその他の特徴によれば、音声送信側においてシステム全体の通信接続状況をあらかじめ確認することが可能となる。
【0016】
本発明のその他の特徴によれば、音声受信側において通信接続を許可する操作を極めて簡単に行うことが可能となる。
【0017】
【発明の実施の形態】
以下、本発明の一実施形態を図面に基づいて説明する。
図1は、本発明の要素的特徴を示すブロック図である。
図1に示すように、複数の端末装置1、2、3、…がネットワーク4を介して接続されて多地点間通信システムが構成されている。
【0018】
各端末装置1、2、3、…は、図示はしていないが、映像音声入力手段と、上記映像音声入力手段から取り込んだ映像および音声をネットワーク4上に配送する手段と、上記配送手段によって送られてきた複数地点からの映像および音声を表示・出力する手段とをそれぞれ具備している。
【0019】
これらの端末装置1、2、3、…は、何れも音声送信側および音声受信側となり得るが、ここでは説明の便宜上、端末装置1を音声受信側とし、その他の端末装置2、3、…を音声送信側であるとして説明する。
【0020】
図1に示すように、音声受信側の端末装置1は、通信手段11と、モード設定手段12と、接続管理手段13と、接続状態提示手段14とを具備している。
上記通信手段11は、映像や音声その他のデータをネットワーク4を介して送受信するものであり、上述した配送手段を含んでいる。
【0021】
また、モード設定手段12は、音声受信側における通信接続時の設定モードを切り替えるためのものである。この接続モードとしては、以下の3つのモードがある。モード設定手段12は、この3つの接続モードを音声送信側の端末ごとに設定することが可能である。
【0022】
(1)通信接続許否の確認なしに即座に接続する第1の接続モード。
(2)音声受信側に対して音声がこれから送信されることを知らせ、受信側の許可が得られたときに接続し、受信側の許可が得られないときには接続しないようにする第2の接続モード。
(3)接続を拒否し、必要に応じてメモを音声送信側に伝える第3の接続モード。
【0023】
接続管理手段13は、上記モード設定手段12により設定された接続モードに基づいて、通信手段11による映像および音声の通信を管理し、制御するものである。また、接続状態提示手段14は、音声送信側の端末装置2、3、…に対して通信接続の状態を提示するためのものである。
【0024】
以下に、上記のように構成した多地点間通信システムの動作について簡単に説明する。
まず、モード設定手段12により第1の接続モードが設定された場合には、音声送信側の端末装置2、3、…から音声受信側の端末装置1に対して通信接続要求(音声を送信する要求)があると、接続を許可するか拒否するかを受信側端末1において確認しないで即座に通信接続が行われる。
【0025】
また、モード設定手段12により第3の接続モードが設定された場合には、通信接続が常に拒否され、音声送信側の端末装置2、3、…から音声受信側の端末装置1に対して音声を送信できない状態となる。この場合、第3の接続モードでは、通信接続の要求があったときに、音声受信側から音声送信側に所定のメモを伝えることが可能である。
【0026】
したがって、例えば通信接続を拒否する理由をメモとして書いておけば、音声送信側において、音声受信側のユーザが通信接続を何故拒否するのかを知ることができる。これにより、音声送信側のユーザがむやみに接続を拒否されることによって不快感を与えられることがなくなる。
【0027】
さらに、モード設定手段12により第2の接続モードが設定された場合は、音声送信側の端末装置2、3、…から音声受信側の端末装置1に送られる通信接続要求に対して、通信接続を許可するか拒否するかを受信側のユーザが判断することができる。そして、受信側のユーザが許可したときに通信接続が行われ、受信側のユーザが許可しないときには通信接続は行われないようになる。
【0028】
以上のような各接続モードに基づく通信接続の状況は、接続状態提示手段14によって音声送信側の各端末装置2、3、…に提示される。例えば、どの端末装置から接続要求が出されているのか、どの端末装置に対して通信接続が許可され、あるいは拒否されているのかという状態が全ての送信側端末2、3、…に提示される。これにより、各端末装置における通信接続状況を音声送信者が把握しやすくなるようにすることができる。
【0029】
このように、本実施形態によれば、音声受信側で通信接続時のモードを自由に設定することができ、第2の接続モードを設定した場合には、受信側のユーザが通信接続を許可した場合にのみ音声を受信するようにすることができる。したがって、自分の意思に反して他のユーザからの音声に突然割り込まれてしまうようなことはなくなる。
【0030】
この場合、本実施形態では、通信接続を許可するかどうかを音声送信側の相手ごとに自由に設定することができるので、複数の通信相手のうち、通信接続を許可した相手のみから音声を受信するようにすることができる。
【0031】
図2は、本実施形態による多地点間通信システムの具体的な構成例を示すブロック図である。
図2において、200aは映像音声通信装置であり、映像および音声の入力、ネットワーク上への送出、表示および出力などの各処理を行う。
【0032】
この映像音声通信装置200aの構成において、201はビデオカメラ、202はカメラ制御装置であり、上記ビデオカメラ201のパン、チルト、ズーム、焦点等を、図示しない制御信号線を用いてコンピュータから制御可能なように構成されている。
【0033】
上記ビデオカメラ201より入力される映像は、ビデオキャプチャ装置203によってA/D変換、圧縮して取り込まれ、ネットワークI/F204を通じてネットワーク215上に送出される。その際、複数地点へ映像を同時に送信できるようにするために、マルチキャスト通信ないしブロードキャスト通信が用いられる。
【0034】
次いで、205はマイク、206は音声入力制御装置であり、上記マイク205の入力レベル等をコンピュータから制御可能なように構成されている。上記マイク205より入力される音声は、上述の映像と同様にA/D変換、圧縮された後、ネットワークI/F204を通じてネットワーク215に送出される。この際、音声についても映像と同様に複数地点への同時送信ができるようにするために、マルチキャスト通信ないしブロードキャスト通信が用いられる。
【0035】
207はスピーカ、208は音声出力制御装置であり、上記スピーカ207の出力レベル等をコンピュータから制御可能なように構成されている。この音声出力制御装置208は、送信されてきたデータを伸張、D/A変換し、スピーカ207から音声を出力するようにする。
【0036】
209は装置全体の制御を行うCPU、210は主記憶装置であり、上記CPU209の実行するプログラムが二次記憶装置211よりロードされて格納されるようになっている。上記二次記憶装置211は、CPU209の実行プログラムの他に、種々のデータを記憶するためのものであり、例えばハードディスクなどにより構成される。
【0037】
212はマウスであり、後述するモード切り替えを行う際などに使用する操作部である。また、213はビットマップディスプレイ、214はシステムバスであり、上述した各部が接続されて、相互にデータのやり取りを行うことができるようになっている。図1に示したモード設定手段12、接続管理手段13および接続状態提示手段14は、上記CPU209、主記憶装置210、マウス212およびビットマップディスプレイ213により構成される。
【0038】
また、映像音声通信装置200b,200c,200d,…は、その詳しい構成については図示を省略しているが、上記映像音声通信装置200aと同様の構成を有するものである。これらは、ネットワークI/F204を介して映像および音声を高速に伝送可能なネットワーク215で相互に接続されている。
【0039】
なお、上述したカメラ制御装置202、音声入力制御装置206および音声出力制御装置208は、遠隔地の映像音声通信装置200b,200c,200d,…からもネットワーク215を介して制御可能であるとする。
また、映像および音声のデータフォーマットおよび圧縮形式については、本実施形態では特に限定しない。なお、本実施形態では、映像音声通信装置200aとして、汎用のワークステーションを用いることを想定している。
【0040】
図3は、ビットマップディスプレイ213に表示される本実施形態の表示画面の例を示す図である。
上記ビットマップディスプレイ213上では、複数のウィンドウを表示可能なウィンドウシステムが動作しているものとする。
【0041】
図3において、301は音声送信を行っていることを示すシンボルであり、画面上にこの音声送信シンボル301が表示されている間は、音声の送信を行っている。302は音声受信を行っていることを示すシンボルであり、画面上にこの音声受信シンボル302が表示されている間は、音声の受信を行っている。
【0042】
303は多地点映像表示ウィンドウであり、他の映像音声通信装置(映像音声通信装置200aのビットマップディスプレイ213であれば、映像音声通信装置200b,200c,200d,…)で取り込まれ、ネットワーク215を介して送信されてくる映像の中から選択された幾つか(図3の例では最大で6個)が表示される。
【0043】
なお、表示映像の選択については、例えば図示しないメニュー等を用いて実現可能であるが、ここでは選択方法にはこだわらない。
また、映像の送信および表示に関しては、動画、あるいは10秒に1回程度更新される静止画像など、用途に応じたレートで更新される画像を送信および表示するものとする。
【0044】
上記多地点映像表示ウィンドウ303の各映像ウィンドウの下部には、Talk選択ボタン304とHear選択ボタン305とがそれぞれ設けられている。Talk選択ボタン304をマウスクリックすると、それに対応する映像を送ってきている相手先に対して話をすることができるようになる。また、Hear選択ボタン305をマウスクリックすると、それに対応する映像を送ってきている相手先の話を聞くことができるようになる。
【0045】
306は音声の入出力レベルを変更するための操作ウィンドウであり、音声入出力レベルを調節等することが可能である。また、入力ウィンドウ307に装置名を入力して設定することで、離れた地点にある映像音声通信装置の音声入出力をネットワーク215を介して制御することが可能である。
【0046】
308および309は、音声送信側から送信要求があったかどうかを表示するためのアイコンである。また、310〜312はTalk選択ボタン304の表示状態の変化の様子を示すものである。すなわち、多地点映像表示ウィンドウ303に映像が表示されている各サイト(各通信装置)に対する通信接続状況を、このTalk選択ボタン304の表示状態を変えることで表現している。
【0047】
図4は、本実施形態のプロセス構成図である。
図4において、401は映像送信プロセスであり、映像の取り込みおよび送信を行う。402は多地点映像表示プロセスであり、上記映像送信プロセス401によって多地点からネットワーク215を介して送信されてきた複数の映像のうちの任意の6地点の映像を、上記多地点映像表示ウィンドウ303の形式で表示する。
【0048】
403はカメラ制御サーバであり、ネットワーク215を介してカメラ制御命令を受け取って、そのカメラ制御命令をカメラ制御装置202に発効することにより、実際にビデオカメラ201を制御する。404はカメラ制御クライアントであり、図示しない操作画面上でカメラ操作が行われると、制御対象である映像音声通信装置のカメラ制御サーバ403に対して、ネットワーク215を介して対応するカメラ制御命令を発効する。
【0049】
405は音声送信プロセスであり、音声の取り込みおよび送信を行うとともに、音声送信シンボル301の表示を行う。406は音声受信プロセスであり、上記音声送信シンボル301によって多地点からネットワーク215を介して送信されてきた複数の音声を同時にミキシングして出力するとともに、音声受信シンボル302の表示を行う。
【0050】
上記した各プロセス401〜406は、各映像音声通信装置200a,200b,200c,200d,…上で稼働しているものとする。
次いで、407はアクセス管理プロセスであり、ネットワーク215上に接続された装置全体(映像音声通信装置200a,200b,200c,200d,…)の全てのカメラ映像、音声、および操作のアクセスを管理している。したがって、このアクセス管理プロセス407は、ネットワーク215上で1つだけ稼働している。
【0051】
次に、以上のように構成された多地点間通信システムにおいて、まず最初に、Hear機能、すなわち、遠隔多地点の音声を聞く機能について説明する。
ここでは、多地点映像表示ウィンドウ303に表示されている複数の映像のうち、選択した映像のあるサイトの音声を聞くものとする。
【0052】
映像の選択は、多地点映像表示ウィンドウ303の各映像ウィンドウの下部に設けられたHear選択ボタン305をマウスクリックすることで行う。なお、Hear選択ボタン305は、複数同時に選択可能であるものとし、複数地点の音声を同時に聞くことができるものとする。
【0053】
まず、Hear選択ボタン305が押されると、音声受信プロセス406がアクセス管理プロセス407に対して音声受信要求を出す。この要求を受けたアクセス管理プロセス407は、多地点映像表示ウィンドウ303上で選択された全ての音声送信ホストのアドレスを音声受信プロセス406に通知する。
【0054】
なお、ここでの通信手段としては、RPC、TCP、UDP(Remote Procedure Call 、Transmission Control Protocol 、User Diagram Protocol :何れもUNIXによる通信プロトコル)等があるが、特にこだわらない。
【0055】
これにより、音声受信プロセス406と選択された各サイトの音声送信プロセス405とが接続され、送信ホストの音声を受信ホストで受けることが可能となる。ただし、この音声送受信では、以下に述べるTalk機能と同様に、マルチキャスト通信ないしブロードキャスト通信を用いる。
【0056】
次に、Talk機能、すなわち、遠隔多地点に対して同時に話しかける機能について説明する。
ここでは、多地点映像表示ウィンドウ303に表示されている複数の映像のうち、選択した映像のあるサイトに対して話しかけるものとする。
【0057】
映像の選択は、多地点映像表示ウィンドウ303の各映像ウィンドウの下部に設けられたTalk選択ボタン304をマウスクリックすることで行う。なお、Talk選択ボタン304は、Hear選択ボタン305と同様に複数同時に選択可能であるものとし、複数地点に対して同時に話しかけることができるものとする。
【0058】
まず、Talk選択ボタン304が押されると、音声送信プロセス405がアクセス管理プロセス407に対して音声送信要求を出す。この要求を受けたアクセス管理プロセス407は、多地点映像表示ウィンドウ303上で選択された全ての音声受信ホストの音声受信プロセス406に対して、音声送信ホストのアドレスを通知する。
【0059】
また、音声受信ホスト上の音声送信プロセス405に対して送信一時停止命令を送り、音声送信を一時中断させる。このようにすることで、エコーキャンセラなしでもエコーを防止することができる。
なお、ここでの通信手段としては、RPC、TCP、UDP等があるが、特にこだわらない。
【0060】
これにより、音声送信プロセス405と選択された各サイトの音声受信プロセス406とが接続され、送信ホストの音声を受信ホストに送ることが可能となる。なお、この際、音声を送る全てのサイト(複数地点)に対して音声の同時送信が可能となるようにするために、マルチキャスト通信ないしブロードキャスト通信を用いる。
【0061】
次に、Talk機能実行時においてTalkされた側、すなわち、音声受信側の通信接続方法について説明する。
本実施形態においては、受信側の通信接続方法として、上述した(1)〜(3)の3つの接続モードを設けている。音声受信側では、これら3つの接続モードのうち、何れかの1つの接続モードに随時設定変更することが可能である。
【0062】
図5は、音声通信プロセス(音声送信プロセス405および音声受信プロセス406)の動作を示すフローチャートである。
上述した第2の接続モードにおいて、音声送信プロセス405が音声受信プロセス406に対して音声を送信する場合、まず音声送信プロセス405は、送信要求をアクセス管理プロセス407に対して出す(ステップS501)。
【0063】
この送信要求を受けたアクセス管理プロセス407は、音声受信プロセス406に対して、音声送信プロセス405から音声が送信されることをプロセス間通信によって知らせる。この通知を受けた音声受信プロセス406は、リング音を鳴らしたり、図3に示したアイコンの表示を308から309に変化させたりするなどの方法を用いて、音声受信者に対してこれから音声が送信されることを知らせる。
【0064】
これに対応して、音声受信者は、通信接続を許可するかどうかを決定する。このとき、音声受信者が通信接続を許可する(音声の受信を許可する)手段としては、アイコン309を選択(ダブルクリック)したり、多地点映像表示ウィンドウ303のいずれか1つのウィンドウ内にアイコン309をドラッグ&ドロップするなどの方法を用いる。
【0065】
上記した方法により音声受信者が通信接続の許可を出すと(ステップS502)、通信接続が許可されたことを音声送信者に知らせるために、次のようにして音声送信側でリング音を鳴らす(ステップS503)。まず、アクセス管理プロセス407は、音声受信者の許可を確認した後、音声受信側において許可が出たことを音声送信プロセス405にプロセス間通信により通知する。
【0066】
そして、この通知を受けた音声送信プロセス405は、音声送信側で音声出力制御装置208を駆動し、スピーカ207からリング音を鳴らす。
ここで、リング音を鳴らす代わりに、アクセスが許可されたことを示すダイアログのパネルをポップアップ表示するなどの方法を用いても良い。
【0067】
次に、音声送信側が音声受信側の映像を多地点映像表示ウィンドウ303上から消去してしまっているかどうかを判断する(ステップS504)。消去してしまっている場合は、映像送信プロセス401は、多地点映像表示プロセス402に対して、多地点映像表示ウィンドウ303にその映像を再び表示させる(ステップS507)。
【0068】
ここでの映像表示方法は、映像送信プロセス401が多地点映像表示プロセス402に対して自動的に映像を送ることにより表示を行うようにしても良いし、映像送信プロセス401が図示しないアイコンを表示し、音声送信者がそのアイコンをクリックすることで映像を送信し、表示を行うようにしても良い。
【0069】
また、音声受信者がアクセス許可を出すと、アクセス管理プロセス407は、その許可を確認した後に、音声受信プロセス406に対して音声送信プロセス405のアドレスを通知する(ステップS505)。これにより、音声送信プロセス405と音声受信プロセス406とを接続し(ステップS506)、音声の送受信を可能にする。
【0070】
このとき、アクセス管理プロセス407が、多地点映像表示プロセス402に対して映像送信プロセス401のアドレスを通知することにより、映像送信プロセス401と多地点映像表示プロセス402とを接続する。これにより、音声による通信接続と同時に、音声送信側の映像を音声受信側の多地点映像表示ウィンドウ303内の何れか1つに表示させることも可能である。
【0071】
本実施形態で想定しているシステムは、電話のような音声の双方向通信とは限らないので、上記のような方法を採ることにより、受信側で許可したときにのみ音声の受信を受け付けることができ、音声の通信をよりスムーズに行うことができる。
なお、以上の処理は、多地点映像表示ウィンドウ303において選択した全てのサイトに対して行う。
【0072】
また、上述した第2および第3の接続モードにおいて、通信接続を拒否する場合(ステップS502)、アクセス管理プロセス407は、接続拒否を確認した後に、接続が拒否されたことを音声送信プロセス405に通知することにより、接続拒否の旨を音声送信者に知らせる(ステップS508)。
【0073】
このとき、音声受信者によって書かれたメモデータを音声送信者の画面上に表示するようにすることにより、音声送信者に対して何らかのメモを伝えることができるようにしても良い。このような機能は、ネットワークトランスペアレントなX-Window System 等における遠隔表示機能を用いれば容易に実現できる。
【0074】
また、本実施形態では、多地点映像表示ウィンドウ303に映像が表示されている各サイトに対する通信接続状況が、
▲1▼音声送信しない
▲2▼通信接続を許可され、音声送信中
▲3▼通信接続を拒否された
の何れであるかが音声送信側において音声送信者に明確になるようにするために、各ウィンドウのTalk選択ボタン304を、上記▲1▼、▲2▼、▲3▼の状況に対応して、図3の310、311、312のように変化させる。
【0075】
一方、音声受信プロセス406は、自分が接続を拒否したしたこをアクセス管理プロセス407に通知する。加えて、音声受信プロセス406は、音声受信側の画面上に音声送信者を表すアイコン(図示せず)を残しておく(ステップS509)。そして、イベント待ちの状態に入る(ステップS510)。
【0076】
後に音声受信者が上記ステップS509で表示したアイコンを選択(ダブルクリック)して接続を許可すると、音声受信プロセス406は、そのことをアクセス管理プロセス407に通知する。この通知を受けたアクセス管理プロセス407は、音声受信者があらためて通信接続を許可したことを、音声送信プロセス405に対してプロセス間通信により通知する。
【0077】
そして、この通知を受けた音声送信プロセス405は、音声出力制御装置208を駆動し、スピーカ207からリング音を鳴らすことで、通信接続が許可されたことを音声送信者に知らせる(ステップS503)。
ここで、リング音を鳴らす代わりに、アクセスが許可されたことを示すダイアログのパネルをポップアップ表示するなどの方法を用いても良い。
【0078】
また、このとき、音声送信側が音声受信側の映像を多地点映像表示ウィンドウ303上から消去してしまっている場合は(ステップS504)、上述したように、その映像を再び表示する(ステップS507)。
これにより、音声受信者が通信接続を一度拒否した後でも、容易な操作により通信接続をし直すことが可能となる。
【0079】
以上のモード設定および通信接続状態の変更は、アクセス管理プロセス407を通して行われる。すなわち、アクセス管理プロセス407は、全てのホストの通信接続状況を管理している。
【0080】
図6は、アクセス管理プロセス407で管理している管理テーブルの一例を示す図である。
図6において、601は音声送信プロセスリストであり、第1のフィールド611と第2のフィールド612とを有している。
【0081】
上記第1のフィールド611には、ネットワーク上で音声送信プロセス405が稼働している全ての装置名、すなわち、音声送信を行っている装置名が登録される。つまり、音声送信プロセス405が起動されたときに、その起動装置名がこの第1のフィールド611に登録される。
【0082】
なお、本実施形態では、ワークステーションを用いることにしているため、装置名にはワークステーションのホスト名を用いる。
また、第2のフィールド612には、次に説明する個々の音声送信プロセス405に対応して設けられた音声受信プロセスリスト602へのポインタが登録される。
【0083】
上記音声受信プロセスリスト602は、音声送信プロセスリスト601の各エントリに対応して1組のリストがそれぞれ存在する。この音声受信プロセスリスト602には、対応する音声送信プロセス405の音声を受信している音声受信プロセス406を起動した全てのユーザのログイン名と、音声受信プロセス406が稼働しているホスト名とが登録される。
【0084】
図6では、例えば、host3で稼働している音声送信プロセス405の音声を受信している(聞いている)ホスト名/ユーザログイン名は、hostA/person1、hostB/person2、hostC/person3、…である。なお、ログイン名は、ワークステーションにログインするときに使用する名前を用いる。
【0085】
また、音声受信プロセスリスト602の更新の発生は、音声受信プロセス406の起動時、および音声受信プロセス406において出力する音声をメニュー等で切り替えようとしたときに起こる。このとき、音声受信プロセス406を起動したワークステーションのホスト名/ユーザログイン名と、音声を出力しようとしている新しいマイクホスト名とで成るリストの組み合わせのデータが、音声受信プロセス406からアクセス管理プロセス407に更新要求の形で送られているものとする。
【0086】
次いで、603はモード設定リストであり、音声受信プロセス406が稼働しているホストの全てのユーザログイン名と、それらのホストにおいて設定されている通信接続モードの種類とが登録されている。
【0087】
以上説明したように、本実施形態によれば、音声受信側で通信接続時のモードを設定できるようにしたので、通信接続を許可した場合にのみ音声を受信するようにすることができる。したがって、自分の意思に反して他のユーザからの音声に突然割り込まれてしまうようなことはなくなる。また、各ユーザに対する音声通信の接続状態を音声送信側に提示するようにしているので、音声送信者は、各ユーザにおける通信接続状況を把握しやすくなる。
【0088】
さらに、音声受信者が通信接続を許可する手段として、図3に示したアイコン309を選択(ダブルクリック)したり、多地点映像表示ウィンドウ303内の何れか1つのウィンドウ内にアイコン309をドラッグ&ドロップする方法を用いているので、操作が非常に簡単であり、使い勝手が向上する。
【0089】
次に、第2の実施形態について説明する。この第2の実施形態は、以上に説明した第1の実施形態における通信接続モードの設定を、音声送信側の相手によって変更可能とする例を示したものである。この第2の実施形態は、第1の実施形態で示した図6の管理テーブルを、図7に示すような管理テーブルに置き換えたものである。以下、第1の実施形態との違いについてのみ説明する。
【0090】
図7において、音声送信プロセスリスト701は、図6で説明した第1のフィールド611および第2のフィールド612に加えて、第3のフィールド713を有している。この第3のフィールド713には、次に説明する個々の音声送信プロセス405に対応して設けられたモード設定リスト703へのポインタが登録されている。
【0091】
上記モード設定リスト703は、音声送信プロセスリスト701の各エントリに対応して1組のリストがそれぞれ存在する。このモード設定リスト703には、対応する音声送信プロセス405に対して各音声受信プロセス406が設定している通信接続モードが登録されている。
【0092】
図8は、それぞれの音声送信者に対して通信接続モードを設定するためのウィンドウを示す図である。
図8において、801は音声送信者、すなわち、自分に対して音声を送ってくる可能性のある相手のリストを表示するウィンドウである。
【0093】
また、802は通信接続モードを表示するウィンドウであり、それぞれの音声送信者に対して接続モードの設定変更が可能である。すなわち、入力ウィンドウ803において、音声送信者名および接続モードを入力する(例えば、不図示のキーボード等の操作部により)ことにより、モード設定リスト703のテーブルを更新し、接続モードを音声送信者ごとに変更することができる。
【0094】
以上説明したように、第2の実施形態によれば、音声受信側において、通信接続時のモードを音声送信側の相手に応じて個別に設定変更可能としたので、通信相手に応じて通信接続の許否を使い分けることができ、通信接続を許可する場合においても、希望する相手のみから音声を受信するようにすることができる。これにより、より望ましい通信接続が実現できる。
【0095】
【発明の効果】
本発明は上述したように、音声受信側で通信接続時のモードを設定するモード設定手段を設けたので、設定したモードに応じて、受信側のユーザが通信接続を許可した場合にのみ音声を受信するようにすることが可能となり、自分の意思に反して他のユーザからの音声に突然割り込まれてしまうようなことをなくすことができる。
【0096】
また、本発明の他の特徴によれば、上記通信接続時の設定モードを音声送信側の相手ごとに変更可能としたので、音声受信側において、通信接続を許可するかどうかの接続モードを音声送信側の相手ごとに自由に設定できるようになり、これにより、複数の通信相手のうち、希望する相手のみから音声を受信するようにすることができ、より望ましい通信接続を実現することができる。
【図面の簡単な説明】
【図1】本発明の要素的特徴を示すブロック図である。
【図2】第1および第2の実施形態による多地点間通信システムの構成例を示すブロック図である。
【図3】図2に示したビットマップディスプレイに表示される表示画面の一例を示す図である。
【図4】第1および第2の実施形態のプロセス構成図である。
【図5】第1の実施形態における音声通信プロセス(音声送信プロセスおよび音声受信プロセス)の動作を示すフローチャートである。
【図6】アクセス管理プロセスで管理している第1の実施形態における管理テーブルの例を示す図である。
【図7】アクセス管理プロセスで管理している第2の実施形態における管理テーブルの例を示す図である。
【図8】第2の実施形態において各音声送信者に対して通信接続モードを設定するためのウィンドウを示す図である。
【符号の説明】
1 音声受信側の端末装置
2、3 音声送信側の端末装置
4 ネットワーク
11 通信手段
12 モード設定手段
13 接続管理手段
14 接続状態提示手段
204 ネットワークI/F
209 CPU
210 主記憶装置
212 マウス
213 ビットマップディスプレイ
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a multipoint communication system and a communication terminal device used therefor, and more particularly, to a video / audio communication tool used when video and audio are communicated between a plurality of terminals existing at remote locations on a network. And suitable.
[0002]
[Prior art]
In recent years, research and development of a system called an awareness system has progressed as a tool for grasping the situation of a plurality of remote locations in one place. In this system, a video camera capable of computer control and a computer for controlling the video camera and transmitting input video and audio to a network are usually placed at a plurality of points.
[0003]
In a computer that receives video and audio from the network, a plurality of video and audio transmitted from the plurality of points are displayed on a display device or output to a speaker so that the video camera is installed. The situation can be grasped.
[0004]
[Problems to be solved by the invention]
However, in the conventional awareness system, when there is a voice transmission request from the transmission side, the communication connection is always performed and the voice is transmitted to the reception side. For this reason, there has been a problem that the receiving side may suddenly be interrupted by unintentional voices without any ambiguity, which may cause discomfort to the receiving side user.
[0005]
The present invention has been made to solve such a problem, and by enabling the voice receiving side to determine whether or not to allow communication connection, the voice receiving can be performed based on the intention of the receiving side. The purpose is to eliminate the inconvenience of being suddenly interrupted by the voice from an unintended partner.
[0006]
[Means for Solving the Problems]
The multipoint communication system of the present invention includes a video / audio input means, a means for delivering video and audio captured from the video / audio input means over a network, and a video and audio from a plurality of points delivered by the delivery means. In a multi-point communication system in which a plurality of terminal devices each having an output means for outputting are present on the network and transmitting and receiving video and audio to each other, the terminal device has a mode for receiving the audio, The first connection mode that connects immediately without confirmation of connection permission or not, and informs the voice receiver that the voice will be transmitted from now on, connects when the receiver's permission is obtained, and permits the receiver The second connection mode to prevent the connection when it cannot be obtained, and the third connection mode to reject the connection and transmit the memo to the voice transmission side as necessary. Has the door, characterized by comprising a mode setting means for switching the setting of the connection mode.
[0008]
Another aspect of the present invention is characterized in that the mode setting means can change the mode setting at the time of communication connection for each partner on the voice transmission side.
[0009]
Another feature of the present invention is characterized by further comprising means for presenting a communication connection status to the voice transmitting side.
[0010]
Another feature of the present invention is that, in the second connection mode, permission of communication connection on the audio receiving side is obtained by displaying a symbol representing the audio transmitting side displayed on the display device and a video from the audio transmitting side. It is characterized in that it is carried out by placing it on top of the other.
[0011]
Another feature of the present invention is that, in a multipoint communication system configured to transmit and receive at least sound between terminals connected to a plurality of points on a network, a terminal device that receives the sound includes: As a mode for receiving the voice, the first connection mode in which the connection is made immediately without confirming whether or not the connection is permitted, and the voice receiving side is notified that the voice is about to be transmitted, and the receiving side permission is obtained. A second connection mode that connects to the voice transmission side and refuses the connection when the receiver's permission cannot be obtained, and a third connection mode that rejects the connection and transmits a memo to the voice transmission side as necessary. And a mode setting means for switching the setting of the connection mode.
[0012]
The communication terminal device according to the present invention is a communication terminal device for transmitting and receiving at least sound via a network, and the first connection mode for immediately connecting without confirmation of connection permission or not as a mode for receiving the sound. A second connection mode for notifying the voice receiving side that the voice is about to be transmitted and connecting when the permission of the receiving side is obtained and not connecting when the permission of the receiving side is not obtained; And a third connection mode for rejecting the connection and transmitting the memo to the voice transmitting side as necessary, and further comprising mode setting means for switching the setting of the connection mode.
[0013]
[Action]
Since the present invention comprises the above technical means, the mode at the time of communication connection can be freely set on the voice receiving side, and the voice can be received only when the user on the receiving side permits the communication connection. It becomes possible.
[0014]
According to another feature of the present invention, on the voice receiving side, a connection mode for determining whether or not to permit communication connection can be freely set for each partner on the voice transmitting side. Thus, it is possible to receive audio only from the other party permitted to communicate.
[0015]
According to the other feature of the present invention, it is possible to confirm in advance the communication connection status of the entire system on the voice transmission side.
[0016]
According to another feature of the present invention, an operation for permitting communication connection on the voice receiving side can be performed very easily.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing the elemental features of the present invention.
As shown in FIG. 1, a plurality of terminal devices 1, 2, 3,... Are connected via a network 4 to form a multipoint communication system.
[0018]
Although not shown, each terminal device 1, 2, 3,... Is provided by a video / audio input means, a means for delivering video and audio captured from the video / audio input means onto the network 4, and a delivery means. And a means for displaying and outputting video and audio from a plurality of points sent.
[0019]
These terminal devices 1, 2, 3,... Can all be a voice transmitting side and a voice receiving side, but here, for convenience of explanation, the terminal device 1 is a voice receiving side and the other terminal devices 2, 3,. Is assumed to be the voice transmitting side.
[0020]
As shown in FIG. 1, the terminal device 1 on the voice receiving side includes a communication unit 11, a mode setting unit 12, a connection management unit 13, and a connection state presentation unit 14.
The communication means 11 transmits and receives video, audio and other data via the network 4 and includes the delivery means described above.
[0021]
The mode setting means 12 is for switching a setting mode at the time of communication connection on the voice receiving side. There are the following three modes as the connection mode. The mode setting means 12 can set these three connection modes for each terminal on the voice transmission side.
[0022]
(1) A first connection mode in which connection is immediately established without confirmation of communication connection permission / rejection.
(2) Second connection that informs the voice receiving side that voice is about to be transmitted, and connects when the receiving side permission is obtained and does not connect when the receiving side permission is not obtained mode.
(3) A third connection mode in which connection is rejected and a memo is transmitted to the voice transmission side as necessary.
[0023]
The connection management unit 13 manages and controls video and audio communication by the communication unit 11 based on the connection mode set by the mode setting unit 12. The connection status presenting means 14 is for presenting the status of communication connection to the terminal devices 2, 3,.
[0024]
The operation of the multipoint communication system configured as described above will be briefly described below.
First, when the first connection mode is set by the mode setting means 12, a communication connection request (sends voice) from the voice transmission side terminal devices 2, 3, ... to the voice reception side terminal device 1. If there is a request), a communication connection is immediately made without confirming in the receiving terminal 1 whether the connection is permitted or rejected.
[0025]
Further, when the third connection mode is set by the mode setting means 12, the communication connection is always rejected, and the voice transmission side terminal devices 2, 3,... Cannot be sent. In this case, in the third connection mode, when a communication connection is requested, a predetermined memo can be transmitted from the voice receiving side to the voice transmitting side.
[0026]
Therefore, for example, if the reason for refusing the communication connection is written as a memo, the voice transmission side can know why the user on the voice reception side rejects the communication connection. As a result, the user on the voice transmitting side will not be uncomfortable because the connection is refused unnecessarily.
[0027]
Further, when the second connection mode is set by the mode setting means 12, a communication connection is made in response to a communication connection request sent from the terminal device 2, 3, ... on the voice transmitting side to the terminal device 1 on the voice receiving side. It is possible for the user on the receiving side to determine whether to allow or reject the request. Then, communication connection is performed when the receiving user permits, and communication connection is not performed when the receiving user does not permit.
[0028]
The communication connection status based on each connection mode as described above is presented to each terminal device 2, 3,... For example, the status indicating which terminal device has issued the connection request and to which terminal device the communication connection is permitted or denied is presented to all the transmitting terminals 2, 3,. . Thereby, it is possible to make it easier for the voice sender to grasp the communication connection status in each terminal device.
[0029]
Thus, according to this embodiment, the mode at the time of communication connection can be freely set on the voice reception side, and when the second connection mode is set, the user on the reception side permits communication connection. It is possible to receive the voice only when it is done. Therefore, there is no possibility that the voice from another user is suddenly interrupted against his intention.
[0030]
In this case, in this embodiment, whether or not to permit communication connection can be freely set for each partner on the voice transmission side, so that voice is received only from the partner who has permitted communication connection among a plurality of communication partners. To be able to.
[0031]
FIG. 2 is a block diagram showing a specific configuration example of the multipoint communication system according to the present embodiment.
In FIG. 2, reference numeral 200a denotes a video / audio communication apparatus which performs various processes such as video / audio input, transmission on a network, display, and output.
[0032]
In this configuration of the video / audio communication device 200a, 201 is a video camera, 202 is a camera control device, and pan, tilt, zoom, focus, etc. of the video camera 201 can be controlled from a computer using control signal lines (not shown). It is configured as follows.
[0033]
The video input from the video camera 201 is captured by A / D conversion and compression by the video capture device 203, and is transmitted onto the network 215 through the network I / F 204. At that time, multicast communication or broadcast communication is used in order to simultaneously transmit video to a plurality of points.
[0034]
Next, reference numeral 205 denotes a microphone, and 206 denotes an audio input control device. The input level of the microphone 205 is controlled from a computer. Audio input from the microphone 205 is A / D converted and compressed in the same manner as the above-described video, and then transmitted to the network 215 through the network I / F 204. At this time, multicast communication or broadcast communication is also used to enable audio to be simultaneously transmitted to a plurality of points as in the case of video.
[0035]
Reference numeral 207 denotes a speaker, and reference numeral 208 denotes an audio output control device. The output level of the speaker 207 can be controlled from a computer. The audio output control device 208 expands the transmitted data, performs D / A conversion, and outputs audio from the speaker 207.
[0036]
Reference numeral 209 denotes a CPU that controls the entire apparatus, and reference numeral 210 denotes a main storage device. A program executed by the CPU 209 is loaded from the secondary storage device 211 and stored therein. The secondary storage device 211 is for storing various data in addition to the execution program of the CPU 209, and is composed of, for example, a hard disk.
[0037]
Reference numeral 212 denotes a mouse, which is an operation unit used when mode switching described later is performed. Reference numeral 213 denotes a bitmap display, and reference numeral 214 denotes a system bus. The above-described units are connected to exchange data with each other. The mode setting unit 12, connection management unit 13, and connection state presentation unit 14 shown in FIG. 1 are composed of the CPU 209, main storage device 210, mouse 212, and bitmap display 213.
[0038]
Further, although the detailed configuration of the video / audio communication devices 200b, 200c, 200d,... Is omitted, they have the same configuration as the video / audio communication device 200a. These are connected to each other via a network 215 capable of transmitting video and audio at high speed via the network I / F 204.
[0039]
It is assumed that the above-described camera control device 202, audio input control device 206, and audio output control device 208 can be controlled from remote video / audio communication devices 200b, 200c, 200d,.
The video and audio data formats and compression formats are not particularly limited in the present embodiment. In the present embodiment, it is assumed that a general-purpose workstation is used as the video / audio communication device 200a.
[0040]
FIG. 3 is a diagram showing an example of the display screen of the present embodiment displayed on the bitmap display 213.
It is assumed that a window system capable of displaying a plurality of windows is operating on the bitmap display 213.
[0041]
In FIG. 3, reference numeral 301 denotes a symbol indicating that voice transmission is being performed. While this voice transmission symbol 301 is displayed on the screen, voice transmission is being performed. Reference numeral 302 denotes a symbol indicating that voice reception is being performed. While this voice reception symbol 302 is displayed on the screen, voice is being received.
[0042]
A multipoint video display window 303 is captured by another video / audio communication device (in the case of the bit map display 213 of the video / audio communication device 200a, the video / audio communication devices 200b, 200c, 200d,. Some selected from the images transmitted through the network (up to six in the example of FIG. 3) are displayed.
[0043]
The selection of the display image can be realized using, for example, a menu (not shown), but the selection method is not particular here.
As for the transmission and display of video, an image updated at a rate according to the application such as a moving image or a still image updated about once every 10 seconds is transmitted and displayed.
[0044]
A Talk selection button 304 and a Hear selection button 305 are provided at the bottom of each video window of the multipoint video display window 303. When the Talk selection button 304 is clicked with the mouse, it is possible to talk to the other party who is sending the corresponding video. Further, when the Hear selection button 305 is clicked with the mouse, it is possible to listen to the story of the other party who is sending the corresponding video.
[0045]
Reference numeral 306 denotes an operation window for changing the voice input / output level, and the voice input / output level can be adjusted. Also, by inputting and setting the device name in the input window 307, it is possible to control the audio input / output of the video / audio communication device at a remote point via the network 215.
[0046]
308 and 309 are icons for displaying whether or not there is a transmission request from the voice transmission side. Reference numerals 310 to 312 denote changes in the display state of the Talk selection button 304. That is, the communication connection status with respect to each site (each communication device) whose video is displayed in the multipoint video display window 303 is expressed by changing the display status of the Talk selection button 304.
[0047]
FIG. 4 is a process configuration diagram of this embodiment.
In FIG. 4, 401 is a video transmission process, which captures and transmits a video. Reference numeral 402 denotes a multi-point video display process, and videos of arbitrary six points among a plurality of videos transmitted from the multi-points via the network 215 by the video transmission process 401 are displayed in the multi-point video display window 303. Display in format.
[0048]
A camera control server 403 receives a camera control command via the network 215 and issues the camera control command to the camera control device 202 to actually control the video camera 201. Reference numeral 404 denotes a camera control client. When a camera operation is performed on an operation screen (not shown), a corresponding camera control command is issued via the network 215 to the camera control server 403 of the video / audio communication apparatus to be controlled. To do.
[0049]
Reference numeral 405 denotes an audio transmission process that captures and transmits audio and displays the audio transmission symbol 301. Reference numeral 406 denotes a voice reception process, which simultaneously mixes and outputs a plurality of voices transmitted from multiple points via the network 215 by the voice transmission symbol 301 and displays the voice reception symbol 302.
[0050]
Each process 401 to 406 described above is assumed to be operating on each of the video / audio communication apparatuses 200a, 200b, 200c, 200d,.
Next, reference numeral 407 denotes an access management process, which manages access of all camera video, audio, and operations of all the devices connected to the network 215 (video / audio communication devices 200a, 200b, 200c, 200d,...). Yes. Accordingly, only one access management process 407 is operating on the network 215.
[0051]
Next, in the multipoint communication system configured as described above, first, a Hear function, that is, a function of listening to remote multipoint audio will be described.
Here, it is assumed that the sound of a site where the selected video is present among a plurality of videos displayed in the multipoint video display window 303 is heard.
[0052]
The video is selected by clicking the Hear selection button 305 provided at the bottom of each video window of the multipoint video display window 303 with a mouse. It should be noted that a plurality of Hear selection buttons 305 can be selected at the same time, and sounds from a plurality of points can be heard simultaneously.
[0053]
First, when the Hear selection button 305 is pressed, the voice reception process 406 issues a voice reception request to the access management process 407. Upon receiving this request, the access management process 407 notifies the voice reception process 406 of the addresses of all the voice transmission hosts selected on the multipoint video display window 303.
[0054]
As communication means here, there are RPC, TCP, UDP (Remote Procedure Call, Transmission Control Protocol, User Diagram Protocol: all are communication protocols based on UNIX), etc., but there is no particular concern.
[0055]
As a result, the voice reception process 406 and the voice transmission process 405 of each selected site are connected, and the voice of the transmission host can be received by the reception host. However, in this voice transmission / reception, multicast communication or broadcast communication is used as in the Talk function described below.
[0056]
Next, the Talk function, that is, a function for simultaneously speaking to a remote multipoint will be described.
In this example, it is assumed that a site having a selected video among a plurality of videos displayed in the multipoint video display window 303 is spoken.
[0057]
The video is selected by clicking a Talk selection button 304 provided at the bottom of each video window of the multipoint video display window 303. It should be noted that a plurality of Talk selection buttons 304 can be selected at the same time as the Hear selection button 305 and can talk to a plurality of points simultaneously.
[0058]
First, when the Talk selection button 304 is pressed, the voice transmission process 405 issues a voice transmission request to the access management process 407. Upon receiving this request, the access management process 407 notifies the voice reception host 406 of the voice reception process 406 of all the voice reception hosts selected on the multipoint video display window 303.
[0059]
In addition, a transmission pause command is sent to the voice transmission process 405 on the voice receiving host to temporarily interrupt voice transmission. In this way, echo can be prevented without an echo canceller.
The communication means here includes RPC, TCP, UDP, etc., but is not particularly limited.
[0060]
As a result, the voice transmission process 405 is connected to the voice reception process 406 of each selected site, and the voice of the transmission host can be sent to the reception host. At this time, multicast communication or broadcast communication is used in order to enable simultaneous transmission of audio to all sites (a plurality of points) that transmit audio.
[0061]
Next, a communication connection method on the side that is talked when executing the Talk function, that is, the voice receiving side will be described.
In the present embodiment, the three connection modes (1) to (3) described above are provided as communication connection methods on the receiving side. On the voice receiving side, the setting can be changed at any time to any one of these three connection modes.
[0062]
FIG. 5 is a flowchart showing the operation of the voice communication process (voice sending process 405 and voice receiving process 406).
In the second connection mode described above, when the voice transmission process 405 transmits voice to the voice reception process 406, the voice transmission process 405 first issues a transmission request to the access management process 407 (step S501).
[0063]
Upon receiving this transmission request, the access management process 407 notifies the voice reception process 406 that voice is transmitted from the voice transmission process 405 by inter-process communication. Upon receiving this notification, the voice receiving process 406 uses a method such as ringing or changing the icon display shown in FIG. 3 from 308 to 309 to send the voice to the voice receiver. Inform it that it will be sent.
[0064]
Correspondingly, the voice receiver determines whether to permit the communication connection. At this time, as means for permitting the voice receiver to establish a communication connection (allowing reception of voice), the icon 309 is selected (double-clicked), or the icon is displayed in any one of the multi-point video display windows 303. A method such as dragging and dropping 309 is used.
[0065]
When the voice receiver gives permission for communication connection by the above-described method (step S502), in order to notify the voice sender that the communication connection is permitted, a ring sound is generated on the voice transmitting side as follows (step S502). Step S503). First, after confirming the permission of the voice receiver, the access management process 407 notifies the voice transmission process 405 that the permission has been issued on the voice receiving side by inter-process communication.
[0066]
Upon receiving this notification, the audio transmission process 405 drives the audio output control device 208 on the audio transmission side and sounds a ring sound from the speaker 207.
Here, instead of sounding a ring sound, a method of popping up a dialog panel indicating that access is permitted may be used.
[0067]
Next, the audio transmission side determines whether or not the video of the audio reception side has been deleted from the multipoint video display window 303 (step S504). If it has been deleted, the video transmission process 401 causes the multipoint video display process 402 to display the video again in the multipoint video display window 303 (step S507).
[0068]
In this video display method, the video transmission process 401 may automatically display the multipoint video display process 402 so that the video transmission process 401 displays an icon (not shown). Then, the audio sender may click the icon to transmit the video and display it.
[0069]
When the voice receiver grants access permission, the access management process 407 confirms the permission, and then notifies the voice reception process 406 of the address of the voice transmission process 405 (step S505). Thereby, the voice transmission process 405 and the voice reception process 406 are connected (step S506), and voice transmission / reception is enabled.
[0070]
At this time, the access management process 407 notifies the multipoint video display process 402 of the address of the video transmission process 401, thereby connecting the video transmission process 401 and the multipoint video display process 402. As a result, at the same time as the communication connection by audio, it is possible to display the video on the audio transmission side in any one of the multipoint video display windows 303 on the audio reception side.
[0071]
Since the system assumed in this embodiment is not limited to voice two-way communication like a telephone, the reception of voice is accepted only when permitted on the receiving side by adopting the method described above. Audio communication can be performed more smoothly.
Note that the above processing is performed for all sites selected in the multipoint video display window 303.
[0072]
In the second and third connection modes described above, when the communication connection is rejected (step S502), the access management process 407 confirms that the connection is rejected and then confirms that the connection is rejected to the voice transmission process 405. By notifying, the voice sender is notified of the connection refusal (step S508).
[0073]
At this time, the memo data written by the voice receiver may be displayed on the screen of the voice sender so that some memo can be transmitted to the voice sender. Such a function can be easily realized by using a remote display function in a network transparent X-Window System or the like.
[0074]
In the present embodiment, the communication connection status for each site where video is displayed in the multipoint video display window 303 is
▲ 1 ▼ No voice transmission
(2) Communication connection is allowed and voice is being transmitted
(3) Communication connection refused
In order to make it clear to the voice sender on the voice transmission side, the Talk selection button 304 of each window is set in accordance with the above-mentioned situations (1), (2), and (3). 3 are changed as indicated by 310, 311 and 312 in FIG.
[0075]
On the other hand, the voice reception process 406 notifies the access management process 407 that the connection has been refused. In addition, the voice receiving process 406 leaves an icon (not shown) representing the voice sender on the screen of the voice receiving side (step S509). Then, an event wait state is entered (step S510).
[0076]
When the voice receiver later selects (double-clicks) the icon displayed in step S509 to permit the connection, the voice reception process 406 notifies the access management process 407 of this. Receiving this notification, the access management process 407 notifies the voice transmission process 405 by inter-process communication that the voice receiver once again permitted the communication connection.
[0077]
Upon receiving this notification, the voice transmission process 405 drives the voice output control device 208 and sounds a ring sound from the speaker 207 to notify the voice sender that the communication connection is permitted (step S503).
Here, instead of sounding a ring sound, a method of popping up a dialog panel indicating that access is permitted may be used.
[0078]
At this time, if the audio transmission side has deleted the video of the audio reception side from the multipoint video display window 303 (step S504), the video is displayed again as described above (step S507). .
As a result, even after the voice receiver refuses the communication connection once, the communication connection can be reestablished by an easy operation.
[0079]
The above mode setting and communication connection state change are performed through the access management process 407. That is, the access management process 407 manages the communication connection status of all hosts.
[0080]
FIG. 6 is a diagram illustrating an example of a management table managed by the access management process 407.
In FIG. 6, reference numeral 601 denotes a voice transmission process list, which has a first field 611 and a second field 612.
[0081]
In the first field 611, the names of all devices in which the voice transmission process 405 is operating on the network, that is, the names of devices that are performing voice transmission are registered. That is, when the voice transmission process 405 is activated, the activation device name is registered in the first field 611.
[0082]
In this embodiment, since the workstation is used, the host name of the workstation is used as the device name.
In the second field 612, a pointer to a voice reception process list 602 provided corresponding to each voice transmission process 405 described below is registered.
[0083]
The voice reception process list 602 has one set corresponding to each entry of the voice transmission process list 601. In this voice reception process list 602, the login names of all users who have started the voice reception process 406 receiving the voice of the corresponding voice transmission process 405 and the host names on which the voice reception process 406 is operating are displayed. be registered.
[0084]
In FIG. 6, for example, the host name / user login name that receives (listens to) the voice of the voice transmission process 405 operating on host 3 is hostA / person1, hostB / person2, hostC / person3,. is there. Note that the login name is the name used when logging into the workstation.
[0085]
The update of the voice reception process list 602 occurs when the voice reception process 406 is activated and when the voice output in the voice reception process 406 is switched using a menu or the like. At this time, the combination data of the list composed of the host name / user login name of the workstation that started the voice receiving process 406 and the new microphone host name that is going to output voice is sent from the voice receiving process 406 to the access management process 407. Is sent in the form of an update request.
[0086]
Next, reference numeral 603 denotes a mode setting list in which all user login names of hosts on which the voice reception process 406 is operating and the types of communication connection modes set in those hosts are registered.
[0087]
As described above, according to this embodiment, since the mode at the time of communication connection can be set on the voice receiving side, it is possible to receive the voice only when the communication connection is permitted. Therefore, there is no possibility that the voice from another user is suddenly interrupted against his intention. Moreover, since the connection state of the voice communication for each user is presented to the voice transmission side, the voice sender can easily grasp the communication connection status of each user.
[0088]
Further, as means for permitting the voice receiver to establish a communication connection, the icon 309 shown in FIG. 3 is selected (double-clicked), or the icon 309 is dragged and dragged into any one of the multipoint video display windows 303. Since the drop method is used, the operation is very simple and the usability is improved.
[0089]
Next, a second embodiment will be described. This second embodiment shows an example in which the setting of the communication connection mode in the first embodiment described above can be changed by a partner on the voice transmission side. In the second embodiment, the management table shown in FIG. 6 shown in the first embodiment is replaced with a management table as shown in FIG. Only the differences from the first embodiment will be described below.
[0090]
In FIG. 7, the voice transmission process list 701 has a third field 713 in addition to the first field 611 and the second field 612 described in FIG. In the third field 713, a pointer to a mode setting list 703 provided corresponding to each voice transmission process 405 described below is registered.
[0091]
The mode setting list 703 has one set corresponding to each entry of the voice transmission process list 701. In this mode setting list 703, the communication connection mode set by each voice reception process 406 for the corresponding voice transmission process 405 is registered.
[0092]
FIG. 8 is a diagram showing a window for setting a communication connection mode for each voice sender.
In FIG. 8, reference numeral 801 denotes a window that displays a list of voice senders, that is, partners who may send voices to themselves.
[0093]
Reference numeral 802 denotes a window for displaying a communication connection mode, and the connection mode setting can be changed for each voice sender. That is, by inputting the voice sender name and connection mode in the input window 803 (for example, by an operation unit such as a keyboard (not shown)), the table of the mode setting list 703 is updated, and the connection mode is set for each voice sender. Can be changed.
[0094]
As described above, according to the second embodiment, on the voice receiving side, the mode at the time of communication connection can be individually changed according to the partner on the voice transmitting side. The voice can be received only from the desired party even when the communication connection is permitted. Thereby, a more desirable communication connection can be realized.
[0095]
【The invention's effect】
As described above, the present invention provides the mode setting means for setting the mode at the time of communication connection on the voice receiving side, so that only when the user on the receiving side permits the communication connection according to the set mode, Thus, it is possible to eliminate a situation in which a voice from another user is suddenly interrupted against his / her intention.
[0096]
According to another feature of the present invention, since the setting mode at the time of communication connection can be changed for each partner on the voice transmission side, the connection mode on whether to permit communication connection on the voice reception side is set to voice. It becomes possible to freely set for each partner on the transmission side, so that it is possible to receive voice from only a desired partner among a plurality of communication partners, and a more desirable communication connection can be realized. .
[Brief description of the drawings]
FIG. 1 is a block diagram showing elemental features of the present invention.
FIG. 2 is a block diagram illustrating a configuration example of a multipoint communication system according to the first and second embodiments.
3 is a diagram showing an example of a display screen displayed on the bitmap display shown in FIG. 2. FIG.
FIG. 4 is a process configuration diagram of the first and second embodiments.
FIG. 5 is a flowchart showing the operation of a voice communication process (voice sending process and voice receiving process) in the first embodiment.
FIG. 6 is a diagram showing an example of a management table in the first embodiment managed by an access management process.
FIG. 7 is a diagram showing an example of a management table in the second embodiment managed by an access management process.
FIG. 8 is a diagram showing a window for setting a communication connection mode for each voice sender in the second embodiment.
[Explanation of symbols]
1 Terminal equipment on the voice receiving side
2, 3 Voice transmission terminal equipment
4 network
11 Communication means
12 Mode setting means
13 Connection management means
14 Connection state presentation means
204 Network I / F
209 CPU
210 Main memory
212 mouse
213 Bitmap display

Claims (6)

映像音声入力手段と、上記映像音声入力手段から取り込んだ映像および音声をネットワーク上に配送する手段と、上記配送手段によって配送される複数地点からの映像および音声を出力する出力手段とを有する端末装置がそれぞれ上記ネットワーク上に複数存在し、映像および音声を相互に送受信する多地点間通信システムにおいて、
上記端末装置は、上記音声を受信する際のモードとして、
接続許否の確認なしに即座に接続する第1の接続モードと、
音声受信側に対して音声がこれから送信されることを知らせ、受信側の許可が得られたときに接続し、受信側の許可が得られないときには接続しないようにする第2の接続モードと、
接続を拒否し、必要に応じてメモを音声送信側に伝える第3の接続モードとを有し、
上記接続モードの設定を切り替えるモード設定手段を備えたことを特徴とする多地点間通信システム。
A terminal device having video / audio input means, means for delivering video and audio captured from the video / audio input means to a network, and output means for outputting video and audio from a plurality of points delivered by the delivery means In a multipoint communication system in which a plurality of each exist on the network and transmit and receive video and audio to and from each other,
The terminal device as a mode for receiving the voice,
A first connection mode for immediate connection without confirmation of connection permission;
A second connection mode that informs the voice receiving side that the voice is about to be transmitted, connects when the permission of the receiving side is obtained, and does not connect when the permission of the receiving side is not obtained;
A third connection mode for rejecting the connection and transmitting a memo to the voice transmission side as necessary;
A multipoint communication system comprising mode setting means for switching the connection mode setting.
上記モード設定手段は、上記通信接続時のモードの設定を音声送信側の相手ごとに変更可能とすることを特徴とする請求項1に記載の多地点間通信システム。  2. The multipoint communication system according to claim 1, wherein the mode setting means can change the mode setting at the time of the communication connection for each partner on the voice transmission side. 上記音声の送信側に対して通信接続の状態を提示する手段を更に備えたことを特徴とする請求項1に記載の多地点間通信システム。  The multipoint communication system according to claim 1, further comprising means for presenting a communication connection state to the voice transmitting side. 上記第2の接続モードにおいて、音声受信側における通信接続の許可は、表示装置に表示されている音声送信側を表すシンボルを、上記音声送信側からの映像に重ねて置くことにより行うことを特徴とする請求項1に記載の多地点間通信システム。  In the second connection mode, permission of communication connection on the audio receiving side is performed by placing a symbol representing the audio transmitting side displayed on the display device over the video from the audio transmitting side. The multipoint communication system according to claim 1. ネットワーク上の複数地点に接続された端末間で少なくとも音声を相互に送受信するようになされた多地点間通信システムにおいて、
上記音声を受信する端末装置は、上記音声を受信する際のモードとして、
接続許否の確認なしに即座に接続する第1の接続モードと、
音声受信側に対して音声がこれから送信されることを知らせ、受信側の許可が得られたときに接続し、受信側の許可が得られないときには接続しないようにする第2の接続モードと、
接続を拒否し、必要に応じてメモを音声送信側に伝える第3の接続モードとを有し、
上記接続モードの設定を切り替えるモード設定手段を備えたことを特徴とする多地点間通信システム。
In a multipoint communication system adapted to transmit and receive at least audio between terminals connected to a plurality of points on a network,
The terminal device that receives the sound has a mode for receiving the sound,
A first connection mode for immediate connection without confirmation of connection permission;
A second connection mode that informs the voice receiving side that the voice is about to be transmitted, connects when the permission of the receiving side is obtained, and does not connect when the permission of the receiving side is not obtained;
A third connection mode for rejecting the connection and transmitting a memo to the voice transmission side as necessary;
A multipoint communication system comprising mode setting means for switching the connection mode setting.
ネットワークを介して少なくとも音声を送受信するための通信端末装置において、
上記音声を受信する際のモードとして、
接続許否の確認なしに即座に接続する第1の接続モードと、
音声受信側に対して音声がこれから送信されることを知らせ、受信側の許可が得られたときに接続し、受信側の許可が得られないときには接続しないようにする第2の接続モードと、
接続を拒否し、必要に応じてメモを音声送信側に伝える第3の接続モードとを有し、
上記接続モードの設定を切り替えるモード設定手段を備えたことを特徴とする通信端末装置。
In a communication terminal device for transmitting and receiving at least voice over a network,
As a mode when receiving the above voice,
A first connection mode for immediate connection without confirmation of connection permission;
A second connection mode that informs the voice receiving side that the voice is about to be transmitted, connects when the permission of the receiving side is obtained, and does not connect when the permission of the receiving side is not obtained;
A third connection mode for rejecting the connection and transmitting a memo to the voice transmission side as necessary;
A communication terminal device comprising mode setting means for switching the setting of the connection mode.
JP22356295A 1995-08-31 1995-08-31 Multipoint communication system and communication terminal device Expired - Fee Related JP3706660B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP22356295A JP3706660B2 (en) 1995-08-31 1995-08-31 Multipoint communication system and communication terminal device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22356295A JP3706660B2 (en) 1995-08-31 1995-08-31 Multipoint communication system and communication terminal device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2005179765A Division JP4324134B2 (en) 2005-06-20 2005-06-20 Communication system and communication terminal device

Publications (2)

Publication Number Publication Date
JPH0970029A JPH0970029A (en) 1997-03-11
JP3706660B2 true JP3706660B2 (en) 2005-10-12

Family

ID=16800112

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22356295A Expired - Fee Related JP3706660B2 (en) 1995-08-31 1995-08-31 Multipoint communication system and communication terminal device

Country Status (1)

Country Link
JP (1) JP3706660B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10268930A (en) * 1997-03-26 1998-10-09 Mitsubishi Electric Corp Plant monitoring controller and its method
CN1128542C (en) * 1998-04-03 2003-11-19 松下电器产业株式会社 Portable viewing system
US7404001B2 (en) * 2002-03-27 2008-07-22 Ericsson Ab Videophone and method for a video call
US6905414B2 (en) * 2002-05-16 2005-06-14 Microsoft Corporation Banning verbal communication to and from a selected party in a game playing system
JP4655190B2 (en) 2004-08-06 2011-03-23 ソニー株式会社 Information processing apparatus and method, recording medium, and program
JP6369212B2 (en) * 2014-08-11 2018-08-08 富士ゼロックス株式会社 Information processing apparatus, information processing system, program, and recording medium
JP6632019B1 (en) * 2019-08-06 2020-01-15 株式会社サークル・ワン Monitoring system

Also Published As

Publication number Publication date
JPH0970029A (en) 1997-03-11

Similar Documents

Publication Publication Date Title
US5491743A (en) Virtual conference system and terminal apparatus therefor
RU2144283C1 (en) Method and device for controlling access of participants into conference call system
US9356891B2 (en) Voice messaging interface
US8095665B1 (en) User-friendly features for real-time communications
JPH09247637A (en) Video audio communication system, video communication system and transmission and reception terminals
WO2000060809A1 (en) Apparatus and method for establishing an audio conference in a networked environment
JP3638146B2 (en) Video conference system, terminal used therefor, connection control method, and connection control program
WO2005036856A1 (en) System and method for establishing a parallel conversation thread during a remote collaboration
JP2006238328A (en) Conference system, conference terminal and portable terminal
JPH08298653A (en) Video conference system and its terminal equipment
JP2004214934A (en) Terminal and program for presence information processing, and presence service providing server
JP3706660B2 (en) Multipoint communication system and communication terminal device
JP2003219010A (en) Exchange system and exchange method
US7978839B2 (en) Communication system, server equipment and terminal equipment
JP2012075024A (en) Terminal device for electronic conference, connection control method in terminal device for electronic conference and connection control program
JP4324134B2 (en) Communication system and communication terminal device
JP3163227B2 (en) Terminal device
JP5234744B2 (en) Video conference apparatus, video conference method, video conference program, and recording medium
JP6369212B2 (en) Information processing apparatus, information processing system, program, and recording medium
JP3359191B2 (en) Image input system
JP2008252177A (en) Electronic conference system, information processor, and program
JPH08294103A (en) Communication terminal equipment and communication system
JP7248351B1 (en) Terminal device, output method, and program
WO2023223585A1 (en) Conference management device, conference management method, and program
WO2022097350A1 (en) Meeting management device, meeting management method, and program

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050419

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050719

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050801

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080805

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090805

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090805

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100805

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110805

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120805

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees