JP6524732B2 - 通信装置、通信システム、通信装置の制御方法およびプログラム - Google Patents

Description

本発明は、通信装置、通信システム、通信装置の制御方法およびプログラムに関する。

インターネットなどの通信ネットワークを利用して双方向コミュニケーションを実現する通信システムの一つとして、地理的に離れた拠点間での遠隔会議を可能にするテレビ会議システムが普及している。テレビ会議システムでは、通信ネットワークに接続された各拠点の通信装置同士で通信を行い、ある拠点のカメラやマイクにより収集された会議参加者の映像や音声を他拠点の表示装置やスピーカから出力することにより、遠隔会議を実現している。

テレビ会議システムにより多拠点間の遠隔会議を行う場合、各拠点の表示装置を領域分割して、複数の他拠点の映像を同時に表示させることが多い。その際、各拠点に複数のカメラを配置して、システムを通じて対話中の会議参加者同士の視線が一致するように、複数のカメラで各々撮影された映像の送信先を決定する技術が知られている。例えば、特許文献１に記載の技術では、他拠点からの映像を表示する表示装置の複数の位置に各々対応させて、その位置を注視するユーザの正面の映像を撮影する正面用撮像装置と、その位置を注視するユーザの横顔を撮影する横顔用撮像装置とを設けている。そして、ユーザが表示装置のある位置に注視しているときに、その位置に表示している映像の送信元の拠点に対しては正面用撮像装置で撮影された映像を送信し、他の拠点に対しては横顔用撮像装置で撮影された映像を送信するようにしている。

しかし、特許文献１に記載の技術では、遠隔コミュニケーションを行う拠点数に対応する数の正面用撮像装置および横顔用撮像装置を各拠点に配置する必要があるため、拠点数が多くなると現実的な運用が困難になる。また、表示装置の大きさにも限界があるため、拠点数の増加に適切に対応することが難しい。

上述した課題を解決するため、本発明は、複数の外部通信装置と通信する通信装置であって、通信相手となる前記外部通信装置のうち、所定基準に従って決定された順位が上位の第１外部通信装置から送信された映像を第１表示領域に表示させ、前記順位が下位の第２外部通信装置から送信された映像を第２表示領域に表示させるように、表示装置の表示を制御する表示制御部と、前記表示装置の前記第１表示領域と前記第２表示領域との各領域に対応して各々設けられる複数のカメラと、前記複数のカメラのうち前記第１表示領域に対応する第１カメラであって、ユーザが前記第１表示領域を注視したときに当該ユーザの視線を捉えるように配置された前記第１カメラにより撮影された映像を前記第１外部通信装置に送信し、前記複数のカメラのうち前記第２表示領域に対応する第２カメラであって、前記第１表示領域または前記第２表示領域を注視するユーザの視線を捉えないように配置された前記第２カメラにより撮影された映像を前記第２外部通信装置に送信するように制御する送信制御部と、を備える。

本発明によれば、拠点数が多い場合でも各拠点の映像の表示や送信を適切に行い、対話中のユーザの視線を一致させて自然な対話を実現することができる。

図１は、実施形態のテレビ会議システムの概略構成図である。 図２は、端末に接続される表示装置と複数のカメラを説明する模式図である。 図３は、端末のハードウェア構成の一例を示すブロック図である。 図４は、中継サーバのハードウェア構成の一例を示すブロック図である。 図５は、端末の機能的な構成例を示すブロック図である。 図６は、話者履歴情報の一例を示す図である。 図７は、表示管理テーブルの一例を示す図である。 図８は、端末の処理手順の一例を示すフローチャートである。 図９は、中継サーバの機能的な構成例を示すブロック図である。 図１０は、映像対応管理テーブルの一例を示す図である。 図１１は、受信要求管理テーブルの一例を示す図である。 図１２は、端末からの映像対応指示に応じた中継サーバの転送動作の一例を示すシーケンス図である。 図１３は、端末からの受信要求に応じた中継サーバの転送動作の一例を示すシーケンス図である。

以下に添付図面を参照して、本発明に係る通信装置、通信システム、通信装置の制御方法およびプログラムの実施形態を詳細に説明する。以下では、本発明を適用した通信システムの一例として、地理的に離れた拠点間での遠隔会議を可能にするテレビ会議システムを例示する。このテレビ会議システムでは、各拠点に配置されたテレビ会議用端末（以下、「端末」と表記する）が通信ネットワークを利用した通信を行うことにより遠隔会議を実現する。ただし、本発明が適用可能な通信システムはこの例に限らない。本発明は、複数の通信装置の間で映像を送受信する各種の通信システム、および、この通信システムで用いられる各種の通信装置に対して、広く適用可能である。

図１は、本実施形態のテレビ会議システム１の概略構成図である。本実施形態のテレビ会議システム１は、図１に示すように、各拠点に配置された端末１０（「通信装置」に相当）と、中継サーバ２０（「中継装置」に相当）とが、通信ネットワーク３０を介して接続された構成である。通信ネットワーク３０は、例えば、インターネットやＬＡＮ（Local Area Network）などのネットワーク技術を単独または組み合わせて構築される。この通信ネットワーク３０には、有線だけでなく、ＷｉＦｉ（Wireless Fidelity）やＢｌｕｅｔｏｏｔｈ（登録商標）などの無線による通信が行われる箇所が含まれていてもよい。

テレビ会議システム１に含まれる端末１０の数は、会議に参加する拠点数に対応する。本実施形態では、一例として、拠点Ａ〜Ｇの７拠点間での遠隔会議を行うことを想定し、７つの端末１０が通信ネットワーク３０に接続されているものとする。なお、各端末１０の登録や管理、会議に参加する各拠点の端末１０がテレビ会議システム１にログインする処理、各拠点の端末１０間で通信を行うためのセッションを確立する処理などは、例えば特開２０１４−２０９２９９号公報などに開示された公知の技術を用いることができるので、ここでは詳細な説明は省略する。

端末１０は、他拠点の端末１０との間でのデータの送受信や、受信したデータの出力制御などを行う。ここで扱われるデータは、カメラにより撮影された映像や、マイクにより収録された音声などである。端末１０間の映像や音声のデータ伝送は、中継サーバ２０を介して行われる。なお、端末１０は、テレビ会議システム１に専用の専用端末であってもよいし、ＰＣ（パーソナルコンピュータ）やスマートフォン、タブレット端末などの汎用端末であってもよい。これらの汎用端末は、後述の端末用プログラムをインストールすることによって、アプリケーションの一つとして端末１０の機能を実現する。

端末１０には、図１に示すように、少なくとも１つの表示装置４０と複数のカメラ５０とが、有線または無線により接続されている。表示装置４０は、他拠点の端末１０から中継サーバ２０を介して送信された映像を表示するために用いられる。複数のカメラ５０は、他拠点の端末１０に中継サーバ２０を介して送信する映像を撮影するために用いられる。なお、図１では便宜上、拠点Ａの端末１０のみに表示装置４０と複数のカメラ５０とが接続された様子を図示しているが、拠点Ｂ〜Ｇの他の拠点の端末１０にも同様に、表示装置４０と複数のカメラ５０とが接続される。

中継サーバ２０は、各拠点の端末１０間における映像や音声のデータ伝送を中継するサーバコンピュータであり、どの端末１０からのデータをどの端末１０に送信するかの管理などを行う。なお、中継サーバ２０を介したデータ伝送の形式は任意である。例えば、映像のデータ伝送はＨ．２６４／ＳＶＣの形式で行ってもよいし、Ｈ．２６４／ＭＰＥＧ４ ＡＶＣ、Ｈ．２６５などの他の形式で行ってもよい。

図２は、各拠点の端末１０に接続される表示装置４０と複数のカメラ５０を説明する模式図である。テレビ会議システム１では、多拠点（本実施形態では拠点Ａ〜Ｇの７拠点）間での遠隔会議における各拠点の表示装置４０による表示を効率よく行うため、各拠点の表示装置４０の表示画面を領域分割して、複数の他拠点の端末１０から送信された映像を同時に表示できるようにしている。

具体的には、表示装置４０は、複数の他拠点の端末１０（「複数の外部通信装置」に相当）のうち、所定基準に従って決定された順位が上位の端末１０（「第１外部通信装置」に相当）からの映像を表示する上位表示領域４０ａ〜４０ｄ（「第１表示領域」に相当）と、決定された順位が下位の端末１０（「第２外部通信装置」に相当）からの映像を切り替え可能に表示する下位表示領域４０ｅ（「第２表示領域」に相当）とを含む。図２は拠点Ａに設けられた表示装置４０を例示しており、拠点Ｂ〜Ｇの６つの他拠点の端末１０のうち、順位が１位から４位までの上位４つの端末１０からの映像を表示するための４つの上位表示領域４０ａ〜４０ｄと、順位が５位と６位の下位２つの端末１０からの映像を切り替え可能に表示する下位表示領域４０ｅとを含んでいる。

拠点Ａの端末１０は、拠点Ｂ〜Ｇの６つの他拠点の端末１０のうち、所定基準に従って決定された順位が１位から４位までの上位４つの端末１０からの映像を上位表示領域４０ａ〜４０ｄに表示させ、決定された順位が５位と６位の下位２つの端末１０からの映像を選択的に下位表示領域４０ｅに表示させるように、表示装置４０の表示を制御する。

図２の例では、拠点Ｂ〜Ｇの６つの他拠点の端末１０のうち、拠点Ｂ，Ｃ，Ｄ，Ｅの端末１０の順位が１位から４位であり、拠点Ｆ，Ｇの端末１０の順位が５位と６位であった場合を想定している。このため、表示装置４０の４つの上位表示領域４０ａ〜４０ｄには拠点Ｂ，Ｃ，Ｄ，Ｅの端末１０からの映像が各々表示され、下位表示領域４０ｅには拠点Ｆからの映像が表示されている。下位表示領域４０ｅに表示される映像は、例えば周期的に、あるいはユーザ操作に応じて、拠点Ｆからの映像と拠点Ｇからの映像とで交互に切り替えられる。また、上位表示領域４０ａ〜４０ｄに表示されている拠点Ｂ，Ｃ，Ｄ，Ｅの端末１０からの映像は、その端末１０の順位が上位である間は、上位表示領域４０ａ〜４０ｄの中で現在表示されている位置での表示が継続される。つまり、上位表示領域４０ａ〜４０ｄに表示されている映像は、その送信元の端末１０の順位が下位（５位以降）にならない限り、表示位置が変更されない。

なお、図２の例では、表示装置４０の表示画面に４つの上位表示領域４０ａ〜４０ｄを設けているが、上位表示領域の数は、表示装置４０の表示画面の大きさや会議に参加する拠点数に応じて適宜設定すればよく、図２の例に限定されるものではない。また、図２の例では、表示装置４０の画面中央に下位表示領域４０ｅを設けているが、下位表示領域の位置は任意であり、図２の例に限定されるものではない。また、図２の例では、単一の表示装置４０の表示画面に４つの上位表示領域４０ａ〜４０ｄと下位表示領域４０ｅとを設けているが、端末１０に複数の表示装置４０を接続し、これら複数の表示装置４０に上位表示領域４０ａ〜４０ｄと下位表示領域４０ｅとを分散して設ける構成であってもよい。

複数の他拠点の端末１０の順位は、例えば、各拠点の端末１０が送信する音声データから検出された発話の発生時刻が現在に近いほど当該発話を含む音声データの送信元の端末１０を上位とするといった基準に従って決定することができる。以下、このように決定された端末１０の順位を「話者順位」と呼ぶ。話者順位は、いずれかの端末１０が送信する音声データから発話が検出されるたびに更新される。つまり、いずれかの端末１０が送信する音声データから発話が検出されると、その端末１０の話者順位が１位となり、他の端末１０の話者順位が１つずつ繰り下がる。

なお、音声データから発話を検出する方法としては、例えば、音声データの音圧パワーが所定の閾値を超えた場合に発話とみなす方法など、公知の技術を用いればよい。音声データから発話を検出する機能や話者順位を決定する機能は、各拠点の端末１０が備えていてもよいし、中継サーバ２０が備えていてもよい。中継サーバ２０がこれらの機能を持つ構成の場合、中継サーバ２０により決定された話者順位が、その都度（話者順位が更新されるたびに）、各拠点の端末１０に通知される。また、複数の他拠点の端末１０の順位は、以上のような話者順位に限らず、例えば各拠点の端末１０に対して静的または動的に与えられる優先度など、他の基準に従って決定してもよい。

複数のカメラ５０は、図２に示すように、表示装置４０の分割された各領域に対応して各々設けられる。図２の例では、上位表示領域４０ａに対応するカメラ５０ａと、上位表示領域４０ｂに対応するカメラ５０ｂと、上位表示領域４０ｃに対応するカメラ５０ｃと、上位表示領域４０ｄに対応するカメラ５０ｄと、下位表示領域４０ｅに対応するカメラ５０ｅの５つのカメラ５０が設けられる。これらのうち、上位表示領域４０ａ〜４０ｄに対応するカメラ５０ａ〜５０ｄ（「第１カメラ」に相当）は、対応する上位表示領域を注視するユーザＵの視線を捉えるように配置される。すなわち、カメラ５０ａは、ユーザＵが上位表示領域４０ａを注視したときにその視線を捉えるように配置される。また、カメラ５０ｂは、ユーザＵが上位表示領域４０ｂを注視したときにその視線を捉えるように配置される。また、カメラ５０ｃは、ユーザＵが上位表示領域４０ｃを注視したときにその視線を捉えるように配置される。また、カメラ５０ｄは、ユーザＵが上位表示領域４０ｄを注視したときにその視線を捉えるように配置される。

ここで、「ユーザＵの視線を捉える」とは、ユーザＵの視線方向がカメラ５０の光軸方向と完全に一致することを意味するのではなく、ユーザＵがカメラ５０の方を向いていると見做せる映像を撮影することを意味する。すなわち、ユーザＵの視線方向とカメラ５０の光軸方向とにずれがあっても、ユーザＵの顔をほぼ正面から捉えた映像を撮影できれば、カメラ５０がユーザＵの視線を捉えているといえる。一例として、対応する上位表示領域の近傍に配置されたカメラ５０は、その上位表示領域を注視するユーザＵの顔をほぼ正面から捉えた映像を撮影できるので、ユーザＵの視線を捉えるように配置されているといえる。

一方、下位表示領域４０ｅに対応するカメラ５０ｅ（「第２カメラ」に相当）は、上位表示領域４０ａ〜４０ｄと下位表示領域４０ｅのいずれか（つまり、表示装置４０のいずれかの位置）を注視するユーザＵの視線を捉えないように配置される。すなわち、カメラ５０ｅは、表示装置４０に正対しているユーザＵの横顔など、ユーザＵの正面ではない映像を撮影するように、表示装置４０から離れた位置に配置される。

端末１０は、これらのカメラ５０ａ〜５０ｅにより各々撮影された映像のうち、カメラ５０ａ〜５０ｄにより撮像された映像を、対応する上位表示領域に表示されている映像の送信元である他拠点の端末１０に送信するように制御する。すなわち、図２の例では、上位表示領域４０ａには拠点Ｂの端末１０から送信された映像が表示されているため、拠点Ａの端末１０は、カメラ５０ａにより撮像された映像を拠点Ｂの端末１０に送信するように制御する。また、上位表示領域４０ｂには拠点Ｃの端末１０から送信された映像が表示されているため、拠点Ａの端末１０は、カメラ５０ｂにより撮像された映像を拠点Ｃの端末１０に送信するように制御する。また、上位表示領域４０ｃには拠点Ｄの端末１０から送信された映像が表示されているため、拠点Ａの端末１０は、カメラ５０ｃにより撮像された映像を拠点Ｄの端末１０に送信するように制御する。また、上位表示領域４０ｄには拠点Ｅの端末１０から送信された映像が表示されているため、拠点Ａの端末１０は、カメラ５０ｄにより撮像された映像を拠点Ｅの端末１０に送信するように制御する。

また、端末１０は、カメラ５０ｅにより撮影された映像を、話者順位が下位の他拠点の端末１０に送信するように制御する。図２の例では、話者順位が下位（５位と６位）の端末１０は、拠点Ｆの端末１０と拠点Ｇの端末１０であるので、拠点Ａの端末１０は、カメラ５０ｅにより撮影された映像を、拠点Ｆの端末１０と拠点Ｇの端末１０とに送信するように制御する。

本実施形態のテレビ会議システム１では、各拠点の端末１０が、以上のように表示装置４０の表示を制御するとともに、複数のカメラ５０で撮影された映像の送信を制御することにより、会議に参加する拠点数が多い場合でも各拠点の映像の表示や送信を適切に行い、対話中のユーザの視線を一致させて自然な対話を実現することができる。すなわち、図２に示した例において、拠点ＡのユーザＵが拠点Ｂのユーザと対話するシーンを考えた場合、拠点Ａの表示装置４０の上位表示領域４０ａには、拠点ＡのユーザＵの対話相手である拠点Ｂのユーザの視線を捉えた映像が表示される。拠点ＡのユーザＵは、この上位表示領域４０ａを注視して対話を行うため、ユーザＵの視線を捉えたカメラ５０ａの映像が拠点Ｂの端末１０に送信され、拠点Ｂの表示装置４０の上位表示領域に表示される。拠点Ｂにおいても同様に、拠点Ｂのユーザが拠点Ａからの映像が表示されている上位表示領域を注視して対話を行うため、拠点Ｂのユーザの視線を捉えた映像が拠点Ａの端末１０に送信される。その結果、拠点ＡのユーザＵと拠点Ｂのユーザとの間で視線を一致させて自然な対話を実現することができる。さらに、話者順位が下位の端末１０からの映像は、下位表示領域４０ｅに切り替え可能に表示される構成であるため、会議に参加する拠点数が多くなっても表示装置４０の表示画面を不用意に煩雑化することなく、適切な映像の表示を実現することができる。

次に、本実施形態のテレビ会議システム１における端末１０および中継サーバ２０のハードウェア構成について説明する。図３は、端末１０のハードウェア構成の一例を示し、図４は、中継サーバ２０のハードウェア構成の一例を示している。

端末１０は、図３に示すように、端末１０全体の動作を制御するＣＰＵ（Central Processing Unit）１０１、ＩＰＬ（Initial Program Loader）などのＣＰＵ１０１の駆動に用いられるプログラムを記憶したＲＯＭ（Read Only Memory）１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ（Random Access Memory）１０３、端末用プログラム、画像データや音声データなどの各種データを記憶するフラッシュメモリ１０４、ＣＰＵ１０１の制御に従ってフラッシュメモリ１０４に対する各種データの読み出しや書き込みを制御するＳＳＤ（Solid State Drive）１０５、メディア１０６に対するデータの読み出しや書き込み（記憶）を制御するメディアドライブ１０７、通信相手となる他の端末１０を選択する場合などに操作される操作ボタン１０８、端末１０の電源のオン／オフを切り換えるための電源スイッチ１０９、通信ネットワーク３０を利用してデータ伝送をするためのネットワークＩ／Ｆ（Interface）１１１を備えている。

また、端末１０は、ＣＰＵ１０１の制御に従って被写体を撮像して画像データを得る内蔵型のカメラ１１２、このカメラ１１２の駆動を制御する撮像素子Ｉ／Ｆ１１３、音声を入力する内蔵型のマイク１１４、音声を出力する内蔵型のスピーカ１１５、ＣＰＵ１０１の制御に従ってマイク１１４およびスピーカ１１５との間で音声信号の入出力を処理する音声入出力Ｉ／Ｆ１１６、ＣＰＵ１０１の制御に従って表示装置４０に表示する映像のデータを伝送するディスプレイＩ／Ｆ１１７、各種の外部機器を接続するための外部機器接続Ｉ／Ｆ１１８、端末１０の各種機能の異常を知らせるアラームランプ１１９、および上記各構成要素を電気的に接続するためのアドレスバスやデータバスなどのバスライン１１０を備えている。

上述した複数のカメラ５０（図２の例ではカメラ５０ａ〜５０ｅ）は、例えば外付けの外部機器として、外部機器接続Ｉ／Ｆ１１８に接続される。また、複数のカメラ５０の一部として内蔵型のカメラ１１２を用いてもよい。表示装置４０は、端末１０に外付けされる液晶パネルやプロジェクタなどの投影装置を想定するが、端末１０に内蔵された構成であってもよい。なお、図３に示す端末１０のハードウェア構成はあくまで一例であり、上記以外の他のハードウェアが追加されていてもよい。

上述した端末用プログラムは、例えばフラッシュメモリ１０４に格納され、ＣＰＵ１０１の制御によりＲＡＭ１０３上に読み出されて実行される。なお、端末用プログラムを格納するメモリは不揮発性メモリであればよく、フラッシュメモリ１０４に限らず、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）などを用いてもよい。また、端末用プログラムは、インストール可能な形式または実行可能な形式のファイルによって、コンピュータで読み取り可能な記録媒体であるメディア１０６に記録されて提供されるようにしてもよい。また、端末用プログラムは、ＲＯＭ１０２などに予め格納された組み込みプログラムとして提供されるようにしてもよい。

中継サーバ２０は、図４に示すように、中継サーバ２０全体の動作を制御するＣＰＵ２０１、ＩＰＬなどのＣＰＵ２０１の駆動に用いられるプログラムを記憶したＲＯＭ２０２、ＣＰＵ２０１のワークエリアとして使用されるＲＡＭ２０３、中継サーバ用プログラムなどの各種データを記憶するＨＤ（Hard Disc）２０４、ＣＰＵ２０１の制御に従ってＨＤ２０４に対する各種データの読み出しまたは書き込みを制御するＨＤＤ（HD Drive）２０５、メディア２０６に対するデータの読み出しや書き込み（記憶）を制御するメディアドライブ２０７、各種情報を表示するディスプレイ２０８、通信ネットワーク３０を利用してデータ伝送をするためのネットワークＩ／Ｆ２０９、キーボード２１１、マウス２１２、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ（Compact Disc Read Only Memory）２１３に対する各種データの読み出しまたは書き込みを制御するＣＤ−ＲＯＭドライブ２１４、および上記各構成要素を電気的に接続するためのアドレスバスやデータバスなどのバスライン２１０を備えている。

上述した中継サーバ用プログラムは、例えばＨＤ２０４に格納され、ＣＰＵ２０１の制御によりＲＡＭ２０３上に読み出されて実行される。また、中継サーバ用プログラムは、インストール可能な形式または実行可能な形式のファイルによって、メディア２０６やＣＤ−ＲＯＭ２１３などのコンピュータで読み取り可能な記録媒体に記録されて提供されるようにしてもよい。また、中継サーバ用プログラムは、ＲＯＭ２０２などに予め格納された組み込みプログラムとして提供されるようにしてもよい。

なお、着脱可能な記録媒体の他の例としては、ＣＤ−Ｒ（Compact Disc Recordable）、ＤＶＤ（Digital Versatile Disk）、ブルーレイディスクなどのコンピュータで読み取り可能な記録媒体が挙げられる。上述した各種のプログラムは、これらの記録媒体に記録されて提供されるようにしてもよい。

次に、端末１０の機能構成について説明する。図５は、端末１０の機能的な構成例を示すブロック図であり、図６は、端末１０が保持する話者履歴情報の一例を示す図、図７は、端末１０が保持する表示管理テーブルの一例を示す図である。

端末１０は、図５に示すように、操作入力受付部１１、映像入力部１２、音声入力部１３、記憶・読出処理部１４、送受信部１５、音声出力部１６、話者順位決定部１７、表示制御部１８および送信制御部１９を有している。これら各部は、例えば、図３に示したフラッシュメモリ１０４からＲＡＭ１０３上に展開された端末用プログラムをＣＰＵ１０１が実行することにより実現される機能である。また、端末１０は、例えば、図３に示したＲＡＭ１０３およびフラッシュメモリ１０４によって構成される記憶部１０００を有している。

記憶部１０００には、図６に示すような話者履歴情報を格納する話者履歴ＤＢ１１００と、図７に示すような表示管理テーブルを格納する表示管理ＤＢ１２００とが構築されている。また、記憶部１０００は、他拠点の端末１０から中継サーバ２０を介して送信された映像や音声のデータを一時的に保持する受信バッファとしても用いられる。

なお、本実施形態のテレビ会議システム１では、テレビ会議のセッションが確立すると、会議に参加する各拠点の端末１０間で送受信されるすべての映像および音声のデータに対して、各端末１０と中継サーバ２０とが共通に識別可能な一意のデータＩＤが割り振られるものとする。また、会議に参加する各拠点の端末１０は、他拠点の端末１０のＩＰアドレスを事前に把握しており、このＩＰアドレスにより各端末１０を識別するものとする。ただし、ＩＰアドレスの代わりに各端末１０に付与された固有の端末ＩＤにより各端末１０を識別する構成であってもよい。この場合、端末ＩＤから端末１０のＩＰアドレスを特定する機能を、例えば中継サーバ２０に持たせておけばよい。なお、端末ＩＤは端末１０に固有である必要はなく、各端末１０のユーザを識別する情報であってもよい。

話者履歴ＤＢ１１００に格納される話者履歴情報は、テレビ会議のセッションが継続している間に、どの端末１０の音声データから発話が検出されたかを、その発話の発生時刻順に記録した情報である。例えば、図６に示す話者履歴情報の例では、発話が検出された音声データのデータＩＤと、その音声データの送信元である端末１０のＩＰアドレスと、発話発生時刻とを対応付けたかたちで、発話の発生時刻順に（番号の値が小さいほど発話の発生時刻が現在に近い）記録されている。なお、図６に示す話者履歴情報の形式はあくまで一例であり、この例に限定されるものではない。この話者履歴情報は、いずれかの音声データから発話が検出されるたびに更新される。音声データからの発話の検出は、端末１０の内部で行ってもよいし、外部で行われてもよい。

表示管理ＤＢ１２００に格納される表示管理テーブルは、表示装置４０のどの表示領域にどの端末からの映像を表示しているかを、その表示領域に対応するカメラ５０で撮影される映像のデータＩＤとともに管理する。例えば、図７に示す表示管理テーブルの例では、表示装置４０の表示画面において領域分割された各表示領域（図２の例では上位表示領域４０ａ〜４０ｄおよび下位表示領域４０ｅ）ごとに、その表示領域に表示している映像のデータＩＤと、その映像の送信元である端末１０のＩＰアドレスと、その表示領域に対応するカメラ５０で撮影される映像のデータＩＤとを対応付けたかたちで管理している。なお、図７に示す表示管理テーブルの形式はあくまで一例であり、この例に限定されるものではない。この表示管理テーブルは、話者順位の更新などに応じて表示装置４０の表示が更新されるたびに書き換えられる。

操作入力受付部１１は、端末１０を使用するユーザによる各種の入力操作を受け付ける。操作入力受付部１１は、例えば、図３に示した操作ボタン１０８、電源スイッチ１０９およびＣＰＵ１０１によって実現される。

映像入力部１２は、複数のカメラ５０により撮影された映像を入力する。映像入力部１２は、例えば、図３に示した外部機器接続Ｉ／Ｆ１１８およびＣＰＵ１０１によって実現される。

音声入力部１３は、マイク１１４により収録された音声を入力する。音声入力部１３は、例えば、図３に示した音声入出力Ｉ／Ｆ１１６およびＣＰＵ１０１によって実現される。

記憶・読出処理部１４は、記憶部１０００に対して各種データを記憶したり、読み出したりする処理を行う。記憶・読出処理部１４は、例えば、図３に示したＳＳＤ１０５およびＣＰＵ１０１によって実現される。

送受信部１５は、通信ネットワーク３０を介して、中継サーバ２０との間で各種データの送受信を行う。送受信部１５は、例えば、図３に示したネットワークＩ／Ｆ１１１およびＣＰＵ１０１によって実現される。

音声出力部１６は、送受信部１５により受信された音声をスピーカ１１５から再生出力させる処理を行う。音声出力部１６は、例えば、図３に示した音声入出力Ｉ／Ｆ１１６およびＣＰＵ１０１によって実現される。

話者順位決定部１７は、記憶部１０００の話者履歴ＤＢ１１００に格納された話者履歴情報を参照して、上述した話者順位を決定する処理を行う。すなわち、話者順位決定部１７は、発話が検出された音声データの送信元として話者履歴情報にＩＰアドレスが記録されている他拠点の端末１０に対して、発話発生時刻が現在に近い（図６の例では番号の値が小さい）ほど上位となるように、これら他拠点の端末１０の話者順位を決定する。また、テレビ会議に参加しているが話者履歴情報にＩＰアドレスが記録されていない（つまり発話が検出されていない）他拠点の端末１０については、下位の順位を任意に割り当てる。話者履歴情報は、上述したように、いずれかの音声データから発話が検出されるたびに更新される。このため、話者順位決定部１７は、いずれかの音声データから発話が検出されるたびに最新の話者履歴情報を参照して、他拠点の端末１０に対する話者順位を更新することが望ましい。話者順位決定部１７は、例えば、図３に示したＣＰＵ１０１によって実現される。

なお、本実施形態では、話者順位決定部１７の機能を端末１０に持たせているが、上述したように、話者順位決定部１７の機能を中継サーバ２０に持たせるようにしてもよい。この場合、中継サーバ２０が話者履歴情報を保持し、いずれかの音声データから発話が検出されると話者履歴情報を参照して話者順位を決定して、決定した話者順位を各端末１０に通知する。各端末１０は、話者順位決定部１７の代わりに、この中継サーバ２０から通知された話者順位を取得する機能を持てばよい。

表示制御部１８は、送受信部１５により受信された他拠点の映像を１つの表示画面上で表示させるための描画処理などを行い、処理したデータを表示装置４０に受け渡すことにより、図２に示したような表示画面を表示装置４０に表示させる。具体的には、表示制御部１８は、まず、話者順位決定部１７により決定された他拠点の端末１０の話者順位に従って、話者順位が上位の端末１０からの映像を上位表示領域４０ａ〜４０ｄに表示させ、話者順位が下位の端末１０からの映像を下位表示領域４０ｅに表示させるように、他拠点の端末１０から送信される各映像に対する表示領域の割り当てを決定する。また、話者順位が下位の端末１０が複数ある場合は、周期的な表示切り替えのタイミングに応じて、あるいは、操作入力受付部１１が受け付けたユーザの操作入力（表示する映像を指定する操作入力）に応じて、話者順位が下位の複数の端末１０のうち、どの端末１０からの映像を下位表示領域４０ｅに表示させるかを決定する。

次に、表示制御部１８は、決定した表示領域の割り当てに従って、記憶部１０００の表示管理ＤＢ１２００に格納された表示管理テーブルを必要に応じて書き換えるとともに、受信すべき映像のデータＩＤと自身のＩＰアドレスとを含む受信要求を、送受信部１５から中継サーバ２０に送信する。そして、この受信要求に応じて中継サーバ２０から送信された映像が送受信部１５により受信されると、決定した表示領域の割り当てに従って受信した各映像を画面内に配置した表示画面の描画処理などを行い、図２に示したような表示画面を表示装置４０に表示させる。表示制御部１８は、例えば、図３に示したＣＰＵ１０１およびディスプレイＩ／Ｆ１１７によって実現される。

送信制御部１９は、記憶部１０００の表示管理ＤＢ１２００に格納された表示管理テーブルを参照して、話者順位が上位の端末１０に対しては当該端末１０からの映像を表示している上位表示領域に対応するカメラ５０により撮影された映像を送信し、話者順位が下位の端末１０に対しては下位表示領域に対応するカメラ５０により撮影された映像を送信するように、複数のカメラ５０により撮影された映像の宛先となる端末１０を決定する。そして、送信制御部１９は、各カメラ５０により撮影された映像のデータＩＤと、その映像の宛先となる端末１０のＩＰアドレスとを各々対応付けた映像対応指示を、送受信部１５から中継サーバ２０に送信する。中継サーバ２０では、この映像対応指示に従って各カメラ５０により撮影された映像を転送するため、送信制御部１９が決定した宛先の端末１０に対して、各カメラ５０により撮影された映像が送信されることになる。送信制御部１９は、例えば、図３に示したＣＰＵ１０１によって実現される。

ここで、図８のフローチャートを参照して、本実施形態に特徴的な端末１０の処理の概要について説明する。図８は、端末１０の処理手順の一例を示すフローチャートである。この図８のフローチャートで示す一連の処理は、各拠点の端末１０間で送受信されるいずれかの音声データから発話が検出され、話者履歴ＤＢ１１００の話者履歴情報が更新されるたびに実行される。

話者履歴ＤＢ１１００の話者履歴情報が更新されると、まず、話者順位決定部１７が、更新された話者履歴情報に基づいて、他拠点の端末１０の話者順位を決定する（ステップＳ１０１）。

次に、表示制御部１８が、ステップＳ１０１で決定された話者順位に従って、他拠点の端末１０から送信される各映像に対する表示領域の割り当てを決定する（ステップＳ１０２）。そして、表示制御部１８は、ステップＳ１０２で決定した表示領域の割り当てに従い、中継サーバ２０に対して、受信すべき映像を指定した受信要求を送受信部１５から送信する（ステップＳ１０３）。

また、送信制御部１９は、ステップＳ１０２で決定された表示領域の割り当てに従い、中継サーバ２０に対して、複数のカメラ５０により撮影された映像の宛先となる端末１０を指定した映像対応指示を送受信部１５から送信する（ステップＳ１０４）。なお、ステップＳ１０３の処理とステップＳ１０４の処理は各々独立に行われるため、処理の順番はどちらが先であっても構わない。

その後、中継サーバ２０から送信された他拠点の映像を送受信部１５が受信すると、表示制御部１６が、受信した映像をステップＳ１０２で決定した表示領域に配置した表示画面を表示装置４０に表示させる（ステップＳ１０５）。また、複数のカメラ５０により撮影された映像が、映像入力部１２により入力され、送受信部１５から中継サーバ２０に送信される（ステップＳ１０６）。これら複数のカメラ５０からの映像は、ステップＳ１０４で中継サーバ２０に送信した映像対応指示に従って、中継サーバ２０から宛先として指定した他拠点の端末１０に各々転送される。

次に、中継サーバ２０の機能構成について説明する。図９は、中継サーバ２０の機能的な構成例を示すブロック図であり、図１０は、中継サーバ２０が保持する映像対応管理テーブルの一例を示す図、図１１は、中継サーバ２０が保持する受信要求管理テーブルの一例を示す図である。

中継サーバ２０は、図９に示すように、記憶・読出処理部２１、送受信部２２および転送制御部２３を有している。これら各部は、例えば、図４に示したＨＤ２０４からＲＡＭ２０３上に展開された中継サーバ用プログラムをＣＰＵ２０１が実行することにより実現される機能である。また、中継サーバ２０は、例えば、図４に示したＨＤ２０４によって構成される記憶部２０００を有している。

記憶部２０００には、図１０に示すような映像対応管理テーブルを格納する映像対応管理ＤＢ２１００と、図１１に示すような受信要求管理テーブルを格納する受信要求管理ＤＢ２２００とが構築されている。

映像対応管理ＤＢ２１００に格納される映像対応管理テーブルは、各端末１０から送信される映像の宛先となる端末１０を管理する。例えば、図１０に示す映像対応管理テーブルの例では、各端末１０から送信される映像のデータＩＤと、その映像の宛先となる端末１０のＩＰアドレスとを対応付けたかたちで管理している。映像の宛先となる端末１０は１つであってもよいし、２つ以上であってもよい。なお、図１０に示す映像対応管理テーブルの形式はあくまで一例であり、この例に限定されるものではない。この映像対応管理テーブルは、いずれかの端末１０から中継サーバ２０に対して、上述した映像対応管理指示が送信されるたびに更新される。

受信要求管理ＤＢ２２００に格納される受信要求管理テーブルは、各端末１０から送信される映像について、どの端末１０が受信を要求しているかを管理する。例えば、図１１に示す受信要求管理テーブルの例では、各端末１０から送信される映像のデータＩＤと、その映像の宛先となる端末１０のＩＰアドレスと、宛先となる端末１０がその映像の受信を要求しているか否かを示す受信許可状態（許可／不許可）とを対応付けたかたちで管理している。１つの映像に対して宛先となる端末１０が複数ある場合は、それぞれの端末１０ごとに受信許可状態が管理されている。なお、図１１に示す受信要求管理テーブルの形式はあくまで一例であり、この例に限定されるものではない。この受信要求管理テーブルは、いずれかの端末１０から中継サーバ２０に対して、上述した受信要求が送信されるたびに更新される。

記憶・読出処理部２１は、記憶部２０００に対して各種データを記憶したり、読み出したりする処理を行う。記憶・読出処理部２１は、例えば、図４に示したＨＤＤ２０５およびＣＰＵ２０１によって実現される。

送受信部２２は、通信ネットワーク３０を介して、各端末１０との間で各種データの送受信を行う。送受信部２２は、例えば、図４に示したネットワークＩ／Ｆ２０９およびＣＰＵ２０１によって実現される。

転送制御部２３は、記憶部２０００の映像対応管理ＤＢ２１００に格納された映像対応管理テーブルと、受信要求管理ＤＢ２２００に格納された受信要求テーブルとを参照しながら、端末１０間における映像のデータ転送を制御する。すなわち、転送制御部２３は、ある端末１０から映像が送信されると、その映像のデータＩＤをキーとして、映像対応管理テーブルおよび受信要求管理テーブルから宛先となる端末１０のＩＰアドレスを取得する。そして、宛先となる端末１０の受信許可状態が許可となっていることを条件として、宛先となる端末１０のＩＰアドレスにその映像を転送する。なお、音声データについては、すべての音声データを各端末１０に転送してもよいし、発話が検出された音声データを含む一部の音声データを各端末１０に転送してもよい。転送制御部２３は、例えば、図４に示したＣＰＵ２０１によって実現される。

次に、中継サーバ２０による映像の転送動作の具体例について、図１２および図１３を参照して説明する。図１２は、端末１０からの映像対応指示に応じた中継サーバ２０の転送動作の一例を示すシーケンス図であり、図１３は、端末１０からの受信要求に応じた中継サーバ２０の転送動作の一例を示すシーケンス図である。なお、ここでは、図２に示した例において、拠点Ａの端末１０（以下、「端末１０Ａ」と表記する。）と、拠点Ｂ，Ｃ，Ｆ，Ｇの端末１０（以下、それぞれ「端末１０Ｂ」、「端末１０Ｃ」、「端末１０Ｆ」、「端末１０Ｇ」と表記する。）との間で送受信される映像の転送動作について説明する。端末１０Ａと拠点Ｄ，Ｆの端末１０との間の映像の転送動作については、便宜上、図示および説明を省略している。

まず、図１２を参照しながら、映像対応指示に応じた中継サーバ２０の転送動作について説明する。図２に示した例では、拠点Ａの端末１０Ａは、カメラ５０ａで撮影された映像の宛先として端末１０Ｂ、カメラ５０ｂで撮影された映像の宛先として端末１０Ｃを指定し、カメラ５０ｅで撮影された映像の宛先として端末１０Ｆおよび端末１０Ｇを指定した映像対応指示を中継サーバ２０に送信する。

端末１０Ａから中継サーバ２０に対して映像対応指示が送信されると（ステップＳ１）、中継サーバ２０は、映像対応管理ＤＢ２１００の映像対応管理テーブルを更新する（ステップＳ２）。端末１０Ａから中継サーバ２０に送信される映像対応指示では、端末１０Ａに接続されている各カメラ５０により撮影される映像のデータＩＤと、その映像の宛先となる端末１０のＩＰアドレスとが対応付けられている。

その後、中継サーバ２０は、端末１０Ａから映像が送信されると（ステップＳ３，Ｓ６，Ｓ９）、その映像に付加されているデータＩＤをもとに、映像対応管理ＤＢ２１００の映像対応管理テーブルおよび受信要求管理ＤＢ２２００の受信要求管理テーブルを参照して、映像の転送先を決定する（ステップＳ４，Ｓ７，Ｓ１０）。具体的には、中継サーバ２０は、受信した映像のデータＩＤに対応付けられている宛先端末ＩＰアドレスを映像対応管理テーブルおよび受信要求管理テーブルから取得し、さらに、その宛先端末ＩＰアドレスとデータＩＤとの組み合わせに対応付けられている受信要求管理テーブルの受信許可状態を参照して、受信許可状態が許可となっていれば、その宛先端末ＩＰアドレスを映像の転送先として決定する。そして、中継サーバ２０は、決定した転送先に端末１０Ａから受信した映像を転送する（ステップＳ５，Ｓ８，Ｓ１１，Ｓ１２）。なお、図１２の例では、端末１０Ｂ，１０Ｃ，１０Ｆ，１０Ｇがそれぞれ、端末１０Ａからの映像の受信を要求（受信許可）しているものとする。

図１２の例において、ステップＳ３〜Ｓ５の処理により端末１０Ａから端末１０Ｂに送信される映像は、図２に示したカメラ５０ａにより撮影された映像である。すなわち、端末１０Ａに接続された表示装置４０では、端末１０Ｂから送信された映像が上位表示領域４０ａに表示されている。このため、ユーザが上位表示領域４０ａを注視したときにその視線を捉えるカメラ５０ａの映像が、端末１０Ｂに送信される。これにより、端末１０Ａのユーザと端末１０Ｂのユーザとが対話する際に、双方の端末１０に接続された表示装置４０を通じて、両者の視線を一致させることができる。

また、図１２の例において、ステップＳ６〜Ｓ８の処理により端末１０Ａから端末１０Ｃに送信される映像は、図２に示したカメラ５０ｂにより撮影された映像である。すなわち、端末１０Ａに接続された表示装置４０では、端末１０Ｃから送信された映像が上位表示領域４０ｂに表示されている。このため、ユーザＵが上位表示領域４０ｂを注視したときにその視線を捉えるカメラ５０ｂの映像が、端末１０Ｃに送信される。これにより、端末１０ＡのユーザＵと端末１０Ｃのユーザとが対話する際に、双方の端末１０に接続された表示装置４０を通じて、両者の視線を一致させることができる。

また、図１２の例において、ステップＳ９〜Ｓ１２により端末１０Ａから端末１０Ｆおよび端末１０Ｇに送信される映像は、図２に示したカメラ５０ｅにより撮影された映像である。すなわち、図２に示した例では、端末１０Ｆおよび端末１０Ｇの話者順位が下位であり、これら端末１０Ｆから送信された映像と端末１０Ｇから送信された映像とが下位表示領域４０ｅに選択的に表示される。このため、ユーザＵの視線を捉えないように配置されたカメラ５０ｅの映像が、端末１０Ｆおよび端末１０Ｇに送信される。端末１０Ｆと端末１０Ｇは、話者順位が下位の端末１０（つまり、比較的長い時間に亘って発話をしていないユーザが使用している端末）であるため、視線が一致しない映像が表示される方が自然である。

次に、図１３を参照しながら、受信要求に応じた中継サーバ２０の転送動作について説明する。図２に示した例では、拠点Ａの端末１０Ａは、端末１０Ｂ、端末１０Ｃおよび端末１０Ｆからの映像については受信を要求（受信許可）し、端末１０Ｇからの映像については受信を要求しない（受信不許可）旨の受信要求を中継サーバ２０に送信する。

端末１０Ａから中継サーバ２０に対して受信要求が送信されると（ステップＳ２１）、中継サーバ２０は、受信要求管理ＤＢ２２００の受信要求管理テーブルを更新する(ステップＳ２２)。端末１０Ａから中継サーバ２０に送信される受信要求では、各映像のデータＩＤと端末１０ＡのＩＰアドレスと受信許可状態（許可／不許可）とが対応付けられている。

その後、中継サーバ２０は、端末１０Ｂ、端末１０Ｃ、端末１０Ｆから端末１０Ａを宛先に指定した映像が送信されると（ステップＳ２３，Ｓ２６，Ｓ２９）、その映像に付加されているデータＩＤをもとに、映像対応管理ＤＢ２１００の映像対応管理テーブルおよび受信要求管理ＤＢ２２００の受信要求管理テーブルを参照して、映像の転送先を端末１０Ａに決定する（ステップＳ２４，Ｓ２７，Ｓ３０）。そして、中継サーバ２０は、端末１０Ｂ、端末１０Ｃ、端末１０Ｆから受信した映像を端末１０Ａに転送する（ステップＳ２５，Ｓ２８，Ｓ３１）。

また、中継サーバ２０は、端末１０Ｇから端末１０Ａを宛先に指定した映像が送信されると（ステップＳ３２）、その映像に付加されているデータＩＤをもとに、映像対応管理ＤＢ２１００の映像対応管理テーブルおよび受信要求管理ＤＢ２２００の受信要求管理テーブルを参照し、端末１０Ａがその映像の受信を要求していない（受信不許可）ことを確認し、その映像を端末１０Ａに転送しないことを決定する（ステップＳ３３）。

その後、端末１０Ａが図２に示した下位表示領域４０ｅに表示する映像を、端末１０Ｆの映像から端末１０Ｇの映像に切り替えたとする。この場合、端末１０Ａから中継サーバ２０に対して新たな受信要求が送信されるので（ステップＳ３４）、中継サーバ２０は、この受信要求に応じて、受信要求管理ＤＢ２２００の受信要求管理テーブルを更新する（ステップＳ３５）。受信要求管理テーブルを更新した後に、端末１０Ｇから端末１０Ａを宛先に指定した映像が送信された場合は（ステップＳ３６）、中継サーバ２０は、その映像に付加されているデータＩＤをもとに、映像対応管理ＤＢ２１００の映像対応管理テーブルおよび受信要求管理ＤＢ２２００の受信要求管理テーブルを参照して、映像の転送先を端末１０Ａに決定する（ステップＳ３７）。そして、中継サーバ２０は、端末１０Ｇから受信した映像を端末１０Ａに転送する（ステップＳ３８）。

以上、具体的な例を挙げながら詳細に説明したように、本実施形態のテレビ会議システム１では、各拠点の端末１０が、他拠点の端末１０のうちで、話者順位が上位の端末１０からの映像を上位表示領域に表示させ、話者順位が下位の端末１０からの映像を下位表示領域に表示させるように、表示装置４０の表示を制御する。このとき、話者順位が下位の端末１０が複数あれば、これら複数の端末１０からの映像を切り替えながら下位表示領域に表示させるように、表示装置４０の表示を制御する。また、本実施形態のテレビ会議システム１では、各拠点の端末１０が、話者順位が上位の端末１０に対しては、その端末１０からの映像を表示している上位表示領域をユーザが注視したときに視線を捉えるカメラ５０の映像を送信し、話者順位が下位の端末１０に対しては、ユーザの視線を捉えないカメラ５０の映像を送信する。したがって、このテレビ会議システム１によれば、会議に参加する拠点数が多い場合でも各拠点の映像の表示や送信を適切に行い、対話中のユーザの視線を一致させて自然な対話を実現することができる。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で様々な変形や変更を加えて具体化することができる。つまり、上述した実施形態で説明したテレビ会議システム１、端末１０、中継サーバ２０などの具体的な構成や動作はあくまで一例であり、用途や目的に応じて様々な変形が可能である。

例えば、上述した実施形態では、各拠点の端末１０間における映像や音声のデータ伝送を、中継サーバ２０を介して行うようにしているが、各拠点の端末１０間における映像や音声のデータ伝送を、中継サーバ２０を介さずに直接行うように構成してもよい。また、上述した実施形態における中継サーバ２０は、単一のコンピュータによって構築されてもよいし、複数のコンピュータによって構築されていてもよい。また、中継サーバ２０のほかに、端末１０の管理やセッションの管理などを行う管理サーバを別途設けるようにしてもよい。そのほか、様々な機能を持つサーバをシステムに組み込むことにより、様々な機能拡張が実現できる。

また、上述した実施形態では、本発明を適用した通信システムの一例としてテレビ会議システム１を例示したが、これに限られるものではない。本発明は、通信装置間で映像や音声のデータを双方向に送受信するシステム、例えば、管理センタの端末から自動車に搭載されたカーナビゲーション装置に対して地図データやルート情報などを配信するカーナビゲーションシステムなど、各種の通信システムに対して有効に適用可能である。

また、上述した実施形態では、本発明を適用した通信装置の一例としてテレビ会議端末（端末）１０を例示したが、これに限られるものではない。本発明は、例えばＰＣやタブレット端末、スマートフォン、電子黒板、自動車に搭載されるカーナビゲーション装置、ＩＰ（Internet Protocol）電話、インターネット電話等の電話端末、ウェアラブルコンピュータ、カメラ、ゲーム機、通信機能を備えた産業機器など、外部の機器と通信を行う各種の機器（通信装置）に対して有効に適用可能である。ウェアラブルコンピュータには、腕時計やヘッドマウントディスプレイなどが含まれる。また、産業機器には、ＭＦＰ（Multifunction Peripheral/Printer/Product）等のオフィス機器、内視鏡等の医療用機器、耕運機等の農業用機器などが含まれる。

１ テレビ会議システム
１０ 端末
１７ 話者順位決定部
１８ 表示制御部
１９ 送信制御部
２０ 中継サーバ
２３ 転送制御部
３０ 通信ネットワーク
４０ 表示装置
５０ カメラ

特許第３５８７１０６号公報

Claims (10)

1. 複数の外部通信装置と通信する通信装置であって、
   通信相手となる前記外部通信装置のうち、所定基準に従って決定された順位が上位の第１外部通信装置から送信された映像を第１表示領域に表示させ、前記順位が下位の第２外部通信装置から送信された映像を第２表示領域に表示させるように、表示装置の表示を制御する表示制御部と、
   前記表示装置の前記第１表示領域と前記第２表示領域との各領域に対応して各々設けられる複数のカメラと、
   前記複数のカメラのうち前記第１表示領域に対応する第１カメラであって、ユーザが前記第１表示領域を注視したときに当該ユーザの視線を捉えるように配置された前記第１カメラにより撮影された映像を前記第１外部通信装置に送信し、前記複数のカメラのうち前記第２表示領域に対応する第２カメラであって、前記第１表示領域または前記第２表示領域を注視するユーザの視線を捉えないように配置された前記第２カメラにより撮影された映像を前記第２外部通信装置に送信するように制御する送信制御部と、を備える通信装置。
2. 前記表示制御部は、前記順位が上位Ｎ番目（Ｎは２以上の自然数）までのＮ個の前記第１外部通信装置から送信された映像を、Ｎ個の前記第１表示領域に各々表示させるように、前記表示装置の表示を制御し、
   前記送信制御部は、Ｎ個の前記第１表示領域に対応して配置されたＮ個の前記第１カメラで撮影された映像を、対応する前記第１表示領域に表示されている映像の送信元である前記第１外部通信装置に各々送信するように制御する、請求項１に記載の通信装置。
3. 前記表示制御部は、複数の前記第２外部通信装置から送信された映像のうち、前記第２表示領域に表示させる映像を選択する、請求項１または２に記載の通信装置。
4. 前記表示制御部は、複数の前記第２外部通信装置から送信された映像のうち、前記第２表示領域に表示させる映像を、所定周期で順次切り替えながら選択する、請求項３に記載の通信装置。
5. 前記表示制御部は、複数の前記第２外部通信装置から送信された映像のうち、前記第２表示領域に表示させる映像を、ユーザ操作に応じて選択する、請求項３に記載の通信装置。
6. 前記複数の外部通信装置の前記順位を決定する順位決定部をさらに備える請求項１乃至５のいずれか一項に記載の通信装置。
7. 前記順位決定部は、外部通信装置が送信する音声データから検出された発話の発生時刻が現在に近いほど当該発話を含む音声データの送信元の外部通信装置を上位とするという前記所定基準に従って、前記複数の外部通信装置の前記順位を決定する、請求項６に記載の通信装置。
8. 複数の通信装置が中継装置を介して通信を行う通信システムであって、
   前記複数の通信装置または前記中継装置が、前記複数の通信装置の順位を所定基準に従って決定する順位決定部を備え、
   前記複数の通信装置の各々は、
   前記中継装置を介して通信を行う他の通信装置のうち、前記順位が上位の第１通信装置から送信された映像を第１表示領域に表示させ、前記順位が下位の第２通信装置から送信された映像を第２表示領域に表示させるように、表示装置の表示を制御する表示制御部と、
   前記表示装置の前記第１表示領域と前記第２表示領域との各領域に対応して各々設けられる複数のカメラと、
   前記複数のカメラのうち前記第１表示領域に対応する第１カメラであって、ユーザが前記第１表示領域を注視したときに当該ユーザの視線を捉えるように配置された前記第１カメラにより撮影された映像を前記第１通信装置に送信し、前記複数のカメラのうち前記第２表示領域に対応する第２カメラであって、前記第１表示領域または前記第２表示領域を注視するユーザの視線を捉えないように配置された前記第２カメラにより撮影された映像を前記第２通信装置に送信するように制御する送信制御部と、を備える通信システム。
9. 複数の外部通信装置と通信する通信装置により実行される制御方法であって、
   通信相手となる前記外部通信装置のうち、所定基準に従って決定された順位が上位の第１外部通信装置から送信された映像を第１表示領域に表示させ、前記順位が下位の第２外部通信装置から送信された映像を第２表示領域に表示させるように、表示装置の表示を制御する工程と、
   前記表示装置の前記第１表示領域と前記第２表示領域との各領域に対応して各々設けられる複数のカメラのうち前記第１表示領域に対応する第１カメラであって、ユーザが前記第１表示領域を注視したときに当該ユーザの視線を捉えるように配置された前記第１カメラにより撮影された映像を前記第１外部通信装置に送信し、前記複数のカメラのうち前記第２表示領域に対応する第２カメラであって、前記第１表示領域または前記第２表示領域を注視するユーザの視線を捉えないように配置された前記第２カメラにより撮影された映像を前記第２外部通信装置に送信するように制御する工程と、を含む通信装置の制御方法。
10. 複数の外部通信装置と通信する通信装置に、
    通信相手となる前記外部通信装置のうち、所定基準に従って決定された順位が上位の第１外部通信装置から送信された映像を第１表示領域に表示させ、前記順位が下位の第２外部通信装置から送信された映像を第２表示領域に表示させるように、表示装置の表示を制御する機能と、
    前記表示装置の前記第１表示領域と前記第２表示領域との各領域に対応して各々設けられる複数のカメラのうち前記第１表示領域に対応する第１カメラであって、ユーザが前記第１表示領域を注視したときに当該ユーザの視線を捉えるように配置された前記第１カメラにより撮影された映像を前記第１外部通信装置に送信し、前記複数のカメラのうち前記第２表示領域に対応する第２カメラであって、前記第１表示領域または前記第２表示領域を注視するユーザの視線を捉えないように配置された前記第２カメラにより撮影された映像を前記第２外部通信装置に送信するように制御する機能と、を実現させるためのプログラム。

Images