JP4645355B2 - 情報処理装置および方法、並びにプログラム - Google Patents

Description

本発明は、情報処理装置および方法、並びにプログラムに関し、特に、通信に対する、自己の要求と通信相手の要求との相関関係に応じて、送信または受信されるデータを調整することにより、相互の要求に応じたコミュニケーションを行うことができるようにした情報処理装置および方法、並びにプログラムに関する。

従来の通信回線制御方式としては、電話に代表されるような呼び出し方式があげられる。呼び出し方式においては、ユーザが相手ユーザを呼び出し、相手ユーザが応答することによって通信回線（セッション）が確立される。そして、コミュニケーション活動後、どちらかのユーザが切断操作することにより通信回線が切断されるものである。

この呼び出し方式の問題点としては、まず、セッションを開始したいユーザが相手ユーザの指定情報（例えば、電話番号やノード端末のＩＰ(Internet Protocol)アドレス）をキー入力（発呼）操作するなどしなければならず、また相手ユーザも突然呼び出しベルなどで着呼を求められるため、相手ユーザの状態や周辺環境によっては不具合が生じてしまう。

なお、従来においては、ユーザからの入力情報や周辺環境などの情報を検出し、検出した情報を用いて、モニタの明るさ、スピーカの音量などを制御する制御装置なども提案されているが、これらの従来の提案は、ローカルを前提としたものであり、相手ユーザの状態や相手の周辺環境を考慮するものではない（特許文献１乃至３参照）。

そこで、このような状況を改善する改善方法として、事前に、各ユーザの状態情報（プレゼンス情報）をやり取りしておくことが考えられる。例えば、ユーザが予め設定した状態情報（例えば、電車移動中や、会議中など）を定期的に相手ユーザに通知しておくことで、相手ユーザがその情報に基づいて、電話の発呼操作を取りやめるように促すことができるというものである。これにより、ユーザが着呼しにくい環境での電話呼び出しを回避できるようになる。

特開２０００−１００６８号公報 特開平１０−６６１８５号公報 特開昭６１−２３１６２３号公報

しかしながら、上述した改善方法においては、相手ユーザから提供された状態情報を見逃してしまったり、あるいはその状態情報に係わらず、相手ユーザが強制的に呼び出しを行うこともできてしまう。

すなわち、相手ユーザが、状態情報を見逃して呼び出しを行ったり、または、強制的に呼び出しを行ってしまった場合、ユーザは、不都合な呼び出しを受けることになってしまう。したがって、上述した改善方法では、不具合が生じることの完全な解決には至っていなかった。

本発明はこのような状況に鑑みてなされたものであり、自己と通信相手の通信に対する要求の度合いに応じて、相互に不都合のない、快適なコミュニケーションを行うことができるようにすることを目的とする。

本発明の一側面の情報処理装置は、ネットワークを介して接続される他の情報処理装置と通信を行う情報処理装置において、前記情報処理装置のユーザである第１のユーザを撮像した画像と前記第１のユーザの音声を前記他の情報処理装置に送信する送信手段と、前記他の情報処理装置から送信されてくる、前記他の情報処理装置のユーザである第２のユーザを撮像した画像と前記第２のユーザの音声を受信する受信手段と、前記第２のユーザとの通信に対する前記第１のユーザの要求の度合いを表す第１の要求情報を取得する要求情報取得手段と、前記第１の要求情報を前記他の情報処理装置に送信する要求情報送信手段と、前記他の情報処理装置から送信されてくる、前記第１のユーザとの通信に対する前記第２のユーザの要求の度合いを表す第２の要求情報を受信する要求情報受信手段と、前記要求情報取得手段により取得された前記第１の要求情報により表される前記第１のユーザの要求の度合いと、前記要求情報受信手段により受信された前記第２の要求情報により表される前記第２のユーザの要求の度合いに基づいて、前記第１のユーザと前記第２のユーザのうちの少なくともいずれかの要求の度合いが第１の閾値以下である場合、第１の臨場感となり、前記第１のユーザと前記第２のユーザの双方の要求の度合いが第２の閾値以上である場合、前記第１の臨場感より高い第２の臨場感となるように、前記受信手段により受信された前記第２のユーザを撮像した画像のサイズと前記第２のユーザの音声の音量を調整する調整手段と、調整後のサイズで前記第２のユーザを撮像した画像を表示し、調整後の音量で前記第２のユーザの音声を出力する提示手段とを備える。

前記第１のユーザの状態または動作に対応して、前記第１のユーザの要求情報を入力する要求情報入力手段をさらに備えることができる。

前記要求情報入力手段は、前記第１のユーザの相対距離、前記第１のユーザの操作、前記第１のユーザの特定のジェスチャ、前記第１のユーザの視線方向、または前記第１のユーザの相対方位を検出し、検出結果に対応して、前記第１の要求情報を入力することができる。

前記第１の要求情報により表される前記第１のユーザの要求の度合いと、前記第２の要求情報により表される前記第２のユーザの要求の度合いをそれぞれ提示する要求情報提示手段をさらに備えることができる。

本発明の一側面の情報処理方法は、ネットワークを介して接続される他の情報処理装置と通信を行う情報処理装置の情報処理方法において、前記情報処理装置のユーザである第１のユーザを撮像した画像と前記第１のユーザの音声を前記他の情報処理装置に送信し、前記他の情報処理装置から送信されてくる、前記他の情報処理装置のユーザである第２のユーザを撮像した画像と前記第２のユーザの音声を受信し、前記第２のユーザとの通信に対する前記第１のユーザの要求の度合いを表す第１の要求情報を取得し、前記第１の要求情報を前記他の情報処理装置に送信し、前記他の情報処理装置から送信されてくる、前記第１のユーザとの通信に対する前記第２のユーザの要求の度合いを表す第２の要求情報を受信し、取得した前記第１の要求情報により表される前記第１のユーザの要求の度合いと、受信した前記第２の要求情報により表される前記第２のユーザの要求の度合いに基づいて、前記第１のユーザと前記第２のユーザのうちの少なくともいずれかの要求の度合いが第１の閾値以下である場合、第１の臨場感となり、前記第１のユーザと前記第２のユーザの双方の要求の度合いが第２の閾値以上である場合、前記第１の臨場感より高い第２の臨場感となるように、前記受信手段により受信された前記第２のユーザを撮像した画像のサイズと前記第２のユーザの音声の音量を調整し、調整後のサイズで前記第２のユーザを撮像した画像を表示し、調整後の音量で前記第２のユーザの音声を出力するステップを含む。

本発明の一側面のプログラムは、ネットワークを介して接続される他の情報処理装置と通信を行う情報処理装置の処理をコンピュータに実行させるプログラムにおいて、前記情報処理装置のユーザである第１のユーザを撮像した画像と前記第１のユーザの音声を前記他の情報処理装置に送信し、前記他の情報処理装置から送信されてくる、前記他の情報処理装置のユーザである第２のユーザを撮像した画像と前記第２のユーザの音声を受信し、前記第２のユーザとの通信に対する前記第１のユーザの要求の度合いを表す第１の要求情報を取得し、前記第１の要求情報を前記他の情報処理装置に送信し、前記他の情報処理装置から送信されてくる、前記第１のユーザとの通信に対する前記第２のユーザの要求の度合いを表す第２の要求情報を受信し、取得した前記第１の要求情報により表される前記第１のユーザの要求の度合いと、受信した前記第２の要求情報により表される前記第２のユーザの要求の度合いに基づいて、前記第１のユーザと前記第２のユーザのうちの少なくともいずれかの要求の度合いが第１の閾値以下である場合、第１の臨場感となり、前記第１のユーザと前記第２のユーザの双方の要求の度合いが第２の閾値以上である場合、前記第１の臨場感より高い第２の臨場感となるように、前記受信手段により受信された前記第２のユーザを撮像した画像のサイズと前記第２のユーザの音声の音量を調整し、調整後のサイズで前記第２のユーザを撮像した画像を表示し、調整後の音量で前記第２のユーザの音声を出力するステップを含む処理をコンピュータに実行させる。

本発明の一側面においては、情報処理装置のユーザである第１のユーザを撮像した画像と前記第１のユーザの音声が他の情報処理装置に送信され、前記他の情報処理装置から送信されてくる、前記他の情報処理装置のユーザである第２のユーザを撮像した画像と前記第２のユーザの音声が受信される。また、前記第２のユーザとの通信に対する前記第１のユーザの要求の度合いを表す第１の要求情報が取得され、前記第１の要求情報が前記他の情報処理装置に送信され、前記他の情報処理装置から送信されてくる、前記第１のユーザとの通信に対する前記第２のユーザの要求の度合いを表す第２の要求情報が受信される。さらに、取得された前記第１の要求情報により表される前記第１のユーザの要求の度合いと、受信された前記第２の要求情報により表される前記第２のユーザの要求の度合いに基づいて、前記第１のユーザと前記第２のユーザのうちの少なくともいずれかの要求の度合いが第１の閾値以下である場合、第１の臨場感となり、前記第１のユーザと前記第２のユーザの双方の要求の度合いが第２の閾値以上である場合、前記第１の臨場感より高い第２の臨場感となるように、前記受信手段により受信された前記第２のユーザを撮像した画像のサイズと前記第２のユーザの音声の音量が調整され、調整後のサイズで前記第２のユーザを撮像した画像が表示され、調整後の音量で前記第２のユーザの音声が出力される。

ネットワークとは、少なくとも２つの装置が接続され、ある装置から、他の装置に対して、情報の伝達をできるようにした仕組みをいう。ネットワークを介して通信する装置は、独立した装置どうしであってもよいし、１つの装置を構成している内部ブロックどうしであってもよい。

また、通信とは、無線通信および有線通信は勿論、無線通信と有線通信とが混在した通信、すなわち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであってもよい。さらに、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるようなものであってもよい。

本発明の一側面によれば、通信を行う双方に対して、快適なコミュニケーション環境を提供することができる。

以下、図を参照して本発明の実施の形態について説明する。

図１は、本発明を適用した通信システムの構成例を示している。

図１の例において、インターネットに代表されるネットワーク２には、ユーザＡが操作する通信制御装置１−１、ユーザＢが操作する通信制御装置１−２、およびユーザＣが操作する通信制御装置１−３が接続されている。ネットワーク２は、有線で構成されるが、無線であってもよい。

なお、図１の例においては、通信制御装置１−１乃至１−３が３台のみ示されているが、ネットワーク２には、任意の台数の通信制御装置１が接続される。また、以下、通信制御装置１−１乃至１−３を個々に区別する必要がない場合、まとめて通信制御装置１とも称する。

通信制御装置１は、ネットワーク２に接続される他の通信制御装置１と通信回線を確立し、確立後においては、常時、データを相互に通信し、通信により得られたデータをユーザに提示する。これにより、ユーザは、通信相手とのコミュニケーション（通信）を行うことができる。

例えば、ユーザＡが、ユーザＢとコミュニケーションを行う場合、通信制御装置１−１は、ユーザＡの映像データおよび音声データを、ネットワーク２を介して通信制御装置１−２に送信し、通信制御装置１−２から送信されてくるユーザＢの映像データおよび音声データを受信している。

このとき、通信制御装置１−１は、ユーザＡの状態や動作などに対応して入力される、ユーザＢ（通信制御装置１−２）との通信に対する要求の度合いを表すユーザＡの要求情報を、ネットワーク２を介して通信制御装置１−２に送信するとともに、ユーザＢの状態や動作などに対応して入力される、ユーザＡ（通信制御装置１−１）との通信に対するユーザＢの要求情報を、ネットワーク２を介して通信制御装置１−２から受信する。

通信制御装置１−１は、ユーザＡの要求情報およびユーザＢの要求情報の相関関係に基づいて、ユーザＢから受信したデータの提示度合いを調整して、調整したデータに対応する情報（すなわち、映像や音声）を、ユーザＡに対して提示する。あるいは、通信制御装置１−１は、ユーザＡの要求情報およびユーザＢの要求情報の相関関係に基づいて、ユーザＢに送信するデータの提示度合いを調整して、調整したデータを、通信制御装置１−２に送信し、調整したデータに対応する情報を、ユーザＢに対して提示させる。

さらに、例えば、ユーザＡが、ユーザＣとコミュニケーションを行う場合、通信制御装置１−１は、ユーザＡの映像データおよび音声データを、ネットワーク２を介して通信制御装置１−３に送信し、通信制御装置１−３から送信されてくるユーザＣの映像データおよび音声データを受信する。

このとき、通信制御装置１−１は、ユーザＡの状態や動作などに対応して入力される、ユーザＣ（通信制御装置１−３）との通信に対するユーザＡの要求情報を、ネットワーク２を介して通信制御装置１−３に送信するとともに、ユーザＣの状態や動作などに対応して入力される、ユーザＡ（通信制御装置１−１）に対するユーザＣの要求情報を、ネットワーク２を介して通信制御装置１−３から受信する。

通信制御装置１−１は、ユーザＡの要求情報およびユーザＣの要求情報の相関関係に基づいて、ユーザＣから受信したデータの提示度合いを調整して、調整したデータに対応する情報を、ユーザＡに対して提示する。あるいは、通信制御装置１−１は、ユーザＡの要求情報およびユーザＣの要求情報の相関関係に基づいて、ユーザＣに送信するデータの提示度合いを調整して、調整したデータを、通信制御装置１−３に送信し、調整したデータに対応する情報を、ユーザＣに対して提示させる。

なお、通信制御装置１−２による通信制御装置１−１との通信および通信制御装置１−３との通信、並びに、通信制御装置１−３による通信制御装置１−１との通信および通信制御装置１−２との通信も同様であり、繰り返しになるのでその説明を省略する。

以上のように、通信制御装置１においては、他の通信制御装置１との通信に用いるデータの提示度合いが、ユーザの通信に対する要求情報と通信相手の通信に対する要求情報の１対１の相関関係に基づいて調整され、調整されたデータに対応する情報がユーザに対して提示される。

したがって、例えば、通信相手に対して、コミュニケーションを望んでいないときに、多くの情報が通信相手に送信されてしまったり、反対に、通信相手に対して、コミュニケーションを望んでいても、通信相手には一切、その要求が伝わらないなどの、ユーザと通信相手のコミュニケーションにおける双方の不都合が生じることが抑制される。

これにより、ユーザと通信相手の双方にとって、快適なコミュニケーション環境が提供される。

図２は、図１の通信制御装置１のハードウェアの構成例を示している。

通信制御装置１は、例えば、図２に示されるパーソナルコンピュータで構成される。CPU（Central Processing Unit）１１は、ROM（Read Only Memory）１２、または記憶部１８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）１３には、CPU１１が実行するプログラムやデータなどが適宜記憶される。これらのCPU１１、ROM１２、およびRAM１３は、バス１４により相互に接続されている。

CPU１１にはまた、バス１４を介して入出力インタフェース１５が接続されている。入出力インタフェース１５には、キーボード、マウスなどよりなる操作入力部１６、ディスプレイ、ステレオスピーカ、振動（バイブレーション）発生器などよりなる出力部１７が接続されている。CPU１１は、操作入力部１６から入力される指令に対応して各種の処理を実行する。そして、CPU１１は、処理の結果を出力部１７に出力する。

入出力インタフェース１５に接続されている記憶部１８は、例えばハードディスクからなり、CPU１１が実行するプログラムや各種のデータを記憶する。通信部１９は、インターネットやローカルエリアネットワークなどのネットワーク２を介して外部の装置と通信を確立する。

また、通信部１９を介してプログラムを取得し、記憶部１８に記憶してもよい。

入出力インタフェース１５に接続されているドライブ２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部１８に転送され、記憶される。

ここで、CPU１１が、各種のプログラムを実行することにより、図２のコンピュータは、図１の通信制御装置１として機能することとなる。この場合、プログラムは、図２のコンピュータに内蔵されている記録媒体としてのROM１２や記憶部１８に予め記録しておくことができる。あるいはまた、プログラムは、磁気ディスクや、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブルメディア２１に、一時的あるいは永続的に格納（記録）し、いわゆるパッケージソフトウェアとして提供することができる。

なお、プログラムは、上述したようなリムーバブルメディア２１から図２のコンピュータにインストールする他、ダウンロードサイトから、デジタル衛星放送用の人工衛星を介して、図２のコンピュータに無線で転送したり、LAN(Local Area Network)、ネットワーク２を介して、図２のコンピュータに有線で転送してインストールすることもできる。

図３は、通信制御装置１の機能構成例を示すブロック図である。図３の例においては、通信制御装置１−１および１−２の機能構成例が示されており、図３に示される機能ブロックは、通信制御装置１−１および１−２のCPU１１により所定のプログラムがそれぞれ実行されることで実現される。

なお、図３の通信制御装置１−１および１−２の入出力インタフェース１５−１および１５−２には、図２に接続される各部の他に、さらに、要求情報入力部３１−１および３１−２、要求情報提示部３２−１および３２−２、映像音声入力部３３−１および３３−２がそれぞれ接続されている。

要求情報入力部３１−１は、ユーザの状態（相対方位、視線方向、相対距離）、ユーザの動作（ジェスチャ、移動）、ユーザによる要求情報入力部３１−１の操作など検出し、検出結果に応じて、通信に対するユーザＡの要求情報を、入出力インタフェース１５−１を介して、入出力バランス制御部４１−１に入力する。

要求情報提示部３２−１は、例えば、色の異なる複数のＬＥＤ（Light Emitting Diode）などで構成され、入出力インタフェース１５−１を介して、入出力バランス制御部４１−１からのユーザＡの要求情報、および各通信相手の要求情報を、ユーザＡに対して提示する。

映像音声入力部３３−１は、例えば、カムコーダなどで構成される。映像音声入力部３３−１は、ユーザＡ（被写体）を撮像し、ユーザＡの音声を集音し、撮像された映像の映像データや集音された音声の音声データを、入出力情報調整部４２−１に入力する。なお、映像音声入力部３３−１は、ユーザＡの心音を、振動データとして入力したり、集音された環境音やユーザＡの音声などを、振動データとして入力することもできる。

要求情報入力部３１−２、要求情報提示部３２−２、および映像音声入力部３３−２は、要求情報入力部３１−２、要求情報提示部３２−２、および映像音声入力部３３−２と同様の構成であるため、その説明は繰り返しになるので省略する。以下、要求情報入力部３１−１および３１−２、要求情報提示部３２−１および３２−２、並びに映像音声入力部３３−１および３３−２を区別する必要がない場合、それぞれ、まとめて要求情報入力部３１、要求情報提示部３２、並びに、映像音声入力部３３と称する。

通信制御装置１−１の入出力バランス制御部４１−１は、要求情報入力部３１−１から入力されるユーザＡの要求情報を取得し、取得したユーザＡの要求情報を、入出力インタフェース１５−１を介して、要求情報提示部３２−１に出力し、要求情報提示部３２−１に提示させるとともに、要求情報送受信部４３−１に出力し、ユーザＢの通信制御装置１−２に送信させる。

入出力バランス制御部４１−１は、要求情報送受信部４３−１から入力されるユーザＢ（通信相手）の要求情報を取得し、取得したユーザＢの要求情報を、入出力インタフェース１５−１を介して、要求情報提示部３２−１に出力し、提要求情報提示部３２−１に提示させる。また、入出力バランス制御部４１−１は、取得したユーザＡの要求情報およびユーザＢの要求情報の相関関係に応じた制御情報を算出し、算出した制御情報に基づいて、入出力情報調整部４２−１を制御する。

入出力情報調整部４２−１は、入出力バランス制御部４１−１の制御のもと、データ通信制御部４４−１からのユーザＢのデータの提示度合い（提示バランス）を調整し、調整したデータを、入出力インタフェース１５−１を介して出力部１７−１に出力させる。あるいは、入出力情報調整部４２−１は、入出力バランス制御部４１−１の制御のもと、映像音声入力部３３−１から入出力インタフェース１５−１を介して入力されるユーザＡのデータの提示度合いを調整し、調整したデータをデータ通信制御部４４−１に出力する。

要求情報送受信部４３−１は、通信部１９により通信が確立された通信相手（ユーザＢ）の通信制御装置１−２に、ユーザＡの要求情報を送信したり、通信制御装置１−２からのユーザＢの要求情報を受信する。

通信制御部４４−１は、データ通信制御部５１−１ａ，５１−２ａ，…として、通信部１９により通信が確立された通信相手の通信制御装置１毎に分かれて構成され、常時、データを、通信部１９により通信が確立された通信相手の通信制御装置１と通信する。

データ通信制御部５１−１ａは、通信部１９により通信が確立された通信相手（ユーザＢ）の通信制御装置１−２に、入出力情報調整部４２−１からのユーザＡの映像データや音声データを送信し、通信制御装置１−２からのユーザＢの映像データや音声データを受信し、受信したユーザＢの映像データや音声データを、入出力情報調整部４２−１に出力する。

データ通信制御部５１−２ａは、通信部１９により通信が確立された通信相手（ユーザＣ）の通信制御装置１−３に、入出力情報調整部４２−１からのユーザＡの映像データや音声データを送信し、通信制御装置１−３からのユーザＣの映像データや音声データを受信し、受信したユーザＣの映像データや音声データを、入出力情報調整部４２−１に出力する。

通信制御装置１−２の入出力バランス制御部４１−２、入出力情報調整部４２−２、要求情報送受信部４３−２、並びに、データ通信制御部５１−１ｂ，５１−２ｂ，…で構成される通信制御部４４−２は、上述した通信制御装置１−１の入出力バランス制御部４１−１、入出力情報調整部４２−１、要求情報送受信部４３−１、並びに、データ通信制御部５１−１ａ，５１−２ａ，…で構成される通信制御部４４−１と同様の構成であるため、その説明は繰り返しになるので、省略する。

なお、以下、入出力バランス制御部４１−１および４１−２、入出力情報調整部４２−１および４２−２、要求情報送受信部４３−１および４３−２、通信制御部４４−１および４４−２、データ通信制御部５１−１ａおよび５１−１ｂ、並びに、データ通信制御部５１−２ａおよび５１−２ｂを、個々に区別する必要がない場合、それぞれ、入出力バランス制御部４１、入出力情報調整部４２、要求情報送受信部４３、通信制御部４４、データ通信制御部５１−１、並びに、データ通信制御部５１−２とも称する。

図４は、図３の入出力バランス制御部４１および要求情報送受信部４３の構成例を示す図である。

図４の入出力バランス制御部４１は、要求情報取得部６１、制御情報算出部６２、制御関数記憶部６３、および調整制御部６４により構成されており、要求情報送受信部４３は、要求情報送信部７１、および要求情報受信部７２により構成されている。

要求情報取得部６１は、要求情報入力部３１から入力されるユーザの要求情報を取得し、取得したユーザの要求情報を、要求情報提示部３２、制御情報算出部６２、および要求情報送信部７１に出力する。要求情報取得部６１は、要求情報受信部７２から入力される通信相手の要求情報を取得し、取得した通信相手の要求情報を、要求情報提示部３２、および制御情報算出部６２に出力する。

制御情報算出部６２には、要求情報取得部６１からユーザの要求情報と通信相手の要求情報が入力される。制御情報算出部６２は、制御関数記憶部６３から、ユーザと通信相手に対応する制御関数群を読み出し、読み出した制御関数群を用いて、ユーザの要求情報と通信相手の要求情報の相関関係に応じた制御情報を算出し、算出したユーザと通信相手の制御情報を、調整制御部６４に出力する。

制御関数記憶部６３は、制御情報算出部６２による制御情報の算出に用いられる、ユーザと通信相手毎の制御関数群を記憶している。例えば、制御関数記憶部６３には、ユーザＡとユーザＢとの通信における制御情報の算出に用いられる制御関数群、ユーザＡとユーザＣとの通信における制御情報の算出に用いられる制御関数群などが記憶されている。

調整制御部６４は、制御情報算出部６２により算出されたユーザと通信相手の制御情報に基づいて、入出力情報調整部４２によるデータの提示度合いの調整を制御する。

要求情報送信部７１は、要求情報取得部６１からのユーザの要求情報を、通信部１９により通信が確立された通信相手の通信制御装置１に送信する。要求情報受信部７２は、通信部１９により通信が確立された通信相手の通信制御装置１からの通信相手の要求情報を受信し、受信した通信相手の要求情報を要求情報取得部６１に出力する。

図５は、図３の入出力情報調整部４２、並びにデータ通信制御部５１−１および５１−２の構成例を示す図である。

図５の例においては、データ通信制御部５１−１は、通信部１９により通信が確立された通信相手の通信制御装置１（例えば、ユーザＢの通信制御装置１−２）からのデータを受信するデータ受信制御部８１−１、および、ユーザＢの通信制御装置１−２にデータを送信するデータ送信制御部８２−１により構成されており、データ通信制御部５１−２は、通信部１９により通信が確立された他の通信相手の通信制御装置１（例えば、ユーザＣの通信制御装置１−３）からのデータを受信するデータ受信制御部８１−２、および、ユーザＣの通信制御装置１−３にデータを送信するデータ送信制御部８２−２により構成されている。

また、入出力情報調整部４２は、通信部１９により通信が確立された通信相手の通信制御装置１毎の出力調整部９１−１，９１−２，…，通信部１９により通信が確立された通信相手の通信制御装置１毎の入力調整部９２−１，９２−２，…，データ混合器９３、並びに、データ分配部９４により構成されている。

出力調整部９１−１は、入出力バランス制御部４１の調整制御部６４の制御のもと、データ受信制御部８１−１から入力されるユーザＢのデータ（映像データ、音声データ、振動データなど）の提示バランス（度合い）を調整し、調整したデータを、データ混合器９３に出力する。出力調整部９１−２は、入出力バランス制御部４１の制御のもと、データ受信制御部８１−２から入力されるユーザＣのデータ（映像データ、音声データ、振動データなど）の提示バランス（度合い）を調整し、調整したデータを、データ混合器９３に出力する。

図示せぬ他の通信制御装置１からのデータを調整する他の出力調整部も、出力調整部９１−１および９１−２と同様の処理を行うので、その説明は繰り返しになるので省略する。

データ混合器９３は、出力調整部９１−１,９１−２,…から入力されるデータを混合（重畳）し、混合したデータに対応する情報を出力部１７に出力する。これにより、例えば、出力部１７を構成するディスプレイに、調整された映像が表示され、出力部１７を構成するステレオスピーカから調整された音声が出力され、出力部１７を構成する振動（バイブレーション）発生器から調整された振動が出力されて、ユーザＡに対して、調整された情報が提示される。

データ分配器９４は、映像音声入力部３３から入力されるデータを、通信部１９により通信が確立された通信相手の通信制御装置１毎に分配し、各通信相手の通信制御装置１に送信されるデータを調整する入力調整部９２−１，９２−２，…に入力する。

入力調整部９２−１は、入出力バランス制御部４１の調整制御部６４の制御のもと、データ分配器９４からの、ユーザＢに送信されるデータ（映像データ、音声データ、振動データなど）の提示バランス（度合い）を調整し、調整したデータを、データ送信制御部８２−１に出力する。入力調整部９２−２は、入出力バランス制御部４１の制御のもと、データ分配器９４からの、ユーザＣに送信されるデータ（映像データ、音声データ、振動データなど）の提示バランス（度合い）を調整し、調整したデータを、データ送信制御部８２−２に出力する。

図示せぬ他の通信制御装置１に送信するデータを調整する他の入力調整部も、入力調整部９２−１および９２−２と同様の処理を行うので、その説明は繰り返しになるので省略する。

なお、以下において、データ受信制御部８１−１および８１−２、並びに、データ送信制御部８２−１および８２−２、出力調整部９１−１および９１−２、並びに入力調整部９２−１および９２−２を個々に区別することがない場合、まとめて、データ受信制御部８１、データ送信制御部８２、出力調整部９１、並びに入力調整部９２と称する。

また、上述したデータの提示度合いの調整は、通信制御装置１の入力調整部９２および他の通信制御装置１の出力調整部９１の両方で実行することもできるし、あるいは、通信制御装置１の入力調整部９２において調整されているデータに関しては、他の通信制御装置１の出力調整部９２においては、二度手間となるため、その演算が負荷になる場合には、調整しないこともできる。

図６は、出力調整部９１の構成例を示す図である。

図６の例において、出力調整部９１は、映像データの提示度合いを調整する映像調整部１１１、音声データの提示度合いを調整する音声調整部１１２、および振動データの提示度合いを調整する振動調整部１１３により構成されている。

映像調整部１１１は、透明度調整部１３１、サイズ調整部１３２、および位置調整部１３３により構成されている。透明度調整部１３１は、データ受信制御部８１から入力される映像データの透明度を高く、または、低く調整し、調整した映像データを、サイズ調整部１３２に出力する。

サイズ調整部１３２は、透明度調整部１３１から入力される映像データのサイズを、大きくまたは小さく調整し、調整した映像データを、位置調整部１３３に出力する。位置調整部１３３は、サイズ調整部１３２から入力される映像データの提示位置を調整し、調整した映像データをデータ混合器９３に出力する。

音声調整部１１２は、音量調整部１４１、音質調整部１４２、および音源位置調整部１４３により構成されている。音量調整部１４１は、データ受信制御部８１から入力される音声データの音量を大きく、または、小さく調整し、調整した音声データを、音質調整部１４２に出力する。

音質調整部１４２は、音量調整部１４１から入力される音声データの音質を、明瞭にまたは不明瞭に調整し、調整した音声データを、音源位置調整部１４３に出力する。音源位置調整部１４３は、音質調整部１４２から入力される音声データの音源位置を、音声データに対応する音声が所定の位置から聞こえるように調整し、調整した音声データをデータ混合器９３に出力する。

振動調整部１１３は、強度調整部１５１、パターン調整部１５２、および分布調整部１５３により構成されている。なお、振動データが受信されない場合、振動調整部１１３は、振動データを調整するのではなく、制御情報に応じた振動データを生成することも可能である。

強度調整部１５１は、データ受信制御部８１から入力される振動データの強度を大きく、または、小さく調整し、調整した振動データを、パターン調整部１５２に出力する。パターン調整部１５２は、強度調整部１５１から入力される振動データのパターンを、所定のパターンになるように調整し、調整した振動データを、分布調整部１５３に出力する。分布調整部１５３は、パターン調整部１５２から入力される振動データの分布を広く、あるいは狭く調整し、調整した振動データをデータ混合器９３に出力する。

なお、図６の例においては、サイズ調整、透明度調整、および位置調整の順に映像調整処理を行い、音量調整、音質調整、および音源位置調整の順に音声調整処理を行い、強度調整、パターン調整、および分布調整の順に振動調整処理を行う場合を説明したが、映像調整処理、音声調整処理、および分布調整処理は、上述した順番でなくてもよい。

また、出力調整部９１の構成は、図６の例に限定されない。例えば、映像調整部１１１は、サイズ調整部１３１、透明度調整部１３２、および位置調整部１３３のうちのどれかだけで構成されていてもよいし、さらに、ぼかしやノイズフィルタなどの他の映像情報の調整を行うものが追加することもできる。音声調整部１１２および振動調整部１１３の場合も同様である。

さらに、図５の入力調整部９２の構成も、図６の出力調整部９１と基本的に同様に構成される。したがって、以下、図６の出力調整部９１の構成は、図５の入力調整部９２の構成としても用いられる。

次に、図７を参照して、図４の制御情報算出部６２による制御情報算出処理の概念を説明する。

図７の例においては、横軸を、ユーザＡの要求情報ａ（０％≦ａ≦１００％）とし、縦軸を、ユーザＢの要求情報ｂ（０％≦ｂ≦１００％）とした要求情報相関座標が示されている。

すなわち、横軸は、ユーザＡの要求情報ａが０％に近づくほど、ユーザＡの要求の度合いが弱いことを表し、ユーザＡの要求情報ａが１００％に近づくほど、ユーザＡの要求の度合いが強いことを表している。同様に、縦軸は、ユーザＢの要求情報ｂが０％に近づくほど、ユーザＢの要求の度合いが弱いことを表し、ユーザＢの要求情報ｂが１００％に近づくほど、ユーザＢの要求の度合いが強いことを表している。

また、この要求情報相関座標においては、ユーザＡの要求情報ａおよびユーザＢの要求情報ｂの少なくとも一方が０％乃至略３０％である領域Ｌ、ユーザＡの要求情報ａおよびユーザＢの要求情報ｂのどちらか一方が略３０％乃至１００％であり、かつ、他方が略３０％乃至略７０％である領域Ｍ、並びに、ユーザＡの要求情報ａおよびユーザＢの要求情報ｂの両方とも略７０％乃至１００％である領域Ｈからなる３つの領域に分けられている。

ここで、制御情報算出部６２は、要求情報取得部６１により取得されたユーザＡの要求情報ａおよびユーザＢの要求情報ｂを要求情報相関座標に配置し、その交点Ｐ（ａ，ｂ）を得、交点Ｐ（ａ，ｂ）が配置された領域に応じて制御情報を算出する。

例えば、領域Ｌに交点Ｐ（ａ，ｂ）が配置された場合、制御情報算出部６２においては、通信制御装置１−１および１−２の通信が、ユーザＡおよびユーザＢに対して、低臨場感を与えるように制御情報が算出される。すなわち、通信制御装置１−１および１−２間で通信されるデータの提示度合いを、ユーザＡおよびユーザＢに対して、低臨場感を与えるように調整する制御情報が算出される。具体的には、映像であれば小サイズ化や低画質化され、音声であれば、小音量化や低音質化されるような制御情報が算出される。

領域Ｍに交点Ｐ（ａ，ｂ）が配置された場合、制御情報算出部６２においては、通信制御装置１−１および１−２の通信が、ユーザＡおよびユーザＢに対して、中臨場感を与えるように制御情報が算出される。すなわち、通信制御装置１−１および１−２間で通信されるデータの提示度合いを、ユーザＡおよびユーザＢに対して、中臨場感を与えるように調整する制御情報が算出される。具体的には、映像であれば、領域Ｌの場合よりも大サイズ化や高画質化され、音声であれば、領域Ｌの場合よりも大音量化や高音質化されるような制御情報が算出される。

また、領域Ｈに交点Ｐ（ａ，ｂ）が配置された場合、制御情報算出部６２においては、通信制御装置１−１および１−２の通信が、ユーザＡおよびユーザＢに対して、より高臨場感を与えるように制御情報が算出される。すなわち、通信制御装置１−１および１−２間で通信されるデータの提示度合いを、ユーザＡおよびユーザＢに対して、より高臨場感を与えるように調整する制御情報が算出される。具体的には、映像であれば、領域Ｍの場合よりもさらに、大サイズ化や高画質化され、音声であれば、領域Ｍの場合よりもさらに、大音量化や高音質化されるような制御情報が算出される。

このように、制御情報算出部６２においては、ユーザＡの要求情報だけでなく、ユーザＡの要求情報とユーザＢの要求情報の相関関係に応じて制御情報が算出される。

したがって、例えば、両方のユーザの要求情報が１００％に近づいた場合には、両方のユーザに対して、高臨場感を与えるように制御情報が算出されるが、一方のユーザの要求情報が１００％に近づいたとしても、他方のユーザの要求情報が３０％未満であれば、低臨場感を与えるように制御情報が算出される。

すなわち、ユーザが、通信相手に対してコミュニケーションを望んでいないときには、ユーザに対して低臨場感を与える通信が行われるので、最小限の情報の提示度合いでの通信しか行われない。これにより、従来のように、通信相手の高い要求だけに応じた通信が実行されてしまうことで、ユーザが気分を害してしまうことが緩和され、多くの情報が通信相手に送信されてしまうことが抑制される。

また、例えば、少なくとも一方のユーザの要求情報が０％に近づいた場合でも、通信が切断されるわけではなく、ユーザに対して、低臨場感を与えるように制御情報が算出される。

すなわち、通信相手が、ユーザに対してコミュニケーションを望んでいないときであっても、ユーザに対して低臨場感を与える通信が行われるので、ユーザは、通信相手の状態がなんとなく把握できる。これにより、従来のように、一方的に切断されたり、あるいは、通信相手の状態がまったくわからず、ただ通信ができずに、ユーザが不満に思ってしまうことを緩和することができる。

以上のように、ユーザおよび通信相手の要求情報の相関関係に応じて、制御情報を算出するようにしたので、ユーザと通信相手のコミュニケーションにおいて、双方の不都合が生じることが緩和される。

なお、上述した図７の要求情報相関座標を用いての制御情報の算出処理は、例えば、次の式（１）で表される制御関数が用いられて実現される。

ここで、映像Ｖ（ａ，ｂ）は、映像データの制御関数を表し、音声Ｓ（ａ，ｂ）は、音声データの制御関数を表し、振動Ｔ（ａ，ｂ）は、振動データの制御関数を表している。

すなわち、制御関数Ｆ（ａ，ｂ）は、複数のデータの制御関数で構成される制御関数群である。

さらに、サイズＶ１（ａ，ｂ）は、映像データのサイズを制御する制御関数を表し、画質Ｖ２（ａ，ｂ）は、映像データの画質を制御する制御関数を表し、位置Ｖ３（ａ，ｂ）は、映像データの提示位置を制御する制御関数を表している。音量Ｓ１（ａ，ｂ）は、音声データの音量の大きさを制御する制御関数を表し、音質Ｓ２（ａ，ｂ）は、音声データの音質を制御する制御関数を表し、音源位置Ｓ３（ａ，ｂ）は、音声データの音源位置を制御する制御関数を表している。同様に、強度Ｔ１（ａ，ｂ）は、振動データの強度を制御する制御関数を表し、パターンＴ２（ａ，ｂ）は、振動データのパターンを制御する制御関数を表し、分布Ｔ３（ａ，ｂ）は、振動データの分布を制御する制御関数を表している。

すなわち、映像の制御関数は、映像データに関する複数の制御関数からなる制御関数群であり、音声の制御関数は、音声データに関する複数の制御関数からなる制御関数群であり、振動の制御関数は、振動データに関する複数の制御関数からなる制御関数群である。

図８および図９を参照して、式（１）の制御関数群についてさらに詳しく説明する。

図８は、図７の要求情報相関座標の他の例を示している。図８の例の要求情報相関座標においては、図７の例の要求情報相関座標における領域Ｌ、領域Ｍ、および領域Ｈがさらに細かい領域に分割されている。

すなわち、領域Ｌは、ユーザＡの要求情報ａおよびユーザＢの要求情報ｂが両方とも０％乃至略３０％である領域Ｉと、ユーザＡの要求情報ａおよびユーザＢの要求情報ｂのどちらか一方だけが０％乃至略３０％である領域IIで構成されている。

領域Ｍは、ユーザＡの要求情報ａおよびユーザＢの要求情報ｂが両方とも略３０％乃至略７０％である領域IIIと、ユーザＡの要求情報ａおよびユーザＢの要求情報ｂのどちらか一方が略３０％乃至１００％であり、他方が略３０％乃至略７０％である領域IVで構成されている。領域Ｈは、ユーザＡの要求情報ａおよびユーザＢの要求情報ｂの両方が７０％乃至１００％である領域Vにより構成されている。

すなわち、図８の要求情報相関座標において、ユーザＡおよびユーザＢの相互の要求は、領域Ｉ、領域II、領域III、領域IV、領域Vの順に強くなっている。

図９は、図８の例の要求情報相関座標が用いられて算出された制御情報により制御される映像、音声、および振動の提示度合いを示す図である。

図９の例においては、左から順に、図８のユーザＡの要求情報ａおよびユーザＢの要求情報ｂの交点Ｐ（ａ，ｂ）が領域Ｉ、領域II、領域III、領域IV、領域Vに位置する場合に制御される映像、音声、振動の提示度合いが示されている。

映像の提示度合いは、１段目に示されるように、交点Ｐ（ａ，ｂ）が、領域Ｉから、領域II、領域III、領域IV、および領域Vに移動するにつれてだんだん大きくなっている。

音声の提示度合いは、２段目に示されるように、交点Ｐ（ａ，ｂ）が領域Ｉ、および領域IIに配置される場合にはほとんど０に近く、交点Ｐ（ａ，ｂ）が領域IIIから、領域IV、領域Vに移動するにつれてだんだん大きくなっている。

振動の提示度合いは、３段目に示されるように、交点Ｐ（ａ，ｂ）が、領域Ｉから、領域II、領域IIIに移動するにつれてだんだん大きくなり、交点Ｐ（ａ，ｂ）が、領域IIIから、領域IV、領域Ｖに移動するにつれてだんだん小さくなっている。

すなわち、図８の要求情報相関座標による算出処理を実現する映像データ、音声データ、および振動データの制御関数で構成される制御関数群は、ユーザＡおよびユーザＢの相互の要求が弱い領域Ｉ、およびどちらか一方の要求が弱く、他方の要求が弱くはない領域IIにおいては、ユーザＡおよびユーザＢに低臨場感を与えるよう、例えば、通信相手の状態がなんとなく感じられるように、音声の提示度合いはほとんど０に設定されており、映像と振動の提示度合いはできるだけ小さく設定されている。

したがって、ユーザＡおよびユーザＢの要求情報が領域Ｉおよび領域IIに位置する場合には、例えば、映像は、小さいサイズで、透明度を大きくするなど、不明瞭に、かつ、目立たないように調整されて提示され、音声は、提示されず、振動は、分布を分散させ、強度を弱くするように調整されて提示される。これにより、ユーザＡおよびユーザＢは、低臨場感を感じるコミュニケーションを行うことができる。

なお、映像と振動の提示度合いは、領域Iより、領域IIの場合の方が少し大きめに設定されているため、領域IIの場合の方が、ユーザに多少高めの低臨場感を感じさせるコミュニケーション環境が提供される。

また、図８の要求情報相関座標による算出処理を実現する映像データ、音声データ、および振動データの制御関数で構成される制御関数群は、ユーザＡおよびユーザＢの相互の要求が中庸である領域IIIにおいては、ユーザＡおよびユーザＢに中臨場感を与えるよう、例えば、他のことをしながらでも、通信相手とコミュニケーションを行うこともできるように、音声の提示度合いはできるだけ小さく設定されており、映像と振動の提示度合いは、領域IおよびIIの場合よりも大きく設定されている。

したがって、ユーザＡおよびユーザＢの要求情報が領域IIIに位置する場合には、例えば、映像は、領域IおよびIIの場合よりも大きいサイズで、透明度を低くするなど、それなりに明瞭に調整されて提示され、音声は、少し聞こえるように調整されて提示され、振動は、分布を密にし、強度を強くするように調整されて提示される。これにより、ユーザＡおよびユーザＢは、中臨場感を感じるコミュニケーションを行うことができる。

さらに図８の要求情報相関座標による算出処理を実現する映像データ、音声データ、および振動データの制御関数で構成される制御関数群は、どちらか一方の要求が中庸であり、他方の要求が大きい領域IV、およびユーザＡおよびユーザＢの相互の要求が強い領域Ｖにおいては、ユーザＡおよびユーザＢに高臨場感を与えるよう、例えば、通信相手とコミュニケーションを積極的に行うことができるように、映像や音声の提示度合いは、できるだけ大きく設定されている。なお、この場合、コミュニケーション活動が活発になった分、振動はなくてもよいとされ、振動の提示度合いは、できるだけ小さく設定されている。

したがって、ユーザＡおよびユーザＢの要求情報が領域IVおよび領域Ｖに位置する場合には、例えば、映像は、最大サイズで、透明度をなしにするなど、明瞭に、かつ、目立つように調整されて提示され、音声は、明確にきっちりと聞こえるように調整されて提示され、振動は、間隔をあけて、強度を弱くするように調整されて提示される。これにより、ユーザＡおよびユーザＢは、高臨場感を感じるコミュニケーションを行うことができる。

なお、映像と振動の提示度合いは、領域IVより、領域Ｖの場合の方が大きめに設定されているため、領域Ｖの場合の方が、ユーザに多少高めの高臨場感を感じさせるコミュニケーション環境が提供される。

以上のように、制御関数群は、データ毎の制御関数を有し、データ毎の制御関数は、領域毎（すなわち、ユーザＡおよびユーザＢの相互の要求毎）に応じて設定することができるので、簡単に、ユーザと通信相手の要求情報の相関関係に応じた提示度合いでデータを提示させることができる。

これにより、ユーザと通信相手は、それぞれの要求情報の相関関係に応じたコミュニケーションを行うことができる。

なお、上記説明においては、ユーザの要求情報を３段階に分けた座標を用いて制御情報の算出を説明したが、３段階に限らず、さらに細かく多くの段階にわけて制御情報を算出することもできる。

図１０は、図３の要求情報入力部と要求情報提示部の例を示す図である。

図１０の例においては、通信制御装置１と、通信制御装置１に接続され、近傍に配置される出力部１７を構成するディスプレイ２０２およびステレオスピーカ２０３、映像入力部３３、並びに要求情報入力提示装置２０１が示されており、さらに、それらの下部には、要求情報入力提示装置２０１が拡大して示されている。なお、図１０の例においては、出力部１７を構成するディスプレイ２０２およびステレオスピーカ２０３、映像入力部３３、並びに要求情報入力提示装置２０１は、通信制御装置１と離れて示されているが、実際には接続されている。

図１０の要求情報入力部３１および要求情報提示部３２は、要求情報入力提示装置２０１として一体化されて構成されている。また、要求情報入力部３１は、情報入力部２１１と情報検出部２１２により構成される。

情報入力部２１１は、例えば、ダイヤルやジョイスティック（商標）、接触センサなどにより構成され、ユーザＡの手により、接触されたり、情報入力部２１１が矢印Ｗに示されるように回転されるなどの操作を受けたとき、操作に対応するユーザＡの要求情報を、通信制御装置１に入力する。

情報検出部２１２は、ユーザの状態が通信を行いたい状態であるか否かを検出し、その検出結果に対応するユーザＡの要求情報を、通信制御装置１に入力する。具体的には、情報検出部２１２は、ユーザＡの接近（距離）を検出するPSD（Position Sensitive light Detector）センサなどの距離センサで構成され、情報検出部２１２の検出エリアＥ内において、ユーザＡの接近（自己との相対距離）を検出し、接近に対応するユーザＡの要求情報を、通信制御装置１に入力する。

すなわち、ユーザＡが、通信制御装置１を用いて、より高臨場感に通信相手とのコミュニケーション活動を行いたい場合、通信制御装置１やその通信相手が提示される出力部１７（ディスプレイ２０２など）に近づくことは自然な動作であるので、ユーザＡの接近は、ユーザＡの状態が通信を行いたい状態であるといえる。逆に、通信相手とのコミュニケーション活動に興味がないとき、あるいは、コミュニケーションしたくないとき、通信制御装置１やその通信相手が提示される出力部１７に近づかないことも、自然な動作であるので、ユーザＡの距離が離れている場合は、ユーザＡの状態が通信を行いたくない（通信に興味が無い）状態であるといえる。

したがって、情報検出部２１２がユーザＡの接近を検出し、接近に対応するユーザＡの要求情報を、通信制御装置１に入力することにより、ユーザＡは、手間をかけることなく、自然な動作を行うだけで、通信制御装置１によりユーザＡの要求が反映された快適なコミュニケーションを行うことができる。

なお、ユーザＡが、通信制御装置１の近傍に設置される情報入力部２１１に接触したり、操作する頻度回数も、同様に、ユーザＡの状態が通信を行いたい状態にしか実行されない動作であるので、ユーザＡの要求情報として利用可能である。

もちろん、操作入力部１６を構成するマウスやキーボードなどが用いられて、ユーザＡの要求情報を入力することもできる。この場合、ユーザＡの要求情報の入力に際して、より詳細な設定を行うことができる。

一方、図１０の例の要求情報提示部３２は、例えば、自己（ユーザＡ）の要求情報を、赤色に発光することで提示するＬＥＤ２１３、通信相手（ユーザＢ）の要求情報を青色に発光することで提示するＬＥＤ２１４、他の通信相手（ユーザＣ）の要求情報を緑色に発光することで提示するＬＥＤ２１５により構成されている。

ＬＥＤ２１３乃至ＬＥＤ２１５は、各ユーザの要求情報に応じて、点滅の間隔や発光強度などを変えて出力する。これにより、ユーザＡは、自分だけでなく、他の通信相手の要求情報も把握することができる。

これに対して、出力部１７から提示される情報は、ユーザＡと通信相手の要求情報の相関関係に応じて調整されるため、ユーザＡがコミュニケーションを強く要求しても、通信相手が要求しない限り、出力部１７から提示される情報は変化しない。逆に、通信相手がコミュニケーションを強く要求しても、ユーザＡが要求しない限り、出力部１７から提示される情報は変化しない。すなわち、ユーザＡは、出力部１７から提示される情報だけでは、自分の要求の度合い、および通信相手の要求の度合いを把握することができない。

したがって、各ユーザの要求情報をそれぞれ提示するようにしたことにより、出力部１７から提示される情報だけでは、把握することができなかった自分の要求の度合い、および通信相手の要求の度合いを確認することができる。

図１１は、図３の要求情報入力部と要求情報提示部の他の例を示す上面図である。

図１１の例においては、上から見た場合のユーザＡとユーザＢが滞在する部屋が示されている。部屋の壁には、通信相手が提示される出力部１７を構成するディスプレイ２０２が設けられており、その上に、要求情報入力部３１および要求情報提示部３２が一体化されて構成された要求情報入力提示装置２３１が設けられている。なお、図１１においては、通信制御装置１の図示は省略されている。

図１１の要求情報入力部３１は、距離センサ、ユーザＡのジェスチャ（動作）やユーザＡの視線を検出する情報検出部、ユーザＢが操作するリモートコントローラ２３２からの電波を受けることで、ユーザＢの向きｄｂや要求情報入力部３１からの相対方位を検出する方向検出部などで構成されている。

すなわち、ユーザＡが、通信制御装置１を用いて、より積極的に通信相手とのコミュニケーション活動を行いたい場合、ユーザＡが、通信相手が提示されるディスプレイ２０２（出力部１７）の方向を向くことは、自然な動作であるので、ユーザＡの正面方向がディスプレイ２０２を向くことは、ユーザＡの状態が通信を行いたい状態であるといえる。逆に、通信相手とのコミュニケーション活動に興味がないとき、あるいは、コミュニケーションしたくないとき、通信制御装置１やその通信相手が提示されるディスプレイ２０２の方向を向かないことも、自然な動作であるので、ユーザＡの正面方向がディスプレイ２０２に向いていない場合は、ユーザＡの状態が通信を行いたくない（通信に興味が無い）状態であるといえる。

したがって、図１１の要求情報入力部３１は、例えば、ユーザＡの視線情報から、ユーザＡの向きｄａを検出し、要求情報入力提示装置２３１（ディスプレイ２０２）に対して、ユーザＡが正面方向を向いている場合には、ユーザＡの要求が強いことを表すユーザＡの要求情報を、通信制御装置１に入力する。なお、要求情報入力部３１を、ユーザＡの要求情報入力提示装置２３１に対しての相対距離ｄを検出するように構成することもできる。

あるいは、要求情報入力部３１は、例えば、ユーザＢが操作するリモートコントローラ２３２からの電波を受けることで、ユーザＢの向きｄｂや、ユーザＢの要求情報入力提示装置２３１との相対方向を検出し、例えば、要求情報入力提示装置２３１（ディスプレイ２０２）に対して、ユーザＢが正面方向を向いている場合には、ユーザＢの要求が強いことを表すユーザＢの要求情報を、通信制御装置１に入力し、ユーザＢの要求情報入力提示装置２３１（ディスプレイ２０２）との相対方向が４５度である場合には、相対方向が０度の場合よりも、ユーザＢの要求が弱いことを表すユーザＢの要求情報を、通信制御装置１に入力する。

以上のように、通信制御装置１においては、ユーザＡやユーザＢの手間をかけることなく、自然な動作だけで、ユーザＡやユーザＢの要求が反映された、快適なコミュニケーション環境を、それぞれのユーザに提供することができる。

なお、ユーザＡやユーザＢが振り向くなどの動作、ディスプレイ２０２（すなわち、要求情報入力提示装置２３１）に対して手を振るなどのジェスチャなども、図１０の接近動作と同様に自然の動作である。すなわち、ユーザが振り向いた場合、ユーザが通信に対して興味のある状態であり、手を振るジェスチャの場合には、通信相手に対してコミュニケーションの終了を意味する、すなわち、ユーザが通信に対して興味を失った状態である。したがって、これらの動作も検出して、ユーザの要求情報として利用することができる。

一方、図１１の要求情報提示部３２は、例えば、ユーザＡの要求情報を、ユーザＡが存在する方向への点灯２４１ａとして提示しており、ユーザＢの要求情報を、ユーザＢが存在する方向への点灯２４１ｂとして、点灯２４１ａとは異なる色で提示する。

このように、ユーザが存在する方向に対して、そのユーザの要求情報を提示させることもできる。なお、ユーザが存在する方向が重なった場合には、点灯２４１ａおよび２４１ｂの色をまぜて出力させることにより、複数の要求情報が重なっていることを表すことができる。

また、上記説明においては、説明の便宜上、ユーザＡおよびユーザＢが同じ部屋にいる場合で説明したが、ユーザＢが、ユーザＡの通信相手の場合も、ユーザＡと同じ部屋に、ユーザＢが存在しないことが異なるだけであり、要求情報入力提示装置２３１の動作は基本的に同じである。

すなわち、ユーザＢが存在する部屋に設置された要求情報入力提示装置２３１により、相対方向４５度に位置するユーザＢの要求情報が入力されて、ユーザＡが存在する部屋に設置された要求情報入力提示装置２３１から、ユーザＢが存在するであろう相対方向４５度への点灯２４１ｂが提示される。

次に、図１２のフローチャートを参照して、図１の通信システムの通信制御装置１−１と通信制御装置１−２の処理を説明する。なお、図１２の例においては、出力調整部９１において、通信相手のデータを調整する場合の例が示されている。また、図１２の例においては、通信制御装置１−１と通信制御装置１−２の処理を同時に説明するが、図１２の通信制御装置１−２のステップＳ３１乃至Ｓ３９の処理は、通信制御装置１−１のステップＳ１１乃至Ｓ１９と基本的に同様の処理であるので、その詳細な説明は適宜省略する。

まず、ユーザＡは、通信制御装置１−１の操作入力部１６を操作し、通信制御装置１−２との通信回線の確立に必要な情報を入力する。例えば、ネットワーク２への接続の設定情報や、通信制御装置１−２のアドレスなどを入力する。これらの情報は、操作入力部１６を介して、CPU１１に入力される。CPU１１は、操作入力部１６からの情報に基づいて、通信部１９を制御する。これに応じて、通信部１９は、ステップＳ１１において、ネットワーク２を介して、通信制御装置１−２と通信回線を確立する。

一方、ユーザＢも、同様に、通信制御装置１−２の操作入力部１６を操作し、通信制御装置１−１との通信回線の確立に必要な情報を入力する。例えば、ネットワーク２への接続の設定情報や、通信制御装置１−１のアドレスなどを入力する。これらの情報は、操作入力部１６を介して、CPU１１に入力される。CPU１１は、操作入力部１６からの情報に基づいて、通信部１９を制御する。これに応じて、通信部１９は、ステップＳ３１において、ネットワーク２を介して、通信制御装置１−１と通信回線を確立する。

これにより、ステップＳ１９およびＳ３９においてそれぞれ通信回線が切断されるまで、通信制御装置１−１と通信制御装置１−２は、常時通信回線が接続されている状態となる。

例えば、通信制御装置１−１が通信制御装置１−３と通信回線を確立する際にも通信制御装置１−１および１−３において、ステップＳ１１およびＳ３１と同様の処理が行われる。

通信制御装置１−１のCPU１１は、ステップＳ１２において、通信制御処理を開始すると判定するまで待機している。ユーザＡは、操作入力部１６を操作し、通信制御装置１−２との通信開始を指令する。操作入力部１６からの指令に基づいて、CPU１１は、ステップＳ１２において、通信制御処理を開始すると判定し、所定のプログラムを実行する。

これにより、通信制御装置１−１においては、図３の機能ブロックが実現され、ステップＳ１３乃至Ｓ１７の通信制御処理が実行される。

映像音声入力部３３−１は、ステップＳ１３において、ユーザＡのデータを、入出力情報調整部４２−１に入力する。すなわち、映像音声入力部３３−１は、ユーザＡ（被写体）を撮像し、ユーザＡの音声を集音し、撮像された映像の映像データや集音された音声の音声データを、入出力情報調整部４２−１に入力する。なお、このとき、集音された音声の音声データに応じた振動データも入出力情報調整部４２−１に入力される。

ユーザＡのデータは、入出力情報調整部４２−１のデータ分配器９４により通信が確立された通信相手の通信制御装置１毎に分配される。したがって、通信制御装置１−２へのユーザＡのデータは、入力調整部９２−１を介して、データ送信制御部８２−１に出力される。

通信制御装置１−１のデータ送信制御部８２−１は、ステップＳ１４において、通信部１９を制御し、ユーザＡのデータを、ネットワーク２を介して、ユーザＢの通信制御装置１−２に送信させる。なお、通信制御装置１−１がユーザＣの通信制御装置１−３とも通信を行っていた場合には、通信制御装置１−３へのユーザＡのデータは、例えば、入力調整部９２−２を介して、データ送信制御部８２−２に出力され、データ送信制御部８２−２により、ネットワーク２を介して、通信制御装置１−３に送信される。

一方、通信制御装置１−２のCPU１１も、同様に、ステップＳ３２において、通信制御処理を開始すると判定するまで待機している。ユーザＢは、操作入力部１６を操作し、通信制御装置１−１との通信開始を指令する。操作入力部１６からの指令に基づいて、CPU１１は、ステップＳ３２において、通信制御処理を開始すると判定し、所定のプログラムを実行する。

これにより、通信制御装置１−２においては、図３の機能ブロックが実現され、ステップＳ３３乃至Ｓ３７の通信制御処理が実行される。

映像音声入力部３３−２は、ステップＳ３３において、ユーザＢのデータを、入出力情報調整部４２−２に入力する。すなわち、映像音声入力部３３−２は、ユーザＢ（被写体）を撮像し、ユーザＢの音声を集音し、撮像された映像の映像データや集音された音声の音声データを、入出力情報調整部４２−２に入力する。なお、このとき、集音された音声の音声データに応じた振動データも入出力情報調整部４２−２に入力される。

ユーザＢのデータは、入出力情報調整部４２−２のデータ分配器９４により通信が確立された通信相手の通信制御装置１毎に分配される。したがって、通信制御装置１−１へのユーザＢのデータは、入力調整部９２−１を介して、例えば、データ送信制御部８２−１に出力される。

通信制御装置１−２のデータ送信制御部８２−１は、ステップＳ３４において、通信部１９を制御し、ユーザＢのデータを、ネットワーク２を介して、ユーザＡの通信制御装置１−１に送信させる。

これに対応して、通信制御装置１−１のデータ受信制御部８１−１は、ステップＳ１５において、ネットワーク２および通信部１９を介して、通信相手（ユーザＢ）のデータを受信し、受信したユーザＢのデータを、出力調整部９１−１に出力する。

通信制御装置１−１の入出力バランス制御部４１−１および入出力情報調整部４２−１は、ステップＳ１６において、入出力調整制御処理を実行する。この入出力調整制御処理は、図１３のフローチャートを参照して後述する。

ステップＳ１６の入出力調整制御処理により、ユーザＡの要求情報が取得されて提示され、通信制御装置１−２に対しても送信される。また、通信相手（ユーザＢ）の要求情報が取得されて提示され、ユーザＡおよびユーザＢの要求情報に基づいて、各データ（映像データ、音声データ、および振動データ）の制御情報が算出されて、算出された制御情報に応じて、映像データ、音声データ、および振動データの提示度合いが調整され、調整されたデータが、データ混合器９３に出力される。

なお、通信制御装置１−１がユーザＣの通信制御装置１−３とも通信を行っていた場合には、通信制御装置１−３からのユーザＣのデータは、ステップＳ１５において、例えば、データ受信制御部８１−２に受信され、ステップＳ１６において、出力調整部９１−２により入出力調整制御処理が実行されて、調整されたデータが、データ混合器９３に出力される。すなわち、上述したステップＳ１４の送信処理、ステップＳ１５の受信処理、およびステップＳ１６の入出力調整制御処理は、通信相手の通信制御装置１毎に行われる処理である。

データ混合器９３は、ステップＳ１７において、調整されたデータに対応する情報をユーザＡに提示する。すなわち、データ混合器９３は、調整されたデータに対応する情報を混合（重畳）し、混合されたデータを出力部１７−１に出力して、出力部１７−１に提示させる。

これにより、調整されたデータに対応する情報が出力部１７−１に提示される。例えば、図１０の出力部１７−１を構成するディスプレイ２０２には、調整された映像データに対応する映像が表示され、出力部１７−１を構成するステレオスピーカ２０３からは、調整された音声データに対応する音声が出力される。また、出力部１７−１を構成する図示せぬ振動発生器からは、調整された振動データに対応する振動が出力される。

ディスプレイ２０２に提示される映像を見たり、ステレオスピーカ２０３から出力される音声を聞いたユーザＡは、図１０を参照して上述した要求情報入力提示装置２０１に接近などを行う。要求情報入出力提示装置２０１の情報検出部２１２は、ユーザＡの接近を検出し、それに応じて、ユーザＡの通信相手に対する要求情報を、入出力バランス制御部４１−１に入力する。入出力バランス制御部４１−１に入力されたユーザＡの要求情報は、次のステップＳ１６の入出力調整制御処理に用いられる。

上述したステップＳ１３乃至Ｓ１７の処理は、ステップＳ１８において、CPU１１により通信を終了すると判定されるまで繰り返し続けられる。すなわち、ステップＳ１３乃至Ｓ１７の通信制御処理中には、通信相手との通信回線が、ユーザまたは通信相手の意向により切断されることはない。

一方、ステップＳ１４において、通信制御装置１−１によりユーザＡのデータが送信されている。これに対応して、通信制御装置１−２のデータ受信制御部８１−１は、ステップＳ３５において、ネットワーク２および通信部１９を介して、通信相手（ユーザＡ）のデータを受信し、受信したユーザＡのデータを、出力調整部９１−１に出力する。

通信制御装置１−２の入出力バランス制御部４１−２および入出力情報調整部４２−２は、ステップＳ３６において、入出力調整制御処理を実行する。この入出力調整制御処理は、図１３のフローチャートを参照して後述する。

ステップＳ３６の入出力調整制御処理により、ユーザＢの要求情報が取得されて提示され、通信制御装置１−１に対しても送信される。また、通信相手（ユーザＡ）の要求情報が取得されて提示され、ユーザＢおよびユーザＡの要求情報に基づいて、各データ（映像データ、音声データ、および振動データ）の制御情報が算出されて、算出された制御情報に応じて、映像データ、音声データ、および振動データの提示度合いが調整され、調整されたデータが、データ混合器９３に出力される。

データ混合器９３は、ステップＳ３７において、調整されたデータに対応する情報をユーザＢに提示する。すなわち、データ混合器９３は、調整されたデータに対応する情報を混合（重畳）し、混合されたデータを出力部１７−２に出力して、出力部１７−２に提示させる。

これにより、調整されたデータに対応する情報が出力部１７−２に提示される。例えば、図１０の出力部１７−２を構成するディスプレイ２０２には、調整された映像データに対応する映像が表示され、出力部１７−２を構成するステレオスピーカ２０３からは、調整された音声データに対応する音声が出力される。また、出力部１７−２を構成する図示せぬ振動発生器からは、調整された振動データに対応する振動が出力される。

ディスプレイ２０２に提示される映像を見たり、ステレオスピーカ２０３から出力される音声を聞いたユーザＢは、ユーザＡの場合と同様に、要求情報入力提示装置２０１に接近などを行う。要求情報入出力提示装置２０１の情報検出部２１２は、ユーザＢの接近を検出し、それに応じて、ユーザＢの通信相手に対する要求情報を、入出力バランス制御部４１−２に入力する。入出力バランス制御部４１−２に入力されたユーザＢの要求情報は、次のステップＳ３６の入出力調整制御処理に用いられる。

上述したステップＳ３３乃至Ｓ３７の処理は、ステップＳ３８において、CPU１１により通信を終了すると判定されるまで繰り返し続けられる。

例えば、通信制御装置１−１を再起動させたり、設定を変更させるためなどに、通信制御装置１−１のCPU１１は、ステップＳ１８において、通信を終了すると判定した場合、ステップＳ１９において、通信部１９を制御し、通信制御装置１−２との通信回線を切断させる。

また、同様に、通信制御装置１−２を再起動させたり、設定を変更させるためなどに、通信制御装置１−２のCPU１１は、ステップＳ３８において、通信を終了すると判定した場合、ステップＳ３９において、通信部１９を制御し、通信制御装置１−１との通信回線を切断させる。

次に、図１３のフローチャートを参照して、図１２のステップＳ１６およびＳ３６における通信制御装置１−１と通信制御装置１−２の入出力調整制御処理を説明する。なお、図１３の例においては、通信制御装置１−１と通信制御装置１−２の入出力調整制御処理を同時に説明するが、図１３の通信制御装置１−２のステップＳ７１乃至Ｓ７８の処理は、通信制御装置１−１のステップＳ５１乃至Ｓ５８と基本的に同様の処理であるので、その詳細な説明は適宜省略する。

例えば、ユーザＡは、通信制御装置１−１に接続される要求情報入力提示装置２０１に接近などを行う。要求情報入出力提示装置２０１の情報検出部２１２は、ステップＳ５１において、ユーザＡの接近を検出し、それに応じて、ユーザＡの通信相手に対する要求情報を、入出力バランス制御部４１−１に入力する。

入出力バランス制御部４１−１の要求情報取得部６１は、ステップＳ５２において、情報検出部２１２からのユーザＡの要求情報を取得し、取得したユーザＡの要求情報を、制御情報算出部６２に出力する。

また、要求情報取得部６１は、ステップＳ５３において、取得したユーザＡの要求情報を、要求情報提示部３２のＬＥＤ２１３に提示する。すなわち、ステップＳ５３において、ＬＥＤ２１３は、ユーザＡの要求情報に応じた点滅や強度で、赤色を発光して、ユーザＡの要求情報を、ユーザＡに対して提示する。

要求情報取得部６１は、取得したユーザＡの要求情報を、要求情報送信部７１に出力する。要求情報送信部７１は、ステップＳ５４において、通信部１９を制御し、ユーザＡの要求情報を、ネットワーク２を介して、ユーザＢの通信制御装置１−２に送信させる。

なお、通信制御装置１−１がユーザＣの通信制御装置１−３とも通信を行っていた場合には、要求情報送信部７１は、ユーザＡの要求情報を、ネットワーク２を介して、ユーザＣの通信制御装置１−３にも送信する。

一方、例えば、ユーザＢも、ユーザＡと同様に、通信制御装置１−２に接続される要求情報入力提示装置２０１に接近などを行うことに対応して、要求情報入出力提示装置２０１の情報検出部２１２は、ステップＳ７１において、ユーザＢの接近を検出し、それに応じて、ユーザＢの通信相手に対する要求情報を、入出力バランス制御部４１−２に入力している。

入出力バランス制御部４１−２の要求情報取得部６１は、ステップＳ７２において、情報検出部２１２からのユーザＢの要求情報を取得し、取得したユーザＢの要求情報を、制御情報算出部６２に出力する。

また、要求情報取得部６１は、ステップＳ７３において、取得したユーザＢの要求情報を、要求情報提示部３２のＬＥＤ２１３に提示する。すなわち、ステップＳ７３において、ＬＥＤ２１３は、ユーザＢの要求情報に応じた点滅や強度で、赤色を発光して、ユーザＢの要求情報を、ユーザＢに対して提示する。

要求情報取得部６１は、取得したユーザＢの要求情報を、要求情報送信部７１に出力する。要求情報送信部７１は、ステップＳ７４において、通信部１９を制御し、ユーザＢの要求情報を、ネットワーク２を介して、ユーザＡの通信制御装置１−１に送信させる。

これに対応して、通信制御装置１−１の要求情報受信部７２は、ステップＳ５５において、ネットワーク２および通信部１９を介して、通信相手（ユーザＢ）の要求情報を受信し、受信したユーザＢの要求情報を、要求情報取得部６１に出力し、要求情報取得部６１は、要求情報受信部７２からの通信相手（ユーザＢ）の要求情報を取得し、取得したユーザＢの要求情報を、制御情報算出部６２に出力する。

また、要求情報取得部６１は、ステップＳ５６において、取得したユーザＢの要求情報を、要求情報提示部３２のＬＥＤ２１４に提示する。すなわち、ステップＳ５６において、ＬＥＤ２１４は、ユーザＢの要求情報に応じた点滅や強度で、青色を発光して、ユーザＢの要求情報を、ユーザＡに対して提示する。

制御情報算出部６２は、ステップＳ５７において、要求情報取得部６１からのユーザＡおよび通信相手（ユーザＢ）の要求情報に基づいて、各データの制御情報をそれぞれ算出する。すなわち、制御情報算出部６２は、制御関数記憶部６３に記憶されているユーザＡとユーザＢとの通信における制御情報の算出に用いられる制御関数群を読み出し、読み出した制御関数群を用いて、ユーザＡの要求情報とユーザＢの要求情報の相関関係に応じた、映像データの制御情報、音声データの制御情報、および、振動データの制御情報をそれぞれ算出し、算出した制御情報を、調整制御部６４に供給する。

調整制御部６４は、ステップＳ５８において、制御情報算出部６２により算出された制御情報に基づいて、図１２のステップＳ１５において受信され、出力調整部９１−１に入力されたユーザＢのデータの調整を制御する。すなわち、ステップＳ５８において、出力調整部９１−１は、ユーザＡとユーザＢに対応して算出された各データの制御情報に基づいて、ユーザＢの各データの提示度合いを調整する。

具体的に説明すると、調整制御部６４は、例えば、図８の要求情報相関座標において、ユーザＡの要求情報とユーザＢの要求情報が領域Ｖである場合に制御関数群により算出された、映像データの制御情報、音声データの制御情報、および、振動データの制御情報に基づいて、ユーザＢの映像データ、ユーザＢの音声データ、ユーザＢの振動データの提示度合いの調整をそれぞれ制御する。

出力調整部９１−１の映像調整部１１１、音声調整部１１２、および振動調整部１１３に、それぞれ、ユーザＢの映像データ、ユーザＢの音声データ、ユーザＢの振動データが入力される。

映像調整部１１１の透明度調整部１３１は、データ受信制御部８１から入力される映像データの透明度を低く調整し、調整した映像データを、サイズ調整部１３２に出力する。サイズ調整部１３２は、透明度調整部１３１から入力される映像データのサイズを、大きく調整し、調整した映像データを、位置調整部１３３に出力する。位置調整部１３３は、サイズ調整部１３２から入力される映像データが提示される位置を、映像が表示画面上の中央の位置に提示されるように調整し、調整した映像データをデータ混合器９３に出力する。

また、音量調整部１４１は、データ受信制御部８１から入力される音声データの音量を大きく調整し、調整した音声データを、音質調整部１４２に出力する。音質調整部１４２は、音量調整部１４１から入力される音声データの音質を、明瞭に調整し、調整した音声データを、音源位置調整部１４３に出力する。音源位置調整部１４３は、音質調整部１４２から入力される音声データの音源位置を、音声データに対応する音声が、表示画面における映像が表示される位置から聞こえるように調整し、調整した音声データをデータ混合器９３に出力する。

さらに、強度調整部１５１は、データ受信制御部８１から入力される振動データの強度を微小に調整し、調整した振動データを、パターン調整部１５２に出力する。パターン調整部１５２は、強度調整部１５１から入力される振動データのパターンを、所定のパターンになるように調整し、調整した振動データを、分布調整部１５３に出力する。分布調整部１５３は、パターン調整部１５２から入力される振動データの分布を広く調整し、調整した振動データをデータ混合器９３に出力する。

以上のように、ユーザＢの映像データ、音声データ、および振動データは、制御関数群に基づいて、映像調整部１１１、音声調整部１１２、および振動調整部１１３によりそれぞれ調整されて、データ混合器９３に出力され、処理は、図１２のステップＳ１６に戻り、ステップＳ１７に進む。

これにより、図１２のステップＳ１７においては、データ混合器９３により調整されたデータに対応する情報が、例えば、図９を参照して上述した提示度合いで、出力部１７−１（すなわち、ユーザＡ）に提示される。

図１４は、出力部１７を構成するディスプレイ２０２に表示される表示画面の例を示している。

図１４の例においては、上から、ユーザＢの映像が表示される表示画面２７１、表示画面２７２、および表示画面２７３が示されている。表示画面２７１乃至２７３におけるユーザＢを表すラインの種類（太線、実線、点線）は、ユーザＢの映像の透明度を表しており、太線、実線、点線の順に透明度が高く調整されていることを示している。

表示画面２７１には、透明度調整部１３１により透明度を低く（すなわち、不透明度＝１００％に）調整されたユーザＢの映像が表示されている。表示画面２７２には、透明度調整部１３１により透明度を高め（すなわち、不透明度＝６０％に）調整されたユーザＢの映像が表示されている。表示画面２７３には、透明度調整部１３１により透明度を高く（すなわち、不透明度＝２０％に）調整されたユーザＢの映像が表示されている。

例えば、ユーザＡおよびユーザＢが共にコミュニケーションを強く要求している場合、ユーザＢの映像は、表示画面２７１のように、１００％の不透明度で表示されるが、ユーザＡおよびユーザＢの相互の要求度合いが低くなるほどに、表示画面２７２、表示画面２７３の順に、低い不透明度で調整されて表示される。

このように、少なくともどちらかのコミュニケーション要求が少ない場合には、出来る限り情報を提示しないようにデータが調整される。したがって、ユーザＢの映像データの情報量が減衰され、過度なプライバシ漏洩などを抑制することができる。

なお、ユーザＢの映像データすべてに対して透明度を調整することももちろん可能であるが、図１４の例においては、ユーザＢの映像のみが透明になっている（すなわち、背景は透明ではない）。すなわち、図１４の例の映像においては、ユーザＢが存在する空間の背景の映像データが予め取得されており、背景の映像データとユーザＢからのデータとが演算されることで、ユーザＢの映像のみの透明度の調整を行う方法が用いられている。

図１３に戻り、上述したステップＳ５４においては、通信制御装置１−１によりユーザＡの要求情報が通信制御装置１−２に対して送信されている。これに対応して、通信制御装置１−２の要求情報受信部７２は、ステップＳ７５において、ネットワーク２および通信部１９を介して、通信相手（ユーザＡ）の要求情報を受信し、受信したユーザＡの要求情報を、要求情報取得部６１に出力し、要求情報取得部６１は、要求情報受信部７２からの通信相手（ユーザＡ）の要求情報を取得し、取得したユーザＡの要求情報を、制御情報算出部６２に出力する。

要求情報取得部６１は、ステップＳ７６において、取得したユーザＡの要求情報を、要求情報提示部３２のＬＥＤ２１４に提示する。すなわち、ステップＳ７６において、ＬＥＤ２１４は、ユーザＡの要求情報に応じた点滅や強度で、青色を発光して、ユーザＢの要求情報を、ユーザＢに対して提示する。

制御情報算出部６２は、ステップＳ７７において、要求情報取得部６１からのユーザＢおよび通信相手（ユーザＡ）の要求情報に基づいて、各データの制御情報をそれぞれ算出する。すなわち、制御情報算出部６２は、制御関数記憶部６３に記憶されているユーザＢとユーザＡとの通信における制御情報の算出に用いられる制御関数群を読み出し、読み出した制御関数群を用いて、ユーザＢの要求情報とユーザＡの要求情報の相関関係に応じた、映像データの制御情報、音声データの制御情報、および、振動データの制御情報をそれぞれ算出し、算出した制御情報を、調整制御部６４に供給する。

調整制御部６４は、ステップＳ７８において、制御情報算出部６２により算出された制御情報に基づいて、図１２のステップＳ３５において受信され、出力調整部９１−１に入力されたユーザＡのデータの調整を制御する。すなわち、ステップＳ７８において、出力調整部９１−１は、ユーザＢとユーザＡに対応して算出された各データの制御情報に基づいて、ユーザＡのデータを調整し、調整したユーザＡのデータをデータ混合器９３に出力する。

その後、処理は、図１２のステップＳ３６に戻り、ステップＳ３７においては、データ混合器９３により調整されたデータに対応する情報が出力部１７−２（すなわち、ユーザＢ）に提示される。

なお、通信制御装置１−１がユーザＣの通信制御装置１−３とも通信を行っていた場合には、要求情報受信部７２は、ステップＳ５５において、ユーザＣの要求情報も、ネットワーク２を介して受信する。したがって、ユーザＣの要求情報は、ステップＳ５６において、例えば、ユーザＣの要求情報に応じた点滅や強度で、ＬＥＤ２１５を緑色に発光させて、ユーザＡに対して提示される。

また、この場合、制御情報算出部６２は、ステップＳ５７において、制御関数記憶部６３に記憶されているユーザＡとユーザＣとの通信における制御情報の算出に用いられる制御関数群を用いて、ユーザＡの要求情報とユーザＣの要求情報の相関関係に応じた制御情報を算出し、算出した制御情報を、調整制御部６４に供給する。

したがって、調整制御部６４は、制御情報算出部６２により算出された制御情報に基づいて、出力調整部９１−２に入力されるユーザＣの各データの調整を制御するので、ユーザＣの各データは、出力調整部９１−２により、ユーザＡとユーザＣに対応して算出された制御情報に基づいて提示度合いが調整され、データ混合器９３に出力される。

これにより、図１２のステップＳ１７においては、出力調整部９１−１からの調整されたユーザＢのデータと出力調整部９１−２からの調整されたユーザＣのデータが、データ混合器９３により混合され、混合されたデータに対応する情報が出力部１７−１（すなわち、ユーザＡ）に提示される。

図１５は、出力部１７を構成するディスプレイ２０２に表示される表示画面の例を示している。なお、図１５の例の場合、ユーザＡの通信制御装置１−１が、ユーザＢの通信制御装置１−２およびユーザＣの通信制御装置１−３と通信を行っている場合の例が示されている。

図１５の例においては、ユーザＢの映像を表示する子画面２９１−１とユーザＣの映像を表示する子画面２９１−２が表示される表示画面２８１が示されている。

表示画面２８１には、サイズ調整部１３２により、映像のサイズ（子画面２９１−１のサイズ）が、図１５の場合の最大サイズに調整され、位置調整部１３３により、映像の表示位置が、表示画面２８１の左半分の中央の位置に表示されるように調整された子画面２９１−１と、サイズ調整部１３２により、図１５の例の場合の最大サイズから、小さいサイズに縮小するように調整され、位置調整部１３３により、映像の表示位置が、表示画面２８１の右半分の右隅の位置に表示されるように調整された子画面２９１−２が表示されている。

また、出力部１７を構成するステレオスピーカ２０３からは、音量調整部１４１により大きく、音源位置調整部１４３により、表示画面２８１の子画面２９１−１の位置から聞こえるように調整されたユーザＢの音声データに対応する音声２９２−１と、音量調整部１４１によりユーザＢの音声２９２−１よりも小さく、音源位置調整部１４３により、表示画面２８１の子画面２９１−２の位置から聞こえるように調整されたユーザＣの音声データに対応する音声２９２−２が混合されて、出力されている。

したがって、ユーザＡには、ユーザＢの音声２９２−１が、ユーザＢが表示される子画面２９１−１の位置から大きく聞こえており、ユーザＣの音声２９２−２が、ユーザＣが表示される子画面２９１−２の位置から小さく聞こえている。

すなわち、図１５の例の場合、ユーザＡもユーザＢが共にコミュニケーションを強く要求しているので、ユーザＢの映像が、図１５の場合の最大サイズで、表示画面２８１の左半分の中央の位置に表示されるように調整されており、ユーザＢの音声が、大きく、かつ、ユーザＢの映像が表示される位置から聞こえるように調整されている。

一方、ユーザＡまたはユーザＣの少なくともどちらか一方（いまの場合、ユーザＣ）がコミュニケーションを強く要求していないので、ユーザＣの映像が、最大サイズより小さく、表示画面２８１の右半分の右隅の位置に表示されるように調整されており、ユーザＣの音声が、小さく、かつ、ユーザＢの映像が表示される位置から聞こえるように調整されている。

このように、複数のユーザとコミュニケーションを行う場合には、少なくともどちらかのコミュニケーション要求が少ないユーザよりも、相互にコミュニケーション要求が強いユーザの情報が多く提示される。

すなわち、ユーザＢがユーザＡとのコミュニケーションにおいて興奮して、表示画面２８１（出力部１７の近傍に設置される要求情報入力提示装置２０１）に接近することで、ユーザＡのコミュニケーション要求が弱くならない限り、ユーザＡとユーザＢの相互の要求情報は上がる。したがって、コミュニケーションの要求が少なく、発言をしないユーザＣの映像よりも、興奮して発言するユーザＢの映像が大きくなる。これにより、ユーザＡは、発言を行っているユーザＢの表情や興奮度合いもよくわかるので、高臨場感を感じるコミュニケーションを積極的に行うことができる。

一方、ユーザＡが、ユーザＢの発言を気に入らない場合には、表示画面２８１（出力部１７の近傍に設置される要求情報入力提示装置２０１）から離れることで、ユーザＢがいくらコミュニケーションを強く要求したとしても、ユーザＡの離れた距離に応じて、ユーザＡとユーザＢの相互の要求情報は下がる。したがって、ユーザＢの映像は大きくならない。これにより、ユーザＡは、ユーザＢの発言が聞こえないような、低臨場感を感じるコミュニケーションを消極的に行うことができる。

以上のように、ユーザと通信相手のコミュニケーションにおいて、双方の不都合が生じることが抑制されるので、ユーザと通信相手の双方に快適なコミュニケーション環境が提供される。

さらに、通信相手の要求情報を、要求情報提示部３２に提示するようにしたので、出力部１７から提示される情報だけでは、通信相手の要求情報を把握することができない通信相手の要求情報がすぐにわかる。これにより、例えば、ユーザは、いくら自分が要求を強くしても、出力部１７から提示される情報が変化しない場合に、その原因が、通信相手の要求（状態）によることを把握することができる。

以上のように、ユーザと通信相手の要求情報の相関関係に応じた情報の提示と、ユーザと通信相手の要求情報のそれぞれの提示を利用することにより、ユーザは、従来のような一方的な要求による通信よりも不満の少ない、相互に快適なコミュニケーションを行うことができる。

次に、図１６のフローチャートを参照して、通信制御装置１−１と通信制御装置１−２の処理の他の例を説明する。なお、図１６の例は、図１２を参照して上述した処理の他の例であり、図１６の例においては、入力調整部９２において、各ユーザのデータを調整してから、通信相手に送信する場合の例が示されている。

したがって、図１６のステップＳ１１１乃至Ｓ１１３、およびＳ１１７乃至Ｓ１１９の処理は、図１２のステップＳ１１乃至Ｓ１３、およびＳ１７乃至Ｓ１９の処理と基本的に同様な処理であり、図１６のステップＳ１１５およびＳ１１６の処理は、図１２のステップＳ１４およびＳ１５と基本的に同様の処理であり、図１６のステップＳ１１４の処理は、図１２のステップＳ１６と処理するデータが異なるだけであり、基本的に同様の処理であるため、その詳細な説明は適宜省略する。

同様に、図１６のステップＳ１３１乃至Ｓ１３３、およびＳ１３７乃至Ｓ１３９の処理は、図１２のステップＳ３１乃至Ｓ３３、およびＳ３７乃至Ｓ３９の処理と基本的に同様な処理であり、図１６のステップＳ１３５およびＳ１３６の処理は、図１２のステップＳ３４およびＳ３５と基本的に同様の処理であり、図１６のステップＳ１３４の処理は、図１２のステップＳ３６と処理するデータが異なるだけであり、基本的に同様の処理であるため、その詳細な説明は適宜省略する。

ユーザＡは、通信制御装置１−１の操作入力部１６を操作し、通信制御装置１−２との通信回線の確立に必要な情報を入力する。これらの情報は、操作入力部１６を介して、CPU１１に入力される。CPU１１は、操作入力部１６からの情報に基づいて、通信部１９を制御する。これに応じて、通信部１９は、ステップＳ１１１において、ネットワーク２を介して、通信制御装置１−２と通信回線を確立する。

一方、ユーザＢも、同様に、通信制御装置１−２の操作入力部１６を操作し、通信制御装置１−１との通信回線の確立に必要な情報を入力する。これらの情報は、操作入力部１６を介して、CPU１１に入力される。CPU１１は、操作入力部１６からの情報に基づいて、通信部１９を制御する。これに応じて、通信部１９は、ステップＳ１３１において、ネットワーク２を介して、通信制御装置１−１と通信回線を確立する。

通信制御装置１−１のCPU１１は、ステップＳ１１２において、通信制御処理を開始すると判定するまで待機している。ユーザＡは、操作入力部１６を操作し、通信制御装置１−２との通信開始を指令する。操作入力部１６からの指令に基づいて、CPU１１は、ステップＳ１１２において、通信制御処理を開始すると判定し、所定のプログラムを実行する。

これにより、通信制御装置１−１においては、図３の機能ブロックが実現され、ステップＳ１１３乃至Ｓ１１７の通信制御処理が実行される。

映像音声入力部３３−１は、ステップＳ１１３において、ユーザＡのデータを入力し、入出力情報調整部４２−１に出力する。ユーザＡのデータは、入出力情報調整部４２−１のデータ分配器９４により通信が確立された通信相手の通信制御装置１毎に分配される。したがって、通信制御装置１−２へのユーザＡのデータは、入力調整部９２−１に入力される。

通信制御装置１−１の入出力バランス制御部４１−１および入出力情報調整部４２−１は、ステップＳ１１４において、入出力調整制御処理を実行する。この入出力調整制御処理は、図１３の入出力調整制御処理のステップＳ５８において通信相手のデータに対して出力調整部９１により実行される調整処理が、ユーザＡのデータに対して入力調整部９２により実行される調整処理に入れ替わったことが異なるだけであり、その他は、図１３のフローチャートを参照して上述した通信制御装置１−１の入出力調整制御処理と基本的に同様の処理を行うのでその説明を省略する。

ステップＳ１１４の入出力調整制御処理により、ユーザＡの提示情報が取得されて提示され、通信制御装置１−２に対しても送信される。また、通信相手（ユーザＢ）の要求情報が取得されて提示され、ユーザＡおよびユーザＢの要求情報の相関関係に基づいて、各データ（映像データ、音声データ、および振動データ）の制御情報が算出されて、算出された制御情報に応じて、ユーザＡの各データの提示度合いが調整され、調整されたユーザＡのデータが、通信制御装置１−２に対してデータを送信するデータ送信制御部８２−１に出力される。

通信制御装置１−１のデータ送信制御部８２−１は、ステップＳ１１５において、通信部１９を制御し、調整されたユーザＡのデータを、ネットワーク２を介して、ユーザＢの通信制御装置１−２に送信させる。

なお、通信制御装置１−１がユーザＣの通信制御装置１−３とも通信を行っている場合には、通信制御装置１−３へのユーザＡのデータは、ステップＳ１１４において、入力調整部９２−２によりユーザＡとユーザＣの要求情報の相関関係に基づいて算出される制御情報に応じて調整され、調整されたユーザＡのデータは、データ送信制御部８２−２に出力され、データ送信制御部８２−２により、通信制御装置１−３に送信される。

一方、通信制御装置１−２のCPU１１も、同様に、ステップＳ１３２において、通信制御処理を開始すると判定するまで待機している。ユーザＢは、操作入力部１６を操作し、通信制御装置１−１との通信開始を指令する。操作入力部１６からの指令に基づいて、CPU１１は、ステップＳ１３２において、通信制御処理を開始すると判定し、所定のプログラムを実行する。

これにより、通信制御装置１−２においては、図３の機能ブロックが実現され、ステップＳ１３３乃至Ｓ１３７の通信制御処理が実行される。

映像音声入力部３３−２は、ステップＳ１３３において、ユーザＢのデータを入力し、入出力情報調整部４２−２に出力する。ユーザＢのデータは、入出力情報調整部４２−２のデータ分配器９４により通信が確立された通信相手の通信制御装置１毎に分配される。したがって、通信制御装置１−１へのユーザＢのデータは、入力調整部９２−１に入力される。

通信制御装置１−２の入出力バランス制御部４１−２および入出力情報調整部４２−２は、ステップＳ１３４において、入出力調整制御処理を実行する。この入出力調整制御処理は、図１３の入出力調整制御処理のステップＳ７８において通信相手のデータに対して出力調整部９１により実行される調整処理が、ユーザＢのデータに対して入力調整部９２により実行される調整処理に入れ替わったことが異なるだけであり、その他は、図１３のフローチャートを参照して上述した通信制御装置１−２の入出力調整制御処理と基本的に同様の処理を行うのでその説明を省略する。

ステップＳ１３４の入出力調整制御処理により、ユーザＢの提示情報が取得されて提示され、通信制御装置１−１に対しても送信される。また、通信相手（ユーザＡ）の要求情報が取得されて提示され、ユーザＢおよびユーザＡの要求情報の相関関係に基づいて、各データ（映像データ、音声データ、および振動データ）の制御情報が算出されて、算出された制御情報に応じて、ユーザＢの各データの提示度合いが調整され、調整されたユーザＢのデータが、通信制御装置１−１に対してデータを送信するデータ送信制御部８２−１に出力される。

通信制御装置１−２のデータ送信制御部８２−１は、ステップＳ１３５において、通信部１９を制御し、調整されたユーザＢのデータを、ネットワーク２を介して、ユーザＡの通信制御装置１−１に送信させる。

これに対応して、通信制御装置１−１のデータ受信制御部８１−１は、ステップＳ１１６において、ネットワーク２および通信部１９を介して、通信相手（ユーザＢ）のデータを受信する。通信制御装置１−２により調整され、受信されたユーザＢのデータは、出力調整部９２−１を介して、データ混合部９３に出力される。

なお、通信制御装置１−１がユーザＣの通信制御装置１−３とも通信を行っていた場合には、通信制御装置１−３により調整されたユーザＣのデータは、ステップＳ１１６において、例えば、データ受信制御部８１−２に受信され、出力調整部９２−２を介して、データ混合部９３に出力される。すなわち、ステップＳ１１４の入出力調整制御処理、ステップＳ１１５の送信処理、およびステップＳ１１６の受信処理は、通信相手の通信制御装置１毎に行われる処理である。

データ混合器９３は、ステップＳ１１７において、調整されたデータに対応する情報をユーザＡに提示する。すなわち、データ混合器９３は、調整されたデータに対応する情報を合成し、合成されたデータを出力部１７−１に出力して、出力部１７−１に提示させる。

出力部１７−１に提示された情報を見たユーザＡは、図１０の要求情報入力提示装置２０１に接近などを行う。要求情報入出力提示装置２０１の情報検出部２１２は、ユーザＡの接近を検出し、それに応じて、ユーザＡの通信相手に対する要求情報を、入出力バランス制御部４１−１に入力する。入出力バランス制御部４１−１に入力された要求情報は、次のステップＳ１１４の入出力調整制御処理に用いられる。

上述したステップＳ１１３乃至Ｓ１１７の処理は、ステップＳ１１８において、CPU１１により通信を終了すると判定されるまで繰り返し続けられる。すなわち、ステップＳ１１３乃至Ｓ１１７の通信制御処理中には、通信相手との通信回線が、ユーザＡまたは通信相手の意向により切断されることはない。

一方、ステップＳ１１５において、通信制御装置１−１により調整されたユーザＡのデータは、通信制御装置１−２に送信されている。これに対応して、通信制御装置１−２のデータ受信制御部８１−１は、ステップＳ１３６において、ネットワーク２および通信部１９を介して、通信相手（ユーザＡ）のデータを受信する。通信制御装置１−２により調整され、受信されたユーザＡのデータは、出力調整部９２−１を介して、データ混合部９３に出力される。

データ混合器９３は、ステップＳ１３７において、調整されたデータに対応する情報をユーザＢに提示する。すなわち、データ混合器９３は、調整されたデータに対応する情報を合成し、合成されたデータを出力部１７−２に出力して、出力部１７−２に提示させる。

出力部１７−２に提示された情報を見たユーザＢは、要求情報入力提示装置２０１に接近などを行う。要求情報入出力提示装置２０１の情報検出部２１２は、ユーザＢの接近を検出し、それに応じて、ユーザＢの通信相手に対する要求情報を、入出力バランス制御部４１−２に入力する。入出力バランス制御部４１−２に入力された要求情報は、次のステップＳ１３４の入出力調整制御処理に用いられる。

上述したステップＳ１３３乃至Ｓ１３７の処理は、ステップＳ１３８において、CPU１１により通信を終了すると判定されるまで繰り返し続けられる。

例えば、通信制御装置１−１を再起動させたり、設定を変更させるためなどに、通信制御装置１−１のCPU１１は、ステップＳ１１８において、通信を終了すると判定した場合、ステップＳ１１９において、通信部１９を制御し、通信制御装置１−２との通信回線を切断させる。

また、同様に、通信制御装置１−２を再起動させたり、設定を変更させるためなどに、通信制御装置１−２のCPU１１は、ステップＳ１３８において、通信を終了すると判定した場合、ステップＳ１３９において、通信部１９を制御し、通信制御装置１−１との通信回線を切断させる。

以上のように、ユーザと通信相手のコミュニケーションにおいて、ユーザの要求情報と通信相手の要求情報の相関関係に応じて、ユーザと通信相手により通信されるデータを調整し、調整されたデータを提示するようにしたので、他方のユーザだけがコミュニケーションに対する要求を強くしたとしても、もう一方のユーザの要求が高くなければ、提示される情報は制限される。これにより、望まれない情報の流出を制限することができる。

すなわち、望まぬ過度の情報の流出によって、ユーザのプライバシが侵害されることを抑制することができる。

逆に、一方のユーザだけのコミュニケーションに対する要求に拠らず、他方のユーザの要求が弱なったとしても、コミュニケーションは切断されず、通信相手の状態がなんとなく感じられるので、他方のユーザの一方的な切断により、一方のユーザが気分を害することが抑制される。

また、映像データや音声データだけでなく、振動データも調整して提示するようにしたので、それらのデータを組み合わせることにより、視覚、聴覚障害者、老人や子供などにも、適切な通信を実現することもできる。なお、これらのデータの他に、その他の五感（触覚、味覚、嗅覚など）を伝えるデータなども用いることも可能である。

このように、双方の不都合が生じることが抑制されるので、ユーザと通信相手の双方に快適なコミュニケーション環境が提供される。

以下、図１７乃至図２１を参照して、従来の通信装置の場合と比較することで、図１の通信システムの効果を具体的に説明する。

まず、従来の通信装置においては、双方向コミュニケーションを行う場合、携帯電話機に代表されるような呼び出し方式が用いられていた。この方式では、例えば、ユーザＡがユーザＢと通信を行いたい場合、ユーザＡがユーザＢの通信装置の固有番号、もしくはアドレスを入力して呼び出しを行い、ユーザＢがその発呼を受けることによって、双方向の通信回線が確立され、コミュニケーション活動を実施後、どちらかのユーザがその通信回線を切断処理することによって通信が終了していた。

このような方式が用いられる場合、図１７に示されるように、その通信中に、ユーザＡの要求およびユーザＢの要求がどのように変動しようとも、その通信内容は変わらなかった。

図１７は、ユーザの要求状態と従来の通信の状態の関係を表す図である。図１７の例においては、横軸は、ユーザＢとの通信に対するユーザＡの要求状態を表し、縦軸は、ユーザＡとの通信に対するユーザＢの要求状態を表す。なお、図１７の例においては、説明の便宜上、ユーザの要求状態は、要求の度合い（要求情報）に応じて分けられた３つの状態（閉鎖状態(closed)、開放状態(open)、積極状態(active)）で構成されている。

閉鎖状態は、ユーザが、他のユーザとの通信を行いたくない状態（すなわち、要求の度合いが弱い状態）を表しており、開放状態は、積極的ではないが、他のユーザとの通信を許可してもいい状態（すなわち、要求の度合いが弱くなく、強くもない、中庸な状態）を表しており、積極状態は、ユーザが、他のユーザとの活発な通信を積極的に望んでいる状態（すなわち、要求の度合いが強い状態）を表している。したがって、ユーザの要求の度合いは、閉鎖状態、開放状態、および積極状態の順に強い。

ここで、横軸のユーザＡの要求状態と、縦軸のユーザＢの要求状態は、同じ場合もあれば、異なる場合もあり、ユーザＡの要求状態とユーザＢの要求状態の組み合わせは、図１７の例の場合であっても、９通り考えられ、さらに、ユーザＡの要求状態とユーザＢの要求状態は、図１８を参照して後述するように、時間の経過とともに、それぞれ変化していく。

これに対して、従来の通信方式における通信の状態は、通信回線の確立と切断に相当しており、通信回線の切断に対応するｏｆｆ状態と、通信回線の確立に対応するｏｎ状態しかなかった。

すなわち、従来の通信においては、ユーザＡまたはユーザＢの要求状態が閉鎖状態であった場合、どちらかのユーザの操作に基づいて、通信回線は切断され、通信の状態は、ｏｆｆ状態になる。また、どちらか一方の一方的な要求により通信回線が切断されてしまうこともある。

一方、ユーザＡおよびユーザＢの要求状態が両方とも積極状態であった場合、両方のユーザの操作に基づいて、通信回線は確立され、通信の状態は、ｏｎ状態になる。なお、実際には、ユーザＡおよびユーザＢの要求状態が両方とも積極状態ではなくても、一方が他方の要求を仕方なく優先することで、通信回線は確立され、通信の状態は、ｏｎ状態になることもある。

このため、ユーザＡが、ユーザＢとのより活発なコミュニケーション活動を望んでいる状態であっても、ユーザＢが望まないために、通信回線が確立されないまま、通信の状態がｏｆｆ状態のままであったり、逆に、ユーザＢが望んでいないにもかかわらず、ユーザＢが仕方なくユーザＡの望みを優先させることで、通信回線が確立され、通信の状態がｏｎ状態になっていた。

また、ユーザＡとユーザＢの通信回線を一旦確立し、通信の状態をｏｎ状態にしてしまった場合に、ユーザＡの状態が、ユーザＢとのコミュニケーション活動をあまり望んでいない状態に変化したとしても、ユーザＢが望んでいるために、ユーザＡが望まないにもかかわらず、過剰な情報が送受信されてしまったり、逆に、ユーザＢが望んでいるにもかかわらず、ユーザＡにより、一方的に通信回線が切断され、通信の状態がｏｆｆ状態になっていた。

このように、従来の通信においては、通信の状態は、通信の確立および切断によるｏｎ、ｏｆｆの状態しかなかったために、通信の確立および切断に際して、コミュニケーションを行うどちらか一方のユーザが不都合に感じることや、不満を感じることが多かった。

図１８は、ユーザＡの要求状態、および従来の通信の状態と時間の経過の関係を表す図である。

図１８の例において、縦軸は、ユーザＡの要求状態を表しており、縦軸には、下から順に、閉鎖状態(closed)、開放状態(open)、積極状態(active)が示され、上に行くほど、ユーザＡの要求が強いことを示している。横軸は、時刻ｔ０からの時間の経過を表している。

ユーザＡの要求状態は、時刻ｔ０乃至時刻ｔ５に示されるように、時々刻々と変化している。すなわち、ユーザＡの要求状態は、時刻ｔ０から閉鎖状態であるが、時刻ｔ１になったときに、開放状態に変化し、時刻ｔ２になったときに、積極状態に変化し、その後、時刻ｔ３になったときに、開放状態に変化し、時刻ｔ４になったときに、積極状態に変化し、時刻ｔ５において、開放状態に変化している。

一方、例えば、従来においては、図１７で上述したように、通信回線の状態は、ｏｎ状態とｏｆｆ状態しかない。直線Ｌ１は、時間の経過における従来の通信回線の状態を表している。

すなわち、図１８の例の場合、ユーザＡおよびユーザＢの通信の状態は、ユーザＡの要求状態と図示せぬユーザＢの要求状態が積極状態になった時刻ｔ２において、ユーザＡの発呼とユーザＢの応答により通信回線が確立されてｏｎ状態となり、時刻ｔ５において、ユーザＢの一方的な操作により、ユーザＡの要求状態によらず、通信回線が切断されてｏｆｆ状態となっていた。

したがって、時刻ｔ２において、ユーザＡの要求が閉鎖状態から開放状態になったとしても、ユーザＡおよびユーザＢの通信の状態は、ｏｆｆ状態のままであり、ユーザＡの開放状態と、通信のｏｆｆ状態（直線Ｌ１）には、矢印に示すようにギャップが生じてしまっていた。また、時刻ｔ２において、ユーザＡの発呼とユーザＢの応答により、一旦通信回線が確立されると、時刻ｔ３において、ユーザＡの要求が積極状態から開放状態になった（すなわち、あまり要求が強くなくなった）としても、ユーザＡおよびユーザＢの通信は、ｏｎ状態のままであり、ユーザＡの開放状態と、通信のｏｎ状態（直線Ｌ１）には、矢印に示すギャップが生じてしまっていた。

さらに、時刻ｔ５において、ユーザＡの要求が積極状態から開放状態になっただけではあるのに、ユーザＢの一方的な操作により通信回線が切断されて、ユーザＡおよびユーザＢの通信は、ｏｆｆ状態となってしまい、ユーザＡの開放状態と、通信のｏｆｆ状態（直線Ｌ１）には、矢印に示すギャップが生じてしまっていた。

なお、図１８の例においては、ユーザＡの要求状態と通信の状態に、ギャップが生じないのは、ユーザＡの要求が閉鎖状態であり、ユーザＡおよびユーザＢの通信がｏｆｆ状態である時刻ｔ０乃至ｔ１の間と、ユーザＡの要求が積極状態であり、ユーザＡおよびユーザＢの通信がｏｎ状態である時刻ｔ２乃至ｔ３の間および時刻ｔ４乃至ｔ５の間だけである。

以上のように、従来の通信においては、ユーザＡおよびユーザＢの通信の状態がｏｆｆ状態の場合には、ユーザＡやユーザＢの要求状態がいくら変動しようとも、ユーザＡおよびユーザＢが発呼および応答を行わない限りは、通信回線が確立されず、ユーザＡおよびユーザＢの通信の状態はｏｎ状態にはならなかった。

また、ユーザＡおよびユーザＢの通信回線が確立されてしまえば、ユーザＡやユーザＢの要求状態がいくら変動しようとも、ユーザＡまたはユーザＢが切断を要求しない限りは、通信の状態はｏｆｆ状態にならなかった。したがって、ユーザの要求状態と、通信の状態にギャップが生じてしまうことが多かった。

なお、図１９に示されるように、常時接続された通信回線を用いて、ユーザＡおよびユーザＢとの通信回線を常時確立してしまうことも可能であった。

図１９の例の場合、ユーザＡの要求状態は、図１８の例の場合と同様に、時刻ｔ０から閉鎖状態であるが、時刻ｔ１になったときに、開放状態に変化し、時刻ｔ２になったときに、積極状態に変化し、その後、時刻ｔ３になったときに、開放状態に変化し、時刻ｔ４になったときに、積極状態に変化し、時刻ｔ５において、開放状態に変化している。

一方、図１９の例の場合、ユーザＡおよびユーザＢとの通信の状態は、直線Ｌ２に示されるように、通信回線が常時確立されているため、ｏｎ状態となっている。

すなわち、ユーザＡおよびユーザＢの通信の状態は、常時接続された通信回線を用いて行われることにより、ユーザＡおよびユーザＢの要求状態によらず、常時ｏｎ状態である。

したがって、時刻ｔ０において、ユーザＡの要求が閉鎖状態であったとしても、時刻ｔ１において、ユーザの要求が開放状態になったとしても、ユーザＡおよびユーザＢの通信の状態は、ｏｎ状態のままであり、ユーザＡの閉鎖状態および開放状態と、通信のｏｎ状態（直線Ｌ２）には、それぞれ、矢印に示すようにギャップが生じる。

また、時刻ｔ３において、ユーザＡの要求が積極状態から開放状態になったとしても、ユーザＡおよびユーザＢの通信の状態は、ｏｎ状態のままであり、ユーザＡの開放状態と、通信のｏｎ状態（直線Ｌ２）には、矢印に示すギャップが生じてしまっていた。さらに、時刻ｔ５において、ユーザＡの要求が積極状態から開放状態になったとしても、ユーザＡおよびユーザＢの通信の状態は、ｏｎ状態のままであり、ユーザＡの開放状態と、通信のｏｎ状態（直線Ｌ２）には、矢印に示すギャップが生じてしまっていた。

なお、ギャップが生じないのは、ユーザＡの要求が積極状態であり、ユーザＡおよびユーザＢの通信の状態がｏｎ状態である時刻ｔ２乃至ｔ３の間および時刻ｔ４乃至ｔ５の間だけである。

すなわち、図１９の例の通信においては、常時接続された通信回線を用いて、ユーザＡおよびユーザＢとの通信回線を常時確立した場合、ユーザの要求状態に拠らず、常にユーザの情報が通信されてしまう。したがって、ユーザの要求が弱いときなどには、監視カメラ装置のような一方向的な利用を行うものと違って、ユーザのプライバシを侵害する恐れがあり、結果的に、ユーザに不快感を与えてしまっていた。

以上のように、従来の通信においては、時々刻々と変化するユーザＡの要求状態と、通信回線の切断および確立によるｏｎ状態とｏｆｆ状態しか有さない通信の状態の間は、大きなギャップが生じてしまっていた。

図２０は、図１７の従来の場合に対応する、図１の通信システムにおけるユーザの要求状態と通信の状態の関係を表す図である。

図２０の例においては、図１７の例の場合と同様に、横軸は、ユーザＢとの通信に対するユーザＡの要求状態（閉鎖状態(closed)、開放状態(open)、積極状態(active)）を３段階で表し、縦軸は、ユーザＡとの通信に対するユーザＢの要求状態（閉鎖状態(closed)、開放状態(open)、積極状態(active)）を３段階で表している。

したがって、図１７の例の場合と同様に、ユーザＡの要求状態とユーザＢの要求状態は、同じ場合もあれば、異なる場合もあり、ユーザＡの要求状態とユーザＢの要求状態の組み合わせは、９通り考えられ、さらに、ユーザＡの要求状態とユーザＢの要求状態は、図２１を参照して後述するように、時間の経過とともに、それぞれ変化していく。

一方、図１の通信システムおいては、通信の状態が、ユーザＡとユーザＢの要求状態の組み合わせに応じて、低臨場感(Ambient)状態、中臨場感(Medium)状態、または高臨場感(high presence)状態に変化する。

すなわち、図１の通信システムの場合、通信回線の切断および確立により通信の状態が３つの状態に変化するわけではなく、通信回線が常時確立された状態（ｏｎ状態）において行われる通信の状態が、ユーザＡおよびユーザＢの相互の要求に対応して、低臨場感(Ambient)、中臨場感(Medium)、および高臨場感(high presence)をそれぞれユーザに与える３つのいずれかの状態に変化する。

具体的には、通信の状態は、領域Ｌに示されるように、ユーザＡの要求およびユーザＢの要求の少なくとも一方が閉鎖状態である場合に低臨場感状態となり、通信の状態が低臨場感状態である場合、図１の通信システムにおいては、ユーザＡおよびユーザＢに対して、低臨場感を感じさせるコミュニケーション環境が提供されるように、通信対象のデータの提示度合いの調整が行われる。

通信の状態は、領域Ｍに示されるように、ユーザＡの要求およびユーザＢの要求のどちらか一方が開放状態であり、かつ、他方が開放状態以上の強さの状態である場合に中臨場感状態となり、通信の状態が中臨場感状態である場合、図１の通信システムにおいては、ユーザＡおよびユーザＢに対して、中臨場感を感じさせるコミュニケーション環境が提供されるように、通信対象のデータの提示度合いの調整が行われる。

通信の状態は、領域Ｈに示されるように、ユーザＡの要求およびユーザＢの要求の両方が積極状態以上の強さの状態である場合に高臨場感状態となり、通信の状態が高臨場感状態である場合、ユーザＡおよびユーザＢに対して、高臨場感を感じさせるコミュニケーション環境が提供されるように、通信対象のデータの提示度合いの調整が行われる。

図２１は、ユーザＡの要求状態、および図２０の通信の状態と時間の経過の関係を表す図である。

図２１の例の場合、ユーザＡの要求状態は、図１８の例の場合と同様に、時刻ｔ０から閉鎖状態であるが、時刻ｔ１になったときに、開放状態に変化し、時刻ｔ２になったときに、積極状態に変化し、その後、時刻ｔ３になったときに、開放状態に変化し、時刻ｔ４になったときに、積極状態に変化し、時刻ｔ５において、開放状態に変化している。

そして、図１の通信システムにおける通信は、図２０で上述したように、３つの状態（低臨場状態、中臨場状態、および高臨場状態）を有している。直線Ｌ３は、時間の経過における通信の状態を表している。なお、この通信の状態は、説明の便宜上、直線で表されているが、実際には、ユーザの要求状態に応じて変化するため、直線Ｌ３のように直線ではなく、なだらかな曲線で表される。

したがって、ユーザＡおよびユーザＢの通信の状態は、ユーザＡの要求が閉鎖状態である時刻ｔ０においては、ユーザＢの要求状態に拠らず、低臨場状態であり、ユーザＡの要求が低臨場状態から、開放状態に変化する時刻ｔ１においては、ユーザＢの要求が開放状態以上であれば、中臨場状態に変化し、ユーザＡの要求が開放状態から、積極状態に変化する時刻ｔ２においては、ユーザＢの要求が積極状態以上であれば、高臨場状態に変化する。

また、ユーザＡおよびユーザＢの通信の状態は、ユーザＡの要求が積極状態から開放状態に変化する時刻ｔ３においては、ユーザＢの要求が開放状態以上であれば、中臨場状態に変化し、ユーザＡの要求が開放状態から、積極状態に変化する時刻ｔ４においては、ユーザＢの要求が積極状態以上であれば、高臨場状態に変化し、ユーザＡの要求が積極状態から開放状態に変化する時刻ｔ５においては、ユーザＢの要求が開放状態以上であれば、中臨場状態に変化する。

すなわち、ユーザＡとユーザＢの要求は、時々刻々と変化するが、変化するユーザＡとユーザＢの要求の相関関係に応じて、通信の状態も時々刻々と変化する。これにより、ユーザＡとユーザＢの要求状態と、通信の状態のギャップは、従来の場合よりも抑制される。

なお、通信の状態の変化が、ユーザＡとユーザＢの要求の相関関係に応じていることにより、例えば、ユーザＢの要求が変わらず閉鎖状態である場合には、直線Ｌ４に示されるように、通信の状態は、変わらず低臨場状態を保持する。この場合、ユーザＡが開放状態に変化しても、積極状態に変化しても、通信の状態は低臨場状態であり、ユーザＡの要求状態と、通信の状態にはギャップが生じてしまうが、従来のように、通信回線が切断されるわけではなく、ユーザＢの状態を感じることはできるので、従来の一方的に切断される場合のようなユーザの不快感を緩和させることができる。

さらに、常に、閉鎖状態のユーザの要求が優先されるので、ユーザの要求が弱いときに、要求以上の情報が送信されてしまうことがない。すなわち、ユーザのプライバシが侵害されることを抑制することができる。

以上により、図１の通信システムにおいては、ユーザに快適なコミュニケーション活動を提供することができる。

図２２は、本発明を適用した通信システムの他の構成例を示している。

図２２の通信システムは、通信制御装置１−１乃至１−３、およびネットワーク２を備える点が図１の通信システムと共通するが、サーバ３０１が追加された点が図１の通信システムと異なる。

すなわち、図２２のネットワーク２には、通信制御装置１−１乃至１−３だけでなく、サーバ３０１が接続されている。なお、サーバ３０１は、任意の台数、ネットワーク２に接続される。

図２０の通信制御装置１は、図１の通信制御装置１と同様に、ネットワーク２に接続される他の通信制御装置１と通信回線を確立し、確立後においては、常時、データを相互に通信し、通信により得られたデータをユーザに提示する。これにより、ユーザは、通信相手とのコミュニケーション（通信）を行うことができる。

例えば、ユーザＡが、ユーザＢとコミュニケーションを行う場合、通信制御装置１−１は、ユーザＡの映像データおよび音声データを、ネットワーク２を介して通信制御装置１−２に送信し、通信制御装置１−２から送信されてくるユーザＢの映像データおよび音声データを受信している。

このとき、通信制御装置１−１は、ユーザＡの状態や動作などに対応して入力される、ユーザＢ（通信制御装置１−２）との通信に対する要求の度合いを表す要求情報を、ネットワーク２を介してサーバ３０１に送信するとともに、ユーザＢの状態や動作などに対応して入力される、ユーザＡ（通信制御装置１−１）との通信に対するユーザＢの要求情報を、ネットワーク２を介してサーバ３０１から受信する。

また、通信制御装置１−１は、ネットワーク２を介して、サーバ３０１から、送信するユーザＡのデータ、または受信したユーザＢのデータの提示度合いを調整するための制御情報を取得する。通信制御装置１−１は、取得された制御情報に応じて、送信するユーザＡのデータを調整し、調整したユーザＡのデータを、通信制御装置１−２に送信する。あるいは、通信制御装置１−１は、取得された制御情報に応じて、受信したユーザＢのデータの提示度合いを調整し、調整したユーザＢのデータに対応する情報（すなわち、映像や音声）を、ユーザＡに対して提示する。

例えば、ユーザＡが、ユーザＣとコミュニケーションを行う場合、通信制御装置１−１は、ユーザＡの映像データおよび音声データを、ネットワーク２を介して通信制御装置１−３に送信し、通信制御装置１−３から送信されてくるユーザＣの映像データおよび音声データを受信している。

このとき、通信制御装置１−１は、ユーザＡの状態や動作などに対応して入力される、ユーザＣ（通信制御装置１−３）との通信に対するユーザＡの要求情報を、ネットワーク２を介してサーバ３０１に送信するとともに、ユーザＣの状態や動作などに対応して入力される、ユーザＡ（通信制御装置１−１）に対するユーザＣの要求情報を、ネットワーク２を介してサーバ３０１から受信する。

また、通信制御装置１−１は、ネットワーク２を介して、サーバ３０１から、送信するユーザＡのデータ、または受信したユーザＣのデータの提示度合いを調整するための制御情報を取得する。通信制御装置１−１は、取得された制御情報に応じて、送信するユーザＡのデータを調整し、調整したユーザＡのデータを、通信制御装置１−３に送信する。あるいは、通信制御装置１−１は、取得された制御情報に応じて、受信したユーザＣのデータの提示度合いを調整し、調整したユーザＣのデータに対応する情報（すなわち、映像や音声）を、ユーザＡに対して提示する。

なお、通信制御装置１−２による通信制御装置１−１との通信および通信制御装置１−３との通信、並びに、通信制御装置１−３による通信制御装置１−１との通信および通信制御装置１−２との通信も同様であり、繰り返しになるのでその説明を省略する。

サーバ３０１は、通信確立中の両方の通信制御装置１から、両方のユーザの要求情報をそれぞれ取得し、取得した一方のユーザの要求情報を、他方のユーザの通信制御装置１にそれぞれ送信するとともに、両方のユーザの要求情報の相関関係に基づいて、両方のユーザにより送受信されるデータの提示度合いの調整を制御する制御情報を算出し、算出した制御情報を、通信確立中の両方のユーザの通信制御装置１に、それぞれ送信する。

例えば、サーバ３０１は、ネットワーク２を介して、通信確立中の通信制御装置１−１および１−２から、ユーザＡの要求情報、およびユーザＢの要求情報をそれぞれ取得し、取得したユーザＡの要求情報を、ネットワーク２を介して、ユーザＢの通信制御装置１−２に送信し、取得したユーザＢの要求情報を、ネットワーク２を介して、ユーザＡの通信制御装置１−１に送信する。

そして、サーバ３０１は、取得したユーザＡの要求情報、およびユーザＢの要求情報の相関関係に基づいて、通信制御装置１−１および１−２間で送受信されるユーザＡまたはユーザＢのデータの提示度合いの調整を制御する制御情報を算出し、算出した制御情報を、ネットワーク２を介して、通信制御装置１−１および１−２にそれぞれ送信する。

例えば、サーバ３０１は、通信確立中の通信制御装置１−１および１−３から、ユーザＡの要求情報、およびユーザＣの要求情報をそれぞれ取得し、取得したユーザＡの要求情報を、ユーザＣの通信制御装置１−３に送信し、取得したユーザＣの要求情報を、ユーザＡの通信制御装置１−１に送信する。

また、サーバ３０１は、取得したユーザＡの要求情報、およびユーザＣの要求情報の相関関係に基づいて、通信制御装置１−１および１−３間で送受信されるユーザＡまたはユーザＣのデータの提示度合いの調整を制御する制御情報を算出し、算出した制御情報を、通信制御装置１−１および１−３にそれぞれ送信する。

以上のように、図２２の通信システムにおいては、図１の通信制御装置１において行われていたユーザおよび通信相手の要求情報の相関関係に基づく制御情報の算出がサーバ３０１において行われる。これにより、通信制御装置１において、制御情報の算出するための演算の負荷を軽減することができる。

そして、図２２の通信制御装置１においては、サーバ３０１において算出された制御情報に応じて、他の通信制御装置１との通信に用いるデータの提示度合いが調整され、調整されたデータに対応する情報がユーザに対して提示される。

したがって、図１の通信システムと同様に、例えば、通信相手に対して、コミュニケーションを望んでいないときに、多くの情報が通信相手に送信されてしまったり、反対に、通信相手に対して、コミュニケーションを望んでいても、通信相手にはその要求が伝わらないなど、ユーザと通信相手のコミュニケーションにおいて、双方の不都合が生じることが抑制される。

これにより、ユーザと通信相手の双方に快適なコミュニケーション環境が提供される。

なお、図２２のサーバ３０１の構成例は、通信制御装置１の構成例と基本的に同様であるため、以下、図２の通信制御装置１の構成例は、サーバ３０１の構成としても用いられる。

図２３は、図２２の通信制御装置１の機能構成例を示すブロック図である。図２３の例においては、通信制御装置１−１および１−２の機能構成例が示されており、図２３に示される機能ブロックは、通信制御装置１−１および１−２のCPU１１（図２）により所定のプログラムがそれぞれ実行されることで実現される。

なお、図２３の通信制御装置１−１は、入出力インタフェース１５−１を備え、入出力インタフェース１５−１に、要求情報入力部３１−１、要求情報提示部３２−１、出力部１７−１、および映像音声入力部３３−１が接続されている点、並びに、入出量情報調整部４２−１、およびデータ通信制御部４４−１を備える点が、図３の通信制御装置１−１と共通するが、入力バランス制御部４１−１が入力バランス制御部３１１−１に入れ替わった点、および要求情報送受信部４３−１が要求情報送受信部３１２−１に入れ替わった点が図３の通信制御装置１−１と異なる。

また、図２３の通信制御装置１−２は、入出力インタフェース１５−２を備え、入出力インタフェース１５−２に、要求情報入力部３１−２、要求情報提示部３２−２、出力部１７−２、および映像音声入力部３３−２が接続されている点、並びに、入出量情報調整部４２−２、およびデータ通信制御部４４−２を備える点が、図３の通信制御装置１−２と共通するが、入力バランス制御部４１−２が入力バランス制御部３１１−２に入れ替わった点、および要求情報送受信部４３−２が要求情報送受信部３１２−２に入れ替わった点が図３の通信制御装置１−２と異なる。

すなわち、入出力バランス制御部３１１−１は、要求情報入力部３１−１から入力されるユーザＡの要求情報を取得し、取得したユーザＡの要求情報を、入出力インタフェース１５−１を介して、要求情報提示部３２−１に出力し、提要求情報提示部３２−１に提示させるとともに、要求情報送受信部３１２−１に出力し、サーバ３０１に送信させる。

入出力バランス制御部３１１−１は、要求情報送受信部３１２−１から入力されるユーザＢ（通信相手）の要求情報を取得し、取得したユーザＢの要求情報を、入出力インタフェース１５−１を介して、要求情報提示部３２−１に出力し、提要求情報提示部３２−１に提示させる。

また、入出力バランス制御部３１１−１は、要求情報送受信部３１２−１から入力される、ユーザＡおよびユーザＢの要求情報の相関関係に応じてサーバ３０１により算出された制御情報に基づいて、入出力情報調整部４２−１を制御する。

要求情報送受信部３１２−１は、ネットワーク２およびサーバ３０１を介して、通信部１９により通信が確立された通信相手（ユーザＢ）の通信制御装置１−２に、ユーザＡの要求情報を送信したり、サーバ３０１およびネットワーク２を介して、通信制御装置１−２からのユーザＢの要求情報を受信する。

また、要求情報送受信部３１２−１は、サーバ３０１から、ネットワーク２を介して、ユーザＡおよびユーザＢの要求情報の相関関係に応じて算出された制御情報を受信し、入出力バランス制御部４１−１に出力する。

通信制御装置１−２の入出力バランス制御部３１１−２および要求情報送受信部３１２−２も、通信制御装置１−１の入出力バランス制御部３１１−１および要求情報送受信部３１２−１と同様の構成であるため、その説明は繰り返しになるので省略する。

なお、以下、入出力バランス制御部３１１−１および３１１−２、並びに要求情報送受信部３１２−１および３１２−２を、個々に区別する必要がない場合、それぞれ、入出力バランス制御部３１１、並びに要求情報送受信部３１２と称する。

図２４は、図２３の入出力バランス制御部３１１および要求情報送受信部３１２の構成例を示す図である。

図２４の入出力バランス制御部３１１は、要求情報取得部６１、および調整制御部６４を備える点が図４の入出力バランス制御部４１と共通するが、制御情報算出部６２および制御関数記憶部６３が除かれた点が図４の入出力バランス制御部４１と異なる。

図２４の要求情報送受信部３１２は、要求情報送信部７１を備える点が図４の要求情報送受信部４３と共通するが、要求情報受信部７２が要求情報受信部３２１に入れ替わった点が図４の要求情報送受信部４３と異なる。

すなわち、要求情報取得部６１は、要求情報入力部３１から入力されるユーザの要求情報を取得し、取得したユーザの要求情報を、要求情報送信部７１および要求情報提示部３２に出力する。要求情報取得部６１は、要求情報受信部３２１から入力される通信相手の要求情報を取得し、取得した通信相手の要求情報を、要求情報提示部３２に出力する。

さらに、要求情報取得部６１は、要求情報受信部３２１より入力されるサーバ３０１からの制御情報（すなわち、ユーザと通信相手の要求情報の相関関係に応じて算出された制御情報）を取得し、取得した制御情報を、調整制御部６４に出力する。

調整制御部６４は、要求情報取得部６１より入力されるサーバ３０１からの制御情報に基づいて、入出力情報調整部４２によるデータの調整を制御する。

要求情報送信部７１は、要求情報取得部６１から入力されるユーザの要求情報を、サーバ３０１を介して、通信相手の通信制御装置１に送信する。

要求情報受信部３２１は、通信相手の通信制御装置１からの通信相手の要求情報を、サーバ３０１を介して受信し、受信した通信相手の要求情報を要求情報取得部６１に供給する。また、要求情報受信部３２１は、サーバ３０１から、ユーザと通信相手の要求情報の相関関係に応じて算出された制御情報を受信する。

図２５は、サーバ３０１の機能構成例を示すブロック図である。図２５に示される機能ブロックは、サーバ３０１のCPU１１により所定のプログラムがそれぞれ実行されることで実現される。

要求情報受信部３５１は、通信制御装置１からのユーザの要求情報を、ネットワーク２を介して受信し、要求情報取得部３５２に出力する。

要求情報取得部３５２は、要求情報受信部３５１から入力される通信制御装置１からのユーザの要求情報を取得し、取得したユーザの要求情報を、情報送信部３５５に出力する。また、要求情報取得部３５２は、通信が確立されている通信制御装置１同士のユーザの要求情報が両方取得された場合、両方のユーザの要求情報を、制御情報算出部３５３に出力する。

制御情報算出部３５３は、要求情報取得部３５２から相互に通信が確立されている１組のユーザの要求情報が入力される。制御情報算出部３５３は、制御関数記憶部３５４に記憶されている１組のユーザに対応する制御関数群を読み出し、読み出した制御関数群を用いて、１組のユーザの要求情報の相関関係に応じた制御情報を算出し、算出した制御情報を、情報送信部３５５に出力する。

制御関数記憶部３５４は、制御情報算出部３５３により制御情報の算出に用いられる１組のユーザ毎の制御関数群を記憶している。すなわち、制御関数記憶部３５４には、ユーザＡとユーザＢとの通信における制御情報の算出に用いられる制御関数群、ユーザＡとユーザＣとの通信における制御情報の算出に用いられる制御関数群などが記憶されている。

情報送信部３５５は、要求情報取得部３５１から入力されるユーザの要求情報を、ネットワーク２を介して、通信が確立されている他の通信制御装置１に送信する。また、情報送信部３５５は、制御情報算出部３５３により算出された１組のユーザの通信における制御関数を、ネットワーク２を介して、対応する１組の通信制御装置１に送信する。

次に、通信制御装置１−１と通信制御装置１−２の処理について説明する。なお、図２１の通信制御装置１−１と通信制御装置１−２の処理の例は、図１２を参照して上述した処理と、ステップＳ１６およびＳ３６の入出力調整制御処理が異なるだけであり、その他の処理は基本的に同様であるので、その説明を省略する。

したがって、図２６のフローチャートを参照して、図１２のステップＳ１６およびＳ３６の入出力調整制御処理の他の例である、図２１の通信制御装置１の入出力調整制御処理を説明する。なお、図２６の例においては、通信制御装置１−１のステップＳ１６の例が示されているが、通信制御装置１−２もステップＳ３６において同様の処理を行うので、その説明は省略する。

また、図２６のステップＳ１６１乃至Ｓ１６３,Ｓ１６６,およびＳ１６８の処理は、図１３のステップＳ５１乃至Ｓ５３,Ｓ５６,およびＳ５８の処理と基本的に同様の処理であるので、その詳細な説明は適宜省略する。

要求情報入出力提示装置２０１の情報検出部２１２は、ステップＳ１６１において、ユーザＡの接近を検出し、それに応じて、ユーザＡの通信相手に対する要求情報を、入出力バランス制御部４１−１に入力する。

入出力バランス制御部４１−１の要求情報取得部６１は、ステップＳ１６２において、情報検出部２１２からのユーザＡの要求情報を取得する。

要求情報取得部６１は、ステップＳ１６３において、取得したユーザＡの要求情報を、要求情報提示部３２のＬＥＤ２１３に提示する。

要求情報取得部６１は、取得したユーザＡの要求情報を、要求情報送信部７１に出力する。要求情報送信部７１は、ステップＳ１６４において、通信部１９を制御し、ユーザＡの要求情報を、ネットワーク２を介して、サーバ３０１に送信させる。なお、このとき、要求情報送信部７１は、ユーザＢの通信制御装置１−２と通信確立中であることもサーバ３０１に通知する。

一方、ユーザＢも、ユーザＡと同様に、ユーザＢの要求情報を取得し、取得したユーザＢの要求情報を、ユーザＢに対して提示するとともに、ネットワーク２を介してサーバ３０１に送信している。このとき、通信制御装置１−２も、ユーザＡの通信制御装置１−１と通信確立中であることをサーバ３０１に通知している。

これに対応して、サーバ３０１は、後述する図２７のステップＳ１８２において、ユーザＡの要求情報を、ネットワーク２を介して、ユーザＢの通信制御装置１−２に送信し、ステップＳ１８４において、ユーザＢの要求情報を、ネットワーク２を介して、ユーザＡの通信制御装置１−１に送信してくる。

通信制御装置１−１の要求情報受信部３２１は、ステップＳ１６５において、ネットワーク２および通信部１９を介して、サーバ３０１から、通信相手（ユーザＢ）の要求情報を受信し、受信したユーザＢの要求情報を、要求情報取得部６１に出力する。要求情報取得部６１は、要求情報受信部３２１からの通信相手（ユーザＢ）の要求情報を取得し、ステップＳ１６６において、取得したユーザＢの要求情報を、要求情報提示部３２のＬＥＤ２１４に提示する。

また、サーバ３０１は、後述する図２７のステップＳ１８６において、ユーザＡおよびユーザＢの要求情報に基づいて算出された各データの制御情報を、ネットワーク２を介して、ユーザＡの通信制御装置１−１に送信してくる。なお、各データの制御情報は、ステップＳ１８７において、同様に、ユーザＢの通信制御装置１−２にも送信される。

通信制御装置１−１の要求情報受信部３２１は、ステップＳ１６７において、ネットワーク２および通信部１９を介して、サーバ３０１から、ユーザＡおよびユーザＢの要求情報に基づいて算出された各データの制御情報を受信し、受信した各データの制御情報を、調整制御部６４に出力する。

調整制御部６４は、ステップＳ１６８において、要求情報受信部３２１からのサーバ３０１により算出された制御情報に基づいて、図１２のステップＳ１５において出力調整部９１−１に入力されたユーザＢのデータの調整を制御する。すなわち、ステップＳ１６８において、出力調整部９１−１は、制御情報に基づいて、ユーザＢのデータの提示度合いを調整する。

すなわち、ユーザＢの映像データ、音声データ、および振動データは、映像調整部１１１、音声調整部１１２、および振動調整部１１３によりそれぞれ調整されて、データ混合器９３に出力され、処理は、図１２のステップＳ１６に戻り、ステップＳ１７に進む。

これにより、ステップＳ１７においては、データ混合器９３により調整されたデータに対応する情報が出力部１７（すなわち、ユーザＡ）に提示される。

次に、図２７のフローチャートを参照して、図２２のサーバ３０１の制御情報算出処理を説明する。図２７の制御情報算出処理は、図２２の通信制御装置１による図２６の入出力調整制御処理に対応して実行される処理である。

通信制御装置１−１は、上述した図２６のステップＳ１６４において、ユーザＡの要求情報を、ネットワーク２を介して、サーバ３０１に送信してくる。なお、このとき、通信制御装置１−１からは、ユーザＢの通信制御装置１−２と通信確立中であることもサーバ３０１に通知される。

サーバ３０１の要求情報受信部３５１は、ネットワーク２を介して、ステップＳ１８１において、ユーザＡの要求情報を受信し、受信した要求情報を要求情報取得部３５２に出力する。要求情報取得部３５２は、要求情報受信部３５１から入力されるユーザＡの要求情報を取得し、取得したユーザＡの要求情報を、情報送信部３５５に出力する。

情報送信部３５５は、ステップＳ１８２において、要求情報取得部３５１から入力されるユーザＡの要求情報を、ネットワーク２を介して、通信確立中であるユーザＢの通信制御装置１−２に送信する。

これに対応して、通信制御装置１−２においては、ユーザＡの要求情報が受信されて、ユーザＢに対して提示される。

一方、通信制御装置１−２も、ユーザＢの要求情報を、ネットワーク２を介して、サーバ３０１に送信してくる。なお、このとき、通信制御装置１−２からも、ユーザＡの通信制御装置１−１と通信確立中であることがサーバ３０１に通知される。

サーバ３０１の要求情報受信部３５１は、ステップＳ１８３において、ネットワーク２を介して、ユーザＢの要求情報を受信し、受信した要求情報を要求情報取得部３５２に出力する。要求情報取得部３５２は、要求情報受信部３５１から入力されるユーザＢの要求情報を取得し、取得したユーザＢの要求情報を、情報送信部３５５に出力する。

情報送信部３５５は、ステップＳ１８４において、要求情報取得部３５１から入力されるユーザＢの要求情報を、ネットワーク２を介して、通信確立中であるユーザＡの通信制御装置１−１に送信する。

これに対応して、上述した図２６のステップＳ１６５において、通信制御装置１−１は、ユーザＢの要求情報を受信し、ステップＳ１６６において、ユーザＢの要求情報が、ユーザＡに対して提示される。

また、要求情報取得部３５２は、通信確立中の通信制御装置１−１および１−２からのユーザＡおよびユーザＢの要求情報が両方取得されると、ユーザＡおよびユーザＢの要求情報を制御情報算出部３５３に出力する。

制御情報算出部３５３は、ステップＳ１８５において、要求情報取得部３５２から入力されたユーザＡおよびユーザＢの要求情報に基づいて、各データの制御情報を算出する。すなわち、制御情報算出部３５３は、ステップＳ１８５において、制御関数記憶部３５４に記憶されているユーザＡとユーザＢの制御関数群を用いて、ユーザＡとユーザＢの要求情報の相関関係に応じた制御情報を算出し、算出した制御情報を、情報送信部３５５に出力する

情報送信部３５５は、ステップＳ１８６において、ネットワーク２を介して、ユーザＡの通信制御装置１−１に、ユーザＡとユーザＢの要求情報の相関関係に応じた制御情報を送信する。

これに対応して、通信制御装置１−１は、ユーザＡとユーザＢの要求情報の相関関係に応じた制御情報を受信し、上述した図２６のステップＳ１６８において、受信した制御情報に基づいて、出力調整部９１−１に入力されたユーザＢのデータの調整を制御する。

また、情報送信部３５５は、ステップＳ１８７において、ネットワーク２を介して、ユーザＢの通信制御装置１−２に、ユーザＡとユーザＢの要求情報の相関関係に応じた制御情報を送信する。そして、制御情報算出処理は終了される。

これに対応して、通信制御装置１−２においても、ユーザＡとユーザＢの要求情報の相関関係に応じた制御情報が受信され、受信された制御情報に基づいて、出力調整部９１−１に入力されたユーザＡのデータの調整が制御される。

なお、通信制御装置１−１が通信制御装置１−３とも通信を確立していた場合には、通信制御装置１−１および１−３の間で、図２６の入出力調整制御処理が含まれる図１２の処理が実行され、これに対応して、サーバ３０１においては、ユーザＡとユーザＣの要求情報に対して、図２７の制御情報算出処理が実行される。

すなわち、サーバ３０１による図２７の制御情報算出処理は、１組のユーザ毎に実行される処理である。

以上のように、サーバ３０１が制御情報を算出する図２２の通信システムにおいても、図１の通信システムの場合と同様に、ユーザと通信相手のコミュニケーションにおいて、双方の不都合が生じることが抑制されるので、ユーザと通信相手の双方に快適なコミュニケーション環境が提供される。

また、サーバ３０１を介して、通信相手の要求情報が送受信され、受信された要求情報が提示されるので、図１の通信システムの場合と同様に、通信相手の要求情報も確認することができる。

なお、図２２の通信システムにおいては、ユーザが、自身のプライバシ保護を行うための制御算出を外部のサーバに委託することになってしまうため、外部のサーバの動作によっては、自身にとっての不快な制御が行われてしまうかもしれないといった不安感を生じさせてしまう恐れもあり、プライバシ保護の点では、図１の通信システムの場合のほうが、利点がある。

しかしながら、図２２の通信システムにおいては、サーバ３０１により制御情報が算出されるので、図１の通信システムの場合と較べて、ユーザが用いる通信制御装置１の構成を簡単にすることができるとともに、各ユーザの要求情報を一元管理できるため、制御算出にかかるメンテナンスや改良を容易に行うことができる。

なお、上記説明においては、通信制御装置１−１および１−２の通信、および通信制御装置１−１および１−３の通信を用いて説明したが、通信制御装置１−２および１−３の通信も同様に実行される。この場合にも、ユーザＢとユーザＣの要求情報に基づいて、通信制御装置１−２および１−３で通信されるデータを調整する制御情報が算出される。

また、上記説明においては、通信制御装置１がパーソナルコンピュータで構成される場合を説明したが、パーソナルコンピュータに限らず、例えば、携帯電話機、その他のＰＤＡ(Personal Digital Assistant)機器や、ＰＤ（Potable Device）、ＡＶ(Audio Visual)機器などの再生装置、記録再生装置や家電（家庭用電化製品）などのＣＥ（Consumer Electronics）機器などで構成することもできる。

上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

この記録媒体は、図２に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory)，ＤＶＤ(Digital Versatile Disk)を含む）、光磁気ディスク（MD(Mini-Disk)（商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア２１のようなパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１２や、記憶部１８に含まれるハードディスクなどで構成される。

ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。

また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。

なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

本発明の通信システムの構成例を示す図である。 図１の通信制御装置のハードウェアの構成例を示すブロック図である。 図１の通信制御装置の機能構成例を示すブロック図である。 図３の入出力バランス制御部および要求情報送受信部の構成例を示すブロック図である。 図３の入出力情報調整部およびデータ通信制御部の構成例を示すブロック図である。 図５の出力調整部の構成例を示すブロック図である。 制御情報算出処理の概念を説明する図である。 制御関数群を説明する図である。 制御関数群を説明する図である。 図３の要求情報入力部と要求情報提示部の例を示す図である。 図３の要求情報入力部と要求情報提示部の他の例を示す図である。 図１の通信システムの処理を説明するフローチャートである。 図１２のステップＳ１６およびＳ３６の入出力調整制御処理を説明するフローチャートである。 表示画面の例を示す図である。 表示画面の他の例を示す図である。 図１の通信システムの処理の他の例を説明するフローチャートである。 ユーザの要求状態と従来の通信の状態の関係を説明する図である。 ユーザの要求状態および従来の通信の状態と時間の経過の関係を説明する図である。 ユーザの要求状態および従来の通信の状態と時間の経過の関係の他の例を説明する図である。 ユーザの要求状態と図１の通信システムの通信の状態の関係を説明する図である。 ユーザの要求状態および図１の従来の通信の状態と時間の経過の関係を説明する図である。 本発明を適用した通信システムの他の構成例を示す図である。 図２２の通信制御装置の機能構成例を示すブロック図である。 図２３の入出力バランス制御部および要求情報送受信部の構成例を示すブロック図である。 図２２のサーバの機能構成例を示すブロック図である。 図１２のステップＳ１６およびＳ３６の入出力調整制御処理の他の例を説明するフローチャートである。 図２２のサーバの制御情報算出処理を説明するフローチャートである。

符号の説明

１−１乃至１−３ 通信制御装置，２ ネットワーク,１６ 操作入力部,１７,１７−１,１７−２ 出力部，３１−１，３１−２ 要求情報入力部，３２−１，３２−２ 要求情報提示部，３３−１，３３−２ 映像音声入力部，４１−１,４１−２ 入出力バランス制御部,４２−１，４２−２ 入出力情報調整部，４３−１，４３−２ 要求情報送受信部，４４−１，４４−２ データ通信制御部，６１ 要求情報取得部，６２ 制御情報算出部，６３ 制御関数記憶部，６４ 調整制御部，７１ 要求情報送信部，７２ 要求情報受信部，９１−１，９１−２ 出力調整部，９２−１，９２−２ 入力調整部，２０１ 要求情報入力提示装置，２０２ ディスプレイ，２０３ ステレオスピーカ，３０２ サーバ，３５１ 要求情報受信部，３５２ 要求情報取得部，３５３ 制御情報算出部，３５４ 制御関数記憶部，３５５ 情報送信部

Claims (6)

1. ネットワークを介して接続される他の情報処理装置と通信を行う情報処理装置において、
   前記情報処理装置のユーザである第１のユーザを撮像した画像と前記第１のユーザの音声を前記他の情報処理装置に送信する送信手段と、
   前記他の情報処理装置から送信されてくる、前記他の情報処理装置のユーザである第２のユーザを撮像した画像と前記第２のユーザの音声を受信する受信手段と、
   前記第２のユーザとの通信に対する前記第１のユーザの要求の度合いを表す第１の要求情報を取得する要求情報取得手段と、
   前記第１の要求情報を前記他の情報処理装置に送信する要求情報送信手段と、
   前記他の情報処理装置から送信されてくる、前記第１のユーザとの通信に対する前記第２のユーザの要求の度合いを表す第２の要求情報を受信する要求情報受信手段と、
   前記要求情報取得手段により取得された前記第１の要求情報により表される前記第１のユーザの要求の度合いと、前記要求情報受信手段により受信された前記第２の要求情報により表される前記第２のユーザの要求の度合いに基づいて、前記第１のユーザと前記第２のユーザのうちの少なくともいずれかの要求の度合いが第１の閾値以下である場合、第１の臨場感となり、前記第１のユーザと前記第２のユーザの双方の要求の度合いが第２の閾値以上である場合、前記第１の臨場感より高い第２の臨場感となるように、前記受信手段により受信された前記第２のユーザを撮像した画像のサイズと前記第２のユーザの音声の音量を調整する調整手段と、
   調整後のサイズで前記第２のユーザを撮像した画像を表示し、調整後の音量で前記第２のユーザの音声を出力する提示手段と
   を備える情報処理装置。
2. 前記第１のユーザの状態または動作に対応して、前記第１の要求情報を入力する要求情報入力手段を
   さらに備える請求項１に記載の情報処理装置。
3. 前記要求情報入力手段は、前記第１のユーザの相対距離、前記第１のユーザの操作、前記第１のユーザの特定のジェスチャ、前記第１のユーザの視線方向、または前記第１のユーザの相対方位を検出し、検出結果に対応して、前記第１の要求情報を入力する
   請求項２に記載の情報処理装置。
4. 前記第１の要求情報により表される前記第１のユーザの要求の度合いと、前記第２の要求情報により表される前記第２のユーザの要求の度合いをそれぞれ提示する要求情報提示手段を
   さらに備える請求項１に記載の情報処理装置。
5. ネットワークを介して接続される他の情報処理装置と通信を行う情報処理装置の情報処理方法において、
   前記情報処理装置のユーザである第１のユーザを撮像した画像と前記第１のユーザの音声を前記他の情報処理装置に送信し、
   前記他の情報処理装置から送信されてくる、前記他の情報処理装置のユーザである第２のユーザを撮像した画像と前記第２のユーザの音声を受信し、
   前記第２のユーザとの通信に対する前記第１のユーザの要求の度合いを表す第１の要求情報を取得し、
   前記第１の要求情報を前記他の情報処理装置に送信し、
   前記他の情報処理装置から送信されてくる、前記第１のユーザとの通信に対する前記第２のユーザの要求の度合いを表す第２の要求情報を受信し、
   取得した前記第１の要求情報により表される前記第１のユーザの要求の度合いと、受信した前記第２の要求情報により表される前記第２のユーザの要求の度合いに基づいて、前記第１のユーザと前記第２のユーザのうちの少なくともいずれかの要求の度合いが第１の閾値以下である場合、第１の臨場感となり、前記第１のユーザと前記第２のユーザの双方の要求の度合いが第２の閾値以上である場合、前記第１の臨場感より高い第２の臨場感となるように、前記受信手段により受信された前記第２のユーザを撮像した画像のサイズと前記第２のユーザの音声の音量を調整し、
   調整後のサイズで前記第２のユーザを撮像した画像を表示し、調整後の音量で前記第２のユーザの音声を出力する
   ステップを含む情報処理方法。
6. ネットワークを介して接続される他の情報処理装置と通信を行う情報処理装置の処理をコンピュータに実行させるプログラムにおいて、
   前記情報処理装置のユーザである第１のユーザを撮像した画像と前記第１のユーザの音声を前記他の情報処理装置に送信し、
   前記他の情報処理装置から送信されてくる、前記他の情報処理装置のユーザである第２のユーザを撮像した画像と前記第２のユーザの音声を受信し、
   前記第２のユーザとの通信に対する前記第１のユーザの要求の度合いを表す第１の要求情報を取得し、
   前記第１の要求情報を前記他の情報処理装置に送信し、
   前記他の情報処理装置から送信されてくる、前記第１のユーザとの通信に対する前記第２のユーザの要求の度合いを表す第２の要求情報を受信し、
   取得した前記第１の要求情報により表される前記第１のユーザの要求の度合いと、受信した前記第２の要求情報により表される前記第２のユーザの要求の度合いに基づいて、前記第１のユーザと前記第２のユーザのうちの少なくともいずれかの要求の度合いが第１の閾値以下である場合、第１の臨場感となり、前記第１のユーザと前記第２のユーザの双方の要求の度合いが第２の閾値以上である場合、前記第１の臨場感より高い第２の臨場感となるように、前記受信手段により受信された前記第２のユーザを撮像した画像のサイズと前記第２のユーザの音声の音量を調整し、
   調整後のサイズで前記第２のユーザを撮像した画像を表示し、調整後の音量で前記第２のユーザの音声を出力する
   ステップを含む処理をコンピュータに実行させるプログラム。

Images