JP6079535B2 - 通信端末、通信端末の出力制御方法、通信端末の出力制御用プログラム - Google Patents

Description

本発明は、複数の相手と同時に通話可能な通信端末、通信端末の出力制御方法、通信端末の出力制御用プログラムに関する。

従来、遠隔地にいる複数の相手と同時にコミュニケーションをとるための手段として、会議システムやビデオチャットシステムなどがある。これらのシステムでは、通信ネットワーク上に構築された仮想空間を複数の通信端末で共有し、各通信端末の利用者に対応する画像情報をそれぞれの通信端末に表示させつつ、相互に通話を可能にしている。

このように、通話中の複数の相手に対応する画像情報をそれぞれの通信端末に表示させることで、臨場感のあるコミュニケーション空間を提供することができる。

特開平１１−２３４６４０号公報

これらのシステムを用いて複数の相手と通話を行う場合、複数の人の音声が同時に発生すると、会話の内容が聞き取りづらくなる。

そこで、通信端末を利用するユーザが注視している特定の相手の音声を大きくすることで、注視度合いの高い相手の発言の内容を聞き取り易くする技術がある。

しかしこの技術を用いた場合、通信端末を利用するユーザが注視している相手の音声のみを大きくするため、この相手が他の誰かと会話をしているときに、この会話の相手（ユーザが注視している相手と会話している人）の音声は聞こえにくくなる。そのため、自然な会話に聞こえなくなるという問題があった。

また、通信端末を利用するユーザが、この会話の相手の音声も聞き取り易くするためには、当該ユーザが注視している人とその会話の相手とを、会話に合わせて交互に注視しなくてはならないという問題があった。

よって本発明は、通信システムを利用した、複数の相手との同時通話をしやすくするための、通信端末、通信端末の出力制御方法、通信端末の出力制御用プログラムを提供することを目的とする。

上記目的を達成するための本発明の通信端末（１０）は、第１の通信端末および第２の通信端末を少なくとも含む他の通信端末と通信する自通信端末において、前記第１の通信端末の表示部に表示される前記第２の通信端末のユーザに係る表示情報に対する、前記第１の通信端末のユーザの注視度合いが高いほど、前記自通信端末から前記自通信端末のユーザへと出力される、前記第２の通信端末に係る音声の音量が大きくなるように出力を調整することを特徴とする。
を実行させることを特徴とする通信端末の出力制御用プログラム。

また本発明の通信端末の出力制御方法は、第１の通信端末および第２の通信端末を少なくとも含む他の通信端末と通信する自通信端末の出力制御方法において、表示された前記第２の通信端末のユーザに係る表示情報に対する、前記第１の通信端末のユーザの注視度合いが高いほど、前記第２の通信端末に係る音声の音量が大きくなるように出力を調整することを特徴とする。

また本発明の通信端末の出力制御用プログラムは、第１の通信端末および第２の通信端末を少なくとも含む他の通信端末と通信する自通信端末のコンピュータに、表示された前記第２の通信端末のユーザに係る表示情報に対する、前記第１の通信端末のユーザの注視度合いが高いほど、前記第２の通信端末に係る音声の音量が大きくなるように出力を調整する出力制御ステップを実行させることを特徴とする。

本発明の通信端末、通信端末の出力制御方法、通信端末の出力制御用プログラムによれば、通信システムを利用した、複数の相手との同時通話をしやすくすることができる。

本発明の第１実施形態および第２実施形態による通信端末を利用した通信システムの構成を示す全体図である。 本発明の第１実施形態および第２実施形態による通信端末の構成を示すブロック図である。 本発明の第１実施形態および第２実施形態による通信端末に接続されたサービス管理サーバの構成を示すブロック図である。 本発明の第１実施形態および第２実施形態による通信端末の動作を示すフローチャートである。 本発明の第１実施形態および第２実施形態による通信端末の表示部に、複数の通話相手に対応する画像情報が表示された状態を示す画面構成図である。 本発明の第１実施形態および第２実施形態による通信端末の音声制御部で注視点の検出期間および注視評価情報の生成タイミングを示すグラフである。 本発明の第１実施形態による通信端末を利用するユーザ間の注視状態および発声状態を示す説明図（上段）、および、各通信端末における音声出力状態を示す説明図（下段）である。 本発明の第２実施形態による通信端末を利用するユーザ間の注視状態および発声状態を示す説明図（上段）、および、各通信端末における音声出力状態を示す説明図（下段）である。

本発明の実施形態として、ユーザＸと、ユーザＡと、ユーザＢと、ユーザＣと、ユーザＤとが、自身が所持する通信端末を用い、サービス管理サーバにより提供される同時通話サービスを利用して、ネットワーク上の仮想空間で会話を行う場合について説明する。なお、これは一例であり、通信方法は、インターネットを介した通信であってもよいし、電話回線を介した通信であってもよい。また、各通信端末間で直接通信してもよい。

《第１実施形態》
〈第１実施形態による通信端末を利用した通信システムの構成〉
本発明の第１実施形態による通信端末を利用した通信システムに構成について、図１を参照して説明する。

本実施形態による通信システム１は、ユーザＸが利用する通信端末１０Ｘ、ユーザＡが利用する通信端末１０Ａ、ユーザＢが利用する通信端末１０Ｂ、ユーザＣが利用する通信端末１０Ｃ、およびユーザＤが利用する通信端末１０Ｄと、サービス管理サーバ２０とが、ネットワーク３０を介して接続されている。

各通信端末１０Ｘ、１０Ａ〜１０Ｄの構成を、図２に示す。通信端末１０Ｘ、１０Ａ〜１０Ｄはそれぞれ、操作入力部１１と、表示部１２と、音声入力部１３と、注視点検知部１４と、音声制御部１５と、音声出力部１６とを有する。なお、各通信端末１０Ｘ、１０Ａ〜１０Ｄは、少なくとも、注視点検知部、注視評価情報生成部、及び注視評価情報補正部などを有していればよく、必ずしも全く同じ通信端末でなくてもよい。

操作入力部１１は操作ボタンやキーボード等の入力インタフェースで構成され、ユーザによる操作内容を入力する。

表示部１２はモニタで構成され、ネットワーク３０を介して他の通信端末を利用するユーザ（以降、「他端末ユーザ」と称する。）を示す画像情報（表示情報）を表示する。この画像情報はアイコンであってもよいし、ユーザの画像であってもよいし、ユーザを撮影した動画であってもよい。

音声入力部１３は例えばマイクで構成され、自通信端末を利用するユーザ（以降、「自端末ユーザ」と称する。）が発した音声を電気信号へと変換し、その音声信号をデータ化して音声情報として、サービス管理サーバ２０に送信する。

注視点検知部１４は撮像装置等を用いて構成され、自端末ユーザの視線を検知することで、自端末ユーザが注視している表示部１２内の位置を示す座標情報（以下、「注視点」と称する。）を検知する。なお、ユーザの注視している位置を検出する方法については公知の種々の方法を用いることができる。

音声制御部１５はＣＰＵやメモリ等で構成され、注視評価情報生成部１５１と、注視評価情報補正部１５２と、出力制御部としての音量決定部１５３とを有する。

注視評価情報生成部１５１は、注視点検知部１４で検知された自端末ユーザの注視点から注視評価情報を生成し、サービス管理サーバ２０に送信する。注視評価情報は、他端末ユーザごとの、自端末ユーザの注視度合いを評価した値で示される。

注視評価情報補正部１５２は、複数の他端末ユーザの注視評価情報をサービス管理サーバ２０から取得し、これらに基づいて、注視評価情報生成部１５１で生成された注視評価情報を補正する。このように、注視評価情報補正部１５２は、他の通信端末における注視度合いを示す情報を取得する取得部としての機能も有する。

音量決定部１５３は、注視評価情報補正部１５２で補正された後の注視評価情報に基づいて他端末ユーザごとの音声の音量を決定する。

音声出力部１６はスピーカで構成され、サービス管理サーバ２０から他端末ユーザの音声情報を受信し、音量決定部１５３で決定された音量に調整して出力する。

サービス管理サーバ２０は同時通話サービスを提供し、図３に示すように、通信制御部２１と、画像管理部２２と、音声管理部２３と、注視評価情報管理部２４とを有する。

通信制御部２１は、同時通話サービスを利用する通信端末間の通信を確立させる。

画像管理部２２は、当該同時通話サービスのユーザにより予め登録された、ユーザ自身を示す画像情報を記憶する。また、通信制御部２１により複数の通信端末間で通信が確立されたときに、それぞれの通信端末に、通信先となる通信端末のユーザを示す画像情報を送信する。

音声管理部２３は、通信制御部２１により複数の通信端末間で通信が確立されたときに、それぞれの通信端末で入力された音声情報を受信し、通信先の通信端末に送信する。

注視評価情報管理部２４は、通信制御部２１により複数の通信端末間で通信が確立されたときに、それぞれの通信端末で入力された注視評価情報を受信し、通信先の通信端末に送信する。

〈第１実施形態による通信システムの動作〉
次に、本実施形態による通信システム１において、通信端末１０Ｘ、１０Ａ〜１０Ｄが同時通話サービスを利用して同時通話を行う際に、各通信端末で実行される処理について図４のフローチャートを参照して説明する。以下、通信端末１０Ｘ、１０Ａ〜１０Ｄのいずれかを、「通信端末１０」と称して説明する。

まず、通信端末１０の操作入力部１１から、自端末ユーザの操作により同時通話サービスの利用要求が入力されると、ネットワーク３０を介してサービス管理サーバ２０にアクセスされる。そして、サービス管理サーバ２０の通信制御部２１により、通話先となる複数の通信端末１０との通信が確立される（ステップＳ１）。本実施形態においては、通信端末１０Ｘ、１０Ａ〜１０Ｄの５台が、同時通話可能な状態で相互に通信が確立されたものとする。

通信端末１０Ｘ、１０Ａ〜１０Ｄ間で通信が確立されると、画像管理部２２からそれぞれの通信端末１０に、通信先となる他の通信端末１０のユーザを示す画像情報が送信される。例えば、通信端末１０Ｘには、通信先となる他の通信端末１０Ａ〜１０ＤのユーザＡ〜Ｄを示す画像情報が送信される。

各通信端末１０では、サービス管理サーバ２０から送信された他の通信端末１０のユーザを示す画像情報が受信され（ステップＳ２）、表示部１２で同一画面上に表示される（ステップＳ３）。

一例として、通信端末１０Ｘの表示部１２に他の通信端末１０Ａ〜１０Ｄのユーザを示す画像情報が表示されたときの画面表示図を、図５に示す。

図５の画面表示図には、ユーザＡを示す画像情報１２１Ａと、ユーザＢを示す画像情報１２１Ｂと、ユーザＣを示す画像情報１２１Ｃと、ユーザＤを示す画像情報１２１Ｄと、各ユーザの氏名情報を一覧表示した氏名情報欄１２２とが表示されている。

また通信端末１０Ｘ、１０Ａ〜１０Ｄ間で通信が確立されると、これらの通信端末間での音声情報の送受信が開始され（ステップＳ４）、各通信端末１０の音声入力部１３から入力された自端末ユーザの音声情報がサービス管理サーバ２０に送信される。サービス管理サーバ２０で受信された音声情報は、他の通信端末１０に送信される。

次に注視点検知部１４において、自端末ユーザの視線を検出することで、自端末ユーザの注視点が検知される（ステップＳ５）。注視点の検知には既知の技術が利用され、例えば通信端末１０に設置された撮像装置（図示せず）で撮影されたユーザの顔の映像情報から角膜(黒目)と強膜(白目)の光に対する反射率の差を利用して眼球運動を測定することにより行われる。

次に注視評価情報生成部１５１において、注視点検知部１４で検知された注視点の情報に基づいて、自端末ユーザによる各他端末ユーザに対する注視度合いを評価した注視評価情報が生成される。この注視評価情報は、自端末ユーザが、表示部１２内に表示された画像情報のうち、どの他端末ユーザの画像情報をどの程度注視しているかを評価することにより生成される。生成された注視評価情報はサービス管理サーバ２０に送信され、注視評価情報管理部２４で取得される（ステップＳ６）。

本実施形態においては、各通信端末１０において、図６に示すように最新の５秒間に検知された注視点の情報に基づいて、１秒ごとに注視評価情報が生成され、サービス管理サーバ２０に送信される。

図６において、各太線で示す期間（t0〜t5、t1〜t6、t2〜t7・・・）が注視点の検知対象期間であり、各期間の終点（t5、t6、t7・・・）が注視評価情報の生成およびサービス管理サーバ２０への送信タイミングである。

サービス管理サーバ２０では、注視評価情報管理部２４において各通信端末１０で生成された注視評価情報が取得されると、それぞれの通信端末に対し、他の通信端末１０の注視評価情報が送信される。

つまり、通信端末１０Ｘに対しては通信端末１０Ａ〜１０Ｄの注視評価情報が送信され、通信端末１０Ａに対しては通信端末１０Ｘおよび１０Ｂ〜Ｄの注視評価情報が送信され、通信端末１０Ｂに対しては通信端末１０Ｘおよび１０Ａ、１０Ｃ、１０Ｄの注視評価情報が送信され、通信端末１０Ｃに対しては通信端末１０Ｘおよび１０Ａ、１０Ｂ、１０Ｄの注視評価情報が送信され、通信端末１０Ｄに対しては通信端末１０Ｄおよび１０Ａ〜１０Ｃの注視評価情報が送信される。

各通信端末１０では、サービス管理サーバ２０から送信された他の通信端末１０の注視評価情報が、注視評価情報補正部１５２で取得される（ステップＳ７）。そして注視評価情報補正部１５２により、取得された他の通信端末１０の注視評価情報に基づいて、注視評価情報生成部１５１で生成された自端末ユーザの注視評価情報が補正される（ステップＳ８）。

次に、音量決定部１５３において、注視評価情報の値が高い程、音量が大きくなるように、他端末ユーザごとの音声の音量が決定される（ステップＳ９）。

そして音声出力部１６により、サービス管理サーバ２０から受信された他端末ユーザの音声情報が、それぞれ決定された音量に調整されて出力される（ステップＳ１０）。

上述したステップＳ５〜Ｓ１０の処理は、通話接続が切断されるまで繰り返される（ステップＳ１１）。

上述したステップＳ６〜Ｓ９で実行される注視評価情報の生成処理、補正処理、および音量決定処理について、図７に示す具体例を参照して説明する。

本例では、図７の上段に示すように、ユーザＡとユーザＢとが会話をしているときに、注視点の検知対象とした５秒間のうち、ユーザＸがユーザＡの画像情報を４秒間注視し、ユーザＡがユーザＢの画像情報を４秒間注視し、ユーザＢがユーザＡの画像情報を５秒間注視し、ユーザＣがユーザＸの画像情報を５秒間注視した場合を示している。

この場合に、通信端末１０Ｘでは、自端末ユーザＸが他端末ユーザＡを５秒中４秒注視していることから、他端末ユーザＡに対する注視評価情報は「８０％」として生成され、自端末ユーザＡが他端末ユーザＢ、Ｃ、およびＤを５秒中全く注視していない（０秒）ことから、他端末ユーザＢ、Ｃ、およびＤに対する注視評価情報が「０％」として生成される。

同様に通信端末１０Ａでは、他端末ユーザＢに対する注視評価情報が「８０％」として生成され、他端末ユーザＸ、Ｃ、およびＤに対する注視評価情報が「０％」として生成される
同様に通信端末１０Ｂでは、他端末ユーザＡに対する注視評価情報が「１００％」として生成され、他端末ユーザＸ、Ｃ、およびＤに対する注視評価情報が「０％」として生成される。

同様に通信端末１０Ｃでは、他端末ユーザＣに対する注視評価情報が「１００％」として生成され、他端末ユーザＡ、Ｂ、およびＤに対する注視評価情報が「０％」として生成される。

同様に通信端末１０Ｄでは、他端末ユーザＸ、およびＡ〜Ｃのすべてに対する注視評価情報が、「０％」として生成される。

これらの注視評価情報はサービス管理サーバ２０に送信され、それぞれ他の通信端末１０に送信される。

サービス管理サーバ２０から各通信端末１０の注視評価情報が送信されることにより、通信端末１０Ｘでは、通信端末１０Ａ〜１０Ｄで生成された注視評価情報が取得され、通信端末１０Ａでは、通信端末１０Ｘおよび１０Ｂ〜１０Ｄで生成された注視評価情報が取得され、通信端末１０Ｂでは、通信端末１０Ｘ、１０Ａ、１０Ｃ、および１０Ｄで生成された注視評価情報が取得され、通信端末１０Ｃでは、通信端末１０Ｘ、１０Ａ、１０Ｂ、および１０Ｄで生成された注視評価情報が取得され、通信端末１０Ｄでは、通信端末１０Ｘ、１０Ａ〜１０Ｃで生成された注視評価情報が取得される。

このとき、各通信端末１０から見て自端末ユーザの注視評価情報の値が最も高いユーザの通信端末１０を第１の通信端末とし、当該第１の通信端末のユーザの注視評価情報の値が最も高いユーザが利用する通信端末１０を第２の通信端末とする。

そして、各通信端末１０において、第２の通信端末のユーザに対する第１の通信端末のユーザの注視評価情報の値に、第１の通信端末のユーザに対する自端末ユーザの注視評価情報の値を掛け合わせた値が算出され、算出された値で第２の通信端末のユーザに対する自端末ユーザの注視評価情報が補正される。

例えば、通信端末１０Ｘでは、通信端末１０Ｂ（第２の通信端末）のユーザＢに対する通信端末１０Ａ（第１の通信端末）のユーザＡの注視評価情報「８０％」に、通信端末１０Ａ（第１の通信端末）のユーザＡに対する自端末ユーザＸの注視評価情報「８０％」を掛け合わせた値「６４％」が算出され、他端末ユーザＢに対する自端末ユーザＸの注視評価情報が、「０％」から算出された値「６４％」に補正される。

同様にして、通信端末１０Ｃでは、通信端末１０Ａ（第２の通信端末）のユーザＡに対する通信端末１０Ｘ（第１の通信端末）のユーザＸの注視評価情報「８０％」に、通信端末１０Ｘ（第１の通信端末）のユーザＸに対する自端末ユーザＣの注視評価情報「１００％」を掛け合わせた値「８０％」が算出され、他端末ユーザＡに対する自端末ユーザＣの注視評価情報が、「０％」から算出された値「８０％」に補正される。

ここでさらに、第２の通信端末のユーザの注視評価情報の値が最も高いユーザが利用する通信端末１０を第３の通信端末とし、第３の通信端末のユーザに対する第２の通信端末のユーザの注視評価情報の値に、第２の通信端末のユーザに対する第１の通信端末のユーザの注視評価情報の値、および第１の通信端末のユーザに対する自端末ユーザの注視評価情報の値が掛け合わせた値が算出され、算出された値で第３の通信端末のユーザに対する自端末ユーザの注視評価情報を補正するようにしてもよい。

例えば、通信端末１０Ｃにおいて、通信端末１０Ｂ（第３の通信端末）のユーザＢに対する通信端末１０Ａ（第２の通信端末）のユーザＡの注視評価情報「８０％」に、通信端末１０Ａ（第２の通信端末）のユーザＡに対する通信端末１０Ｘ（第１の通信端末）のユーザＸの注視評価情報「８０％」および通信端末１０Ｘ（第１の通信端末）のユーザＸに対する自端末ユーザＣの注視評価情報「１００％」を掛け合わせた値「６４％」が算出され、他端末ユーザＢに対する自端末ユーザＣの注視評価情報が、「０％」から算出された値「６４％」に補正される。

次に、各通信端末１０の音量決定部１５３において、補正処理後の注視評価情報が高い程、音量が大きくなるように、他端末ユーザごとの音声の音量が決定される。

本実施例においては、注視評価情報が０％〜１０％の他端末ユーザからの入力音声情報を、自通信端末１０の最大増幅率の１０％の増幅率で増幅することが決定され、注視評価情報が１０％以上の他端末ユーザからの入力音声情報を、注視評価情報と同値の増幅率で増幅するように決定される。

例えば、通信端末１０Ｘでは、他端末ユーザＡからの入力音声情報を自通信端末１０Ｘの最大増幅率の８０％の増幅率で増幅することが決定され、他端末ユーザＢからの入力音声情報を６４％の増幅率で増幅することが決定され、他端末ユーザＣおよびＤからの入力音声情報を１０％の増幅率で増幅することが決定される。

同様に通信端末１０Ａでは、他端末ユーザＢからの入力音声情報を自通信端末１０Ａの最大増幅率の８０％の増幅率で増幅することが決定され、他端末ユーザＸ、Ｃ、およびＤからの入力音声情報を１０％で増幅することが決定される。

同様に通信端末１０Ｂでは、他端末ユーザＡからの入力音声情報を自通信端末１０Ｂの最大増幅率の１００％の増幅率で増幅することが決定され、他端末ユーザＸ、Ｃ、およびＤからの入力音声情報を１０％で増幅することが決定される。

同様に通信端末１０Ｃでは、他端末ユーザＸからの入力音声情報を自通信端末１０Ｃの最大増幅率の１００％の増幅率で増幅することが決定され、他端末ユーザＡからの入力音声情報を８０％で増幅することが決定され、他端末ユーザＢからの入力音声情報を６４％で増幅することが決定され、他端末ユーザＤからの入力音声情報を１０％で増幅することが決定される。

同様に通信端末１０Ｄでは、他端末ユーザＸ、およびＡ〜Ｃからの入力音声情報を自通信端末１０Ｄの最大増幅率の１０％で増幅することが決定される。

図７の下段に示した棒グラフは、各通信端末１０で決定された、他端末ユーザごとの入力音声情報の増幅率を示したものである。

各通信端末１０では、サービス管理サーバ２０から受信された他端末ユーザの入力音声情報が、それぞれ決定された増幅率で増幅されて音声出力部１６から出力される。

以上の本実施形態によれば、通信システムを利用して複数の相手との同時通話を行う際に、自端末ユーザが高い関心を示し注視している相手の音声だけではなく、自端末ユーザが注視している相手と会話をしている相手の音声をも音量を大きくし、聞き取り易くすることができる。

上述した第１実施形態において、第２の通信端末のユーザに対する第１の通信端末のユーザの注視評価情報や、第３の通信端末のユーザに対する第２の通信端末のユーザの注視評価情報を考慮して、他端末ユーザに対する自通信端末の注視評価情報を補正する場合について説明したが、さらに第４の通信端末のユーザに対する第３の通信端末のユーザの注視評価情報、第５の通信端末のユーザに対する第４の通信端末のユーザの注視評価情報・・・のように連鎖して取得される他端末ユーザの注視評価情報を考慮して、他端末ユーザに対する自端末ユーザの注視評価情報を補正するようにしてもよい。

このとき、連鎖により自通信端末からの距離（何台の通信端末を経由しているか）が離れる程、強制的に音量が低くなるようにしてもよい。このように構成することにより、自通信端末に関連が強い程、注視評価情報の値が大きくなるように音量を調整することができ、より自然で臨場感のある仮想空間を提供することができる。なお、少なくとも、他の通信端末における注視度合いを示す情報に基づいて、自通信端末から自通信端末のユーザへと出力される、他の通信端末に係る出力を調整すれば、複数の相手との同時通話をしやすくすることができるが、自通信端末の視線位置も用いると、更に、同時通話をしやすくすることができる。

《第２実施形態》
本発明の第２実施形態による通信端末として、第１実施形態で説明した処理に加え、自端末ユーザに対して高い関心を示す他端末ユーザの音声をも聞き取り易くするように処理を行う通信端末について説明する。

本実施形態による通信端末を利用した通信システムの構成は、第１実施形態で説明した通信システム１の構成と同様であるため、詳細な説明は省略する。

本実施形態による通信システム１において、各通信端末１０で実行される処理のうち、図４のステップＳ１〜Ｓ７に該当する処理は第１実施形態で説明した場合と同様であるため、詳細な説明は省略する。

本実施形態において、ステップＳ８の注視評価情報が補正されるときの処理について、図８の具体例を用いて説明する。

本例では、図８の上段に示すように、ユーザＡとユーザＢとが会話をしているときに、注視点の検知対象とした５秒間のうち、ユーザＸがユーザＡの画像情報を４秒間注視し、ユーザＡがユーザＢの画像情報を４秒間注視し、ユーザＢがユーザＡの画像情報を５秒間注視し、ユーザＣがユーザＸの画像情報を５秒間注視し、さらに、ユーザＸが発声している場合を示している。

この場合に、各通信端末１０では、第１実施形態と同様に注視評価情報の生成処理および補正処理が行われ、さらに、自端末ユーザからの注視評価情報は高くないが、自端末ユーザに対する注視評価情報が高く、且つ、発声している他端末ユーザに対する注視評価情報を高くするように補正される。

例えば図８の例では、ユーザＡに対するユーザＸの注視評価情報は「８０％」と最も高く、且つ、ユーザＸが発声していことからユーザＸがユーザＡに声掛けをしていると判断される。この場合、ユーザＡはユーザＸの画像情報を注視していないが、ユーザＸからの声掛けにユーザＡが気付き易くするために、通信端末１０Ａで生成されたユーザＸに対する注視評価情報が「０％」から、ユーザＡに対するユーザＸの注視評価情報と同値の「８０％」に補正される。

そして、各通信端末１０の音量決定部１５３において、補正処理後の注視評価情報が高い程、音量が大きくなるように他端末ユーザごとの音声の音量が決定され、これに基づいて他端末ユーザの音声情報が音声出力部１６から出力される。

以上の本実施形態によれば、通信システムを利用して複数の相手との同時通話を行う際に、自端末ユーザが高い関心を示し注視している相手の音声、および自端末ユーザが注視している相手と会話をしている相手の音声の音量を大きくして聞き取り易くするとともに、自端末ユーザに対して声掛けをしている相手の音声の音量も大きくし、聞き取り易くすることができる。

上述した第１実施形態および第２実施形態においては、複数の他端末ユーザの音声の音量を調整する際に、自通信端末の最大増幅率に対する各他端末ユーザの入力音声情報の増幅率を変更させる場合について説明したが、自通信端末の最大音声レベルに対する各他端末ユーザの音声情報の音声レベルの割合を変更させることで調整してもよい。

また、上述した第１実施形態および第２実施形態において、いずれかのユーザが注視していた他端末ユーザから視線を外したときに、これに伴って直ちに音量が調整されてしまうと、数秒間余所見をしただけでも会話中の相手の音声がぶつ切りになってしまい、会話が聞き取りづらくなる可能性がある。

そのため各通信端末において、いずれかの他端末ユーザの入力音声情報を所定値以上の大きい音量から所定以下の小さい音量に変更する際は、所定時間（例えば１０秒間）をかけて段階的にフェードアウトするように音量を低下させてもよい。このように調整することにより、より自然で臨場感のある仮想空間を提供することができる。

さらに各通信端末において、一連の会話中に所定回数以上、注視した特定の他端末ユーザがいることが検知された場合には、当該他端末ユーザに対する関心が高いと判断し、当該他端末ユーザの入力音声情報を所定値以上の音量から小さい音量の調整する際は、より長い時間（例えば２０秒）を掛けて徐々にフェードアウトするように音量を低下させるようにしてもよい。

また上述した第１実施形態および第２実施形態においては、予めサービス管理サーバに登録された他端末ユーザを示す画像情報を取得して、自通信端末の表示部に表示する場合について説明したが、各通信端末に搭載された撮像装置で撮影されたユーザの画像情報を、サービス管理サーバを介して受信し、表示するようにしてもよい。

また上述した第１実施形態および第２実施形態においては、各通信端末で生成された注視評価情報がサービス管理サーバに送信される場合について説明したが、各通信端末で検知された注視点（自端末ユーザが注視している表示部内の位置を示す座標情報）をサービス管理サーバに送信し、サービス管理サーバで注視評価情報を生成して他の通信端末に送信するようにしてもよい。

また上述した第１実施形態および第２実施形態においては、注視評価情報に基づいて他の通信端末から受信した音声の音量を調整する場合について説明したが、当該注視評価情報に基づいて、表示部に表示された各ユーザを示す表示情報の表示状態（大きさ、輝度、色彩、鮮明度等）を調整するようにしてもよい。

１…通信システム
１０、１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、１０Ｘ…通信端末
１１…操作入力部
１２…表示部
１３…音声入力部
１４…注視点検知部
１５…音声制御部
１６…音声出力部
２０…サービス管理サーバ
２１…通信制御部
２２…画像管理部
２３…音声管理部
２４…注視評価情報管理部
３０…ネットワーク
１２１Ａ、１２１Ｂ、１２１Ｃ、１２１Ｄ…画像情報
１２２…氏名情報欄
１５１…注視評価情報生成部
１５２…注視評価情報補正部
１５３…音量決定部

Claims (6)

1. 第１の通信端末および第２の通信端末を少なくとも含む他の通信端末と通信する自通信端末において、
   前記第１の通信端末の表示部に表示される前記第２の通信端末のユーザに係る表示情報に対する、前記第１の通信端末のユーザの注視度合いが高いほど、前記自通信端末から前記自通信端末のユーザへと出力される、前記第２の通信端末に係る音声の音量が大きくなるように出力を調整することを特徴とする通信端末。
2. 前記第１の通信端末のユーザの注視度合いに基づいて、前記自通信端末の表示部に表示する前記第２の通信端末のユーザに係る表示情報の表示状態を調整することを特徴とする請求項１に記載の通信端末。
3. 前記第１の通信端末のユーザに係る表示情報に対する前記自通信端末のユーザの注視度合いと、前記第１の通信端末のユーザの注視度合いとに基づいて、前記自通信端末から出力される、前記第２の通信端末に係る出力を調整する
   ことを特徴とする請求項１または２に記載の通信端末。
4. 第１の通信端末および第２の通信端末を少なくとも含む他の通信端末と通信する自通信端末において、
   前記第１の通信端末のユーザの前記第２の通信端末に対する注視度合いが高いほど、自通信端末における、前記第２の通信端末に係る音声の音量が大きくなるように出力を調整することを特徴とする通信端末。
5. 第１の通信端末および第２の通信端末を少なくとも含む他の通信端末と通信する自通信端末の出力制御方法において、
   表示された前記第２の通信端末のユーザに係る表示情報に対する、前記第１の通信端末のユーザの注視度合いが高いほど、前記第２の通信端末に係る音声の音量が大きくなるように出力を調整することを特徴とする通信端末の出力制御方法。
6. 第１の通信端末および第２の通信端末を少なくとも含む他の通信端末と通信する自通信端末のコンピュータに、
   表示された前記第２の通信端末のユーザに係る表示情報に対する、前記第１の通信端末のユーザの注視度合いが高いほど、前記第２の通信端末に係る音声の音量が大きくなるように出力を調整する出力制御ステップ
   を実行させることを特徴とする通信端末の出力制御用プログラム。

Images