JP7077696B2 - 端末装置、情報処理装置、通信システム、通知方法 - Google Patents

Description

本発明は、端末装置、情報処理装置、通信システム、及び、通知方法に関する。

遠隔地にある端末装置が画像と音声を相互に送受信して、画像を表示装置に表示し音声をスピーカから出力することで、遠隔地のユーザが会議などの遠隔コミュニケーションを可能とする通信システムが知られている。このような通信システムを利用すれば、例えばコールセンタにいるコンシェルジュが店舗に来店した又は自宅等のゲストの顔を見て接客でき、ゲストもコンシェルジュの顔を見て説明を受けることができる。

更に、通信システムでは、一方の端末装置に接続されたＰＣ（Personal Computer）の画面を取得して、他方の端末装置にも表示させる画面共有機能が用意される場合がある（例えば、特許文献１参照。）。特許文献１には、一方の端末装置が表示する資料を他方の端末装置と共有し、他方の端末装置が表示する資料を一方の端末装置と共有しながらユーザが会話するシステムについて開示されている。

しかしながら、従来の技術では、コンシェルジュが表示している資料にゲストが興味を持っているか否かをコンシェルジュが把握しにくいという問題がある。同じ空間でコンシェルジュがゲストと向き合って資料を説明する接客スタイルでは、使用される資料も１つであり、ゲストがどの資料のどのページを見ていて、コンシェルジュが説明している資料にゲストが興味を持っているか否かをコンシェルジュが把握することは容易である。仮に２つ以上の資料が存在しても、ゲストの反応などから、コンシェルジュが表示している資料にゲストが興味を持っているか否かを比較的容易に把握することができる。

これに対し、通信システムでは、ゲストとコンシェルジュがそれぞれ独自に資料を表示できるため、ゲストは任意の資料の任意のページを表示することができる。コンシェルジュが表示する資料データのページはゲストの端末装置に表示され、この逆に、ゲストが表示する資料データのページはコンシェルジュの端末装置に表示される。しかしながら、コンシェルジュは説明に集中しているため、コンシェルジュが説明中のページとは異なるページをゲストが閲覧していても気づかない場合がある。

本発明は、上記課題に鑑み、コンシェルジュが説明中のページとは異なるページをユーザが閲覧していることを知ることができ、その結果、ユーザはコンシェルジュが説明しているページに対し興味を持っているか否かを把握できる端末装置を提供することを目的とする。

上記課題に鑑み、本発明は、ネットワークを介してコンシェルジュが操作する他の端末装置と通信し、共有データを表示する、ゲストが操作する端末装置であって、コンシェルジュが説明中の資料のページが前記他の端末装置の画面に表示された第二の共有データと、ゲストが閲覧している、前記コンシェルジュが説明中の前記資料のページが前記端末装置の画面に表示される第一の共有データとを取得するデータ共有手段と、前記第一の共有データ及び前記第二の共有データを画面に表示する表示制御手段と、前記表示制御手段が画面に表示した前記第二の共有データと前記第一の共有データとが異なっていると判定される場合、前記端末装置が表示する前記第二の共有データと前記第一の共有データとが異なっている旨を前記他の端末装置に送信する通知手段と、を有し、前記表示制御手段が画面に表示した前記第二の共有データと前記第一の共有データとが同じと判定される場合、前記端末装置が表示する前記第二の共有データと前記第一の共有データとが同じ旨を前記他の端末装置に送信し、前記他の端末装置は、前記異なっている旨に応じて表示した情報を、前記同じ旨に応じて消去する。

コンシェルジュが説明中のページとは異なるページをユーザが閲覧していることを知ることができ、その結果、ユーザはコンシェルジュが説明しているページに対し興味を持っているか否かを把握できる端末装置を提供することができる。

通信システムの動作の概略を説明する図の一例である。 コンシェルジュが領域に表示中のページにゲストが興味を持っていないと判定された場合の動作を説明する図の一例である。 通信システムの概略構成図の一例である。 遠隔コミュニケーションを行う際の通信方法を説明する図の一例である。 専用端末装置のハードウェア構成図の一例である。 サーバ装置のハードウェア構成例を示す図である。 通信システムが有する端末装置、及びサーバ装置の機能ブロック図の一例である。 ゲストの端末装置とコンシェルジュの端末装置が資料データを共有する手順を示すシーケンス図の一例である。 ゲストの端末装置が、コンシェルジュが表示している資料のページにゲストが興味をもっていないことをコンシェルジュの端末装置に通知するフローチャート図の一例である。 コンシェルジュの端末装置が、ゲストの端末装置から取得した判定結果をコンシェルジュに知らせるフローチャート図の一例である。 コンシェルジュ側の領域に表示されている資料データのページにゲストが興味をもっているか否かをゲストの端末装置が判定する手順を示すフローチャート図の一例である。 視線方向の検知方法を説明する図の一例である。 視線方向に基づいて、コンシェルジュが表示している資料のページにゲストが興味をもっているか否かをゲストの端末装置が判定する手順を示すフローチャート図の一例である。 通信システムが有する端末装置、及びサーバ装置の機能ブロック図の他の例である。 通信システムが有する端末装置、及びサーバ装置の機能ブロック図の他の例である。 コンシェルジュが表示中のページにゲストが興味を持っていないと判定された場合の動作を説明する図の一例である。 コンシェルジュが表示中のページにゲストが興味を持っていないと判定された場合の動作を説明する図の一例である。

以下、本発明を実施するための形態の一例として、通信システムとこの通信システムが行う通知方法について図面を参照しながら説明する。

＜本実施形態の通信システムの概略＞
図１を用いて、本実施形態の通信システムの概略的な動作について説明する。図１は、本実施形態の通信システムの動作の概略を説明する図である。ゲストＧの端末装置１０ＧとコンシェルジュＣの端末装置１０Ｃが通信ネットワーク２を介して通信している。

コンシェルジュＣ及びゲストＧはそれぞれ資料を共有できる。コンシェルジュＣがページを変更できる領域７にはコンシェルジュが表示させた資料データのページ７ａ（第二の共有データ）が表示され、ゲストＧがページを変更できる領域８にはゲストが表示させた資料データのページ８ａ（第一の共有データ）が表示され、領域９にはコンシェルジュＣの顔や周囲が撮像された画像データ９ａが表示される。

同様に、コンシェルジュＣの端末装置１０Ｃの画面の領域７，８，９には、それぞれコンシェルジュＣが表示させた資料データのページ７ａ、ゲストＧが表示させた資料データのページ８ａ、及び、ゲストＧの顔や周囲が撮像された画像データ６ａが表示される。なお、それぞれの自画像がそれぞれの端末装置に表示されてよい。コンシェルジュＣは、ゲストＧが表示させた資料データのページ８ａを変更できるが、ゲストＧはコンシェルジュＣが表示させた資料データのページ７ａを変更することができない。

図１では、コンシェルジュＣとゲストＧが表示させた資料データのページ７ａとページ８ａが異なっている。本実施形態では、サーバなどで領域７と８で表示されている資料データのページ７ａ，８ａのファイル名とページ番号を管理し、比較することで、両者が異なっている場合には、コンシェルジュＣが表示中の資料データのページ７ａにゲストＧが興味をもっていないと判定することができる。

一方、ゲストＧが無意識に領域８に表示された資料データのページ８ａを変更しただけで、実際にはコンシェルジュＣが領域７に表示した資料データのページ７ａを閲覧している場合や、ゲストＧが一時的に資料データのページ８ａを変更しただけなどの場合もある。

そこで、更に、以下のような方法で、コンシェルジュＣが領域７に表示中の資料データのページ７ａに、ゲストＧが興味を持っているか否かを例えばゲストＧの端末装置１０Ｇが判定する。一例として、以下のような判定方法が挙げられる。
(i) コンシェルジュＣが領域７に表示している資料データのページ７ａとは異なる資料データ又はページを一定時間以上、ゲストＧが領域８に表示している。
(ii) コンシェルジュＣが領域７に表示している資料データのページ７ａとは異なるページをゲストＧが領域８に表示しており、かつ、ゲストＧが表示させた資料データのページ８ａを見ている。

図２は、コンシェルジュＣが領域７に表示中のページにゲストＧが興味を持っていないと判定された場合の動作を説明する図の一例である。コンシェルジュＣが表示している（説明している）ページについて、ゲストＧが興味を持っていないとゲストＧの端末装置１０Ｇにより判定された場合、コンシェルジュＣの端末装置１０ＣはゲストＧの端末装置１０Ｇから通知を受けて、コンシェルジュＣの端末装置１０Ｃの画面にゲストＧが興味を持っていない旨を知らせる表示を行う。例えば、図２に示すように、ゲストＧが資料データのページ８ａを表示する領域８を枠４０で強調するなどして知らせる。

このように、コンシェルジュＣが説明している資料データのページ７ａにゲストＧが興味を持っていない場合、コンシェルジュＣにその旨が通知されるので、コンシェルジュＣは話題を変えたり、ゲストＧに注意を促したりするなど適切な対応を取ることができる。

＜用語について＞
共有データとは、ネットワークに接続された複数の端末装置の間で共有されるデータを言う。共有とは各ユーザがリアルタイムにデータを閲覧できることをいう。また、各ユーザが使用する端末装置に表示して閲覧ができるデータと称してもよい。本実施形態では資料データという用語で説明する。資料とは議論や判断の基礎なる材料をいい、資料データは資料のファイル等であるが、両者は厳密に区別しなくてよい。

共有データを保持する装置とは、端末装置１０がアクセス可能なネットワーク上の情報処理装置であればよい。本実施形態では、サーバ装置５０が一例であるが、任意の端末装置１０が共有データを保持していてもよい。コンシェルジュが使用している端末装置も含まれる。

共有データが異なっているとは、共有されるファイルそのものが異なる場合、及び、共有されるファイルは同じだが表示中のページが異なる場合のいずれも含む。

興味を持っていないことの判定は、コンシェルジュＣが説明している資料データのページにゲストは興味がないと推定されるゲストの動作を検出することにより行われる。例えば、領域７と８で表示される資料データのページ７ａ，８ａが異なること、ゲストの視線方向が領域７の資料データのページ７ａを向いていないことなどにより判定される。

＜システム構成例＞
図３は、本実施形態の通信システム１の概略構成図である。本実施形態の通信システム１は、図３に示すように、各拠点に設置された複数の専用端末装置１０－１（ａ～ｃ）、汎用端末装置１０－２（ａ，ｂ）、１つ以上の中継装置３０、及び、１つ以上のサーバ装置５０を備える。専用端末装置１０－１として、専用端末装置１０－１ａ、１０－１ｂ、１０－１ｃが図示され、汎用端末装置１０－２として、汎用端末装置１０－２ａ、１０－２ｂが図示されている。本実施形態では、専用端末装置１０－１ａ、１０－１ｂ、１０－１ｃのうち任意の専用端末装置を指し示す場合、単に専用端末装置１０－１と称し、汎用端末装置１０－２ａ、１０－２ｂのうち任意の汎用端末装置を指し示す場合、単に汎用端末装置１０－２と称する。更に、専用端末装置１０－１と汎用端末装置１０－２を区別しない場合は単に端末装置１０と称する。また、ゲストが使用する端末装置１０を端末装置１０Ｇ，コンシェルジュが使用する端末装置１０を端末装置１０Ｃという。

なお、専用端末装置１０－１には有線又は無線によりディスプレイ１２０が接続されているが、専用端末装置１０－１がディスプレイ１２０と一体でもよい。また、汎用端末装置１０－２にはディスプレイが一体化されているが、汎用端末装置１０－２に外付けのディスプレイ１２０が接続されていてもよい。

本実施形態の通信システム１は、テレビ会議などの遠隔コミュニケーションに適用されるものとして説明される。しかし、通信システム１は、コミュニケーションシステム、又はデータ通信システムにも適用される。また、通信システム１には、サーバを介して一方の端末装置１０から複数の端末装置１０に一方向で画像データ又は音声データを送信するデータ提供システムが含まれる。また、テレビ会議をビデオ会議という場合がある。

端末装置１０、サーバ装置５０、及び、中継装置３０は通信ネットワーク２に接続されている。無線通信の場合、端末装置１０は基地局２ａをアクセスポイントにして通信ネットワーク２に接続する。通信ネットワーク２は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ルータ、インターネットなど、一般的なネットワークであればよい。例えば、広域イーサネット（登録商標）、ＶＰＮ（Virtual Private Network）などの専用線を含んでもよい。なお、この通信ネットワーク２には、有線だけでなく、ＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）、３Ｇ、４Ｇ、ＬＴＥ（Long Term Evolution）、及び、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線による通信が行われる箇所が含まれていてもよい。

専用端末装置１０－１は、通信システム１に専用の端末装置であり、一形態として電源ＯＮだけでサーバ装置５０にログインして画像と音声を送受信する情報処理装置である。あるいは、電子黒板のような機能を備えていると更に好ましい。汎用端末装置１０－２は汎用の情報処理装置がアプリケーションソフト（ブラウザソフトを含む）を実行することで画像データと音声データを送受信する情報処理装置である。汎用端末装置１０－２はアプリケーションソフトが動作すれば一般的な情報処理装置でよいが、例えば、ＰＣ(Personal Computer)、スマートフォン、タブレット端末、ＰＤＡ（Personal Digital Assistant）等がある。また、例えばブラウザソフトが動作するものには、テレビ受像器、ゲーム機、カーナビ、などがあり、汎用端末装置１０－２として装置の名称は問われない。

遠隔コミュニケーションの機能として、端末装置１０はカメラで撮像した画像データ、マイクで集音した音声データ、及び、説明などに使用する資料データを、中継装置３０を介して遠隔コミュニケーションに参加している他の拠点の端末装置１０に送信する機能がある。端末装置１０が電子黒板の場合、更に手書き情報を他の拠点の端末装置１０に送信する。また、他の拠点の端末装置１０から受信した画像データ、及び、資料データをディスプレイに表示し、受信した音声データをスピーカから出力する機能がある。

遠隔コミュニケーションに参加している端末装置１０が設置されている設置場所を「拠点」と称する。拠点はこのように概念的には場所を示すが、拠点は端末装置１０そのものを示す場合がある。また、拠点が設置場所だけでなく拠点のユーザ、及び、企業や部署を示す場合がある。従って、拠点は遠隔コミュニケーションを行っている相手を特定する意味も持つ。本実施形態では、ゲストＧ側の拠点は例えば自宅や店舗であり、コンシェルジュＣ側の拠点は例えばコールセンタである。この他、拠点の具体例として、会議室、地名、企業名、企業内の部署名、出張所、支店、ユーザ名等が挙げられる。

遠隔コミュニケーションが開始されると、端末装置１０は中継装置３０に対して画像データ、音声データ、及び、資料データ（手書き情報がある場合は手書き情報も）を送信し、中継装置３０は、遠隔コミュニケーションに参加している他の端末装置に対して画像データ、音声データ、及び、資料データ（手書き情報がある場合は手書き情報も）を送信する。また、端末装置１０は、中継装置３０を介して他方の端末装置１０から画像データ、音声データ、及び資料データ（手書き情報がある場合は手書き情報）を受信する。

サーバ装置５０は端末装置１０のステータスを管理し、着信があった場合に２つ以上の端末装置間でセッションを開始するなどの呼制御を行う呼制御サーバとして機能する。サーバ装置５０はサーバであるので情報処理装置の機能を有する。呼制御とは、通信を開始するための発信、その着信、着信への応答、通信の切断など、電話をかけたり切ったりするための一連の処理をいう。この他、端末装置１０の認証、検索、死活の監視なども行う場合が多い。更に、サーバ装置５０は、端末装置１０の宛先リスト等、通信システム１の制御に必要なデータベースの管理も行う。宛先リストとは、各端末装置１０が遠隔コミュニケーションの開始要求を送信できる（電話をかけられる）宛先の端末装置（又はユーザ）が登録されたデータである。

なお、ステータスとは、端末装置１０の通信システム１における状態である。ステータスは主に着信できるかできないかに区分される。着信できる状態は、すでに遠隔コミュニケーションに参加して画像データ、音声データ、及び資料データ（手書き情報がある場合は手書き情報も）を受信している状態（オンライン（伝送中）と呼ばれる）、単にログインした状態で着信を待ち受けている状態（オンライン（待機中）と呼ばれる）とがある。着信できない状態は、主に、オフラインの状態である（電源が入っていなかったり、電源が入っているがサーバ装置５０にログインしていなかったりする状態）。

中継装置３０は画像データ、音声データ及び資料データを一方の拠点の端末装置１０から他の拠点の端末装置１０に中継するサーバ（情報処理装置）である。サーバ装置５０は通信ネットワーク２の帯域や中継装置３０の通信負荷を監視して適切な中継装置３０を端末装置１０に割り当てる。

図４を用いて、通信システム１が遠隔コミュニケーションを行う際の通信方法について説明する。図４は、遠隔コミュニケーションを行う際の通信方法を説明する図の一例である。遠隔コミュニケーションで、送受信される画像データ、音声データ、及び資料データをコンテンツデータという。コンテンツデータを受信した端末装置は、ディスプレイに画像データと資料データを表示させ、スピーカから音声データを出力する。このような処理が絶え間なく行われることにより、遠隔地に離れて存在するユーザが遠隔コミュニケーションを行うことができる。

遠隔コミュニケーションに使用される端末装置１０Ｇと端末装置１０Ｃとの間には、中継装置３０を介して、高解像度の画像データ、中解像度の画像データ、低解像度の画像データ、及び音声データの４つの各データを送受信するための４つのセッションが確立される。図４では、これら４つのセッションをまとめて、画像・音声データ用セッションとして示している。

また、図４では遠隔コミュニケーションで共有される資料データを送受信するための資料データ用セッションが、中継装置３０を介して確立されている。これにより、音声データと画像データとは別のセッション（帯域）で各端末装置１０が資料データを送受信することが可能になる。なお、手書き情報のセッションは資料データと同じセッションで送信されてもよいし更に別のセッションで送信されてもよい。

なお、コンテンツデータが中継装置３０を経由するのは一例であって、サーバ装置５０を経由してコンテンツデータが送受信されてもよい。しかし、サーバ装置５０とは別に中継装置３０が設置されることで負荷を分散することができる。また、中継装置３０を介さずに、２つ以上の端末装置１０がコンテンツデータを送受信する仕組みも存在し、この場合、各拠点の端末装置１０はインターネットを介して直接、通信することができる。

また、図４に示されているように、通信システム１において拠点間の端末装置１０の間では、サーバ装置５０を介して、各種の管理情報を送受信するための管理情報用セッションが確立される。管理情報用セッションで上記のステータスが監視される。

端末装置１０がサーバ装置５０にログインすると、サーバ装置５０は遠隔コミュニケーションを行うことができる宛先端末（宛先の端末装置）のリストを端末装置１０に送信する。宛先の端末装置１０についても同様の処理を行う。一方の端末装置１０が他方の端末装置１０を発呼し相手の端末装置１０が応答すると、サーバ装置５０は中継装置３０を決定してこの中継装置３０に遠隔コミュニケーションを行う２つ以上の端末装置１０を設定する。また、サーバ装置５０は遠隔コミュニケーションに参加する各端末装置１０に中継装置３０のＩＰアドレスなどを通知する。これにより、遠隔コミュニケーションのための画像・音声データ用セッションが確立し、中継装置３０はコンテンツデータを遠隔コミュニケーションに参加する各端末装置１０に中継できる。

なお、このようなリストを使った接続方法は一例に過ぎず、ゲストＧの端末装置１０Ｇがサーバ装置５０と通信すると、データセンタにある複数の端末装置のうち空いている（オンライン（待機中））端末装置１０Ｃにサーバ装置５０が自動的に接続させてもよい。

＜ハードウェア構成例＞
次に、本実施形態の通信システム１における端末装置１０、及び、サーバ装置５０のハードウェア構成について説明する。

＜＜端末装置＞＞
図５は、専用端末装置１０―１のハードウェア構成の一例を示す。専用端末装置１０－１は、全体の動作を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、ＩＰＬ（Ｉｎｉｔｉａｌ Ｐｒｏｇｒａｍ Ｌｏａｄｅｒ）等のＣＰＵ１０１の駆動に用いられるプログラムを記憶したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２を備える。また、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、端末用プログラム、画像データ、及び音声データ等の各種データを記憶するフラッシュメモリ１０４を備える。

また、ＣＰＵ１０１の制御に従ってフラッシュメモリ１０４に対する各種データの読み出しや書き込みを制御するＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）１０５、フラッシュメモリ等の記録メディア１０６に対するデータの読み出しや書き込み（記憶）を制御するメディアドライブ１０７を備える。また、通信相手となる他の端末装置１０を選択する場合などに操作される操作ボタン１０８、専用端末装置１０－１の電源のオン／オフを切り換えるための電源スイッチ１０９、通信ネットワーク２を利用してデータ伝送をするためのネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１１１を備えている。

また、専用端末装置１０－１は、ＣＰＵ１０１の制御に従って被写体を撮像して画像データを得る内蔵型のカメラ１１２、このカメラ１１２の駆動を制御する撮像素子Ｉ／Ｆ１１３、音声を入力する内蔵型のマイク１１４、音声を出力する内蔵型のスピーカ１１５を備える。また、ＣＰＵ１０１の制御に従ってマイク１１４及びスピーカ１１５との間で音声信号の入出力を処理する音声入出力Ｉ／Ｆ１１６を備える。また、ＣＰＵ１０１の制御に従ってディスプレイ１２０に表示されているデータを伝送するディスプレイＩ／Ｆ１１７、各種の外部機器を接続するための外部機器接続Ｉ／Ｆ１１８、専用端末装置１０－１の各種機能の異常を知らせるアラームランプ１１９、及び上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。

なお、カメラ１１２、マイク１１４、スピーカ１１５は、必ずしも専用端末装置１０－１に内蔵されている必要はなく、外付けされる構成であってもよい。また、ディスプレイ１２０は、専用端末装置１０－１に内蔵された構成であってもよい。また、ディスプレイ１２０は、液晶パネル等の表示装置を想定するが、これに限らず、プロジェクタ等の投影装置であってもよい。図５に示す専用端末装置１０－１のハードウェア構成はあくまで一例であり、上記以外の他のハードウェアが追加されていてもよい。

上記した端末用プログラムは、例えばフラッシュメモリ１０４に格納され、ＣＰＵ１０１の制御によりＲＡＭ１０３上に読み出されて実行される。また、端末用プログラムは、インストール可能な形式又は実行可能な形式のファイルによって、コンピュータで読み取り可能な記録メディア１０６等の記録媒体に記録されて提供されるようにしてもよい。また、端末用プログラムは、ＲＯＭ１０２等に予め格納された組み込みプログラムとして提供されるようにしてもよい。なお、端末用プログラムは、「セッションごとにダウンロード」されてもよいし、「端末装置に常駐させて、セッション確率時に起動」されてもよい。

汎用端末装置１０－２のハードウェア構成は専用端末装置１０－１と同様であるか、又は、異なるとしても本実施形態の説明上は支障がないものとする。

＜＜サーバ装置＞＞
図６は、サーバ装置５０のハードウェア構成例を示す図である。サーバ装置５０は、図６に示すように、サーバ装置５０全体の動作を制御するＣＰＵ２０１、ＩＰＬ等のＣＰＵ２０１の駆動に用いられるプログラムを記憶したＲＯＭ２０２、ＣＰＵ２０１のワークエリアとして使用されるＲＡＭ２０３、サーバ装置用プログラム等の各種データを記憶するＨＤ（Ｈａｒｄ Ｄｉｓｋ）２０４を備える。

また、ＣＰＵ２０１の制御に従ってＨＤ２０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ（ＨＤ Ｄｒｉｖｅ）２０５、フラッシュメモリ等の記録メディア２０６に対するデータの読み出しや書き込み（記憶）を制御するメディアドライブ２０７を備える。また、各種情報を表示するディスプレイ２０８、通信ネットワーク２を利用してデータ伝送をするためのネットワークＩ／Ｆ２０９、キーボード２１１、マウス２１２、を備える。また、着脱可能な記録媒体の一例としての光記憶媒体２１３に対する各種データの読み出し又は書き込みを制御する光記憶媒体ドライブ２１４、及び上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン２１０を備えている。

サーバ装置用プログラムは、例えばＨＤ２０４に格納され、ＣＰＵ２０１の制御によりＲＡＭ２０３上に読み出されて実行される。また、サーバ装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルによって、記録メディア２０６や光記憶媒体等のコンピュータで読み取り可能な記録媒体に記録されて提供されるようにしてもよい。また、サーバ装置用プログラムは、ＲＯＭ２０２等に予め格納された組み込みプログラムとして提供されるようにしてもよい。

図示したサーバ装置５０のハードウェア構成は、１つの筐体に収納されていたりひとまとまりの装置として備えられていたりする必要はなく、サーバ装置５０が備えていることが好ましいハード的な要素を示す。また、クラウドコンピューティングに対応していてもよく、図示する本実施例のサーバ装置５０の物理的な構成は固定的でなくてもよく、負荷に応じてハード的なリソースが動的に接続・切断されることで構成されてよい。

なお、中継装置３０のハードウェア構成はサーバ装置５０と同様であるか、又は、異なるとしても本実施形態の説明上は支障がないものとする。

＜機能について＞
図７は、本実施形態の通信システム１が有する端末装置１０、及びサーバ装置５０の機能をブロック上に示す機能ブロック図の一例である。なお、中継装置３０は画像データを中継するに過ぎないため図７ではその機能が省略されている。また、実機においてゲストＧの端末装置１０ＧとコンシェルジュＣの端末装置１０Ｃは同じ機能を有してよいが、図７では説明を分かりやすくするためゲストＧの端末装置１０ＧとコンシェルジュＣの端末装置１０Ｃを分けて記載した。ゲストＧ及びコンシェルジュＣは専用端末装置１０－１と汎用端末装置１０－２のどちらを使用してもよい。

＜＜サーバ装置の機能構成＞＞
サーバ装置５０は、遠隔コミュニケーション通信部５１、資料共有部５２、送受信部５３、及び、記憶・読出部５４を有する。サーバ装置５０が有するこれら各部は、図６に示されている各構成要素のいずれかが、ＨＤ２０４からＲＡＭ２０３上に展開されたサーバ装置５０用のプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。

また、サーバ装置５０は、図６に示されているＨＤ２０４、ＲＡＭ２０３及びＲＯＭ２０２の少なくとも１つに形成される記憶部５９を有している。記憶部５９には、遠隔コミュニケーション管理ＤＢ５５（Data Base）と通信ＩＤ管理ＤＢ５６が構築されている。これらについては表１と表２でそれぞれ説明する。

送受信部５３は、ネットワークを介して端末装置１０又は中継装置３０と各種データ（又は情報）の送受信を行う。本実施形態では、例えば資料データの送受信を行う。

遠隔コミュニケーション通信部５１は、遠隔コミュニケーションの通信に関わる処理を行なう。すなわち、認証、呼制御、セッションの確立などを行う。また、中継装置３０がない場合は、遠隔コミュニケーション通信部５１が音声データと画像データの各端末装置１０への送受信に関する制御を行う。

資料共有部５２は、遠隔コミュニケーションで共有される資料の共有に関わる処理を行う。すなわち、ゲストＧの端末装置１０Ｇが領域８に表示する資料の画像データをコンシェルジュＣの端末装置１０Ｃに送信し、コンシェルジュＣの端末装置１０Ｃが領域７に表示している資料の画像データをゲストＧの端末装置１０Ｇに送信する。ここで、「共有する」とは、送受信部５３とネットワークを介して接続されているそれぞれの端末装置１０がほぼリアルタイムに同じ資料の同じページを表示することをいう。なお、資料共有部５２はページ単位に資料データの画像データを生成する。

共有の前提として、コンシェルジュＣの端末装置１０Ｃが有する資料そのものがサーバ装置５０に送信される（保持される）。コンシェルジュＣは端末装置１０Ｃが有する資料を直接、領域７に表示してページ番号をサーバ装置５０に送信する。これにより、資料共有部５２はコンシェルジュＣの端末装置１０Ｃが領域７に表示している資料データのページ７ａの画像データを生成し、ゲストＧの端末装置１０Ｇに送信する。ゲストＧが領域８に資料データを表示する場合は、領域８に表示したいページ番号（ページ送り操作でもよいしページ番号を指定してもよい）をサーバ装置５０に送信する。これにより、資料共有部５２は通知された資料データのページ８ａの画像データを生成し、ゲストＧの端末装置１０ＧとコンシェルジュＣの端末装置１０Ｃに送信する。

記憶・読出部５４は記憶部５９に対するデータの記憶と記憶部５９からデータの読み出しを行う。すなわち、遠隔コミュニケーション管理ＤＢ５５への読み書き、及び、通信ＩＤ管理ＤＢ５６への読み書きを行う。

続いて、通信ＩＤ管理ＤＢ５６と遠隔コミュニケーション管理ＤＢ５５について説明する。

表１は、通信ＩＤ管理ＤＢ５６に記憶されている情報を模式的に示す。通信ＩＤ管理ＤＢ５６には通信ＩＤに対応付けて端末装置のタイプが登録されている。通信ＩＤは通信元を識別する識別情報である。例えば、遠隔コミュニケーションに参加している端末装置の識別情報と言ってもよいし、この端末装置を操作するユーザ又は参加者の識別情報（ユーザＩＤ、参加者ＩＤ）と言ってもよい。なお、ＩＤはIdentificationの略であり識別子や識別情報という意味である。ＩＤは複数の対象から、ある特定の対象を一意的に区別するために用いられる名称、符号、文字列、数値又はこれらのうち１つ以上の組み合わせをいう。

また、タイプは、この通信ＩＤを使用するユーザがコンシェルジュＣかゲストＧのどちらであるかを示す。このように、予め通信ＩＤとタイプが対応付けられていることで、遠隔コミュニケーションに参加したユーザのタイプをサーバ装置５０が特定できる。また、ゲストＧが表示させた資料データのページ８ａをコンシェルジュＣが変更することは許可し、コンシェルジュＣが表示させた資料データのページ７ａをゲストＧが変更することは制限する制御が可能になる。

なお、表１では通信ＩＤとタイプが管理されているが、通信ＩＤにはこれ以外の情報が対応付けられていてもよい。

表２は遠隔コミュニケーション管理ＤＢ５５に記憶されている情報を模式的に示す。遠隔コミュニケーション管理ＤＢ５５には、遠隔コミュニケーションを行っている端末装置に関する情報を管理する。例えば、遠隔コミュニケーションＩＤに対応付けられた、参加者通信ＩＤ、参加者タイプ、共有資料、及び、表示ページの各項目を有する。

遠隔コミュニケーションＩＤは、遠隔コミュニケーションごとに設定されている遠隔コミュニケーションの識別情報であり、遠隔コミュニケーションが開始されたときに採番される。参加者タイプは、ゲストＧ又はコンシェルジュＣがサーバ装置５０に通信ＩＤとパスワードでログインする際に、通信ＩＤ管理ＤＢ５６に基づいて特定される。

共有資料は、コンシェルジュＣが端末装置１０Ｃに表示してゲストＧと共有している資料のファイル名（又はＩＤでもよい）である（表２の１行目）。また、ゲストＧが端末装置１０Ｇに表示してコンシェルジュＣと共有している資料のファイル名（又はＩＤでもよい）である（表２の２行目）。表２では、コンシェルジュＣとゲストＧの共有資料が同じであるが異なっていてもよい。

ゲストＧ又はコンシェルジュＣが資料共有を開始した時、又は別の資料に切り替えた時など、共有資料に変更があった際に共有資料の項目も変更される。表示ページは、共有資料のうち、現在、端末装置１０が表示しているページ番号となる。表示している共有資料のページが切り替わったときに表示ページの項目も変更される。

本実施形態では、コンシェルジュＣが説明する資料をゲストＧが閲覧するという実施形態を例にして説明されるため、ゲストＧとコンシェルジュＣの共有資料は同じであるとする。しかし、ゲストＧ側も資料データをサーバ装置５０にアップロードして、コンシェルジュＣと共有することができる。

なお、遠隔コミュニケーション管理ＤＢ５５に、資料データを送信した端末装置のＩＤ、送信した時刻、資料データのＩＤ、送信したページをログとして一定期間、保持しておく。これにより、情報漏洩した場合に情報を漏洩させた端末装置１０を特定しやすくなる。

＜＜端末装置（ゲストＧ）＞＞
ゲストＧの端末装置１０Ｇは、送受信部１１、表示制御部１２、遠隔コミュニケーション通信部１３、判定結果通知部１４、視線検知部１５、操作受付部１６、比較部１７、判定部１８、及び、記憶・読出部１９を有する。端末装置１０が有するこれらの機能は、図５に示されている各構成要素のいずれかが、フラッシュメモリ１０４からＲＡＭ１０３上に展開された端末用プログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能又は手段である。

また、端末装置１０Ｇは、図５に示されているＲＡＭ１０３、及びフラッシュメモリ１０４の少なくとも１つによって形成される記憶部２１を有している。記憶部２１には、比較結果管理ＤＢ２２が構築されている。比較結果管理ＤＢ２２については表３で説明する。

送受信部１１は、サーバ装置５０又は中継装置３０との間で各種の情報の送受信を行う。本実施形態では、コンテンツデータ（画像データ、音声データ、及び、資料データ）が送受信され、また、判定結果をサーバ装置５０に送信する（判定結果は最終的にコンシェルジュＣの端末装置１０Ｃに送信される）。

表示制御部１２は、端末装置１０で動作する通信システム用のアプリの画面をディスプレイ１２０に表示する。この画面に相手の拠点の画像データ、ゲストＧの端末装置１０Ｇが領域８に表示する資料データ、及び、コンシェルジュＣの端末装置１０Ｃが領域７に表示する資料データを表示する。

遠隔コミュニケーション通信部１３は、遠隔コミュニケーションの通信に関わる処理を行う。すなわち、カメラ１１２が撮像した画像データとマイク１１４が集音した音声データを、送受信部１１を介して中継装置３０に送信し、他の端末装置１０が送信した画像データと音声データを、送受信部１１を介して受信する。また、サーバ装置５０が送信するコンシェルジュＣの端末装置１０Ｃが領域７に表示する資料データのページ（画像データ）を、送受信部１１を介して受信する。また、ゲストＧの端末装置１０Ｇが領域８に表示する資料データのページ番号をサーバ装置５０に通知し、領域８に表示する資料データのページ（画像データ）をサーバ装置５０から送受信部１１を介して取得する。

操作受付部１６は、端末装置１０又はアプリに対するユーザからの各種の入力操作を受け付ける。視線検知部１５は、ユーザがアプリの画面のどこを見ているかを検知する。なお、視線の検知方法については図１２にて説明する。

比較部１７は、ゲストＧの端末装置１０ＧとコンシェルジュＣの端末装置１０Ｃで表示している資料が同じ資料でかつ同じページか否かを比較する。判定部１８は、比較部１７からの通知をもとに、コンシェルジュＣの表示している資料のページにゲストＧが興味を持っているか否かの判定を行う。具体的な判定方法は後述される。なお、判定部１８は視線検知部１５が検知する視線を判定に使用する場合がある。

判定結果通知部１４は、判定部１８の判定結果をサーバ装置５０に送信する。サーバ装置５０の送受信部５３はゲストＧと同じ遠隔コミュニケーションに参加中のコンシェルジュＣの端末装置１０Ｃを遠隔コミュニケーション管理ＤＢ５５から特定し、コンシェルジュＣの端末装置１０Ｃに判定結果を送信する。

記憶・読出部１９は、記憶部２１に対するデータの記憶と記憶部２１からデータの読み出しを行う。すなわち、比較結果管理ＤＢ２２への読み書きを行う。

表３は比較結果管理ＤＢ２２に記憶されている情報を模式的に示す。比較結果管理ＤＢ２２には、遠隔コミュニケーションＩＤ、参加者通信ＩＤ、及び、比較結果の各項目が登録される。遠隔コミュニケーションＩＤは表２と同様のＩＤである。参加者通信ＩＤはどの端末装置１０が表示している資料と比較したのかを示す。本実施形態ではコンシェルジュＣの端末装置１０Ｃである。比較結果は、「同じ」又は「異なる」が設定される。

このように比較結果管理ＤＢ２２には、コンシェルジュＣの端末装置１０ＣとゲストＧの端末装置１０Ｇが表示している「資料」と「ページ番号」の比較結果が記憶される。表３では、過去１回分の比較結果しか記憶していないが、過去の複数回の比較結果が記憶されてよい。

＜＜端末装置（コンシェルジュＣ）＞＞
コンシェルジュＣの端末装置１０Ｃは、送受信部１１、資料アップロード部２３、遠隔コミュニケーション通信部１３、操作受付部１６、表示制御部１２、興味報知部２４、及び、記憶・読出部１９を有する。なお、コンシェルジュＣの端末装置１０Ｃの説明ではゲストＧの端末装置１０Ｇとの相違を説明する。

資料アップロード部２３は、資料データのサーバ装置５０へのアップロードを行う。資料そのもの（ファイル全体）がアップロードされたので、ゲストＧの端末装置１０Ｇには資料データの各ページが画像データとしてダウンロードされる。なお、コンシェルジュＣは端末装置１０Ｃの資料データを直接、表示させればよい。ただし、コンシェルジュＣもゲストＧと同様に資料データの各ページの画像データをダウンロードしてもよい。あるいは、コンシェルジュＣの端末装置１０Ｃが資料データを保持したままにして、ゲストＧが要求するたびに資料データの各ページの画像データをゲストＧの端末装置１０Ｇに送信してもよい。ゲスト側の資料データについても同様である。

興味報知部２４は、ゲストＧの端末装置１０Ｇから興味なしという判定結果が送信された場合、ゲストＧ側の資料データを強調することで、コンシェルジュＣが領域７に表示している資料データのページ７ａにゲストＧが興味をもっていないことをコンシェルジュＣに報知する。

表４は、資料データＤＢ２５に記憶されている資料データを示す。資料データは例えば1つ以上のファイル（アプリケーションソフトのファイルデータ（ＷＯＲＤ ＰＤＦ等））であるので、端末装置１０Ｃのフォルダ又はディレクトリに保存されている。一般には端末装置１０ＣのＯＳ（Operating System）やファイルシステムにより管理されている。資料データはクラウドストレージや可搬性の記憶媒体に記憶されていてもよい。コンシェルジュＣはクラウドストレージや可搬性の記憶媒体から資料データを読み出して、共有を開始することができる。

なお、資料データは、紙に記載されている情報（文字、写真、図形、絵画、フリーハンドのメモなど紙媒体に記載されるもの）が電子化（スキャン）されたものであれば種類を問わない。また、紙に準じた媒体に記載された情報を含む。資料データは３次元データであってもよい。ただし、端末装置１０で表示可能であることが必要である。３次元データであってもページ単位に作成することは必要である。ただしその作成方法位については限定されない。端末装置１０で表示可能なものであれば資料データとなる。

＜動作手順＞
以下では、資料データを共有する際の動作、及び、コンシェルジュＣが表示している資料のページにゲストＧが興味をもっているか否かの判定に関する動作について説明する。

＜＜資料データの共有＞＞
図８は、ゲストＧの端末装置１０ＧとコンシェルジュＣの端末装置１０Ｃが資料データを共有する手順を示すシーケンス図の一例である。なお、すでにゲストＧの端末装置１０ＧとコンシェルジュＣの端末装置１０Ｃはセッションを確立しているものとする。また、図８では資料データのファイルがサーバ装置５０にアップロードされる場合を説明する。資料データのファイルそのものはゲストＧの端末装置１０Ｇには送信されない。これにより、資料データの漏洩を抑制しやすくなる。

S0：資料データを共有するため、コンシェルジュＣの端末装置１０Ｃの資料アップロード部２３は資料データ（ファイル）をサーバ装置５０に送信する。サーバ装置５０の送受信部５３が資料データ（ファイル）を受信し、資料共有部５２が遠隔コミュニケーション管理ＤＢ５５（ゲストとコンシェルジュの両方）に登録する。図８のでは説明を容易にするため資料データは１つしかないものとし、この資料データのページが共有されるものとして説明する。

S1：コンシェルジュＣが自分の端末装置１０ＣのコンシェルジュＣ側の領域７に、コンシェルジュＣが表示させた資料データのページ７ａを表示する。また、コンシェルジュＣは共有開始の操作を行い、操作受付部１６がこの操作を受け付ける。ページの指定方法は、例えば、アプリケーションソフトで資料ファイルの目次を表示させてから必要なページをコンシェルジュが指定してもよいし、１ページごとに進んだり、後退したりする表示画面上のボタン等で行ってもよい。

S2：コンシェルジュＣの端末装置１０Ｃの遠隔コミュニケーション通信部１３は資料データのページ番号をサーバ装置５０に送信する。図８のでは説明を容易にするため１つしかない資料データのページ番号のみを送信することとするが、資料データが複数ある場合は資料データのファイル名や資料ＩＤも送信する。資料データのアップロードやページ番号の通知は、通信プロトコルの最上位である「アプリケーション層」で行われる。

S3：サーバ装置５０の送受信部５３はコンシェルジュＣが領域７に表示させた資料データのページ番号を受信し、資料共有部５２がページ通知で指定されたページ番号の画像データを生成する。また、資料共有部５２は遠隔コミュニケーション管理ＤＢ５５のコンシェルジュ側にページ番号を登録する。

S4：サーバ装置５０の資料共有部５２はコンシェルジュＣ側の資料データ（１ページ目の画像データ）をゲストＧの端末装置１０Ｇに送信する。これにより、ゲストＧの端末装置１０Ｇの送受信部１１が資料データを受信し、表示制御部１２がコンシェルジュＣ側の領域７に資料データのページ７ａを表示する。

S4－1：ここで、ゲストＧが自分でも任意のページを表示したいと考えるとその操作を行う。操作受付部１６は領域８に表示する資料データのページ番号を受け付ける。なお、資料の表示の開始時は例えば１ページ目など決まったページ番号でもよいし、ゲストが任意のページ番号を指定してもよい。

S5：送受信部１１はゲストＧ側の資料データのページ通知をサーバ装置５０に送信する。

S6：サーバ装置５０の送受信部５３はページ通知を受信し、資料共有部５２がページ通知で指定されたページ番号の画像データを生成する。

S7：サーバ装置５０の送受信部５３はゲストＧ側の資料データ（画像データ）をゲストＧの端末装置１０Ｇに送信する。なお、資料共有部５２は遠隔コミュニケーション管理ＤＢ５５のゲスト側にページ番号を登録する。ゲストＧの端末装置１０Ｇの遠隔コミュニケーション通信部１３はゲストＧ側の資料データ（画像データ）を受信する。これにより、表示制御部１２がゲストＧ側の領域８に、ゲストが表示させた資料データのページ８ａを表示する。図８では、コンシェルジュＣ側の領域７とゲストＧ側の領域８に同じ資料データが表示されている。

S8：また、サーバ装置５０の送受信部５３はゲストＧ側の資料データ（画像データ）をコンシェルジュＣの端末装置１０Ｃに送信する。コンシェルジュＣの端末装置１０Ｃの遠隔コミュニケーション通信部１３はゲストＧ側の資料データ（画像データ）を受信する。これにより、表示制御部１２がゲストＧ側の領域８に資料データに表示する。ステップＳ７と同様に、ゲストＧ側の領域８とコンシェルジュＣ側の領域７には同じページが表示される。

S9：次に、コンシェルジュＣがコンシェルジュＣ側の領域７の資料データのページ７ａを変更したとする。操作受付部１６が操作を受け付け、表示制御部１２がコンシェルジュＣ側の領域７に変更後の資料データのページ７ａを表示する。

S10：コンシェルジュＣの端末装置１０Ｃの遠隔コミュニケーション通信部１３はコンシェルジュＣ側の資料データのページ通知をサーバ装置５０に送信する。

S11：サーバ装置５０の送受信部５３はページ通知を受信し、資料共有部５２がページ通知で指定されたページ番号の画像データを生成する。なお、資料共有部５２は遠隔コミュニケーション管理ＤＢ５５のコンシェルジュにページ番号を登録する。

S12：サーバ装置５０の送受信部５３はコンシェルジュＣ側の資料データ（画像データ）をゲストＧの端末装置１０Ｇに送信する。これにより、ゲストＧの端末装置１０Ｇの遠隔コミュニケーション通信部１３が資料データを受信し、表示制御部１２がコンシェルジュＣ側の領域７に資料データのページ７ａを表示する。

S13：次に、ゲストＧがゲストＧ側の領域８のページを変更する操作を行った。

S14：ゲストＧの端末装置１０Ｇの操作受付部１６はこの操作を受け付け、遠隔コミュニケーション通信部１３はゲストＧ側の資料データのページ通知をサーバ装置５０に送信する。

S15：サーバ装置５０の送受信部５３はページ通知を受信し、資料共有部５２がページ通知で指定されたページ番号の画像データを生成する。なお、資料共有部５２は遠隔コミュニケーション管理ＤＢ５５のゲスト側にページ番号を登録する。

S16：サーバ装置５０の送受信部５３はゲストＧ側の資料データ（画像データ）をゲストＧの端末装置１０Ｇに送信する。これにより、ゲストＧの端末装置１０Ｇの遠隔コミュニケーション通信部１３が資料データを受信し、表示制御部１２がゲストＧ側の領域８に資料データのページ８ａを表示する。

S17：また、ゲストＧ側の領域８に表示される資料データのページ８ａを共有するため、サーバ装置５０の資料共有部５２はゲストＧ側の資料データ（画像データ）をコンシェルジュＣの端末装置１０Ｃに送信する。これにより、コンシェルジュＣの端末装置１０Ｃの遠隔コミュニケーション通信部１３が資料データを受信し、表示制御部１２がゲストＧ側の領域８に資料データのページ８ａを表示する。

このようにして、ゲストＧとコンシェルジュＣの端末装置１０Ｃは互いに資料データを共有できる。なお、図８の共有の手順は一例に過ぎず、以下のような方法で共有してもよい。

Ａ．例えば、コンシェルジュＣの端末装置１０Ｃが領域７に表示する資料データについてもサーバからページ単位に資料データを取得してもよい。この場合、コンシェルジュＣの端末装置１０Ｃはコンシェルジュが指定したページ番号を通知すればよい。

Ｂ．資料データのファイルをサーバ装置５０がゲストＧの端末装置１０Ｇに送信しておいてもよい（コンシェルジュＣの端末装置１０Ｃも資料データのファイルを保持している）。コンシェルジュが領域７に表示するページが変更になった場合、ページ番号（好ましくは資料データのＩＤを含む）をサーバ装置５０に通知する。サーバ装置５０はゲストＧの端末装置１０Ｇにページ番号（資料データのＩＤ）を送信する。ゲストＧの端末装置１０Ｇは資料データＩＤとページ番号で指定されページの画像データを領域７に表示する。ゲストＧが領域８のページを変更した場合も同様に処理できる。

このように、ゲストＧの端末装置１０ＧとコンシェルジュＣの端末装置１０Ｃは、それぞれゲストＧ側の領域８とコンシェルジュＣ側の領域７を有しこれらの領域で表示しているページ番号を、サーバ装置５０を介して互いに通知すれば資料データの共有が可能である。

＜＜興味がないと判定された場合の処理＞＞
次に、図９を用いて、ゲストＧの端末装置１０Ｇにおける処理を説明する。図９は、ゲストＧの端末装置１０Ｇが、コンシェルジュＣが領域７に表示している資料データのページ７ａにゲストＧが興味をもっていないことをコンシェルジュＣの端末装置１０Ｃに通知するフローチャート図の一例である。

ゲストＧの端末装置１０Ｇの比較部１７は一定時間ごとに図９の処理を行う。このため、まず、一定時間が経過したか否かを判定する（S001）。ステップS001の判定がＮｏの場合、処理はステップS005に進む。なお、必ずしも一定時間ごとでなくてよい。

ステップS001の判定がＹｅｓの場合、ゲストＧの端末装置１０Ｇの比較部１７はコンシェルジュＣ側の領域７に表示されている資料データのページ７ａにゲストＧが興味を持っているか否かを判定する（S002）。具体的な判定方法については図１１にて説明する。

ステップS003の判定がＹｅｓの場合、判定結果通知部１４は、コンシェルジュＣ側の領域７に表示されている資料データのページ７ａにゲストＧが興味を持っている旨の判定結果をサーバ装置５０に通知する(S004)。

ステップS003の判定がＮｏの場合、判定結果通知部１４は、コンシェルジュＣ側の領域７に表示されている資料データのページ７ａにゲストＧが興味を持っていない旨の判定結果をサーバ装置５０に通知する(S006)。サーバ装置５０は判定結果をコンシェルジュＣの端末装置１０Ｃに送信する。

ゲストＧの端末装置１０Ｇの比較部１７は遠隔コミュニケーションが継続している間、図９の処理を周期的に繰り返す(S005)。サーバ装置５０は判定結果をコンシェルジュＣの端末装置１０Ｃに送信する。

次に、図１０を用いて、コンシェルジュＣの端末装置１０Ｃにおける処理を説明する。図１０は、コンシェルジュＣの端末装置１０Ｃが、ゲストＧの端末装置１０Ｇから取得した判定結果をコンシェルジュＣに報知する（知らせる）フローチャート図の一例である。

まず、コンシェルジュＣの端末装置１０Ｃの送受信部１１はゲストＧの端末装置１０Ｇから判定結果を受信する（S201）。

判定結果が興味ありの場合（S202のＹｅｓ）、コンシェルジュＣの端末装置１０Ｃの表示制御部１２は、すでに、ゲストＧが興味ない旨をアプリの画面に表示しているか否かを判定する(S203)。

ステップS203の判定がＹｅｓの場合、コンシェルジュＣの端末装置１０Ｃの興味報知部２４は、ゲストＧが興味ない旨をアプリの画面から消去する(S204)。ステップS203の判定がＮｏの場合、処理はステップS205に進む。

判定結果が興味なしの場合（S202のＮｏ）、コンシェルジュＣの端末装置１０Ｃの興味報知部２４は、ゲストＧが興味ない旨をアプリの画面に表示する(S206)。

コンシェルジュＣの端末装置１０Ｃの表示制御部１２は遠隔コミュニケーションが継続している間、図１０の処理を周期的に繰り返す(S205)。

＜＜興味の有無の判定＞＞
次に、図１１を用いて、コンシェルジュＣ側の領域７に表示されている資料データのページ７ａにゲストＧが興味をもっているか否かの判定方法について説明する。図１１は、コンシェルジュＣ側の領域７に表示されている資料データのページ７ａにゲストＧが興味をもっているか否かをゲストＧの端末装置１０Ｇが判定する手順を示すフローチャート図の一例である。

まず、ゲストＧの端末装置１０Ｇの比較部１７は、例えば通信ＩＤをキーにして、ゲストＧとコンシェルジュＣが表示している「資料」と「ページ番号」をサーバ装置５０から取得する(S101)。

比較部１７は、ゲストＧの端末装置１０Ｇが表示している「資料」及び「ページ番号」と、コンシェルジュＣの端末装置１０Ｃが表示している「資料」及び「ページ番号」とがそれぞれ同じか否かを判定する（S102）。

ステップS102の判定がＹｅｓの場合、比較部１７は「興味ある」という判定結果を生成する(S106)。

ステップS102の判定がＮｏの場合、比較部１７は比較結果管理ＤＢ２２から前回の比較結果を取得する(S103)。

そして、比較部１７は前回の比較結果が、「資料」及び「ページ番号」が同じであったか否かを判定する（S104）。

ステップS104の判定がＹｅｓの場合、判定部１８は「興味ある」という判定結果を生成する(S106)。こうすることで、ユーザが意図していない操作（ページ送りを行き過ぎた、など）をすることによってゲストＧとコンシェルジュＣとでページ数が異なった場合にも即座に「興味なし」と判定することを防止できる。

ステップS104の判定がＮｏの場合、判定部１８は「興味ない」という判定結果を生成する(S105)。このように、ゲストＧとコンシェルジュＣの表示している「資料」と「ページ番号」の比較結果が２回連続で「異なる」となった場合に、「興味なし」という判定結果を生成する。

比較部１７は、「資料」及び「ページ番号」の今回の比較結果を比較結果管理ＤＢ２２に登録する（S107）。

なお、図１１の処理で、ゲストＧとコンシェルジュＣの表示している「資料」と「ページ数」が異なっていればすぐに「興味なし」と判定してもよい。

また、「２回連続」としたのは一例に過ぎず、３回以上でもよい。また、今回と直近の過去の所定数の比較結果の内、比較結果が一定の比率以上「異なる」になっていた場合に「興味なし」と判定してもよい。例えば、過去の比較結果５回の内、「異なる」が過半数だった場合に「興味なし」という判定結果を生成する。周期的に繰り返された比較結果が、
５．異なる －> ４．同じ －> ３．異なる －> ２．異なる －> １．異なる
の場合、５回中４回の比率で「異なる」ので、例えば閾値を５０％（過半数）とすれば比率が閾値以上となり、「興味なし」という「判定結果」になる。

＜視線方向を考慮した興味の有無の判定＞
続いて、コンシェルジュＣが表示している資料のページにゲストＧが興味をもっているか否かを、視線方向を考慮して判定する方法について説明する。

図１２は、視線方向の検知方法を説明する図の一例である。ゲストＧの端末装置１０Ｇはカメラ３０１と光源３０２を有している。まず、光源３０２は遠赤外などの可視光以外の波長を有するＬＥＤなどの光源である。光源３０２はゲストＧの目に点光源となる光を照射する。また、カメラ３０１は少なくとも眼を含む顔画像を撮像する。

視線検知部１５は顔画像の画像データを解析して視線方向を検出する。具体的には、基準点と動点の相対位置に基づいて視線方向が検出される。一例として、基準点に目頭、動点に虹彩を選ぶ方法と、基準点に角膜反射、動点に瞳孔を選ぶ方法とがある。図１２の方法は角膜反射が使用される例である。視線検知部１５は、画像データから顔部分を特定し、顔部分から眉、鼻孔、目、唇などの特徴的な部品を特定し、これらの配置関係から目の位置を特定する。目の位置が特定されると輝度を画像処理して角膜反射及び瞳孔を検出できる。

角膜反射及び瞳孔の相対位置に視線方向が対応付けられたテーブルが予め容易されており、視線検出装置はこのテーブルを参照して視線方向を検出する。

図１３は、視線方向に基づいて、コンシェルジュＣが表示している資料のページにゲストＧが興味をもっているか否かをゲストＧの端末装置１０Ｇが判定する手順を示すフローチャート図の一例である。

ステップS401、S402、S406の処理は図１１のステップS101、S102、S106と同様でよい。ステップS402の判定がＹｅｓの場合、ゲストＧの端末装置１０Ｇの判定部１８は視線検知部１５が検知した視線方向を取得する(S403)。

そして、判定部１８は、コンシェルジュＣが領域７に表示している資料データのページ７ａを見ているか否かを判定する(S404)。

ステップS404の判定がＹｅｓの場合、判定部１８は「興味ある」という判定結果を生成する(S406)。

ゲストＧが、ゲストＧ側の資料のページを進めたまま放置し、コンシェルジュＣの資料を見ながら説明を聞いている場合（今はコンシェルジュＣの資料に興味がある）、ページ数の差異だけでは、興味をもっているか否かの判定結果が意図しない結果となる場合がある。従って、図１３では、視線検知を組み合わせることにより、判定をより正確に行なうことができる。

ステップS404の判定がＮｏの場合、判定部１８は「興味ない」という判定結果を生成する(S405)。

なお、ステップS404では、「ゲストＧが領域７を見ているか」という判定を行なっているが、判定基準はこれに限定しない。例えば、「ゲストＧが、領域８を見ている」（見ていたら「興味なし」と判定）、「ゲストＧが、コンシェルジュＣの顔が映っている領域９、又は、コンシェルジュＣが資料データを表示する領域７を見ているか」（見ていたら「興味ある」と判定）してもよい。

＜まとめ＞
以上説明したように、本実施形態の端末装置１０は、コンシェルジュＣが説明している資料データのページ７ａにゲストＧが興味を持っていない場合、コンシェルジュＣにその旨が通知されるので、コンシェルジュＣは話題を変えたり、ゲストＧに注意を促したりするなど適切な対応を取ることができる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、コンシェルジュＣが表示中の資料データのページ７ａにゲストＧが興味をもっていないと判定するのは、サーバ装置５０でもよい。図１４は、通信システム１が有する端末装置１０、及びサーバ装置５０の機能ブロック図の他の例である。図１４では、サーバ装置５０が比較部１７、判定結果通知部１４、及び、比較結果管理ＤＢ２２を有している。ゲストＧの端末装置１０Ｇはこれらを有していない。こうすることで、コンシェルジュＣが領域７に表示中の資料データのページ７ａにゲストＧが興味をもっているか否かをサーバ装置５０が判定できる。

また、コンシェルジュＣが表示中の資料データのページ７ａにゲストＧが興味をもっていないと判定するのは、サーバ装置５０でもよい。図１５は、通信システム１が有する端末装置１０、及びサーバ装置５０の機能ブロック図の他の例である。図１５では、コンシェルジュＣの端末装置１０Ｃが比較部１７、判定結果通知部１４、及び、比較結果管理ＤＢ２２を有している。ゲストＧの端末装置１０Ｇはこれらを有していない。こうすることで、コンシェルジュＣが領域７に表示中の資料データのページ７ａにゲストＧが興味をもっているか否かをコンシェルジュＣの端末装置１０Ｃが判定できる。なお、図１５の判定結果通知部１４は判定結果を外部に通知する必要はなく、判定結果に応じて興味報知部２４がコンシェルジュＣに報知すればよい。

また、コンシェルジュＣが領域７に表示中の資料データのページ７ａにゲストＧが興味をもっていないことをコンシェルジュＣに知らせる方法は、図２に示した方法に限られない。図１６は、コンシェルジュＣが領域７に表示中の資料データのページ７ａにゲストＧが興味を持っていないと判定された場合の報知方法を説明する図の一例である。

図１６（ａ）では、コンシェルジュＣ側の領域７が枠４０で強調されている。コンシェルジュＣは通常、コンシェルジュＣ側の領域７を見ているはずなので，コンシェルジュＣ側の領域７が強調されても気づくことができる。

また、図１６（ｂ）に示すように、コンシェルジュＣの端末装置１０Ｃの興味報知部２４はメッセージを画面に表示してもよい。図１６（ｂ）では、「ゲストＧが別のページを見ているようです。」というメッセージが表示されている。これにより、コンシェルジュＣが領域７に表示中の資料データのページ７ａにゲストＧが興味を持っていないことをコンシェルジュＣが気づくことができる。この他、メロディや音声により報知してもよい。

また、上記の実施形態では、興味ありと興味なしという２段階の判定結果を説明したが、判定結果は多段階でもよい。この場合、判定部１８は、ゲストＧがコンシェルジュＣの資料データを見ていない時間が長くなるほど興味なしの度合いが強い判定結果を生成し、興味報知部２４は、興味なしの度合いが強い判定結果ほどコンシェルジュＣ側の枠４０の強調の程度を強くする。例えば、枠４０を太くしたり、点滅速度を大きくしたりする。

また、コンシェルジュＣが表示中のページにゲストＧが興味を持っていないことをコンシェルジュＣが気づいた場合、コンシェルジュＣの端末装置１０ＣからゲストＧの端末装置１０Ｇに制御信号を送信することができてよい。

図１７は、コンシェルジュＣが領域７に表示中のページにゲストＧが興味を持っていないと判定された場合の動作を説明する図の一例である。図１７ではコンシェルジュＣの端末装置１０Ｃの画面がページ切替ボタン３０３を有している。ページ切替ボタン３０３は、ゲストＧの端末装置１０Ｇが領域８に表示するゲストＧ側の資料データのページ８ａを、コンシェルジュＣ側の領域７の資料データのページ７ａと一致させるためのボタンである。ページ切替ボタン３０３が押下されると、コンシェルジュＣの端末装置１０Ｃがページ切替要求をサーバ装置５０に送信し、コンシェルジュＣが領域７に表示中の資料データのページ７ａの画像データを、サーバ装置５０の資料共有部５２がゲストＧの端末装置１０Ｇに送信する。これにより、強制的に、ゲストＧの端末装置１０Ｇが領域８に表示するゲストＧ側の資料データのページ８ａを、コンシェルジュＣ側が領域７に表示する資料データのページ７ａと一致させることができる。例えば、ゲストＧが領域８の資料データのページ８ａを切り替える必要をなくすることができる。

また、図７などの構成例は、端末装置１０、及びサーバ装置５０の処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。また、端末装置１０、及びサーバ装置５０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

なお、遠隔コミュニケーション通信部１３はデータ共有手段の一例であり、表示制御部１２は表示制御手段の一例であり、判定結果通知部１４は通知手段の一例であり、遠隔コミュニケーション管理ＤＢ５５は共有データ情報記憶部の一例であり、比較部１７は比較手段の一例であり、判定部１８は判定手段の一例であり、視線検知部１５は視線方向検知手段の一例であり、資料共有部５２は共有制御手段の一例であり、コンシェルジュＣの端末装置１０の送受信部１１は受信手段の一例であり、興味報知部２４は報知手段の一例である。

コンシェルジュＣの端末装置１０Ｃは請求項１～８、１２の他の端末装置の一例である。ゲストＧの端末装置１０Ｇは請求項９の他の端末装置の一例である。コンシェルジュＣの端末装置１０Ｃは請求項１０，１１の他の端末装置の一例であり、ゲストＧの端末装置１０Ｇは請求項１０，１１の第一の端末装置の一例である。

１ 通信システム
７～９ 領域
１０ 端末装置
５０ サーバ装置

特表2017－502422号公報

Claims (12)

1. ネットワークを介してコンシェルジュが操作する他の端末装置と通信し、共有データを表示する、ゲストが操作する端末装置であって、
   コンシェルジュが説明中の資料のページが前記他の端末装置の画面に表示された第二の共有データと、ゲストが閲覧している、前記コンシェルジュが説明中の前記資料のページが前記端末装置の画面に表示される第一の共有データとを取得するデータ共有手段と、
   前記第一の共有データ及び前記第二の共有データを画面に表示する表示制御手段と、
   前記表示制御手段が画面に表示した前記第二の共有データと前記第一の共有データとが異なっていると判定される場合、前記端末装置が表示する前記第二の共有データと前記第一の共有データとが異なっている旨を前記他の端末装置に送信する通知手段と、を有し、
   前記表示制御手段が画面に表示した前記第二の共有データと前記第一の共有データとが同じと判定される場合、前記端末装置が表示する前記第二の共有データと前記第一の共有データとが同じ旨を前記他の端末装置に送信し、
   前記他の端末装置は、前記異なっている旨に応じて表示した情報を、前記同じ旨に応じて消去する、端末装置。
2. 前記端末装置は前記ネットワークに接続された情報処理装置を介して前記他の端末装置と通信し、
   前記情報処理装置は、前記他の端末装置の画面に表示される前記第二の共有データに関する情報と、前記端末装置の画面に表示される前記第一の共有データに関する情報と、を記憶する共有データ情報記憶部を有し、
   前記端末装置は、前記情報処理装置から取得した前記第二の共有データに関する情報と前記第一の共有データに関する情報とを比較する比較手段と、
   前記比較手段の比較結果に応じて前記端末装置の画面に表示される前記第二の共有データと前記第一の共有データとが異なっているか否かを判定する判定手段と、を有する請求項１に記載の端末装置。
3. 前記比較手段が、前記表示制御手段が画面に表示した前記第一の共有データと前記第二の共有データとが異なっているという比較結果が、一定時間、継続した場合、前記判定手段は前記端末装置の画面に表示される前記第一の共有データと前記第二の共有データとが異なっていると判定する請求項２に記載の端末装置。
4. 前記比較手段は、前記第二の共有データに関する情報と前記第一の共有データに関する情報との比較を繰り返し、
   過去の所定数の比較結果において、前記表示制御手段が画面に表示した前記第一の共有データと前記第二の共有データとが異なっていると判定される比率が閾値より大きい場合、前記表示制御手段が画面に表示した前記第一の共有データと前記第二の共有データとが異なっていると判定する請求項２に記載の端末装置。
5. 前記端末装置のユーザであるゲストの視線方向を検知する視線方向検知手段を有し、
   前記表示制御手段が画面に表示した前記第一の共有データと前記第二の共有データとが異なっているという比較結果が得られても、
   前記視線方向検知手段が検知した視線方向が、前記表示制御手段が画面に表示した前記第二の共有データの方向を向いている場合、前記判定手段は前記表示制御手段が画面に表示した前記第一の共有データと前記第二の共有データとが異なっていないと判定する請求項２～４のいずれか１項に記載の端末装置。
6. 前記表示制御手段が画面に表示した前記第一の共有データと前記第二の共有データとが異なっているという比較結果が得られており、
   更に、前記視線方向検知手段が検知した視線方向が、前記表示制御手段が画面に表示した前記第一の共有データの方向を向いている場合、前記判定手段は前記表示制御手段が画面に表示した前記第一の共有データと前記第二の共有データとが異なっていると判定する請求項５に記載の端末装置。
7. 前記他の端末装置から、前記端末装置が画面に表示する前記第一の共有データを変更する制御信号を取得した場合、前記表示制御手段は、前記制御信号に応じて前記第一の共有データを変更する請求項１～６のいずれか１項に記載の端末装置。
8. 請求項１～７のいずれか１項に記載された端末装置と通信する前記他の端末装置であって、
   前記端末装置から前記端末装置が表示する前記第一の共有データと前記第二の共有データとが異なっている旨を受信する受信手段と、
   前記受信手段が受信した、前記端末装置の画面に表示される前記第一の共有データと前記第二の共有データとが異なっている旨を前記他の端末装置のユーザであるコンシェルジュに報知する報知手段と、
   を有することを特徴とする他の端末装置。
9. ネットワークを介してゲストが操作する他の端末装置と通信し、共有データを表示する、コンシェルジュが操作する端末装置であって、
   コンシェルジュが説明中の資料のページが前記端末装置の画面に表示された第二の共有データと、ゲストが閲覧している、前記コンシェルジュが説明中の前記資料のページが前記他の端末装置の画面に表示される第一の共有データとを取得するデータ共有手段と、
   前記第一の共有データ及び前記第二の共有データを画面に表示する表示制御手段と、
   前記表示制御手段が画面に表示した前記第二の共有データと前記第一の共有データとが異なっていると判定される場合、前記端末装置が表示する前記第二の共有データと前記第一の共有データとが異なっている旨を前記端末装置のユーザに報知する報知手段と、を有し、
   前記表示制御手段が画面に表示した前記第二の共有データと前記第一の共有データとが同じと判定される場合、前記端末装置が表示する前記第二の共有データと前記第一の共有データとが同じ旨を前記端末装置のユーザに報知し、
   前記端末装置は、前記異なっている旨に応じて表示した情報を、前記同じ旨に応じて消去することを特徴とする端末装置。
10. ネットワークを介してゲストが操作する第一の端末装置及びコンシェルジュが操作する他の端末装置と通信する情報処理装置であって、
    第一の端末装置及び他の端末装置で共有される共有データを保持しておき、コンシェルジュが説明中の資料のページが前記他の端末装置の画面に表示された第二の共有データを前記第一の端末装置に送信し、ゲストが閲覧している、前記コンシェルジュが説明中の前記資料のページが前記第一の端末装置の画面に表示される第一の共有データを前記他の端末装置に送信する共有制御手段と、
    前記他の端末装置の画面に表示される前記第二の共有データに関する情報と、前記第一の端末装置の画面に表示される前記第一の共有データに関する情報と、を記憶する共有データ情報記憶部と、
    前記共有データ情報記憶部に記憶されている前記第二の共有データに関する情報と前記第一の共有データに関する情報とを比較する比較手段と、有し、
    前記比較手段の比較結果に応じて前記第一の端末装置の画面に表示される前記第一の共有データと前記第二の共有データとが異なっていると判定される場合、前記第一の端末装置が表示する前記第二の共有データと前記第一の共有データとが異なっている旨を前記他の端末装置に送信し、
    前記第一の端末装置及び他の端末装置が画面に表示した前記第二の共有データと前記第一の共有データとが同じと判定される場合、前記第一の端末装置が表示する前記第二の共有データと前記第一の共有データとが同じ旨を前記他の端末装置に送信し、
    前記他の端末装置は、前記異なっている旨に応じて表示した情報を、前記同じ旨に応じて消去することを特徴とする情報処理装置。
11. ネットワークを介してゲストが操作する第一の端末装置とコンシェルジュが操作する他の端末装置とが通信し、共有データを表示する通信システムあって、
    コンシェルジュが説明中の資料のページが前記他の端末装置の画面に表示された第二の共有データと、ゲストが閲覧している、前記コンシェルジュが説明中の前記資料のページが前記第一の端末装置の画面に表示される第一の共有データとを取得するデータ共有手段と、
    前記第一の共有データ及び前記第二の共有データを画面に表示する表示制御手段と、
    前記表示制御手段が画面に表示した前記第一の共有データと前記第二の共有データとが異なっていると判定される場合、前記第一の端末装置が表示する前記第二の共有データと前記第一の共有データとが異なっている旨を前記他の端末装置に送信する通知手段と、
    前記第一の端末装置が表示する前記第二の共有データと前記第一の共有データとが異なっている旨を前記他の端末装置のユーザに報知する報知手段と、を有し、
    前記表示制御手段が画面に表示した前記第二の共有データと前記第一の共有データとが同じと判定される場合、前記第一の端末装置が表示する前記第二の共有データと前記第一の共有データとが同じ旨を前記他の端末装置に送信し、
    前記他の端末装置は、前記異なっている旨に応じて表示した情報を、前記同じ旨に応じて消去する、通信システム。
12. ネットワークを介してコンシェルジュが操作する他の端末装置と通信し、共有データを表示する、ゲストが操作する端末装置が行う通知方法であって、
    データ共有手段が、コンシェルジュが説明中の資料のページが前記他の端末装置の画面に表示された第二の共有データと、ゲストが閲覧している、前記コンシェルジュが説明中の前記資料のページが前記端末装置の画面に表示される第一の共有データとを取得するステップと、
    表示制御手段が、前記第一の共有データ及び前記第二の共有データを画面に表示するステップと、
    通知手段が、前記表示制御手段が画面に表示した前記第一の共有データと前記第二の共有データとが異なっていると判定される場合、前記端末装置が表示する前記第一の共有データと前記第二の共有データとが異なっている旨を前記他の端末装置に送信するステップと、を有し、
    前記表示制御手段が画面に表示した前記第二の共有データと前記第一の共有データとが同じと判定される場合、前記端末装置が表示する前記第二の共有データと前記第一の共有データとが同じ旨を前記他の端末装置に送信し、
    前記他の端末装置は、前記異なっている旨に応じて表示した情報を、前記同じ旨に応じて消去する、通知方法。

Images