JP4543694B2 - コミュニケーションシステム、コミュニケーションシステムのサーバー、及びサーバーの処理方法 - Google Patents

Description

本発明は、コミュニケーションシステム、コミュニケーションシステムのサーバー、及びサーバーの処理方法に関する。

従来から電子掲示板等のように人が集まる場所にカメラを設置して、この電子掲示板の様子を撮影してこの撮影した画像を後で解析するなどして利用する装置として以下のようなものが提案されている。

特許文献１記載の装置は、電子掲示板にカメラをつけ、得られた映像を画像処理することで、掲示された情報を誰が／何人が見ていたかを知ることができるというものである。特許文献２記載の装置は、広告を表示する表示板と、視聴者を撮影するカメラと、視聴者に関する人物属性を判定して人物像の切り出しを行う属性判定手段とを有し、コンテンツ視聴者に関する属性判定の結果を蓄積して広告に対する定量的な判定を行うことができるというものである。

特許文献３記載の装置は、動画・音声情報と静止画情報の双方を記録するに当たり、静止画像情報が複数の表示装置で表示されているときは、その全ての表示装置で表示されている情報を記録し、動画・音声情報に対する静止画情報の再生リストを利用してコンテンツの再生を管理するようにしたので、動画・音声情報とプレゼンテーションなどを使用した静止画像を同一次元で管理できるというものである。特許文献４記載の装置は、プレゼンテーションの音声と使用したマルチメディアコンテンツとを同期させたシナリオを作成するというものである。

特開２００２−２２９１８号公報 特開２０００−１０５５８３号公報 特開２００３−８７７２５号公報 特開２０００−１８７５４２号公報

しかしながら、特許文献１記載の装置は、何人／誰がビデオを見ているかを知ることができるというものであるが、視聴者が真剣に見ているのか、視聴者が誰と話しながら見ているか等のように視聴者が表示されている情報をどのように見ているかを知ることができないため、それを見ている者との新たなコミュニケーションに発展しないという問題がある。

特許文献２記載の装置では、コンテンツ視聴者の反応を知ることができるものの、他者の反応に起因した新たなコミュニケーションにまで発展しない。特許文献３記載の装置では、動画や音声と静止画を同一次元で管理できるようにしたものであるが、これらの情報を視聴している視聴者の情報を得ることができないため、新たなコミュニケーションに発展しないという問題がある。

特許文献４記載の装置は、プレゼンテーションのように情報を発信する側の人物を撮影しているので、情報の受け手である人物の興味を知ることができないため、他の視聴者の反応に起因した新たなコミュニケーションに発展しないという問題がある。

そこで、本発明は、上記問題点に鑑みてなされたもので、他の視聴者の反応に起因した新たなコミュニケーションへ発展できるコミュニケーションシステム、コミュニケーションシステムのサーバー、及びサーバーの処理方法を提供することを目的とする。

上記課題を解決するために、本発明のコミュニケーションシステムは、サーバーと複数のコミュニケーション装置とを備え、コミュニケーション装置の各々は、表示情報がサーバーから一の視聴者の操作に基づく配信要求に応じて送られた場合に、該表示情報を表示部に表示させる制御を行うと共に、表示情報と共に送られた複数の第１反応情報であって、過去に該表示情報を視聴した他の視聴者の視聴時の反応を撮影したものを、表示情報に同期させて表示部に表示させる制御をも行う表示制御手段と、表示部に表示されている表示情報及び第１反応情報を視聴している一の視聴者の反応を撮影して第２反応情報としてさらに取得する反応取得手段と、反応取得手段により取得された第２反応情報と、該第２反応情報が取得された際における一の視聴者が視聴していた表示情報を識別する情報とを、サーバーに送信する制御を行う送信制御手段とを備え、サーバーは、一の視聴者が操作するコミュニケーション装置から送られた第２反応情報と表示情報を識別する情報とを関連付けて、複数の第１反応情報が既に保存されている保存部に保存する処理を行う保存処理手段と、他の視聴者が操作するコミュニケーション装置からの配信要求に応じて、該配信要求された表示情報と該配信要求された表示情報を識別する情報に関連付けられて保存部に保存されている第２反応情報及び複数の第１反応情報とを対応付けて、該他の視聴者が操作するコミュニケーション装置に送信する処理を行う送信処理手段とを備え、他の視聴者が操作するコミュニケーション装置は、該他の視聴者の操作に基づく配信要求に応じてサーバーから送られた表示情報の表示開始に応じて、他の視聴者の反応の撮影を開始することを特徴としている。
また、上記構成において、コミュニケーション装置の表示部はタッチパネルを含み、コミュニケーション装置の反応取得手段は、視聴している一または他の視聴者の撮影に加えて、表示情報を視聴する一または他の視聴者によりタッチパネルを用いて書き込まれた手書きコメントを反応情報として取得する構成を採用できる。

本発明のサーバーは、サーバーと複数のコミュニケーション装置とを備えるコミュニケーションシステムのサーバーであって、表示情報と複数の第１反応情報とが関連付けられて保存されている保存部と、一の視聴者の操作に基づく配信要求がコミュニケーション装置からあった場合に、保存部に保存されている複数の第１反応情報のうち、該コミュニケーション装置に送信する表示情報に関連付けられている複数の第１反応情報を、該コミュニケーション装置の表示部に表示情報と同期して表示されるように、該コミュニケーション装置に送信する表示情報に対応付けて送信する送信手段と、表示情報及び第１反応情報を視聴する一の視聴者の反応を撮影した第２反応情報と、第２反応情報が取得された際に表示部に表示されていた表示情報を識別する情報とをコミュニケーション装置から受信する受信手段と、コミュニケーション装置から受信された第２反応情報を、受信された表示情報を識別する情報と関連付けて保存部に保存する処理を行う保存処理手段と、を備え、第１反応情報は、過去に該表示情報を視聴した他の視聴者の視聴時の反応を撮影したものであることを特徴としている。

また、上記コミュニケーション装置の構成において、前記再生部は、前記視聴者画像を再生する際に、前記表示情報を再生する構成を採用できる。この構成によれば、視聴者画像を再生する際に、表示情報を再生するので、視聴者の反応を良く知ることができる。

また、上記コミュニケーション装置の構成において、更に、前記視聴者の存在を検出する検出部を備えることを特徴とする構成を採用できる。これによれば、検出部で表示情報を見ている視聴者の存在を検出することで、撮影部で視聴者の撮影を開始する。

また、上記コミュニケーション装置の構成において、前記検出部は、タッチパネルであることを特徴とする構成を採用できる。これによれば、視聴者がタッチパネルに触れたことで、表示情報を見ている視聴者の存在を検出して、撮影部で視聴者の撮影を開始する。

また、上記コミュニケーション装置の構成において、前記検出部は、前記視聴者を撮影した画像に基づき前記視聴者の存在を検出する構成を採用できる。これによれば、視聴者を撮影した画像に基づき視聴者の存在を検出するようにしたので、表示情報を見ている視聴者の存在を簡単に検出することができる。この検出結果に基づき撮影部で視聴者の撮影を開始する。

また、上記コミュニケーション装置の構成において、前記検出部は、前記視聴者が発生した音声に基づき前記視聴者の存在を検出する構成を採用できる。これによれば、視聴者が発生した音声に基づき視聴者の存在を検出するようにしたので、表示情報を見ている視聴者の存在を簡単に検出することができる。この検出結果に基づき撮影部で視聴者の撮影を開始できる。

また、上記コミュニケーション装置の構成において、更に、前記視聴者画像に関連付けられるコメントを入力するための入力部を備える構成を採用できる。これによれば、視聴者画像に関連付けられたコメントを表示情報ともに表示することで、新たなコミュニケーションの発展が期待できる。

また、上記コミュニケーション装置の構成において、更に、前記コメントを表示するコメント表示部を備える構成を採用できる。これによれば、視聴者画像を表示する際に、コメントを表示することで、新たなコミュニケーションを図りやすくなる。

また、上記コミュニケーション装置の構成において、前記再生部は、複数の視聴者画像を複数のウインドウに同時に表示する構成を採用できる。これによれば、複数の視聴者の画像を複数のウインドウに同時に表示することで、それを見ている視聴者は他の複数の視聴者の反応を同時に知ることができる。

また、上記コミュニケーション装置の構成において、前記再生部は、複数の視聴者映像を一つのウインドウに順次表示する構成を採用できる。これによれば、複数の視聴者の画像を一つのウインドウに順次表示することで、それを見ている視聴者は他の複数の視聴者の反応を順次知ることができる。

また、上記コミュニケーション装置の構成において、前記再生部は、前記視聴者画像に関連する文字又はシンボルを表示する構成を採用できる。これによれば、視聴者画像を表示する際に視聴者画像に関連する文字またはシンボルを併せて表示することで、新たなコミュニケーションの発展が期待できる。

また、上記コミュニケーション装置の構成において、前記再生部は、前記視聴者画像を前記表示情報に同期させて表示する構成を採用できる。これによれば、視聴者画像を表示情報に同期させて表示することにより、それを見ている視聴者は正確に他の視聴者の反応を知ることができる。

また、上記コミュニケーション装置の構成において、前記再生部は、前記表示情報と前記視聴者画像の関係を可視化表示する構成を採用できる。これによれば、表示情報と視聴者画像の関係を可視化表示することで、それを見ている視聴者は表示情報と視聴者画像の関係を把握することができる。

また、上記コミュニケーション装置の構成において、更に、前記視聴者の指示入力データを受け付ける指示入力部と、前記指示入力データに基づき前記視聴者の指示入力位置を特定する指示入力位置特定部と、前記視聴者の指示入力方向を特定する指示入力方向特定部とを備え、前記再生部は、前記視聴者の指示入力位置および前記視聴者の指示入力方向に基づき前記表示装置の表示位置を調整する構成を採用できる。これによれば、視聴者の指示入力位置および視聴者の指示入力方向に応じて、視聴者に表示対象を表示するので、視聴者の身体の一部によって表示対象が隠れてしまうのを避けて表示対象をうまく表示することができる。

また、上記コミュニケーション装置の構成において、所定の表示情報を表示装置と、前記表示情報を視聴する視聴者の指示入力データを受け付ける指示入力部と、前記指示入力データに基づき前記視聴者の指示入力位置を特定する指示入力位置特定部と、前記視聴者の指示入力方向を特定する指示入力方向特定部と、前記視聴者の指示入力位置および前記視聴者の指示入力方向に基づき前記表示装置の表示位置の調整をする再生部とを備える構成を採用できる。これによれば、視聴者の指示入力位置および視聴者の指示入力方向に応じて、視聴者に表示対象を表示するので、視聴者の身体の一部で表示対象を隠さずに、表示対象をうまく表示することができる。

また、上記コミュニケーション装置の構成において、前記指示入力部は、所定の撮影部で前記視聴者を撮影した画像に基づき前記視聴者の指示入力方向を特定する構成を採用できる。これによれば、撮影部で撮影した画像に基づき視聴者の指示入力方向を特定することができる。

また、上記コミュニケーション装置の構成において、前記指示入力部は、所定のセンサ部で検出したセンサ情報に基づき前記視聴者の指示入力方向を特定する構成を採用できる。これによれば、センサからのセンサ情報に基づき視聴者の指示入力方向を特定することができる。

また、ネットワークを介して接続された複数のコミュニケーション装置を備えるシステムであって、前記コミュニケーション装置は、上記のコミュニケーション装置であることを特徴とするシステムが考えられる。これによれば、視聴者画像を表示情報に関連付けて記憶し、外部からの要求に応じて視聴者画像を送信し、これをコミュニケーション装置で受信し、視聴者画像を表示情報に関連付けて再生することで、他者の反応に起因した新たなコミュニケーションが期待できるシステムを提供できる。

また、本発明に係るサーバーの処理方法は、一の視聴者の操作に基づく配信要求が前記コミュニケーション装置からあった場合に、保存部に表示情報と関連付けられて保存されている複数の前記第１反応情報のうち、コミュニケーション装置に送信する表示情報に関連付けられている複数の前記第１反応情報を、前記コミュニケーション装置の表示部に前記表示情報と同期して表示されるように、該コミュニケーション装置に送信する表示情報に対応付けてサーバーに送信させ、前記表示情報及び前記第１反応情報を視聴する前記一の視聴者の反応を撮影した第２反応情報と、前記第２反応情報が取得された際に前記表示部に表示されていた前記表示情報を識別する情報とを、前記サーバーに前記コミュニケーション装置から受信させ、前記コミュニケーション装置から受信された識別する情報に対応する表示情報を前記コミュニケーション装置に送信する際に該表示情報と対応付けて送信できるように、前記コミュニケーション装置から受信された前記第２反応情報を、前記表示情報を識別する情報と関連付けて、前記保存部に保存させ、前記第１反応情報は、過去に該表示情報を視聴した他の視聴者の視聴時の反応を撮影したものであることを特徴としている。

また、上記表示方法において、更に、所定の表示装置に表示されている表示情報および前記視聴者画像を視聴する視聴者を撮影する第２撮影ステップと、前記第２撮影ステップで撮影した視聴者画像を前記第１撮影ステップで撮影した視聴者画像に関連付けて所定の記憶装置に記憶するステップと、前記記憶装置からの第１および第２撮影ステップで撮影した視聴者画像を表示装置に表示するステップとを有する構成を採用できる。これによれば、この視聴者画像を見ている視聴者の画像を表示することで、これらを見ている視聴者は表示情報に対する他の視聴者の様々な反応を把握することができるので、新たなコミュニケーションが期待できる。

また、上記の表示方法において、更に、前記視聴者の存在を検出する検出ステップを有する構成を採用できる。これによれば、表示情報を見ている視聴者の存在を検出して視聴者の撮影を行うことができる。

また、前記表示情報と前記視聴者画像との関係を可視化表示するステップを有する構成を採用できる。これによれば、表示情報と視聴者画像の関係を可視化表示することで、それを見ている視聴者は表示情報と視聴者画像の関係を把握することができる。

本発明によれば、他の視聴者の反応に起因した新たなコミュニケーションへ発展できるコミュニケーション装置、システムおよび表示方法を提供できる。

以下、本発明を実施するための最良の形態について実施例を用いて説明する。

図１は、第１実施例に係るシステムの全体構成図である。図１に示すように、システム１は、複数のコミュニケーション装置２、サーバー３、データベース４を備える。コミュニケーション装置２、サーバー３はネットワーク５を介して接続されている。コミュニケーション装置２Ａは、Ａ地点に設定されているものである。このコミュニケーション装置２Ａで表示されている表示情報Ｄ１をＹ氏が見ているものとする。コミュニケーション装置２Ｂは、Ｂ地点に設置されているものである。このコミュニケーション装置２Ｂで表示されている表示情報Ｄ１、視聴者画像Ｓ１をＫ氏、Ｊ氏が見ているものとする。

サーバー３は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を用いて構成されている。データベース４は、表示装置２１Ａ、２１Ｂで表示する表示情報Ｄ１やこの表示情報Ｄ１を視聴する視聴者の視聴者画像Ｓ１等が格納されている。データベース内にある表示情報、視聴者画像等は、複数地点に設定されたコミュニケーション装置２Ａ、２Ｂに共有して使用される。データベース４は、一つだけでなく、複数分散させて設置するようにしてもよい。ネットワーク５には、例えばインターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等が含まれる。

コミュニケーション装置２Ａは、表示装置２１Ａ、サーバー２２Ａ、カメラ２３Ａ、マイク２４Ａ、スピーカ２５Ａ、センサ２６Ａ、タッチパネル２７Ａを備える。コミュニケーション装置２Ｂも、表示装置２１Ｂ、サーバー２２Ｂ、カメラ２３Ｂ、マイク２４Ｂ、スピーカ２５Ｂ、センサ２６Ｂ、タッチパネル２７Ｂを備える。

表示装置２１Ａ、２１Ｂは、表示情報Ｄ１、視聴者画像Ｓ１および各種メニューを表示する。この表示装置２１Ａ、２Ｂは、例えば、プラズマディスプレイ等の大型ディスプレイで構成されている。表示情報Ｄ１には、例えばＷｅｂページ、文章、画像等の静止情報および映像、音声、音楽等の動画情報等が含まれる。表示装置２１Ａ、２１Ｂは、タッチパネル２７Ａ、２７Ｂを備える。視聴者は、タッチパネル２７Ａ、２７Ｂを用いて各種指示やメッセージを入力することができる。このタッチパネル２７Ａ、２７Ｂにより検出された情報は、サーバー２２Ａ、２２Ｂに送られる。タッチパネル２７Ａで視聴者の存在を検出することもできる。ここでは、入力装置として、タッチパネル２７Ａ、２７Ｂを用いているが、キーボードやマウス等の入力装置であってもよい。

カメラ２３Ａ、２３Ｂは、表示装置２１Ａ、２１Ｂに表示されている表示情報Ｄ１を視聴する視聴者を撮影するものである。このカメラ２３Ａには、静止画像、動画像を撮影するカメラが含まれる。カメラ２３Ａ、２３Ｂで撮影された画像は、サーバー２２Ａに送られる。マイク２４Ａ、２４Ｂは、表示装置１の画面に表示されている表示情報Ｄ１を視聴している視聴者の音声を取得するものである。このマイク２４Ａ、２４Ｂからの音声は、サーバー２２Ａ、２２Ｂに送られる。スピーカ２５Ａ、２５Ｂは、表示装置２１Ａ、２１Ｂで表示する画像に同期した音声を再生を再生するものである。

センサ２６Ａ、２６Ｂは、所定のエリア内に存在する視聴者の存在を検出するものである。このセンサ２６Ａ、２６Ｂには、例えば、赤外線センサ等の距離センサや、人物に付けられているＲＦＩＤ（Radio Frequency Identification）を受信するセンサ等が含まれる。センサ２６Ａ、２５Ｂは、例えば人物と表示装置２１Ａ、２１Ｂとの距離がＮメートル以内の場合に検出信号をサーバー２２Ａ、２２Ｂに送る。

サーバー２２Ａ、２２Ｂは、各コミュニケーション装置全体を制御する。このサーバー２２Ａ、２２Ｂは、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等を用いて構成されている。サーバー２２Ａ、２２Ｂは、タッチパネル２７Ａ、２７Ｂからの入力信号を検出すると、視聴者がコミュニケーション装置２Ａ、２Ｂの前に存在することを検出する。サーバー２２Ａ、２２Ｂは、カメラ２３Ａ、２３Ｂで撮影した画像に対する画像処理の結果に基づき、視聴者の存在、視聴者の顔の向き、視聴者の視線が表示装置２１Ａ、２１Ｂにあるかどうかを検出する。サーバー２２Ａ、２２Ｂは、マイク２４Ａ、２４Ｂからの音声に対する音声信号処理の結果に基づき、視聴者の存在を検出する。

サーバー２２Ａ、２２Ｂは、制御部として機能し、カメラ２３Ａで撮影した視聴者画像を表示情報に関連付けてデータベース（所定の記憶装置）３に記憶させる。また、サーバー２２Ａ、２２Ｂは、視聴者画像をデータベース３から受信する受信部と、視聴者画像を表示情報に関連付けて再生する再生部として機能する。サーバー２２Ａ、２２Ｂは、マイク２４Ａ、２４Ｂからの音声を解析して、話者認識を行ったり、音声認識を行い、話者認識で特定された視聴者の個人情報や音声認識結果を変換した単語等を視聴者画像に付加して、データベース４に格納する処理を行う。サーバー２２Ａ、２２Ｂは図示省略するキーボードやマウスの操作を検出して視聴者の存在を検出するようにしてもよい。

カメラ２３Ａ、２３Ｂが特許請求の範囲における撮影部に相当する。サーバー２２Ａ、２２Ｂが特許請求の範囲における制御部、再生部として機能する。センサ２６Ａ、２６Ｂ、タッチパネル２７Ａ、２７Ｂ、サーバー２２Ａ、２２Ｂが特許請求の範囲における検出部に相当する。

次に、Ａ地点に設置されたコミュニケーション装置２Ａで撮影した視聴者画像Ｓ１の保存処理について説明する。図２は、視聴者画像Ｓ１の保存処理のフローチャートである。地点Ａで働くＹ氏は、コミュニケーション装置２Ａの表示装置２１Ａに表示されている表示情報Ｄ１に興味を持ち見ている。ステップＳ１０１で、表示装置２１Ａに表示情報Ｄ１が表示される。ステップＳ１０２で、サーバー２２Ａは、タッチパネル２７Ａから入力信号が入力されたかどうかを判断する。Ｙ氏は、表示情報Ｄ１に興味を持ちタッチパネル２７Ａに触れると、サーバー２２Ａは、タッチパネル２７Ａからの入力信号を検出し、この入力信号に基づき視聴者の存在を検出する。

ステップＳ１０３で、サーバー２２Ａは、カメラ２３Ａで視聴者であるＹ氏の撮影を開始する。撮影を開始する前に、視聴者に対して撮影許可を尋ねるようにしてもよい。また、撮影しているとき、その映像を視聴者が認識できるようにモニタリング映像を表示してもよい。ステップＳ１０４で、サーバー２２Ａは、カメラ２３Ａでの撮影開始からＮ秒経過したかどうかを見て、ステップＳ１０５で、Ｎ秒後にカメラ２３ＡでのＹ氏の撮影を停止する。撮影開始／終了はユーザーによって手動で行われるようにしてもよい。

サーバー２２Ａは、表示装置２１Ａで表示されている表示情報Ｄ１を識別する情報と、カメラ２３ＡでＹ氏を撮影した視聴者画像Ｓ１、視聴者画像に関連する情報をネットワーク５を介してサーバー３へ送る。ここで、視聴者画像に関連する情報には、撮影日時、表示装置のＩＤ、表示装置の設置場所情報、例えば、ユーザーがどのボタンを押したかなどユーザーが行った操作の内容、視聴者を検出するセンサ２６Ａ、２６Ｂからの情報、距離情報、画像処理／ＲＦＩＤなどによる人物特定結果、音声解析結果等が含まれる。

ステップＳ１０６で、サーバー３は、視聴者画像Ｓ１を表示情報Ｄ１に関連付けてデータベース４に保存する。これにより、視聴者画像Ｓ１は表示情報Ｄ１に関連付けられて保存された。撮影された視聴者画像は、カットなどの編集処理を行ってもよい。

次に、データベース４に保存された視聴者画像について説明する。図３は、データベース４に保存された視聴者画像を説明するための図である。図３に示すように、視聴者画像Ｓ１は表示情報Ｄ１に、視聴者画像Ｓ２は表示画像Ｄ２に、視聴者画像Ｓ３、Ｓ４は表示情報Ｄ３に、視聴者画像Ｓ５は表示情報Ｄ４にそれぞれ関連付けられて格納されている。視聴者画像Ｓ１１、Ｓ１２、Ｓ１３は表示情報Ｄ１１に関連付けられている。また、各視聴者画像には、撮影開始時刻、撮影終了時刻、音声認識結果、撮影地点、ユーザー操作等のデータが対応付けられ格納されている。また、視聴者画像に視聴者のメールアドレス、電話番号等を対応させて格納するようにしてもよい。

次に、Ｂ地点に設置されたコミュニケーション装置２Ｂでの表示情報Ｄ１と視聴者画像Ｓ１の表示処理について説明する。図４は、コミュニケーション装置２Ｂでの表示情報Ｄ１と視聴者画像Ｓ１の表示処理のフローチャートである。Ｂ地点で働くＫ氏、Ｊ氏は、コミュニケーション装置２Ｂの表示装置２１Ｂに表示情報Ｄ１に表示しようとしている。

ステップＳ２０１で、サーバー２２Ｂは、表示情報Ｄ１の表示要求があるかどうかを見て、Ｋ氏、Ｊ氏がタッチパネル２７Ｂを操作して表示情報Ｄ１の表示を要求した場合、ステップＳ２０２で、サーバー３に対して表示情報Ｄ１の配信要求を行う。サーバー３は、コミュニケーション装置２Ｂからの表示情報Ｄ１の配信要求を受け取ると、表示情報Ｄ１と関連付けられている視聴者画像をデータベース４から検索する。サーバー３は、表示情報Ｄ１とこれに関連付けられている視聴者画像Ｓ１をコミュニケーション装置２Ｂに送る。

ステップＳ２０３で、コミュニケーション装置２Ｂのサーバー２２Ｂは、サーバー３から表示情報Ｄ１と視聴者画像Ｓ１を受信すると、これらを表示装置２１Ｂに表示する。これにより、Ｋ氏、Ｊ氏は表示情報Ｄ１とともに視聴者画像Ｓ１を見ることができる。地点Ｂで働くＫ氏、Ｊ氏は、Ｙ氏とは顔見知りだが、異なるプロジェクトチームで働いているために互いの活動についてはほとんど知らなかった。Ｋ氏、Ｊ氏は、この映像から、Ｙ氏が表示情報Ｄ１に興味を持ち、感心して見ていた様子が分かる。そこで、Ｋ氏、Ｊ氏は、表示情報Ｄ１がＹ氏のプロジェクトチームにとって重要な情報であると気付き、表示情報Ｄ１に注意を向けて見ることにする。

表示情報Ｄ１は、Ｋ氏、Ｊ氏のプロジェクトチームにとっても参考となる情報であったので、Ｙ氏のプロジェクトチームの活動が、自分たちのチームの活動に役立つことがあるかもしれないと感じ、後日、表示情報Ｄ１についての話題をきっかけにして、Ｙ氏と互いの活動についての情報交換会議を企画して、必要な情報を互いに補うことができた。このように、ある他者の反応に起因した、新たなコミュニケーションへの発展させることができる。

ステップＳ２０４で、サーバー２２Ｂは、表示情報Ｄ１と視聴者画像Ｓ１の表示が始まると、カメラ２３Ｂで視聴者であるＫ氏、Ｊ氏の撮影を開始する。ステップＳ２０５で、サーバー２２Ｂは、カメラ２３Ｂでの撮影開始からＮ秒経過したかどうかを見て、ステップＳ２０６で、Ｎ秒後にカメラ２３ＢでのＫ氏、Ｊ氏の撮影を停止する。サーバー２２Ａは、表示情報Ｄ１、視聴者画像Ｓ１を識別する情報とカメラ２３Ｂで撮影した視聴者画像Ｓ２をネットワークを介してサーバー３へ送る。ステップＳ２０７で、サーバー３は、視聴者画像Ｓ２を表示情報Ｄ１、視聴者画像Ｓ１に関連付けてデータベース４に保存する。これにより、視聴者画像Ｓ２は表示情報Ｄ１、視聴者画像Ｓ１に関連付けられ、後の表示要求において利用される。

第１実施例によれば、視聴者画像を表示情報に関連付けて記憶するようにしたので、視聴者画像を見た視聴者は、他の視聴者の反応を知ることができるため、他者の反応に起因した新たなコミュニケーションが期待できる。

次に、第２実施例について説明する。図５は、表示情報の表示例について説明する。図５では、Ａ地点に設定されたコミュニケーション装置２Ａの表示装置２１Ａの表示情報を示している。図５に示すように、表示装置２１Ａは、最初に表示情報Ｄ１を表示し、Ｎ１秒後に表示情報Ｄ２を表示し、Ｎ２秒後に表示情報Ｄ３を表示し、Ｎ３秒後に表示情報Ｄ４を表示し、Ｎ４秒後に再度表示情報Ｄ１を表示する。このように、表示装置２１Ａは、サーバー２２Ａに制御されて、表示情報を時間変化とともに自動的に変化させて表示する。

次に、視聴者画像について説明する。次に、複数の視聴者画像を表示する例について説明する。図６は複数の視聴者画像を複数のウインドウに同時に表示する例を示す図である。図６に示すように、サーバー２２Ｂは、表示装置２１Ｂに表示情報Ｄ３を表示し、表示情報Ｄ３に関連付けられた視聴者画像Ｓ３と視聴者画像Ｓ４を二つのウインドウに同時に表示する。

図７は、複数の視聴者画像を一つのウインドウに順次表示する例を示す図である。サーバー２２Ｂは、同図（ａ）に示すように、まず、表示装置２１Ｂに表示情報Ｄ３とこれに関連付けられた視聴者画像Ｓ４を表示し、Ｎ秒後に、同図（ｂ）に示すように、表示情報Ｄ３に関連付けられた視聴者画像Ｓ４を表示する。

図８は、視聴者映像の表示例を説明するための図である。図８では、Ｂ地点に設定されたコミュニケーション装置２Ｂの表示装置２１Ｂでの表示例を示している。表示装置１で表示情報Ｄ１〜Ｄ４を表示するとき、表示情報Ｄ１〜Ｄ４に関連する視聴者画像Ｓ１〜Ｓ５をＤＢから検索し、表示する。図８に示すように、表示装置１は、まず、表示情報Ｄ１と視聴者画像Ｓ１を表示し、Ｎ１秒後に、表示情報Ｄ２と視聴者画像Ｓ２を表示し、Ｎ２秒後に、表示情報Ｄ３と視聴者画像Ｓ３、Ｓ４を表示し、Ｎ３秒後に、表示情報Ｄ４と視聴者画像Ｓ５を表示し、Ｎ４秒後に、再度、表示情報１を表示する。このように、表示装置２１Ｂは、サーバー２２Ｂに制御されて、表示情報とこれに関連付けられた視聴者画像を時間変化とともに自動的に変化させて表示する。

図９は、視聴者画像のうち１フレームを抽出した静止画像の表示例を説明するための図である。図９に示すように、サーバー２２Ｂは、表示情報Ｄ３に対応する視聴者画像が動画像の場合、この視聴者画像のうち第５フレームだけを抽出して静止画像として表示装置２１Ｂに表示する。図１０は、多数の視聴者画像から、Ｎ個の映像のみを選択して表示する例について説明するための図である。サーバー２２Ｂは、表示情報に関連する視聴者画像が多数ある場合、多数の視聴者画像の中から任意のＮ個（２個）の画像を選択して表示する。図１０では、サーバー２２Ｂは、表示情報Ｄ３に関連する視聴者画像が５つある場合、視聴者画像Ｓ１〜Ｓ５の中から二つの視聴者画像Ｓ１、Ｓ５を選択して表示する。

また、各地点ごとに最近Ｍ個のみの視聴者画像を表示したり、撮影されている人数が多い順にＭ個表示するようにしてもよい。以上の視聴者画像の選択規則は、ＤＢにある情報やサーバー２２の判断により決定される。

図１１は、視聴者画像に関連する文字等を表示する表示例を示す図である。サーバー２２Ｂは、表示情報Ｄ１と表示情報Ｄ１に付加された情報をデータベース４からサーバー３を介して取得する。図１１に示すように、サーバー２２Ｂは、表示装置１に表示情報Ｄ１と視聴者画像Ｓ１を表示し、視聴者画像の撮影を開始した時刻「午後１時３８分」、ユーザーの音声認識処理の結果「“ＯＫ”」、視聴者画像を撮影した地点「地点Ａ」、ユーザーが行った操作「ポスター表示」の文字を表示する。この時、視聴者のメールアドレス、電話番号等を表示してもよい。なお、図１１では、ＤＢに追加された情報を文字により表示する例について説明したが、文字以外にもシンボル等を用いて表示してもよい。シンボルはデータベース４で予め対応付けられて管理されている。

このように、映像とともにＤＢに追加された情報を、文字等を同時に表示するようにしたので、他の視聴者の反応を詳細に知ることができるため、他者の反応に起因した新たなコミュニケーションを図ることができる。

次に、視聴者画像を表示情報に同期させて表示する方法について説明する。図１２は、表示情報が動画情報であるときの表示方法を説明するための図である。コミュニケーション装置のサーバー２２Ａは、表示装置２１Ａに表示している表示情報が動画情報のとき、視聴者画像の開始時刻および終了時刻を取得して、サーバー３に送信する。サーバー３は、視聴者画像と、関連する表示情報と、視聴者画像の開始時刻と終了時刻をデータベース４に保存する。

図１２に示すように、表示情報Ｄ１を表示するＢ地点に設定されたコミュニケーション装置２Ｂのサーバー２２Ｂは、まず、表示情報Ｄ１を表示装置２１Ｂに表示する。次に、サーバー２２Ｂは、表示情報Ｄ１の開始からｔ１秒後に視聴者画像Ｓ１を表示装置２１Ｂに表示し、表示情報Ｄ１の開始からｔ２秒後に視聴者画像Ｓ１の表示を終了する。このように、表示情報Ｄ１と視聴者映像Ｓ１の同期を取ることで、表示情報と視聴者画像を見た視聴者は、他の視聴者の反応を正確に知ることができる。

次に、視聴者映像が複数ある場合の視聴者画像の表示方法について説明する。図１３は、表示情報が動画情報である場合であって、複数の視聴者画像がある場合の表示方法について説明するための図である。Ｂ地点に設置されたコミュニケーション装置２Ｂは、視聴者から表示情報の表示要求を受け付けると、サーバー３へ表示情報の送信要求をする。サーバー３は、コミュニケーション装置２Ｂからの要求に基づきデータベース４を検索し、表示情報とこれに関連する視聴者画像をコミュニケーション装置２Ｂに送る。

コミュニケーション装置２Ｂのサーバー２２Ｂは、表示情報が動画像であって、これに関連する視聴者画像が複数ある場合、まず、表示情報Ｄ１１を表示装置２１Ｂに表示し、時刻ｔ１〜ｔ３の間に視聴者画像Ｄ１２を表示し、時刻ｔ２〜ｔ５の間に視聴者画像Ｄ１１を表示し、時刻ｔ４〜ｔ６の間に視聴者画像Ｄ１３を表示する。これにより、視聴者は、表示画像に関連付けられた複数の視聴者画像を表示画像に同期させて見ることができるので、他の視聴者の反応を詳細に知ることができるため、他者の反応に起因した新たなコミュニケーションを図ることができる。

図１４は、表示情報と視聴者画像の可視化表示について説明するための図である。コミュニケーション装置２Ｂのサーバー２２Ｂは、サーバー３から取得した表示情報に関連付けられた視聴者画像がある場合、表示装置２１Ｂに表示情報と視聴者画像の関係を可視化表示する。図１４に示す可視化表示を見た視聴者は、表示情報Ｄ２１に視聴者画像Ｓ２１〜Ｓ２３が関連付けられ、視聴者画像Ｓ２３に視聴者画像Ｓ２４、Ｓ２５が関連付けられていることを簡単に把握することができる。

次に、特定の視聴者画像を中心に表示情報と視聴者画像の関係を可視化表示する例について説明する。図１５は、特定の視聴者画像を中心に表示情報と視聴者画像の関係を可視化表示する例について説明するための図である。同図（ａ）に示すように、表示情報Ｄ２１を中心に表示情報と視聴者画像の関係を可視化表示した状態から、視聴者がタッチパネル２７Ｂ上の視聴者画像Ｓ２３に触れると、同図（ｂ）に示すように、視聴者画像Ｓ２３を中心にして表示情報と視聴者映像の関係を可視化表示される。これにより、特定の視聴者画像Ｓ２３を中心に表示情報と視聴者情報が表示されるため、特定の視聴者画像に起因した他の視聴者の反応を詳細に知ることができる。

なお、第２実施例での表示情報と視聴者画像の表示例は一例であり、他の方法により表示情報と視聴者画像を表示するようにしてもよい。

次に、第３実施例について説明する。第３実施例は表示情報に会議映像を用いたものである。図１６は、第３実施例に係るシステムを説明するための図である。図１６に示すように、システム１００は、Ａ地点に設置されたコミュニケーション装置２Ａ、Ｂ地点に設置されたコミュニケーション装置２Ｂ、サーバー３、データベース４を備えている。コミュニケーション装置２Ａ、２Ｂ、サーバー３は、ネットワークを介して接続されている。

コミュニケーション装置２Ａ、２Ｂは、表示装置２１Ａ、２１Ｂ、サーバー２２Ａ、２２Ｂ、カメラ２３Ａ、２３Ｂ、マイク２４Ａ、２４Ｂ、スピーカ２５Ａ、２５Ｂ、センサ２６Ａ、２６Ｂ、タッチパネル２７Ａ、２７Ｂを備える。なお、第１実施例と同一箇所には同一符号を付してその説明を省略する。

次に、システム１００の動作について説明する。地点Ａで働くＹ氏は、コミュニケーション装置２Ａのタッチパネル２７Ａを操作して、会議映像Ｍ１の表示要求を行う。サーバー２２Ａは、タッチパネル２７Ａからの信号に基づきサーバー３に会議映像Ｍ１の配信要求を行う。サーバー３は、データベース４を検索し、会議映像Ｍ１と会議映像に関連付けられた視聴者画像をサーバー２２Ａに配信する。サーバー２２Ａは、表示装置２１Ａに会議映像Ｍ１および視聴者画像Ｓ３１〜Ｓ３３を表示する。これにより、Ｙ氏は、会議映像Ｍ１とこれに関係のある視聴者画像Ｓ３１〜Ｓ３３を見て、会議映像Ｍ１に対する視聴者の反応を知ることができる。

また、サーバー２２Ａは、カメラ２３ＡでＹ氏の撮影を開始し、撮影開始からＮ秒経過後にカメラ２３Ａでの撮影を終了する。サーバー２２Ａは、表示装置２１Ａで表示した会議映像Ｍ１、視聴者画像Ｓ３１〜Ｓ３３を識別する情報と、カメラ２３Ａで撮影した視聴者画像Ｓ３４、この視聴者画像Ｓ３４に関連する情報をネットワーク５を介してサーバー３へ送る。サーバー３は、視聴者画像Ｓ３４を、会議映像Ｍ１、視聴者画像Ｓ３１〜Ｓ３３に関連付けてデータベース４に保存する。

次に、Ｂ地点で働くＫ氏、Ｊ氏はコミュニケーション装置２Ｂのタッチパネル２７Ｂを操作して会議映像Ｍ１の表示要求を行う。サーバー２２Ｂは、タッチパネル２７Ｂの検出信号に従い、サーバー３へ会議映像Ｍ１の配信要求をする。サーバー３は、データベース４を検索して、会議映像Ｍ１とこの会議映像Ｍ１に関連する視聴者画像をサーバー２２Ｂに送る。サーバー２２Ｂは、会議映像Ｍ１、この会議映像に関係付けられた視聴者画像Ｓ３１〜Ｓ３４を表示装置２１Ｂに表示する。Ｂ地点で働くＫ氏、Ｊ氏は、実際に会議に参加することができなかったＹ氏の会議の反応を知ることができる。Ｋ氏、Ｙ氏は、Ｙ氏の反応を見て会議で取り上げられた問題を再検討することができる。

第３実施例によれば、会議映像、この会議映像を視聴する視聴者画像を表示するので、実際に会議に参加することができなかった者の会議の反応を知ることで、会議で取り上げられた問題を再検討することができる。

次に実施例４について説明する。図１７は実施例４に係るシステムを説明するための図である。図１７に示すように、システム２００は、Ａ地点に設置されたコミュニケーション装置２０２Ａ、Ｂ地点に設置されたコミュニケーション装置２０２Ｂ、サーバー３、データベース４を備えている。コミュニケーション装置２０２Ａ、２０２Ｂ、サーバー３はネットワークを介して接続されている。

コミュニケーション装置２０２Ａ、２０２Ｂは、表示装置２１Ａ、２１Ｂ、サーバー２２Ａ、２２Ｂ、カメラ２３Ａ、２３Ｂ、マイク２４Ａ、２４Ｂ、スピーカ２５Ａ、２５Ｂ、センサ２６Ａ、２６Ｂ、タッチパネル２７Ａ、２７Ｂを備える。また、コミュニケーション装置２０２Ａの表示装置２１Ａは、タッチパネル２７Ａ内の領域に手書きコメント入力部２８を備える。

手書きコメント入力部２８は、視聴者画像に関連付けられるコメントを入力するためのものである。また、コミュニケーション装置２０２Ｂの表示装置２１Ｂは、手書きコメント表示部２９を備える。なお、第１実施例と同一箇所には同一符号を付してその説明を省略する。手書きコメント入力部２８、手書きコメント表示部２９が特許請求の範囲における入力部、コメント表示部にそれぞれ相当する。

次に、システム２００の動作について説明する。地点Ａで働くＹ氏は、コミュニケーション装置２０２Ａのタッチパネル２７Ａを操作して表示画像Ｄ１の表示要求を行う。サーバー２２Ａは、タッチパネル２７Ａからの信号に基づきサーバー３に表示情報Ｄ１の配信要求を行う。サーバー３は、データベース４を検索し、表示情報Ｄ１と表示画像Ｄ１に関連付けられた視聴者画像が存在する場合には、これらをサーバー２２Ａに配信する。サーバー２２Ａは、視聴者画像がない場合には、表示装置２１Ａに表示情報Ｄ１を表示する。サーバー２２Ａは、カメラ２３ＡでＹ氏の撮影を開始、撮影開始からＮ秒後にカメラ２３Ａでの撮影を終了する。

また、表示情報Ｄ１を見たＹ氏は、必要な場合には手書きコメント入力部２８にコメントを書き込むことができる。サーバー２２Ａは、カメラ２３Ａで撮影した視聴者画像、表示装置２１Ａで表示した表示情報Ｄ１を識別する情報および手書きコメントを、ネットワーク５を介して、サーバー３へ送る。サーバー３は、視聴者画像を表示情報Ｄ１に関連付けてデータベース４に保存する。また、サーバー３は、手書きコメントを視聴者画像に関連付けてデータベース４に保存する。

Ｂ地点で働くＫ氏、Ｊ氏は、コミュニケーション装置２０２Ｂのタッチパネル２７Ｂを操作して表示情報Ｄ１の表示要求を行う。サーバー２２Ｂは、タッチパネル２７Ｂの検出信号に従い、サーバー３へ表示情報Ｄ１の配信要求を行う。サーバー３は、データベース４を検索して、表示情報Ｄ１、この表示画像Ｄ１に関連する視聴者画像およびこの視聴者画像に関連する手書きコメントをサーバー２２Ｂに送る。

サーバー２２Ｂは、表示情報Ｄ１、この表示情報Ｄ１に関連付けられた視聴者画像Ｓ１を表示装置２１Ｂに表示する。このとき、サーバー２２Ｂは、視聴者画像に関連付けられた手書きコメントがある場合には、この手書きコメントを手書きコメント表示部２９に表示する。Ｂ地点で働くＫ氏、Ｊ氏は、表示情報Ｄ１に関連付けられた視聴者画像Ｓ１、手書きコメントを見ることで、表示情報Ｄ１に対するＹ氏の反応を知ることができるので、Ｙ氏の反応に起因した新たなコミュニケーションが期待できる。

上記各実施例によれば、情報を共有するだけでなく、ある情報に対して誰がどのように視聴したかを、距離、時間を超えて共有することができる。また、他者の視聴している様子を知ることで、この情報を視聴するか否かの判断基準にしりすることができ、他の視聴者との新たなコミュニケーションを起こさせることができる。

次に、第５実施例について説明する。図１８は、第５実施例に係るコミュニケーション装置のブロック図である。システムの全体構成については、図１と同様であるため、図１８では、コミュニケーション装置だけを示している。コミュニケーション装置３０２は、表示装置２１Ａ、サーバー３２２、カメラ２３Ａ、マイク２４Ａ、スピーカ２５Ａ、センサ２６Ａ、タッチパネル２７Ａを備える。なお、第１実施例と同一箇所については同一符号を付してその説明を省略する。

図１９はサーバー３２２の機能ブロックを示す図である。図２０は、タッチパネル２７Ａの表面上の平面における表示位置を示す平面図である。図２０において、２１Ａは表示装置、２７Ａはタッチパネル、Ｐ１は視聴者の指示入力位置、Ｐ２の矢印は視聴者の指示入力方向、Ｐ３は表示情報の表示位置、Ｑは表示情報の表示領域をそれぞれ示している。この表示装置２１では、表示装置全面に表示情報を表示することができるが、視聴者の身体の一部によって表示対象が隠れてしまうのを避けるために以下のように構成している。

図１９に示すように、サーバー３２２は、表示対象入力部３１、表示対象記憶部３２、指示入力位置特定部３３、指示入力方向特定部３４および表示位置制御部３５から構成される。表示対象入力部３１は、ＣＰＵおよびメモリー等から構成され、視聴覚データやテキスト・データなど表示対象となる表示対象データを入力し、入力された表示対象データを表示対象記憶部３２に出力する。

表示対象記憶部３２は、メモリーまたはハードディスク等から構成され、表示対象入力部３１から入力された表示対象データを保持し、保持した表示対象データを表示装置２１Ａに出力する。表示装置２１Ａは、表示対象記憶部３２から入力した表示対象データを表示位置制御部３８の制御に応じて、利用者に表示する。この表示対象データが表示情報に相当する。タッチパネル２７Ａは、指示入力部として機能し、視聴者の指示入力データを受け付け、指示入力データを指示入力位置特定部３６に出力する。

カメラ２３は、コミュニケーション装置３０２の前に立っている視聴者を撮影し、撮影した視聴者画像を指示入力方向特定部３４に出力する。カメラ２３Ａの代わりに、センサ２６Ａを用いてもよい。指示入力位置特定部３３は、ＣＰＵおよびメモリー等から構成され、タッチパネル２７Ａから入力された指示入力データを処理し、視聴者の指示入力位置Ｐ１を特定し、特定した指示入力位置データを表示位置制御部３８に出力する。

指示入力方向特定部３４は、ＣＰＵおよびメモリー等から構成され、カメラ２３Ａから入力された視聴覚データを処理し、視聴者の指示入力方向Ｐ２を特定し、特定した指示入力方向データを表示位置制御部３８に出力する。指示入力方向特定部３４は、カメラ２３Ａの代わりにセンサ２６Ａを用いる場合、センサ２６Ａから入力されたセンサ情報に基づいて指示入力方向を特定する。

表示位置制御部３８は、ＣＰＵおよびメモリー等から構成され、指示入力位置特定部３６から入力された指示入力位置データおよび指示入力方向特定部３４から入力した指示入力方向データを処理し、表示すべき表示対象データが視聴者の身体の一部によって隠れないような表示位置を特定し、特定された当該表示位置に応じて、表示対象記憶部３２に保持されている表示対象データを表示装置２１Ａに表示する。

図２０に示すように、表示位置制御部３８は、指示入力位置Ｐ１を表現する座標を中心に、タッチパネル２７Ａの表面上の平面において、指示入力方向Ｐ２から点対称の位置を表示位置Ｐ３とするように表示すべき位置ないし表示領域を特定する。表示位置制御部３８は、指示入力位置Ｐ１と指示方向Ｐ２が入力された場合、表示装置２１Ａにおける表示位置Ｐ３を、指示入力位置Ｐ１を中心に指示入力方向Ｐ２と反対方向の位置に特定する。

第５実施例によれば、視聴者の指示入力位置と指示入力方向を特定し、視聴者の指示入力位置および視聴者の指示入力方向に応じて、視聴者に表示対象を表示するので、視聴者の身体の一部によって表示対象を隠さずに、表示対象をうまく表示することができる。

以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

第１実施例に係るシステムの全体構成図である。 視聴者画像の保存処理のフローチャートである。 データベースに保存された視聴者画像を説明するための図である。 コミュニケーション装置２Ｂでの表示情報Ｄ１と視聴者画像Ｓ１の表示処理のフローチャートである。 表示情報の表示例について説明する。 複数の視聴者画像を複数のウインドウに同時に表示する例を示す図である。 複数の視聴者画像を一つのウインドウに順次表示する例を示す図である。 視聴者映像の表示例を説明するための図である。 視聴者画像のうち１フレームを抽出した静止画像の表示例を説明するための図である。 多数の視聴者画像から、Ｎ個の映像のみを選択して表示する例について説明するための図である。 視聴者画像に関連する文字等を表示する表示例を示す図である。 表示情報が動画情報であるときの表示方法を説明するための図である。 表示情報が動画情報である場合であって、複数の視聴者画像がある場合の表示方法について説明するための図である。 表示情報と視聴者画像の可視化表示について説明するための図である。 特定の視聴者画像を中心に表示情報と視聴者画像の関係を可視化表示する例について説明するための図である。 第３実施例に係るシステムを説明するための図である。 実施例４に係るシステムを説明するための図である。 第５実施例に係るコミュニケーション装置のブロック図である。 サーバーの機能ブロックを示す図である。 タッチパネルの表面上の平面における表示位置を示す平面図である。

符号の説明

１、１００、２００ システム
２Ａ、２Ｂ、３０２ コミュニケーション装置
２１Ａ、２１Ｂ 表示装置
２２Ａ、２２Ｂ、３２２ サーバー
２７Ａ、２７Ｂ タッチパネル
２８ 手書きコメント入力部
２９ 手書きコメント表示部
３１ 表示対象入力部
３２ 表示対象記憶部
３３ 指示入力位置特定部
３４ 指示入力方向特定部
３５ 表示位置制御部

Claims (4)

1. サーバーと複数のコミュニケーション装置とを備え、
   前記コミュニケーション装置の各々は、
   表示情報が前記サーバーから一の視聴者の操作に基づく配信要求に応じて送られた場合に、該表示情報を表示部に表示させる制御を行うと共に、前記表示情報と共に送られた複数の第１反応情報であって、過去に該表示情報を視聴した他の視聴者の視聴時の反応を撮影したものを、前記表示情報に同期させて前記表示部に表示させる制御をも行う表示制御手段と、
   前記表示部に表示されている前記表示情報及び前記第１反応情報を視聴している一の視聴者の反応を撮影して第２反応情報としてさらに取得する反応取得手段と、
   前記反応取得手段により取得された前記第２反応情報と、該第２反応情報が取得された際における前記一の視聴者が視聴していた前記表示情報を識別する情報とを、前記サーバーに送信する制御を行う送信制御手段とを備え、
   前記サーバーは、
   前記一の視聴者が操作するコミュニケーション装置から送られた前記第２反応情報と前記表示情報を識別する情報とを関連付けて、複数の前記第１反応情報が既に保存されている保存部に保存する処理を行う保存処理手段と、
   前記他の視聴者が操作するコミュニケーション装置からの配信要求に応じて、該配信要求された前記表示情報と該配信要求された前記表示情報を識別する情報に関連付けられて前記保存部に保存されている前記第２反応情報及び複数の前記第１反応情報とを対応付けて、該他の視聴者が操作するコミュニケーション装置に送信する処理を行う送信処理手段とを備え、
   前記他の視聴者が操作するコミュニケーション装置は、該他の視聴者の操作に基づく配信要求に応じて前記サーバーから送られた前記表示情報の表示開始に応じて、前記他の視聴者の反応の撮影を開始することを特徴とするコミュニケーションシステム。
2. 前記コミュニケーション装置の前記表示部はタッチパネルを含み、
   前記コミュニケーション装置の前記反応取得手段は、前記視聴している一または他の視聴者の撮影に加えて、前記表示情報を視聴する一または他の視聴者により前記タッチパネルを用いて書き込まれた手書きコメントを前記反応情報として取得することを特徴とする請求項１に記載のコミュニケーションシステム。
3. サーバーと複数のコミュニケーション装置とを備えるコミュニケーションシステムの前記サーバーであって、
   表示情報と複数の第１反応情報とが関連付けられて保存されている保存部と、
   一の視聴者の操作に基づく配信要求が前記コミュニケーション装置からあった場合に、前記保存部に保存されている複数の前記第１反応情報のうち、該コミュニケーション装置に送信する表示情報に関連付けられている複数の前記第１反応情報を、該コミュニケーション装置の表示部に前記表示情報と同期して表示されるように、該コミュニケーション装置に送信する表示情報に対応付けて送信する送信手段と、
   前記表示情報及び前記第１反応情報を視聴する前記一の視聴者の反応を撮影した第２反応情報と、前記第２反応情報が取得された際に前記表示部に表示されていた前記表示情報を識別する情報とを前記コミュニケーション装置から受信する受信手段と、
   前記コミュニケーション装置から受信された前記第２反応情報を、前記受信された表示情報を識別する情報と関連付けて前記保存部に保存する処理を行う保存処理手段と、を備え、
   前記第１反応情報は、過去に該表示情報を視聴した他の視聴者の視聴時の反応を撮影したものであることを特徴とするサーバー。
4. 一の視聴者の操作に基づく配信要求が前記コミュニケーション装置からあった場合に、保存部に表示情報と関連付けられて保存されている複数の前記第１反応情報のうち、コミュニケーション装置に送信する表示情報に関連付けられている複数の前記第１反応情報を、前記コミュニケーション装置の表示部に前記表示情報と同期して表示されるように、該コミュニケーション装置に送信する表示情報に対応付けてサーバーに送信させ、
   前記表示情報及び前記第１反応情報を視聴する前記一の視聴者の反応を撮影した第２反応情報と、前記第２反応情報が取得された際に前記表示部に表示されていた前記表示情報を識別する情報とを、前記サーバーに前記コミュニケーション装置から受信させ、
   前記コミュニケーション装置から受信された識別する情報に対応する表示情報を前記コミュニケーション装置に送信する際に該表示情報と対応付けて送信できるように、前記コミュニケーション装置から受信された前記第２反応情報を、前記表示情報を識別する情報と関連付けて、前記保存部に保存させ、
   前記第１反応情報は、過去に該表示情報を視聴した他の視聴者の視聴時の反応を撮影したものであることを特徴とするサーバーの処理方法。

Images