JP6390257B2 - 情報処理システム、表示装置、表示制御方法、及び、プログラム - Google Patents

Description

本発明は、情報処理システム、表示装置、表示制御方法、及び、プログラムに関する。

ユーザが所持する通信装置で、可視光を通信媒体として情報を送信する送信装置を撮像することにより、通信装置の画面にコンテンツ等の情報を提示するシステムが知られている。このようなシステムには、通信装置に提示されたコンテンツに連動した複数のユーザによる操作を反映した画像を各通信装置に表示する、例えば、複数のユーザによる人気投票の操作に応じて集計結果を各通信装置に表示することが可能なものがある（例えば、特許文献１参照）。

特開２０１４−６３３９９号公報

上述した従来の情報処理システムでは、ユーザは、自身の操作が反映された状態を自身が所持する通信装置で知ることができる一方、そのような状態を第三者が知るようにするには、自身が所持する通信装置と同様の機能を有する機器をその第三者が所持する必要があった。

本発明は以上のような背景に鑑みて成されたものであり、機器の所持状況に影響され難く、情報共有を容易にすることが可能な情報処理システム、表示装置、表示制御方法、及び、プログラムを提供することを目的とする。

上記目的を達成するために、本発明に係る情報処理システムは、
表示装置と通信装置とを含む情報処理システムであって、
前記表示装置は、
画像を表示する第１の表示手段と、
提供情報を変調し、変調された内容を、光を通信媒体として送信する第１の送信手段と、
を備え、
前記通信装置は、
前記第１の送信手段により送信された光を含む画像を撮像する撮像手段と、
前記撮像手段により撮像された画像に基づいて、前記提供情報を復号する復号手段と、
前記撮像手段により撮像された画像に前記復号手段により復号された提供情報を重畳して表示する第２の表示手段と、
前記提供情報に対する検出内容からなる指示情報と前記通信装置の装置位置情報とを送信する第２の送信手段と、
を備え、
前記表示装置は、
前記第２の送信手段により送信された指示情報に応じた画像と、送信された前記通信装置情報に基づく前記通信装置の方向を示す画像とを表示するよう前記第１の表示手段を制御する表示制御手段を更に備える。

本発明によれば、機器の所持状況に影響され難く、情報共有が容易になる。

本発明の実施形態に係る情報処理システムの構成を示す図である。 図１に示す表示装置の構成を示す図である。 図１に示す通信装置の構成を示す図である。 図１に示すサーバの構成を示す図である。 サーバによる表示設定処理の動作を示すフローチャートである。 表示制御情報の一例を示す図である。 表示装置による表示処理の動作を示すフローチャートである。 表示装置において表示される画像の第１の例を示す図である。 通信装置による操作対応処理の動作を示すフローチャートである。 通信装置において表示される画像の第１の例を示す図である。 通信装置において表示される画像の第２の例を示す図である。 指示情報の一例を示す図である。 サーバによる表示更新設定処理の動作を示すフローチャートである。 表示更新制御情報の一例を示す図である。 表示装置による表示更新処理の動作を示すフローチャートである。 表示装置において表示される画像の第２の例を示す図である。 表示装置において表示される画像の第３の例を示す図である。

以下、本発明の実施の形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システム１は、図１に示すように、表示装置１００と、通信装置２００と、サーバ３００と、アクセスポイント４００と、ネットワークＮＷとを含んで構成されている。なお、図１では、通信装置２００は１つのみであるが、通常は複数のユーザのそれぞれが所持する複数の通信装置２００が存在する。情報処理システム１では、表示装置１００に、通信装置２００のユーザによる操作を反映させた画像が表示される。具体的には、本実施形態では、情報処理システム１は、通信装置２００のユーザによる商品等のコンテンツの人気投票を行うことが可能であり、その投票結果が表示装置１００に表示される。

表示装置１００は、サーバ３００から提供される複数のコンテンツの画像を表示する。また、表示装置１００は、複数のコンテンツのそれぞれに対応する識別情報であるＩＤ等の各種の情報を、色変移や輝度（明滅）で変調された光信号に変換し、表示領域の一部を利用して出力する。

通信装置２００は、例えばスマートフォンである。通信装置２００は、撮像範囲に含む表示装置１００を撮像することにより、表示装置１００からの光信号を受光する。また、通信装置２００は、撮像により得られた画像を表示する。更に、通信装置２００は、受光した光信号を復調して、複数のコンテンツに対応する各種の情報を取得し、当該情報に基づいてコンテンツ選択のための画像を撮像画像に重畳させて表示する。そして、通信装置２００は、ユーザによるコンテンツの選択操作に応じて指示情報（後述）を生成し、無線通信、近隣のアクセスポイント４００及びネットワークＮＷを介してサーバ３００に送信する。

サーバ３００は、通信装置２００から受信した指示情報に応じて、各コンテンツが選択された数を集計し、その集計結果を示す画像を表示装置１００へ送信する。表示装置１００は、通信装置２００のユーザによるコンテンツの選択が反映された集計結果の画像を表示する。

次に、表示装置１００について説明する。表示装置１００は、屋外に設置される大型の表示装置であり、図２に示すように、制御部１０２、メモリ１０４、有線通信部１０７、表示部１１３を含んで構成される。

制御部１０２は、ＣＰＵ（Central Processing Unit）を備え、メモリ１０４に格納されているプログラムに従ってソフトウェア処理を実行し、表示装置１００が具備する各種機能を実現するために機能する。

メモリ１０４は、例えばワークエリアとなるＲＡＭ（Random Access Memory）、基本動作プログラムを記憶するＲＯＭ（Read Only Memory）、表示部１１３に表示される画像が書き込まれるＶＲＡＭ（Video Random Access Memory）である。メモリ１０４は、表示装置１００における制御等に用いられる各種情報（プログラム等）を記憶する。

制御部１０２は、サーバ３００からの表示制御情報（後述）や表示更新制御情報（後述）に基づいて、コンテンツに対応する各種の画像を表示部１１３に表示させる制御を行う。

また、制御部１０２内の符号化・変調部１１０は、表示制御情報に含まれるコンテンツのＩＤ等をビットデータ列に符号化する。更に、符号化・変調部１１０は、ビットデータ列に基づくデジタル変調を行う。変調方式として望ましくは周波数を２８．８（ｋＨｚ）とする搬送波を用いた４ＰＰＭ（Pulse Position Modulation）が採用される。制御部１０２内の駆動部１１２は、符号化・変調部１１０が生成した信号に基づいて、表示部１１３の表示領域の一部である送信部１１４が発する光の輝度や色相を時間的に変化させる制御を行う。

有線通信部１０７は、例えばＬＡＮ（Local Area Network）カードである。有線通信部１０７は、ネットワークＮＷを介してサーバ３００との間で通信を行う。

表示部１１３は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、ＥＬ（Electroluminescence）ディスプレイ、またはプロジェクター等の映像投影用のデバイスによって構成される。表示部１１３は、制御部１０２の制御に応じて画像を表示する。表示部１１３の表示領域の一部である送信部１１４は、駆動部１１２の制御に応じて、時間的に輝度及び色相が変化する光を発する。

次に、通信装置２００について説明する。通信装置２００は、撮像画像を表示するとともに、表示装置１００及びサーバ３００と情報を送受信するための通信装置として機能する。通信装置２００は、図３に示すように、制御部２０２、メモリ２０４、操作部２０６、表示部２０７、無線通信部２０８、アンテナ２１０、撮像部２１４、ＧＰＳ（Global Positioning System）受信機２２２を含んで構成される。

制御部２０２は、ＣＰＵによって構成される。制御部２０２は、メモリ２０４に記憶されたプログラムに従ってソフトウェア処理を実行することにより、通信装置２００が具備する各種機能を実現するために機能する。

メモリ２０４は、例えばＲＡＭやＲＯＭである。メモリ２０４は、通信装置２００における制御等に用いられる各種情報（プログラム等）を記憶する。

操作部２０６は、表示部２０７の表示領域の上面に配置されるタッチパネルであり、ユーザの操作内容を入力するために用いられるインタフェースである。表示部２０７は、例えば、ＬＣＤ、ＰＤＰ、ＥＬディスプレイ等によって構成され、画像を表示する。

無線通信部２０８は、例えば無線周波数（ＲＦ：Radio Frequency）回路やベースバンド（ＢＢ：Base Band）回路等を用いて構成される。無線通信部２０８は、アンテナ２１０を介して、無線信号の送信及び受信を行う。また、無線通信部２０８は、送信信号の変調と、受信信号の復調とを行う。

撮像部２１４は、通信装置２００の筐体において、表示部２０７が設置された面とは反対側の面に配置される。撮像部２１４は、レンズと受光素子により構成される。レンズは、ズームレンズ等により構成され、制御部２０２によるズーム制御及び合焦制御により移動する。撮像部２１４の撮像画角、光学像は、レンズの移動によって制御される。受光素子は、受光面に規則的に二次元配列された複数の受光素子により構成される。受光素子は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像デバイスである。撮像部２１４は、入光された光学像を、制御部２０２からの制御信号に基づいて所定範囲の撮像画角で撮像（受光）し、その撮像画角内の画像信号を逐次、制御部２０２へ出力する。

ＧＰＳ受信機２２２は、通信装置２００の位置を検出し、その位置の情報（軽度及び緯度）を制御部２０２へ出力する。

制御部２０２内の画像生成部２３２は、撮像部２１４からの画像信号が入力される毎に、当該画像信号をデジタルデータに変換してフレームを生成する。

制御部２０２内の復号部２３４は、時系列的に連続して入力されるフレームにおける明度変化及び色相変化の少なくとも一方が生じる箇所の探索を行う。具体的には、復号部２３４は、フレームの画像データ内の各画素の明度及び色相を判別する。更に、復号部２３４は、明度が所定値以上である画素を、表示装置１００内の送信部１１４からの光を受光することにより明度変化及び色相変化が生じる箇所（変化領域）の候補（候補領域）であると見なす。更に、復号部２３４は、直近に取得された所定数のフレームのそれぞれにおける候補領域内の同一座標において明度及び色相を判別する。判別の結果、候補領域内の座標における明度が、あるフレームでは第１の所定値以上であり、他のフレームでは第２の所定値以下となる場合や、色相を示す数値が、あるフレームでは第３の所定値であり、他のフレームでは第４の所定値である場合というように、所定のパターンで大きく変化する場合には、復号部２３４は、当該候補領域を変化領域であると見なす。

変化領域が存在する場合には、復号部２３４は、変化領域における明度変化及び色相変化の態様を示すビットデータ列を、コンテンツに対応するＩＤ等の各種の情報に復号する。

画像生成部２３２は、復号部２３４によって得られたコンテンツに対応するＩＤ等の各種の情報に基づくボタン画像等を生成する。制御部２０２内の表示制御部２３６は、フレームの画像（ライブビュー画像）にボタン画像等を重畳して、表示部２０７に表示させる制御を行う。制御部２０２内の位置取得部２３８は、ＧＰＳ受信機２２２からの通信装置２００の位置情報を取得する。

制御部２０２内の送信制御部２４０は、ユーザがボタン画像の何れかを選択する操作を行った場合、その選択操作を示し、ボタン画像に対応するコンテンツのＩＤや通信装置２００のＩＤ等を含んだ情報である指示情報（後述）を生成する。更に、送信制御部２４０は、指示情報を、無線通信部２０８、アンテナ２１０、近隣のアクセスポイント４００及びネットワークＮＷを介してサーバ３００に送信する制御を行う。

次に、サーバ３００について説明する。サーバ３００は、図４に示すように、制御部３０２、メモリ３０４、操作部３０６、表示部３０７、有線通信部３０８を含んで構成される。

制御部３０２は、ＣＰＵによって構成される。制御部３０２は、メモリ３０４に記憶されたプログラムに従ってソフトウェア処理を実行することにより、サーバ３００が具備する各種機能を実現するために機能する。メモリ３０４は、例えばＲＡＭやＲＯＭである。

メモリ３０４は、サーバ３００における制御等に用いられる各種情報（プログラム等）を記憶する。

操作部３０６は、テンキーやファンクションキー等によって構成され、ユーザの操作内容を入力するために用いられるインタフェースである。

有線部３０８は、例えばＬＡＮカードである。有線通信部３０８は、ネットワークＮＷを介して表示装置１００及び通信装置２００との間で通信を行う。

表示部３０７は、例えば、ＬＣＤ、ＰＤＰ、ＥＬディスプレイ等によって構成される。

制御部３０２内の表示設定部３１２は、表示装置１００における表示の設定を行う。具体的には、表示設定部３１２は、表示装置１００に、複数のコンテンツに対する投票のための画像を表示させるための表示制御情報を生成し、有線通信部３０８を介して表示装置１００へ送信する。

制御部３０２内の集計部３１４は、通信装置２００からの指示情報を、有線通信部３０８を介して受信する。更に、集計部３１４は、指示情報に基づいて、コンテンツに対する投票数を集計する。表示設定部３１２は、表示装置１００に、コンテンツに対する投票数を更新した画像を表示させるための表示更新制御情報を生成し、有線通信部３０８を介して表示装置１００へ送信する。

表示更新制御情報が受信された表示装置１００においては、表示部１１３は、制御部１０２が出力する画像信号に従ってコンテンツの投票数を示す画像を表示する。

アクセスポイント４００は、無線ルータ等から構成され、通信装置２００とサーバ３００との間の通信を仲介する。

次に、情報処理システム１の動作を説明する。情報処理システム１においては、サーバ３００による表示設定処理、表示装置１００による表示処理、通信装置２００による操作対応処理、サーバ３００による表示更新設定処理、表示装置１００による表示更新処理が行われる。

図５は、サーバ３００による表示設定処理の動作を示すフローチャートである。サーバ３００の制御部３０２内の表示設定部３１２は、表示装置１００に複数のコンテンツに対する投票のための画像を表示させるための表示制御情報を生成する（ステップＳ１０１）。

図６は、表示制御情報の一例を示す図である。図６に示す表示制御情報は、投票対象の商品であるコンテンツ毎に生成される。表示制御情報は、対応するコンテンツの画像データ、対応するコンテンツの表示位置情報、対応するコンテンツの発光制御情報により構成される。

コンテンツ画像データは、対応するコンテンツである商品の画像と、当該コンテンツに対する投票数を示す投票数画像とを含む。コンテンツ表示位置情報は、表示装置１００の表示部１１３における商品画像及び投票数画像の表示位置（座標）を示す情報である。コンテンツ発光制御情報は、表示装置１１３の送信部１１４が発する光の対象となる情報であり、対応するコンテンツのＩＤと、表示装置１００の表示部１１３における送信部１１４の位置の情報（発光位置情報）と、通信装置２００の表示部２０７においてライブビュー画像に重畳される、通信装置２００において表示される、対応するコンテンツを選択するためのボタン画像のデータと、通信装置２００においてユーザが対応するコンテンツを選択した場合に表示される投票時画像データとを含む。

再び、図５に戻って説明する。制御部３０２内の表示設定部３１２は、生成した表示制御情報を、有線通信部３０８を介して表示装置１００へ送信する（ステップＳ１０２）。

図７は、表示装置１００による表示処理の動作を示すフローチャートである。表示装置１００の制御部１０２は、有線通信部１０７を介して、サーバ３００からの表示制御情報を受信する（ステップＳ２０１）。

次に、制御部１０２は、各表示制御情報毎に、当該表示制御情報内のコンテンツ画像データとコンテンツ表示位置情報とに基づいて、コンテンツである商品の画像と、コンテンツに対する投票数を示す投票数画像とからなるコンテンツ画像を表示部１１３に表示させる制御を行う（ステップＳ２０２）。

具体的には、制御部１０２は、コンテンツ画像データに基づいて、コンテンツである商品の画像をメモリ１０４内に構成されるＶＲＡＭ（Video Random Access Memory）に書き込む。この際、制御部１０２は、コンテンツに対する投票数を示す投票数画像とからなるコンテンツ画像を、コンテンツ表示位置情報が示す商品画像及び投票数画像の表示位置に対応するＶＲＡＭ内の領域に書き込む。

次に、制御部１０２は、各表示制御情報毎に、当該表示制御情報内のコンテンツ発光制御情報に基づいて、送信部１１４に発光させる制御を行う（ステップＳ２０３）。

具体的には、制御部１０２内の符号化・変調部１１０は、コンテンツ発光制御情報内のコンテンツのＩＤとボタン画像データと投票時画像データとをビットデータ列に符号化する。更に、符号化・変調部１１０は、ビットデータ列に基づくデジタル変調を行う。制御部１０２内の駆動部１１２は、符号化・変調部１１０が生成した信号に基づいて、表示部１１３の表示領域の一部である送信部１１４が発する光の輝度や色相が時間的に変化する画像（発光画像）を、コンテンツ発光制御情報内の発光位置情報が示す表示部１１３における表示位置に対応するＶＲＡＭ内の領域に書き込む。

更に、制御部１０２は、ＶＲＡＭに画像が書き込まれる毎に、表示部１１３の全体の画像に対応する画像信号を表示部１１３へ出力する。表示部１１３は、制御部１０２が出力する画像信号に従って画像を表示する。これにより、表示部１１３は、コンテンツである商品の画像と、コンテンツに対する投票数を示す投票数画像とからなるコンテンツ画像を表示するとともに、表示部１１３の表示領域の一部が送信部１１４となり、当該送信部１１４がコンテンツのＩＤとボタン画像データと投票時画像データとに基づいた発光を行う。

図８は、表示装置１００内の表示部１１３において、表示制御情報に基づいて表示される画像の一例を示す図である。図８に示すように、表示部１１３には、コンテンツＡに対応する商品の画像１５１ａ、コンテンツＡの投票数を示す投票数画像１５２ａ、コンテンツＢに対応する商品の画像１５１ｂ、コンテンツＢの投票数を示す投票数画像１５２ｂ、コンテンツＣに対応する商品の画像１５１ｃ、コンテンツＣの投票数を示す投票数画像１５２ｃが表示される。更に、表示部１１３には、コンテンツＡのＩＤとボタン画像データと投票時画像データとに基づいた発光による発光画像１１４ａ、コンテンツＢのＩＤとボタン画像データと投票時画像データとに基づいた発光による発光画像１１４ｂ、コンテンツＣのＩＤとボタン画像データと投票時画像データとに基づいた発光による発光画像１１４ｃが表示される。

図９は、通信装置２００による操作対応処理の動作を示すフローチャートである。通信装置２００内の撮像部２１４は、ユーザの操作に応じて、表示装置１００を含む撮像範囲を撮像する（ステップＳ３０１）。

次に、制御部２０２内の画像生成部２３２及び表示制御部２３６は、撮像により得られた撮像画像であるライブビュー画像を表示部２０７に表示させる制御を行う（ステップＳ３０２）。

具体的には、画像生成部２３２は、撮像部２１４からの画像信号が入力される毎に、当該画像信号をデジタルデータに変換してフレームを生成する。表示制御部２３６は、画像生成部２３２により生成されたフレームの画像（ライブビュー画像）に対応する画像信号を表示部２０７へ出力する。表示部２０７は、入力した画像信号に基づいて撮像画像であるライブビュー画像を表示する。

次に、制御部２０２内の復号部２３４は、フレーム内の変化領域における明度変化及び色相変化の態様を示すビットデータ列を、表示制御情報内のコンテンツ発光制御情報に含まれるコンテンツのＩＤ、ボタン画像データ及び投票時画像データに復号する処理を試み、当該復号が成功したか否かを判定する（ステップＳ３０３）。

上述したように、復号部２３４は、フレームにおける明度変化及び色相変化の少なくとも一方が生じる変化領域の探索を行う。変化領域の位置は、表示部２０７の表示領域に設定された座標軸における座標により特定される。変化領域が存在する場合には、更に、復号部２３４は、変化領域における明度変化及び色相変化の態様を示すビットデータ列を、表示制御情報内のコンテンツ発光制御情報に含まれるコンテンツのＩＤ、ボタン画像データ及び投票時画像データに復号する処理を行う。ステップＳ３０３において、復号部２３４は、変化領域が存在し、且つ、当該変化領域における明度変化及び色相変化の態様を示すビットデータ列を、表示制御情報内のコンテンツ発光制御情報に含まれるコンテンツのＩＤ、ボタン画像データ及び投票時画像データに復号することができた場合には、復号が成功したと判定する。

復号が失敗した場合（ステップＳ３０３；ＮＯ）、一連の動作が終了する。一方、復号が成功した場合（ステップＳ３０３；ＹＥＳ）、次に、制御部２０２内の画像生成部２３２及び表示制御部２３６は、復号された情報であるボタン画像データに対応する画像（ボタン画像）をライブビュー画像に重畳して表示部２０７に表示させる制御を行う（ステップＳ３０４）。

具体的には、画像生成部２３２は、復号された情報であるボタン画像データに対応するボタン画像を生成する。更に、画像生成部２３２は、生成したボタン画像を、当該ボタン画像データを復号する際に特定したフレーム内の変化領域の位置の近傍に重畳し、重畳後の画像信号を表示部２０７へ出力する。ボタン画像の位置は、表示部２０７の表示領域に設定された座標軸における座標により特定される。表示部２０７は、入力した画像信号に基づいてボタン画像が重畳されたライブビュー画像を表示する。

図１０は、通信装置２００内の表示部２０７において表示される、ボタン画像が重畳されたライブビュー画像の一例を示す図である。図１０に示すように、表示部２０７には、撮像画像であるライブビュー画像２１０が表示される。また、ライブビュー画像２１０内のコンテンツＡに対応する変化領域２１１ａの近傍に、コンテンツＡに対する投票の際に選択されるボタン画像２１２ａ、コンテンツＢに対応する変化領域２１１ｂの近傍に、コンテンツＢに対する投票の際に選択されるボタン画像２１２ｂ、コンテンツＣに対応する変化領域２１１ｃの近傍に、コンテンツＣに対する投票の際に選択されるボタン画像２１２ｃがそれぞれ表示される。

再び、図９に戻って説明する。次に、制御部２０２は、ユーザにより投票操作が行われ、これが検出されたか否かを判定する（ステップＳ３０５）。具体的には、制御部２０２は、タッチパネルである操作部２０６は、ユーザの指等が接触した場合、表示部２０７の表示領域に設定された座標軸における、接触位置の座標を検出内容として制御部２０２へ出力する。制御部２０２は、入力した接触位置の座標が、表示部２０７の表示領域におけるボタン画像の位置である場合には、投票操作が行われたと判定する。

投票操作が行われなかった場合（ステップＳ３０５；ＮＯ）には、一連の動作が終了する。一方、投票操作が行われた場合（ステップＳ３０５；ＹＥＳ）には、画像生成部２３２及び表示制御部２３６は、復号された情報である投票時画像データに対応する検出内容を示す画像として投票時画像をライブビュー画像に重畳して表示部２０７に表示させる制御を行う（ステップＳ３０６）。

具体的には、画像生成部２３２は、復号された情報である投票時画像データに対応する投票時画像を生成する。更に、画像生成部２３２は、生成した投票時画像を、接触位置のボタン画像の近傍に重畳し、重畳後の画像信号を表示部２０７へ出力する。投票時画像の位置は、表示部２０７の表示領域に設定された座標軸における座標により特定される。表示部２０７は、入力した画像信号に基づいて投票時画像が重畳されたライブビュー画像を表示する。

図１１は、通信装置２００内の表示部２０７において表示される、投票時画像が重畳されたライブビュー画像の一例を示す図である。コンテンツＡが選択された場合には、図１１に示すように、コンテンツＡに対する投票の際に選択されるボタン画像２１２ａの近傍（上部）に投票時画像２１３が表示される。このとき、図１１に示すように、選択されたボタン画像２１２ａが強調表示されるようにしてもよい。

再び、図９に戻って説明する。制御部２０２内の位置取得部２３８は、ＧＰＳ受信機２２２からの現在の通信装置２００の位置情報（装置位置情報）を取得する（ステップＳ３０７）。

次に、制御部２０２内の送信制御部２４０は、選択操作を示す指示情報を生成する（ステップＳ３０８）。図１２は、指示情報の一例を示す図である。図１２に示す指示情報は、通信装置２００の識別情報である装置ＩＤと、現在の通信装置２００の位置の情報（装置位置情報）と、ユーザが投票したコンテンツのＩＤとにより構成される。装置ＩＤは、例えば、メモリ２０４に記憶されており、送信制御部２４０は、メモリ２０４から装置ＩＤを読み出して指示情報に設定する。また、送信制御部２４０は、位置取得部２３８により取得された装置位置情報を指示情報に設定する。また、送信制御部２４０は、投票操作の際にユーザの指等が接触したボタン画像に対応するボタン画像データとともに復号されたコンテンツのＩＤ、換言すれば、投票操作の際にユーザの指等が接触したボタン画像に対応するボタン画像データとともに１のコンテンツ発光制御情報に含まれていたコンテンツのＩＤを特定し、指示情報に設定する。

再び、図９に戻って説明する。次に、送信制御部２４０は、指示情報を、無線通信部２０８及びアンテナ２１０を介して、サーバ３００へ送信する制御を行う（ステップＳ３０９）。

図１３は、サーバ３００による表示更新設定処理の動作を示すフローチャートである。サーバ３００内の制御部３０２は、有線通信部３０８を介して、通信装置２００からの指示情報を受信する（ステップＳ４０１）。

次に、制御部３０２内の集計部３１４は、投票集計を行う（ステップＳ４０２）。具体的には、メモリ３０４には、各コンテンツ毎に、当該コンテンツのＩＤと当該コンテンツに対する投票数の情報とが対応付けて記憶されている。集計部３１４は、指示情報を受信する毎に、当該指示情報に含まれるコンテンツのＩＤを判別し、そのコンテンツのＩＤに対応するメモリ３０４内のコンテンツの投票数を１増加させる。ここで、二重投票を防止するために、指示情報に含まれる装置ＩＤを投票済みの装置ＩＤとしてメモリ１０４に記憶させておく。そして、集計部３１４は、指示情報を受信する毎に、当該指示情報に含まれる装置ＩＤとメモリ１０４に記憶された投票済みの装置ＩＤとを比較し、一致する場合には、コンテンツの投票数を１増加させないようにする。

次に、制御部３０２内の表示設定部３１２は、投票を行った通信装置２００、換言すれば、指示情報の送信元の通信装置２００の位置を特定する（ステップＳ４０３）。具体的には、表示設定部３１２は、受信した指示情報に含まれる装置位置情報を取得する。

次に、表示設定部３１２は、コンテンツに対する投票数を更新した画像を表示させるための表示更新制御情報を生成する（ステップＳ４０４）。

図１４は、表示更新制御情報の一例を示す図である。図１４に示す表示更新制御情報は、投票されたコンテンツに対応して生成される。表示更新制御情報は、対応するコンテンツの画像データ、対応するコンテンツの表示位置情報、装置方向画像データ、装置方向表示位置情報により構成される。

コンテンツ画像データは、対応するコンテンツである商品の画像と、当該コンテンツに対する投票数を示す投票数画像とを含む。コンテンツ表示位置情報は、表示装置１００の表示部１１３における商品画像及び投票数画像の表示位置（座標）を示す情報である。装置方向画像データは、投票を行った通信装置２００が表示装置１００から見てどの方向（上下方向（仰角、俯角）、絶対方位や方角を含む）に存在するかを示す装置方向画像のデータである。装置方向表示位置情報は、表示装置１００の表示部１１３における装置方向画像の表示位置（座標）を示す情報である。

表示設定部３１２は、指示情報に含まれるコンテンツのＩＤに基づいて、投票先のコンテンツと特定する。更に、表示設定部３１２は、特定した投票先のコンテンツに対応するコンテンツ画像データとコンテンツ表示位置情報とを表示更新制御情報に設定する。また、表示設定部３１２は、予め既知である表示装置１００の位置と、指示情報に含まれる装置位置情報とに基づいて、投票を行った通信装置２００が表示装置１００から見てどの方向に存在するかを特定することができる。表示設定部３１２は、特定した方向に応じて、通信装置２００から表示装置１００に向かう矢印の画像を装置方向画像として生成し、その画像データを表示更新制御情報に設定する。また、表示設定部３１２は、表示装置１００の表示部１１３における、コンテンツ表示位置情報による特定される表示位置の近傍に、装置方向画像である矢印の先端が位置するように、装置方向表示位置情報を設定する。なお、投票を行った通信装置２００が複数存在し、複数の通信装置２００のそれぞれからの指示情報に応じて１つの更新制御情報が生成される場合には、装置方向画像データ及び装置方向表示位置情報は、複数の通信装置２００毎に設定される。

再び、図１３に戻って説明する。制御部３０２内の表示設定部３１２は、生成した表示更新制御情報を、有線通信部３０８を介して表示装置１００へ送信する（ステップＳ４０５）。

図１５は、表示装置１００による表示更新処理の動作を示すフローチャートである。表示装置１００の制御部１０２は、有線通信部１０７を介して、サーバ３００からの表示更新制御情報を受信する（ステップＳ５０１）。

次に、制御部１０２は、受信した表示更新制御情報内のコンテンツ画像データとコンテンツ表示位置情報とに基づいて、コンテンツである商品の画像と、コンテンツに対する投票数を示す投票数画像とからなるコンテンツ画像を表示部１１３に表示させる制御を行う（ステップＳ５０２）。

具体的には、図７のステップＳ２０２と同様、制御部１０２は、コンテンツ画像データに基づいて、コンテンツである商品の画像をメモリ１０４内に構成されるＶＲＡＭに書き込む。この際、制御部１０２は、コンテンツに対する投票数を示す投票数画像とからなるコンテンツ画像を、コンテンツ表示位置情報が示す商品画像及び投票数画像の表示位置に対応するＶＲＡＭ内の領域に書き込む。

次に、制御部１０２は、受信した表示更新制御情報内の装置方向画像データと装置方向表示位置情報とに基づいて、装置方向画像を表示部１１３に表示させる制御を行う（ステップＳ５０３）。

具体的には、制御部１０２は、装置方向画像データに基づいて、装置方向画像をメモリ１０４内に構成されるＶＲＡＭに書き込む。この際、制御部１０２は、装置方向画像を、装置方向表示位置情報が示す装置方向画像の表示位置に対応するＶＲＡＭ内の領域に書き込む。

更に、制御部１０２は、ＶＲＡＭに画像が書き込まれる毎に、表示部１１３の全体の画像に対応する画像信号を表示部１１３へ出力する。表示部１１３は、制御部１０２が出力する画像信号に従って画像を表示する。これにより、表示部１１３は、コンテンツである商品の画像と、コンテンツに対する更新後の投票数を示す投票数画像とからなるコンテンツ画像を表示するとともに、装置方向画像を表示する。なお、ステップＳ５０２及びステップＳ５０３の処理は、通常、図７のステップＳ２０３の処理と並行して行われる。

図１６は、表示装置１００内の表示部１１３において、表示更新制御情報に基づいて表示される画像の一例を示す図である。図１６に示すように、表示部１１３には、コンテンツＡに対応する商品の画像１５１ａ、コンテンツＡの投票数を示す投票数画像１５２ａ、コンテンツＢに対応する商品の画像１５１ｂ、コンテンツＢの投票数を示す投票数画像１５２ｂ、コンテンツＣに対応する商品の画像１５１ｃ、コンテンツＣの投票数を示す投票数画像１５２ｃが表示される。ここでは、通信装置２００のユーザがコンテンツＡに投票したことに対応して、図８と比較すると、投票数画像１５２ａが示すコンテンツＡの投票数が更新されている。また、表示部１１３には、コンテンツＡのＩＤとボタン画像データに基づいた発光による発光画像１１４ａ、コンテンツＢのＩＤとボタン画像データに基づいた発光による発光画像１１４ｂ、コンテンツＣのＩＤとボタン画像データに基づいた発光による発光画像１１４ｃが表示される。更には、通信装置２００のユーザがコンテンツＡに投票したことに対応して、コンテンツＡに対応する商品の画像１５１ａ及びコンテンツＡの投票数を示す投票数画像１５２ａの近傍に矢印の先端が位置する装置方向画像１５３が表示される。

以上説明したように、本実施形態に係る情報処理システム１では、表示装置１００は、サーバ３００からの表示制御情報に基づいて、表示部１１３に、コンテンツである商品の画像と、コンテンツに対する投票数を示す投票数画像とからなるコンテンツ画像を表示するとともに、表示部１１３の一部を送信部１１４として、コンテンツのＩＤとボタン画像データに基づいた発光を行う。

一方、通信装置２００は、表示装置１００を含む撮像範囲を撮像すると、復号により、表示制御情報内のコンテンツ発光制御情報に含まれるコンテンツのＩＤ及びボタン画像データを取得し、表示部２０７に、ボタン画像をライブビュー画像に重畳して表示する。更に、通信装置２００は、ユーザによる投票操作が行われた場合、その投票操作を示す指示情報をサーバ３００へ送信する。

サーバ３００は、指示情報に基づいて、投票数を更新した画像と、投票を行った通信装置２００の方向を示す装置方向画像とを表示装置１００に表示させるための表示更新制御情報を生成して表示装置１００へ送信し、表示装置１００は、サーバ３００からの表示更新制御情報に基づいて、表示部１１３に、投票数を更新した画像と、装置方向画像とを表示する。

これにより、複数のユーザが表示装置１００に表示された同じ画像に注目する場面において、表示装置１００は、複数のユーザによる投票操作を反映した画像表示を行うことができる。また、表示装置１００は、投票を行った通信装置２００の位置を反映した画像表示を行うことができる。

なお、上記実施形態においては、投票を行った通信装置２００の位置を反映させた画像表示を行っているが、通信装置２００が記憶する固有の情報（機種、加入者情報、加入している通信サービス情報等）や、通信装置２００のユーザー情報（氏名、ニックネーム、アカウント名、ハンドルネーム等）を意味する情報や画像であってもよい。

なお、本発明は、上記実施形態に限定されず、様々な変形及び応用が可能である。例えば、上述した実施形態では、表示装置１００内の表示部１１３の一部を送信部１１４として、コンテンツのＩＤとボタン画像データに基づいた発光により光通信を行った。しかし、通信方法はこれに限定されず、例えば、図１７に示すように、表示部１１３の一部に、コンテンツのＩＤとボタン画像データに対応するＱＲコード（登録商標）１１５ａ、１１５ｂ、１１５ｃが表示され、通信装置２００がコンテンツのＩＤとボタン画像データを取得できるようにしてもよい。

また、通信装置２００は、自身の方位、仰角、俯角等を検出するセンサを備え、これら方位、仰角、俯角等の情報を指示情報に含めてサーバ３００へ送信してもよい。この場合には、サーバ３００は、方位、仰角、俯角等の情報により、自身と通信装置２００との相対位置を特定することができる。

また、通信装置２００は、撮像及び通信が可能であれば、どのような通信装置でもよい。例えば、ＰＨＳ（Personal Handy-phone System）、ＰＤＡ（Personal Digital Assistant又はPersonal Data Assistance）、タブレットＰＣ（Personal Computer）、ゲーム機器、携帯型音楽再生装置等であってもよい。

また、通信装置２００の機能と表示装置１００の機能とを両方備える装置を用意し、場面に応じて、両機能を使い分けることができるようにしてもよい。また、表示装置１００とサーバ３００とが一体化した装置が用いられてもよい。

また、上記各実施形態において、実行されるプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto-Optical disc）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをインストールすることにより、上述の処理を実行するシステムを構成することとしてもよい。

また、プログラムをインターネット等のネットワークＮＷ上の所定のサーバが有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、ダウンロード等するようにしてもよい。

なお、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、ダウンロード等してもよい。

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

（付記１）
表示装置と通信装置とを含む情報処理システムであって、
前記表示装置は、
画像を表示する第１の表示手段と、
提供情報を変調し、前記第１の表示手段の一部を用いて、前記変調された内容を、光を通信媒体として送信する第１の送信手段と、
を備え、
前記通信装置は、
前記第１の送信手段により送信された光を含む画像を撮像する撮像手段と、
前記撮像手段により撮像された画像に基づいて、前記提供情報を復号する復号手段と、
前記撮像手段により撮像された画像に前記復号手段により復号された提供情報を重畳して表示する第２の表示手段と、
前記提供情報に対する検出内容を指示情報として送信する第２の送信手段と、
を備え、
前記表示装置は、
前記第２の送信手段により送信された指示情報に応じた画像を表示する第３の表示手段を備えることを特徴とする情報処理システム。

（付記２）
画像を表示する第１の表示手段と、
提供情報を変調し、前記第１の表示手段の一部を用いて、前記変調された内容を、光を通信媒体として送信する送信手段と、
前記変調された内容を時系列的に撮像して提供情報へ復号した通信装置より送信された前記提供情報に対する検出内容を、指示情報として取得する取得手段と、
前記取得手段によって取得された指示情報に応じた画像を表示する第２の表示手段と、
を備えることを特徴とする表示装置。

（付記３）
前記第２の表示手段は、前記提供情報に対する検出内容を示す画像を表示することを特徴とする付記２に記載の表示装置。

（付記４）
前記取得手段は更に、自己の位置に対する前記通信装置の位置の情報を取得し、
前記第２の表示手段は、取得された前記位置の情報に基づいて、前記表示装置に対する前記通信装置の方向を示す画像を表示することを特徴とする付記２又は３に記載の表示装置。

（付記５）
前記第２の表示手段は、前記指示情報の数に対応する画像を表示することを特徴とする付記２〜４の何れか１項に記載の表示装置。

（付記６）
表示部に画像を表示させる第１の表示ステップと、
提供情報を変調し、前記第１の表示ステップによる表示とともに、前記変調された内容を、光を通信媒体として送信する送信ステップと、
前記変調された内容を時系列的に撮像して提供情報へ復号した通信装置より送信された前記提供情報に対する検出内容を、指示情報として取得する取得ステップと、
前記取得ステップにて取得された指示情報に応じた画像を前記表示部に表示させる第２の表示ステップと、
を備えることを特徴とする表示制御方法。

（付記７）
表示装置が備えるコンピュータを
画像を表示する第１の表示手段、
提供情報を変調し、前記第１の表示手段の一部を用いて、前記変調された内容を、光を通信媒体として送信する送信手段、
前記変調された内容を時系列的に撮像して提供情報へ復号した通信装置より送信された前記提供情報に対する検出内容を、指示情報として取得する取得手段、
前記取得手段によって取得された指示情報に応じた画像を表示する第２の表示手段、
として機能させるプログラム。

１…情報処理システム、１００…表示装置、１０２…制御部、１０４…メモリ、１０７…有線通信部、１１０…符号化・変調部、１１２…駆動部、１１３…表示部、１１４…送信部、２００…通信装置、２０２…制御部、２０４…メモリ、２０６…操作部、２０７…表示部、２０８…無線通信部、２１０…アンテナ、２１４…撮像部、２２２…ＧＰＳ受信機、２３２…画像生成部、２３４…復号部、２３６…表示制御部、２３８…位置取得部、２４０…送信制御部、３００…サーバ、３０２…制御部、３０４…メモリ、３０６…操作部、３０７…表示部、３０８…有線通信部、３１２…表示設定部、３１４…集計部、４００…アクセスポイント、ＮＷ…ネットワーク

Claims (6)

1. 表示装置と通信装置とを含む情報処理システムであって、
   前記表示装置は、
   画像を表示する第１の表示手段と、
   提供情報を変調し、変調された内容を、光を通信媒体として送信する第１の送信手段と、
   を備え、
   前記通信装置は、
   前記第１の送信手段により送信された光を含む画像を撮像する撮像手段と、
   前記撮像手段により撮像された画像に基づいて、前記提供情報を復号する復号手段と、
   前記撮像手段により撮像された画像に前記復号手段により復号された提供情報を重畳して表示する第２の表示手段と、
   前記提供情報に対する検出内容からなる指示情報と前記通信装置の装置位置情報とを送信する第２の送信手段と、
   を備え、
   前記表示装置は、
   前記第２の送信手段により送信された指示情報に応じた画像と、送信された前記通信装置情報に基づく前記通信装置の方向を示す画像とを表示するよう前記第１の表示手段を制御する表示制御手段を更に備えることを特徴とする情報処理システム。
2. 画像を表示する表示手段と、
   提供情報を変調し、変調された内容を、光を通信媒体として送信する送信手段と、
   前記変調された内容を時系列的に撮像して提供情報へ復号した通信装置より送信された前記提供情報に対する検出内容を、指示情報として取得する取得手段と、
   前記取得手段によって取得された指示情報に応じた画像を前記表示手段に表示するよう制御する表示制御手段と、
   を備え、
   前記取得手段は更に、前記通信装置の装置位置情報を取得し、
   前記表示制御手段は、取得された前記装置位置情報に基づいて、自己に対する前記通信装置の方向を示す画像を表示することを特徴とする表示装置。
3. 前記表示制御手段は、前記提供情報に対する検出内容を示す画像を表示することを特徴とする請求項２に記載の表示装置。
4. 前記表示制御手段は、前記指示情報の数に対応する画像を表示することを特徴とする請求項２又は３に記載の表示装置。
5. 提供情報を変調し、変調された内容を、光を通信媒体として送信する送信ステップと、
   前記変調された内容を時系列的に撮像して提供情報へ復号した通信装置より送信された前記提供情報に対する検出内容を、指示情報として取得する取得ステップと、
   前記取得ステップにて取得された指示情報に応じた画像を表示部に表示させる表示ステップと、
   を含み、
   前記取得ステップは更に、前記通信装置の装置位置情報を取得し、
   前記表示ステップは、取得された前記装置位置情報に基づいて、前記表示部を有する装置に対する前記通信装置の方向を示す画像を表示することを特徴とする表示制御方法。
6. 表示装置が備えるコンピュータを、
   提供情報を変調し、変調された内容を、光を通信媒体として送信する送信手段、
   前記変調された内容を時系列的に撮像して提供情報へ復号した通信装置より送信された前記提供情報に対する検出内容を、指示情報として取得する取得手段、
   前記取得手段によって取得された指示情報に応じた画像を表示するよう制御する表示制御手段、
   として機能させ、
   前記取得手段は更に、前記通信装置の装置位置情報を取得し、
   前記表示制御手段は、取得された前記装置位置情報に基づいて、前記表示装置に対する前記通信装置の方向を示す画像を表示することを特徴とするプログラム。

Images