JP5245691B2 - 情報処理装置、サーバ装置およびプログラム - Google Patents

Description

本発明は、情報処理装置、サーバ装置およびプログラムに関する。

広告などある種の情報は、実際に視聴されてこそ、その機能を発揮できるものである。しかし、新聞、テレビ、雑誌など既存のメディアでは、実際に広告が視聴されたことを確認するのは困難であった。ここで、広告が視聴されたことを確認するシステムとして、例えば特許文献１および２に記載された技術が知られている。特許文献１は、ユーザが携帯端末を携帯しているときに、放送番組受信装置が広告を受信すると、視聴情報を生成するシステムを開示している。特許文献２は、ユーザ端末にテレビ映像と複数のボタンを表示させるシステムを開示している。視聴者が現在表示されている広告に対応するボタンを押すと、そのボタンとタイミングを特定する情報が記録される。

特開２００７−２３５５８６号公報 特開２００２−２３８０６２号公報

これに対し本発明は、より簡単な構成で視聴の確認をする技術を提供する。

本発明は、画像を取得する画像取得手段と、前記画像取得手段により取得された画像に対し所定の画像処理を行う画像処理手段と、前記画像処理手段により処理された画像を、画像形成装置に出力する画像出力手段と、前記画像形成装置が形成した画像がユーザにより視認されたことを示す視認情報を取得する視認情報取得手段と、前記ユーザの属性を示すユーザ情報を取得するユーザ情報取得手段と、前記視認情報取得手段により視認情報が取得されると、前記ユーザ情報および前記視認情報を出力する情報出力手段と、前記情報出力手段が出力した前記ユーザ情報および前記視認情報に応じて算出された課金情報を取得する課金情報取得手段とを有する情報処理装置を提供する。
この情報処理装置によれば、ユーザが画像を視聴したときに、ユーザ情報が出力される。

好ましい態様において、この情報処理装置は、センサからセンサ情報を取得するセンサ情報取得手段と、前記センサ情報取得手段により取得されたセンサ情報に基づいて、前記視認情報を生成する視認情報生成手段とを有し、前記視認情報取得手段は、前記視認情報生成手段が生成した視認情報を取得してもよい。
この情報処理装置によれば、センサから取得された情報に基づいて、視認情報が生成される。

別の好ましい態様において、前記センサが、前記センサ情報として前記ユーザのユーザ画像を出力し、前記視認情報生成手段は、前記ユーザ画像から検出される前記ユーザの視線が前記画像形成装置が形成した画像を向いている時間がしきい値を超えた場合、前記視認情報を生成してもよい。
この情報処理装置によれば、ユーザの視線が画像形成装置が形成した画像を向いている時間がしきい値を超えた場合に、視認情報が生成される。

さらに別の好ましい態様において、前記センサが、前記センサ情報として前記画像形成装置が形成した画像が表示されている面を前記ユーザが触れていることを示す情報を出力し、前記視認情報生成手段は、前記センサ情報取得手段が前記センサ情報を取得すると、前記視認情報を生成してもよい。
この情報処理装置によれば、画像形成装置が形成した画像が表示されている面をユーザが触れた場合に、視認情報が生成される。

さらに別の好ましい態様において、前記センサが、前記センサ情報として前記画像形成装置が形成した画像が表示されている面と前記ユーザとの距離がしきい値以下になったことを示す情報を出力し、前記視認情報生成手段は、前記センサ情報により、前記画像形成装置が形成した画像が表示されている面と前記ユーザとの距離がしきい値以下の状態にあった時間がしきい値を超えると、前記視認情報を生成してもよい。
この情報処理装置によれば、画像形成装置が形成した画像が表示されている面と前記ユーザとの距離がしきい値以下の状態にあった時間がしきい値を超えた場合に、視認情報が生成される。

さらに別の好ましい態様において、前記ユーザ情報取得手段は、ＲＦＩＤタグから前記ユーザ情報を取得してもよい。

さらに別の好ましい態様において、前記ユーザ情報取得手段は、携帯端末から前記ユーザ情報を取得してもよい。

さらに別の好ましい態様において、前記画像取得手段により取得される画像が、広告を含んでもよい。

また、本発明は、情報処理装置に画像を送信する画像送信手段と、前記情報処理装置から、ユーザの属性を示すユーザ情報および前記画像がユーザにより視認されたことを示す視認情報を受信する受信手段と、前記ユーザ情報および前記視認情報を用いて、前記情報処理装置に対する課金情報を算出する算出手段と、前記課金情報を前記情報処理装置に送信する課金情報送信手段とを有するサーバ装置を提供する。
このサーバ装置によれば、ユーザが実際に画像を見たときに、課金情報が算出される。

好ましい態様において、前記受信手段が前記ユーザ情報および前記視認情報を受信すると、前記画像送信手段は、前記ユーザ情報に応じた画像を送信してもよい。
このサーバ装置によれば、ユーザが実際に画像を見たときに、ユーザ情報に応じた画像が送信される。

さらに、本発明は、情報処理装置に、画像を取得するステップと、前記取得された画像に対し所定の画像処理を行うステップと、前記処理された画像を、画像形成装置に出力するステップと、前記画像形成装置が形成した画像がユーザにより視認されたことを示す視認情報を取得するステップと、前記ユーザの属性を示すユーザ情報を取得するステップと、前記視認情報が取得されると、前記ユーザ情報および前記視認情報を出力するステップと、前記出力された前記ユーザ情報および前記視認情報に応じて算出された課金情報を取得するステップとを実行させるためのプログラムを提供する。
このプログラムによれば、ユーザが画像を視聴したときに、ユーザ情報が出力される。

さらに、本発明は、コンピュータ装置に、情報処理装置に画像を送信するステップと、前記情報処理装置から、ユーザの属性を示すユーザ情報および前記画像がユーザにより視認されたことを示す視認情報を受信するステップと、前記ユーザ情報および前記視認情報を用いて、前記情報処理装置に対する課金情報を算出するステップと、前記課金情報を前記情報処理装置に送信するステップとを実行させるためのプログラムを提供する。
このプログラムによれば、ユーザが実際に画像を見たときに、課金情報が算出される。

１．構成
１−１．システム構成
図１は、本発明の一実施形態に係る情報表示システム１の構成を示すブロック図である。情報表示システム１は、いわゆるデジタルサイネージシステムである。情報表示システム１は、店舗等の所定の部屋の中に画像を形成する。情報表示システム１は、複数の画像形成装置４０（画像形成装置４０−１、画像形成装置４０−２、画像形成装置４０−３）と、複数のスクリーン５０（スクリーン５０−１、スクリーン５０−２、スクリーン５０−３）と、複数のセンサ６０（センサ６０−１、センサ６０−２、センサ６０−３）と、情報処理装置１０とを有する。情報処理装置１０は、通信網３０を介してサーバ２０と接続されている。

１−２．情報処理装置の構成
図２は、情報処理装置１０の機能構成を示す図である。情報処理装置１０は、サーバ２０から、インターネット等の通信網３０経由で画像データや命令を受け、少なくとも１つの画像形成装置４０と、少なくとも１つのセンサ６０と、ＲＦＩＤ（Radio Frequency Identification）リーダ７０を制御する。

画像取得手段１１は、サーバ２０から画像（画像データ）を取得する。画像処理手段１２は、画像取得手段１１により取得された画像に対し所定の画像処理を行う。画像出力手段１３は、画像処理手段１２により処理された画像を、画像形成装置４０に出力する。視認情報取得手段１４は、視認情報を取得する。「視認情報」とは、画像形成装置４０が形成した画像がユーザにより視認されたことを、直接的または間接的に示す情報である。「直接的」とは、画像形成装置４０が形成した画像がユーザにより視認されたこと示す情報そのものであることをいう。「間接的」とは、その情報に何らかの処理をすることにより、画像形成装置４０が形成した画像がユーザにより視認されたこと示す情報が得られる情報であることをいう。ユーザ情報取得手段１５は、ユーザ情報を取得する。「ユーザ情報」とは、ユーザの属性を示す情報である。情報出力手段１６は、視認情報取得手段１４により視認情報が取得されると、ユーザ情報および視認情報を出力する。課金情報取得手段１７は、情報出力手段１６が出力したユーザ情報および視認情報に応じて算出された課金情報を取得する。

センサ情報取得手段１８は、センサ６０からセンサ情報を取得する。「センサ情報」とは、センサ６０が検知した現象を示す情報である。この例で、センサ情報は、間接的な視認情報として用いられる。視認情報生成手段１９は、センサ情報取得手段１８により取得されたセンサ情報に基づいて、（直接的な）視認情報を生成する。この例で、視認情報取得手段１４は、視認情報生成手段１９が生成した視認情報を取得する。また、この例で、センサ６０は、センサ情報としてユーザの画像を示すユーザ画像を出力する。視認情報生成手段１９は、ユーザ画像から検出されるユーザの視線が、画像形成装置４０により形成された画像を向いている時間がしきい値を超えた場合、視認情報を生成する。さらにこの例で、ユーザ情報取得手段１５は、ＲＦＩＤリーダ７０からユーザ情報を取得する。記憶手段Ｓ１は、プログラムやデータを記憶する。

図３は、情報処理装置１０のハードウエア構成を示す図である。この例で、情報処理装置１０はいわゆるパーソナルコンピュータである。ＣＰＵ（Central Processing Unit）１１０は、情報処理装置１０の構成要素を制御する制御装置である。ＲＯＭ（Read Only Memory）１２０は、情報処理装置１０の起動に必要なデータおよびプログラムを記憶する記憶装置である。ＲＡＭ（Random Access Memory）１３０は、ＣＰＵ１１０がプログラムを実行する際の作業領域として機能する記憶装置である。Ｉ／Ｆ（Interface）１４０は、ＣＰＵ１１０や各種の入出力装置・記憶装置との間を、バス１９０を介して、プログラム・データ・制御信号などの入出力をするインターフェースである。ＨＤＤ（Hard Disk Drive）１５０は、各種プログラムおよびデータを記憶する装置である。キーボード・マウス１６０は、ユーザが情報処理装置１０に対して指示入力を行うのに用いられる入力装置である。ディスプレイ１７０は、情報処理装置１０がユーザに対してデータの内容、あるいは処理の状況などを表示する出力装置である。ネットワークＩＦ１８０は、通信網３０を介して接続された他の装置との間でプログラムやデータの送受信に用いられるインターフェースである。ネットワークＩＦ１８０はとして、例えば、有線ＬＡＮや無線ＬＡＮのインターフェースが用いられる。ＵＳＢ（Universal Serial Bus）−ＩＦ１８５は、ＵＳＢ規格に従ったインターフェースであり、この例では、情報処理装置１０と、画像形成装置４０や、センサ６０や、ＲＦＩＤリーダ７０との間のプログラムやデータの送受信に用いられる。バス１９０は、情報処理装置１０内のプログラムやデータや制御信号の伝送路である。ＣＰＵ１１０、ＲＯＭ１２０、ＲＡＭ１３０、およびＩ／Ｆ１４０はバス１９０を介して接続されている。

この例で、情報処理装置１０は、ＵＳＢ−ＩＦ１８５を介して画像形成装置４０と接続されており、ＵＳＢ−ＩＦ１８５を介して、画像形成装置４０にデータおよび制御信号を出力する。また、情報処理装置１０は、ＵＳＢ−ＩＦ１８５を介してセンサ６０と接続されており、ＵＳＢ−ＩＦ１８５を介して、センサ６０に制御信号を出力し、センサ６０からの画像データを入力する。さらに、情報処理装置１０は、ＵＳＢ−ＩＦ１８５を介してＲＦＩＤリーダ７０と接続されており、ＵＳＢ−ＩＦ１８５を介して、ＲＦＩＤリーダ７０に制御信号を出力し、ＲＦＩＤリーダ７０から、ＲＦＩＤリーダ７０が読みとったＲＦＩＤタグ７１のデータを入力する。

ＨＤＤ１５０は、情報処理装置１０を制御する制御プログラムを記憶している。ＣＰＵ１１０が制御プログラムを実行することにより、図２に示される機能が情報処理装置１０に実装される。この例で、制御プログラムを実行しているＣＰＵ１１０は、画像取得手段１１、視認情報取得手段１４、ユーザ情報取得手段１５、課金情報取得手段１７、センサ情報取得手段１８および視認情報生成手段１９の一例である。制御プログラムは、少なくとも１つのプログラムモジュールまたはサブルーチンを有する。各プログラムモジュールまたはサブルーチンは、図２の各機能構成要素に対応する。ＣＰＵ１１０と協働しているネットワークＩＦ１８０は、情報出力手段１６の一例である。ＣＰＵ１１０と協働しているＵＳＢ−ＩＦ１８５は、画像出力手段１３の一例である。ＲＯＭ１２０、ＲＡＭ１３０、およびＨＤＤ１５０は、記憶手段Ｓ１の一例である。

１−３．サーバの構成
図４は、サーバ２０の機能構成を示す図である。画像送信手段２１は、情報処理装置１０に画像（画像データ）を送信する。受信手段２２は、情報処理装置１０から、ユーザ情報および視認情報を受信する。算出手段２３は、ユーザ情報および視認情報を用いて、視認情報の送信元である情報処理装置１０に対する課金情報を算出する。課金情報送信手段２４は、課金情報を情報処理装置１０に送信する。また、この例で、画像送信手段２１は、受信手段２２がユーザ情報および視認情報を受信すると、ユーザ情報に応じた画像を送信する。

記憶手段Ｓ２は、サーバ２０を制御する制御プログラムや画像送信手段２１が送信する画像データを記憶している。画像データとは、画像形成装置４０がスクリーン５０に投影する画像そのもの、あるいは、画像の素材を示すデータ（以下、「素材データ」という）である。「画像の素材」は、背景画像および前景画像を含む。「前景画像」は複数のオブジェクトを含む。例えば、背景画像は海の中の風景（海底、岩、海水など）を示す画像であり、前景画像は、海の中で動いているもの（魚、海藻など）、または広告を示す画像である。「画像」は静止画および動画を含む概念である。

図５は、サーバ２０のハードウエア構成を示す図である。ＣＰＵ２１０は、サーバ２０の構成要素を制御する制御装置である。ＲＯＭ２２０は、サーバ２０の起動に必要なデータおよびプログラムを記憶する記憶装置である。ＲＡＭ２３０は、ＣＰＵ２１０がプログラムを実行する際の作業領域として機能する記憶装置である。Ｉ／Ｆ２４０は、ＣＰＵ２１０や各種の入出力装置や記憶装置との間を、バス２９０を介して、プログラム・データ・制御信号などの入出力をするインターフェースである。ＨＤＤ２５０は、各種プログラムおよびデータを記憶する装置である。キーボード・マウス２６０は、ユーザがサーバ２０に対して指示入力を行うのに用いられる入力装置である。ディスプレイ２７０は、サーバ２０がユーザに対してデータの内容、あるいは処理の状況などを表示する出力装置である。ネットワークＩＦ２８０は、通信網３０を介して接続された他の装置との間でプログラムやデータの送受信を行うためのインターフェースである。

ＨＤＤ２５０は、サーバ２０を制御する制御プログラムを記憶している。ＣＰＵ２１０が制御プログラムを実行することにより、図４に示される機能がサーバ２０に実装される。この例で、制御プログラムを実行しているＣＰＵ２１０は、算出手段２３の一例である。制御プログラムは少なくとも１つのプログラムモジュールまたはサブルーチンを有し、各プログラムモジュールまたはサブルーチンが、図４の各機能構成要素に対応する。ＣＰＵ２１０と協働しているネットワークＩＦ２８０は、画像送信手段２１、受信手段２２、および課金情報送信手段２４の一例である。ＲＯＭ２２０、ＲＡＭ２３０、およびＨＤＤ２５０は、記憶手段Ｓ２の一例である。

１−４．他の要素の構成
画像形成装置４０は、スクリーン５０に画像を形成する装置である。この例で、画像形成装置４０は、スクリーン５０に映像を投射するプロジェクタである。画像形成装置４０はＵＳＢ−ＩＦ１８５を介して情報処理装置１０に接続されている。情報処理装置１０は、形成する画像を示すデータをＵＳＢ−ＩＦ１８５を介して画像形成装置４０に供給する。

スクリーン５０は、前述した画像形成装置４０の出力を受けて、ユーザが視認できる画像を表示する装置である。この例で、プロジェクタに投影された画像を表示するスクリーンである。スクリーン５０としては、壁、ガラス、布、紙、その他、プロジェクタが画像を投影可能な構造体が用いられる。

センサ６０は、センサ情報を生成および出力する装置である。この例で、センサ情報は、ユーザを撮影した画像を示す画像データである。画像データは、視認情報の生成に用いられる。すなわち、この例で、センサ６０は人間を撮影するのに適した焦点距離や、明るさや、シャッタースピードを持ったカメラである。センサ６０はＵＳＢ−ＩＦ１８５を介して情報処理装置１０に接続されている。センサ６０は、情報処理装置１０に対してユーザを撮影した画像データ（以下「ユーザ画像データ」という）を送信する。

ＲＦＩＤタグ７１は、データ、この例ではユーザ情報を記憶する記憶装置である。ＲＦＩＤリーダ７０は、ＲＦＩＤタグ７１からデータを読み取る装置である。ＲＦＩＤリーダ７０はＵＳＢ−ＩＦ１８５を介して情報処理装置１０に接続されている。ＲＦＩＤリーダ７０は、ＲＦＩＤタグ７１からユーザ情報を読み取り、情報処理装置１０に出力する。

２．動作
続いて、本実施形態の動作を説明する。ここでは、情報表示システム１が設置されている部屋がレストランの店舗である例を説明する。店舗内にはテーブルが複数ある。また、レストランの窓（部屋の壁に設けられた窓）が、スクリーン５０として用いられる。画像形成装置４０は、スクリーン５０に画像を投影できる場所に設置されている。スクリーン５０の近傍の所定の位置には、センサ６０が設置されている。センサ６０は、スクリーン５０を見る客の顔を撮影できる位置に設置されている。

情報処理装置１０には情報処理装置ＩＤが、画像形成装置４０には画像形成装置ＩＤが、スクリーン５０（窓）には窓ＩＤが、センサ６０にはセンサＩＤがそれぞれ与えられている。これらのＩＤを用いて、複数の画像形成装置４０の中から１つの画像形成装置４０を特定することができる。情報処理装置１０、スクリーン５０、センサ６０についても同様である。

室内のスクリーン５０の位置を示す情報（座標）は、窓ＩＤと対応付けられて、ＨＤＤ１５０に記憶されている。室内におけるセンサ６０の位置を示す情報は、取り付け角度および焦点距離を示す情報と、センサＩＤと対応付けられて、ＨＤＤ１５０に記憶されている。これらの情報は、後述する座標計算の際にパラメータとして用いられる。

この例で、ＲＦＩＤリーダ７０は、テーブルに設置されている。また、ＲＦＩＤタグ７１は、客が注文した料理や飲み物の容器に取り付けられている。ＲＦＩＤタグ７１には、その容器により提供される料理や飲み物の識別子が書き込まれている。この構成により、ＲＦＩＤリーダ７０がＲＦＩＤタグ７１から読み出したデータを用いれば、客がどんな料理や飲み物を注文したかという情報を取得することができる。ここでは、このような客の注文履歴がユーザ情報として用いられる。

情報処理装置１０はテーブル下の目立たない場所に設置されている。情報処理装置１０はＵＳＢケーブルを介して、全ての画像形成装置４０と、全てのセンサ６０と、ＲＦＩＤリーダ７０と接続されており、かつ、通信網３０を介して離れた場所にあるサーバ２０とも接続されている。

図６は、情報表示システム１のうち、特に情報処理装置１０とサーバ２０との動作を示すシーケンスチャートである。図６のシーケンスチャートは、例えば客がテーブルに着席したことをセンサ６０が検知したことを契機として開始される。ＣＰＵ１１０およびＣＰＵ２１０が制御プログラムを実行することにより、以下の処理が行われる。

ステップＳ１０１において、サーバ２０のＣＰＵ２１０は、ＨＤＤ２５０に記憶されている画像データの中から少なくとも１つの画像データを、あらかじめ決められたアルゴリズムに従って選択する。この例で、サーバ２０から情報処理装置１０に送られる画像データは、広告を示すものである。また、あらかじめ決められたアルゴリズムとしては、例えば、現在の日付や時刻に応じて画像データを選択するものが用いられる。この場合、サーバ２０は、タイマを内蔵している。ＣＰＵ２１０は、タイマから出力される信号に基づいて、現在の日付に関する情報を取得する。また、ＨＤＤ２５０は、日付と画像データとを対応させる情報を記憶している。例えば、ＣＰＵ２１０が、現在の日付として８月１日を示す情報を取得した場合を例に説明する。ＣＰＵ２１０はＨＤＤ２５０に記憶されている画像データの中から、８月１日に対応する画像として、例えば「ビールの広告を示す画像」を選択する。ＣＰＵ２１０は、選択された画像データを、ネットワークＩＦ２８０を介して情報処理装置１０に送信する。

ステップＳ１０２において、情報処理装置１０のＣＰＵ１１０は、画像形成装置４０に画像を出力する。詳細には以下のとおりである。まず、ＣＰＵ１１０は、サーバ２０が送信した画像データを、ネットワークＩＦ１８０を介して取得する。ＣＰＵ１１０は、取得した画像データに対して所定の画像処理を行い、複数の画像形成装置４０に対応する画像データを取得する。この例で、サーバ２０から取得した画像データは、複数の画像データを含んでいる。ＣＰＵ１１０は、画像処理として、これらのデータの中から各窓に出力すべきデータをランダムに選択する処理を行う。ＣＰＵ１１０は、ＨＤＤ１５０に記憶されている対応テーブルを参照して、各画像形成装置４０に、対応する画像データを出力する。各画像形成装置４０は、情報処理装置１０から出力された画像データをスクリーン５０に投影する。

図７は、対応テーブルを例示する図である。この例で、対応テーブルは、窓ＩＤと、センサＩＤと、画像形成装置ＩＤと、窓対角線座標と、画像ＩＤとを含む。画像ＩＤは、対応するスクリーンに表示されている画像を特定する情報である。まだ画像が表示されていない状態においては、この欄は空欄である。ステップＳ１０２において画像を出力すると、ＣＰＵ１１０は、ＨＤＤ１５０に記憶されている対応テーブルを読み出し、窓ＩＤと画像ＩＤの対応関係を最新のものに書き換える。

再び図６を参照する。ステップＳ１０３において、ＣＰＵ１１０は、視認情報を取得する。この例で、ＣＰＵ１１０は、センサ６０から出力されるユーザ画像データに対し所定の処理（以下この処理を「視認情報生成処理」という）を行うことにより視認情報を生成する。視認情報生成処理を実行したＣＰＵ１１０は、生成した視認情報をＲＡＭ１３０に記憶する。ＣＰＵ１１０は、ＲＡＭ１３０から視認情報を読み出すことにより、視認情報を取得する。

図８は、視認情報生成処理の詳細を示すフローチャートである。視認情報生成処理は、複数のセンサ６０のうち、あらかじめ決められたアルゴリズムにより選択された一のセンサ６０について行われる。センサ６０を選択するアルゴリズムとしては、例えば、センサＩＤの順番に基づいて１つずつ順番に選択するものが用いられる。

ステップＳ２０１において、ＣＰＵ１１０は、センサ６０から、ＵＳＢ−ＩＦ１８５を介してユーザ画像データを取得する。ユーザ画像データは、ユーザ画像データを出力したカメラのセンサＩＤを含んでいる。ＣＰＵ１１０は、このセンサＩＤにより、処理対象のユーザ画像データを特定することができる。

ステップＳ２０２において、ＣＰＵ１１０は、取得したユーザ画像に対して顔認識処理を行う。顔認識処理としては、周知の画像処理技術が用いられる。顔認識処理により、ユーザの顔の輪郭および目の位置を示す情報が得られる。ＣＰＵ１１０は、顔認識処理により取得した情報をＲＡＭ１３０に記憶する。

ステップＳ２０３において、ＣＰＵ１１０は、顔認識処理により得られた情報を用いて視線の向きを算出する。例えば、ＣＰＵ１１０は、顔認識処理により得られた輪郭を用いて、ユーザの頭の重心の座標を算出する。頭の重心および目の位置は、３次元座標系で算出される。さらに、ＣＰＵ１１０は、算出された重心を基準として、顔認識処理により得られた目の位置の中点を通るベクトルを、視線の向きを示す情報として算出する。ＣＰＵ１１０は、算出した情報をＲＡＭ１３０に記憶する。

ステップＳ２０４において、ＣＰＵ１１０は、算出された視線の向きが所定の条件を満たしているか判断する。ここで用いられる条件は、視線がスクリーン５０を向いていることを示す条件である。この例で、対応情報は、室内におけるセンサ６０の位置および焦点距離を示す情報を含んでいる。この条件は、具体的には、顔の重心を起点として目の中点を通る線が、対象となるスクリーン５０を貫く（あるいは、スクリーン５０の中心付近の所定範囲を貫く）、というものである。視線がスクリーン５０を向いていると判断された場合（Ｓ２０４：ＹＥＳ）、ＣＰＵ１１０は、処理をステップＳ２０５に移行する。視線がスクリーン５０を向いていないと判断された場合（Ｓ２０４：ＮＯ）、ＣＰＵ１１０は、処理をステップＳ２０１に移行する。

ステップＳ２０５において、ＣＰＵ１１０は、ユーザの視線がスクリーン５０を向いていた時間をカウントアップする。詳細には、ユーザの視線がスクリーン５０を向いていた時間を示すデータがＲＡＭ１３０に記憶されている。ＣＰＵ１１０は、クロック信号またはタイマからの信号に基づいて、ＲＡＭ１３０に記憶されているデータを更新する、すなわち、時間をカウントアップする。

ステップＳ２０６において、ＣＰＵ１１０は、ユーザの視線がスクリーン５０を向いていた時間が、あらかじめ決められたしきい値を超えたか判断する。しきい値は、あらかじめＨＤＤ１５０に記憶されている。ＣＰＵ１１０は、ＨＤＤ１５０からしきい値を読み出し、読み出したしきい値を時間（カウント値）と比較する。視線がスクリーン５０を向いている時間がしきい値に達していない場合（Ｓ２０６：ＮＯ）、ＣＰＵ１１０は、処理をステップＳ２０１に移行する。視線がスクリーン５０を向いている時間がしきい値を超えた場合（Ｓ２０６：ＹＥＳ）、ＣＰＵ１１０は、処理をステップＳ２０７に移行する。

ステップＳ２０７において、ＣＰＵ１１０は、視認情報を生成する。この例で、視認情報は、窓ＩＤと、視線がそのスクリーン５０を向いていた時間とを含む。
ＣＰＵ１１０は、対象となるセンサ６０を更新し、図８のフローを繰り返し実行する。なお、図８のフローはステップＳ２０４およびステップＳ２０６がともに「ＹＥＳ」でないと終了しないが、タイムアウトなどの手段により図８のフローが途中で中断されてもよい。

再び図６を参照する。ステップＳ１０４において、情報処理装置１０のＣＰＵ１１０はユーザ情報を取得する。この例で、ユーザ情報は、注文履歴である。情報処理装置１０は、所定のイベント（例えば、店員がボタンを押したというイベント）を契機として、注文履歴の記録を開始する。注文履歴の記録は以下のように行われる。ＣＰＵ１１０は、所定の時間間隔でＲＦＩＤリーダ７０からの信号を取得し、信号から読み取られるデータを注文履歴としてＨＤＤ１５０に記憶する。

図９はユーザ情報を例示する図である。ユーザ情報は、窓ＩＤと、対応する属性（ここでは、料理や飲み物の識別子）とを含む。この例では、窓ＩＤが１のスクリーン５０を視認できる席にいる客はコーヒーと、アイスクリームと、ケーキの３つを注文したことが判る。

再び図６を参照する。ステップＳ１０５において、ＣＰＵ１１０は、視認情報と、ユーザ情報と含む課金要求を、ネットワークＩＦ１８０および通信網３０を介してサーバ２０に送信する。

課金要求を受信すると、ステップＳ１０６において、サーバ２０のＣＰＵ２１０は、あらかじめ決められたアルゴリズムにより、課金情報を算出する。課金情報は、課金要求に含まれるユーザ情報および視認情報に基づいて算出される。このアルゴリズムは、例えば、「客の視線が、スクリーン５０を向いている時間」に比例し、かつ、「客が料理や飲み物に費やした飲食料金」に比例して課金するものである。このアルゴリズムによれば、客の視線が長時間スクリーンに向いているほど、また、飲食料金が高いほど高額のお金が課金される。

ステップＳ１０７において、ＣＰＵ２１０は、算出した課金情報を、ネットワークＩＦ２８０および通信網３０を介して、情報処理装置１０に送信する。
課金情報を受信すると、ステップＳ１０８において、情報処理装置１０のＣＰＵ１１０は、ネットワークＩＦ１８０を介して、サーバ２０から課金情報を受信する。ＣＰＵ１１０は、受信した課金情報をＨＤＤ１５０に記録する（図１０）。

ステップＳ１０９において、サーバ２０のＣＰＵ２１０は、ＨＤＤ２５０に記憶されている画像データの中から、あらかじめ決められたアルゴリズムに従って、情報処理装置１０に送信する画像データの選択を行う。ここで用いられるアルゴリズムは、ユーザ情報に基づいて画像データを選択するものである。このアルゴリズムは例えば、ユーザ情報に含まれる料理や飲み物に関係した画像データを選択するものである。この場合、ＨＤＤ２５０は、キーワード（「コーヒー」、「ビール」、「ケーキ」、「アイスクリーム」等）と対応付けて画像データを記憶している。ＣＰＵ２１０は、これらの画像データの中から、ユーザ情報に含まれる料理または飲み物の識別子と同一のキーワードに対応する画像データを選択する。

ステップＳ１１０において、ＣＰＵ２１０は、選択された画像データを、ユーザ情報の送信元の情報処理装置１０に送信する。
画像データを受信すると、ステップＳ１１１において、情報処理装置１０のＣＰＵ１１０はサーバ２０から受信した画像データに対し所定の画像処理を行い、処理された画像を、画像形成装置４０に出力する。画像形成装置４０は、画像データに従って、スクリーン５０に画像を投影する。これらの処理は、ステップＳ１０２の処理と同様である。

図１１は表示される画像を例示する図である。この例では、テーブルの周囲にスクリーン５０−１、５０−２、５０−３の３枚のスクリーンがテーブルを取り囲む形で設置されている。ここでスクリーン５０−１の窓ＩＤは１、スクリーン５０−２の窓ＩＤは２、スクリーン５０−３の窓ＩＤは３とする。３枚のスクリーン５０には海中の生物であるイルカや亀が泳ぐ画像が表示されている。なお、これらの海や生物の画像のデータは、図６のフローとは別の処理で取得されている。ステップＳ１０２やＳ１１１の画像処理において、これらの画像（背景）と広告の画像とが合成される処理が行われる。

図９のユーザ情報によれば窓ＩＤが１のスクリーン５０−１を視認できる席にいる客の属性（料理や飲み物の種類）はコーヒー、アイスクリーム、ケーキである。窓ＩＤが２のスクリーン５０−２を視認できる席にいる客の属性は紅茶、ケーキである。窓ＩＤが３のスクリーン５０−３を視認できる席にいる客の属性はオレンジジュースである。図１１の広告画像例によれば、スクリーン５０−１にはコーヒー会社の広告が、スクリーン５０−２には製菓会社の広告が、スクリーン５０−３には飲料会社の広告が表示されている。すなわち、各スクリーン５０には、客の属性に対応した画像が表示されている。

３．他の実施形態
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下で説明する変形例のうち２つ以上のものが組み合わせて用いられてもよい。

３−１．変形例１
センサ６０はカメラに限定されない。例えば、タッチセンサ（タッチパネル）がセンサ６０として用いられてもよい。この場合、センサ６０は、センサ情報として、画像形成装置４０が形成した画像が表示されている面（すなわちスクリーン５０）をユーザが触れていることを示す情報を出力する。視認情報生成手段１９は、センサ情報取得手段１８がセンサ情報を取得すると、視認情報を生成する。具体的には以下のとおりである。

タッチパネルは、ユーザ（客）が触れた位置を示す情報を出力する。情報処理装置１０のＣＰＵ１１０は、タッチパネルから取得したセンサ情報に基づいて、画像が投影された状態で、ユーザが画像に何秒間触ったという情報を取得する。この例で、ＣＰＵ１１０は、ユユーザが画像に触ったという情報が取得された場合に、ユーザが画像を視聴したものと判断する。

この例で、投影される画像はオブジェクトに区分されていてもよい。この場合、ＣＰＵ１１０は、投影されたオブジェクトの位置をＲＡＭ１３０やＨＤＤ１５０に記憶する。ＣＰＵ１１０は、センサ情報に含まれる位置（タッチパネル上の触られた位置）とオブジェクトの位置を照合し、ユーザが画像のうちどのオブジェクトに触れたかを判断する。この構成により、ＣＰＵ１１０は、ユーザが特定のオブジェクト（例えば、魚や動物のようなキャラクタ、「ＯＫ」や「キャンセル」など特定の機能が割り当てられたボタンなど）が触れられたことを検知する。ＣＰＵ１１０は、視認情報に、ユーザが触れたオブジェクトの識別子を含めてもよい。この場合、サーバ２０は、ステップＳ１０９において、ユーザが触れたオブジェクトに応じて画像データを選択してもよい。

なお、タッチパネル以外にも、押しボタンスイッチや、光電スイッチなど、ユーザがスクリーン５０に触れたことを検知できるものであれば、いかなるものがセンサ６０として用いられてもよい。

３−２．変形例２
別の例で、センサ６０は、ユーザとスクリーン５０との距離がしきい値以内に近づいたことを検知するものであってもよい。この場合、センサ６０は、センサ情報として、画像形成装置４０が形成した画像が表示されている面（スクリーン５０）とユーザとの距離がしきい値以下になったことを示す情報を出力する。視認情報生成手段１９は、センサ情報により、画像形成装置４０が形成した画像が表示されている面とユーザとの距離がしきい値以下の状態にあった時間がしきい値を超えると、視認情報を生成する。詳細には以下のとおりである。

この例で、センサ６０は赤外線センサである。赤外線センサは、スクリーン５０からしきい値に相当する距離離れた位置にユーザがいることを検知する。ＣＰＵ１１０は、赤外線センサから取得したセンサ情報に基づいて、画像が投影された状態で、しきい値以下の距離に何秒間滞在したかという情報を取得する。滞在時間がしきい値を超えると、ＣＰＵ１１０は、視認情報をサーバ２０に送信する。

なお、赤外線センサ以外にも、超音波センサや、光電スイッチなど、ユーザがスクリーン５０に近づいたことを検知できるものであれば、いかなるものがセンサ６０として用いられてもよい。

３−３．変形例３
視認情報の取得元は、センサ６０に限定されない。すなわち、視認情報取得手段１４は、視認情報生成手段１９（センサ情報取得手段１８）以外の要素から視認情報を取得してもよい。例えば、視認情報取得手段１４は、手動入力スイッチなどのマンマシン入力装置から、視認情報を取得してもよい。この場合、例えば、レストランのスタッフが注文された料理や飲み物を持っていく際、ユーザ（客）の動向を目視で確認する。ユーザがスクリーン５０を視認していることを確認すると、スタッフは手動入力スイッチを操作する。情報処理装置１０は、手動入力スイッチから出力される信号を、視認情報として取得する。

３−４．変形例４
ユーザ情報の取得元は、ＲＦＩＤリーダ７０およびＲＦＩＤタグ７１に限定されない。例えば、レストランにおいては、店員が携帯情報端末に客の注文を入力する注文管理システムが広く用いられている。この場合において、情報処理装置１０は、携帯情報端末から、客の注文データをユーザ情報として取得してもよい。

あるいは、ＲＦＩＤリーダ７０およびＲＦＩＤタグ７１に代わり、バーコードとバーコードリーダ、ＩＣカードとＩＣカードリーダなどが用いられても良い。

３−５．変形例５
画像形成装置４０はプロジェクタに限定されない。スクリーン５０に画像を形成できるのであれば、どのような装置であってもよい。また、画像形成装置４０は、スクリーン５０を内蔵していてもよい。例えば、画像形成装置４０は、リアプロジェクションディスプレイ、液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ、プラズマディスプレイであってもよい。

３−６．変形例６
本稿でいう「窓」は、現実および仮想の窓の双方を含む。「現実の窓」とは、物理的な構造体としての窓をいう。この場合、図６のように窓枠とスクリーン５０とが異なる面に形成される構造であってもよいし、スクリーン５０が窓枠と同じ面（すなわち窓枠の中）に形成される構造であってもよい。「仮想の窓」とは、物理的な構造体としての窓ではないスクリーン５０に窓枠も含めた画像を形成したもの、すなわち壁に窓枠も含めた画像を形成したものをいう。

３−７．変形例７
窓情報の取得元は、ＨＤＤ１５０に限定されない。窓情報取得手段は、情報処理装置１０以外の他の装置から窓情報を取得してもよい。特に、仮想の窓が用いられ、窓の位置が変化する場合に、窓の位置を検出する装置から窓情報を取得してもよい。

３−８．他の変形例
情報処理装置１０のハードウェア構成は図３で示されるものに限定されない。必要な機能構成を実現できるものであれば、どのようなハードウェア構成を有する装置が用いられてもよい。また、情報処理装置１０の機能構成とハードウェア構成の対応関係は、実施形態で説明したものに限定されない。例えば上述の実施形態では、制御プログラムを実行しているＣＰＵ１１０が、視認情報取得手段１４、ユーザ情報取得手段１５、および課金情報取得手段１７としての機能を兼ね備えていたが、これらのうち１つ以上の機能が、ＣＰＵ１１０以外のプロセッサにより実装されてもよい。また、各機能構成要素は、汎用プロセッサとプログラムの協働により実装されてもよいし、ＡＳＩＣ（Application Specific Integrated Circuit）のように特定の機能を有するプロセッサとして実装されてもよい。あるいは、物理的に別体の複数のプロセッサが協働して、これらの要素として機能してもよい。サーバ２０についても同様である。

ＨＤＤやＲＡＭ、ＲＯＭに代わり、ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ（Magneto Optical disk）などの光ディスクや、ＮＡＳ（Network Attached Storage）などのネットワークディスクや、ＳＳＤ（Solid State Drive）などの半導体ディスクが用いられても良い。

実施形態においてスクリーン５０の形状は長方形を含む四角形として対角線座標で表わされた。しかし、スクリーン５０の形状はこれに限定されない。スクリーン５０の形状は円形や、楕円形や、三角形を含む多角形の形状でも良い。その場合、図７の窓対角線座標は、たとえば円形であれば中心点座標と半径といったような、スクリーン形状をあらわす座標を数値的に表現できる形式に変更される。

情報処理装置１０と、画像形成装置４０・センサ６０・ＲＦＩＤリーダ７０など装置との間のインターフェースは、ＵＳＢ規格のインターフェースに限定されない。例えば、ブルートゥース（Bluetooth、登録商標）などの別の規格のインターフェースが用いられてもよい。

実施形態において、画像データの送信元と、ユーザ情報および視認情報の送信先とは同一の装置（サーバ２０）であったが、これは異なった装置であってもよい。すなわち、画像データを送信する装置と、課金情報の算出を行う装置とは、別の装置であってもよい。また、実施形態において、画像取得手段１１は画像データを他の装置（サーバ２０）から取得したが、ＨＤＤ１５０のような自装置内の記憶手段から取得してもよい。

実施形態では広告と広告以外の画像が重ねあわされる例が説明されたが、広告の画像が単独で表示されてもよい。また、実施形態では視聴の確認の対象となる画像が広告である例が説明されたが、広告以外の画像が視聴確認の対象となってもよい。

実施形態ではセンサ６０と窓（スクリーン５０）とが一対一に対応していたが、１つの窓につき複数のセンサ６０が設置されていてもよい。この場合、情報処理装置１０は、複数のセンサ６０から取得されたセンサ情報に基づいて、視認情報を生成する。

図６のシーケンスを開始する契機となるイベントは、実施形態で説明したものに限定されない。例えば、前回図６の処理が終了してから所定の時間が経過したことを契機として図６のシーケンスが開始されてもよい。

ステップＳ１０２やＳ１１１における複数の画像データの中から画像データを選択するアルゴリズムは、実施形態で説明したものに限定されない。情報処理装置１０に応じた選択、あらかじめ設定された重要度に基づく選択、過去一定期間に渡ってユーザ情報を蓄積し、蓄積したユーザ情報の統計的解析に基づく選択など、どのようなアルゴリズムが用いられてもよい。

ステップＳ１０２やＳ１１１において行われる画像処理は、実施形態で説明したものに限定されない。１つの画像データを画像形成装置４０に対応する数に分割する処理、１つの画像データから、各画像形成装置４０に対応する画像データを抽出する処理、画像のサイズ・解像度・色空間を画像形成装置４０に適合させる処理など、どのような画像処理が用いられてもよい。

画像形成装置４０が、情報処理装置１０としての機能を兼ね備えていてもよい。
実施形態では室内に複数の窓が存在する例について説明したが、室内の窓の数はひとつであってもよい。

上述の実施形態においてＣＰＵ１１０またはＣＰＵ２１０によって実行されるプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ（Hard Disk Drive）、ＦＤ（Flexible Disk））など）、光記録媒体（光ディスク（ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk））など）、光磁気記録媒体、半導体メモリ（フラッシュＲＯＭなど）などのコンピュータ読取り可能な記録媒体に記憶した状態で提供されてもよい。また、このプログラムは、インターネットのようなネットワーク経由でダウンロードされてもよい。

一実施形態に係る情報表示システム１の構成を示すブロック図である。 情報処理装置１０の機能構成を示す図である。 情報処理装置１０のハードウエア構成を示す図である。 サーバ２０の機能構成を示す図である。 サーバ２０のハードウエア構成を示す図である。 情報表示システム１の動作を示すシーケンスチャートである。 対応テーブルを例示する図である。 視認情報生成処理の詳細を示すフローチャートである。 ユーザ情報を例示する図である。 課金情報を例示する図である。 表示される画像を例示する図である。

符号の説明

Ｓ１・Ｓ２…記憶手段、１…情報表示システム、１０…情報処理装置、１１…画像取得手段、１２…画像処理手段、１３…画像出力手段、１４…視認情報取得手段、１５…ユーザ情報取得手段、１６…情報出力手段、１７…課金情報取得手段、１８…センサ情報取得手段、１９…視認情報生成手段、２０…サーバ、２１…画像送信手段、２２…受信手段、２３…算出手段、２４…課金情報送信手段、３０…通信網、４０…画像形成装置、５０…スクリーン、６０…センサ、７０…ＲＦＩＤリーダ、７１…ＲＦＩＤタグ、１１０…ＣＰＵ、１２０…ＲＯＭ、１３０…ＲＡＭ、１４０…Ｉ／Ｆ、１５０…ＨＤＤ、１６０…キーボード・マウス、１７０…ディスプレイ、１８０…ネットワークＩＦ、１８５…ＵＳＢ−ＩＦ、１９０…バス、２１０…ＣＰＵ、２２０…ＲＯＭ、２３０…ＲＡＭ、２４０…Ｉ／Ｆ、２５０…ＨＤＤ、２６０…キーボード・マウス、２７０…ディスプレイ、２８０…ネットワークＩＦ、２９０…バス

Claims (11)

1. 広告主により提供された広告画像をサーバ装置から取得する画像取得手段と、
   前記広告画像を画像形成装置に出力する画像出力手段と、
   前記広告画像がユーザにより視認された時間を視認情報として取得する視認情報取得手段と、
   前記ユーザが注文した飲食物の識別子を示すユーザ情報を取得するユーザ情報取得手段と、
   前記視認情報取得手段により視認情報が取得されると、前記ユーザ情報および前記視認情報を前記サーバ装置に出力する情報出力手段と、
   前記広告主へ前記視認情報に応じて算出された課金をする金額を課金情報として前記サーバ装置から取得する課金情報取得手段と
   を有し、
   前記広告画像は、前記識別子によって対応付けられた画像を含む
   ことを特徴とする情報処理装置。
2. センサからセンサ情報を取得するセンサ情報取得手段と、
   前記センサ情報取得手段により取得されたセンサ情報に基づいて、前記視認情報を生成する視認情報生成手段と
   を有し、
   前記視認情報取得手段は、前記視認情報生成手段が生成した視認情報を取得する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記センサが、前記センサ情報として前記ユーザの画像を示すユーザ画像を出力し、
   前記視認情報生成手段は、前記ユーザ画像から検出される前記ユーザの視線が前記広告画像を向いている時間がしきい値を超えた場合、前記視認情報を生成する
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記センサが、前記センサ情報として前記広告画像が表示されている面を前記ユーザが触れていることを示す情報を出力し、
   前記視認情報生成手段は、前記センサ情報取得手段が前記センサ情報を取得すると、前記視認情報を生成する
   ことを特徴とする請求項２に記載の情報処理装置。
5. 前記センサが、前記センサ情報として前記広告画像が表示されている面と前記ユーザとの距離がしきい値以下になったことを示す情報を出力し、
   前記視認情報生成手段は、前記センサ情報により、前記広告画像が表示されている面と前記ユーザとの距離がしきい値以下の状態にあった時間がしきい値を超えると、前記視認情報を生成する
   ことを特徴とする請求項２に記載の情報処理装置。
6. 前記ユーザ情報取得手段は、ＲＦＩＤ（Radio Frequency Identification）タグから前記ユーザ情報を取得する
   ことを特徴とする請求項１−５のいずれかの項に記載の情報処理装置。
7. 前記ユーザ情報取得手段は、携帯端末から前記ユーザ情報を取得する
   ことを特徴とする請求項１−５のいずれかの項に記載の情報処理装置。
8. 前記画像形成装置は、複数設けられており、
   前記画像出力手段は、前記複数の画像形成装置のうち、前記ユーザが視認した位置にある前記画像形成装置に前記広告画像を出力する
   ことを特徴とする請求項１に記載の情報処理装置。
9. 情報処理装置に広告主により提供された広告画像を送信する画像送信手段と、
   前記情報処理装置から、ユーザが注文した飲食物の識別子を示すユーザ情報および前記広告画像がユーザにより視認された時間を示す視認情報を受信する受信手段と、
   前記視認情報を用いて、前記広告主へ課金をする金額を課金情報として算出する算出手段と、
   前記課金情報を前記情報処理装置に送信する課金情報送信手段と
   を有し、
   前記広告画像は、前記識別子によって対応付けられた画像を含む
   ことを特徴とするサーバ装置。
10. 情報処理装置に、
    広告主により提供された広告画像をサーバ装置から取得するステップと、
    前記広告画像を画像形成装置に出力するステップと、
    前記広告画像がユーザにより視認された時間を視認情報として取得するステップと、
    前記ユーザが注文した飲食物の識別子を示すユーザ情報を取得するステップと、
    前記視認情報が取得されると、前記ユーザ情報および前記視認情報を前記サーバ装置に出力するステップと、
    前記広告主へ前記視認情報に応じて算出された課金をする金額を課金情報として前記サーバ装置から取得するステップと
    を実行させるためのプログラムであって、
    前記広告画像は、前記識別子によって対応付けられた画像を含む
    ことを特徴とするプログラム。
11. コンピュータ装置に、
    情報処理装置に広告主により提供された広告画像を送信するステップと、
    前記情報処理装置から、ユーザが注文した飲食物の識別子を示すユーザ情報および前記広告画像がユーザにより視認された時間を示す視認情報を受信するステップと、
    前記視認情報を用いて、前記広告主へ課金をする金額を課金情報として算出するステップと、
    前記課金情報を前記情報処理装置に送信するステップと
    を実行させるためのプログラムであって、
    前記広告画像は、前記識別子によって対応付けられた画像を含む
    ことを特徴とするプログラム。

Images