WO2009096428A1 - 表示システム、表示効果測定システム、表示方法、表示効果測定方法、及び、記録媒体 - Google Patents

Abstract

　表示システム（１００）は、画像を表示する表示装置（１１）と、表示装置（１１）の表示画像を観察しうる領域の画像を取得するカメラ（２１）と、カメラ（２１）で取得した画像を解析して、観察者を判別し、判別した各観察者の表示装置（１１）の表示画像への注目時間と表示装置（１１）からの距離を判別する効果測定装置（４１）とを備える。効果測定装置（４１）は、判別した注目時間と距離とに基づいて、予め定められた基準に従って表示装置（１１）の表示に対する注目度を示す指標、及び、各観察者の属性を求める。この指標値は、表示画像への注目時間が長くなるに従って大きくなり、距離が大きくなるに従って小さくなる。

Description

表示システム、表示効果測定システム、表示方法、表示効果測定方法、及び、記録媒体

　本発明は、表示画像が観察者に与えた印象を判別する機能を備える表示システム、表示効果測定システム、表示方法、表示効果測定方法、及び、記録媒体に関する。

　広告を表示装置に表示し、この広告を視聴した（観察した）人がどの程度いるのかを測定することで、広告効果を測定するシステムが提案されている（特許文献１参照）。

特開２００２－２６９２９０号公報

　特許文献１に開示された広告効果測定システムは、広告表示装置近傍の画像を取得し、取得した画像を解析し、取得した画像内の人数や各人の移動状況等を測定しているに過ぎない。従って、特許文献１に開示された広告効果評価システムでは、広告の効果を適切に評価することができない。
　例えば、特許文献１に開示された広告効果測定システムにおいて、仮に、取得した画像内の人の目線を検出したとしても、その人が表示装置から遠い位置にいるのでは広告効果は期待できない。また、特許文献１に開示された広告効果測定システムにおいて、仮に、取得した画像内の人の目線を検出したとしても、その人が一瞬しか表示を見ていない場合には、広告効果は期待できない。特許文献１では、このような分析はできない。

　本発明は上記実情に鑑みてなされたものであり、表示画像が観察者に与えた効果を適切に測定することを可能とする表示システム、表示効果測定システム、表示方法、表示効果測定方法、及び、記録媒体を提供することを目的とする。

　上記目的を達成するため、この発明の第１の観点に係る表示システムは、
　画像を表示する表示装置と、
　前記表示装置の表示画像を観察しうる領域の画像を取得する撮像手段と、
　前記撮像手段で取得した画像を解析して、前記表示装置の表示画像を見ている観察者を判別し、判別した各観察者の前記表示装置の表示画像への注目時間と前記表示装置からの距離とを判別する画像解析手段と、
　を備える、ことを特徴とする。

　また、上記目的を達成するため、この発明の第２の観点に係る表示効果測定システムは、
　表示装置の周囲を撮像した画像を解析して、表示画像に注目している者を判別する判別手段と、
　前記判別手段で判別した各注目者の前記表示装置の表示画像への注目時間と表示装置からの距離とを判別する画像解析手段と、
　を備える、ことを特徴とする。

　また、上記目的を達成するため、この発明の第３の観点に係る表示方法は、
　表示画像を表示し、
　前記表示画像を視認可能な領域の画像を取得し、
　取得した画像を解析して、前記表示画像に注目している者について、該表示画像への注目時間と表示画像からの距離とを判別する、
　ことを特徴とする。

　また、上記目的を達成するため、この発明の第４の観点に係る表示効果測定方法は、
　表示画像を視認可能な領域を撮像した画像を解析して、表示画像に注目している人を特定し、
　特定した人について、表示画像への注目時間と表示画像からの距離とを判別する、
　ことを特徴とする。

　また、上記目的を達成するため、この発明の第５の観点に係る記録媒体は、
　コンピュータを、
　表示装置の表示画像を観察しうる領域の画像を解析し、該表示画像を見ている観察者を判別する判別手段、
　前記判別手段で判別した各観察者の前記表示装置の表示画像への注目時間と表示装置からの距離とを判別する画像解析手段、
　として機能させることを特徴とするプログラムを記録した、コンピュータが読み取り可能な記録媒体である。

　上記構成によれば、各観察者が表示装置の表示画像を見ていた時間と、各観察者の表示装置からの距離を求めるので、表示が観察者（注目者）に与えた効果を的確に評価することが可能となる。

本発明の実施形態に係る広告表示システムのブロック図である。 （ａ）は、表示装置の側面図、（ｂ）は平面図である。 図１に示す広告配信装置のブロック図である。 スケジュールＤＢに格納される配信スケジュールの一例を示す図である。 広告装置からの距離と滞留時間と広告効果との関係を示す図である。 図１に示す効果測定装置のブロック図である。 モデルＤＢに格納される特徴量と属性との関係を定義する情報の一例を示す図である。 広告効果メモリに格納される広告観察者別の測定結果の一例を示す図である。 効果測定装置が実行する広告効果測定処理のフローチャートである。 （ａ）～（ｄ）は、仮ＩＤと固定ＩＤとの対応付けを説明するための図である。 仮ＩＤと顔のサイズと位置と特徴量とを対応付けて記憶する例を示す図である。 固定ＩＤに対応付けて形成されるレコードの例を示す図である。 （ａ）、（ｂ）は、時間の経過に伴うレコードの変化の様子を示す図である。 特徴量抽出後のフレーム画像を消去する動作を示すフローチャートである。 （ａ）～（ｄ）は、効果分析の手法の例を示す図である。 配信対象のコンテンツにターゲットとする属性を付加する構成を示す図である。 広告観察者の移動方向による広告効果の差を説明するための図である。 広告観察者の移動方向を考慮した広告効果を求めるためのフローチャートである。 図１８の処理により得られる効果分析結果の例を示す図である。 広告観察者の移動方向により広告効果に差を付ける手法を説明するための図である。

符号の説明

１１　表示装置
２１　カメラ
３１　広告配信装置
４１　効果測定装置
１００　広告表示システム

　以下、本発明の実施の形態に係る広告表示システム１００について図面を参照して説明する。

　本発明の実施形態に係る広告表示システム１００は、図１に示すように、表示装置１１と、カメラ２１と、広告配信装置３１と、効果測定装置４１とを備える。

　表示装置１１は、例えば、プラズマディスプレイパネル、液晶表示パネル等の比較的大型の表示装置とスピーカ等の音響装置とを備える。表示装置１１は、街頭・車両等に設置され、広告用の画像や音声等を表示、放音し、観察者ＯＢに広告を提供する。

　カメラ２１は、表示装置１１の近傍に配置されたＣＣＤ（Charge Coupled Device）カメラ、ＣＭＯＳセンサカメラなどから構成され、図２（ａ）、（ｂ）に示すように、表示装置１１の近傍を含む前方エリア、すなわち、表示装置１１の表示を視認可能な領域を撮像する。

　広告配信装置３１は、ネットワークを介して表示装置１１に接続され、スケジュールに従って、広告を含むマルチメディアデータを表示装置１１に供給する。

　図３に広告配信装置３１の構成の一例を示す。図示するように、広告配信装置３１は、スケジュールデータベース（ＤＢ）３２と、コンテンツＤＢ３３と、通信部３４と、入出力部３５と、制御部３６とを備える。

　スケジュールＤＢ３２は、広告を配信（表示）するための配信スケジュールを格納する。具体的に、スケジュールＤＢ３２は、図４に示すように、広告を配信（表示）する時刻（表示開始時刻、終了時刻）と、配信（表示）対象のコンテンツ（例えば、音声付きの動画）の格納位置を示すアドレス（ＵＲＬ（Uniform Resource Locator））とを対応付けた配信スケジュールを記憶する。

　図３に戻り、コンテンツＤＢ３３は、配信（表示）対象のコンテンツ（例えば、ＭＰＥＧフォーマットの音声付動画）等を格納する。コンテンツＤＢ３３に格納されている各コンテンツはＵＲＬで特定される。配信スケジュールはこのＵＲＬで表示対象のコンテンツを特定する。

　通信部３４は、インターネット等のネットワークＮＷを介して、表示装置１１、広告提供者の広告提供者端末５１等と通信を行う。

　入出力部３５は、キーボード、マウス、表示装置などを備え、制御部３６に種々の指示やデータを入力し、また、制御部３６からの出力を表示する。

　制御部３６は、プロセッサなどを備え、ＲＴＣ（リアルタイムクロック）を備えると共に制御プログラムに従って動作する。具体的には、制御部３６は、スケジュールＤＢ３２に登録されている配信スケジュールに従って、表示装置１１に表示すべきコンテンツを、コンテンツＤＢ３３から読み出す。そして、制御部３６は、通信部３４からネットワークＮＷを介して、表示装置１１に読み出したコンテンツを供給する。さらに、制御部３６は、広告の出稿者が使用する広告提供者端末５１からのコンテンツを受信し、コンテンツＤＢ３３の指定されたＵＲＬに格納する。また、制御部３６は、入出力部３５からの指示に応答して、配信スケジュールを編集及び更新する。

　図１に示す効果測定装置４１は、カメラ２１が撮像した画像をフレーム単位に解析し、表示装置１１の表示画像を見ている人（観察者）ＯＢを識別する。そして、効果測定装置４１は、識別した観察者ＯＢの属性（例えば、年齢層、性別）と、滞留時間（表示画像を観察していた継続時間）と、表示装置１１からの平均距離（観察者ＯＢと表示装置１１との間の平均距離）とを求める。そして、効果測定装置４１は、滞留時間と平均距離とに基づいて、各観察者ＯＢに与えた広告効果を示す指標を求める。
　本実施形態では、広告をどれだけ注目したかの指標として、図５に示すように、滞留時間Ｔと平均距離Ｒとの相関関係に基づいて、観察者に対する広告効果を大、中、小の指標で示す。この指標は、表示画像への注目時間（見ている時間）が長くなるに従って大きくなり、表示装置１１からの距離が大きくなるに従って小さくなる指標である。

　図６に効果測定装置４１の構成例を示す。
　図示するように、効果測定装置４１は、ネットワークＮＷを介してカメラ２１に接続され、モデルＤＢ４２と、フレームメモリ４３と、ワークメモリ４４と、広告効果メモリ４５と、入出力部４６、通信部４７と、制御部４８とを備える。

　モデルＤＢ４２は、図７に例示するように、顔画像のモデル（母集団）を解析して得られた各種特徴量の組み合わせと年齢層及び性別との対応関係（モデル情報）を記憶する。

　フレームメモリ４３は、カメラ２１から供給される各フレーム画像を順次記憶する。

　ワークメモリ４４は、制御部４８のワークエリアとして機能する。

　広告効果メモリ４５は、図８に示すように、表示装置１１に表示した広告を見た（観察した）と分析した各人毎に、各人を特定するＩＤ、滞留時間Ｔ、平均距離Ｒ、属性（年齢、性別等）、及び、広告効果を示す指標を格納する。広告効果は、図５に示す評価基準に基づいて、大・中・小の３段階で評価される。

　図６に戻り、入出力部４６は、キーボード、マウス、表示装置などを備え、制御部４８に種々の指示やデータを入力し、また、制御部４８からの出力を表示する。

　通信部４７は、インターネット等のネットワークＮＷを介して、カメラ２１、広告提供者端末５１等と通信を行う。

　制御部４８は、プロセッサなどを備え、制御プログラムに従って動作し、カメラ２１が撮影した画像を通信部４７を介して受信して、フレームメモリ４３に格納する。
　また、制御部４８は、フレームメモリ４３に格納したフレーム画像を順次読み出し、ワークメモリ４４を使用して画像解析を行い、画像中の顔の視線（カメラ２１の方向への視線、すなわち、表示装置１１の表示画像への視線）を検出する。そして、制御部４８は、視線を検出した顔の種々の特徴量を求め、求めた特徴量の組み合わせとモデルＤＢ４２に格納されているモデル情報とに基づいて、各観察者の属性（年齢層、性別）を推定する。
　さらに、制御部４８は、視線を検出した観察者の滞留時間Ｔと表示装置１１からの平均距離Ｒを判別する。
　さらに、制御部４８は、視線が検出できなくなった時点で、その観察者について、滞留時間Ｔ及び平均距離Ｒと、図５に示す評価基準とに基づいて、広告効果を求め、広告効果メモリ４５に図８に例示するように登録する。

　次に、上記構成の広告表示システム１００の動作を説明する。
　広告配信装置３１の制御部３６は、定期的にスケジュールＤＢ３２と内蔵するＲＴＣの計時時刻とを参照し、表示装置１１に配信すべきコンテンツの格納位置を示すＵＲＬを求める。制御部３６は、求めたＵＲＬで特定されるコンテンツを、コンテンツＤＢ３３から読み出し、通信部３４とネットワークＮＷを介して表示装置１１に送信する。

　表示装置１１は、送信されたコンテンツを受信し、スケジュールに従って表示する。

　なお、広告提供者は、広告提供者端末５１を使用して各ＵＲＬに格納されているコンテンツを書き換えることで、スケジュール自体には手を加えること無く、表示する広告を変更することができる。

　カメラ２１は、図２（ａ）、（ｂ）に示すように、表示装置１１の前方の画像を常時撮影し、例えば、１／３０秒のフレーム周期でフレーム画像を取得し、ネットワークＮＷを介して効果測定装置４１に提供する。

　効果測定装置４１の制御部４８は、通信部４７を介して、カメラ２１からのフレーム画像を取得し、フレームメモリ４３に格納する。

　一方、制御部４８は、電源投入後、図９に示す広告効果測定処理を周期的に実行する。

　まず、制御部４８は、フレームメモリ４３から１枚のフレーム画像を取得し、ワークメモリ４４に展開する（ステップＳ１１）。

　次に、制御部４８は、取得したフレーム画像の中から、表示装置１１を見ている人（観察者）の顔画像を抽出する（ステップＳ１２）。

　表示装置１１を見ている人（観察者）の顔画像を抽出する手法は任意である。例えば、制御部４８は、フレーム画像全体の平均輝度に基づいて定めた閾値により、フレーム画像を二値化し、二値化画像中で一定の距離（１０～１８ｃｍ相当）にある２つの黒点（目の画像と推定されるもの）の組を抽出する。続いて、制御部４８は、元のフレーム画像中で、抽出された黒点の組を基準として一定範囲の画像を抽出し、これを予め用意されている顔の画像のサンプルとマッチングし、一致する場合に、その画像を表示装置１１を見ている人の顔画像として抽出すればよい。

　なお、仮に顔画像が抽出できたとしても、表示装置１１の画面を見ていない人の顔画像を抽出しないようにする工夫が必要である。

　例えば、顔画像を抽出した後で、制御部４８は、顔の重心の位置から顔の向きを判別し、さらに、目の画像中で、瞳が目の左右方向のいずれ方向にあるかを判別し、実際の目線の方向が表示装置１１の画面を向いているか否かを判別し、画面を向いていると判別した顔画像のみを抽出する等してもよい。

　次に、制御部４８は、抽出された各顔画像について、仮ＩＤを付す（ステップＳ１３）。例えば、図１０（ａ）に示すように、フレーム画像ＦＭ中に、表示装置１１を見ていると判別された３つの顔画像が抽出されたとすれば、図１０（ｂ）に例示するように仮ＩＤ（＝１、２、３）を付す。

　次に、制御部４８は、仮ＩＤを付した各顔画像のサイズ（縦横のドット数）と、各顔画像のフレーム画像ＦＭ内の位置（Ｘ、Ｙ座標）とを求める（ステップＳ１４）。さらに、制御部４８は、各顔画像のサイズを必要に応じて所定サイズに正規化した上で、顔を識別するための複数の特徴量を求める（ステップＳ１４）。

　ここで「特徴量」とは、顔画像の特徴を表す各種のパラメータである。具体的には、顔画像の各画素の濃度勾配を表す勾配ベクトル、各画素の色情報（色相、彩度）、濃度、テクスチャーの特徴や奥行を示す情報、及び、顔画像に含まれるエッジの特徴を示す情報等、いかなる特徴を表すパラメータを特徴量として用いてもよい。なお、この特徴量としては、既知の種々の特徴量を使用してもよい。例えば、両目と鼻の頂点との距離などを特徴量として使用することも可能である。

　制御部４８は、このようにして求めた顔画像の仮ＩＤと顔のサイズと位置と特徴量とを、例えば、図１１に示すように、対応付けて記憶する（ステップＳ１５）。

　次に、制御部４８は、仮ＩＤが付された各顔画像を処理するため、仮ＩＤを示すポインタｉに初期値１をセットする（ステップＳ１６）。

　次に、制御部４８は、仮ＩＤ＝ｉで特定される顔画像の位置及び特徴を、前フレームまでに抽出されて固定ＩＤが付与されている複数の顔画像の位置及び特徴と比較し（ステップＳ１７）、一致するものがあるか否かを判別する（ステップＳ１８）。

　フレーム周期（例えば、１／３０秒）の間に、人間はほとんど移動できない。例えば、通常の歩行程度では、１０ｃｍ程度しか移動できない。そこで、制御部４８は、従前の位置から１０ｃｍ程度の移動範囲内にあって、特徴量がほぼ一致するものがあれば、同一人物の顔であると判別する。逆に、制御部４８は、位置がほぼ一致しても、特徴量が大きく異なっている場合や、特徴量がほぼ一致しても、位置が大きくずれている場合には、異なる人物の顔であると判別する。

　例えば、現在のフレーム画像ＦＭが図１０（ｂ）、従前のフレーム画像ＦＭが図１０（ｃ）に示すものであるとする。この場合、仮ＩＤ＝２、３で特定される顔画像は、固定ＩＤ＝３０２、３０５で特定される顔画像と、位置と特徴量とがほぼ等しいため、一致すると判別される。一方、仮ＩＤ＝１で特定される顔画像は、固定ＩＤ＝３０１で特定される顔画像と、特徴量はほぼ等しいが、位置が大きく異なるため、不一致と判別される。また、仮ＩＤ＝１で特定される顔画像と固定ＩＤ＝３０３で特定される顔画像とは、位置がほぼ等しいが特徴量が大きく異なるため、不一致と判別される。

　図９に戻り、ステップＳ１８で、従前のフレーム画像中に一致する顔画像が存在しないと判別した場合（ステップＳ１８；Ｎｏ）、その顔画像の人物は、表示装置１１の表示を新たに見始めた人であると考えられる。このため、制御部４８は、その顔画像について、分析を開始するため、新規に固定ＩＤを採番し、新レコードを作成し、顔画像のサイズとフレーム画面内の位置（ｘ、ｙ）と特徴量とを登録する（ステップＳ１９）。さらに、制御部４８は、顔のサイズに基づいて、平均距離Ｒを判別し、登録する（ステップＳ１９）。また、制御部４８は、求めた特徴量の組とモデルＤＢ４２に格納されている特徴量の組とを比較し、顔画像に対応する年齢層と性別とを求め、属性として登録する（ステップＳ１９）。さらに、制御部４８は、継続フレーム数Ｎに１を設定する（ステップＳ１９）。

　図１０に示す例では、図１０（ｂ）に示した３つの顔のうち、仮ＩＤ＝１で特定された顔が、このフレームで新たに目線が検出された顔であると判別され、図１２に例示するように、レコードが新たに生成される。

　図９に戻り、ステップＳ１８で、従前のフレーム画像中に一致する顔画像が存在すると判別した場合（ステップＳ１８；Ｙｅｓ）、その顔画像の人物は、このフレーム期間、表示装置１１の表示を見続けていた人であると考えられる。このため、制御部４８は、その人物についての分析を継続するため、該当するレコードについて、フレーム画面内の位置（ｘ，ｙ）を更新し、平均距離Ｒを以下の式で求めた値に更新する（ステップＳ２０）。
平均距離Ｒ＝（該当レコードに記憶されている平均距離Ｒ・継続フレーム数Ｎ＋今回の顔画像のサイズから求めた距離）／（Ｎ＋１）
　続いて、制御部４８は、継続フレーム数Ｎを＋１する（ステップＳ２０）。また、制御部４８は、必要に応じて属性情報（年齢層、性別等）を更新してもよい。

　図１０に示す例では、固定ＩＤ＝３０２、３０５の顔画像について、対応するレコードを、図１３（ａ）から図１３（ｂ）に示すように、更新する。

　続いて、制御部４８は、全ての仮ＩＤについて、処理が終了したか否かを判別し（ステップＳ２１）、終了していなければ（ステップＳ２１；Ｎｏ）、ポインタｉを＋１して（ステップＳ２２）、ステップＳ１７に戻り、次の顔画像について同様の処理を繰り返す。

　このようにして、全ての顔画像について処理が終了すると、すなわち、今回処理したフレーム画像ＦＭ中、表示装置１１の表示を見ていると判別される人物についての分析の処理が終了すると、ステップＳ２１でＹｅｓと判別される。

　ステップＳ２１でＹｅｓと判別されると、制御部４８は、顔画像（視線）が検出されなくなった顔画像の固定ＩＤが存在するか否かを判別する（ステップＳ２３）。
　すなわち、従前のフレーム画像で目線が検出されたが今フレームでは検出されないという場合には、対応する顔画像の人物は、直前までは表示装置１１の表示を見ていたが、見るのをやめたこととなる。そこで、ステップＳ２３で、Ｙｅｓと判別された場合、制御部４８は、判別された固定ＩＤの顔画像について、広告効果を求める（ステップＳ２４）。すなわち、制御部４８は、その固定ＩＤで特定されるレコードに記録されている継続フレーム数Ｎにフレーム周期ΔＴを乗算して滞留期間（連続して表示を見ていた期間）Ｔを求める。また、制御部４８は、この滞留期間Ｔと平均距離Ｒとを図５に示すマップに当てはめて、広告効果を求める。続いて、制御部４８は、この広告効果をレコードに追加し、該レコードをワークメモリ４４から広告効果メモリ４５に移動する。

　図１０の例では、図１０（ｃ）に示す従前のフレーム画像ＦＭ中にあった固定ＩＤ３０１で特定される顔画像が、図１０（ｄ）に示す今回のフレーム画像中に存在しない。このため、固定ＩＤ３０１で特定される顔画像について、広告効果が求められ、図８に示す広告効果メモリ４５に新規レコードとして追加される。

　その後、フローはステップＳ１１にリターンする。

　一方、ステップＳ２３で、Ｎｏと判別された場合、制御部４８は、ステップＳ２４をスキップしてステップＳ１１にリターンする。

　このような処理を繰り返すことにより、表示装置１１の表示を新たに見たと判別された人（顔画像）に固定ＩＤが付与されて、この固定ＩＤに基づいて複数フレームにわたって継続的に距離Ｒ等の分析がなされる。そして、表示装置１１の表示を見るのをやめたと判別された段階で、当該固定ＩＤの顔画像の分析は終了し、広告効果や属性等が求められる。

　そして、制御部４８は、広告効果メモリ４５に格納された情報を適宜分析し、広告提供者端末５１等に提供する。

　なお、図１４に示すように、ステップＳ１５で仮ＩＤと顔のサイズと位置と特徴量とを対応付けた後、即座に、フレームメモリ４３に記憶されているフレーム画像をリセットすることにより完全に消去するステップＳ３１の処理を追加してもよい。このようにすることで、顔画像が外部に流出することを防止することが可能となる。なお、この場合、以後の処理は、得られた仮ＩＤと付随するデータのみで行えばよい。

　また、制御部４８がより詳細な分析を行い、例えば、図１５に例示するように、時間帯毎（図１５（ａ））、属性毎（図１５（ｂ））、時間帯と属性の組み合わせ毎（図１５（ｃ））、及び、直近から所定時間内の属性別（図１５（ｄ））等に分類して広告効果を測定し、その測定結果に基づいて配信する広告を制御（選択）してもよい。なお、図１５（ｄ）で属性別に求められているポイントは、例えば、広告効果の大、中、小に対応したポイントを属性別に累算して求めたものである。
　また、図１６に示すように、表示（配信）対象コンテンツに、ターゲットとする属性（年齢層と性別）を付加しておき、直近の属性別に求めた広告効果に基づいて、広告効果が高い所定範囲の属性をターゲットとする広告を判別して、配信・表示するようにしてもよい。

　なお、広告効果を分析する手法は任意である。
　例えば、本実施の形態では、図５に示すように、平均距離Ｒ５段階、滞留時間Ｔ５段階に基づいて、広告効果を大・中・小の３段階に分析したが、距離の段階数、滞留時間の段階数、更に、広告効果の段階数は任意に設定可能である。更に、３段階での広告効果の分析と、７段階での広告効果の分析とを並行してもよい。また、分析の依頼主が要求に応じて、例えば、クライアントＡには３段階、クライアントＢには、７段階での広告効果の分析結果を送信する等してもよい。

　さらに、属性別に、図５に示す広告効果の分析を行うようにしてもよい。
　また、図５に示すような段階的な指標ではなく、例えば、次式に例示するような広告効果の指標を使用することも可能である。
　広告効果＝Σｋ／Ｒｉ
　ここで、 ｋは任意の定数、Ｒｉ（ｉ＝１、２…）は目線を検出した各人の表示装置１１からの距離である。

　さらに、図１５に示す分析期間（時間帯）を、より短時間或いはより長時間としたり、表示された広告画像のフレーム単位としたりすることも可能である。
　例えば、表示装置１１とカメラ２１とに同期したクロックを供給し、表示装置１１の表示フレームとカメラ２１の撮像フレームとを同期させる。そして、カメラ２１の各撮像フレームの画像を解析して、そのタイミングで表示装置１１を注目していた人の数、属性などを求め、対応する表示フレームの広告効果として出力してもよい。

　また、入出力部４６、通信部４７を介した外部装置からの設定により、適宜、分析の単位時間、評価の基準などを設定・追加できるようにしてもよい。例えば、顔画像を解析して得られる特徴量の組み合わせと属性との対応関係が新たに判別した場合などに、外部装置から入出力部４６或いは通信部４７を介してその対応関係を制御部４８に提供し、制御部４８が分析の対象とするようにしてもよい。

　また、一般的に、表示装置１１の表示を見ながら表示装置１１に近づいて来た人への広告効果は相対的に高く、表示装置１１の表示を見ながら表示装置１１から遠ざかった人への広告効果は相対的に低いと解される。例えば、図１７の例では、滞留時間が同一であるとすれば、表示を見ながら表示装置１１に近づいて来た人ＯＢ１への広告効果は相対的に高く、表示を見ながら表示装置１１から遠ざかった人ＯＢ２への広告効果は相対的に低い。

　そこで、例えば、図９のステップＳ１９、Ｓ２０、及び、Ｓ２４を、図１８に示すステップＳ１９’、Ｓ２０’、及び、Ｓ２４’に変更した広告効果測定処理を実施してもよい。即ち、ステップＳ１９’、Ｓ２０’で、制御部４８は、従来の分析処理に加えて、観察者ＯＢと表示装置１１との距離Ｒを現在時刻と対応付けて記憶する。
　そして、ステップＳ２４’で、制御部４８は、距離Ｒの時間軸上の履歴を分析して、広告観察者が広告に近づいたか遠ざかったかの指標を判別し、その指標も考慮に入れた広告効果を求める。例えば、距離Ｒが４→３．９→３．８→・・・→２というように、基準量以上小さくなる履歴を含む場合には、制御部４８は、広告効果を＋ｍ段階（ｍは近づいた程度を示す数値）し、距離Ｒが３→３．１→３．２→・・・→５というように、Ｒが基準量以上小さくなる履歴が大半を占める場合には、広告効果を－ｎ段階（ｎは遠ざかった程度を示す数値）するなどして、広告効果を移動方向、及び／又は、移動量によって調整すればよい。また、図１９に例示するように、広告に近づいたか遠ざかったのかの指標を、上記の広告効果とは別の指標として提供するようにしてもよい。

　また、例えば、図２０に示すように、表示装置１１の前方エリアを複数の領域（エリア１、２、３）に区切る仮想的なライン（仮想ライン１、２）を設定し、観察者ＯＢがエリア１から仮想ライン１を超えてより近いエリア２に移動した場合には、広告効果を示す指標（ポイント）を＋ｍし、さらに、観察者ＯＢがエリア２から仮想ライン２を超えてより近いエリア３に移動した場合には、ポイントを＋ｎする、というように、距離の変化の履歴からある仮想ラインを超えたときに、追加の広告効果ポイントを付与するような構成としてもよい。また、観察者ＯＢがエリア３から仮想ライン２を超えてより遠いエリア２に移動した場合には、ポイントを－ｍし、さらに、観察者ＯＢがエリア２から仮想ライン１を超えてより遠いエリア１に移動した場合には、ポイントを－ｎするようにしてもよい。

　なお、広告配信・表示を中心として説明したが、広告に限定されず、任意のコンテンツ、例えば、教材用表示、公報用表示、等にも本発明は適用可能である。

また、図１，図３，図６等で示したシステム構成及び図９、図１８で示したフローチャートなどは、例示であり、同様の機能を実現できるならば、適宜変更可能である。

　例えば、表示装置１１は投影装置でもよい。この場合は、スクリーン（＝画面（例えば、ビルの壁面等））にカメラ２１を配置すればよい。
　また、複数台のカメラ２１を配置し、ステレオ画像から、観察者ＯＢまでの距離をもとめてもよい。

　本出願は、２００８年１月２８日に出願された日本国特許出願特願２００８－０１６９３８号に基づく。本明細書中に、それらの明細書、特許請求の範囲、図面全体を参照として取り込むものとする。

　本発明は、広告を表示する電子看板などに利用することが可能である。

Claims (15)

1. 　画像を表示する表示装置と、
   　前記表示装置の表示画像を観察しうる領域の画像を取得する撮像手段と、
   　前記撮像手段で取得した画像を解析して、前記表示装置の表示画像を見ている観察者を判別し、判別した各観察者の前記表示装置の表示画像への注目時間と前記表示装置からの距離とを判別する画像解析手段と、
   　を備える、ことを特徴とする表示システム。
2. 　前記画像解析手段で判別した注目時間と距離とに基づいて、予め定められた基準に従って前記表示装置の表示に対する注目度を示す指標を求める指標生成手段をさらに備える、
   　ことを特徴とする請求項１に記載の表示システム。
3. 　前記画像解析手段は、前記撮像手段で撮像した画像を解析して、各観察者の属性を判別する手段を備える、
   　ことを特徴とする請求項１に記載の表示システム。
4. 　前記画像解析手段で判別した各観察者の注目時間と距離と属性とに基づいて、予め定められた基準に従って、前記表示装置の表示に対する属性別の注目度を示す指標を求める指標生成手段をさらに備える、
   　ことを特徴とする請求項３に記載の表示システム。
5. 　前記表示装置に表示する各表示画像には、ターゲットとする人の属性が付加されており、
   　前記指標生成手段で属性別に求められた注目度を示す指標に基づいて、前記表示装置に表示する表示画像を判別する手段を備える、
   　ことを特徴とする請求項４に記載の表示システム。
6. 　前記指標生成手段は、表示画像への注目時間が長くなるに従って指標値を大きくし、距離が大きくなるに従って指標値を小さくする、
   　ことを特徴とする請求項２又は４に記載の表示システム。
7. 　前記画像解析手段は、観察者が、表示に注目しつつ移動した場合に、移動の方向を求める手段を備え、
   　前記指標生成手段は、移動の方向の変化に基づく指標値を生成する、
   　ことを特徴とする請求項２又は４に記載の表示システム。
8. 　前記画像解析手段は、観察者が、表示に注目しつつ移動した場合に、移動の距離を求める手段を備え、
   　前記指標生成手段は、移動の距離の変化に基づく指標値を生成する、
   　ことを特徴とする請求項２又は４に記載の表示システム。
9. 　前記画像解析手段は、観察者が、表示に注目しつつ移動した場合に、移動による該観察者の属するエリアの変化を求める手段を備え、
   　前記指標生成手段は、エリアの変化に基づく指標値を生成する、
   　ことを特徴とする請求項２又は４に記載の表示システム。
10. 　前記表示装置に表示対象画像を配信する配信手段をさらに備え、
    　前記配信手段は、前記画像解析手段の判別結果の生成した指標に基づいて、配信する表示対象画像を選択する手段を備える、
    　ことを特徴とする請求項１に記載の表示システム。
11. 　前記表示装置に表示対象画像を配信する配信手段をさらに備え、
    　前記配信手段は、前記画像解析手段の判別結果又は前記指標生成手段の生成した指標に基づいて、配信する表示対象画像を選択する手段を備える、
    　ことを特徴とする請求項４に記載の表示システム。
12. 　表示装置の周囲を撮像した画像を解析して、表示画像に注目している者を判別する判別手段と、
    　前記判別手段で判別した各注目者の前記表示装置の表示画像への注目時間と表示装置からの距離とを判別する画像解析手段と、
    　を備える、ことを特徴とする表示効果測定システム。
13. 　表示画像を表示し、
    　前記表示画像を視認可能な領域の画像を取得し、
    　取得した画像を解析して、前記表示画像に注目している者について、該表示画像への注目時間と表示画像からの距離とを判別する、
    　ことを特徴とする表示方法。
14. 　表示画像を視認可能な領域を撮像した画像を解析して、表示画像に注目している人を特定し、
    　特定した人について、表示画像への注目時間と表示画像からの距離とを判別する、
    　ことを特徴とする表示効果測定方法。
15. 　コンピュータを、
    　表示装置の表示画像を観察しうる領域の画像を解析し、該表示画像を見ている観察者を判別する判別手段、
    　前記判別手段で判別した各観察者の前記表示装置の表示画像への注目時間と表示装置からの距離とを判別する画像解析手段、
    　として機能させることを特徴とするプログラムを記録した、コンピュータが読み取り可能な記録媒体。

Images