JP4934861B2 - 表示システム、表示方法、表示効果測定システム、及び、表示効果測定方法。 - Google Patents

Description

本発明は、表示画像が観察者に与えた印象を判別する機能を備える表示システムと表示効果測定システムに関する。

広告を表示装置に表示し、この広告を視聴した（観察した）人がどの程度いるのかを測定することで、広告効果を測定するシステムが提案されている（特許文献１参照）。
特開２００２−２６９２９０号公報

特許文献１に開示された広告効果測定システムは、広告表示装置近傍の画像を取得し、取得した画像を解析し、人数、人の移動状況及びに基づいて、人の移動状況等を測定しているに過ぎず、広告の効果を適切に評価できていない。
例えば、仮に目線を検出したとしても、表示装置から遠い位置にいるのでは広告効果は期待できない。また、仮に目線を検出したとしても、一瞬しか表示を見ていない場合には、広告効果は期待できない。特許文献１では、このような分析はできない。

この発明は上記実情に鑑みてなされたものであり、表示画像が観察者に与えた効果を適切に測定する可能とすることを目的とする。

上記目的を達成するため、この発明の第１の観点に係る表示システムは、
画像を表示する表示装置と、
前記表示装置の表示画像を観察しうる領域の画像を撮像する撮像手段と、
前記撮像手段が撮像した前記画像を順次取得して、各画像間で同一の観測者を判別する観測者判別手段と、
前記観測者判別手段によって同一であると判別された各観測者の前記表示装置の表示画像への注目時間と前記表示装置からの距離とを判別する画像解析手段と、
前記画像解析手段で判別した前記各観測者の注目時間と距離とに基づいて、予め定められた基準に従って前記表示装置の表示に対する注目度を示す指標を求める指標生成手段と、を備え、
前記画像解析手段は、前記観測者判別手段によって同一であると判別された各観測者の前記表示装置からの距離の履歴を基に、前記観測者と前記表示装置との相対的な位置の変化を求め、
前記指標生成手段は、前記画像解析手段が求めた前記観測者と前記表示装置との相対的な位置の変化に基づく指標値を生成する。

また、上記目的を達成するため、この発明の第２の観点に係る表示効果測定システムは、
表示装置の表示画像を観察しうる領域を撮像した画像を順次取得して、各画像間で同一の観測者を判別する観測者判別手段と、
前記観測者判別手段によって同一であると判別された各観測者の前記表示装置の表示画像への注目時間と前記表示装置からの距離とを判別する画像解析手段と、
前記画像解析手段で判別した前記各観測者の注目時間と距離とに基づいて、予め定められた基準に従って前記表示装置の表示に対する注目度を示す指標を求める指標生成手段と、を備え、
前記画像解析手段は、前記観測者判別手段によって同一であると判別された各観測者の前記表示装置からの距離の履歴を基に、前記観測者と前記表示装置との相対的な位置の変化を求め、
前記指標生成手段は、前記画像解析手段が求めた前記観測者と前記表示装置との相対的な位置の変化に基づく指標値を生成する。

また、上記目的を達成するため、この発明の第３の観点に係る表示方法は、
表示装置に画像を表示し、
前記表示装置の表示画像を観察しうる領域の画像を撮像し、
撮像した前記画像を順次取得して、各画像間で同一の観測者を判別し、
同一であると判別された各観測者の前記表示装置の表示画像への注目時間と前記表示装置からの距離とを判別し、
判別した前記各観測者の注目時間と距離とに基づいて、予め定められた基準に従って前記表示装置の表示に対する注目度を示す指標を求め、
同一であると判別された各観測者の前記表示装置からの距離の履歴を基に、前記観測者と前記表示装置との相対的な位置の変化を求め、
求めた前記観測者と前記表示装置との相対的な位置の変化に基づく指標値を生成する、
ことを特徴とする。

また、上記目的を達成するため、この発明の第４の観点に係る表示効果測定方法は、
表示装置の表示画像を観察しうる領域を撮像した画像を順次取得して、各画像間で同一の観測者を判別し、
同一であると判別された各観測者の前記表示装置の表示画像への注目時間と前記表示装置からの距離とを判別し、
判別した前記各観測者の注目時間と距離とに基づいて、予め定められた基準に従って前記表示装置の表示に対する注目度を示す指標を求め、
同一であると判別された各観測者の前記表示装置からの距離の履歴を基に、前記観測者と前記表示装置との相対的な位置の変化を求め、
求めた前記観測者と前記表示装置との相対的な位置の変化に基づく指標値を生成する、
ことを特徴とする。

また、上記目的を達成するため、この発明の第５の観点に係るコンピュータプログラムは、
コンピュータを、
表示装置の表示画像を観察しうる領域を撮像した画像を順次取得して、各画像間で同一の観測者を判別する観測者判別手段、
前記観測者判別手段によって同一であると判別された各観測者の前記表示装置の表示画像への注目時間と前記表示装置からの距離とを判別する画像解析手段、
前記画像解析手段で判別した前記各観測者の注目時間と距離とに基づいて、予め定められた基準に従って前記表示装置の表示に対する注目度を示す指標を求める指標生成手段、として機能させ、
前記画像解析手段は、前記観測者判別手段によって同一であると判別された各観測者の前記表示装置からの距離の履歴を基に、前記観測者と前記表示装置との相対的な位置の変化を求め、
前記指標生成手段は、前記画像解析手段が求めた前記観測者と前記表示装置との相対的な位置の変化に基づく指標値を生成することを特徴とする。

上記構成によれば、表示を見ていた時間と表示からの距離を求めるので、表示が観察者（注目者）に与えた効果を的確に評価することが可能となる。

以下、本発明の実施の形態に係る広告表示システムについて図面を参照して説明する。

（第１の実施の形態）
第１の実施形態に係る広告表示システム１００は、図１に示すように、表示装置１１と、カメラ２１と、広告配信装置３１と、効果測定装置４１と、から構成されている。

表示装置１１は、例えば、プラズマディスプレイパネル、液晶表示パネル等の比較的大型の表示装置と及びスピーカ等の音響装置から構成され、街頭・車両等に設置され、広告等を表示し、音声を放音し、視聴者ＯＢに提供する。

カメラ２１は、表示装置１１の近傍に配置されたＣＣＤ（Charge Coupled Device）カメラ、ＣＭＯＳセンサカメラなどから構成され、図２（ａ）、（ｂ）に示すように、表示装置１１の近傍を含む前方エリア、すなわち、表示装置１１の表示を視認可能な領域を撮像する。

広告配信装置３１は、ネットワークを介して表示装置１１に接続され、スケジュールに従って、広告を含むマルチメディアデータを表示装置１１に供給する。

図３に広告配信装置３１の構成の一例を示す。図示するように、広告配信システム３１は、スケジュールデータベース（ＤＢ）３２と、コンテンツＤＢ３３と、通信部３４と、入出力部３５と、制御部３６と、とから構成される。

スケジュールＤＢ３２は、広告の配信（表示）スケジュールを格納する。配信スケジュールは、図４に示すように、配信（表示）時間（時分秒）と表示対象のコンテンツ（例えば、音声付きの動画）の格納位置のアドレス（ＵＲＬ（Uniform Resource Locator）とを対応付けて記憶する。

コンテンツＤＢ３３は、表示対象のコンテンツ（例えば、ＭＰＥＧフォーマットの音声付動画）を格納する。各コンテンツはＵＲＬで特定される。配信スケジュールはこのＵＲＬで表示対象のコンテンツを特定する。

通信部３４は、インターネット等のネットワークＮＷを介して、表示装置１１，広告提供者の端末装置５１等と通信を行う。

入出力部３５は、キーボード、マウス、表示装置などから構成され、制御部に３６に種々の指示やデータを入力し、また、制御部３６からの出力を表示する。

制御部３６は、プロセッサなどから構成され、ＲＴＣ（リアルタイムクロック）を備えると共に制御プログラムに従って動作する。具体的には、制御部３６は、スケジュールＤＢ３２に登録されている配信スケジュールに従って、表示装置１１で表示すべきコンテンツを、コンテンツＤＢ３３から読み出し、通信部３４からネットワークＮＷを介して表示装置１１に供給する。さらに、制御部３６は、広告の出稿者が使用する広告提供者端末５１からのコンテンツを受信し、コンテンツＤＢ３３の指定されたＵＲＬに格納する。また、制御部３６は、入出力部３５からの支持に応答して、配信スケジュールを編集及び更新する。

図１に示す効果測定装置４１は、カメラ２１の画像をフレーム単位に解析し、表示装置１１の表示画像を見ている人（観察者）ＯＢを識別し、その属性（例えば、年齢層、性別）と、滞留時間（表示画像を観察していた継続時間）、表示装置１１からの距離（継続して観察している間の平均距離）を求め、滞留時間と距離に基づいて、各観察者に与えた広告効果を示す指標を求める。この例では、広告をどれだけ注目したかの指標として、図５に示すように、滞留時間Ｔと距離Ｒとの相関関係に基づいて、広告効果を大、中、小の指標で示す。この指標は、表示画像への注目時間（見ている時間）が長くなるに従って大きくなり、表示装置１１からの距離が大きくなるに従って小さくする指標である。

図６に広告効果測定装置４１の構成例を示す。
図示するように、広告効果測定装置４１は、ネットワークを介してカメラ２１に接続され、モデルＤＢ４２と、フレームメモリ４３と、ワークメモリ４４と、広告効果メモリ４５と、入出力部４６、通信部４７と、制御部４８と、から構成される。

モデルＤＢ４２は、図７に例示するように顔画像のモデル（母集団）を解析して得られた各種特徴量の組み合わせと年齢及び性別の対応関係を記憶する。

フレームメモリ４３は、カメラ２１から供給される各フレーム画像を順次記憶する。

ワークメモリ４４は、制御部４８のワークエリアとして機能する。

広告効果メモリ４５は、表示装置１１に表示した広告を見た（観察した）したと分析した各人について、図８に示すように、その特徴量、滞留時間、平均距離、広告効果を示す指標を格納する。広告効果は、図５の評価基準に基づいて、大・中・小の３段階で評価される。

図６の入出力部４６は、キーボード、マウス、表示装置などから構成され、制御部に４８に種々の指示やデータを入力し、また、制御部４８からの出力を表示する。

図６の通信部４７は、インターネット等のネットワークを介して、カメラ２１、広告配信装置３１、広告提供者端末５１等と通信を行う。

制御部４８は、プロセッサなどから構成され、制御プログラムに従って動作し、カメラ２１が撮影した画像を通信部４７を介して受信して、フレームメモリ４４に格納する。
制御部４８は、フレームメモリ４４に格納したフレーム画像を順次読み出し、ワークメモリ４４を使用して画像解析を行い、画像中の視線（カメラ２１の方向への視線、すなわち、表示装置２１の表示画像への視線）を検出し、視線を検出した顔の種々の特徴量を求め、求めた特徴量の組み合わせとモデルＤＢ４１に格納されているモデル情報に基づいて、各観察者の年齢層と性別を推定する。
更に制御部４８は、識別した観察者の滞留時間Ｔと表示装置１１からの距離Ｒを分析する。
さらに、制御部４８は、視線が検出できなくなった時点で、その観察者について、滞留時間Ｔ及び距離Ｒと、図５の評価基準とに基づいて、広告効果を求め、広告効果メモリ４５に図８に例示するように登録する。

次に、上記構成の広告表示システム１００の動作を説明する。
広告配信装置３１の制御部３６は、定期的にスケジュールＤＢ３２と内蔵するＲＴＣの計時時刻とを参照し、表示装置１１に配信すべきコンテンツのＵＲＬを求める。制御部３６は、求めたＵＲＬのコンテンツを、コンテンツＤＢ３３から読み出し、通信部３４とネットワークＮＷを介して表示装置１１に送信する。

表示装置１１は、送信されたコンテンツを受信し、スケジュールに従って表示する。

なお、広告提供者はその広告提供者端末５１を使用して各ＵＲＬに格納されているコンテンツを書き換えることで、スケジュール自体には手を加えること無く、表示する広告を変更することができる。

カメラ２１は、図２（ａ）、（ｂ）に示すように、表示装置１１の前方の画像を常時撮影し、例えば、１／３０秒のフレーム周期でフレーム画像を取得し、ネットワークＮＷを介して効果測定装置４１に提供する。

効果測定装置４１の制御部４８は、通信部４７を介して、カメラ２１からのフレーム画像を取得し、フレームメモリ４３に格納する。

一方、制御部４８は電源投入後、図９に示す広告効果測定処理を周期的に実行する。

まず、制御部４８は、フレームメモリ４３から１枚のフレーム画像を取得し、ワークメモリ４４に展開する（ステップＳ１１）。

次に、制御部４８は、取得したフレーム画像の中から、表示装置１１を見ている人物の顔画像を抽出する（ステップＳ１２）。

表示装置１１を見ている人の顔画像を抽出する手法は任意である。例えば、フレーム画像全体の平均輝度に基づいて定めた閾値により画像を二値化し、二値化画像中で一定の距離（１０〜１８ｃｍ相当）にある２つの黒点（目の画像と推定されるもの）の組を抽出し、続いて、元のフレーム画像中で、抽出された黒点の組を基準として一定範囲の画像を抽出し、これを予め用意されている顔の画像のサンプルとマッチングし、一致する場合に、その画像を表示装置１１を見ている人の顔画像として抽出すればよい。

なお、仮に人の顔の画像が抽出できたとしても、その人が表示装置１１の画面を見ていない人の顔画像を抽出しないよう、前述の画像を検出する等の工夫が必要である。

例えば、顔画像を抽出した後で、顔の重心の位置から顔の向きを判別し、さらに、目の画像中で、瞳が目の左右方向のいずれ方向にあるかを判別し、実際の目線の方向が表示装置１１の画面を向いているか否かを判別する等してもよい。

次に、抽出された各顔画像について、適宜仮ＩＤを付す（ステップＳ１３）。例えば、図１０（ａ）に示すように、フレーム画像ＦＭ中に、表示装１１を見ていると判別された３つの顔画像が抽出されたとすれば、図１０（ｂ）に例示するように仮ＩＤを付す。

次に、仮ＩＤを付した各顔のサイズ（縦横のドット数）と、フレーム画像ＦＭ内の位置（Ｘ、Ｙ座標）を求める（ステップＳ１４）。さらに、各顔のサイズを必要に応じて所定サイズに正規化した上で、顔を識別するための複数の特徴量を求める（ステップＳ１４）。

「特徴量」とは、顔の画像の特徴を表すパラメータを指し、その画像における各画素の濃度勾配を表す勾配ベクトル、各画素の色情報（色相、彩度）、濃度、テクスチャーの特徴、奥行情報、その画像に含まれるエッジの特徴等、いかなる特徴を表すものであってもよい。この特徴量としては、既知の種々の特徴量を使用できる。例えば、両目と鼻の頂点との距離などを使用することも可能である。

制御部４８は、このようにして求めた仮ＩＤと顔のサイズと位置と特徴量とを、例えば、図１１に示すように、対応付けて記憶する（ステップＳ１５）。

次に、制御部４８は、仮ＩＤが付された各顔画像を処理するため、仮ＩＤを示すポインタｉに初期値１をセットする（ステップＳ１６）。

次に、仮ＩＤ＝ｉで特定される顔の位置及び特徴を、前フレームまでに抽出されて、固定ＩＤが付与されている顔画像の位置及び特徴と比較し（ステップＳ１７）、一致するものがあるか否かを判別する（ステップＳ１８）。

フレーム周期（例えば、１／３０秒）の間に、人間はほとんど移動できない。例えば、通常の歩行程度では、１０ｃｍ程度しか移動できない。そこで、制御部４８は、従前の位置から１０ｃｍ程度の移動範囲内にあって、特徴量がほぼ一致するものがあれば、同一人物の顔であると判別する。逆に、位置がほぼ一致しても、特徴量が大きく異なっている場合や、特徴量がほぼ一致しても、位置が大きくずれている場合には、異なる人物の顔であると判別する。

例えば、従前のフレーム画像ＦＭが図１０（ｃ）に示すものであるとする。この場合、仮ＩＤ＝２，３で特定される顔画像は、固定ＩＤ＝３０２，３０５で特定される顔画像と、位置と特徴量がほぼ等しいため、一致すると判別される。一方、仮ＩＤ＝１で特定される顔画像は、固定ＩＤ＝３０１で特定される顔画像と特徴量はほぼ等しいが、移動量が大きいため、不一致と判別される。
定される顔画像と、位置と特徴量がほぼ等しいため、一致すると判別される。また、仮ＩＤ＝１で特定される顔画像と固定ＩＤ＝３０３で特定される顔画像とは、位置がほぼ等しいが特徴量が大きく異なるため、不一致と判別される。

ステップＳ１８で、従前のフレーム画像中に一致する顔が存在しないと判別した場合（ステップＳ１８；Ｎｏ）、その顔の人物は、表示装置１１の表示を新たに見始めた人であると考えられる。このため、制御部４８は、その人物について、分析を開始するため、新規固定ＩＤを採番し、新レコードを作成し、画面内の位置と特徴量を登録する（ステップＳ１９）。さらに、顔のサイズに基づいて、距離Ｒを判別し、登録する（ステップＳ１９）。また、求めた特徴量の組と年齢層ＤＢ４２に格納されている特徴量の組、性別ＤＢ４３に格納されている特徴量の組を比較し、年齢層と性別を求め、属性として登録する（ステップＳ１９）。さらに、継続フレームＮを１とする（ステップＳ１９）。

この例では、図１０（ａ）に示した３つの顔のうち、仮ＩＤ＝１で特定された顔が、このフレームで新たに目線が検出された顔であると判別され、図１２に例示するように、レコードが新たに生成される。

また、ステップＳ１８で、従前のフレーム画像中に一致する顔が存在すると判別した場合は（ステップＳ１８；Ｙｅｓ）、その顔の人物は、このフレーム期間、表示装置１１の表示を見続けていた人であると考えられる。このため、制御部４８は、その人物についての分析を継続するため、該当するレコードについて、画面内の位置（ｘ，ｙ）を更新し、平均距離Ｒを（Ｒ・Ｎ＋今回の顔のサイズから求めた距離）／（Ｎ＋１）とする（ステップＳ２０）。続いて、継続フレーム数Ｎを＋１する。また、必要に応じて属性情報を更新してもよい。

この例では、固定ＩＤ＝３０２、３０５の顔画像について、対応するレコードを、図１３（ａ）から（ｂ）に示すように、更新する。

続いて、制御部４８は、全ての仮ＩＤについて、処理が終了したか否かを判別し（ステップＳ２１）、終了していなければ（ステップＳ２１；Ｎｏ）、ポインタｉを＋１して（ステップＳ２２）、ステップＳ１７に戻り、次の顔について同様の処理を繰り返す。

このようにして、全ての顔について処理が終了すると、すなわち、今回処理したフレーム画像ＦＭ中、表示装置１１の表示を見ていると判別される人物についての分析の処理が終了すると、ステップＳ２１でＹｅｓと判別される。

次に、従前のフレーム画像では、表示装置１１の画像を見ていたが、今回は見ていないという場合、その人物についての分析を終了し、広告効果を求める必要がある。そこで、

次に、顔（視線）が検出されなくなった固定ＩＤの顔が存在するか否かを判別する（ステップＳ２３）。すなわち、従前のフレーム画像で目線が検出されたが今フレームでは検出されないという場合には、対応する人物は、直前までは表示装置１１の表示を見ていたが、見るのをやめたことを示す。そこで、ステップＳ２３で、Ｙｅｓと判別された場合、制御部４８は、判別された固定ＩＤについて、広告効果を求める（ステップＳ２４）。すなわち、その固定ＩＤで特定されるレコードに記録されている継続フレーム数Ｎにフレーム周期ΔＴを乗算して滞留期間（連続して表示を見ていた期間）Ｔを求め、この滞留期間Ｔと平均距離Ｒとを図６に示すマップに当てはめて、広告効果を求める。続いて、この広告効果をレコードに追加し、該レコードをワークメモリ４４から広告効果評価結果メモリ４５に移動する。

図１０の例では、従前のフレームあった固定ＩＤ３０１で特定される顔画像が今回のフレーム中に存在しない。このため、固定ＩＤ３０１で特定される顔画像について、広告効果が求められ、広告効果メモリ４８に格納されている図８のリストに追加される。

その後、フローはステップＳ１１にリターンする。

一方、ステップＳ２３で、Ｎｏと判別された場合、制御部４８は、ステップＳ２４をスキップしてステップＳ１１にリターンする。

このような処理を繰り返すことにより、表示装置１１の表示を新たに見た人に固定ＩＤが付与されて、この固定ＩＤに基づいて複数フレームにわたって継続的に分析され、表示装置１１の表示を見るのをやめた段階で、分析を終了し、広告効果を求め、他の情報と共にた人に固定ＩＤが付与されて、この固定ＩＤに基づいて複数フレームにわたって継続的に分析され、固定ＩＤで特定される人物について、その属性や広告効果を求めることができる。

制御部４８は、広告効果測定メモリ４５に格納された情報を適宜分析し、広告提供者端末５１等に提供する。

なお、図１４に示すように、ステップＳ１５で仮ＩＤとサイズと位置を特徴量とを対応付けた後、即座に、フレームメモリ４３に記憶されているフレーム画像をリセットすることにより完全に消去し、顔画像が外部に流出することが内容に、消去ステップＳ２１を追加することが望ましい。以後の処理は、得られたＩＤと付随するデータのみで行う。

また、制御部４８がより詳細な分析を行い、例えば、図１５に例示するように、時間帯毎、属性毎、時間帯と属性の組み合わせ毎、直近１０〜２０分等での効果を測定し、それらに基づいて配信する広告を制御するようにしてもよい。
例えば、図１６に示すように、表示（配信）対象コンテンツに、ターゲットとする属性を付加しておき、直近の属性別の広告効果に基づいて、広告効果が高い所定範囲の属性を対象する広告を抽出すて配信・表示するようにしてもよい。

なお、効果分析手法は任意である。
例えば、本実施の形態では、図５に示すように、距離５段階、滞留時間５段階に基づいて、広告効果を３段階に分析したが、距離の段階数、滞留時間の段階数、更に、広告効果の段階数は任意に設定可能である。更に、３段階での効果分析と、７段階での効果分析とを並行して生成するようにしてもよい。また、分析の依頼主が要求に応じて、例えば、クライアントＡには３段階、クライアントＢには、７段階での分析結果を返送する等してもよい。

さらに、属性別に、図５に示す効果分析を行うようにしてもよい（図１５）。
また、図５に示すような段階的な指標ではなく、例えば、次式に例示するような効果指標を使用することも可能である。
広告効果＝∫ｋ／Ｒ^ｊ ｄｔ
ここで、 ｋとｊは任意の定数、Ｒは目線を検出した人の表示装置１１からの距離である。

さらに、図１５に示す分析期間を、より短時間或いはより長時間としたり、表示された広告画像のフレーム単位としたりすることも可能である。
例えば、表示装置１１とカメラ２１とに同期した表示クロックを供給し、表示装置１１の表示フレームとカメラ２１の撮像フレームとを同期させ、カメラ２１の各撮像フレームの画像を解析して、そのタイミングで表示装置を注目していた人の数、属性などを求め、対応する表示フレームの効果とすればよい。

また、入出力部４６、通信部４７を介した外部装置からの設定により、適宜、分析の単位時間、評価の基準などを設定・追加できるようにしてもよい。例えば、顔画像を解析して得られる特徴量の組み合わせと属性との対応関係が新たに判別した場合などに、その対応関係を、入出力部４６或いは通信部４７を介して制御部４８に提供し、制御部４８が分析の対象とするようにしてもよい。

また、一般的に、表示装置１１の表示を見ながら表示装置１１に近づいて来た人への広告効果は相対的に高く、表示装置１１の表示を見ながら表示装置１１から遠ざかった人への広告効果は相対的に低いと解される。例えば、図１７の例では、滞留時間が同一であるとすれば、表示を見ながら表示装置１１に近づいて来た人ＯＢ１への広告効果は相対的に高く、表示を見ながら表示装置１１から遠ざかった人ＯＢ２への広告効果は相対的に低い。

そこで、例えば、図９のステップＳ１９，Ｓ２０で、Ｓ２４を図１８に示すステップＳ１９’，Ｓ２０’、Ｓ２４’のように修正し、ステップＳ１９’，Ｓ２０’で、観察者ＯＢと表示装置１１との距離Ｒをタイミングと対応付けて記憶し、ステップＳ２４’での分析のなかで、距離Ｒの時間軸上の履歴を分析し、例えば、Ｒが４→３．９→３．８→・・・→２というように、基準量以上小さくなる履歴を含む場合には、広告効果を＋ｍ段階（ｍは近づいた程度の関数）とし、Ｒが３→３．１→３．２→・・・→５というように、Ｒが基準量以上小さくなる履歴が大半を占める場合には、広告効果を−ｎ段階（ｎは遠ざかった程度の関数）するなどして、広告効果を移動方向によって調整したり、図１９に例示するように、上記の広告効果とは別の指標として提供するようにしてもよい。

また、例えば、図２０に示すように、表示装置１１の前面に仮想的ラインを設定し、観察者ＯＢがエリア１からある仮想ラインを超えてより近いエリア２に移動した場合には、ポイントを＋ｍし、さらに、観察者ＯＢがエリア２から仮想ラインを超えてより近いエリア３に移動した場合には、ポイントを＋ｎする、というように、距離の変化の履歴からある仮想ラインを超えたときに、ポイントを追加の効果ポイントを付与するような構成としてもよい。また、観察者ＯＢがエリア２からある仮想ラインを超えてより遠いエリア２に移動した場合には、ポイントを−ｍし、さらに、観察者ＯＢがエリア２から仮想ラインを超えてより遠いエリア１に移動した場合には、ポイントを−ｎするようにしてもよい。

なお、広告配信・表示を中心として説明したが、広告に限定されず、任意のコンテンツ、例えば、教材用表示、公報用表示、等にも適用可能である。

図１，図３，図６等で示したシステム構成及び図９、図１８で示したフローチャートなどは、例示であり、同様の機能を実現できるならば、適宜変更可能である。

例えば、表示装置１１は投影装置でもよい。この場合は、スクリーン（＝画面（例えば、ビルの壁面等））にカメラ２１を配置すればよい。
複数台のカメラ２１を配置し、ステレオ画像から、観察者までの距離をもとめてよい。

コンピュータを上述の配信装置或いは効果測定装置として動作させるコンピュータプログラムを媒体等に記録して配信等し、これをコンピュータにインストールして、コンテンツ配信装置或いは効果分析装置として動作させるようにしてもよい。

本発明の実施形態に係る広告表示システムのブロック図である。 （ａ）は、表示装置の側面図、（ｂ）は平面図である。 図１に示す広告配信装置のブロック図である。 スケジュールＤＢに格納される配信スケジュールの一例を示す図である。 広告装置からの距離と滞留時間と広告効果との関係を示す図である。 図１に示す広告効果測定装置のブロック図である。 モデルＤＢに格納される特徴量と属性との関係を定義する情報の一例を示す図である。 広告効果メモリに格納される広告観察者別の測定結果の一例を示す図である。 広告効果測定装置が実行する広告効果測定処理のフローチャートである。 図９のフローチャートで、仮ＩＤと固定ＩＤとの対応付けを説明するための図である。 図９のフローチャートで、仮ＩＤと顔のサイズと位置と特徴量とを対応付けて記憶する例を示す図である。 固定ＩＤに対応付けて形成されるレコードの例を示す図である。 時間の経過に伴うレコードの変化の様子を示す図である。 特徴量抽出後のフレーム画像を消去する動作を示すフローチャートである。 効果分析の手法の例を示す図である。 配信対象のコンテンツにターゲットとする属性を付加する構成を示す図である。 広告観察者の移動方向による広告効果の差を説明するための図である。 広告観察者の移動方向を考慮した広告効果を求めるためのフローチャートである。 図１８の処理により得られる効果分析結果の例を示す図である。 広告観察者の移動方向により広告効果に差を付ける手法を説明するための図である。

符号の説明

１１ 表示装置
２１ カメラ
３１ 広告配信装置
４１ 広告効果測定装置
１００ 広告配信システム

Claims (12)

1. 画像を表示する表示装置と、
   前記表示装置の表示画像を観察しうる領域の画像を撮像する撮像手段と、
   前記撮像手段が撮像した前記画像を順次取得して、各画像間で同一の観測者を判別する観測者判別手段と、
   前記観測者判別手段によって同一であると判別された各観測者の前記表示装置の表示画像への注目時間と前記表示装置からの距離とを判別する画像解析手段と、
   前記画像解析手段で判別した前記各観測者の注目時間と距離とに基づいて、予め定められた基準に従って前記表示装置の表示に対する注目度を示す指標を求める指標生成手段と、を備え、
   前記画像解析手段は、前記観測者判別手段によって同一であると判別された各観測者の前記表示装置からの距離の履歴を基に、前記観測者と前記表示装置との相対的な位置の変化を求め、
   前記指標生成手段は、前記画像解析手段が求めた前記観測者と前記表示装置との相対的な位置の変化に基づく指標値を生成する、表示システム。
2. 前記画像解析手段は、前記撮像手段で撮像した画像を解析して、前記各観測者の属性を判別する手段を備える、ことを特徴とする請求項１に記載の表示システム。
3. 前記指標生成手段は、前記画像解析手段で判別した前記各観測者の注目時間と距離と属性とに基づいて、予め定められた基準に従って、前記表示装置の表示に対する属性別の注目度を示す指標を求める、ことを特徴とする請求項２に記載の表示システム。
4. 前記指標生成手段は、前記表示画像への注目時間が長くなるに従って指標値を大きくし、前記距離が大きくなるに従って指標値を小さくする、
   ことを特徴とする請求項１乃至３のいずれか１項に記載の表示システム。
5. 前記画像解析手段は、前記相対的な位置の変化として、前記表示装置に対する前記観測者の移動の方向を求め、
   前記指標生成手段は、前記移動の方向に基づく指標値を生成する、
   ことを特徴とする請求項１乃至４のいずれか１項に記載の表示システム。
6. 前記画像解析手段は、前記相対的な位置の変化として、前記表示装置からの前記観測者の距離の変化を求め、
   前記指標生成手段は、前記距離の変化に基づく指標値を生成する、
   ことを特徴とする請求項１乃至４のいずれか１項に記載の表示システム。
7. 前記表示装置の表示画像を観察しうる領域を、前記表示装置からの距離に基づいて複数のエリアに分割し、
   前記画像解析手段は、前記相対的な位置の変化として、前記観測者が存在するエリアの変化を求め、
   前記指標生成手段は、前記観測者が存在するエリアの変化に基づく指標値を生成する、
   ことを特徴とする請求項１乃至４のいずれか１項に記載の表示システム。
8. 前記表示装置に表示対象画像を配信する配信手段をさらに備え、
   該配信手段は、前記観測者判別手段の判別結果又は前記指標生成手段の生成した指標に基づいて、配信する表示対象画像を選択する手段を備える、
   ことを特徴とする請求項１乃至７のいずれか１項に記載の表示システム。
9. 表示装置の表示画像を観察しうる領域を撮像した画像を順次取得して、各画像間で同一の観測者を判別する観測者判別手段と、
   前記観測者判別手段によって同一であると判別された各観測者の前記表示装置の表示画像への注目時間と前記表示装置からの距離とを判別する画像解析手段と、
   前記画像解析手段で判別した前記各観測者の注目時間と距離とに基づいて、予め定められた基準に従って前記表示装置の表示に対する注目度を示す指標を求める指標生成手段と、を備え、
   前記画像解析手段は、前記観測者判別手段によって同一であると判別された各観測者の前記表示装置からの距離の履歴を基に、前記観測者と前記表示装置との相対的な位置の変化を求め、
   前記指標生成手段は、前記画像解析手段が求めた前記観測者と前記表示装置との相対的な位置の変化に基づく指標値を生成する、表示効果測定システム。
10. 表示装置に画像を表示し、
    前記表示装置の表示画像を観察しうる領域の画像を撮像し、
    撮像した前記画像を順次取得して、各画像間で同一の観測者を判別し、
    同一であると判別された各観測者の前記表示装置の表示画像への注目時間と前記表示装置からの距離とを判別し、
    判別した前記各観測者の注目時間と距離とに基づいて、予め定められた基準に従って前記表示装置の表示に対する注目度を示す指標を求め、
    同一であると判別された各観測者の前記表示装置からの距離の履歴を基に、前記観測者と前記表示装置との相対的な位置の変化を求め、
    求めた前記観測者と前記表示装置との相対的な位置の変化に基づく指標値を生成する、
    ことを特徴とする表示方法。
11. 表示装置の表示画像を観察しうる領域を撮像した画像を順次取得して、各画像間で同一の観測者を判別し、
    同一であると判別された各観測者の前記表示装置の表示画像への注目時間と前記表示装置からの距離とを判別し、
    判別した前記各観測者の注目時間と距離とに基づいて、予め定められた基準に従って前記表示装置の表示に対する注目度を示す指標を求め、
    同一であると判別された各観測者の前記表示装置からの距離の履歴を基に、前記観測者と前記表示装置との相対的な位置の変化を求め、
    求めた前記観測者と前記表示装置との相対的な位置の変化に基づく指標値を生成する、
    ことを特徴とする表示効果測定方法。
12. コンピュータを、
    表示装置の表示画像を観察しうる領域を撮像した画像を順次取得して、各画像間で同一の観測者を判別する観測者判別手段、
    前記観測者判別手段によって同一であると判別された各観測者の前記表示装置の表示画像への注目時間と前記表示装置からの距離とを判別する画像解析手段、
    前記画像解析手段で判別した前記各観測者の注目時間と距離とに基づいて、予め定められた基準に従って前記表示装置の表示に対する注目度を示す指標を求める指標生成手段、として機能させ、
    前記画像解析手段は、前記観測者判別手段によって同一であると判別された各観測者の前記表示装置からの距離の履歴を基に、前記観測者と前記表示装置との相対的な位置の変化を求め、
    前記指標生成手段は、前記画像解析手段が求めた前記観測者と前記表示装置との相対的な位置の変化に基づく指標値を生成することを特徴とするコンピュータプログラム。

Images